JP2019024748A - 画像生成装置及びプログラム - Google Patents

Abstract

【課題】演者が特別な演技をせずともキャラクタらしさをアピールし、キャラクタに対する好悪の印象を強く視聴者に与えることが可能な画像生成装置を提供する。【解決手段】実在する演者の動作を、仮想空間の対象キャラクタの動作に反映させる画像生成装置であって、演者データに基づき演者が提示した単語を抽出する単語抽出処理手段と、抽出した単語の感情属性に応じた第１のパラメータを生成する第１のパラメータ生成処理手段と、入力した演者データに基づき演者の状態を判定する判定手段と、判定した状態の感情属性を応じた第２のパラメータを生成する第２のパラメータ生成処理手段と、対象キャラクタの動作の制御に用いる操作コマンドを、第１のパラメータと、第２のパラメータと、対象キャラクタのキャラクタ属性に基づき選定する操作コマンド選定手段と、対象キャラクタの動作を、操作コマンドに基づき制御する動作制御手段とを備える。【選択図】図２０

Description

本発明は、画像生成装置及びプログラムに関する。

従来、実在しない二次元又は三次元のアイドルキャラクタを仮想空間に配置し、実在のアイドルであるかのごとく当該キャラクタを操作する技術が周知である。これに関連する技術として、特許文献１には、音声を発する人の顔を表示せずに、音声データの入力に合わせて仮想のキャラクタを操作することで、音声を発する人のプライバシーを守りつつ、他人への感情伝達を図る画像生成システム等が開示されている。

特開２００３−２４８８３７号公報

しかしながら、特許文献１に記載の技術では、基本的に、表示画面に表示されるキャラクタの動作（表情含む）は、音声データに反映された感情に応じて制御されるに過ぎないので、音声を発する人（本人）が積極的に音声によって演技をしない限り、当該キャラクタの動作（特許文献１では表情）のバリエーションを増やすことは難しかった。

本発明は、上記課題を解決するためになされたものであり、その目的は、演者が特別な演技をせずともキャラクタらしさを視聴者へアピールし、当該キャラクタに対する好悪の印象を強く視聴者に与えることが可能な画像生成装置及びプログラムを提供することにある。

上記課題を解決するため、
（１）本発明の画像生成装置は、
実空間に存在する演者の動作を、オブジェクト空間に存在する対象キャラクタの動作に反映させ、前記オブジェクト空間で動作する前記対象キャラクタの画像を生成する画像生成装置であって、
複数のキャラクタのそれぞれに対応付けられたキャラクタ属性と、前記演者が提示し得る複数の単語のそれぞれに対応付けられて規定された感情属性と、前記演者の採り得る複数の状態のそれぞれに対応付けられて規定された感情属性と、前記対象キャラクタの動作を制御する複数の操作コマンドと、を記憶したデータベースを管理する管理手段と、
前記複数のキャラクタの中から前記対象キャラクタを選定して前記オブジェクト空間へ設定する設定手段と、
前記演者の提示した単語を含む演者データの入力を受け付ける入力受付手段と、
前記演者が提示した単語を前記演者データから抽出する単語抽出処理手段と、
抽出した前記単語の感情属性を前記データベースに基づき特定し、当該感情属性に応じた第１のパラメータを生成する第１のパラメータ生成処理手段と、
入力した前記演者データの少なくとも一部と状態判定用の基準データとに基づき前記演者の状態を判定する判定手段と、
判定した前記状態の感情属性を前記データベースに基づき特定し、当該感情属性に応じた第２のパラメータを生成する第２のパラメータ生成処理手段と、
前記複数の操作コマンドの中から、前記対象キャラクタの動作の制御に用いるべき１又
は複数の操作コマンドを、前記第１のパラメータと、前記第２のパラメータと、選定した前記対象キャラクタのキャラクタ属性と、所与の選定基準とに基づき選定する操作コマンド選定手段と、
前記オブジェクト空間に設定された前記対象キャラクタの動作を、選定された前記操作コマンドに基づき制御する動作制御手段と、
前記オブジェクト空間内で動作する前記対象キャラクタの画像を生成する画像生成手段と、
生成された前記対象キャラクタの画像を出力する画像出力手段と、
を備える。

ここで、「演者」には、声優、俳優、アイドル、司会者、講演者（落語家、漫談家などを含む）などが含まれ、一般人が含まれてもよい。

また、「演者の動作」には、演者が言葉を提示する行為、所作（ジェスチャー、ポーズなどを含む）、表情などが含まれてもよく、「キャラクタの動作」には、キャラクタによる発語、所作（ジェスチャー、ポーズなどを含む）、表情などが含まれてもよい。

また、「演者による提示」には、演者が身体の少なくとも一部で表現することや、演者が（言葉や単語を）意図することなどが含まれてもよく、例えば、テキストのタイピング入力、テキストのフリック入力、言葉の音声入力（発語）、口唇形状変化による言葉の入力などが含まれてもよい。よって、「演者による単語の提示」には、演者５の発語による単語の入力、演者５のタイピングによる単語の入力、演者５が唇の形で意図しこれを画像解析で読み取った単語の入力、演者５がジャスチャー（手話など）で意図しこれを画像解析で読み取った単語の入力などが含まれる。

また、「オブジェクト空間」には、キャラクタを含むオブジェクトが配置された２次元又は３次元の仮想空間が含まれてもよい。

また、「キャラクタ属性」には、キャラクタの性別、年齢、性格、出身地などが含まれてもよく、後述する感情属性が含まれてもよい。

また、「演者が提示し得る複数の単語」には、「つまらない」、「お腹すいた」、…「いいね」などの、演者の感情を反映した単語が含まれていてもよい。

また、「感情属性」には、感情の傾向を表すネガティブ（陰気）、ポジティブ（陽気）の別や、「喜」、「怒」、「哀」、「楽」、「驚」などの感情種別などが含まれていてもよい。

また、「演者の状態」には、演者の性別、演者の動作、演者の音声の状態（疲労度など）が含まれてもよい。

また、「操作コマンド」には、発語コマンド、所作コマンド、表情コマンド、視覚効果コマンド、振幅増減コマンドなどが含まれてもよい。表情コマンドには、喜怒哀楽驚などの表情を対象キャラクタにさせるためのコマンドが含まれてもよい。所作コマンドには、ジャンプジェスチャー、バンザイジェスチャー、手で顔を覆うジェスチャー、腕組みジェスチャー、上手振りジェスチャー、下手振りジェスチャー、ガッツポーズ、ファイティングポーズなどを対象キャラクタにさせるためのコマンドが含まれてもよい。視覚効果コマンドには、ハートマーク付加、吹き出し表示、テロップ表示などを対象キャラクタの画像に付加するコマンドが含まれてもよい。振幅増減コマンドには、対象キャラクタの動作（発語、所作、表情、視覚効果など）の振幅（時間変化波形の振幅）を増幅又は抑制するた
めのコマンドが含まれてもよい。発語コマンドには、対象キャラクタの発現の語尾の変換、方言への変換などをするためのコマンドが含まれてもよい。

また、「演者データ」には、演者の画像（動画像含む）、演者の音声などのデータが含まれてもよい。

また、「単語の抽出」には、所与の言語モデルが利用されてもよい。

また、「単語抽出処理」には、言語解析を実行して演者データから単語を認識すると共に、「てにをは」や「疑問形」、「断定」などの言語体系を認識（形態素解析や構文解析）する処理が含まれてもよい。

また、「第１のパラメータ」には、演者の提示した単語に反映された感情のネガティブ度又はポジティブ度を示す数値（点数、ランク、レベル、段階、符号など）が含まれてもよい。

また、「第１のパラメータの生成」は、演者データに含まれる単語のみならず単語の前後に現れた言語体系まで加味して行われてもよい。ここでいう「言語体系」には、単語の後に位置する「てにをは」の種別、語尾が疑問形であるか否か、語尾が断定形であるか否か、などの情報が含まれてもよい。この場合、演者データに含まれる単語が同じ単語であったとしても、当該単語の提示の仕方によって第１のパラメータが異なる数値になることもある。

また、「演者データの少なくとも一部」には、音声の振幅データ、音声の周波数スペクトルデータ、身体データ（身体の画像データなど）、表情データ（顔の画像データなど）などが含まれてもよい。

また、「状態判定用の基準データ」には、所与のテンプレート、所与の音響モデルなどが含まれてもよい。

また、「状態の判定」には、テンプレートマッチングによる判定が含まれてもよい。

また、「第２のパラメータ」には、演者の状態に反映された感情のネガティブ度又はポジティブ度を示す数値（点数、ランク、レベル、段階、符号など）が含まれてもよい。

上記構成によれば、演者の動作が仮に同じであったとしても、選定された対象キャラクタの属性によって対象キャラクタの動作が変化し得るので、対象キャラクタの画像を観覧する視聴者は、演者の提示した単語や演者の状態に現れる感情のみならず、当該対象キャラクタの属性すなわち対象キャラクタらしさを、対象キャラクタの動作を通じて知覚することができる。一方、演者の側には、自分の提示する言葉や自分の状態を意識的して変化させずとも、対象キャラクタのキャラクタ属性を変更するだけで、対象キャラクタの動作の傾向を変化させることができるという利点がある。

例えば、操作コマンド選定手段は、特定のキャラクタ属性を有する対象キャラクタの特定動作を、別の特定動作へ変更することが可能である。具体的には、操作コマンド選定手段は、対象キャラクタのキャラクタ属性が「陽気なギャルキャラクタ」である場合に、喜びの動作（例えばジャンプ）を増幅（オーバーアクション化）させる操作コマンドを選定したり、対象キャラクタの特定のキャラクタ属性が「怒り易い男性キャラクタ」である場合に、驚きの動作（例えば両手を挙げる）を増幅（オーバーアクション化）させる操作コマンドを選定したりすることができる。

したがって、演者が特別な演技をせずとも対象キャラクタのキャラクタらしさを視聴者へアピールすることができるので、当該対象キャラクタに対する好悪の印象を強く視聴者に与えることができる。

（２）本発明の画像生成装置において、
前記操作コマンド選定手段は、
前記操作コマンドの選定を行う前に、前記対象キャラクタのキャラクタ属性に応じて前記第１のパラメータ及び前記第２のパラメータの少なくとも一方を補正する処理を実行してもよい。

上記構成によれば、第１のパラメータ及び第２のパラメータから操作コマンドを選定するための既存の選定基準と同じ選定基準を用いることが可能である。従って、第１のパラメータ及び第２のパラメータから操作コマンドを選定するアルゴリズムが既存である場合に、これを有効活用することができる。

（３）本発明の画像生成装置において、
前記操作コマンド選定手段は、
補正後の前記第１のパラメータ及び前記第２のパラメータの組み合わせが所与の条件を満たす場合には、補正後の前記第１のパラメータ及び前記第２のパラメータに基づき前記操作コマンドの選定を行い、前記所与の条件を満たさない場合には、補正前の前記第１のパラメータ及び前記第２のパラメータに基づき前記操作コマンドの選定を行ってもよい。

上記構成によれば、対象キャラクタの動作にキャラクタ属性が反映されるタイミングを所与の条件の下で制御することができる。例えば、当該組み合わせが特定の組み合わせである場合にキャラクタ属性を反映させ、そうでない場合にキャラクタ属性を反映させないという制御も可能である。したがって、対象キャラクタ８Ａの動作に対象キャラクタらしさが発現することへの視聴者の期待を高めることができる。この場合、対象キャラクタの画像を観覧する視聴者は、対象キャラクタらしさを適当なタイミングで効果的に知覚することができる。

（４）本発明の画像生成装置において、
前記キャラクタ属性には、感情属性が含まれ、
前記画像生成装置は、
前記対象キャラクタのキャラクタ属性に対応する感情属性を前記データベースに基づき特定し、当該感情属性に応じた第３のパラメータを生成する第３のパラメータ生成処理手段を更に備え、
前記操作コマンド選定手段は、
前記第１のパラメータ、前記第２のパラメータ、及び前記第３のパラメータの組み合わせと、当該組み合わせに係る前記選定基準とに基づき前記操作コマンドの選定を行ってもよい。

ここで、「第３のパラメータ」には、キャラクタ属性に固有の感情傾向であるネガティブ度又はポジティブ度を示す数値（点数、ランク、レベル、段階、符号など）が含まれてもよい。

上記構成によれば、キャラクタ属性の感情に係る第３のパラメータを、第１のパラメータ及び第２のパラメータと同等に扱うことが可能である。従って、第１のパラメータ及び第２のパラメータから操作コマンドを選定するアルゴリズムが既存である場合に、当該アルゴリズムのパラメータの数（次数）を拡張することで、対象キャラクタの感情表現のバ
リエーションを容易に増やすことが可能である。

（５）本発明の画像生成装置において、
前記複数の操作コマンドには、
１又は複数の特定のキャラクタ属性に対応付けられた１又は複数の特定の操作コマンドが含まれ、
前記操作コマンド選定手段が実行する処理には、
前記複数の操作コマンドの中から前記選定される操作コマンドの候補を設定する候補設定処理が含まれ、
前記候補設定処理においては、前記対象キャラクタのキャラクタ属性が前記特定のキャラクタ属性である場合に、前記特定の操作コマンドを前記候補に追加する処理又は前記候補から除外する処理を実行してもよい。

ここで、「特定のキャラクタ属性」には、例えば特定の動物キャラクタ（ネコキャラクタなど）、特定の人物キャラクタ（神経質な中年男性など）が含まれてもよい。

また、「特定の操作コマンド」には、語尾を「にゃ」に変換するコマンド、「にゃ」という吹き出しを付加するコマンド、語尾を特定地方の方言に変換するコマンドなどが含まれてもよい。

上記構成によれば、特定のキャラクタ属性に適した特定のコマンドが選定されやすくなるので、対象キャラクタのキャラクタらしさを、より強くアピールすることができる。

（６）本発明の画像生成装置において、
出力された前記対象キャラクタの画像について視聴者が行った評価のデータを収集する収集処理を実行する収集手段を更に備え、
前記操作コマンド選定手段は、
複数の前記画像に適用された複数の前記操作コマンドと、複数の前記画像に係る複数の前記評価のデータとに基づき、複数の前記操作コマンドを重み付けする処理を実行し、新たな前記画像を生成する際における前記操作コマンドの選定を、前記複数の操作コマンドの重みに基づいて行ってもよい。

ここで、対象キャラクタの画像に音声が付加されていない場合には、「視聴者」は画像の鑑賞者と言い換えることもできる。

また、「評価のデータ」には、対象キャラクタに向けた視聴者からのプレゼント（被服、装身具、身支度用の資金、投げ銭、お捻りなど）の数及び価値、視聴者が行った投票による対象キャラクタの得票数、対象キャラクタの画像を含む画像コンテンツの視聴率などのデータが含まれてもよい。

また、投票には、画像コンテンツの視聴中に視聴者が自己の端末装置で評価ボタン（所謂いいねボタン）を押下した回数、画像コンテンツの視聴中に視聴者が自己の端末装置から運営者に向けて送信したコメント送信の回数、視聴者が画像コンテンツをＳＮＳで他者に紹介した回数などが含まれてもよい。

また、プレゼント、投票、画像コンテンツの視聴には、画像生成装置の直接的又は間接的な運営者から視聴者に対する課金が伴うこともある。

以上の構成によれば、視聴者の評価のデータを対象キャラクタの動作に反映させることができるので、視聴者の間で人気のある動作が発現され易くしたり、所与の条件が満たさ
れた場合に人気のある動作を発現させたりすることも可能である。なお、操作コマンド選定手段の上記動作が画像の出力中に逐次に行われれば、人気の動作がリアルタイムで反映されることになるので、その場合には、ライブ配信における視聴者の参加意識を高め、視聴者数の向上を図ることができる。

（７）本発明の画像生成装置において、
前記複数の操作コマンドの重みに基づき前記選定基準の更新をする更新処理を、所与の条件が満たされる度に実行するフィードバック手段を更に備えてもよい。

ここで、「所与の条件が満たされる度に」には、「所定時間が経過する度に」、「重みに変化が生じる度に」が含まれてもよい。

上記構成によれば、人気の動作が発現され易くなる方向に選定基準を変化させることができるので、例えば、画像の生成が繰り返される度に対象キャラクタが人気キャラクタに近づくことになる。また、選定基準自体を更新するので、当該選定基準を、様々な対象キャラクタの人気向上を図る万能な選定基準に収束させることも、可能である。

（８）本発明の画像生成装置において、
前記複数の操作コマンドには、
前記対象キャラクタの表情を制御する操作コマンドと、
前記対象キャラクタの所作を制御する操作コマンドと、
前記対象キャラクタに視覚効果を付与する操作コマンドと、
前記対象キャラクタの発語を制御する操作コマンドと、
の少なくとも１つが含まれてもよい。

ここで、「対象キャラクタの表情」には、喜怒哀楽驚の表情が含まれてもよく、口の形状や瞳の形状及び装飾が含まれてもよい。

また、「対象キャラクタの所作」には、例えば、ジャンプジェスチャー、バンザイジェスチャー、手で顔を覆うジェスチャー、腕組みジェスチャー、上手振りジェスチャー、下手振りジェスチャー、ガッツポーズ、ファイティングポーズなどが含まれてもよい。

また、「視覚効果」には、所与のマーク（ハートマーク、スターマーク、怒りマーク、影、方紅、口ひげ、キスマークなど）の発生、吹き出し表示、テロップ表示などが含まれてもよい。

上記構成によれば、対象キャラクタの表情、所作、視覚効果、発語の少なくとも１つに演者の感情を反映させることができるので、演者の感情を効果的に増幅させることができる。

（９）本発明の画像生成装置において、
前記画像出力手段は、
前記演者の演技中に逐次に生成される前記対象キャラクタの画像を前記画像の視聴者へ前記演技中に逐次に出力してもよい。

上記構成によれば、対象キャラクタの画像をライブ配信（生中継）することが可能である。なお、ライブ配信（生中継）には、いわゆるニアライブ配信（遅延配信）も含まれるものとする。

（１０）本発明の画像生成装置は、
前記第１のパラメータ、前記第２のパラメータ、及び前記キャラクタ属性のバランスを示すイメージを、前記演者へ演技中に逐次に出力するモニタ手段を更に備えてもよい。

ここで「バランスを示すイメージ」には、レーダーチャートなどのグラフや、テキスト表示（「キャラクタ属性の効果が発現中」など）が含まれてもよい。

上記構成によれば、演者が当該イメージを確認しながら演技し、操作コマンド選定の根拠を視覚的に把握することができるので、対象キャラクタの動作を自分の希望する動作に近づけることが容易になる。

（１１）本発明の画像生成装置において、
前記画像出力手段は、
前記対象キャラクタの画像の生成から前記オブジェクト空間の視聴者へ前記画像が出力されるまでの間に遅延時間を設ける遅延出力処理を実行し、当該遅延時間内に前記演者又は補助者から操作入力を受付けた場合に、前記視聴者に出力される前記画像を調整する処理を実行してもよい。

上記構成によれば、ライブ配信ではなく、ニアライブで配信することができるので、ライブ配信に近い形態によって視聴者の参加意識を高めることができるとともに、演者又は補助者が不適切と判断した動作を、視聴者へ出力される前に阻止するという自主規制が可能である。

（１２）本発明の画像生成装置において、
前記操作コマンド選定手段は、
前記第1のパラメータ、前記第２のパラメータ及び前記キャラクタ属性の組み合わせに所定時間にわたり変化が生じなかった場合には、前記選定基準にかかわらず所与の操作コマンドを選定してもよい。

上記構成によれば、演者が動作を休止している期間にも対象キャラクタに何らかの動作をさせることが可能である。

（１３）本発明のプログラムは、
実空間に存在する演者の動作を、オブジェクト空間に存在する対象キャラクタの動作に反映させ、前記オブジェクト空間で動作する前記対象キャラクタの画像を生成する画像生成装置としてコンピュータを機能させるプログラムであって、
複数のキャラクタのそれぞれに対応付けられたキャラクタ属性と、前記演者が提示し得る複数の単語のそれぞれに対応付けられて規定された感情属性と、前記演者の採り得る複数の状態のそれぞれに対応付けられて規定された感情属性と、前記対象キャラクタの動作を制御する複数の操作コマンドと、を記憶したデータベースを管理する管理手段と、
前記複数のキャラクタの中から前記対象キャラクタを選定して前記オブジェクト空間へ設定する設定手段と、
前記演者の提示した単語を含む演者データの入力を受け付ける入力受付手段と、
前記演者が提示した単語を前記演者データから抽出する単語抽出処理手段と、
抽出した前記単語の感情属性を前記データベースに基づき特定し、当該感情属性に応じた第１のパラメータを生成する第１のパラメータ生成処理手段と、
入力した前記演者データの少なくとも一部と状態判定用の基準データとに基づき前記演者の状態を判定する判定手段と、
判定した前記状態の感情属性を前記データベースに基づき特定し、当該感情属性に応じた第２のパラメータを生成する第２のパラメータ生成処理手段と、
前記複数の操作コマンドの中から、前記対象キャラクタの動作の制御に用いるべき１又
は複数の操作コマンドを、前記第１のパラメータと、前記第２のパラメータと、選定した前記対象キャラクタのキャラクタ属性と、所与の選定基準とに基づき選定する操作コマンド選定手段と、
前記オブジェクト空間に設定された前記対象キャラクタの動作を、選定された前記操作コマンドに基づき制御する動作制御手段と、
前記オブジェクト空間内で動作する前記対象キャラクタの画像を生成する画像生成手段と、
生成された前記対象キャラクタの画像を出力する画像出力手段と、
してコンピュータを機能させる。

上記構成によれば、演者の動作が仮に同じであったとしても、選定された対象キャラクタの属性によって対象キャラクタの動作が変化し得るので、対象キャラクタの画像を観覧する視聴者は、演者の提示した単語や演者の状態に現れる感情のみならず、当該対象キャラクタの属性すなわち対象キャラクタらしさを、対象キャラクタの動作を通じて知覚することができる。一方、演者の側には、自分の提示する言葉や自分の状態を意識的して変化させずとも、対象キャラクタのキャラクタ属性を変更するだけで、対象キャラクタの動作の傾向を変化させることができるという利点がある。

例えば、操作コマンド選定手段は、特定のキャラクタ属性を有する対象キャラクタの特定動作を、別の特定動作へ変更することが可能である。具体的には、操作コマンド選定手段は、対象キャラクタのキャラクタ属性が「陽気なギャルキャラクタ」である場合に、喜びの動作（例えばジャンプ）を増幅（オーバーアクション化）させる操作コマンドを選定したり、対象キャラクタの特定のキャラクタ属性が「怒り易い男性キャラクタ」である場合に、驚きの動作（例えば両手を挙げる）を増幅（オーバーアクション化）させる操作コマンドを選定したりすることができる。

したがって、演者が特別な演技をせずとも対象キャラクタのキャラクタらしさを視聴者へアピールすることができるので、当該対象キャラクタに対する好悪の印象を強く視聴者に与えることができる。

一実施形態のコンテンツ配信システムを説明するための図の一例である。 一実施形態の画像生成システムを説明するための図の一例である。 一実施形態の端末装置に表示されるコンテンツを説明するための図の一例ある。 一実施形態のモニタ表示部に表示される確認用情報を説明するための図である。 一実施形態におけるサーバ装置の構成を示す機能ブロック図の一例である。 一実施形態における画像生成システムの構成を示す機能ブロック図の一例である。 一実施形態におけるデータベースに格納されたキャラクタテーブルを説明する図の一例である。 一実施形態におけるデータベースに格納された単語テーブルを説明する図の一例である。 一実施形態におけるデータベースに格納された状態テーブルを説明する図の一例である。 一実施形態におけるデータベースに格納されたコマンドテーブルを説明する図の一例である。 一実施形態におけるデータベースに格納された補正テーブルの一例である。 第１の選定処理における補正処理を説明する図の一例である。 キャラクタ効果が発現するタイミングを制御する処理を説明する図の一例である。 データベースに格納された対応テーブルを説明する図の一例である。 一実施形態における特徴量空間を説明する図の一例である。 一実施形態におけるデータベースに格納された対応テーブルを説明する図の一例である。 更新前の選定基準（範囲Ｂ１〜Ｂ６の境界）を説明する図の一例である。 更新後の選定基準（範囲Ｂ１〜Ｂ６の境界）を説明する図の一例である。 一実施形態におけるレーダーチャートを説明する図の一例である。 一実施形態におけるフローチャートの一例である。

以下、実施形態について説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。本実施形態では、観覧（視聴）の対象となるキャラクタ（以下、「対象キャラクタ」ともいう。）が配置されたオブジェクト空間内の画像をコンテンツとして視聴者へ配信するコンテンツ配信システムについて説明する。

［１］コンテンツ配信システムの概要
図１は、コンテンツ配信システムを説明するための図の一例である。図１に示すとおりコンテンツ配信システムには、実空間に存在する演者（例えば声優）のパフォーマンス（例えばフリートークライブ）に応じてコンテンツ（例えばキャラクタの動画像を含む画像コンテンツ）を生成する画像生成システム２０と、画像生成システム２０が生成するコンテンツを、インターネット（ＷＡＮ）、ＬＡＮなどのネットワークを介してユーザ（以下「視聴者」という。）の端末装置１０Ａ、１０Ｂ、…へ配信するサーバ装置１１とが含まれる。

画像生成システム２０は、例えば実空間のスタジオに設置され、個々の視聴者が使用する端末装置１０Ａ、１０Ｂ、…の各々は、視聴者が自宅や外出先などで使用する端末である。サーバ装置１１は、コンテンツ配信システムの運営者の事業所などに配置される。端末装置１０Ａ、１０Ｂ、…は、タブレット型情報端末装置、パーソナルコンピュータ、スマートフォン、又は、ゲーム機などの情報処理装置によって構成され、ネットワークを介してサーバ装置１１に接続可能である。

なお、端末装置１０Ａとサーバ装置１１との通信回線、画像生成システム２０とサーバ装置１１との通信回線は、それぞれ有線でもよいし無線でもよい。

［１．２］画像生成システムの概要
図２は、画像生成システム２０を説明するための図の一例である。図２に示すとおり画像生成システム２０には、実空間に存在する演者５から演者データを取得する演者データ取得部２５０と、当該演者５の動作を、オブジェクト空間に存在する対象キャラクタ（図３の符号８Ａ）の動作に反映させ、オブジェクト空間で動作する対象キャラクタ８Ａの動画像を含む画像コンテンツ（図３）を生成する画像生成装置２０Ｃと、画像コンテンツ（図３）の生成中に確認用情報（図４）を表示するモニタ表示部２９０とが備えられる。

演者データ取得部２５０は、例えば、集音マイク２５０Ａ及び撮像カメラ２５０Ｂなどを含み、音声データ及び画像データを含む演者データを、演者５から取得する。

画像生成装置２０Ｃは、例えば、タブレット型情報端末装置、パーソナルコンピュータ、スマートフォン、又は、ゲーム機などの情報処理装置によって構成され、インターネット（ＷＡＮ）、ＬＡＮなどのネットワークを介してサーバ装置１１に接続可能な装置である。また、画像生成装置２０Ｃとサーバ装置１１との通信回線は、有線でもよいし無線でもよい。

モニタ表示部２９０の用途は、演者５による自己の演技確認用であってもよいし、補助者（演者５を演出する者など）による演者５の演技確認用であってもよい。図４に示すとおりモニタ表示部２９０には各種の確認用情報が表示される。

［１．３］サーバ装置の概要
図１のサーバ装置１１は、例えば、ＡＰＩ（アプリケーションプログラミングインタフェース）や所定のプラットフォーム等を利用して、端末装置１０Ａ、１０Ｂから視聴者情報１４６を収集したり、画像生成システム２０へ各種のデータを提供したりする情報処理装置である。サーバ装置１１は、画像生成システム２０が生成した画像コンテンツを配信するためのデータ（ストリーミングデータ）を端末装置１０Ａ、１０Ｂ、…へ提供する。また、サーバ装置１１は、記憶領域（後述する記憶部１４０）を有し、端末装置１０などと連動して、当該記録領域を用いて各視聴者の課金情報、行動履歴の情報（以下、「行動履歴情報」という。）などの各情報の管理を実行することもできる。ただし、サーバ装置１１は、当該記憶領域に代えてネットワーク（イントラネット又はインターネット）を介して接続されたデータベース（広義には記憶装置、メモリ）に記憶するようにしてもよい。また、サーバ装置１１は、１つの（装置、プロセッサ）で構成されていてもよいし、複数の（装置、プロセッサ）で構成されていてもよい。また、本実施形態では、オブジェクト空間内の対象キャラクタ８Ａの動作制御を行う主体が画像生成システム２０であるとして説明するが、画像生成システム２０の一部の機能はサーバ装置１１の側に搭載されてもよい。

［２］サーバ装置の構成
図５は、サーバ装置１１の構成を示す機能ブロック図の一例である。なお、サーバ装置１１は図５の構成要素（各部）の一部を省略した構成としてもよい。

サーバ装置１１は、画像コンテンツの配信に関する処理を実行するサーバ処理部１００、管理者やその他の入力に用いるための入力部１２０、所定の表示を行う表示部１３０、視聴者情報１４６などのデータを記憶する記憶部１４０、所定の情報が記憶された情報記憶媒体１８０、及び、画像生成システム２０やその他と通信を行う通信部１９６を含む。

入力部１２０は、コンテンツ配信システムの管理者等が画像コンテンツに関する設定やその他の必要な設定、データの入力に用いるものである。例えば、入力部１２０は、マウスやキーボード等によって構成される。

表示部１３０は、システム管理者用の操作画面を表示するものである。例えば、本実施形態の表示部１３０は、液晶ディスプレイ等によって構成される。

情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ（ＲＯＭ）などによって構成される。

通信部１９６は、外部（例えば、端末、他のサーバや他のネットワークシステム）との間で通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信
用ＡＳＩＣなどのハードウェアや、プログラムなどによって構成される。

記憶部１４０は、サーバ処理部１００や通信部１９６などのワーク領域となるもので、その機能は、ＲＡＭ（ＶＲＡＭ）などによって構成される。なお、記憶部１４０に記憶される情報は、データベースで管理してもよい。

記憶部１４０には、ワーク領域として使用される主記憶部１４２が含まれる。また、記憶部１４０には、視聴者に関する視聴者情報１４６などが記憶される。視聴者情報１４６には、視聴者毎に視聴者ＩＤに対応付けて、
（１）性別、年代、居住地域などの視聴者の属性情報、
（２）好きなキャラクタなどの視聴者の嗜好情報、
（３）スマートフォンやＩＤタグなどの視聴者が保有する端末装置の情報（例えば、視聴者の個人を特定する情報などの視聴時の位置座標（視聴地域）を示す情報、
（４）所定のゲームにおけるプレー状況やその履歴（課金履歴も含む。）に関する情報（ゲームプレー情報）、
（５）対象キャラクタや当該対象キャラクタがパフォーマンスしている画像コンテンツに関連する所定の通販サイトや実売店舗（イベント会場内も含む）による課金情報やその課金履歴情報、
などの各情報が視聴者ＩＤ毎に格納されていてもよい。

また、課金履歴には、上記のように、ゲームにおける課金履歴、及び、サービスや商品の購入に関する課金を含み、これらの課金が実行された日時を示す課金日時、アイテムの購入やプレゼント（後述）の購入などの課金要素の種別、課金した額を示す課金額などが含まれる。

サーバ処理部１００は、記憶部１４０内の主記憶部１４２をワーク領域として各種処理を行う。サーバ処理部１００の機能は各種プロセッサ（ＣＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。

サーバ処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

例えば、サーバ処理部１００（プロセッサ）は、情報記憶媒体１８０に記憶されているプログラムに基づいて、サーバ装置１１全体の制御を行うために、通信制御部１０１及び視聴者管理部１０３を少なくとも有している。

通信制御部１０１は、画像生成システム２０とネットワークを介してデータを送受信する処理を行う。すなわち、通信制御部１０１は、画像生成システム２０から画像コンテンツデータを受信したり、端末装置１０から送信される視聴者情報１４６を受信したり、端末装置１０へ画像コンテンツを配信したりする。

視聴者管理部１０３は、各視聴者の登録手続きに係る処理（属性情報や嗜好情報などの登録）及びアカウント（視聴者ＩＤ）に紐付けられるデータの記憶管理を行う。具体的には、視聴者管理部１０３は、各視聴者情報を登録管理するためのアカウントの付与制御、画像コンテンツの配信中に検出された各視聴者の視聴者情報（以下、「検出視聴者情報」ともいい、視聴者が自己の端末装置へ入力した操作コマンドなども含む。）と視聴者に関する属性情報や嗜好情報などの個人情報とを登録管理する登録情報管理、アカウントに紐付けられ課金要素の実行に係る対価の支払い原資として使用される仮想口座の設定と入出
金制御、当該アカウントの視聴者による課金要素に係る課金履歴の登録、及び、ゲーム履歴の登録などを実行する。特に、視聴者管理部１０３は、検出視聴者情報としては、画像生成システム２０が生成した各情報を視聴者情報アカウントと紐付けて記憶及び管理を行う。

また、視聴者管理部１０３は、図示しないゲームサーバ装置、通販サイトを運営する管理サーバ装置、又は、クレジットカードや銀行の決済サーバ装置などの図示しない他のサーバ装置と連動し、ゲームプレー情報や課金履歴情報などのデータを授受することによって各情報の視聴者情報１４６への登録を実行してもよい。

［３］画像生成システムの構成
図６は、画像生成システム２０の構成を示す機能ブロック図の一例である。図６において点線枠で囲った部分が画像生成装置２０Ｃである。ただし、画像生成装置２０Ｃ以外の要素の一部又は全部は、画像生成装置２０Ｃの側に搭載されてもよいし、画像生成装置２０Ｃの一部の要素は、画像生成装置２０Ｃと別装置で構成されてもよい。

演者データ取得部２５０には、集音マイク２５０Ａ、撮像カメラ２５０Ｂが含まれる。ただし、演者データ取得部２５０には、赤外センサ、サーモグラフィ、又は演者５に固定されたマーカユニットとその検出装置（カメラ）など、演者５の状態を検出するための各種の機能が搭載されてもよい。

入力部２６０は、演者５又は補助者が操作コマンドを入力するためのものであり、その機能は、タッチパネル、タッチパネル型ディスプレイ、トラックボール、キーボード、マウスなどにより実現できる。入力部２６０は、例えば、タッチパネルなどのタッチ操作入力を実行するデバイスによって構成されている場合には、画像が表示される画面上における２次元の指示位置座標（ｘ，ｙ）を検出可能な検出部２６２を備えている。例えば、入力部２６０は、接触検出領域（タッチパネル）における、２次元の接触位置座標（ｘ，ｙ）を検出可能な検出部２６２を備えている。なお、操作者用のモニタ表示部（ディスプレイ）２９０が、液晶ディスプレイと、操作者の接触位置を検出するためのタッチパネルとが積層されたタッチパネル型ディスプレイとなっていてもよい。すなわち、モニタ表示部２９０が入力部２６０として機能してもよい。

記憶部２７０は、処理部２００や通信部２９６などのワーク領域となるもので、その機能はＲＡＭ（ＶＲＡＭ）などにより実現できる。そして、記憶部２７０は、ワーク領域として使用される主記憶部２７１と、生成中の画像コンテンツのフレームデータ（音声データ及び画像データ）などが一時的に格納されるバッファ２７２と、画像コンテンツに関連する各種のデータを記憶するコンテンツデータ記憶部２７４と、画像コンテンツの生成に必要な各種のデータを記憶するデータベース２７５とを含む。

なお、これらの一部を省略する構成としてもよいし、サーバ装置１１の記憶部１４０がその一部を構成してもよい。

情報記憶媒体２８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ（ＲＯＭ）などにより実現できる。

また、情報記憶媒体２８０には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）を記憶することができる。なお、処理部２００は、後述するように、情報記憶媒体２８０に格納され
るプログラム（データ）に基づいて本実施形態の種々の処理を行う。

モニタ表示部２９０は、画像コンテンツの生成中における確認用情報（図４）や生成中の画像コンテンツ（図３）を出力するものであり、その機能は、ＣＲＴ、ＬＣＤ、タッチパネル型ディスプレイ、ＨＭＤ（ヘッドマウントディスプレイ）、例えばスクリーンとプロジェクターから構成される投影装置などにより実現できる。モニタ表示部２９０は、上述のように、タッチパネルディスプレイを用いることにより操作者が各種の入力を行う入力部２６０としても機能する。ここでタッチパネルとして、例えば抵抗膜方式（４線式、５線式）、静電容量方式、電磁誘導方式、超音波表面弾性波方式、赤外線走査方式などのタッチパネルを用いることができる。

音出力部２９２は、演者５から取得された演者データに含まれる音、又は、生成された画像コンテンツに含まれる音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。なお、演者５の装着するヘッドフォンからは、確認用情報として演者５の音声がリアルタイムで出力されてもよい。

通信部２９６は、外部（例えばホスト装置や他の端末装置）との間で通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどにより実現できる。

なお、画像生成装置２０Ｃは、サーバ装置１１が有する情報記憶媒体や記憶部２７０に記憶されている本実施形態の各部としてコンピュータを機能させるためのプログラムやデータを、ネットワークを介して受信し、受信したプログラムやデータを情報記憶媒体２８０や記憶部２７０に記憶してもよい。このようにプログラムやデータを受信して画像生成装置２０Ｃを機能させる場合も本発明の範囲内に含めることができる。

処理部２００は、記憶部２７０をワーク領域として各種処理を行う。処理部２００の機能は各種プロセッサ（ＣＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。

特に、本実施形態の処理部２００は、オブジェクト空間設定部２１０と、モニタ表示制御部２１３と、移動処理部２１５と、仮想カメラ制御部２１６と、コンテンツ管理部２１９と、描画部２２０と、音処理部２３０と、データベース管理部２４１と、キャラクタ設定部２１０Ａと、演者データ入力受付部２４２と、単語抽出処理部２４３と、第１のパラメータ生成処理部２４４と、状態判定部２４５と、第２のパラメータ生成処理部２４６と、操作コマンド選定部２４７と、動作制御部２４８と、画像生成部２４９と、画像出力部２４０と、を含む。また、これらの一部を省略する構成としてもよい。

オブジェクト空間設定部２１０は、キャラクタオブジェクト（対象キャラクタ）、移動経路、建物、樹木、柱、壁、マップ（地形）などの表示物を表す各種オブジェクト（スプライト、ビルボード、ポリゴン、自由曲面又はサブディビジョンサーフェスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間（すなわち、ゲーム空間）に配置設定する処理を行う。

具体的にはオブジェクト空間設定部２１０は、オブジェクト（モデルオブジェクト）の位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ）或いは（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ軸回りでの回転角度）或いは（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。

なお、オブジェクト空間とは、いわゆる仮想２次元空間、仮想３次元空間の両方を含む
。２次元空間とは、例えば２次元座標（Ｘ，Ｙ）においてオブジェクトが配置される空間であり、３次元空間とは、例えば３次元座標（Ｘ，Ｙ，Ｚ）においてオブジェクトが配置される空間である。

そして、オブジェクト空間を２次元空間とした場合には、複数のオブジェクトそれぞれについて設定された優先順位に基づいてオブジェクトを配置する。例えば、奥側にあるように見せたいオブジェクト（スプライト）から順にオブジェクトを配置し、手前側にあるように見せたいオブジェクトを重ねて配置する処理を行うことができる。

また、描画サイズが大きなオブジェクトを画像の下方に配置し、描画サイズが小さなオブジェクトを画像の上方に配置すれば、画面の上方に対応するオブジェクト空間が奥側にあるように見せることができ、画面の下方に対応するオブジェクト空間が手前側にあるように見せることができる。

一方、オブジェクト空間を３次元空間とした場合には、ワールド座標系にオブジェクトを配置する。

モニタ表示制御部２１３は、生成中の画像コンテンツ（図３）をモニタ表示部２９０に表示するとともに、演者５や補助者を支援する確認用情報（図４）の表示をモニタ表示部２９０に行う。

移動処理部２１５は、オブジェクト空間内におけるオブジェクトの移動演算を行う。すなわち、移動処理部２１５は、後述する方法で選定された操作コマンド、プログラム（移動アルゴリズム）、各種データ（モーションデータ）などに基づいて、移動体オブジェクトをオブジェクト空間内で移動させ、又は、移動体オブジェクトの動作（モーション、アニメーション）を制御するための処理を行う。

具体的には、本実施形態の移動処理部２１５は、オブジェクトの移動情報（移動方向、移動量、移動速度、位置、回転角度、或いは加速度）や動作情報（各パーツオブジェクトの位置、或いは回転角度）を、１フレーム毎に順次求めるシミュレーション処理を行う。ここでフレームとは、オブジェクトの移動処理、動作処理（シミュレーション処理）や画像生成処理を行う時間の単位である。そして、本実施形態では、フレームレートは、固定としてもよいし、処理負荷に応じて可変としてもよい。

仮想カメラ制御部２１６は、所与の視点から見える画像であって、奥行きがあるように見える画像を生成する。この場合に、仮想カメラ制御部２１６が、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置や視線方向を制御する処理）を行う。

例えば、仮想カメラによりオブジェクト（例えば、キャラクタ、ボール、車）を後方から撮影する場合には、オブジェクトの位置又は回転の変化に仮想カメラが追従するように、仮想カメラの位置又は回転角度（仮想カメラの向き）を制御する。

この場合には、移動処理部２１５で得られたオブジェクトの位置、回転角度又は速度などの情報に基づいて、仮想カメラを制御できる。或いは、仮想カメラを、予め決められた回転角度で回転させたり、予め決められた移動経路で移動させたりする制御を行ってもよい。また、この場合には、仮想カメラの位置（移動経路）又は回転角度を特定するための仮想カメラデータに基づいて仮想カメラを制御する。

なお、仮想カメラ（視点）が複数存在する場合には、それぞれの仮想カメラについて上記の制御処理が行われる。

コンテンツ管理部２１９は、画像コンテンツの生成中に採用された操作コマンドの種別及びタイミングをコンテンツ生成情報としてコンテンツデータ記憶部２７４に記録する。例えば、コンテンツ管理部２１９は、画像コンテンツの各区間に適用された操作コマンドを、区間毎にコンテンツデータ記憶部２７４へ記憶する。

描画部２２０は、処理部２００で行われる種々の処理（画像コンテンツの配信に関する各処理）の結果に基づいて描画処理を行い、これにより画像コンテンツに含まれる画像を生成する。

また、描画部２２０が生成する画像は、いわゆる２次元画像であってもよいし、いわゆる３次元画像であってもよく、描画部２２０は、オブジェクト空間における仮想カメラから見える画像を、画像コンテンツに含まれる画像として生成する。

ここで２次元画像を生成する場合には、描画部２２０は、設定された優先度が低いオブジェクトから順に描画して、オブジェクト同士が重なる場合には、優先度の高いオブジェクトを上書きして描画する。

また、３次元画像を生成する場合には、描画部２２０は、まずオブジェクト（モデル）の各頂点の頂点データ（頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）を含むオブジェクトデータ（モデルデータ）が入力され、入力されたオブジェクトデータに含まれる頂点データに基づいて、頂点処理が行われる。なお、頂点処理を行うに際して、必要に応じてポリゴンを再分割するための頂点生成処理（テッセレーション、曲面分割、ポリゴン分割）を行うようにしてもよい。

また、頂点処理では、頂点の移動処理や、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、あるいは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、オブジェクトを構成する頂点群について与えられた頂点データを変更（更新、調整）する。そして、頂点処理後の頂点データに基づいてラスタライズ（走査変換）が行われ、ポリゴン（プリミティブ）の面とピクセルとが対応づけられる。そしてラスタライズに続いて、画像を構成するピクセル（表示画面を構成するフラグメント）を描画するピクセル処理（フラグメント処理）が行われる。

ピクセル処理では、テクスチャの読出し（テクスチャマッピング）、色データの設定／変更、半透明合成、アンチエイリアス等の各種処理を行って、画像を構成するピクセルの最終的な描画色を決定し、透視変換されたオブジェクトの描画色をバッファ２７２（フレームバッファ、ピクセル単位で画像情報を記憶できるバッファ。ＶＲＡＭ、レンダリングターゲット）に出力（描画）する。すなわち、ピクセル処理では、画像情報（色、法線、輝度、α値等）をピクセル単位で設定あるいは変更するパーピクセル処理を行う。

これにより、オブジェクト空間内に設定された仮想カメラ（所与の視点）から見える画像が生成される。なお、仮想カメラ（視点）が複数存在する場合には、それぞれの仮想カメラから見える画像を分割画像として１画面に表示できるように画像を生成することができる。

なお、描画部２２０が行う頂点処理やピクセル処理は、シェーディング言語によって記述されたシェーダプログラムによって、ポリゴン（プリミティブ）の描画処理をプログラム可能にするハードウェア、いわゆるプログラマブルシェーダ（頂点シェーダやピクセル
シェーダ）により実現されてもよい。プログラマブルシェーダでは、頂点単位の処理やピクセル単位の処理がプログラム可能になることで描画処理内容の自由度が高く、ハードウェアによる固定的な描画処理に比べて表現力を大幅に向上させることができる。そして、描画部２２０は、オブジェクトを描画する際に、ジオメトリ処理、テクスチャマッピング、隠面消去処理、αブレンディング等を行う。

ジオメトリ処理では、オブジェクトに対して、座標変換、クリッピング処理、透視投影変換、或いは光源計算等の処理を行う。そして、ジオメトリ処理後（透視投影変換後）のオブジェクトデータ（オブジェクトの頂点の位置座標、テクスチャ座標、色データ（輝度データ）、法線ベクトル、或いはα値等）を記憶部２７０に記憶する。

テクスチャマッピングでは、記憶部２７０のテクスチャ記憶部に記憶されるテクスチャ（テクセル値）をオブジェクトにマッピングする処理を行う。具体的には、オブジェクトの頂点に設定（付与）されるテクスチャ座標等を用いて記憶部２７０のテクスチャ記憶部からテクスチャ（色（ＲＧＢ）、α値などの表面プロパティ）を読み出し、２次元の画像であるテクスチャをオブジェクトにマッピングする。この場合に、ピクセルとテクセルとを対応づける処理や、テクセルの補間としてバイリニア補間などを行う。

なお、本実施形態では、オブジェクトを描画する際に、所与のテクスチャをマッピングする処理を行うようにしてもよい。この場合には、マッピングされるテクスチャの色分布（テクセルパターン）を動的に変化させることができる。

また、この場合において、色分布（ピクセルパターン）が異なるテクスチャを動的に生成してもよいし、複数の色分布が異なるテクスチャを予め用意しておき、使用するテクスチャを動的に切り替えるようにしてもよい。またオブジェクト単位でテクスチャの色分布を変化させてもよい。

隠面消去処理では、描画ピクセルのＺ値（奥行き情報）が格納されるＺバッファ（奥行きバッファ）を用いたＺバッファ法（奥行き比較法、Ｚテスト）による隠面消去処理を行う。すなわち、オブジェクトのプリミティブに対応する描画ピクセルを描画する際に、Ｚバッファに格納されるＺ値を参照するとともに、当該参照されたＺバッファのＺ値と、プリミティブの描画ピクセルでのＺ値とを比較し、描画ピクセルでのＺ値が、仮想カメラから見て手前側となるＺ値（例えば小さなＺ値）である場合には、その描画ピクセルの描画処理を行うとともにＺバッファのＺ値を新たなＺ値に更新する。

αブレンディング（α合成）では、描画部２２０は、α値（Ａ値）に基づく半透明合成処理（通常αブレンディング、加算αブレンディング又は減算αブレンディング等）を行う。なお、α値は、各ピクセル（テクセル、ドット）に関連づけて記憶できる情報であり、例えば色情報以外のプラスアルファの情報である。α値は、マスク情報、半透明度（透明度、不透明度と等価）、バンプ情報などとして使用できる。

音処理部２３０は、処理部２００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などの対象キャラクタがパフォーマンスを実行する際の各種の音を生成し、音出力部２９２に出力する。

データベース管理部２４１は、データベース２７５を管理する。データベース２７５の管理には、データベース２７５に格納された、キャラクタテーブル（図７）、単語テーブル（図８）、状態テーブル（図９）、コマンドテーブル（図１０）、補正テーブル（図１１）、対応テーブル（図１４、図１６）などの管理が含まれる。

オブジェクト空間設定部２１０のキャラクタ設定部２１０Ａは、演者５又は補助者の指示に基づいて、複数のキャラクタの中から対象キャラクタを選定してオブジェクト空間へ設定する処理を実行する。

演者データ入力受付部２４２は、トークライブ中に、演者５の音声を含む演者データの入力を受け付ける。

単語抽出処理部２４３は、入力された演者データに含まれる音声に対するテキスト変換処理に基づき、音声をテキストに変換し、演者５が発語した単語を当該テキストから抽出する。

第１のパラメータ生成処理部２４４は、単語抽出処理部２４３が抽出した単語の感情属性をデータベース２７５の単語テーブル（図８）に基づき特定し、当該感情属性に応じた第１のパラメータを生成する。

状態判定部２４５は、入力した演者データの少なくとも一部と状態判定用の基準データとに基づき演者５の状態（ここでは主に所作）を判定する。

第２のパラメータ生成処理部２４６は、状態判定部２４５が判定した状態（所作）の感情属性をデータベース２７５の状態テーブル（図９）に基づき特定し、当該感情属性に応じた第２のパラメータを生成する。

操作コマンド選定部２４７は、複数の操作コマンドの中から、対象キャラクタ８Ａの動作の制御に用いるべき１又は複数の操作コマンドを、第１のパラメータと、第２のパラメータと、選定した対象キャラクタのキャラクタ属性と、所与の選定基準とに基づき選定する。

動作制御部２４８は、オブジェクト空間に設定された対象キャラクタ８Ａの動作を、選定された操作コマンドに基づき制御する。

画像生成部２４９は、オブジェクト空間内で動作する対象キャラクタ８Ａの画像データ（図３）を生成する。

画像出力部２４０は、生成された対象キャラクタ８Ａの画像データを含む画像コンテンツを、サーバ装置１１へ出力する。

データベース２７５は、キャラクタテーブル（図７）、単語テーブル（図８）、状態テーブル（図９）、コマンドテーブル（図１０）、補正テーブル（図１１）、対応テーブル（図１４、図１６）などを記憶する。

［４］本実施形態の手法
［４．１］概要
次に、本実施形態の手法（画像コンテンツの生成処理）の概要について説明する。

本実施形態の画像生成装置２０Ｃは、実空間に存在する演者５の動作を、オブジェクト空間に存在する対象キャラクタ８Ａの動作に反映させ、オブジェクト空間で動作する対象キャラクタ８Ａの画像（図３）のデータ（以下、画像データという。）を生成する。

ここで、「演者５」には、声優、俳優、アイドル、司会者、講演者（落語家、漫談家などを含む）などが含まれ、一般人が含まれる。ただし、ここでは「声優」を想定する。

また、「演者５の動作」には、演者５が言葉を提示する行為、所作、表情などが含まれる。

また、「演者５による提示」には、演者５が身体の少なくとも一部で表現することや、演者５が（言葉や単語を）を意図することなどが含まれてもよく、例えば、テキストのタイピング入力、テキストのフリック入力、言葉の音声入力（発語）、口唇形状変化による言葉の入力などが含まれてもよい。よって、「演者５による単語の提示」には、演者５の発語による単語の入力、演者５のタイピングによる単語の入力、演者５が唇の形で意図しこれを画像解析で読み取った単語の入力、演者５がジャスチャー（手話など）で意図しこれを画像解析で読み取った単語の入力などが含まれる。但し、本実施形態では、「演者５による提示」として、「演者５による発語」が採用された場合を想定する。

また、「対象キャラクタ８Ａの動作」には、対象キャラクタ８Ａによる発語、所作、表情などが含まれる。ここでは、対象キャラクタ８Ａの発語は、基本的に演者５の発語と同じに設定され、対象キャラクタ８Ａの発言の語尾が操作コマンドに応じて制御される場合を想定する。また、ここでは、対象キャラクタ８Ａの音色（声色、周波数スペクトルともいう。）は、対象キャラクタ８Ａのキャラクタ属性に予め対応付けられた声色に設定され、対象キャラクタ８Ａの所作及び表情が操作コマンド（後述）に応じて制御されるものとする。ただし、演者５の音声を加工せずにそのまま対象キャラクタ８Ａの音声として用いることも当然に可能である。

また、「オブジェクト空間」には、キャラクタを含むオブジェクトが配置された２次元又は３次元の仮想空間が含まれる。図３では、オブジェクト空間として３次元の仮想空間を想定している。

本実施形態の画像生成装置２０Ｃにおいては、演者５の動作が仮に同じであったとしても、選定された対象キャラクタ８Ａの属性によって対象キャラクタ８Ａの動作が変化し得るので、対象キャラクタ８Ａの画像コンテンツ（図３）を観覧する視聴者は、演者５の発語した単語や演者５の状態（所作）に現れる感情のみならず、当該対象キャラクタ８Ａの属性すなわち対象キャラクタ８Ａらしさを、対象キャラクタ８Ａの動作を通じて知覚することができる。一方、演者５の側には、自分の発語する言葉や自分の状態（所作）を意識的して変化させずとも、対象キャラクタ８Ａのキャラクタ属性を変更するだけで、対象キャラクタ８Ａの動作の傾向を変化させることができるという利点がある。したがって、演者が特別な演技をせずともキャラクタらしさを視聴者へアピールすることができるので、当該キャラクタに対する好悪の印象を強く視聴者に与えることができる。

［４．２］データベースに格納された情報
次に、データベース２７５（図６）に格納されたキャラクタテーブル（図７）、単語テーブル（図８）、状態テーブル（図９）、及びコマンドテーブル（図１０）を、順に説明する。これらのテーブルは、画像コンテンツの生成処理を実行する際に利用される。

［４．２．１］キャラクタテーブル
図７に示すとおり、キャラクタテーブルには、複数のキャラクタのキャラクタ名と、キャラクタ名のそれぞれに対応付けられたキャラクタ属性と、当該キャラクタ属性に対応付けられて規定されたポジティブレベルを数値化したポジティブ点数とが、キャラクタＩＤごとに予め書き込まれている。

図７の例では、キャラクタＩＤ「Ｃ００１」のキャラクタＡには、「陽気な中年男性」というキャラクタ属性が対応付けられており、「陽気な中年男性」というキャラクタ属性
には、ポジティブ点数「１５」が対応付けられている。

ここで、キャラクタ属性に対応するポジティブ点数は、当該キャラクタ属性に含まれる感情属性（当該キャラクタ属性の抱き易い感情の傾向）を二極化して数値化したものである。すなわち、個々の感情属性は、当該感情属性の名称から一般的に想起される印象に基づき、予め「ポジティブ」と「ネガティブ」との２つのクラス（２極）に分類されており、「ポジティブ」に属する感情属性には、ポジティブ点数として正の値が割り当てられ、「ネガティブ」に属する感情属性には、ポジティブ点数として負の値が割り当てられる。また、個々の感情属性は、当該感情属性の名称から一般的に想起される感情の激しさに応じてレベル分けされており、レベルの高い感情属性ほどポジティブ点数の絶対値として大きな値が割り当てられる。

よって、例えば、キャラクタＩＤ「Ｃ００７」の「陽気な少女」というキャラクタ属性には、当該キャラクタ属性「陽気な少女」に含まれる感情属性「陽気」に係るポジティブ点数「１５」が対応付けられており、キャラクタＩＤ「Ｃ０１０」の「やや陽気な中年男性」というキャラクタ属性には、当該キャラクタ属性「やや陽気な中年男性」に含まれる感情属性「やや陽気」に係るポジティブ点数「１０」が対応付けられており、キャラクタＩＤ「Ｃ０２１」の「陰気な少女」というキャラクタ属性には、当該キャラクタ属性「陰気な少女」に含まれる感情属性「陰気」に係るポジティブ点数「−１０」が対応付けられている。

以上のとおり、本実施形態のキャラクタテーブル（図７）では、感情が激しくポジティブな印象のキャラクタほど高いポジティブ点数が対応付けられている。なお、図７では感情属性として「陽気」、「陰気」、「落ち着いた」、「神経質」などの表現を用いたが、「プラス思考」、「積極的」、「消極的」、「マイナス思考」、「喜」、「怒」、「哀」、「楽」、「驚」などの表現を用いてもよい。何れの表現を用いたとしても、当該表現から一般的に想起される印象に基づきポジティブ点数が割り当てられることが望ましい。

［４．２．２］単語テーブル
図８に示すとおり、単語テーブルには、演者５が発語し得る複数の単語と、単語のそれぞれに対応付けられて規定された感情属性と、当該感情属性に対応付けられて規定されたポジティブ点数とが、単語ＩＤごとに予め書き込まれている。

図８の例では、単語ＩＤ「Ｗ００１」の単語「やったね」には、「ポジティブ」という感情属性が対応付けられており、感情属性「ポジティブ」には、ポジティブ点数「１５」が対応付けられている。また、単語ＩＤ「Ｗ０３０」の単語「お腹すいた」には、「ネガティブ」という感情属性が対応付けられており、感情属性「ネガティブ」には、ポジティブ点数「−１０」が対応付けられている。

ここで、感情属性に対応するポジティブ点数は、当該感情属性を二極化して数値化したものである。すなわち、個々の感情属性は、当該感情属性の名称から一般的に想起される印象に基づき、予め「ポジティブ」と「ネガティブ」との２つのクラス（２極）に分類されており、「ポジティブ」に属する感情属性には、ポジティブ点数として正の値が割り当てられ、「ネガティブ」に属する感情属性には、ポジティブ点数として負の値が割り当てられる。また、個々の感情属性は、当該感情属性の名称から一般的に想起される感情の激しさに応じてレベル分けされており、レベルの高い感情属性ほどポジティブ点数の絶対値として大きな値が割り当てられる。なお、図８で割り当てられた数値はあくまでも一例であって、数値の割り当ては適宜に変更が可能である。

よって、例えば、単語ＩＤ「Ｗ００１」の「やったね」という単語には、相対的に高い
ポジティブ点数「１５」が対応付けられており、単語ＩＤ「Ｗ０３０」の「おなかすいた」には、相対的に低いポジティブ点数「−５」が対応付けられている。

以上のとおり、本実施形態の単語テーブル（図８）では、感情が激しくポジティブな印象の単語ほど高いポジティブ点数が対応付けられている。なお、図８では感情属性として「ポジティブ」、「ややポジティブ」、「フラット」、「ややネガティブ」などの表現を用いたが、「プラス思考」、「積極的」、「消極的」、「マイナス思考」、「喜」、「怒」、「哀」、「楽」、「驚」などの表現を用いてもよい。何れの表現を用いたとしても、当該表現から一般的に想起される印象に基づきポジティブ点数が割り当てられることが望ましい。

［４．２．３］状態テーブル
図９に示すとおり、状態テーブルには、演者５の採り得る複数の状態（以下、演者５の状態として動作のうち特に「所作」に着目する。）と、複数の状態（所作）のそれぞれに対応付けられて規定された感情属性と、当該感情属性に対応付けられて規定されたポジティブ点数とが、状態ＩＤごとに予め書き込まれている。

図９の例では、状態ＩＤ「Ｍ００１」の状態（所作）「ジャンプジェスチャー」には、ジャンプジェスチャーから一般に想起される「楽」という感情属性が対応付けられており、感情属性「楽」には、ポジティブ点数「１５」が対応付けられている。また、状態ＩＤ「Ｍ０３０」の状態（所作）「バンザイジェスチャー」には、バンザイジェスチャーから一般に想起される「驚」という感情属性が対応付けられており、感情属性「驚」には、ポジティブ点数「−５」が対応付けられている。

ここで、感情属性に対応するポジティブ点数は、当該感情属性（喜怒哀楽驚の別）を二極化して数値化したものである。すなわち、個々の感情属性は、当該感情属性（喜怒哀楽驚の別）から一般的に想起される印象に基づき、予め「ポジティブ」と「ネガティブ」との２つのクラス（２極）に分類されており、「ポジティブ」に属する感情属性「楽」、「喜」などには、ポジティブ点数として正の値が割り当てられ、「ネガティブ」に属する感情属性「驚」には、ポジティブ点数として負の値が割り当てられる。また、個々の感情属性は、当該感情属性（喜怒哀楽驚の別）から一般的に想起される感情の激しさに応じてレベル分けされており、レベルの高い感情属性ほどポジティブ点数の絶対値として大きな値が割り当てられる。なお、図９で割り当てられた数値はあくまでも一例であって、数値の割り当ては適宜に変更が可能である。

よって、ポジティブな感情を表す状態（所作）「ジャンプジェスチャー」には、相対的に高いポジティブ点数「１５」が対応付けられており、ネガティブな感情を表す状態（所作）「腕組みジェスチャー」には、相対的に低いポジティブ点数「０．３」が対応付けられている。

以上のとおり、本実施形態の状態テーブル（図９）では、感情が激しくポジティブな印象の所作ほど高いポジティブ点数が対応付けられている。なお、図９では感情属性として「楽」、「喜」、「哀」、「怒」、「驚」などの表現を用いたが、「プラス思考」、「積極的」、「消極的」、「マイナス思考」、「ポジティブ」、「ややポジティブ」、「フラット」、「ややネガティブ」、「ネガティブ」などの表現を用いてもよい。何れの表現を用いたとしても、当該表現から一般的に想起される印象に基づきポジティブ点数が割り当てられることが望ましい。

［４．２．４］コマンドテーブル
図１０に示すとおり、コマンドテーブルには、対象キャラクタ８Ａの動作を制御する複
数の操作コマンドが、コマンドＩＤごとに予め書き込まれている。ただし、図１０ではコマンドＩＤの代わりに符号ａ１、ａ２、…、ｂ１、ｂ２、…、ｃ１、ｃ２、…、ｄ１、ｄ２、…によって操作コマンドを区別している。ここでは、操作コマンドには、表情コマンドａ１，ａ２，…と、所作コマンドｂ１，ｂ２，…と、視覚効果コマンドｃ１，ｃ２，…と、発語コマンドｄ１，ｄ２，…の４種類が含まれるものとする。また、本実施形態では、トークライブ中の区間ごとに、表情コマンドａ１，ａ２，…の何れか１つと、ジェスチャーコマンドｂ１，ｂ２，…の何れか１つと、視覚効果コマンドｃ１，ｃ２，…の何れか１つと、発語コマンドｄ１，ｄ２，…の何れか１つとが選定され、選定された４つの操作コマンドの組み合わせに応じて、区間における対象キャラクタ８Ａの動作が制御されるものとする。以下、表情コマンド、所作コマンド、視覚効果コマンド、発語コマンドの具体例を順に説明する。

［４．２．４．１］表情コマンド
例えば、表情コマンドには、対象キャラクタ８Ａの表情を笑った表情にするコマンドａ１、対象キャラクタ８Ａの表情をはにかんだ表情にするコマンドａ２、対象キャラクタ８Ａの表情を無表情にするコマンドａ３、対象キャラクタ８Ａの表情を怒った表情にするコマンドａ４と、対象キャラクタ８Ａの表情を驚いた表情にするコマンドａ５、…などが含まれる。

［４．２．４．２］所作コマンド
例えば、所作コマンドには、対象キャラクタ８Ａにジャンプジェスチャーをさせるコマンドｂ１、対象キャラクタ８Ａに片手上げジェスチャーをさせるコマンドｂ２、対象キャラクタ８Ａを静止状態にするコマンドｂ３、対象キャラクタ８Ａに手で顔を覆うジェスチャーをさせるコマンドｂ４、対象キャラクタ８Ａにバンザイジェスチャーをさせるコマンドｂ５、…などが含まれる。

［４．２．４．３］視覚効果コマンド
例えば、視覚効果コマンドには、オブジェクト空間にスターマーク（スターオブジェクト）を発生させるコマンドｃ１、オブジェクト空間にハートマーク（ハートオブジェクト）を発生させるコマンドｃ２、オブジェクト空間にいずれのオブジェクトをも発生させないコマンドｃ３、…などが含まれる。

［４．２．４．４］発語コマンド
例えば、発語コマンドには、対象キャラクタ８Ａの発語する言葉の語尾や表現を特定地方の方言に変換するコマンド、対象キャラクタ８ａの発語する言葉の語尾を特定の語尾に変換するコマンド、対象キャラクタ８ａの発語する言葉の語尾や表現を女性言葉の語尾に変換するコマンド、対象キャラクタ８ａの発語する言葉の語尾や表現を男性言葉の語尾に変換するコマンド、…などが含まれる。

［４．３］画像生成処理に関連する要素
次に、図６の画像生成装置２０Ｃのうち特に画像コンテンツの生成処理に関連する要素について詳しく説明する。画像コンテンツの生成処理に関連する要素は、例えば、データベース管理部２４１、演者データ入力受付部２４２、単語抽出処理部２４３、第１のパラメータ生成処理部２４４、状態判定部２４５、第２のパラメータ生成処理部２４６、操作コマンド選定部２４７、動作制御部２４８、画像生成部２４９、画像出力部２４９１、及びキャラクタ設定部２１０Ａである。

［４．３．１］データベース管理部
データベース管理部２４１は、複数のキャラクタのそれぞれに対応付けられたキャラクタ属性（図７のキャラクタテーブル）と、演者５が発語し得る複数の単語のそれぞれに対
応付けられて規定された感情属性（図８の単語テーブル）と、演者５の採り得る複数の状態（所作）のそれぞれに対応付けられて規定された感情属性（図９の状態テーブル）と、対象キャラクタ８Ａの動作を制御する複数の操作コマンド（図１０のコマンドテーブル）と、を記憶したデータベース２７５を管理する。

例えば、データベース管理部２４１は、トークライブ中に必要に応じてキャラクタテーブル（図７）、単語テーブル（図８）、状態テーブル（図９）、コマンドテーブル（図１０）を読み出したり、トークライブの開始前後に、コンテンツ配信システムの管理者からの要求に応じて、キャラクタテーブル（図７）、単語テーブル（図８）、状態テーブル（図９）、コマンドテーブル（図１０）の内容を更新したりする処理を実行する。

なお、データベース２７５には、後述する状態判定用の基準データ、後述する対応テーブル（図１４）なども予め格納されてり、これらのデータも必要に応じてデータベース管理部２４１によって読み出されるものとする。

［４．３．２］キャラクタ設定部
キャラクタ設定部２１０Ａは、演者５又は補助者の指示に基づいて、複数のキャラクタの中から対象キャラクタを選定してオブジェクト空間へ設定する。例えば、キャラクタ設定部２１０Ａは、トークライブの開始に先立ち、入力部２６０を介して演者５又は不図示の補助者から、キャラクタを指定する操作入力を受付け、当該操作入力に基づき演者５又は補助者の指定したキャラクタを特定すると、特定したキャラクタを対象キャラクタ８Ａとしてオブジェクト空間へ設定する。

［４．３．３］演者データ入力受付部
演者データ入力受付部２４２は、トークライブ中に、演者５の発語した単語を含む演者データ（音声データ及び画像データ）の入力を受け付ける。例えば、演者データ入力受付部２４２は、トークライブ中に演者データ取得部２５０が所定周期でサンプリングする演者データ（音声データ及び画像データ）を、当該サンプリング周期と同じ周期で受付け、当該演者データ（音声データ及び画像データ）をバッファ２７２に一時的に蓄積する。本実施形態では、バッファ２７２に蓄積された区間の演者データ（音声データ及び画像データ）に基づき、画像コンテンツの該当区間のフレームデータ（音声データ及び画像データ）が生成される。

なお、演者データ入力受付部２４２は、トークライブ中に演者データ取得部２５０がサンプリングした全区間の演者データを、トークライブの終了後に、画像コンテンツの基となった演技のファイルとして、コンテンツデータ記憶部２７４に保存してもよい。

［４．３．４］単語抽出処理部
単語抽出処理部２４３は、入力された演者データに含まれる音声に対するテキスト変換処理に基づき、音声をテキストに変換し、演者５が発語した単語を当該テキストから抽出する。

ここで、「テキストへの変換」には、所与の言語モデルが利用されてもよい。また、「単語抽出処理」には、言語解析を実行してテキストから単語を認識すると共に、「てにをは」や「疑問形」、「断定」などの言語体系を認識（形態素解析や構文解析）する処理が含まれてもよい。

例えば、単語抽出処理部２４３は、バッファ２７２に蓄積された区間の演者データに含まれる音声データを参照し、当該音声データにテキスト変換処理を施すことにより、当該音声データをテキストデータに変換する。このテキストデータには、単語を表すテキスト
のほか、「てにをは」を示すテキストなども含まれる。そして、単語抽出処理部２４３は、テキストデータから予め単語テーブルに登録された単語（例えば、名詞や動詞）を抽出する。

［４．３．５］第１のパラメータ生成処理部
第１のパラメータ生成処理部２４４は、単語抽出処理部２４３が抽出した単語の感情属性をデータベース２７５の単語テーブル（図８）に基づき特定し、当該感情属性に応じた第１のパラメータを生成する。

ここで、「第１のパラメータ」には、演者５の発語した単語に反映された感情のネガティブ度又はポジティブ度を示す数値（点数、ランク、レベル、段階、符号など）が含まれる。

例えば、第１のパラメータ生成処理部２４４は、単語抽出処理部２４３が抽出した単語に応じて単語テーブル（図８）を参照し、当該単語に対応付けられたポジティブ点数を、第１のパラメータとして生成する。

また、「第１のパラメータの生成」は、言語体系まで加味して行われてもよい。例えば、第１のパラメータ生成処理部２４４は、単語抽出処理部２４３が抽出した１又は複数の単語に応じて単語テーブル（図８）を参照し、当該１又は複数の単語に対応付けられた感情属性を認識すると、これら感情属性のうち最も優勢な（多数派の）感情属性に対応するポジティブ点数を、第１のパラメータとして生成する。このように、単語テーブル（図８）を利用すれば、複雑な演算処理を要しないので、第１のパラメータを高速に生成することができる。

また、例えば、第１のパラメータ生成処理部２４４は、前述したテキストデータに「泣きたいわ」というテキストが含まれていた場合に、単語「泣く」に対応付けられたポジティブ点数を単語テーブル（図８）に基づき認識すると共に、当該単語「泣く」の前後に現れた言語体系（「てにをは」の種別、「疑問形であるか否か」、「断定形であるか否か」の情報）に応じた補正を当該ポジティブ点数に施すことにより、第１のパラメータを生成してもよい。その場合、前述したテキストデータに同じ単語「泣く」が含まれる場合であっても、発語が「泣く気分」であった場合と「泣きたいね」であった場合とで第１のパラメータが異なる数値になることがある。

［４．３．６］状態判定部
状態判定部２４５は、入力した演者データの少なくとも一部と状態判定用の基準データとに基づき演者５の状態（所作）を判定する。

ここで、「演者データの少なくとも一部」には、音声の振幅データ、音声の周波数スペクトルデータ、身体データ（身体の画像データなど）、表情データ（顔の画像データなど）などが含まれてもよい。

また、「状態判定用の基準データ」には、所与のテンプレート、所与の音響モデルなどが含まれる。ただし、状態として所作のみを判定する場合には、基準データとしての音響モデルは必須ではない。

例えば、状態判定部２４５は、以下の処理（ｉ）〜（ｉｉｉ）を実行する。

（ｉ）状態判定部２４５は、バッファ２７２に蓄積された区間の演者データに含まれる複数フレーム分の画像データを参照し、当該区間の複数フレーム分の画像データから、演者
５の所作が反映された特徴パターン（時系列パターン）を抽出する処理を実行する。

（ｉｉ）状態判定部２４５は、抽出した特徴パターンと、状態判定用の基準データ（所作毎のテンプレート）との相関を、所作毎に算出する処理を実行する。なお、状態判定用の基準データ（所作毎のテンプレート）は、例えば、データベース２７５に予め格納されている。

（ｉｉｉ）状態判定部２４５は、当該相関が最も高かった所作を、演者５の行った所作であると判定する。

［４．３．７］第２のパラメータ生成処理部
第２のパラメータ生成処理部２４６は、判定した状態（所作）の感情属性をデータベース２７５の状態テーブル（図９）に基づき特定し、当該感情属性に応じた第２のパラメータを生成する。

ここで、「第２のパラメータ」には、演者５の状態（所作）に反映された感情のネガティブ度又はポジティブ度を示す数値（点数、ランク、レベル、段階、符号など）が含まれる。

例えば、第２のパラメータ生成処理部２４６は、状態判定部２４５が判定した所作に応じて状態テーブル（図９）を参照し、当該所作に対応付けられたポジティブ点数を、第２のパラメータとして生成する。このように、状態テーブル（図９）を利用すれば、複雑な演算処理を要しないので、第２のパラメータを高速に生成することができる。

また、例えば、第２のパラメータ生成処理部２４６は、状態判定部２４５３が判定した１又は複数の所作に応じて状態テーブル（図９）を参照し、当該１又は複数の所作に対応付けられた感情属性を認識すると、これら感情属性のうち最も優勢な（多数派の）感情属性に対応するポジティブ点数を、第２のパラメータとして生成する。このように、状態テーブル（図９）を利用すれば、複雑な演算処理を要しないので、第２のパラメータを高速に生成することができる。

［４．３．８］操作コマンド選定部
操作コマンド選定部２４７は、複数の操作コマンドの中から、対象キャラクタ８Ａの動作の制御に用いるべき１又は複数の操作コマンドを、第１のパラメータと、第２のパラメータと、選定した対象キャラクタのキャラクタ属性と、所与の選定基準とに基づき選定する。

ここで、操作コマンド選定部２４７は、対象キャラクタのキャラクタ属性を、第１のパラメータ及び第２のパラメータの少なくとも一方の補正に用いることもできるし（後述する第１の選定処理）、第３のパラメータの生成に用いることもできる（後述する第２の選定処理、第３の選定処理）。

ただし、本実施形態では、第１の選定処理の機能と、第２の選定処理の機能と、第３の選定処理の機能との全部が画像生成装置２０Ｃに搭載されていることは必須ではなく、これら機能の一部を省略することも可能である。第１の選定処理、第２の選定処理、第３の選定処理の詳細は後述する。

［４．３．９］動作制御部
動作制御部２４８は、オブジェクト空間に設定された対象キャラクタ８Ａ（図３）の動作を、選定された操作コマンドに基づき制御する。例えば、操作コマンド選定部２４７の
選定した操作コマンドが、「ウィンク」という表情コマンドと、「上手振りジェスチャー」という所作コマンドと、「ハートマーク」という視覚効果コマンドと、「「にゃ」付加」という発語コマンドとの組み合わせであった場合、動作制御部２４８は、これらの操作コマンドに基づき、対象キャラクタ８Ａにウィンクさせ、上手振りジェスチャーをさせ、ハートマークを発生させ、かつ、対象キャラクタ８Ａの発言の語尾に「にゃ」を付加する制御を実行する。

［４．３．１０］画像生成部
画像生成部２４９は、オブジェクト空間内で動作する対象キャラクタ８Ａの画像データ（図３）を生成する。

例えば、画像生成部２４９は、バッファ２７２に蓄積された区間の演者データに基づき、オブジェクト空間内の前述した仮想カメラを視点とした画像データを生成してバッファ２７２に書き込む処理を、バッファ２７２に次の区間の演者データが蓄積されるまでの期間内に実行する。また、画像生成部２４９は、当該区間の画像データを生成して書き込む処理を、トークライブ中に繰り返し実行する。トークライブの開始から終了までの期間（又はこれに対応する期間）にバッファ２７２に書き込まれた全区間の画像データが画像コンテンツである。

なお、本実施形態では、画像生成部２４９が生成してバッファ２７２へ書き込む画像データには、対象キャラクタ８Ａの発する音声の音声データが付加されている。対象キャラクタ８ａの発する音声は、基本的に、演者５が発する音声と同様であるが、演者５の発する音声に対して、発語コマンドに基づく語尾の変換処理や、対象キャラクタ８ａのキャラクタ属性に応じた周波数変換処理（声色の変換処理）などが施されている場合がある。以下、音声データの付加された画像データを「音声付き画像データ」という。

［４．３．１１］画像出力部
画像出力部２４０は、生成された対象キャラクタ８Ａの画像データ（図３）を出力する。

例えば、画像出力部２４０は、バッファ２７２に逐次に蓄積される各区間の音声付き画像データを、サーバ装置１１へ逐次に送信する。サーバ装置１１は、画像生成システム２０から逐次に受信する音声付き画像データをストリーミングデータとしてネットワークを介して各視聴者の端末装置１０Ａ、１０Ｂ、１０Ｃ、…へ配信（ライブ配信）する。

なお、画像出力部２４０は、トークライブ中に生成された全区間の音声付き画像データを、画像コンテンツのファイルとしてコンテンツデータ記憶部２７４に保存してもよい。このファイルは、画像コンテンツの録画配信などに用いることができる。

［４．４］第１の選定処理
［４．４．１］概要
以下、操作コマンドを選定する第１の選定処理について説明する。

第１の選定処理において、
操作コマンド選定部２４７は、
操作コマンドの選定を行う前に、対象キャラクタ８Ａのキャラクタ属性に応じて第１のパラメータ及び第２のパラメータの少なくとも一方を補正する処理を実行する。

上記構成によれば、第１のパラメータ及び第２のパラメータから操作コマンドを選定するための選定基準と同じ選定基準を用いることが可能である。従って、第１のパラメータ
及び第２のパラメータから操作コマンドを選定するアルゴリズムが既存である場合に、これを有効活用することができる。

また、操作コマンド選定部２４７は、
補正後の第１のパラメータ及び第２のパラメータの組み合わせ（総合値）が所与の条件を満たす場合には、補正後の第１のパラメータ及び第２のパラメータに基づき操作コマンドの選定を行い、所与の条件を満たさない場合には、補正前の第１のパラメータ及び第２のパラメータに基づき操作コマンドの選定を行う。

上記構成によれば、対象キャラクタ８Ａの動作にキャラクタ属性が反映されるタイミングを所与の条件の下で制御することができる。例えば、当該組み合わせが特定の組み合わせである場合にキャラクタ属性を反映させ、そうでない場合にキャラクタ属性を反映させないという制御も可能である。したがって、対象キャラクタ８Ａの動作に対象キャラクタ８Ａらしさが発現することへの視聴者の期待を高めることができる。この場合、対象キャラクタ８Ａの画像コンテンツ（図３）を観覧する視聴者は、対象キャラクタ８Ａらしさを適当なタイミングで効果的に知覚することができる。

［４．４．２］補正テーブル
第１の選定処理を実現するために、データベース２７５には補正テーブル（図１１）が予め格納される。補正テーブルは、図１１に示すとおり、複数の補正係数を予め格納したテーブルである。複数の補正係数は、対象キャラクタ８Ａのキャラクタ属性毎、かつ、演者５の状態（所作）に係る感情属性毎に、格納されている。なお、ここでは演者５の状態（所作）に係る感情属性を「喜」「怒」「哀」「楽」「驚」で表した。

図１１の補正テーブルにおいては、対象キャラクタのキャラクタ属性が「神経質な中年男性」であり、かつ、演者５の状態（所作）に係る感情属性が「楽」である場合に、補正係数「２．０」が対応付けられている。

また、図１１の補正テーブルにおいては、対象キャラクタのキャラクタ属性が「神経質な中年男性」であり、かつ、演者５の状態（所作）に係る感情属性が「喜」である場合に、補正係数「１．２」が対応付けられている。

また、図１１の補正テーブルにおいては、対象キャラクタのキャラクタ属性が「神経質な中年男性」であり、かつ、演者５の状態（所作）に係る感情属性が「哀」である場合に、補正係数「１．２」が対応付けられている。

また、図１１の補正テーブルにおいては、対象キャラクタのキャラクタ属性が「神経質な中年男性」であり、かつ、演者５の状態（所作）に係る感情属性が「怒」である場合に、補正係数「０．３」が対応付けられている。

このように、同一のキャラクタ属性であっても、演者５の状態（所作）によって補正係数が変化する。この補正係数は、第１のパラメータ及び第２のパラメータを補正する際に用いられる。

［４．４．３］補正処理
本実施形態の画像生成装置２０Ｃにおいて、
操作コマンド選定部２４７は、
操作コマンドの選定を行う前に、対象キャラクタ８Ａのキャラクタ属性と、演者５の行った所作（状態判定部２４５によって判定された所作）に対応する感情属性とに応じて、補正テーブル（図１１）を参照し、当該キャラクタ属性及び感情属性の組み合わせに対応
する補正係数を特定する。そして、操作コマンド選定部２４７は、特定した補正係数を、第１のパラメータ及び第２のパラメータの総合値（ここでは第１のパラメータ及び第２のパラメータの和とする。）に乗算することにより、当該総合値を補正する処理を実行する。

図１２は、上記の補正テーブル（図１１）を用いた補正処理を説明する図である。

図１２に示す例では、対象キャラクタ８Ａのキャラクタ属性が「神経質な中年男性」であり、演者５の発語した単語が「つまらない」である場合における補正処理を示している。対象キャラクタ８Ａのキャラクタ属性が「神経質な中年男性」である場合には、補正テーブル（図１１）のうち、「神経質な中年男性」に対応する補正係数「２．０」、「１．２」、「１．２」、「０．３」、「２．０」が用いられる（以下、これらの補正係数を、「神経質な中年男性用の補正係数」という。）。

そして、図１２の各段には、演者５の状態（所作）が互いに異なる場合の例を示している。図１２の１段目（最上段）の表は、演者５の所作が「片手上げジェスチャー」であった場合の例であり、２段目の表は、演者５の所作が「腕組みジェスチャー」であった場合の例であり、３段目の表は、演者５の所作が「手で顔を覆うジェスチャー」であった場合の例であり、４段目の表は、演者５の所作が「ジャンプジェスチャー」であった場合の例であり、５段目の表は、演者５の所作が「バンザイジェスチャー」であった場合の例である。

１段目に示すとおり、演者５の状態（所作）が「片手上げジェスチャー」であった場合には、神経質な中年男性用の補正係数のうち、片手上げジェスチャーに対応する感情属性「喜」に対応付けられた補正係数「１．２」が適用される。この場合、第１のパラメータは「−５」、第２のパラメータは「１０」、補正前の総合値は「５」であるので、補正係数「１．２」が乗算されることにより、補正後の総合値は「６」となる。

２段目に示すとおり、演者５の状態（所作）が「腕組みジェスチャー」であった場合には、神経質な中年男性用の補正係数のうち、腕組みジェスチャーに対応する感情属性「怒」に対応付けられた補正係数「０．３」が適用される。この場合、第１のパラメータは「−５」、第２のパラメータは「−１０」、補正前の総合値は「−１５」であるので、補正係数「０．３」が乗算されることにより、補正後の総合値は「４．５」となる。

３段目に示すとおり、演者５の状態（所作）が「手で顔を覆うジェスチャー」であった場合には、神経質な中年男性用の補正係数のうち、手で顔を覆うジェスチャーに対応する感情属性「哀」に対応付けられた補正係数「１．２」が適用される。この場合、第１のパラメータは「−５」、第２のパラメータは「１」、補正前の総合値は「−４」であるので、補正係数「１．２」が乗算されることにより、補正後の総合値は「−４．８」となる。

４段目に示すとおり、演者５の状態（所作）が「ジャンプジェスチャー」であった場合には、神経質な中年男性用の補正係数のうち、ジャンプジェスチャーに対応する感情属性「楽」に対応付けられた補正係数「２」が適用される。第１のパラメータは「−５」、第２のパラメータは「１５」、補正前の総合値は「１０」であるので、補正係数「２」が乗算されることにより、補正後の総合値は「２０」となる。

５段目に示すとおり、演者５の状態（所作）が「バンザイジェスチャー」であった場合には、神経質な中年男性用の補正係数のうち、バンザイジェスチャーに対応する感情属性「驚」に対応付けられた補正係数「−５」が適用される。この場合、第１のパラメータは「−５」、第２のパラメータは「−５」、補正前の総合値は「−１０」であるので、補正
係数「２」が乗算されることにより、補正後の総合値は「−２０」となる。

［４．４．４］判定処理
また、操作コマンド選定部２４７は、
補正後の総合値が所与の条件を満たすか否かを判定し、所与の条件を満たす場合には、補正後の総合値に基づき操作コマンドの選定を行い、さもなくば補正前の総合値に基づき操作コマンドの選定を行う。

例えば、操作コマンド選定部２４７は、補正後の総合値が例えば「図１３の所定範囲Ｂ２〜Ｂ５から外れるという条件」を満たすか否かを判定し、当該条件を満たす場合には、補正後の総合値に基づき操作コマンドの選定を行い、さもなくば補正前の総合値に基づき操作コマンドの選定を行う。

図１２の例では、演者５が片手上げジェスチャー、腕組みジェスチャー、手で顔を覆うジェスチャーの何れかをした場合（図１２の１段目、２段目、３段目）には、補正後の総合値（６，４．５，−４．８）が図１３の所定範囲Ｂ２〜Ｂ５に収まっているので、補正前の総合値（６，４．５，−４．８）に基づき操作コマンドの選定が行われる。この場合は、対象キャラクタ８Ａの動作に対象キャラクタ８Ａらしさ（キャラクタ効果）が発現することはない。

また、演者５がジャンプジェスチャー又はバンザイジェスチャーをした場合（図６の４段目、５段目）には、補正後の総合値（２０，−２０）が図１３の所定範囲Ｂ２〜Ｂ５から外れるので、補正後の総合値（２０，−２０）に基づき操作コマンドの選定が行われる。この場合は、対象キャラクタ８Ａの動作に対象キャラクタ８Ａらしさ（キャラクタ効果）が発現する。

［４．４．５］操作コマンドの選定
操作コマンド選定部２４７は、操作コマンドの選定に、図１４の対応テーブルを用いる。図１４の対応テーブルは、データベース２７５に予め格納されている。図１４に示すとおり、対応テーブルは、総合値の属する範囲Ｂ１、Ｂ２、…、Ｂ６と、範囲毎に対応付けられた操作コマンドとの対応関係を示すテーブルである。

操作コマンド選定部２４７は、例えば、総合値の値に応じて対応テーブル（図１４）を参照し、当該総合値に対応する操作コマンドを、対象キャラクタ８Ａの動作制御に用いるべき操作コマンドとして選定する。

第１の選定処理では、上記した判定処理が実行されるので、補正後の総合値が図１３の所定範囲Ｂ２〜Ｂ５に収まっている場合には、対象キャラクタ８Ｂのキャラクタ属性に応じた補正係数が操作コマンドの選定に寄与せず、補正後の総合値が図１３の所定範囲Ｂ２〜Ｂ５から外れた場合には、対象キャラクタ８Ｂのキャラクタ属性に応じた補正係数が操作コマンドの選定に寄与する。

つまり、第１の選定処理では、補正後の総合値が図１３の所定範囲Ｂ２〜Ｂ５から外れるとき、すなわちキャラクタ属性の影響が一定以上であるときには、対象キャラクタ８Ａの動作に対象キャラクタ８Ａらしさが発現し、そうでないときには、対象キャラクタ８Ａの動作に対象キャラクタ８らしさが発現しない。

［４．４．６］確認用情報
なお、処理部２００のモニタ部は、補正後の総合値が図１３の所定範囲Ｂ２〜Ｂ５から外れる場合には「キャラクタ属性の効果が発現中」というテキストイメージをモニタ表示
部２９０へ表示させ、外れない場合には「キャラクタ属性の効果が発現中」というテキストイメージをモニタ表示部２９０に表示しない、という制御処理を実行する。つまり、第１の選定処理では、当該テキストイメージ（図４の上部）がモニタ表示部２９０に表示される。

上記構成によれば、演者５が当該イメージを確認しながら演技（トークライブ）を行い、操作コマンド選定の根拠を視覚的に把握することができるので、対象キャラクタ８Ａの動作を自分の希望する動作に近づけることが容易になる。

［４．５］第２の選定処理
次に、操作コマンドを選定する第２の選定処理について説明する。

第２の選定処理では、操作コマンドの選定前に、キャラクタ属性に基づき第３のパラメータを生成し、第１のパラメータ、第２のパラメータ、及び第３のパラメータの総合値に応じて操作コマンドの選定を実行する。

［４．５．１］第３のパラメータの生成処理
第２の選定処理を実現するために、データベース２７５に格納されたキャラクタテーブル（図７）のキャラクタ属性には、感情属性が含まれる。

また、画像生成装置２０Ｃの処理部２００は、対象キャラクタ８Ａのキャラクタ属性に対応する感情属性をデータベース２７５に基づき特定し、当該感情属性に応じた第３のパラメータを生成する第３のパラメータ生成処理部（第３のパラメータ生成処理手段の一例）を更に備える。

ここで、「第３のパラメータ」には、キャラクタ属性に固有の感情傾向であるネガティブ度又はポジティブ度を示す数値（点数、ランク、レベル、段階、符号など）が含まれる。

例えば、本実施形態では、図７に示すとおり、キャラクタテーブルに予め記憶された各キャラクタ属性には、「陽気」、「やや陽気」、「落ち着いた」、「神経質」、「陰気」の別を示す感情属性が含まれており、個々のキャラクタ属性には、当該キャラクタ属性に含まれる感情属性に応じたポジティブ点数が割り当てられている。

そこで、第３のパラメータ生成処理部は、対象キャラクタ８Ａのキャラクタ属性に応じてキャラクタテーブル（図７）を参照し、当該キャラクタ属性に対応付けられたポジティブ点数を認識すると、当該点数を、第３のパラメータとして生成する。このように、キャラクタテーブル（図７）を利用すれば、複雑な演算処理を要しないので、第３のパラメータを高速に生成することができる。

［４．５．２］操作コマンドの選定
操作コマンド選定部２４７は、第１のパラメータ、第２のパラメータ、及び第３のパラメータの総合値と、選定基準としての範囲と、に基づき操作コマンドの選定を行う。

例えば、操作コマンド選定部２４７は、以下の処理（ｉ）〜（ｉｖ）を実行する。

（ｉ）操作コマンド選定部２４７は、第１のパラメータ、第２のパラメータ、第３のパラメータの和を第１の総合値として算出すると共に、第１のパラメータ及び第２のパラメータの和を第２の総合値として算出する。

（ｉｉ）操作コマンド選定部２４７は、第１の総合値が例えば「図１３の所定範囲Ｂ２〜Ｂ５から外れるという条件」を満たすか否かを判定する。当該条件を満たす場合には、処理（ｉｉｉ）を実行し、さもなくば処理（ｉｖ）を実行する。

（ｉｉｉ）操作コマンド選定部２４７は、図１３の範囲Ｂ１、Ｂ２、…、Ｂ６の中で、第１の総合値の属する範囲（ここではＢ１又はＢ６）に応じて対応テーブル（図１４）を参照し、当該範囲に対応付けられた操作コマンド（ここでは４種類の操作コマンド）を、対象キャラクタの動作制御に用いるべき操作コマンドとして選定する。なお、図１４の対応テーブルは、範囲Ｂ１、Ｂ２、…、Ｂ６と、範囲毎に対応付けられた操作コマンドとの対応関係を示すテーブルであって、例えばデータベース２７５に予め格納されている。

（ｉｖ）操作コマンド選定部２４７は、図１３の範囲Ｂ２、Ｂ２、…、Ｂ５の中で、第２の総合値の属する範囲（ここではＢ２〜Ｂ５）に応じて対応テーブル（図１４）を参照し、当該範囲に対応付けられた操作コマンド（ここでは４種類の操作コマン）を、対象キャラクタの動作制御に用いるべき操作コマンドとして選定する。なお、図１４の対応テーブルは、範囲Ｂ１、Ｂ２、…、Ｂ６と、範囲毎に対応付けられた操作コマンドとの対応関係を示すテーブルであって、例えばデータベース２７５に予め格納されている。

なお、操作コマンド選定部２４７は、選定した操作コマンドの組み合わせを特定するための情報（例えば選定した操作コマンドに対応する範囲Ｂｉを特定するための情報）を、当該操作コマンドの適用された区間に対応付けて画像コンテンツと共にコンテンツデータ記憶部２７４に記憶する。

また、上記説明では、第１の総合値及び第２の総合値に基づき操作コマンドの選定を行ったが、第２の総合値を用いずに操作コマンドの選定を行ってもよい。その場合には、第２の総合値を算出する処理（（ｉ）の後段）、第２の総合値に応じて操作コマンドを選定する処理（ｉｖ）を省略することができる。この場合、第１の総合値が所定範囲Ｂ２〜Ｂ５に属するか否かの判定処理（ｉｉ）は省略される。

［４．６］第３の選定処理
次に、操作コマンドを選定する第３の選定処理について説明する。

第３の選定処理では、操作コマンドの選定前に、キャラクタ属性に基づき第３のパラメータを生成し、第１のパラメータ、第２のパラメータ、及び第３のパラメータの組み合わせと、当該組み合わせに係る選定基準とに基づき、操作コマンドの設定を行う。ここでは、第２の選定処理との相違点について主に説明し、共通点についての説明を省略する。

操作コマンド選定部２４７は、第１のパラメータ、第２のパラメータ、及び第３のパラメータをベクトル成分として有する特徴量ベクトル（パラメータの組み合わせの一例）と、当該特徴量ベクトルの存在する特徴量空間内に予め設定された選定基準としての分離面（領域Ａ１、Ａ２、…の境界）と、に基づき操作コマンドの選定を行う。

例えば、操作コマンド選定部２４７は、以下の処理（ｉ）〜（ｉｉｉ）を実行する。

（ｉ）操作コマンド選定部２４７は、図１５に示すとおり、第１のパラメータ、第２のパラメータ、第３のパラメータを互いに異なる軸で表現した特徴量空間を定義する。この特徴量空間には、互いに異なる複数の領域Ａ１、Ａ２、Ａ３、…が設定されている。図１５では、複数の領域Ａ１、Ａ２、…を点在させているが、実際には、特徴量空間内に隙間なく密に配置されているものとする。また、図１５では、領域Ａ１、Ａ２、…の輪郭を楕円体で表現したが、実際には他種の超平面であってもよい。また、これら領域Ａ１、Ａ２、
Ａ３、…の境界（分離面）を規定するデータ（選定基準）は、データベース２７５に予め格納されている。

（ｉｉ）操作コマンド選定部２４７は、第１のパラメータ、第２のパラメータ、第３のパラメータをベクトル成分として有する特徴量ベクトルの先端座標（図１５においてＸで示した座標）を認識すると、データベース２７５に予め格納された選定基準（領域Ａの境界）に基づき、特徴量空間に規定された複数の領域Ａ１、Ａ２、Ａ３、…のうち、当該座標の属する領域を判定する。以下、特徴量ベクトルの座標（図１５においてＸで示した座標）が領域Ａ２に属すると仮定する。

（ｉｉｉ）操作コマンド選定部２４７は、判定した領域（ここでは領域Ａ２）に応じて対応テーブル（図１６）を参照し、当該領域（ここでは領域Ａ２）に対応付けられた操作コマンド（ここでは４種類の操作コマンドａ２、ｂ２、ｃ２、ｄ２）を、対象キャラクタ８Ａの動作制御に用いられる操作コマンドとして選定する。図１６に示す対応テーブルは、特徴量空間の各領域Ａ１、Ａ２、…、Ａｎと、領域毎に対応付けられた操作コマンドとの対応関係を示すテーブルであって、例えばデータベース２７５に予め格納されている。

また、操作コマンド選定部２４７は、選定した操作コマンドの組み合わせを特定するための情報（例えば選定した操作コマンドに対応する領域Ａｉを特定するための情報）を、当該操作コマンドの適用された区間に対応付けてコンテンツデータ記憶部２７４に記憶する。

上記構成によれば、図１５に示すとおり、キャラクタ属性の感情に係る第３のパラメータを、第１のパラメータ及び第２のパラメータと同等に扱うことが可能である。従って、第１のパラメータ及び第２のパラメータから操作コマンドを選定するアルゴリズムが既存である場合に、当該アルゴリズムのパラメータの数（次数）を拡張することで上記構成を実現することができる。

［４．７］キャラクタらしさの強調処理
次に、対象キャラクタらしさの強調処理について説明する。

本実施形態の画像生成装置２０Ｃにおいて、
前述した複数の操作コマンドには、
１又は複数の特定のキャラクタ属性に対応付けられた１又は複数の特定の操作コマンドが含まれ、
操作コマンド選定部２４７が実行する処理には、
複数の操作コマンドの中から選定される操作コマンドの候補を設定する候補設定処理が含まれ、
候補設定処理においては、対象キャラクタ８Ａのキャラクタ属性が特定のキャラクタ属性である場合に、特定の操作コマンドを候補に追加する処理又は候補から除外する処理を実行してもよい。

ここで、「特定のキャラクタ属性」には、例えば特定の動物キャラクタ（ネコキャラクタなど）、特定の人物キャラクタ（神経質な中年男性など）が含まれてもよい。

また、「特定の操作コマンド」には、語尾を「にゃ」に変換するコマンド、「にゃ」という吹き出しを付加するコマンド、語尾を特定地方の方言に変換するコマンドなどが含まれてもよい。

以下、対応テーブル（図１４）の調整によって候補設定処理を実行する幾つかの例を順
に説明する。なお、ここでは、図１４の対応テーブルを例に挙げて説明するが、図１６の対応テーブルについても同様に調整することが可能である。

［４．７．１］対応テーブルの一部の操作コマンドを置換する処理
例えば、操作コマンド選定部２４７は、対象キャラクタ８Ａのキャラクタ属性が特定のキャラクタ属性「ネコキャラクタ」であるか否かを判定し、当該特定のキャラクタ属性「ネコキャラクタ」である場合には、図１４の対応テーブルの範囲Ｂ１〜Ｂ６の少なくとも１つに対応する発語コマンド（発語コマンドｄ１，ｄ３〜ｄ６の何れかが）を、対象キャラクタ８Ａの発言の語尾に「にゃ」を付加する特定の発語コマンドｄ２に置換する処理を実行する。よって、対象キャラクタ８Ａのキャラクタ属性が特定のキャラクタ属性「ネコキャラクタ」である場合には、対象キャラクタ８Ａの発言の語尾に「にゃ」を付加する特定の発語コマンドｄ２が選定され易くなる。

また、例えば、操作コマンド選定部２４７は、対象キャラクタ８Ａのキャラクタ属性が「犬キャラクタ」であるか否かを判定し、「犬キャラクタ」である場合には、図１４の対応テーブルの範囲Ｂ１〜Ｂ６の少なくとも１つに対応する発語コマンド（発語コマンドｄ１〜ｄ４，ｄ６の何れか）を、対象キャラクタ８Ａの発言の語尾に「ワン」を付加する特定の発語コマンドｄ５に置換する処理を実行する。よって、対象キャラクタ８Ａのキャラクタ属性が特定のキャラクタ属性「犬キャラクタ」である場合には、対象キャラクタ８Ａの発言の語尾に「ワン」を付加する特定の発語コマンドｄ５が選定され易くなる。

［４．７．２］対応テーブルから一部の操作コマンドを除外する処理
例えば、操作コマンド選定部２４７は、対象キャラクタ８Ａのキャラクタ属性が特定のキャラクタ属性「落ち着いた中年男性キャラクタ」であるか否かを判定し、当該特定のキャラクタ属性「落ち着いた中年男性キャラクタ」である場合には、図１４の対応テーブルから、対象キャラクタ８Ａの発言の語尾に「にゃ」を付加する特定の発語コマンドｄ２を少なくとも１つ除外する処理を実行する。この場合、対象キャラクタ８Ａのキャラクタ属性が特定のキャラクタ属性「中年男性キャラクタ」である場合には、対象キャラクタ８Ａの発言の語尾に「にゃ」を付加する特定の発語コマンドｄ２が選定され難くなる。

［４．７．３］対応テーブルへ操作コマンドを追加する処理
例えば、操作コマンド選定部２４７は、対象キャラクタ８Ａのキャラクタ属性が特定のキャラクタ属性「陽気なギャルキャラクタ」であるか否かを判定し、当該特定のキャラクタ属性「陽気なギャルキャラクタ」である場合には、図１４の対応テーブルに、所作の振幅を増幅させる振幅増減コマンドｅ１を追加する処理を実行する。例えば、操作コマンド選定部２４７は、図１４の対応テーブルの範囲Ｂ１〜Ｂ６の少なくとも１つに当該振幅増減コマンドｅ１を追加で対応付ける処理を実行する。よって、対象キャラクタ８Ａのキャラクタ属性が特定のキャラクタ属性「陽気なギャルキャラクタ」である場合には、対象キャラクタ８Ａの所作の振幅が増幅され易くなる（オーバーアクション化し易くなる）。

［４．７．４］対応テーブルを編集する処理
また、上記操作コマンド選定部２４７は、図１４の対応テーブルの一部の操作コマンドを置換する処理と、図１４の対応テーブルの一部の操作コマンドを除外する処理と、対応テーブルに操作コマンドを追加する処理とのうち少なくとも２つの処理を組み合わせて実行してもよい（対応テーブルの編集処理）。従って、対象キャラクタ８Ａが特定のキャラクタ属性を有する場合には、当該特定のキャラクタ属性に対応する特定のコマンドが選定され易くなる方向に図１４の対応テーブルが編集されるので、対象キャラクタ８Ａのキャラクタらしさを、より強くアピールすることができる。

［４．８］抽選処理
次に、操作コマンドの選定処理に抽選要素を付加した例について説明する。

上記説明では、操作コマンド選定部２４７は、対応テーブルに基づき一義的に操作コマンドを選定したが、対応テーブルに基づく抽選処理によって操作コマンドを選定することも可能である。

ここでは、第２の選定処理を抽選処理に変形する例を説明する。ただし、第１の選定処理又は第３の選定処理を同様に変形することも可能である。

例えば、図１４の対応テーブルの各欄には、操作コマンドの候補が複数ずつ対応付けられている。また、各欄における複数の操作コマンドの候補には、それぞれ選択確率が規定されている。

操作コマンドの選定に当たり、操作コマンド選定部２４７は、例えば、第１のパラメータ、第２のパラメータ、及び第３のパラメータの総合値の属する範囲Ｂｉを特定する。

次に、操作コマンド選定部２４７は、対応テーブル（図１４）において、当該範囲Ｂｉに対応する表情コマンドの複数の候補と、当該複数の候補に規定された選択確率を特定し、当該選択確率に基づく抽選処理を実行することにより、複数の表情コマンドの候補の中から一の候補を選定する処理を実行する。

また、操作コマンド選定部２４７は、対応テーブル（図１４）において、当該範囲Ｂｉに対応する所作コマンドの複数の候補と、当該複数の候補に規定された選択確率とを特定し、当該選択確率に基づく抽選処理を実行することにより、複数の候補の中から一の候補を選定する処理を実行する。

また、操作コマンド選定部２４７は、対応テーブル（図１４）において、当該範囲Ｂｉに対応する視覚効果コマンドの複数の候補と、当該複数の候補に規定された選択確率とを特定し、当該選択確率に基づく抽選処理を実行することにより、複数の候補の中から一の候補を選定する処理を実行する。

また、操作コマンド選定部２４７は、対応テーブル（図１４）において、当該範囲Ｂｉに対応する発語コマンドの複数の候補と、当該複数の候補に規定された選択確率とを特定し、当該選択確率に基づく抽選処理を実行することにより、複数の候補の中から一の候補を選定する処理を実行する。

［４．８．１］確率調整処理
更に、操作コマンド選定部２４７は、上記抽選処理の前に選択確率の調整を行ってもよい。

例えば、操作コマンド選定部２４７は、対象キャラクタ８Ａが特定のキャラクタであるか否かを判定し、特定のキャラクタである場合には、図１４の対応テーブルにおいて、当該特定のキャラクタに対応する１又は複数の候補の選択確率を向上又は低下させる処理を実行する。

例えば、操作コマンド選定部２４７は、対象キャラクタ８Ａのキャラクタ属性が特定のキャラクタ属性「陽気なギャルキャラクタ」であるか否かを判定し、当該特定のキャラクタ属性「陽気なギャルキャラクタ」である場合には、陽気なギャルキャラクタに対応する特定の操作コマンド（バンザイジェスチャーの所作コマンド、ジャンプジェスチャーの所作コマンドなど）の選択確率を向上させる処理を実行する。なお、複数の候補の選択確率
は、あくまでも相対的な値として規定されるものなので、操作コマンド選定部２４７は、ある候補の選択確率を向上させる代わりに、他の候補の選択確率を低下させることにより同様の効果を得てもよい。

また、例えば、操作コマンド選定部２４７は、対象キャラクタ８Ａのキャラクタ属性が特定のキャラクタ属性「ネコキャラクタ」であるか否かを判定し、当該特定のキャラクタ属性「ネコキャラクタ」である場合には、ネコキャラクタに予め対応付する特定の操作コマンド（対象キャラクタ８Ａの発言の語尾に「にゃん」を付加する特定の発語コマンド）の選択確率を向上させる処理を実行する。なお、複数の候補の選択確率は、あくまでも相対的な値として規定されるものなので、操作コマンド選定部２４７は、ある候補の選択確率を向上させる代わりに、他の候補の選択確率を低下させることにより同様の効果を得てもよい。

［４．９］視聴者の人気反映処理
次に、対象キャラクタ８Ｂの動作に視聴者の人気（評価の高さ）を反映させる人気反映処理について説明する。

本実施形態の画像生成装置２０Ｃにおいて、処理部２００は、
出力された対象キャラクタ８Ａの画像コンテンツ（図３）について視聴者が行った評価のデータを収集する収集処理を実行する収集部（収集手段の一例）を更に備え、
操作コマンド選定部２４７は、
画像コンテンツを構成する複数の音声付き画像データ（図３）に適用された複数の操作コマンドと、複数の音声付き画像データ（図３）に係る複数の評価のデータとに基づき、複数の操作コマンドを重み付けする処理を実行し、新たな音声付き画像データ（図３）を生成する際における操作コマンドの選定を、複数の操作コマンドの重みに基づいて行う。

以上の構成によれば、視聴者の評価のデータを対象キャラクタ８Ａの動作に反映させることができるので、視聴者の間で人気のある動作が発現され易くしたり、所与の条件が満たされた場合に人気のある動作を発現させたりすることも可能である。なお、操作コマンド選定部２４７の上記動作が音声付き画像データ（図３）の出力中に逐次に行われれば、人気の動作がリアルタイムで反映されることになるので、ライブ配信における視聴者の参加意識を高め、視聴者数の向上を図ることができる。

以下、第２の選定処理において人気反映処理を実行する例を説明する。ただし、人気反映処理は、第１の選定処理又は第３の選定処理においても同様に実行することが可能である。

［４．９．１］評価のデータの具体例
ここで、「評価のデータ」には、対象キャラクタに向けた視聴者からのプレゼント（被服、装身具、身支度用の資金、投げ銭、お捻りなど）の数及び価値、視聴者が行った投票による対象キャラクタの得票数、対象キャラクタの画像を含む画像コンテンツの視聴率などのデータが含まれる。

また、投票には、画像コンテンツの視聴中に視聴者が自己の端末装置で評価ボタン（所謂いいねボタン）を押下した回数、画像コンテンツの視聴中に視聴者が自己の端末装置から運営者に向けて送信したコメント送信の回数、視聴者が画像コンテンツをＳＮＳで他者に紹介した回数などが含まれる。

また、プレゼント、投票、画像コンテンツの視聴には、画像生成装置の直接的又は間接的な運営者から視聴者に対する課金が伴うこともある。

［４．９．２］評価のデータの収集に係るサーバ装置の処理
サーバ装置１１の視聴者管理部１０３は、画像コンテンツの配信中に、通信制御部１０１及びネットワークを介して視聴者の端末装置１０Ａ、１０Ｂ、…の各々と通信を行い、視聴者から対象キャラクタ８Ａに向けたプレゼント又は投票（以下、「プレゼント等」という。）の要求を受付ける。

また、視聴者管理部１０３は、プレゼント等を要求する視聴者に対して必要に応じて課金を行う。課金の処理は、当該視聴者の視聴者ＩＤに対応する仮想口座（前述）から、当該プレゼント等の内容に応じた額の通貨を減額（決済）する処理である。なお、プレゼントの送り主となった視聴者に対しては、画像コンテンツの配信終了後などの適当なタイミングで、サーバ装置１１から対象キャラクタ８Ａに関連する特別なイベントが提供されるものとする。

また、視聴者管理部１０３は、画像コンテンツの配信中におけるプレゼント等の履歴（プレゼント等の価値、投票の有無）を視聴者情報１４６へ記録する。例えば、画像コンテンツの配信中に、あらかじめ決められた動作を対象キャラクタ８Ａが行ったタイミングで所定の監視期間（例えば３０秒の投げ銭タイム）を設け、その監視期間中に視聴者からのプレゼント等を受付ける。そして、当該受け付けたプレゼント等を、画像コンテンツの該当区間に対応付けて視聴者ＩＤごとに視聴者情報１４６に記録する。以下、プレゼント等の情報が画像コンテンツの区間ごとに記録される場合を想定する。画像コンテンツの区間は、例えば３０秒程度に設定される。

また、視聴者管理部１０３は、画像コンテンツの配信先となっている端末装置１０Ａの台数を監視し、画像コンテンツの配信中における視聴率（配信先となっている端末装置１０の台数自体でもよい。）を、例えば画像コンテンツの区間ごとに視聴者情報１４６へ記録する。

以上の結果、視聴者情報１４６には、画像コンテンツに対する視聴者全体の評価のデータ（区間ごとのプレゼントの数及び価値、区間ごとの得票数、区間ごとの視聴率）が当該画像コンテンツの区間ごとに蓄積されることになる。

［４．９．３］画像生成装置による評価のデータの収集処理
例えば、サーバ装置１１の視聴者管理部１０３は、視聴者情報１４６を更新する度に、更新に係る評価のデータ（最新区間に対応付けられたプレゼントの数及び価値、最新区間に対応付けられた得票数、最新区間に対応付けられた視聴率）を画像生成装置２０Ｃへ送信する。

一方、画像生成装置２０Ｃの収集部は、サーバ装置１１から受信した評価のデータ（最新区間に対応付けられたプレゼントの数及び価値、最新区間に対応付けられた得票数、最新区間に対応付けられた視聴率）を、例えば、データベース２７５へ逐次に蓄積することにより、配信中の画像コンテンツに対する視聴者全体の評価のデータを収集する。

［４．９．４］画像生成装置による重み付け処理
そして、操作コマンド選定部２４７は、コンテンツデータ記憶部２７４を参照し、配信済みの複数区間（図３）の各々に適用された操作コマンドを特定する。

ここで、本実施形態では、前述したとおり画像コンテンツの各区間に複数の操作コマンドが適用され得るので、操作コマンド選定部２４７は、個々の区間に適用された操作コマンドの組み合わせを特定するものとする。各区間に適用された操作コマンドの組み合わせ
は、図１３の範囲Ｂ１〜Ｂ６の何れかに対応しているので、ここでは、操作コマンドの組み合わせを、図１３の範囲Ｂ１〜Ｂ６の別によって表す。

また、操作コマンド選定部２４７は、データベース２７５に格納された複数の区間（図３）に係る評価のデータ（プレゼントの価値及び数、得票数）を特定する。そして、操作コマンド選定部２４７は、各区間の評価のデータ（プレゼントの価値及び数、得票数）に応じて、各区間に適用された操作コマンドの組み合わせ（図１３の範囲Ｂ１〜Ｂ６）を重み付けする処理を実行する。

例えば、操作コマンド選定部２４７は、各区間に対応する範囲Ｂｉの重みを、当該区間に関連付けられたプレゼントの価値が高いほど大きく設定し、当該区間に関連付けられたプレゼントの数が多いほど大きく設定し、また、当該区間に関連付けられた得票数が多いほど大きく設定する。

図１７に示すのは、トークライブの開始から現時点までの期間に生成された区間の操作コマンドに応じて範囲Ｂ１〜Ｂ６の各々に付与された重みを示すグラフである。図１７の例では、範囲Ｂ１の重みが最も大きく、範囲Ｂ３の重みが最も小さい場合を示している。この場合、範囲Ｂ１に対応付する操作コマンドの組み合わせの人気が最も高く、範囲Ｂ３に対応する操作コマンドの組み合わせの人気が最も低かったことを示している。

ただし、ここでいう「人気」は、操作コマンドそれ自体の人気ではなく、「如何なる場合に如何なる操作コマンドが選定されたのか」についての人気である。言い換えると、「人気」は、「操作コマンドの選定」が視聴者にとって適切である場合（期待したとおりである場合）に人気が高く、「操作コマンドの選定」が視聴者にとって不適切である場合（期待したとおりでなかった場合）に人気が低くなる。

［４．９．５］人気投票に基づく選定基準の更新処理
操作コマンド選定部２４７は、図１７のグラフに基づき、相対的に大きな重みを有する範囲（図１７では範囲Ｂ１）のサイズが拡大され、相対的に小さな重みを有する範囲（図１７では範囲Ｂ３）のサイズが縮小される方向に、範囲Ｂ１〜Ｂ６の境界（選定基準）を更新する。

例えば、操作コマンド選定部２４７は、図１７→図１８に示すとおり、範囲Ｂ１〜Ｂ６の各々のサイズが範囲Ｂ１〜Ｂ６の各々の重みに応じたサイズとなるように、範囲Ｂ１〜Ｂ６の境界（選定基準）を調節する。図１７、図１８の例では、人気の高かった範囲Ｂ１のサイズは拡大され、人気の低かった範囲Ｂ３のサイズは縮小される。

以上の更新処理によると、画像コンテンツの開始から現時点までに人気の高かった操作コマンドが選定され易くなり、人気の低かった操作コマンドが選定され難くなる。

［４．９．６］フィードバック処理
本実施形態の画像生成装置２０Ｃにおいて、処理部２００は、
複数の操作コマンドの重みに基づき選定基準の更新をする更新処理を、所与の条件が満たされる度に実行するフィードバック部（フィードバック手段の一例）を更に備えてもよい。

例えば、フィードバック部は、所定時間が経過する度に、画像コンテンツの各区間が生成される度に、画像コンテンツの各フレームが生成される度に、又は重みの変化が生じる度に、前述した範囲Ｂの境界の更新処理を、操作コマンド選定部２４７に実行させる。

例えば、フィードバック部は、図１７→図１８に示すとおり人気の高い範囲Ｂのサイズを拡大し、人気の低い範囲Ｂのサイズを縮小するという処理を、所定時間が経過する毎に、操作コマンド選定部２４７に実行させる。

よって、例えば、トークライブの開始当初、対象キャラクタ８Ａによる「「お腹すいた」と言いつつジャンプする動作Ａ」の人気が相対的に高かった場合には、Ａが発現し易くなり、それに類する「「めんどうくさい」と言いつつジャンプする動作Ａ’」も発現し易くなるが、動作Ａと比較して動作Ａ’の人気が著しく低かった場合には、動作Ａ’は発現し難くなる。

上記構成によると、人気の動作が発現し易くなる方向に選定基準（範囲Ｂ１〜Ｂ６の境界）を逐次に変化させることができるので、視聴者の期待した動作をする人気キャラクタに対象キャラクタ８Ａが漸次に近づくことになる。また、上記更新処理は、選定基準自体（範囲Ｂ１〜Ｂ６の境界）を更新するので、当該選定基準（範囲Ｂ１〜Ｂ６の境界）を、様々な対象キャラクタ８Ａの人気向上を図る万能な選定基準に収束させることも、原理的には可能である。

［４．１０］操作コマンドのバリエーション
上述したとおり、本実施形態の画像生成装置２０Ｃにおいて、
操作コマンドの選択肢となる複数の操作コマンドには、
対象キャラクタ８Ａの表情を制御する操作コマンド（表情コマンド）と、
対象キャラクタ８Ａの所作を制御する操作コマンド（所作コマンド）と、
対象キャラクタ８Ａに視覚効果を付与する操作コマンド（視覚効果コマンド）と、
対象キャラクタ８Ａの発語を制御する操作コマンド（発語コマンド）と、
の少なくとも１つが含まれる。

上記構成によれば、対象キャラクタ８Ａの表情、所作、視覚効果、発語の少なくとも１つに演者５の感情を反映させることができる。

［４．１１］リアルタイム配信処理
上述したとおり、本実施形態の画像生成装置２０Ｃにおいて、
画像出力部２４０は、演者５の演技中（トークライブ中）に逐次に生成される対象キャラクタ８Ａの画像データ（図３）を画像データ（図３）の視聴者へ演技中（トークライブ中）に逐次に出力する。

例えば、画像出力部２４０は、トークライブ中に逐次に生成される各区間の音声付き画像データ（画像コンテンツのフレームデータ）を、サーバ装置１１へ逐次に送信し、サーバ装置１１は、画像出力部２４０から受信する各区間の音声付き画像データ（画像コンテンツのフレームデータ）を、逐次にストリーミングデータに変換して視聴者の端末装置１０Ａ、１０ＢＡ、…へ配信する。

上記構成によれば、画像出力部２４０は、サーバ装置１１と協働して、対象キャラクタ８Ａの音声付き画像データ（図３）をライブ配信（生中継）することが可能である。

なお、本実施形態では、音声付き画像データ（画像コンテンツのフレームデータ）が生成されるタイミングと、端末装置１０Ａ、１０Ｂ、…から当該音声付き画像データ（画像コンテンツのフレームデータ）が出力されるタイミングとの間にディレイ時間（タイムラグ）が生じるニアライブの場合も、上記の「ライブ配信」に含まれるものとする。

［４．１２］確認用情報
本実施形態の画像生成装置２０Ｃの処理部２００は、
第１のパラメータ、第２のパラメータ、及びキャラクタ属性のバランスを示すイメージを演者５へ演技中（トークライブ中）に逐次に出力する制御処理を実行するモニタ部（モニタ手段の一例）を備える。

例えば、第２の選定処理又は第３の選定処理が実行される場合において、処理部２００のモニタ部は、第１のパラメータ、第２のパラメータ、及び第３のパラメータのバランスを示すレーダーチャートなどのグラフイメージ（図１９）を、各区間の音声付き画像データ（画像コンテンツのフレームデータ）が生成される度に生成し、当該グラフイメージを、上述した確認用情報（図４）に含めてモニタ表示部２９０へ出力する制御処理を実行する。

また、第１の選定処理又は第２の選定処理において、この確認用情報（図４）には、レーダーチャートなどのグラフイメージ（図１９）の他に、「キャラクタ属性の効果が発現中」などのテキストイメージや、選定された操作コマンドの種類情報などが含まれてもよい。

例えば、第１の選定処理が実行される場合に、処理部２００のモニタ部は、補正後の総合値が「図１３の所定範囲Ｂ２〜Ｂ５」に属するか否かを、各区間の音声付き画像データ（画像コンテンツのフレームデータ）が生成される度に判定し、属しない場合には「キャラクタ属性の効果が発現中」というテキストイメージをモニタ表示部２９０へ表示させ、属する場合には「キャラクタ属性の効果が発現中」というテキストイメージをモニタ表示部２９０に表示しない、という制御処理を実行する。

例えば、第２の選定処理が実行される場合に、処理部２００のモニタ部は、第１の総合値が「図１３の所定範囲Ｂ２〜Ｂ５」に属するか否かを、各区間の音声付き画像データ（画像コンテンツのフレームデータ）が生成される度に判定し、属しない場合には「キャラクタ属性の効果が発現中」というテキストイメージをモニタ表示部２９０へ表示させ、属する場合には「キャラクタ属性の効果が発現中」というテキストイメージをモニタ表示部２９０に表示しない、という制御処理を実行する。

上記構成によれば、モニタ表示部２９０に表示された当該イメージを確認しながら演者５が演技し（トークライブを行い）、操作コマンド選定の根拠を視覚的に把握することができるので、対象キャラクタ８Ａの動作を自分の希望する動作に近づけることが容易になる。

［４．１３］自主規制処理
次に、自主規制処理について説明する。

本実施形態の画像生成装置２０Ｃにおいて、
画像出力部２４０は、
対象キャラクタ８Ａの音声付き画像データ（図３）の生成からオブジェクト空間の視聴者へ画像コンテンツの音声付き画像データ（図３）が出力（配信）されるまでの間に遅延時間を設ける遅延出力処理を実行し、当該遅延時間内に演者５又は補助者から操作入力を受付けた場合に、視聴者に出力される画像（図３）を調整する処理を実行してもよい。この場合、演者５又は補助者が不適切と判断した動作を、視聴者へ出力される前に阻止するという自主規制が可能である。

例えば、画像出力部２４０は、バッファ２７２へ音声付き画像データ（画像コンテンツのフレームデータ）が蓄積される速度（フレームレート）と、バッファ２７２からサーバ
装置１１へ音声付き画像データ（画像コンテンツのフレームデータ）が送信される速度（フレームレート）とを維持しつつ、バッファ２７２へ音声付き画像データ（画像コンテンツのフレームデータ）が蓄積されるタイミングと、当該音声付き画像データ（画像コンテンツのフレームデータ）がサーバ装置１１へ送信されるまでの間に、例えば複数区間分の遅延時間（例えば５分の遅延時間）を設ける。つまり、バッファ２７２には、当該遅延時間に相当する最新区間の音声付画像データが蓄積される。

そして、画像出力部２４０は、当該遅延時間内に入力部２６０を介して演者５又は補助者から所定の操作入力（規制指示）を受付けたか否かを判定し、受付けた場合には、受付けの時点でバッファ２７２に蓄積されていた区間の音声付き画像データ（画像コンテンツのフレームデータ）を、別の音声付き画像データ（画像コンテンツのフレームデータ）に差し替える処理を実行する。

ここで、「別の音声付き画像データ」は、例えば、「不適切な表現につき規制中です」などのテキストを含む画像データと、規制音（いわゆるピー音）などのブザーを含む音声データとの組み合わせによって構成される。ただし、音声データについては、差し替える処理をしないこととしてもよいし、別途、音声データについては差し替えの有無を演者５又は補助者が必要に応じて切り替えることとしてもよい。

また、例えば、第２の選定処理において画像生成装置２０Ｃが以下の差し替え処理を実行してもよい。

すなわち、操作コマンド選定部２４７、動作制御部２４８、及び画像生成部２４９は、トークライブ中に、上述した第１の総合値に基づく音声付画像データ（キャラクタ属性を反映した第１の音声付き画像データ）を生成する処理と、第２の総合値に基づく音声付画像データ（キャラクタ属性を反映しない第２の音声付き画像データ）を生成する処理とを並行して実行し、規制指示が入力された場合には、第１の総合値の大小に拘わらず、第２の音声付き画像データを、画像コンテンツの音声付画像データとしてサーバ装置１１へ送信してもよい。

［４．１４］操作コマンドの自動選定
また、操作コマンド選定部２４７は、第1のパラメータ、第２のパラメータ及びキャラクタ属性（又は第３のパラメータ）の組み合わせを、トークライブ中に監視し、当該組み合わせに所定時間（例えば１分）にわたり変化が生じなかった場合には、上述した選定基準にかかわらず、所与の操作コマンドを選定してもよい。所与の操作コマンドは、例えば、「左手で左太腿の外側を軽く叩き、右手で右太腿の外側を軽く叩く」、などの自然な動きを対象キャラクタ８Ａにさせるための操作コマンドである。

上記構成によれば、演者５がトークライブ中に動作を休止している期間中（例えば、休憩中、水分補給中、用便中など）にも対象キャラクタに何らかの動作をさせることが可能である。

［４．１５］フロー
図２０は、画像生成装置２０Ｃによる処理のフローチャートの一例である。図２０のフローチャートは、トークライブの開始前にスタートし、トークライブの終了後に終了するものとする。なお、画像生成装置２０Ｃの内部における機能分担については説明済みであるので、ここでは処理の主体が画像生成装置２０Ｃであるとして説明する。また、ここでは、操作コマンドの選定が第２の選定処理又は第３の選定処理によって実行される場合を想定する。

先ず、画像生成装置２０Ｃは、演者５又は補助者によるキャラクタ指定の操作入力があったか否かを判定し（Ｓ１０１）、当該操作入力があった場合（Ｓ１０１Ｙ）には、次の処理（Ｓ１０２）へ移行し、さもなくば判定処理（Ｓ１０１）を繰り返す。なお、演者５又は補助者によるキャラクタ指定の操作入力は、入力部２６０を介して行われる。

次に、画像生成装置２０Ｃは、当該操作入力に基づき演者５又は補助者が指定したキャラクタを特定すると、特定したキャラクタを対象キャラクタ８Ａとしてオブジェクト空間へ設定する（Ｓ１０２）。なお、対象キャラクタ８Ａの外観（顔、髪型、服装、体型、持ち物など）は、対象キャラクタ８Ａに対応付けられたキャラクタ属性に応じて設定される。

次に、画像生成装置２０Ｃは、演者５又は補助者からトークライブの開始指示が入力されたか否かを判定し（Ｓ１０３）、開始指示が入力された場合には（Ｓ１０３Ｙ）、次の処理（Ｓ１０４）へ移行し、さもなくば判定の処理（Ｓ１０３）を繰り返す。なお、演者５又は補助者による開始指示の入力は、入力部２６０を介して行われる。また、ライブ開始指示が入力されると、画像生成装置２０Ｃは、演者データ取得部２５０に対して撮影及び集音処理の開始指示を入力する。その後、演者データ取得部２５０は、撮影及び集音処理を開始する。

次に、画像生成装置２０Ｃは、未処理の区間の演者データがバッファ２７２に蓄積されたか否かを判定し（Ｓ１０４）、蓄積された場合には（Ｓ１０４Ｙ）、対象キャラクタの画像コンテンツ（具体的には、画像コンテンツを構成する最新区間の音声データ及び画像データ）の生成処理（Ｓ１０５〜Ｓ１１３）へ移行し、未処理の区間の演者データがバッファ２７２に蓄積されていない場合（Ｓ１０４Ｎ）には、終了判定処理（Ｓ１１５）へ移行する。

次に、画像生成装置２０Ｃは、バッファ２７２に蓄積された未処理の区間の演者データを読み出し、当該演者データに含まれる音声データに対するテキスト変換処理を実行することにより、当該音声データをテキストに変換する（Ｓ１０５）。

次に、画像生成装置２０Ｃは、当該テキストに対する単語抽出処理を実行することにより、テキストに含まれる１又は複数の単語を抽出する（Ｓ１０６）。

次に、画像生成装置２０Ｃは、抽出した１又は複数の単語に応じて単語テーブル（図８）を参照することにより、抽出１又は複数の単語に対応付けられた感情属性及びポジティブ点数を特定し、画像生成装置２０Ｃは、特定した感情属性及びポジティブ点数に基づき、第１のパラメータを生成する（Ｓ１０７）。例えば、画像生成装置２０Ｃは、抽出された単語の個数が「１」である場合には、当該単語のポジティブ点数を第１のパラメータとする。また、例えば、画像生成装置２０Ｃは、抽出された単語の個数が２以上である場合には、それら単語の感情属性の中で最も多数派な感情属性を特定し、当該感情属性に対応付けられたポジティブ点数を、第１のパラメータとする。

次に、画像生成装置２０Ｃは、演者データに含まれる画像データに対してパターン認識処理を施すことにより、演者５の状態（所作）を判定する（Ｓ１０８）。状態（所作）を判定する処理については前述したとおりである。

次に、画像生成装置２０Ｃは、判定した所作に対応付けられた感情属性を状態テーブル（図９）に基づき特定し、当該感情属性に応じた第２のパラメータを生成する（Ｓ１０９）。例えば、画像生成装置２０Ｃは、状態テーブル（図９）において当該感情属性に対応付けられたポジティブ点数を、第２のパラメータとする。

次に、画像生成装置２０Ｃは、対象キャラクタ８Ａのキャラクタ属性をキャラクタテーブル（図７）に基づき特定し、当該キャラクタ属性に応じた第３のパラメータを生成する（Ｓ１１０）。例えば、画像生成装置２０Ｃは、キャラクタテーブル（図７）において当該キャラクタ属性に対応付けられたポジティブ点数を、第３のパラエータとする。

次に、画像生成装置２０Ｃは、第１のパラメータ、第２のパラメータ、第３のパラメータに基づき操作コマンドを選定する（Ｓ１１１）。第１のパラメータ、第２のパラメータ、第３のパラメータに基づき操作コマンドを選定する処理については前述したとおりである。

次に、画像生成装置２０Ｃは、オブジェクト空間に設定された対象キャラクタ８Ａの動作を、選定した操作コマンドに基づき制御する（Ｓ１１２）。

並行して、画像生成装置２０Ｃは、対象キャラクタ８Ａの画像データ及び音声データを含む最新区間のフレームデータを生成してバッファ２７２へ蓄積し、かつ、バッファ２７２に蓄積されていた最古区間のフレームデータを、サーバ装置１１へ送信する（Ｓ１１３）。

次に、画像生成装置２０Ｃは、トークライブの終了指示が入力されたか否かを判定し（Ｓ１１４）、終了指示が入力された場合には（Ｓ１１４Ｙ）、フローを終了し、さもなくば判定の処理（Ｓ１０４）へ戻り、画像コンテンツ（具体的には、画像コンテンツを構成する最新区間の音声データ及び画像データ）の生成処理（Ｓ１０５〜Ｓ１１３）へ戻る。ただし、画像生成装置２０Ｃは、トークライブの終了指示が入力された時点で未処理の区間の演者データがバッファ２７２に蓄積されている場合には、フローを終了させる前に、当該演者データを対象としたステップＳ１０５〜Ｓ１１３の処理を実行する。

なお、本実施形態では、トークライブを想定したので、画像生成装置２０Ｃが演者データを連続的に受付ける場合を説明したが、演者データを断続的に受付ける場合（演者データ取得部２５０が断続的に駆動される場合）においては、画像生成装置２０Ｃは、演者データを受け付けている期間には演者５の動作が反映された対象キャラクタの画像（演者反映画像）を生成して出力し、演者データを受付けていない期間には予め決められた動作をする対象キャラクタの画像など（プリセット画像）を生成して出力することとしてもよい。

［５］変形例
［５．１］キャラクタ属性に応じた増幅処理について
上記実施形態又は変形例では、第１のパラメータ、第２のパラメータ、及びキャラクタ属性（又はキャラクタ属性によって決まる第３のパラメータ若しくは補正係数）に応じて操作コマンドを選定する例を説明したが、第１のパラメータ、第２のパラメータに応じて操作コマンドを選定してから、キャラクタ属性（又はキャラクタ属性によって決まる第３のパラメータ若しくは補正係数）に応じて、選定された操作コマンドの下で行われる対象キャラクタの動作の振幅（発語の振幅、表情の振幅、所作の振幅、視覚効果の振幅など）を調節してもよい。この調整を実現するためには操作コマンド選定部２４７が他の操作コマンドと併せて振幅増減コマンドを選定すればよい。

例えば、選定された操作コマンドが「ジャンプジェスチャー」の所作コマンドである場合に、ジャンプの高さや速度を、キャラクタ属性に応じて調節してもよい。例えば、キャラクタ属性が「少女」である場合の高さを、キャラクタ属性が「中年男性」である場合の高さよりも大きめに調節してもよい（或いは、小さめに調節してもよい。）。或いは、キ
ャラクタ属性が「ギャルキャラクタ」である場合の高さを「清楚キャラクタ」である場合の高さよりも大きめに調節してもよい。

また、選定された操作コマンドが「ハートマーク」の視覚効果コマンドである場合に、ハートマークの数やサイズを、キャラクタ属性に応じて調節してもよい。例えば、キャラクタ属性が「少女」である場合のハートマークの数やサイズを、キャラクタ属性が「中年男性」である場合の数やサイズよりも大きめに調節してもよい（或いは、小さめに調節してもよい）。

［５．２］画像コンテンツの配信態様について
上記実施形態のシステムは、ネットワークを用いて画像コンテンツ（音声付き動画像コンテンツ）をリアルタイム配信したが、テレビ放送によって視聴者へ提供するシステムや、イベント会場に来場した観客に対して大型スクリーンで視聴者へ提供するシステムに変形することも可能である。

［５．３］画像コンテンツの視聴の態様について
上記の実施形態においては、画像コンテンツを端末装置から出力させることで視聴者に当該コンテンツを視聴させているが、端末装置は、ＨＭＤ（装着型画像表示装置）であってもよい。バーチャル空間内においてあたかも各視聴者の周囲に存在するかのごとく認知させるＶＲ体験（仮想現実体験）対象キャラクタのトークパフォーマンスを３Ｄによって視聴させるようにしてもよい。この場合には、例えば、視聴者毎に、ＨＭＤユニット及び制御ユニットを有する端末装置を提供し、各端末装置は、制御ユニットから出力された各種のデータに基づいて、画像及び音をＨＭＤに提供する。

なお、各端末装置は、同一のイベント会場によって複数の観客に提供されて同時にコンテンツの配信を実行してもよいし、別空間によって異なるタイミングにそれぞれコンテンツの配信を実行してもよい。

［５．４］その他の変形例
本発明は、実施形態で説明した構成と実質的に同一の構成（例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成）を含む。また、本発明は、実施形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施形態で説明した構成に公知技術を付加した構成を含む。

上記のように、本発明の実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。したがって、このような変形例はすべて本発明の範囲に含まれるものとする。

１１ ：サーバ装置
１２ ：大型表示装置
１００ ：サーバ処理部
１０１ ：通信制御部
１０３ ：視聴者管理部
１２０ ：入力部
１３０ ：表示部
１４０ ：記憶部
１４２ ：主記憶部
１４６ ：視聴者情報
１８０ ：情報記憶媒体
１９６ ：通信部
２００ ：処理部
２１０ ：オブジェクト空間設定部
２１１ ：タッチ検出処理部
２１５ ：移動処理部
２１６ ：仮想カメラ制御部
２１９ ：コンテンツ管理部
２２０ ：描画部
２３０ ：音処理部
２５０ ：演者データ取得部
２５０Ａ ：集音マイク
２５０Ｂ ：撮像カメラ
２６０ ：入力部
２６２ ：検出部
２７０ ：記憶部
２７１ ：主記憶部
２７２ ：バッファ
２７４ ：コンテンツデータ記憶部
２８０ ：情報記憶媒体
２９０ ：モニタ表示部
２９２ ：音出力部
２９６ ：通信部
２４１ ：データベース管理部
２４２ ：演者データ入力受付部
２４３ ：単語抽出処理部
２４４ ：第１のパラメータ生成処理部
２４５ ：状態判定部
２４６ ：第２のパラメータ生成処理部
２４７ ：操作コマンド選定部
２４８ ：動作制御部
２４９ ：画像生成部
２４０ ：画像出力部
２１０Ａ ：キャラクタ設定部

Claims (13)

1. 実空間に存在する演者の動作を、オブジェクト空間に存在する対象キャラクタの動作に反映させ、前記オブジェクト空間で動作する前記対象キャラクタの画像を生成する画像生成装置であって、
   複数のキャラクタのそれぞれに対応付けられたキャラクタ属性と、前記演者が提示し得る複数の単語のそれぞれに対応付けられて規定された感情属性と、前記演者の採り得る複数の状態のそれぞれに対応付けられて規定された感情属性と、前記対象キャラクタの動作を制御する複数の操作コマンドと、を記憶したデータベースを管理する管理手段と、
   前記複数のキャラクタの中から前記対象キャラクタを選定して前記オブジェクト空間へ設定する設定手段と、
   前記演者の提示した単語を含む演者データの入力を受け付ける入力受付手段と、
   前記演者が提示した単語を前記演者データから抽出する単語抽出処理手段と、
   抽出した前記単語の感情属性を前記データベースに基づき特定し、当該感情属性に応じた第１のパラメータを生成する第１のパラメータ生成処理手段と、
   入力した前記演者データの少なくとも一部と状態判定用の基準データとに基づき前記演者の状態を判定する判定手段と、
   判定した前記状態の感情属性を前記データベースに基づき特定し、当該感情属性に応じた第２のパラメータを生成する第２のパラメータ生成処理手段と、
   前記複数の操作コマンドの中から、前記対象キャラクタの動作の制御に用いるべき１又は複数の操作コマンドを、前記第１のパラメータと、前記第２のパラメータと、選定した前記対象キャラクタのキャラクタ属性と、所与の選定基準とに基づき選定する操作コマンド選定手段と、
   前記オブジェクト空間に設定された前記対象キャラクタの動作を、選定された前記操作コマンドに基づき制御する動作制御手段と、
   前記オブジェクト空間内で動作する前記対象キャラクタの画像を生成する画像生成手段と、
   生成された前記対象キャラクタの画像を出力する画像出力手段と、
   を備えることを特徴とする画像生成装置。
2. 請求項１に記載の画像生成装置において、
   前記操作コマンド選定手段は、
   前記操作コマンドの選定を行う前に、前記対象キャラクタのキャラクタ属性に応じて前記第１のパラメータ及び前記第２のパラメータの少なくとも一方を補正する処理を実行する、
   ことを特徴とする画像生成装置。
3. 請求項２に記載の画像生成装置において、
   前記操作コマンド選定手段は、
   補正後の前記第１のパラメータ及び前記第２のパラメータの組み合わせが所与の条件を満たす場合には、補正後の前記第１のパラメータ及び前記第２のパラメータに基づき前記操作コマンドの選定を行い、前記所与の条件を満たさない場合には、補正前の前記第１のパラメータ及び前記第２のパラメータに基づき前記操作コマンドの選定を行う、
   ことを特徴とする画像生成装置。
4. 請求項１又は２に記載の画像生成装置において、
   前記キャラクタ属性には、感情属性が含まれ、
   前記画像生成装置は、
   前記対象キャラクタのキャラクタ属性に対応する感情属性を前記データベースに基づき特定し、当該感情属性に応じた第３のパラメータを生成する第３のパラメータ生成処理手
   段を更に備え、
   前記操作コマンド選定手段は、
   前記第１のパラメータ、前記第２のパラメータ、及び前記第３のパラメータの組み合わせと、当該組み合わせに係る前記選定基準とに基づき前記操作コマンドの選定を行う、
   ことを特徴とする画像生成装置。
5. 請求項１〜４の何れか一項に記載の画像生成装置において、
   前記複数の操作コマンドには、
   １又は複数の特定のキャラクタ属性に対応付けられた１又は複数の特定の操作コマンドが含まれ、
   前記操作コマンド選定手段が実行する処理には、
   前記複数の操作コマンドの中から前記選定される操作コマンドの候補を設定する候補設定処理が含まれ、
   前記候補設定処理においては、前記対象キャラクタのキャラクタ属性が前記特定のキャラクタ属性である場合に、前記特定の操作コマンドを前記候補に追加する処理又は前記候補から除外する処理を実行する、
   ことを特徴とする画像生成装置。
6. 請求項１〜５の何れか一項に記載の画像生成装置において、
   出力された前記対象キャラクタの画像について視聴者が行った評価のデータを収集する収集処理を実行する収集手段を更に備え、
   前記操作コマンド選定手段は、
   複数の前記画像に適用された複数の前記操作コマンドと、複数の前記画像に係る複数の前記評価のデータとに基づき、複数の前記操作コマンドを重み付けする処理を実行し、新たな前記画像を生成する際における前記操作コマンドの選定を、前記複数の操作コマンドの重みに基づいて行う、
   ことを特徴とする画像生成装置。
7. 請求項６に記載の画像生成装置において、
   前記複数の操作コマンドの重みに基づき前記選定基準の更新をする更新処理を、所与の条件が満たされる度に実行するフィードバック手段を更に備える、
   ことを特徴とする画像生成装置。
8. 請求項１〜７の何れか一項に記載の画像生成装置において、
   前記複数の操作コマンドには、
   前記対象キャラクタの表情を制御する操作コマンドと、
   前記対象キャラクタの所作を制御する操作コマンドと、
   前記対象キャラクタに視覚効果を付与する操作コマンドと、
   前記対象キャラクタの発語を制御する操作コマンドと、
   の少なくとも１つが含まれる、
   ことを特徴とする画像生成装置。
9. 請求項１〜８の何れか一項に記載の画像生成装置において、
   前記画像出力手段は、
   前記演者の演技中に逐次に生成される前記対象キャラクタの画像を前記画像の視聴者へ前記演技中に逐次に出力する、
   ことを特徴とする画像生成装置。
10. 請求項１〜９の何れか一項に記載の画像生成装置において、
    前記第１のパラメータ、前記第２のパラメータ、及び前記キャラクタ属性のバランスを
    示すイメージを、前記演者へ演技中に逐次に出力するモニタ手段を更に備える、
    ことを特徴とする画像生成装置。
11. 請求項１〜１０の何れか一項に記載の画像生成装置において、
    前記画像出力手段は、
    前記対象キャラクタの画像の生成から前記オブジェクト空間の視聴者へ前記画像が出力されるまでの間に遅延時間を設ける遅延出力処理を実行し、当該遅延時間内に前記演者又は補助者から操作入力を受付けた場合に、前記視聴者に出力される前記画像を調整する処理を実行する、
    ことを特徴とする画像生成装置。
12. 請求項１〜１１の何れか一項に記載の画像生成装置において、
    前記操作コマンド選定手段は、
    前記第1のパラメータ、前記第２のパラメータ及び前記キャラクタ属性の組み合わせに所定時間にわたり変化が生じなかった場合には、前記選定基準にかかわらず所与の操作コマンドを選定する、
    ことを特徴とする画像生成装置。
13. 実空間に存在する演者の動作を、オブジェクト空間に存在する対象キャラクタの動作に反映させ、前記オブジェクト空間で動作する前記対象キャラクタの画像を生成する画像生成装置としてコンピュータを機能させるプログラムであって、
    複数のキャラクタのそれぞれに対応付けられたキャラクタ属性と、前記演者が提示し得る複数の単語のそれぞれに対応付けられて規定された感情属性と、前記演者の採り得る複数の状態のそれぞれに対応付けられて規定された感情属性と、前記対象キャラクタの動作を制御する複数の操作コマンドと、を記憶したデータベースを管理する管理手段と、
    前記複数のキャラクタの中から前記対象キャラクタを選定して前記オブジェクト空間へ設定する設定手段と、
    前記演者の提示した単語を含む演者データの入力を受け付ける入力受付手段と、
    前記演者が提示した単語を前記演者データから抽出する単語抽出処理手段と、
    抽出した前記単語の感情属性を前記データベースに基づき特定し、当該感情属性に応じた第１のパラメータを生成する第１のパラメータ生成処理手段と、
    入力した前記演者データの少なくとも一部と状態判定用の基準データとに基づき前記演者の状態を判定する判定手段と、
    判定した前記状態の感情属性を前記データベースに基づき特定し、当該感情属性に応じた第２のパラメータを生成する第２のパラメータ生成処理手段と、
    前記複数の操作コマンドの中から、前記対象キャラクタの動作の制御に用いるべき１又は複数の操作コマンドを、前記第１のパラメータと、前記第２のパラメータと、選定した前記対象キャラクタのキャラクタ属性と、所与の選定基準とに基づき選定する操作コマンド選定手段と、
    前記オブジェクト空間に設定された前記対象キャラクタの動作を、選定された前記操作コマンドに基づき制御する動作制御手段と、
    前記オブジェクト空間内で動作する前記対象キャラクタの画像を生成する画像生成手段と、
    生成された前記対象キャラクタの画像を出力する画像出力手段と、
    してコンピュータを機能させることを特徴とするプログラム。
    

Images