JP2023082998A - 表示制御装置 - Google Patents

Abstract

【課題】エージェントの表情をリアルタイムで変化させつつその表現力を高めることができるようにした表示制御装置を提供する。【解決手段】ＰＵ２２は、表示部１２にエージェント画像１４を表示する制御を実行する。ＰＵ２２は、エージェント画像１４のうちの胴体および頭部については、２Ｄモデルに２Ｄ用テクスチャデータ２４ｄをマッピングしたデータを用いる。ＰＵ２２は、エージェント画像１４の目、口、眉毛については、３Ｄモデルデータ２４ｃによって規定される３Ｄモデルに、３Ｄ用テクスチャデータ２４ｅをマッピングしたデータを用いる。【選択図】図１

Description

本発明は、表示制御装置に関する。

たとえば下記特許文献１には、バーチャルキャラクタを表示する表示制御装置が記載されている。この表示制御装置においては、「あ」、「い」、「う」、「え」、「お」の母音に一致するテクスチャがあらかじめメモリに記憶されている。そして表示制御装置は、入力音声から母音を抽出する。表示制御装置は、抽出した母音と一致する口形のテクスチャをバーチャルキャラクタの口形に貼り付けて変更する。

特開２０２１－５６８１８号公報

ところで、バーチャルキャラクタと人との対話において、バーチャルキャラクタのリップシンクをリアルタイムに行えない場合には、対話の遅延やすれ違いに繋がってしまう。しかし、高精細な３次元のキャラクタの描画をする場合、コンピュータの演算負荷が非常に大きくなる。そのため、リアルタイムで高精度な３次元のキャラクタを描画することは困難である。

以下、上記課題を解決するための手段およびその作用効果について記載する。
１．記憶装置と、実行装置と、を備え、前記記憶装置には、エージェントに関する複数のテクスチャデータである２Ｄ用テクスチャデータと、前記２Ｄ用テクスチャデータとは別のデータであって且つ前記エージェントの目、および口部分のテクスチャデータを含むデータである３Ｄ用テクスチャデータと、が記憶されており、前記エージェントは、ユーザと対話する人物であり、前記２Ｄ用テクスチャデータは、前記エージェントの互いに異なる姿勢を示す複数のデータを含み、前記３Ｄ用テクスチャデータは、前記エージェントの互いに異なる表情のそれぞれを示す目および口部分の複数のデータを含み、前記実行装置は、２Ｄマッピング処理、３Ｄマッピング処理、および表示処理を実行し、前記２Ｄマッピング処理は、前記２Ｄ用テクスチャデータに含まれる複数の姿勢のデータから選択された１つのデータを２Ｄモデルにマッピングする処理であり、前記３Ｄマッピング処理は、前記３Ｄ用テクスチャデータに含まれる複数の表情から選択された１つの表情のデータを３Ｄモデルにマッピングする処理であり、前記表示処理は、前記２Ｄマッピング処理がなされた画像データと、前記３Ｄマッピング処理がなされた画像データとが合成された画像データを表示部に表示する処理である表示制御装置である。

上記構成では、２Ｄモデルに２Ｄ用のテクスチャをマッピングすることによってエージェントの姿勢を表現することにより、３Ｄモデルにテクスチャをマッピングする場合と比較して、実行装置の演算負荷を軽減できる。一方、上記構成では、目および口部分については３Ｄモデルにテクスチャをマッピングした。これにより、目および口部分についても２Ｄモデルとする場合と比較して、エージェントの表情の表現力を高めることができる。

２．前記３Ｄ用テクスチャデータは、前記エージェントの互いに異なる表情のそれぞれを示す眉毛部分の複数のデータを含む上記１記載の表示制御装置である。
上記構成では、眉毛についても３Ｄモデルを用いることにより、２Ｄモデルを用いる場合と比較して、エージェントの表情の表現力を高めることができる。

３．前記記憶装置には、前記３Ｄ用テクスチャデータがマッピングされる３Ｄモデルデータが記憶されており、前記３Ｄ用テクスチャデータのうちの口部分のデータは、顎部分のデータを含み、前記顎部分のデータは、口が閉じた状態のデータと口が開いた状態のデータとを含み、前記口が閉じた状態の前記顎部分のデータがマッピングされる前記３Ｄモデルと、前記口が開いた状態の前記顎部分のデータがマッピングされる前記３Ｄモデルとは、同一のモデルである上記１または２記載の表示制御装置である。

口が開いたときと閉じたときとでは、顎の先端部分の位置が異なる。しかし、上記構成では、あえて口が開いたときと閉じたときとで同一の３Ｄモデルを用いる。これにより、口の開閉に応じて３Ｄモデルを変形可能とする場合と比較して、表示のための演算負荷を軽減できる。しかも、３Ｄモデルを用いることにより、２Ｄモデルを用いる場合と比較して、口の周りの表現力を高めることができる。

４．前記記憶装置には、前記３Ｄモデルの位置および回転角を前記２Ｄ用テクスチャデータが示す前記エージェントの互いに異なる姿勢のそれぞれに対して規定するデータである規定データが記憶されており、前記３Ｄマッピング処理は、前記規定データに基づき前記３Ｄ用テクスチャデータを前記３Ｄモデルにマッピングする処理である上記１～３のいずれか１つに記載の表示制御装置である。

上記構成では、エージェントの姿勢毎に、３Ｄモデルの位置および回転角が規定された規定データを用いることにより、エージェントの姿勢が変化しても、３Ｄモデルを整合させることができる。そのため、３Ｄ用テクスチャデータのうちのマッピングされるデータを、エージェントの姿勢の変化に整合させることができる。

５．前記記憶装置に記憶された前記３Ｄ用テクスチャデータは、プリレンダリングされたデータである上記１～４のいずれか１つに記載の表示制御装置である。
上記構成では、プリレンダリングされたデータを記憶しておくことにより、エージェントの画像を表示する際、レンダリングに要する時間を節約できる。

６．前記記憶装置は、第１記憶装置と、第２記憶装置と、を備え、前記第１記憶装置には、前記３Ｄ用テクスチャデータが常時記憶されており、前記実行装置は、書き込み処理を実行し、前記書き込み処理は、前記第１記憶装置に記憶された前記３Ｄ用テクスチャデータを前記第２記憶装置に書き込む処理であり、前記３Ｄマッピング処理は、前記第２記憶装置に書き込まれた前記３Ｄ用テクスチャデータを用いて前記３Ｄモデルに前記３Ｄ用テクスチャデータをマッピングする処理である上記１～５のいずれか１つに記載の表示制御装置である。

上記構成では、第２記憶装置からのデータの読み出し処理に要する時間が短ければ、エージェントの迅速な表示が可能となる。したがって、３Ｄ用テクスチャデータを常時記憶しておく第１記憶装置の読み取り動作等に対する要求を軽減できる。

７．前記実行装置は、前記ユーザとの対話に応じて前記エージェントの互いに異なる姿勢を示す複数のデータのうちの前記２Ｄマッピング処理に利用するデータを選択する２Ｄ選択処理と、前記ユーザとの対話に応じて前記エージェントの互いに異なる表情のそれぞれを示す複数のデータのうちの前記３Ｄマッピング処理に利用するデータを選択する３Ｄ選択処理と、を実行する上記１～６のいずれか１つに記載の表示制御装置である。

上記構成によれば、エージェントの姿勢および表情をユーザとの対話に応じた適切なものとすることができる。

一実施形態にかかる対話ユニットの構成を示すブロック図である。 同実施形態にかかる制御装置が実行する処理の手順を示す流れ図である。 同実施形態にかかる３Ｄモデルを示す図である。 同実施形態にかかる２Ｄ用テクスチャデータを示す図である。 同実施形態にかかる３Ｄ用テクスチャデータを示す図である。 同実施形態にかかる制御装置が実行する処理の手順を示す流れ図である。 （ａ）～（ｅ）は、同実施形態にかかる３Ｄ用テクスチャデータの利用を例示する図である。

以下、一実施形態について図面を参照しつつ説明する。
図１に示す対話ユニット１０は、表示部１２を備えている。表示部１２は、たとえばＬＣＤ，ＬＥＤ等にて構成された表示パネルである。表示部１２には、ユーザと対話をする仮想の人物の画像であるエージェント画像１４が表示される。

表示制御装置２０は、表示部１２を操作することによって、表示部１２に表示される画像を制御する。この際、表示制御装置２０は、画像を制御するために、ＲＧＢカメラ３０が出力するＲＧＢ画像データＤｒｇｂを参照する。ＲＧＢカメラ３０は、ユーザが位置すると想定される方向に向けて配置されている。ＲＧＢ画像データＤｒｇｂは、レッド、グリーン、ブルーの３原色のそれぞれの輝度データを含む。また、表示制御装置２０は、画像を制御するために、赤外線カメラ３２の出力する赤外線画像データＤｉｒを参照する。赤外線カメラ３２も、ユーザが位置すると想定される方向に向けて配置されている。また、表示制御装置２０は、画像を制御するために、マイク３４の出力する音声信号Ｓｓを参照する。マイク３４は、ユーザの発生した音信号を感知するために設けられている。

表示制御装置２０は、エージェント画像１４の動作に合わせてスピーカ３６を操作することによって、音声信号を出力する。
表示制御装置２０は、ＰＵ２２、記憶装置２４、および記憶装置２６を備えている。ＰＵ２２は、ＣＰＵ、ＧＰＵ、およびＴＰＵ等の少なくとも１つを備えたソフトウェア処理装置である。記憶装置２４には、表示制御プログラム２４ａおよびシナリオデータ２４ｂが記憶されている。記憶装置２６は、記憶装置２４よりも動作速度が速い装置である。動作速度は、記憶されたデータの読み出し速度と、データの書き込み速度とを含む。

シナリオデータ２４ｂは、有限オートマトンで構成されている。シナリオデータ２４ｂは、エージェントの発話内容、および動作を規定する複数個の状態を定めるデータである。ＰＵ２２は、シナリオデータ２４ｂに従って、エージェントにユーザと対話させる。すなわち、ＰＵ２２は、音声信号Ｓｓを入力として音声認識を行い、ユーザの発話内容を示すテキストデータを生成する。また、ＰＵ２２は、ＲＧＢ画像データＤｒｇｂおよび赤外線画像データＤｉｒを用いて、ユーザの動作を認識する。そして、ＰＵ２２は、テキストデータおよびユーザの動作の認識結果を入力として、シナリオデータ２４ｂが規定する状態の遷移条件を満たすか否かを判定する。ＰＵ２２は、遷移条件を満たすと判定する場合、遷移先の状態において規定されるエージェントの動作にしたがって、表示部１２を操作する。これにより、エージェント画像１４が制御される。また、ＰＵ２２は、遷移先の状態において規定される発話内容に従って、スピーカ３６を操作する。これにより、ユーザに対してエージェントが言葉を発することとなる。

エージェント画像１４は、ユーザとの対話に応じて豊かな表情をリアルタイムで表現する。これは、「画像表示のための前処理」、および「画像表示に関する処理」によって実現される。以下では、これらを順に説明する。

「画像表示のための前処理」
図２に、画像表示のための前処理の手順を示す。図２に示す処理は、記憶装置２４に記憶された表示制御プログラム２４ａをＰＵ２２がたとえば所定周期でくり返し実行することにより実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって、各処理のステップ番号を表現する。

図２に示す一連の処理において、ＰＵ２２は、まず表示部１２にエージェント画像１４を表示するための描画用ウィンドウを作成する（Ｓ１０）。次にＰＵ２２は、エージェント画像１４を生成するための２Ｄモデルを記憶装置２４から読み出す（Ｓ１２）。この処理は、ＰＵ２２が、２Ｄモデルを規定するデータを、記憶装置２６に書き込む処理を含む。２Ｄモデルは、主に、エージェント画像１４が示すエージェントの胴体および頭部等の表示に利用される２次元のモデルである。また、ＰＵ２２は、記憶装置２４から３Ｄモデルを規定する３Ｄモデルデータ２４ｃを読み出す（Ｓ１４）。この処理は、ＰＵ２２が、３Ｄモデルデータ２４ｃを、記憶装置２６に書き込む処理を含む。３Ｄモデルは、エージェント画像１４のうちの、エージェントの表情に特に影響する、目、口、眉毛部分の画像を生成するために利用される３次元のモデルである。図３に、３Ｄモデルデータ２４ｃを例示する。

図３に示すように、３Ｄモデルデータ２４ｃは、顔上部モデル６０と、顔下部モデル６２とを規定するデータである。顔上部モデル６０は、エージェントの目および眉毛部分を表現するためのモデルである。顔下部モデル６２は、エージェントの口を含む部分である。顔下部モデル６２は、顎、頬部分を含む。３Ｄモデルデータ２４ｃは、ポリゴンモデルである。図３においては、顔下部モデル６２に、頂点が３点であるポリゴンを例示した。

なお、３Ｄモデルデータ２４ｃは、エージェントの実際の形状をかたどったものではない。たとえば、顔下部モデル６２は、エージェントが口を開いているときの顎の先端部分をも包含する。しかし、エージェントの口が閉じているときの画像データも、同じ顔下部モデル６２を用いて生成される。

図２に戻り、ＰＵ２２は、記憶装置２４に記憶された２Ｄ用テクスチャデータ２４ｄおよび３Ｄ用テクスチャデータ２４ｅを読み出す（Ｓ１６）。この処理は、ＰＵ２２が、２Ｄ用テクスチャデータ２４ｄおよび３Ｄ用テクスチャデータ２４ｅを記憶装置２６に書き込む処理を含む。２Ｄ用テクスチャデータ２４ｄおよび３Ｄ用テクスチャデータ２４ｅは、いずれも、プリレンダリングされたデータである。これは、レンダリング処理をＰＵ２２が実行するのに要する時間を削減することを狙ったものである。

２Ｄ用テクスチャデータ２４ｄは、２Ｄモデルにマッピングされるデータである。図４に、２Ｄ用テクスチャデータ２４ｄを例示する。
図４に示すように、２Ｄ用テクスチャデータ２４ｄは、シナリオデータ２４ｂによって規定される状態によって選択的に指定される複数個のデータを含む。それらデータの各々は、エージェントが所定の姿勢、動作をしているときのデータである。複数個のデータのそれぞれが規定するエージェントの姿勢、動作は、それらデータ同士で互いに異なる。

３Ｄ用テクスチャデータ２４ｅは、３Ｄモデルデータ２４ｃによって規定される３Ｄモデルにマッピングされるデータである。図５に、３Ｄ用テクスチャデータ２４ｅを例示する。

図５に示すように、３Ｄ用テクスチャデータ２４ｅは、目部データ７０および顎部データ７２を含む。目部データ７０は、エージェントの目および眉毛を含むデータである。目部データ７０は、シナリオデータ２４ｂによって規定される状態によって選択的に指定される複数個のデータを含む。それらデータの各々は、エージェントが所定の表情をしているときのデータである。複数個のデータのそれぞれが規定するエージェントの表情は、それらデータ同士で互いに異なる。

顎部データ７２は、エージェントの口、顎、および鼻の一部を含むデータである。顎部データ７２は、シナリオデータ２４ｂによって規定される状態によって選択的に指定される複数個のデータを含む。それらデータの各々は、エージェントが所定の表情をしているときのデータである。複数個のデータのそれぞれが規定するエージェントの表情は、それらデータ同士で互いに異なる。

図２に戻り、ＰＵ２２は、記憶装置２４に記憶された規定データ２４ｆを読み出す（Ｓ１８）。この処理は、ＰＵ２２が、規定データ２４ｆを記憶装置２６に書き込む処理を含む。規定データ２４ｆは、２Ｄ用テクスチャデータ２４ｄに含まれる、エージェントの様々な姿勢、動作を規定するデータの各々について、３Ｄデータの位置、および回転角を規定するデータである。規定データ２４ｆは、２Ｄ用テクスチャデータ２４ｄが示すエージェントの姿勢と、３Ｄモデルとを整合させるためのデータである。これは、たとえばエージェントが斜めを向いている場合と正面を向いている場合とで３Ｄモデルの位置、回転角を固定する場合には、２Ｄ用テクスチャデータ２４ｄが示すエージェントの姿勢と３Ｄモデルとが整合しないためである。

なお、ＰＵ２２は、Ｓ１８の処理を完了する場合、図２に示す一連の処理を一旦終了する。
「画像表示に関する処理」
図６に、画像表示に関する処理の手順を示す。図６に示す処理は、表示制御プログラム２４ａをＰＵ２２がたとえば所定周期でくり返し実行することにより実現される。

図６に示す一連の処理において、ＰＵ２２は、まず、シナリオデータ２４ｂが示す状態のうちの現在の状態によって規定されるエージェントの姿勢、動作の指令を読み込む（Ｓ２０）。次にＰＵ２２は、同指令に基づき、２Ｄ用テクスチャデータ２４ｄのうちの表示に用いるデータと、３Ｄ用テクスチャデータ２４ｅのうちの表示に用いるデータと、を記憶装置２６から読み出す（Ｓ２２）。

次に、ＰＵ２２は、２Ｄモデルに、Ｓ２２の処理によって読み出したテクスチャをマッピングする（Ｓ２４）。そして、ＰＵ２２は、マッピングされたテクスチャのデータを、記憶装置２６に記憶する（Ｓ２６）。ここで、データが記憶される記憶領域は、表示部１２に表示される画像データを記憶する領域の一部である。

次に、ＰＵ２２は、２Ｄ用テクスチャデータ２４ｄのうちのＳ２２の処理によって読み出されたデータと、規定データ２４ｆとに基づき、３Ｄモデルの位置を設定する（Ｓ２８）。そして、ＰＵ２２は、Ｓ２２の処理によって読み出された３Ｄ用テクスチャデータのうちの顎部データ７２を、３Ｄモデルにマッピングする（Ｓ３０）。次にＰＵ２２は、３Ｄモデルにマッピングされたテクスチャを２Ｄに投影する処理をした後、記憶装置２６に記憶する（Ｓ３２）。ここでは、Ｓ２６の処理によってデータが記憶された領域のうちの一部の領域が、記憶の対象領域となる。Ｓ３２の処理は、Ｓ２６の処理によって対象領域に記憶されたデータに、投影処理によって生成されたデータを重畳する処理である。詳しくは、投影処理によって生成されたデータのうち境界部分に近いデータが記憶される領域ほど、Ｓ２６の処理によって対象領域に記憶されたデータの寄与を大きくする処理である。これは、アルファブレンド処理等によって実現できる。

また、ＰＵ２２は、３Ｄ用テクスチャデータ２４ｅのうちのＳ２２の処理によって読み出された目部データ７０に規定される目の部分のデータを、３Ｄモデルにマッピングする（Ｓ３４）。次にＰＵ２２は、３Ｄモデルにマッピングされたテクスチャを２Ｄに投影する処理をした後、記憶装置２６に記憶する（Ｓ３６）。Ｓ３６の処理は、Ｓ３２の処理と同様の処理である。

また、ＰＵ２２は、３Ｄ用テクスチャデータ２４ｅのうちのＳ２２の処理によって読み出された目部データ７０に規定される眉毛の部分のデータを、３Ｄモデルにマッピングする（Ｓ３８）。次にＰＵ２２は、３Ｄモデルにマッピングされたテクスチャを２Ｄに投影する処理をした後、記憶装置２６に記憶する（Ｓ４０）。Ｓ４０の処理は、Ｓ３２の処理と同様の処理である。

そして、ＰＵ２２は、Ｓ２６，Ｓ３２，Ｓ３６，Ｓ４０の処理によって記憶装置２６に記憶されたデータを表示部１２に表示すべく、表示部１２を操作する（Ｓ４２）。
なお、ＰＵ２２は、Ｓ４２の処理を完了する場合、図６に示す一連の処理を一旦終了する。

ここで、本実施形態の作用および効果について説明する。
ＰＵ２２は、シナリオデータ２４ｂに規定された状態に従って、エージェントの姿勢および発話を制御する。

図７に、表情が互いに異なる５個のエージェント画像１４の一部を例示する。図７（ｄ）は、エージェントがユーザに目を合わせている状態を示す。これに対し、図７（ａ）～図７（ｃ）および図７（ｅ）は、エージェントがユーザから目をそらしている状態を示す。ただし、図７（ａ）～図７（ｃ）および図７（ｅ）は、互いに異なる視線を有する状態である。図７（ａ）～図７（ｅ）に示すエージェント画像１４は、シナリオデータ２４ｂによって規定される表情の変化の一例である。

ここで、ＰＵ２２は、エージェント画像１４の全体を３Ｄモデルを用いて生成するのではなく、２Ｄモデルと３Ｄモデルとを併用する。すなわち、エージェントの表情に特に大きく影響する目、口、眉毛については、３Ｄモデルを用いてエージェント画像１４を示す画像データを生成する。これにより、エージェントの頭部の全体、または頭部の全体および胴体を、専用の３Ｄモデルにテクスチャマッピングする場合と比較して、演算負荷を軽減できる。一方、仮に、口、目、および眉毛についても２Ｄモデルとする場合には、本実施形態と比較して、演算負荷を軽減できる。しかし、その場合には、エージェント画像１４のリアリティが低下する。

したがって、本実施形態によれば、エージェント画像１４をリアルタイムで更新することと、リアリティを高く保つこととの好適な折衷を図ることができる。
以上説明した本実施形態によれば、さらに以下に記載する作用および効果が得られる。

（１）３Ｄ用テクスチャデータ２４ｅのうちの口が開いているときの顎部分のテクスチャと、口が閉じているときの顎部分のテクスチャとを、共通の顔下部モデル６２にマッピングした。これにより、口の開閉に応じて３Ｄモデルを変形可能とする場合と比較して、表示のための演算負荷を軽減できる。

（２）ＰＵ２２は、２Ｄ用テクスチャデータ２４ｄのうちの選択されたテクスチャに応じて、規定データ２４ｆに基づき、３Ｄモデルの位置および回転角を定めた。これにより、２Ｄ用テクスチャデータ２４ｄによって表現されるエージェントの姿勢が変化しても、３Ｄモデルを整合させることができる。そのため、２Ｄ用テクスチャデータ２４ｄによって表現されるエージェントの姿勢と、３Ｄ用テクスチャデータ２４ｅのうちの表示に用いるデータとを整合させることができる。

（３）２Ｄ用テクスチャデータ２４ｄおよび３Ｄ用テクスチャデータ２４ｅを、プリレンダリングされたデータとした。これにより、表示部１２にエージェント画像１４を表示する際、レンダリングに要する時間を節約できる。

（４）ＰＵ２２は、表示部１２にエージェント画像１４を表示するのに先立って、２Ｄ用テクスチャデータ２４ｄ、３Ｄ用テクスチャデータ２４ｅ、および規定データ２４ｆを、記憶装置２６に書き込んだ。記憶装置２６の動作速度が記憶装置２４の動作速度よりも高いため、上記処理によれば、エージェント画像１４の表示および更新を迅速に行うことができる。

（５）ユーザとの対話に応じて、シナリオデータ２４ｂによって、エージェントの異なる姿勢、動作を規定した。これにより、エージェントの姿勢および動作をユーザとの対話に応じた適切なものとすることができる。

＜対応関係＞
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。［１，２］記憶装置は、記憶装置２４，２６に対応する。実行装置は、ＰＵ２２に対応する。２Ｄ用テクスチャデータは、２Ｄ用テクスチャデータ２４ｄに対応する。３Ｄ用テクスチャデータは、３Ｄ用テクスチャデータ２４ｅに対応する。２Ｄマッピング処理は、Ｓ２４の処理に対応する。３Ｄマッピング処理は、Ｓ３０，Ｓ３４，Ｓ３８の処理に対応する。表示処理は、Ｓ２６，Ｓ３２，Ｓ３６，Ｓ４０，Ｓ４２の処理に対応する。［３］３Ｄモデルデータは、３Ｄモデルデータ２４ｃに対応する。図３に示す顔下部モデル６２が１つのみであることに対応する。［４］規定データは、規定データ２４ｆに対応する。［５］Ｓ１６の処理において記憶装置２４から読み出されるデータがプリレンダリングされたデータであることに対応する。［６］第１記憶装置は、記憶装置２４に対応する。第２記憶装置は、記憶装置２６に対応する。書き込み処理は、Ｓ１２，Ｓ１４の処理に対応する。［７］２Ｄ選択処理は、Ｓ２２の処理に対応する。３Ｄ選択処理は、Ｓ２２の処理に対応する。

＜その他の実施形態＞
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

「３Ｄ用テクスチャデータについて」
・上記顎部データ７２を、鼻部分のテクスチャを備えないデータとしてもよい。
・上記実施形態では、３Ｄ用テクスチャデータ２４ｅを、目部データ７０、および顎部データ７２とから構成したが、これに限らない。たとえば、眉毛のテクスチャデータと目のテクスチャデータとを各別のデータとしてもよい。

・３Ｄ用テクスチャデータ２４ｅが、眉毛、目、および口のそれぞれのテクスチャを備えることは必須ではない。たとえば、目および口のそれぞれのテクスチャを備えるものの、眉毛については備えないこととしてもよい。

「３Ｄモデルデータについて」
・上記実施形態では、３Ｄモデルデータ２４ｃを、顔上部モデル６０および顔下部モデル６２によって構成したが、これに限らない。たとえば、眉毛部分のデータ、目部分のデータ、および顎部分のデータを備えて構成してもよい。またたとえば、上記「３Ｄ用テクスチャデータについて」の欄に記載したように、眉毛のテクスチャを備えないなら、眉毛部分のデータを削除してもよい。またたとえば、上記「３Ｄ用テクスチャデータについて」の欄に記載したように、鼻部分のテクスチャを備えないなら、鼻部分のデータを備えなくてもよい。

・３Ｄモデルデータ２４ｃが顔の複数の領域のそれぞれに対応するデータを備えることは必須ではない。たとえば顔の一部の領域に関する単一のデータであってもよい。
・３Ｄモデルデータとしては、変形しないデータに限らない。たとえば、口の動きに応じて顎部が変形可能なデータであってもよい。またたとえば、２Ｄ用テクスチャデータ２４ｄのいくつかのグループに応じた互いに異なるデータであってもよい。

・ポリゴンとしては、頂点が３個のものに限らない。
「ユーザとの対話について」
・ユーザとの対話を行う手法としては、シナリオデータ２４ｂを用いる手法に限らない。たとえば、ユーザの発話内容等に関連するテキストデータを知識データベースから検索して出力する写像を用いてもよい。ここでの写像は、たとえば、エンコーダ・デコーダモデルを用いて構成してもよい。また、たとえば注意機構を備えたニューラルネットワークによって構成してもよい。

「２Ｄ選択処理、３Ｄ選択処理について」
・２Ｄ選択処理としては、２Ｄ用テクスチャデータ２４ｄのうちのシナリオデータ２４ｂによって指定されたデータを選択する処理に限らない。たとえば「ユーザとの対話について」の欄に記載したように、知識データベースから検索されたテキストデータをエージェントが発話する場合、その内容に応じてデータを選択する処理であってもよい。

・３Ｄ選択処理としては、３Ｄ用テクスチャデータ２４ｅのうちのシナリオデータ２４ｂによって指定されたデータを選択する処理に限らない。たとえば「ユーザとの対話について」の欄に記載したように、知識データベースから検索されたテキストデータをエージェントが発話する場合、その内容に応じてデータを選択する処理であってもよい。

「記憶装置について」
・上記実施形態では、テクスチャマッピング等の処理において記憶装置２６に書き込まれた３Ｄ用テクスチャデータ２４ｅを用いることとしたが、これに限らない。たとえば、記憶装置２６を備えることなく、記憶装置２４に記憶された３Ｄ用テクスチャデータ２４ｅを用いてテクスチャマッピングをしてもよい。

「表示制御装置について」
・表示制御装置が、３Ｄ用テクスチャデータ２４ｅが記憶されている記憶装置を備えることは必須ではない。たとえば、記憶装置２４には、３Ｄ用テクスチャデータ２４ｅが記憶されておらず、Ｓ１４の処理において、外部から３Ｄ用テクスチャデータ２４ｅを受信して記憶装置２６に記憶してもよい。

「実行装置について」
・実行装置としては、ＣＰＵ，ＧＰＵ，ＴＰＵ等のソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理する専用のハードウェア回路を備えてもよい。専用のハードウェア回路は、たとえばＡＳＩＣ等としてもよい。すなわち、実行装置は、以下の（ａ）～（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するプログラム格納装置とを備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置、および専用のハードウェア回路の少なくとも一方は、複数であってもよい。

１０…対話ユニット
１２…表示部
１４…エージェント画像
２０…表示制御装置
２４…記憶装置
２６…記憶装置
６０…顔上部モデル
６２…顔下部モデル
７０…目部データ
７２…顎部データ

Claims (7)

1. 記憶装置と、実行装置と、を備え、
   前記記憶装置には、エージェントに関する複数のテクスチャデータである２Ｄ用テクスチャデータと、前記２Ｄ用テクスチャデータとは別のデータであって且つ前記エージェントの目、および口部分のテクスチャデータを含むデータである３Ｄ用テクスチャデータと、が記憶されており、
   前記エージェントは、ユーザと対話する人物であり、
   前記２Ｄ用テクスチャデータは、前記エージェントの互いに異なる姿勢を示す複数のデータを含み、
   前記３Ｄ用テクスチャデータは、前記エージェントの互いに異なる表情のそれぞれを示す目および口部分の複数のデータを含み、
   前記実行装置は、２Ｄマッピング処理、３Ｄマッピング処理、および表示処理を実行し、
   前記２Ｄマッピング処理は、前記２Ｄ用テクスチャデータに含まれる複数の姿勢のデータから選択された１つのデータを２Ｄモデルにマッピングする処理であり、
   前記３Ｄマッピング処理は、前記３Ｄ用テクスチャデータに含まれる複数の表情から選択された１つの表情のデータを３Ｄモデルにマッピングする処理であり、
   前記表示処理は、前記２Ｄマッピング処理がなされた画像データと、前記３Ｄマッピング処理がなされた画像データとが合成された画像データを表示部に表示する処理である表示制御装置。
2. 前記３Ｄ用テクスチャデータは、前記エージェントの互いに異なる表情のそれぞれを示す眉毛部分の複数のデータを含む請求項１記載の表示制御装置。
3. 前記記憶装置には、前記３Ｄ用テクスチャデータがマッピングされる３Ｄモデルデータが記憶されており、
   前記３Ｄ用テクスチャデータのうちの口部分のデータは、顎部分のデータを含み、
   前記顎部分のデータは、口が閉じた状態のデータと口が開いた状態のデータとを含み、
   前記口が閉じた状態の前記顎部分のデータがマッピングされる前記３Ｄモデルと、前記口が開いた状態の前記顎部分のデータがマッピングされる前記３Ｄモデルとは、同一のモデルである請求項１または２記載の表示制御装置。
4. 前記記憶装置には、前記３Ｄモデルの位置および回転角を前記２Ｄ用テクスチャデータが示す前記エージェントの互いに異なる姿勢のそれぞれに対して規定するデータである規定データが記憶されており、
   前記３Ｄマッピング処理は、前記規定データに基づき前記３Ｄ用テクスチャデータを前記３Ｄモデルにマッピングする処理である請求項１～３のいずれか１項に記載の表示制御装置。
5. 前記記憶装置に記憶された前記３Ｄ用テクスチャデータは、プリレンダリングされたデータである請求項１～４のいずれか１項に記載の表示制御装置。
6. 前記記憶装置は、第１記憶装置と、第２記憶装置と、を備え、
   前記第１記憶装置には、前記３Ｄ用テクスチャデータが常時記憶されており、
   前記実行装置は、書き込み処理を実行し、
   前記書き込み処理は、前記第１記憶装置に記憶された前記３Ｄ用テクスチャデータを前記第２記憶装置に書き込む処理であり、
   前記３Ｄマッピング処理は、前記第２記憶装置に書き込まれた前記３Ｄ用テクスチャデータを用いて前記３Ｄモデルに前記３Ｄ用テクスチャデータをマッピングする処理である請求項１～５のいずれか１項に記載の表示制御装置。
7. 前記実行装置は、
   前記ユーザとの対話に応じて前記エージェントの互いに異なる姿勢を示す複数のデータのうちの前記２Ｄマッピング処理に利用するデータを選択する２Ｄ選択処理と、
   前記ユーザとの対話に応じて前記エージェントの互いに異なる表情のそれぞれを示す複数のデータのうちの前記３Ｄマッピング処理に利用するデータを選択する３Ｄ選択処理と、
   を実行する請求項１～６のいずれか１項に記載の表示制御装置。

Images