JP2002133445A - 画像処理装置、画像処理方法および情報記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 データ量の削減が可能であり、処理の負担を
軽減することができる画像処理装置、画像処理方法およ
び情報記憶媒体を提供すること。 【解決手段】 ゲーム演算部１１０内の頭部形状算出部
１１４は、データ格納部１２０から複数の基本形状に対
応する基本形状データ１３０の各座標データと、これら
を合成する際の混合の重み付け係数としてのブレンド率
データ１２６を読み出して、これら２種類のデータを用
いた積和演算を行うことにより、口を動かした状態に対
応するポリゴンの頂点座標が算出される。口を上下、左
右、前後に開いた状態に対する複数の基本形状を用意し
ておくことにより、簡単に任意の口形状を再現すること
ができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ゲーム装置等にお
いて出力音声に合わせてキャラクタの口形状を動かす画
像処理装置、画像処理方法および情報記憶媒体に関す
る。

【０００２】

【従来の技術】ゲーム装置やアニメーション等の分野に
おいては、登場人物の表情をリアルに表現するために、
登場人物の音声に合わせて口の動きを描く必要がある。
例えば、アニメーション画像の場合には、口の動きを表
現する手法として、原画の作成者が、そのアニメーショ
ン画像の表示と同時に出力される音声を耳で聞いて、聞
き取った音声を「あ」、「い」、「う」、「え」、
「お」等の母音に振り分けて、手作業でそれらの母音に
対応するキーフレームの画像を作成していた。したがっ
て、多くのキーポーズ（唇形状のバリエーション）を用
意することにより、表情の豊かな登場人物の画像を実現
していた。

【０００３】

【発明が解決しようとする課題】ところで、上述した手
作業によって登場人物の口やその周辺の形状を決定する
手法では、作業者の経験や勘などの各作業者毎の熟練度
や能力に左右されるため、作業効率が悪く、少なくとも
各キーフレーム毎に口形状を決定するために必要な画像
データが作成されることになるため、自然な表情の顔形
状の画像を生成しようとすると、この生成に使用される
データ量が膨大になるという問題があった。また、隣接
するキーフレームの間隔や隣接する口形状の組合せが複
雑になるため、各キーフレームの間に挿入される各フレ
ームに対応する口形状を求める演算処理の負担が大きい
という問題があった。

【０００４】本発明は、このような点に鑑みて創作され
たものであり、その目的は、データ量の削減が可能であ
り、処理の負担を軽減することができる画像処理装置、
画像処理方法および情報記憶媒体を提供することにあ
る。

【０００５】

【課題を解決するための手段】上述した課題を解決する
ために、本発明の画像処理装置は、基本形状データ格納
手段、重み付け係数格納手段、口形状算出手段、画像生
成手段を備えている。基本形状データ格納手段は、口お
よびその周辺に関する複数の基本形状を特定する基本形
状データを格納する。重み付け係数格納手段は、複数の
基本形状を合成する際の重み付け係数の値を示す複数の
重み付け係数データを格納する。口形状算出手段は、基
本形状データと重み付け係数データとを用いて複数の基
本形状を合成することにより、口およびその周辺の形状
を算出する。画像生成手段は、口形状算出手段によって
算出された口およびその周辺の形状が反映された画像を
生成する。あらかじめ特徴のある複数の基本形状を用意
しておいて、重み付け係数データを用いてこれらを合成
することにより口形状が決まるため、重み付けデータの
内容を変えるだけで口形状を変化させることができ、口
を動かすために必要なデータ量を削減することができる
とともに、処理の負担を軽減することができる。

【０００６】また、上述した重み付け係数格納手段に
は、画像生成手段による画像の生成間隔に対応して読み
出される複数組の重み付け係数データを格納しておくこ
とが望ましい。画像の生成間隔に合わせて重み付け係数
データを読み出して口形状が決定され、この決定された
口形状が各画像の生成に反映されるため、画像の生成間
隔に合わせて口形状を自然に動かすことができる。

【０００７】また、上述した複数の基本形状に、一の基
準形状の他にこの基準形状に対する差分情報で特定され
る複数の参照形状が含まれている場合に、複数の基本形
状データに、基準形状を特定するために必要な第１の座
標データと、複数の参照形状を特定するために必要な第
２の座標データと第１の座標データとの差分を示す差分
座標データとを含ませることが望ましい。一の基準形状
に対応する第１の座標データと、それ以外の参照形状に
対応する差分データとを用いることにより、複数の基本
形状のぞれぞれの座標データを格納しておく場合に比べ
てデータ量を削減することができる。

【０００８】また、上述した複数の参照形状には、口を
横に大きく開いた状態に対応する第１の形態と、口を上
下に大きく開いた状態に対応する第２の形態と、口を前
に突き出した状態に対応する第３の形態を含ませておく
ことが望ましい。これらの各形態を組み合わせることに
より、任意の複雑な口形状を実現することができる。

【０００９】また、上述した複数の重み付け係数データ
の少なくとも一に対応して設けられた補正データを補正
データ格納手段に格納しておいて、口形状算出手段によ
って、重み付け係数データによって示される重み付けの
値をこの補正データを用いて変更して口およびその周辺
の形状の算出を行うことが望ましい。重み付け係数が同
じであっても補正データの内容を変えるだけで口形状を
変化させることができるため、表情に変化を持たせるこ
とができる。

【００１０】また、上述した補正データとして感情の内
容に応じた値を設定しておくことにより、補正データの
値を可変に設定することにより、感情を表現することが
望ましい。一般には感情の種類や程度に応じて口形状が
変化するため、各感情に対応して現れれる口形状の変化
の様子を上述した補正データの値を可変して表すことに
より、感情を表現することが可能になる。

【００１１】また、上述した重み付け係数データは、実
際に発声された音声を周波数分析して得られた複数の周
波数成分毎の音圧レベルに基づいて生成することが望ま
しい。実際に発声した音声に対する周波数分析を行うこ
とにより、自動的に重み付け係数データを生成すること
ができるため、データ生成に要する手間や時間を大幅に
低減することができる。

【００１２】また、本発明の画像生成方法は、口および
その周辺に関する複数の基本形状を特定する基本形状デ
ータを読み出す第１のステップと、複数の基本形状を合
成する際の重み付け係数の値を示す複数の重み付け係数
データを読み出す第２のステップと、基本形状データと
重み付け係数データを用いて複数の基本形状を合成する
ことにより口およびその周辺の形状を算出する第３のス
テップと、第３のステップにおいて算出された口および
その周辺の形状が反映された画像を生成する第４のステ
ップとを有している。また、本発明の情報記憶媒体は、
これらの各ステップを実行するプログラムを含んでい
る。

【００１３】本発明の画像生成方法を実施することによ
り、あるいは本発明の情報記憶媒体に格納されたプログ
ラムを実行することにより、複数の基本形状を用意して
おいて、重み付け係数データを用いてこれらを合成する
ことにより口形状が決まるため、重み付けデータの内容
を変えるだけで口形状を変化させることができ、口を動
かすために必要なデータ量を削減することができるとと
もに、処理の負担を軽減することができる。

【００１４】また、上述した複数の重み付け係数データ
の少なくとも一に対応して設けられた補正データを読み
出す第５のステップを追加するとともに、第３のステッ
プで行われる合成動作において、重み付け係数データに
よって示される重み付けの値をこの補正データを用いて
変更することが望ましい。重み付け係数が同じであって
も補正データの内容を変えるだけで口形状を変化させる
ことができるため、表情に変化を持たせることができ
る。

【００１５】

【発明の実施の形態】以下、本発明を適用した一実施形
態のゲーム装置について、図面を参照しながら詳細に説
明する。図１は、一実施形態のゲーム装置の構成を示す
図である。図１に示すように、本実施形態のゲーム装置
は、ＣＤ−ＲＯＭ１９０に記憶されているゲームプログ
ラムを実行することにより所定のゲーム処理を行ってゲ
ーム画面の映像信号や各種の効果音等の音声信号を出力
するゲーム装置本体１００と、このゲーム装置本体１０
０に接続されるテレビモニタ装置２００と、プレーヤが
手元で操作するコントローラ３００とを含んで構成され
ている。

【００１６】テレビモニタ装置２００は、ゲーム装置本
体１００から入力される映像信号に基づいてゲーム画面
をディスプレイ画面上に表示する表示部２１０と、ゲー
ム装置本体１００から入力される音声信号を音声に変換
するスピーカ２２０とを備えている。表示部２１０は、
例えばＣＲＴ（陰極線管）やＬＣＤ（液晶表示装置）や
液晶プロジェクタ等により構成される。また、コントロ
ーラ３００は、任意の方向を指し示す際に押下される十
字キーや、必要に応じて選択的に押下される複数の押し
ボタンスイッチとを備えている。

【００１７】ゲーム装置本体１００は、ゲーム演算部１
１０、データ格納部１２０、画像生成部１４０、映像出
力部１５０、音声出力部１６０、ディスク読取部１７０
を備えている。ゲーム演算部１１０は、ゲームに登場す
るキャラクタの口形状を出力音声に合わせて動かす演算
処理やその他のゲーム演算を行う。ゲーム演算部１１０
は、例えばＣＰＵ、ＲＯＭおよびＲＡＭを用いてゲーム
プログラムを実行することにより実現される。

【００１８】このゲーム演算部１１０は、音声データ読
出部１１２および頭部形状算出部１１４を含んでいる。
音声データ読出部１１２は、登場キャラクタの発声に対
応する音声データの読み出しを行う。頭部形状算出部１
１４は、登場キャラクタの口形状をそのときの発声音声
に合わせて計算する。口形状に関する演算処理について
は後述する。

【００１９】データ格納部１２０は、ゲーム演算部１１
０によるゲーム演算に必要な各種のデータを格納するも
のであり、例えばＲＡＭによって実現されている。デー
タ格納部１２０には、ポリゴンデータ１２２、テクスチ
ャデータ１２４、ブレンド率データ１２６、補正データ
１２８、基本形状データ１３０、音声データ１３２が格
納されている。

【００２０】ポリゴンデータ１２２は、ゲームに登場す
る各種の三次元オブジェクトを構成する各ポリゴンの頂
点座標データである。テクスチャデータ１２４は、各ポ
リゴンに貼り付けるテクスチャの内容を示すデータであ
る。音声データ１３２は、登場キャラクタの発声音声を
特定するために必要なデータであり、ゲーム演算部１１
０内の音声データ読出部１１２によって読み出される。
なお、データ格納部１２０に格納されているそれ以外の
ブレンド率データ１２６、補正データ１２８、基本形状
データ１３０の詳細については後述する。

【００２１】画像生成部１４０は、ゲーム演算部１１０
による演算結果に基づいて、三次元ゲーム空間に対応し
た三次元画像の画像データを表示画素単位で計算する。
この画像生成部１４０は、透視投影変換部１４２、テク
スチャマッピング部１４４、描画メモリ１４６を含んで
構成されている。

【００２２】透視投影変換部１４２は、ゲーム演算部１
１０によって設定された所定の視点位置を基準とした透
視投影変換を行う。これにより、仮想的な三次元ゲーム
空間内に配置された三次元オブジェクトを視点位置から
見た二次元画像（擬似三次元画像）が得られる。テクス
チャマッピング部１４４は、透視投影変換部１４２によ
って得られた二次元画像に含まれる各ポリゴンにテクス
チャの画像を対応させるテクスチャマッピング処理およ
びシェーディング処理を行う。テクスチャマッピング処
理およびシェーディング処理が行われた後の二次元画像
は描画メモリ１４６に格納される。

【００２３】映像出力部１５０は、画像生成部１４０に
よって生成されて描画メモリ１４６に格納された画像デ
ータを走査順に読み出してＮＴＳＣ信号に変換すること
により、テレビモニタ装置２００の表示部２１０に向け
て映像信号を出力する。また、音声出力部１６０は、ゲ
ーム演算部１１０内の音声データ読出部１１２によって
読み出された音声データをアナログの音声に変換して、
テレビモニタ装置２００内のスピーカ２２０に向けて出
力する。

【００２４】ディスク読取部１７０は、装填されている
ＣＤ−ＲＯＭ１９０に記憶されている各種のデータやゲ
ームプログラムを読み取るためのものである。ＣＤ−Ｒ
ＯＭ１９０には、ゲームに登場する三次元あるいは二次
元の各種のオブジェクトを特定するために必要な画像デ
ータ、ゲームに登場するキャラクタが発声する音声を生
成するために必要な音声データ、一連のゲーム処理を行
うために必要なゲームプログラム等が記憶されている。
上述したポリゴンデータ１２２、テクスチャデータ１２
４、ブレンド率データ１２６、補正データ１２８、基本
形状データ１３０、音声データ１３２のそれぞれは、ゲ
ーム装置本体１００の電源スイッチ（図示せず）が投入
された際、あるいは電源スイッチ投入後に新たなＣＤ−
ＲＯＭ１９０がディスク読取部１７０に装填され、ゲー
ムの進行に伴ってステージ等を変更する際に、ＣＤ−Ｒ
ＯＭ１９０から読み出されてデータ格納部１２０に格納
される。また、ゲーム装置本体１００の電源スイッチ
（図示せず）が投入された際に、ＣＤ−ＲＯＭ１９０に
記憶されているゲームプログラムが読み出されて実行さ
れ、ゲーム演算部１１０によるゲーム処理が開始され
る。

【００２５】上述したゲーム演算部１１０が口形状算出
手段に、データ格納部１２０が基本形状データ格納手
段、重み付け係数格納手段、補正データ格納手段に、画
像生成部１４０が画像生成手段にそれぞれ対応する。本
実施形態のゲーム装置はこのような構成を有しており、
次に、登場キャラクタの口形状を動かす動作を説明す
る。

【００２６】本実施形態では、登場キャラクタの口形状
を動かすために、４つの口形状に対応した４種類の基本
形状が用意されており、それらの基本形状を所定の重み
付け係数を用いて合成することにより、任意の口形状を
実現している。図２〜図５は、任意の口形状を算出する
ために用いられる基本形状を示す図である。図２
（Ａ）、（Ｂ）には、口を閉じた場合の頭部の形態が示
されている。また、図３（Ａ）、（Ｂ）には口を上下に
大きく開けた場合の頭部の形態が示されている。図４
（Ａ）、（Ｂ）には口を左右に大きく広げた場合の頭部
の形態が示されている。図５（Ａ）、（Ｂ）には、口を
前に突き出した場合の頭部の形態が示されている。

【００２７】図６は、上述した４種類の基本形状を特定
するために用いられる基本形状データの具体例を示す図
である。同図において、「形状データ１」が図２に示し
た口を閉じた状態に、「形状データ２」が図３に示した
口を上下に大きく開けた状態に、「形状データ３」が図
４に示した口を左右に大きく広げた状態に、「形状デー
タ４」が図５に示した口を前に突き出した状態にそれぞ
れ対応している。

【００２８】また、「頂点」は、図２等に示したキャラ
クタの頭部に対応する三次元オブジェクトを構成する各
ポリゴンの頂点座標を示しており、１から順番に通し番
号が付されている。例えば、図７に示すような複数のポ
リゴンによって頭部の三次元オブジェクトが構成されて
いる。

【００２９】データ格納部１２０に格納された基本形状
データには、図６に示したように、４種類の基本形状を
特定するために必要な各ポリゴンの頂点座標が含まれて
いる。なお、本実施形態では、４種類の基本形状のそれ
ぞれに対応する各頂点座標のデータを格納する代わり
に、一の基本形状（基準形状）については各頂点座標の
データを格納し、それ以外の３つの基本形状（参照形
状）についてはこの基準形状との差分値で示される各頂
点座標のデータを格納しており、データ量の削減を図っ
ている。

【００３０】図６において、「形状データ２Ａ」は、形
状データ１を基準としたときの形状データ２を差分値で
示したものである。例えば、頂点１に対応する形状デー
タ１の座標値をＷ11（＝（ｘ11，ｙ11,ｚ11））、形状
データ２の座標値をＷ21（＝（ｘ21，ｙ21,ｚ21））と
すると、形状データ２Ａの差分座標値Ｗ21’はＷ21−Ｗ
11（＝（ｘ21−ｘ11（＝ｘ21’），ｙ21−ｙ11（＝ｙ2
1’），ｚ21−ｚ11（＝ｚ21’）））となる。「形状デ
ータ３Ａ」、「形状データ４Ａ」についても同様であ
り、基準形状に対して動きの少ない部位の頂点座標につ
いては、この差分座標値が０に近い値となる。

【００３１】図８は、表示間隔毎（例えば１／６０秒
毎）に口形状を動かすために行うポリゴン座標の修正処
理の動作手順を示す流れ図である。まず、ゲーム演算部
１１０内の頭部形状算出部１１４は、口形状を動かすキ
ャラクタの三次元オブジェクトに対応するブレンド率デ
ータを一組分取得する（ステップ１００）。

【００３２】図９は、表示間隔毎に用意されたブレンド
率の内容を示す図であり、データ格納部１２０に格納さ
れたブレンド率データ１２６の具体例が示されている。
図９において、「フレーム」は１／６０秒間隔で表示さ
れる各表示フレームを示している。上述したステップ１
００では、まずフレーム１に対応させて格納されている
一組のブレンド率Ｒ11、Ｒ21、Ｒ31、Ｒ41が読み出され
る。

【００３３】次に、頭部形状算出部１１４は、三次元オ
ブジェクトの一の頂点に対応する４種類の基本形状デー
タをデータ格納部１２０から取得する（ステップ１０
１）。例えば、まず、図６に示した頂点１に対応した４
種類の形状データ１、２Ａ、３Ａ、４Ａが読み出され
る。

【００３４】次に、頭部形状算出部１１４は、ステップ
１０１で取得した４種類の形状データのそれぞれに、ス
テップ１００で取得した各ブレンド率を乗算する（ステ
ップ１０２）。上述した頂点１に対応する基本形状デー
タとフレーム１に対応するブレンド率を例にとると、 Ｒ11×Ｗ11 Ｒ21×Ｗ21’ Ｒ31×Ｗ31’ Ｒ41×Ｗ41’ で示されるそれぞれの乗算処理が行われる。

【００３５】また、頭部形状算出部１１４は、これら４
つの乗算値を加算する（ステップ１０３）。上述した例
では、Ｒ11×Ｗ11＋Ｒ21×Ｗ21’＋Ｒ31×Ｗ31’＋Ｒ41
×Ｗ41’（＝Ｔ）の演算が行われる。この演算によって
得られる加算値Ｔは、口形状を動かした場合の着目頂点
の座標そのものを示している。例えば、ブレンド率とし
てＲ11＝１、Ｒ21＝１、Ｒ31＝０、Ｒ41＝０が設定され
ている場合には、 Ｔ＝１×Ｗ11＋１×Ｗ21’ ＝Ｗ11＋（Ｗ21−Ｗ11） ＝Ｗ21 となる。すなわち、図３に示した基本形状そのものの口
形状に対応した頂点座標が得られる。また、ブレンド率
Ｒ11、Ｒ21、Ｒ31、Ｒ41を０や１以外の中間値に設定す
ることにより、図３〜図５に示した３種類の基本形状を
合成した頭部形状に対応した頂点座標が得られる。

【００３６】このようにしてステップ１０３において一
の頂点の座標が得られると、頭部形状算出部１１４は、
この座標値を、描画処理に必要な他の情報とともに画像
生成部１４０に送る（ステップ１０４）。その後、頭部
形状算出部１１４は、三次元オブジェクトの全ての頂点
に対して処理が終了したか否かを判定する（ステップ１
０５）。例えば、頂点１だけについて処理が終了した場
合には否定判断が行われ、２番目以降の各頂点について
上述したステップ１０１以降の処理が繰り返される。ま
た、全ての頂点について処理が終了した場合には、ステ
ップ１０５の判定において肯定判断が行われ、次に、画
像生成部１４０による画像の生成処理が行われて、着目
しているフレームの画像がテレビモニタ装置２００の表
示部２１０に表示される（ステップ１０６）。このよう
にして、一のフレームに対応する表示が行われた後、再
びステップ１００に戻って、次のフレームに対応する処
理が開始される。

【００３７】このように、本実施形態のゲーム装置で
は、複数の基本形状の各頂点座標を示す基本形状データ
を用意しておいて、ブレンド率（重み付け係数）を用い
てこれらを合成することにより任意の口形状を設定する
ことができる。特に、基本形状データは、キャラクタの
頭部形状に合わせて固定的に用意されたものを用いるこ
とができ、各表示フレームに対応した一組のブレンド率
を用意しておくだけで任意の口形状を実現することがで
きるため、口形状を動かすために必要なデータ量を削減
することができる。また、ブレンド率の内容を可変する
ことにより、複雑な口形状を容易に実現することができ
るため、ゲーム演算部１１０における処理の負担を軽減
することができる。

【００３８】図１０〜図１６は、本実施形態で用いた手
法によって実際に生成した画像の具体例を示す図であ
る。図１０は、図２に示した基本形状に対応した頭部画
像であり、ブレンド率の値を、Ｒ11＝１、Ｒ21＝０、Ｒ
31＝０、Ｒ41＝０とした場合に対応している。図１１
は、図３に示した基本形状に対応した頭部画像であり、
ブレンド率の値を、Ｒ11＝１、Ｒ21＝１、Ｒ31＝０、Ｒ
41＝０とした場合に対応している。図１２は、図４に示
した基本形状に対応した頭部画像であり、ブレンド率の
値を、Ｒ11＝１、Ｒ21＝０、Ｒ31＝１、Ｒ41＝０とした
場合に対応している。図１３は、図５に示した基本形状
に対応した頭部画像であり、ブレンド率の値を、Ｒ11＝
１、Ｒ21＝０、Ｒ31＝０、Ｒ41＝１とした場合に対応し
ている。

【００３９】また、図１４は、「ヤァ」と発声した場合
の口形状を表現した頭部画像であり、ブレンド率の値
を、Ｒ11＝１、Ｒ21＝０．３、Ｒ31＝０．４、Ｒ41＝
０．５とした場合に対応している。図１５は、「ムゥ」
と発声した場合の口形状を表現した頭部画像であり、ブ
レンド率の値を、Ｒ11＝１、Ｒ21＝０．１、Ｒ31＝０．
２、Ｒ41＝１とした場合に対応している。図１６は、
「フォ」と発声した場合の口形状を表現した頭部画像で
あり、ブレンド率の値を、Ｒ11＝１、Ｒ21＝０．６、Ｒ
31＝０、Ｒ41＝１とした場合に対応している。

【００４０】このように、基本形状を適当なブレンド率
を用いて合成することにより、自然な口形状を有する画
像を生成することができる。ところで、上述した口形状
の設定に用いられるブレンド率データは、登場キャラク
タの発声音声に合わせて各値が設定されるが、例えば、
同じ言葉を発声した場合であっても、登場キャラクタの
感情等によっては、口形状を変化させて臨場感を持たせ
ることが望ましい。例えば、ゲームの進行内容によって
は、同じ言葉を発声する場合であっても、登場キャラク
タが怒っている設定がなされている場合や、悲しんだり
困ったりしている設定がなされている場合では、異なる
口形状を設定する方がリアルなゲーム演出が可能にな
る。あるいは、ゲーム開発時等において、上述した一連
の処理によって実現した口形状の動きを、この口形状に
対応して出力される音声を聞きながら確認したときに、
多少の不自然さが残るような場合に、口形状を補正する
必要がある。データ格納部１２０に格納された補正デー
タ１２８は、このような場合に、必要に応じて口形状を
変形するために用意されたものである。

【００４１】図１７は、補正データの内容を示す図であ
る。図１７に示すように、補正データは、各フレーム毎
に用意されている。例えば、フレーム１に着目した場合
には、４つの補正データＨ11、Ｈ21、Ｈ31、Ｈ41が用意
されている。この中で、補正データＨ11は、ブレンド率
データＲ11に対応して設けられている。同様に、補正デ
ータＨ21はブレンド率データＲ21に、補正データＨ31は
ブレンド率データＲ31に、補正データＨ41はブレンド率
データＲ41にそれぞれ対応して設けられている。

【００４２】図８に示した動作手順の内容を若干修正す
ることにより、補正データを用いた口形状の設定処理を
行うことができる。具体的には、図８に示したステップ
１００の処理を、ブレンド率データと補正データを一組
取得するステップ１００Ａの処理に置き換えるととも
に、ステップ１０２の処理を、４種類の形状データのそ
れぞれにブレンド率データと補正データとを乗算するス
テップ１０２Ａの処理に置き換える。

【００４３】図６に示した頂点１に対応する基本形状デ
ータと、図１７に示したフレーム１に対応するブレンド
率データおよび補正データを例にとると、上述したステ
ップ１０２Ａにおいて、 Ｈ11×Ｒ11×Ｗ11 Ｈ21×Ｒ21×Ｗ21’ Ｈ31×Ｒ31×Ｗ31’ Ｈ41×Ｒ41×Ｗ41’ で示される各乗算処理が行われる。そして、次のステッ
プ１０３において、これら４つの乗算結果が加算され
る。

【００４４】このようにして、各ブレンド率データＲ11
等を単独で用いる代わりに、各ブレンド率データＲ11等
に補正データＨ11等を乗算することにより、発声する言
葉が同じである場合には唯一のブレンド値を対応させる
ことができるため、口形状を動かすために用いられるブ
レンド率データの作成が容易になるとともに、各ブレン
ド率データに乗算する補正データの内容を変えることに
より口形状の補正が可能になる。

【００４５】例えば、唇の上下方向の開きを大きく設定
するとともに、横方向と前方向に対応する動きを抑制す
ることにより、登場キャラクタが怒っている表情を表現
することができる。したがって、図３に示した基本形状
に対応するブレンド率データに乗算される補正データ
（フレーム１については補正データＨ21）を１よりも大
きな値に設定し、図４および図５に示した基本形状に対
応するブレンド率データに乗算される補正データ（フレ
ーム１については補正データＨ31、Ｈ41）を１より若干
小さな値に設定することにより、怒ったときの口形状を
実現することができる。なお、補正データＨ11の値はほ
ぼ１に設定される。

【００４６】一方、唇の横方向の開きを大きく設定する
とともに、上下方向の動きを抑制することにより、登場
キャラクタが悲しんでいる表情を表現することができ
る。したがって、図３に示した基本形状に対応するブレ
ンド率データに乗算される補正データ（フレーム１につ
いては補正データＨ21）を１よりも小さな値に設定する
とともに、図４に示した基本形状に対応するブレンド率
データに乗算される補正データ（フレーム１については
補正データＨ31）を１より大きな値に設定することによ
り、悲しんでいる口形状を実現することができる。な
お、補正データＨ11、Ｈ41の値はほぼ１に設定される。

【００４７】図１８および図１９は、補正データを用い
て実際に生成した画像の具体例を示す図である。図１８
は、補正前の頭部画像であり、ブレンド率データの値
を、Ｒ11＝１、Ｒ21＝０．９２８８６５、Ｒ31＝１．３
７１７５、Ｒ41＝０．９０２２３６とした場合に対応し
ている。また、図１９は怒っている口形状を表現するた
めに、補正データの値を、Ｈ11＝１、Ｈ21＝１．２５、
Ｈ31＝０．２５、Ｈ41＝０．３とした場合に対応してい
る。これらの図に示すように、補正データを適切な値に
設定することにより、ブレンド率データを変更すること
なく、怒っている場合の口形状を再現することができ
る。

【００４８】ところで、上述した口形状の設定に用いら
れるブレンド率データは、実際に任意の台詞等を発声し
た音声を周波数分析することにより、簡単に生成するこ
とができる。次に、ブレンド率データを生成する具体的
な手法について説明する。図２０は、ブレンド率データ
生成装置の構成を示す図である。図２０に示すブレンド
率生成装置４００は、アナログ−デジタル（Ａ／Ｄ）変
換部４１０、周波数分析部４１２、ブレンド率データ生
成部４１４を含んで構成されている。

【００４９】Ａ／Ｄ変換部４１０は、マイクロホン等か
ら出力されるアナログの音声信号が入力され、この音声
信号を所定のサンプリング周波数でサンプリングするこ
とにより、所定間隔でデジタルの音声データを出力す
る。周波数分析部４１２は、Ａ／Ｄ変換部４１０から入
力される音声データに基づいて、入力音声の周波数分析
を行う。例えば、周波数分析部４１２は、可聴周波数帯
域を６４分割し、それぞれの分割領域毎に入力音声の音
圧レベルを検出する。

【００５０】ブレンド率データ生成部４１４は、周波数
分析部４１２による周波数分析結果に基づいて、頭部に
含まれる口およびその周辺の形状を決定するために必要
な口形状パラメータの値を設定する。例えば、ブレンド
率データを生成するために、以下に示す３つの口形状パ
ラメータＰａ、Ｐｂ、Ｐｅが用いられる。

【００５１】 Ｐａ：上唇上方向の変化量を示すパラメータ Ｐｂ：上唇前方向の変化量を示すパラメータ Ｐｅ：口角横方向の変化量を示すパラメータ 図２１は、実際の口形状と上述した各パラメータとの対
応関係を示す図である。パラメータＰａは、上唇位置ｐ
１の上方向の変化量を示している。パラメータＰｂは、
上唇位置ｐ１の前方向の変化量を示している。パラメー
タＰｅは、口角位置ｐ４の横方向の変化量を示してい
る。

【００５２】図２２〜図２４は、人間の声の周波数分析
結果を示す図である。図２２は母音「ア」を発声した場
合の周波数分析結果を、図２３は母音「イ」を発声した
場合の周波数分析結果を、図２４は母音「ウ」を発声し
た場合の周波数分析結果をそれぞれ示している。これら
の図において、横軸が周波数に対応しており、ほぼ可聴
帯域を６４分割した場合の各周波数帯域毎の音声レベル
が示されている。

【００５３】図２２〜図２４に示すように、異なる３つ
の母音「ア」、「イ」、「ウ」を発声したときの周波数
分布をみると、特徴的な変化の様子を示す３つの山が存
在することがわかる。これら３つの山が存在する周波数
帯域を低域側から順に領域Ａ、Ｂ、Ｃとする。

【００５４】例えば、図２２に示した母音「ア」の周波
数分布をみると、領域Ａおよび領域Ｂに対応する音声レ
ベルが大きく、領域Ｃに対応する音声レベルが小さいこ
とがわかる。また、図２２に示した母音「イ」の周波数
分布をみると、領域Ａおよび領域Ｃに対応する音声レベ
ルが大きく、領域Ｂに対応する音声レベルが小さいこと
がわかる。さらに、図２４に示した母音「ウ」の周波数
分布をみると、領域Ａに対応する音声レベルが非常に大
きく、領域Ｂおよび領域Ｃに対応する音声レベルが小さ
いことがわかる。

【００５５】図２２〜図２４に示した周波数分析結果に
よると、各母音は、３つの周波数帯域Ａ、Ｂ、Ｃの各音
圧レベルが互いに異なる傾向を示しているため、各音圧
レベルの値を用いて上唇の位置、下唇の位置、口角部の
横方向位置のそれぞれを求める計算式を定義することが
できれば、任意の音に対応する各周波数帯域の音圧レベ
ルの値に基づいて上唇の位置、下唇の位置、口角部の横
方向位置を計算し、これにより口形状を決定することが
できることになる。

【００５６】具体的には、本実施形態では、図２２〜図
２４に示した３つの周波数帯域の音圧レベルを低域側か
ら順番にＬ１、Ｌ２、Ｌ３としたときに、ブレンド率デ
ータ生成部４１４によって、上述した３つのパラメータ
Ｐａ、Ｐｂ、Ｐｅの値を以下の関係式を用いて計算す
る。なお、各音圧レベルＬ１、Ｌ２、Ｌ３は、それぞれ
の周波数帯域に含まれる６４分割領域毎の音圧レベルの
値を累積することにより求めることができるが、この累
積値の代わりに平均値を用いるようにしてもよい。

【００５７】１）上唇上方向の変化量を示すパラメータ
Ｐａ：図２１に示す上唇位置ｐ１の上方向の変化量を示
すパラメータＰａは、 Ｐａ＝Ａ×Ｌ２ …（１） の関係式を用いて計算することができる。ここで、Ａは
適当な係数であり、例えばＡ＝０．５に設定されてい
る。

【００５８】２）上唇前方向の変化量を示すパラメータ
Ｐｂ：図２１に示す上唇位置ｐ１の前方向の変化量を示
すパラメータＰｂは、 Ｐｂ＝Ｂ×Ｌ１−Ｃ×Ｌ２−Ｄ×Ｌ３ …（２） の関係式を用いて計算することができる。ここで、Ｂ、
Ｃ、Ｄは適当な係数であり、例えばＢ＝１．０、Ｃ＝
１．０、Ｄ＝１．０に設定されている。

【００５９】３）口角横方向の変化量を示すパラメータ
Ｐｅ：図２１に示す口角位置ｐ４の横方向の変化量を示
すパラメータＰｅは、 Ｐｅ＝Ｉ×Ｌ３−Ｊ×Ｌ１ …（３） の関係式を用いて計算することができる。ここで、Ｉ、
Ｊは適当な係数であり、例えばＩ＝３．０、Ｊ＝２．０
に設定されている。

【００６０】上述した口形状パラメータＰａは、上唇上
方向の変化量を示すパラメータであるため、口を上下に
大きく開いた口形状（例えば図３（Ａ）、（Ｂ）に示し
た口形状）をこのパラメータの値が大きな場合に対応さ
せる。例えば、口形状パラメータＰａを正規化したパラ
メータＰａ’を考えた場合に、この値が１の場合に、図
３（Ａ）、（Ｂ）に示した口形状が設定されるものとす
る。

【００６１】同様に、口形状パラメータＰｂは、上唇前
方向の変化量を示すパラメータであるため、口を前に大
きく突き出した口形状（例えば図５（Ａ）、（Ｂ）に示
した口形状）をこのパラメータの値が大きな場合に対応
させる。例えば、口形状パラメータＰｂを正規化したパ
ラメータＰｂ’を考えた場合に、この値が１の場合に、
図５（Ａ）、（Ｂ）に示した口形状が設定されるものと
する。

【００６２】また、口形状パラメータＰｅは、口角横方
向の変化量を示すパラメータであるため、口を横に大き
く開いた口形状（例えば図４（Ａ）、（Ｂ）に示した口
形状）をこのパラメータの値が大きな場合に対応させ
る。例えば、口形状パラメータＰｅを正規化したパラメ
ータＰｅ’を考えた場合に、この値が１の場合に、図４
（Ａ）、（Ｂ）に示した口形状が設定されるものとす
る。

【００６３】このようにして３つのパラメータＰａ’、
Ｐｂ’、Ｐｅ’のそれぞれに、代表的な口形状を対応さ
せておいて、入力音声に対応して実際にこれら３つのパ
ラメータの値が計算されたときに、各パラメータの値を
重み付け係数として考慮した画像の合成を行うことによ
り、任意の口形状を設定することができる。

【００６４】例えば、口周辺の任意のポリゴンの一の頂
点をＱとする。図２（Ａ）、（Ｂ）に示した口を閉じた
状態に対応する頂点Ｑの位置ベクトルをＢ、図３
（Ａ）、（Ｂ）に示した口を上下に大きく開いた状態に
対応する頂点Ｑの位置ベクトルをＸａ、図４（Ａ）、
（Ｂ）に示した口を横に大きく開いた状態に対応する頂
点Ｑの位置ベクトルをＸｅ、図５（Ａ）、（Ｂ）に示し
た口を前に大きく突き出した状態に対応する頂点Ｑの位
置ベクトルをＸｂと定義する。

【００６５】上述した３つのベクトルＸａ、Ｘｅ、Ｘｂ
を用いると、入力音声に対応させて口形状を変化させた
後の頂点Ｑの位置ベクトルは、 Ｐａ’・Ｘａ＋Ｐｅ’・Ｘｅ＋Ｐｂ’・Ｘｂ の式を使って計算することができる。ところで、本実施
形態では、基準形状に対する差分値を用いて任意の口形
状の演算を行っている。上述した式を変形して、 Ｐａ’・Ｘａ＋Ｐｅ’・Ｘｅ＋Ｐｂ’・Ｘｂ＝Ｐａ’・
（Ｂ＋（Ｘａ−Ｂ））＋Ｐｅ’・（Ｂ−（Ｘｅ−Ｂ））
＋Ｐｂ’・（Ｂ−（Ｘｂ−Ｂ））＝（Ｐａ’＋Ｐｅ’＋
Ｐｂ’）Ｂ＋Ｐａ’・（Ｘａ−Ｂ）＋Ｐｅ’・（Ｘｅ−
Ｂ）＋Ｐｂ’・（Ｘｂ−Ｂ） を得る。したがって、この式に用いられている各ベクト
ルの４つの係数（Ｐａ’＋Ｐｅ’＋Ｐｂ’）、Ｐａ’、
Ｐｅ’、Ｐｂ’をブレンド率データＲ1m、Ｒ2m、Ｒ4m、
Ｒ3m（フレームｍの場合）として用いることができる。
なお、上述したブレンド率データの生成方法は一例であ
って、実際にはこのようにして生成された各ブレンド率
データに対して所定の固定値を加算したり、乗算したり
して加工した結果を用いることが考えられる。したがっ
て、基本形状に対応するブレンド率データＲ1mはそれ以
外の３つのブレンド率データＲ2m、Ｒ4m、Ｒ3mの値を合
計した結果と必ずしも一致させる必要はなく、適宜これ
らの関係を変更してもよい。

【００６６】なお、本発明は上記実施形態に限定される
ものではなく、本発明の要旨の範囲内で種々の変形実施
が可能である。上述した実施形態では、登場キャラクタ
の三次元オブジェクトの口形状を動かす場合について説
明したが、登場キャラクタに瞼の開閉動作を同時に行わ
せるようにしてもよい。この場合には、目の周りの所定
範囲の頂点について、上述した口形状を動かす場合と同
等の処理を行えばよい。すなわち、瞼を閉じた第１の基
本形状と瞼を開いた第２の基本形状の各座標データを基
本形状データ１３０に含ませておくとともに、これら２
つの基本形状を合成するためのブレンド率をブレンド率
データ１２６に含ませておく。頭部形状算出部１１４
は、瞼についても基本形状データとブレンド率データの
積和演算を行うことにより、目の周辺について各頂点座
標を算出する。この算出結果も用いて画像生成部１４０
による画像生成を行うことにより、フレーム単位で目の
開閉状態が変化する画像を表示することが可能になる。
同様に、瞼に関するブレンド率データ１２６に対応する
補正値を補正データ１２８に含ませておいて、登場キャ
ラクタの感情の起伏等に応じて瞼の動きを可変するよう
にしてもよい。

【００６７】図２５は、瞼に対応する補正データを用い
て実際に生成した画像の具体例を示す図である。同図に
示すように、例えば補正データを１より大きな値に設定
することにより、目を通常よりも大きく開けた状態を表
現することができるため、怒ったときの口形状にこのよ
うな目の動きを組み合わせることにより、登場キャラク
タのさらに自然な表情を表現することができる。

【００６８】また、上述した実施形態では、本発明をゲ
ーム装置に適用した場合について説明したが、それ以外
の画像処理装置、例えばアニメーション画像を生成する
装置等に本発明を適用するようにしてもよい。

【００６９】

【発明の効果】上述したように、本発明によれば、複数
の基本形状を用意しておいて、重み付け係数データを用
いてこれらを合成することにより口形状が決まるため、
重み付けデータの内容を変えるだけで口形状を変化させ
ることができ、口を動かすために必要なデータ量を削減
することができるとともに、処理の負担を軽減すること
ができる。

【図面の簡単な説明】

【図１】一実施形態のゲーム装置の構成を示す図であ
る。

【図２】任意の口形状を算出するために用いられる基本
形状を示す図である。

【図３】任意の口形状を算出するために用いられる基本
形状を示す図である。

【図４】任意の口形状を算出するために用いられる基本
形状を示す図である。

【図５】任意の口形状を算出するために用いられる基本
形状を示す図である。

【図６】基本形状データの具体例を示す図である。

【図７】ポリゴンによって形成した三次元オブジェクト
を示す図である。

【図８】口形状を動かすために行うポリゴン座標の修正
処理の動作手順を示す流れ図である。

【図９】表示間隔毎に用意されたブレンド率データの内
容を示す図である。

【図１０】画像の具体例を示す図である。

【図１１】画像の具体例を示す図である。

【図１２】画像の具体例を示す図である。

【図１３】画像の具体例を示す図である。

【図１４】画像の具体例を示す図である。

【図１５】画像の具体例を示す図である。

【図１６】画像の具体例を示す図である。

【図１７】補正データの内容を示す図である。

【図１８】補正データを用いて実際に生成した画像の具
体例を示す図である。

【図１９】補正データを用いて実際に生成した画像の具
体例を示す図である。

【図２０】ブレンド率データ生成装置の構成を示す図で
ある。

【図２１】実際の口形状と口形状パラメータとの対応関
係を示す図である。

【図２２】人間の声の周波数分析結果を示す図である。

【図２３】人間の声の周波数分析結果を示す図である。

【図２４】人間の声の周波数分析結果を示す図である。

【図２５】瞼に対応する補正値を用いて実際に生成した
画像の具体例を示す図である。

【符号の説明】

１００ ゲーム装置本体 １１０ ゲーム演算部 １１２ 音声データ読出部 １１４ 頭部形状算出部 １２０ データ格納部 １４０ 画像生成部 １５０ 映像出力部 １６０ 音声出力部 １７０ ディスク読取装置

Claims (11)

【特許請求の範囲】
1. 【請求項１】 口およびその周辺に関する複数の基本形
   状を特定する基本形状データを格納する基本形状データ
   格納手段と、 前記複数の基本形状を合成する際の重み付け係数の値を
   示す複数の重み付け係数データを格納する重み付け係数
   格納手段と、 前記基本形状データと前記重み付け係数データとを用い
   て前記複数の基本形状を合成することにより、口および
   その周辺の形状を算出する口形状算出手段と、前記口形
   状算出手段によって算出された前記口およびその周辺の
   形状が反映された画像を生成する画像生成手段と、 を備えることを特徴とする画像処理装置。
2. 【請求項２】 請求項１において、 前記重み付け係数格納手段には、前記画像生成手段によ
   る前記画像の生成間隔に対応して読み出される複数組の
   前記重み付け係数データが格納されていることを特徴と
   する画像処理装置。
3. 【請求項３】 請求項１または２において、 前記複数の基本形状には、一の基準形状の他にこの基準
   形状に対する差分情報で特定される複数の参照形状が含
   まれており、 前記複数の基本形状データには、前記基準形状を特定す
   るために必要な第１の座標データと、前記複数の参照形
   状を特定するために必要な第２の座標データと前記第１
   の座標データとの差分を示す差分座標データとが含まれ
   ていることを特徴とする画像処理装置。
4. 【請求項４】 請求項３において、 前記複数の参照形状には、口を横に大きく開いた状態に
   対応する第１の形態と、口を上下に大きく開いた状態に
   対応する第２の形態と、口を前に突き出した状態に対応
   する第３の形態が含まれていることを特徴とする画像処
   理装置。
5. 【請求項５】 請求項１〜４のいずれかにおいて、 前記複数の重み付け係数データの少なくとも一に対応し
   て設けられた補正データを格納する補正データ格納手段
   をさらに備えており、 前記口形状算出手段は、前記重み付け係数データによっ
   て示される前記重み付けの値を前記補正データを用いて
   変更して、前記口およびその周辺の形状の算出を行うこ
   とを特徴とする画像処理装置。
6. 【請求項６】 請求項５において、 前記補正データは、感情の内容に応じた値が設定されて
   おり、 前記補正データの値を可変に設定することにより、感情
   を表現することを特徴とする画像処理装置。
7. 【請求項７】 請求項１〜６のいずれかにおいて、 前記重み付け係数データは、実際に発声された音声を周
   波数分析して得られた複数の周波数成分毎の音圧レベル
   に基づいて生成されることを特徴とする画像処理装置。
8. 【請求項８】 口およびその周辺に関する複数の基本形
   状を特定する基本形状データを読み出す第１のステップ
   と、 前記複数の基本形状を合成する際の重み付け係数の値を
   示す複数の重み付け係数データを読み出す第２のステッ
   プと、 前記基本形状データと前記重み付け係数データを用いて
   前記複数の基本形状を合成することにより、口およびそ
   の周辺の形状を算出する第３のステップと、 前記第３のステップにおいて算出された前記口およびそ
   の周辺の形状が反映された画像を生成する第４のステッ
   プと、 を有する画像処理方法。
9. 【請求項９】 請求項８において、 前記複数の重み付け係数データの少なくとも一に対応し
   て設けられた補正データを読み出す第５のステップと、 前記第３のステップで行われる合成動作において、前記
   重み付け係数データによって示される前記重み付けの値
   を前記補正データを用いて変更することを特徴とする画
   像処理方法。
10. 【請求項１０】 口およびその周辺に関する複数の基本
    形状を特定する基本形状データを読み出す第１のステッ
    プと、 前記複数の基本形状を合成する際の重み付け係数の値を
    示す複数の重み付け係数データを読み出す第２のステッ
    プと、 前記基本形状データと前記重み付け係数データを用いて
    前記複数の基本形状を合成することにより、口およびそ
    の周辺の形状を算出する第３のステップと、 前記第３のステップにおいて算出された前記口およびそ
    の周辺の形状が反映された画像を生成する第４のステッ
    プと、 を実行するプログラムを含むことを特徴とする情報記憶
    媒体。
11. 【請求項１１】 請求項１０において、 前記複数の重み付け係数データの少なくとも一に対応し
    て設けられた補正データを読み出す第５のステップを実
    行するとともに、 前記第３のステップで行われる合成動作において、前記
    重み付け係数データによって示される前記重み付けの値
    を前記補正データを用いて変更する動作を実行するプロ
    グラムを含むことを特徴とする情報記憶媒体。