JP2006196017A

JP2006196017A - アニメーション作成装置および方法、記憶媒体

Info

Publication number: JP2006196017A
Application number: JP2006061638A
Authority: JP
Inventors: Katsuyuki Murata; 克之村田; Takashi Ida; 孝井田; Miwako Doi; 美和子土井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1999-02-26
Filing date: 2006-03-07
Publication date: 2006-07-27

Abstract

【課題】複数の特定オブジェクト画像およびこのオブジェクト画像の背面画像を、周期
的または前記物体キャラクタの向きに応じて切り替えて、前記物体キャラクタに合成する
ことにより、ユーザ自身がキャラクタといっしょに踊っているような臨場感を簡易に生成
できるアニメーション作成装置を提供することを目的とする。
【解決手段】本発明は、複数の図形に関連づけられた動き情報に応じて図形を動作させ
るアニメーション作成装置において、複数の特定オブジェクト画像とその背面画像とを周
期的または図形の向きに応じて切り替えて図形に合成させ、図形の動作に加えて合成画像
の変化をもたせることを特徴とする。
【選択図】図３３

Description

この発明は、音情報によって映像を制御するアニメーション作成装置および方法、記憶
媒体に関するものである。

パーソナルコンピュータの普及と性能向上により、個人でも手軽にコンピュータ・ミュ
ージックやコンピュータ・グラフィックスを楽しんだり、操作することができるようにな
りつつある。

このような状況で、誰もが自分の感性によって、音と映像を同時に楽しんだり、音に合
ったオリジナルなアニメーションを容易に作成したりすることの出来る、対話的なツール
が求められている。

音と映像によってコンピュータ・アートを作成する装置で、楽器の演奏情報からグラフ
ィック情報を決定するものがある（例えば、特許文献１参照）。
この発明は、ＭＩＤＩ規格などのデジタル音源の演奏情報から図形の位置、色、形状、
大きさ、向きとこれらの変化速度を自動的に決定して、コンピュータ・アートの作成を行
おうとするものである。

また、音と映像によってコンピュータ・アニメーションを作成する装置で、対話的に音
と図形および動きを関連づけ、変化する音の情報に応じて関連づけられた動き情報を変化
させて図形を動作させるものがある（例えば、特許文献２参照）。

この発明は、音楽再生中に音と図形および動きの関係を変更したり追加・削除するとい
った編集を可能とし、一つの音楽に対して様々なアニメーションの作成を行おうとするも
のである。
特開平６−１１０４５２号公報特開平９−９１４６５号公報

従来の装置では、音情報と図形情報および動き情報の関係は、あらかじめ用意された計
算式または対応つけテーブルによって固定されており、演奏方法が変わらない限り、一つ
の音楽に対して一つの映像しか作成できなかった。

また、表示する複数の図形は、音に応じて振り付けられた動きでそれぞれ独立に動作す
るだけなので、図形間に協調性をもたせたアニメーションを作成することはできなかった
。

このような理由から従来のような、音と映像を用いたアニメーション作成装置では、作
成者の感性にもとづいて対話的に様々なアニメーションを編集・作成できなかった。また
、音楽にあわせて複数の個体が協調的に動作するような、組織的ダンスの映像を作成する
ことができず、編集の自由度および表現力の低いアニメーション作成環境しか提供出来な
かった。

本発明はこれらの欠点を解消し、複数の図形を音楽にあわせて空間的および時間的な協
調性をもたせて動作させ、例えば、複数の図形による組織的ダンスを表現するような映像
を対話的に編集・作成できるアニメーション作成装置を提供することを目的とする。

これらの課題を解決するために、本願発明は、音情報から所望のパラメータを抽出する
音情報抽出手段と、動作させるべき少なくとも１つの図形を記憶してなる図形記憶手段と
、この図形記憶手段に記憶され表示すべき複数の図形の動き情報を記憶してなる動き情報
記憶手段と、表示すべき複数の図形の空間上での位置関係を記憶してなる配置情報記憶手
段と、配置記憶手段に記憶された図形の位置関係を変更させるための指示を与えるための
指示手段と、この指示手段によって変更された図形の位置関係および前記音情報抽出手段
によって抽出されたパラメータに応じて、前記動き情報記憶手段に記憶された動き情報を
変化させ、表示すべき複数の図形を協調させて動作させるための動作生成手段とを有する
ことを特徴とする

つまり、表示すべき複数の図形に関連づけられた動き情報を音の情報に応じて変化させ
て図形を動作させるアニメーション作成装置において、複数の図形の空間的配置を変化さ
せ、変化させた複数の図形の空間的配置に応じて図形の動き情報を変化させて、空間的な
協調性をもたせて複数の図形を動作させることを特徴とする。

また、複数の図形に関連づけられた動き情報の変化を時間的に同期またはずらして、時
間的な協調性をもたせて複数の図形を動作させることを特徴とする。
この結果、本発明によれば、音と図形および動きとの関係を、音と映像を確かめながら
対話的に編集することができるので、一つの音楽に対して様々な映像を作成することが出
来るようになる。

また、本発明によれば、複数の図形の空間的配置に応じて、各図形の動きを制御できる
ので、複数の人間が音楽にあわせて陣形を変えたり、陣形に応じて各人間が動作を変えて
行動するといった、組織的ダンスにおける空間的な協調性をアニメーションとして表現す
ることも出来るようになる。

また、本発明によれば、複数の図形に関連づけられた動き情報の変化を時間的に同期ま
たはずらすので、複数の人間が同じ動作を一致して行ったり、動作を伝播しあうなどの、
組織的ダンスにおける時間的な協調性をアニメーションとして表現することも出来るよう
になる。

このことによって、従来の装置では出来なかった、作成者の感性にもとづいた対話的な
様々なアニメーションの編集・作成を可能とし、さらに、音楽にあわせて複数の個体が協
調的に動作する組織的ダンスの映像を作成することが出来る、編集の自由度および表現力
の高いアニメーション作成環境を提供することができる。

また、本発明は、複数の特定オブジェクト画像およびこのオブジェクト画像の背面画像
を、周期的または前記物体キャラクタの向きに応じて切り替えて、前記物体キャラクタに
合成する。これにより、切り出された複数の顔画像とその後頭部画像を前記物体キャラク
タの頭部に切り替えて合成することができるので、前記物体キャラクタの動きに加えて顔
の表情変化のついたアニメーションを作成することが可能である。

また、本発明によれば、顔画像および後頭部画像はビデオなどの動画から自動的に生成
されるので、顔画像および後頭部画像の作成の手間が省け、表情変化のついた動作アニメ
ーションを容易に作成することが可能である。

以上のように本願発明では、従来の装置では出来なかった、作成者の感性にもとづいた
対話的な様々なアニメーションの編集・作成を可能とし、さらに、音楽にあわせて複数の
個体が協調的に動作する組織的ダンスの映像を作成することが出来る、編集の自由度およ
び表現力の高いアニメーション作成環境を提供することができる。

［第１の実施例］
以下、図面を参照しつつ本発明によるアニメーション作成装置の一実施例を説明する。図
１は本発明によるアニメーション作成装置の一実施例を示すブロック図である。この協調
型のアニメーション作成装置は、音情報抽出部１，図形情報記憶部５，動き情報作成部８
，ポーズ情報記憶部７，動き情報記憶部６，配置情報記憶部３，編集部４，描画部９，音
情報再生部２，呈示部１０及び指示部１１を有する。

音情報抽出部１は、例えばＭＩＤＩ規格に基づいたデジタル音源に入力されるＭＩＤＩ
信号を後述する音情報再生部２へ送るとともに、楽曲演奏情報などの音情報を抽出し、後
述の編集装置以下の構成ブロックへ分配するものである。

ここにＭＩＤＩ信号とは、デジタル音源を駆動するための情報をシリアルの二進符号で
表現したものであり、音楽の進行に関するテンポデータ、音色に関するチャンネルデータ
、音の高さに関する音程データ、音の強弱に関する音強度データ、音楽効果に関する効果
音データなどによって構成されている。

本実施例では、これらのデータのうちから、テンポデータを利用した例について述べる
。図形情報記憶部５は、表示する図形情報を記憶しておくものである。
図形情報には２次元図形データのみならず、３次元図形データも含まれる。
３次元図形データのフォーマットとしてはいろいろなものがあるが、本実施例では、パ
ーソナル・コンピュータ上の３次元コンピュータ・グラフィックスＡＰＩとして標準規格
となりつつあるＤｉｒｅｃｔ３Ｄ（Ｍｉｃｒｏｓｏｆｔ社が提唱）のＸファイル形式を利
用した例を示す。

本実施例では、３次元図形の形状として人体キャラクタを使用するが、人体キャラクタ
の頭、腕、足などのオブジェクトをＸファイル形式のファイルで用意し、これらを人体と
して再構築するための人体ファイル（.chr）をさらに用意する。本実施例で使用する人体
キャラクタは、１５個のオブジェクトから構成されており、図２に示す階層構造を構築す
る。

ここでは、人体キャラクタの腰（hip ）をルートにして、人体キャラクタの中心として
定めている。この階層構造により、例えば腰に回転などの変換をかけると、腰以下の従属
する子供オブジェクトが追従して回転し、人体キャラクタ全体が回転することになる。図
３に人体ファイル(model#1.chr)の例を、図４に実際に描画された表示例を示す。

図３について以下に説明を行う。人体ファイルには、人体キャラクタの１５個の各オブ
ジェクトについて、Ｘファイル名と再構築のための原点位置変換データが記述されている
。図３の１行目には、人体キャラクタの腰（hip ）について記述されており、対応するＸ
ファイル名が hip.x、原点位置変換データが（0.0, 5.35, 0.0）であることを示している
。

また、２行目の記述では、左足１（Ｘファイル名はlegL1.x ）がその親オブジェクトで
ある腰の原点位置を基準として、原点位置変換データ（0.5, -0.85, 0.0 ）で移動され腰
に接続されることが示されている。

また、３行目の記述では、左足２（Ｘファイル名はlegL2.x ）がその親オブジェクトで
ある左足１の原点位置を基準として、原点位置変換データ（0.0, -2, 0.0）で移動され左
足１に接続されることが示されている。

本実施例は、３次元図形のデータとしてＸファイル形式に限定するものではなく、ＣＡ
Ｄ分野でのＤＸＦ形式や、様々なモデリング・ソフトで作成された３次元図形データ形式
をＸファイル形式に変換することで利用が可能である。

動き情報作成部８は、図形情報記憶部５に記憶された図形の動き情報を作成するもので
ある。本実施例では、後述するように図形の動きをキーフレーム・アニメーションの手法
を用いて生成するので、図形の異なったポーズをキーフレームとして複数作成し、作成し
たポーズを順番にならべて連結し、後述のモーション・ファイルとして保存するものとす
る。

本実施例における動き情報作成部８の具体的な構成は、図５のようになる。図５のポー
ズ作成部８１は、図形情報記憶部５に記憶された図形を読み込んで、それにポーズを振り
付けするものである。

図６は、ポーズ作成部８１において人体キャラクタへのポーズ振付を行う際の表示例で
ある。作成者は、マウスを用いて人体キャラクタの各オブジェクトを選択することが可能
で、選択したオブジェクトを指示部１１の矢印キーとシフト・キーなどのキー入力操作に
よって、ｘ，ｙ，ｚの各軸に関して回転、移動の変換をかけるて人体キャラクタにポーズ
を振付する。ここで、指示部１１のマウスによるオブジェクト選択は、マウスによる視点
追跡と図形のバウンディングボックスとの交点検出によるピッキング操作で行っている。

図６では、人体キャラクタの左腕１を選択して（枠の四角部分）、ｚ軸に関する回転を
かけている様子を示している。前述したように、人体キャラクタは各オブジェクトが階層
構造を持って接続されているので、図６のように左腕１に回転をかけると、その子供オブ
ジェクトである左腕２、左手も追従して回転する。

上述の操作によって作成されたポーズの情報は、後述するポーズ情報記憶部７において
、拡張子が.pseのポーズ・ファイルとして保存される。作成者は、すでに作成されたポー
ズ・ファイルを読み込んで、指示部１１からの指示により再度ポーズを作成し直すことも
可能である。

図５の動き情報編集部８２は、作成した複数のポーズを順番に連結させて図形の一連の
動き情報を作成するものである。
図７は、動き情報編集部８２におけるインタフェースの表示例である。このインタフェ
ースでは、人体キャラクタの動きをキーフレーム・アニメーションするための情報を指定
することができ、一連の動きを構成するポーズ・ファイル名と、ポーズとポーズの補間の
分割数を入力することが可能である。

図７では、ワップというダンスの動きを構成する９個のポーズ・ファイルが順番になら
べられており、一番目のポーズはwap1.pseで、次のポーズはwap2.pseで、その次はwap3.p
seでと一連の動き情報が指定されている。また、実際にアニメーションさせる場合、各ポ
ーズとポーズの間の補間を、インタフェースの右側で指定された分割数「４」で行う。

インタフェースにある［ＯＫ］のボタンを押すと、入力されたポーズ間を補間する動き
のアニメーションを実行でき、動きを確かめることができる。
図８は、ワップのダンスを構成する各ポーズを表示したものをならべたものである。本
実施例では、キーフレーム・アニメーションを、各ポーズとポーズの間を、腰、腕などの
各オブジェクトについて、上述したポーズ・ファイルに記述されているｄｉｒ（オブジェ
クトの３次元的な向きベクトル）、ｐｏｓ（オブジェクトの位置）、ｕｐ（オブジェクト
のｙ軸に関するずれベクトル）のデータを線形補間することにより実現する。

補間の際の分割数はこのインターフェースで変更可能であり、分割数を多くすることに
より動きのスピードをあげたり、分割数を少なくすることにより動きのスピードを遅くす
ることが可能である。

また、ここで作成した動き情報は、図２の構成に基づく人体キャラクタであれば、どん
な人体キャラクタにも適用することが可能である。また、このインターフェースでは、ポ
ーズ・ファイル名を作成した他のポーズ・ファイル名に変更して指定することが可能なの
で、違う動きの編集を容易に行うことが出来る。さらに、後述のモーション・ファイルを
読み込んで、上述の編集を行うことも可能である。

ポーズ情報記憶部７は、前述の動き情報作成部８によって作成されたポーズを、拡張子
が.pseのポーズ・ファイルとして保存するものである。
図９にポーズ・ファイル（wap1.pse）の例を示す。以下に図９の説明をする。
１行目は、ポーズ・ファイルであることを示すヘッダーである。２行目のBodyには、この
ファイルが１５個のオブジェクト（パーツ）から構成された人体キャラクタに対応するこ
とが示されている。

以下、１５個のＰａｒｔには、オブジェクトの識別子（ｉｄ）、オブジェクトの３次元
的な向きベクトル（ｄｉｒ）、オブジェクトのｙ軸に関するずれベクトル（ｕｐ）、オブ
ジェクトの位置（ｐｏｓ）が記述されている。

ここで、識別子０が腰のオブジェクトを示しており、以下、１，２，・・・が左足１，
左足２と対応している。また、ｄｉｒ，ｐｏｓ，ｕｐのデータは、作成者が各オブジェク
トに回転や移動をかけてポーズを決定したときに得られるものである。

動き情報記憶部６は、動き情報作成部８で作成された図形の動き情報を記憶しておくも
のである。図形の動き情報は、拡張子が.mtnのモーション・ファイルに保存される。モー
ション・ファイルには、前述した動き情報作成部８の動き情報編集部８２において指定さ
れた複数のポーズ・ファイル名および分割数が記述される。

図１０は、モーション・ファイル（wap.mtn ）の記述例を示す。１行目は、モーション
・ファイルであることを示すヘッダーである。２行目のMotionでは、このモーション・フ
ァイルで記述される動きが９個のポーズによって構成されていることが示されている。

以下、９個のポーズ（Ｐｏｓｅ）では、ポーズの順番（ｉｄ）、補間の分割数（ｄｉｖ
）、ポーズ・ファイル名（ｆｎａｍｅ）が記述されている。
ここで、例えばｉｄが０、すなわち一連の動きにおける最初のポーズは、ポーズ・ファ
イルwap1.pseで保存されているポーズであり、そして、次のポーズとの補間を分割数４で
行うことが記述されている。以上のように本実施例ではポーズ情報と動き情報を用いてオ
ブジェクトの動きを生成する。

配置情報記憶部３は、複数の図形の空間的配置情報を記憶するものである。本実施例で
は、複数の図形を２次元の格子上に配置する例を説明する。
図１１は、５×５の２次元格子を示している。ここで実際に図形が配置可能な領域は内
側の３×３の領域であり、外側の領域は配置不可能な領域（×印）とする。外側の領域は
、後述する近接点の処理で利用する。

この２次元格子上での図形の配置状態を、２次元配列array [x][y]であらわし、コンピ
ュータのメモリ空間で記憶させ、図形の配置情報として使用する。

図１２は、３個の図形Ａ，Ｂ，Ｃを、Ａを真ん中にして横一列に配置させた場合の２次
元配列array [x][y]に格納される値を２次元格子であらわしたものである。前述の図形が
配置不可能な外側の領域はすべて−１であり、その内側の領域は図形が存在しなければ０
である。図形Ａが存在する格子は１、図形Ｂが存在する格子は２、図形Ｃが存在する格子
は３とする。すなわち、ここでは、図形の存在する２次元配列array [x][y]は、array [1
][2]＝２, array [2][2]＝１, array [3][2]＝３のようになる。

ここで、例えば、図形Ａがarray [2][1]に移動して配置が変わった場合、２次元配列ar
ray [x][y]は以下のように元の格子が０に、新たな格子が１に変更され、array [2][2]＝
０, array [2][1]＝１が再度記憶される。

編集部４は、指示部１１からの指示に従い、図形情報記憶部５から希望する図形情報を
複数選択したり、動き情報記憶部８から希望する動き情報を選択して、図形の配置情報と
関連付けしたり、その関連を変更したり、図形の配置情報を変更したり、音情報抽出部１
から入力された音楽のテンポデータを図形の動き情報に関係づけして、複数の図形の様々
な動作を編集・生成するものである。

本実施例における編集部４の具体的な構成は、図１３のようになる。図１３の図形情報
選択部４１では、図形情報記憶部５に格納されている図形情報のうちから表示装置に表示
する図形情報を選択するものである。図形情報としては、ダンサーとなる人体キャラクタ
の前記人体ファイルを複数用意し、これら人体ファイルの中から例えば３体を選択して読
み込む。

図１３の配置情報／動き情報関連付け部４２では、動き情報記憶部８に格納されている
動き情報のうちから、読み込んだ図形すなわち人体キャラクタにダンスさせるための動き
情報を選択して、人体キャラクタの配置情報と関連付けするものである。人体キャラクタ
の配置情報と動き情報との関連付けの例として、局所的な配置情報によるものと、大局的
な配置情報によるものと２通りを説明する。

局所的な配置情報による場合では、各人体キャラクタのダンスは、後述の動き情報変更部
４４において以下の３パターンに選別される。
（１）すべてが同一のダンスをする。
（２）ソロのダンスをする
（３）ソロのダンサーに合いの手をする。
図１４は、局所的な配置情報による場合の配置情報と動き情報の関連付けを行うインタ
フェースの例である。ここでは、人体キャラクタが同一のダンスをする場合について３種
類、ソロのダンスをする場合について３種類（人体キャラクタＡ，Ｂ，Ｃについて）、ソ
ロのダンサーに合いの手をする場合について２種類のダンスを、前述の動き情報作成部８
で作成されたモーション・ファイル名（***.mtn ）を入力することにより指定する。

ここで指定されたダンスの３パターンとモーション・ファイルの関連づけ情報は、メモ
リ空間内で記憶する。大局的な配置情報による場合では、あらかじめ人体キャラクタの配
置パターンを複数個用意し、各配置パターンに動き情報を関連付けする。

図１５は、大局的な配置情報による場合の配置情報と動き情報の関連づけを行うインタ
フェースの例である。ここでは、あらかじめ用意した３つの配置パターンに対して、Ａ、
Ｂ、Ｃの各人体キャラクタのダンスを、モーション・ファイル名（***.mtn ）を入力する
ことにより指定する。また、用意した配置パターン以外の配置パターンが出現した場合の
ために、その他の配置パターンとして、Ａ，Ｂ，Ｃの各人体キャラクタのダンスを、モー
ション・ファイル名（***.mtn ）を入力することにより指定する。

各配置パターンにおいて、Ａ，Ｂ，Ｃの各人体キャラクタのモーション・ファイルを同
一のファイルにすると、対応する配置パターンが出現した場合に、各人体キャラクタは一
致して同一のダンスを踊る。ここで指定された配置パターンとモーション・ファイルの関
連づけ情報は、メモリ空間内で記憶する。

図１３の配置変更部４３は、図形すなわち人体キャラクタの空間的配置を変更するもの
で、前述の配置情報記憶部３で記憶された２次元配列array [x][y]の内容を変更するとと
もに、２次元配列で記述された配置情報から、実際に人体キャラクタを表示する３次元空
間の位置座標へマッピングを行うものである。

本実施例では、人体キャラクタの配置変更を作成者がキー入力で対話的に行う例を説明
する。作成者は、一つの人体キャラクタをキーボードの矢印キーを用いて２次元格子上を
移動させる。

図１６は、２次元格子上で人体キャラクタＡを指示部１１の矢印キーで移動させる例を
示している。２次元配列array [x][y]では、→キーがｘ方向に＋１，←キーがｘ方向に−
１，↑キーがｙ方向に＋１，↓キーがｙ方向に−１に対応させている。

例えば、図１６（ａ）のように２次元配列array [2][2]＝１で配置されている人体キャ
ラクタＡに対して、↓キーが押されると、２次元配列はarray [2][2]＝０，array [2][1]
＝１のように変更され配置情報が変わる（図１６（ｂ））。

人体キャラクタＡを上述の方法で移動させると、人体キャラクタＢ，Ｃも移動し、全体
の配置情報が変化する。
図１７の流れ図は、一つの人体キャラクタを作成者の指示にしたがって移動させ、他の
人体キャラクタの配置情報を確率的に変化させる例を示したものである。ここで、図形ｉ
ｄ＝１が人体キャラクタＡを、図形ｉｄ＝２が人体キャラクタＢを、図形ｉｄ＝３が人体
キャラクタＣをあらわしている。

まず、ｉｄ＝１（キャラクタＡ）の場合キャラクタＡを移動させると、移動した位置が
１となり、キャラクタＡが移動前の位置を０とする（Ｓ１７１）。ここで、x#org[id]，y
#org[id]は各人体キャラクタの２次元格子上での元の位置を示すものである。

次に、ｉｄ＝２（キャラクタＢ）として（Ｓ１７２）、キャラクタＢの近接点で移動可
能な格子点の数を算出する（Ｓ１７３）。ここでは、近接点とは一つの格子点を囲む８カ
所を指しており、確率的に人体キャラクタを移動させる場合、他の人体キャラクタが配置
されている所へは移動できないことにする。つまり、図１６（ｂ）の例では、array [1][
2]にいるキャラクタＢは、array [1][1]，array [2][2]，array [1][3]，array [2][2]の
４ヶ所のいずれかに移動することができる。

次に、ｉｄ＝２（キャラクタＢ）が移動できる格子点の確率を決定する（Ｓ１７４）。
ここでは、４ヶ所に移動できるのでその確率は１／４である。そして、その確率と所定の
乱数をもとにキャラクタＢを移動させる（Ｓ１７５）。

次に、キャラクタＢが残っているので（Ｓ１７６）、ステップ１７２にもどり、同様に
ｉｄ＝３（キャラクタＣ）の移動の制御を行う。
次に、２次元配列array [x][y]で記述された配置情報から、実際に人体キャラクタを表
示する３次元空間の位置座標へマッピングを行う方法について説明する。実際に人体キャ
ラクタを表示する３次元空間は、図１８に示すｘｚ平面を地面とした空間である。ここで
、人体キャラクタの高さ方向は、y軸に平行な方向である。

そこで、２次元配列（ｘ，ｙ）から実際の表示空間（Ｘ，Ｙ，Ｚ）へのマッピングは、
移動とスケール変換を用いた以下の式で行う。
Ｘ＝(ｘ−２)＊５
Ｙ＝０
Ｚ＝(ｙ−２)＊５
人体キャラクタの配置変更は、上述の作成者のキー入力によるやり方に限定するもので
はなく、例えば音情報すなわちＭＩＤＩ信号中のタイムデータを利用して、周期的に配置
変更のタイミングを得たり、あるチャンネルデータに注目して、そのチャンネルデータの
音強度あるいは音程の変化をキーとして配置変更を行うなど、音情報から配置変更のタイ
ミングを自動的に得ることも可能である。

図１３の動き情報変更部４４は、図形すなわち人体キャラクタの空間的配置が上述の配
置変更部４３において変更された場合、変更された配置情報を評価し、前述の配置情報／
動き情報関連づけ部４２において関連づけられた動き情報に従って、人体キャラクタに振
り付けるダンスすなわち動きを変更させるものである。

配置変更部４３で変更された人体キャラクタの空間的配置の評価方法として、前述した
、局所的な配置情報によるものと、大局的な配置情報によるものの２つを例にあげて説明
する。

図１９は、局所的な配置情報による評価処理の流れを示したものである。この方法では
、２次元格子上で人体キャラクタが配置されている格子点の近接点に他の人体キャラクタ
が配置されているかどうかを判定する。

まず、各キャラクタの近接点に他の図形があるかを判断し（Ｓ１９１）、近接点に他の
図形がある場合はパラメータｅの値を増やし（Ｓ１９２）、近接点に他の図形が無い場合
は、id#solo （ソロダンスをする）というパラメータを与える（Ｓ１９３）。その結果、
パラメータｅの値に応じ各キャラクター動きを決定する（Ｓ１９４）。

ここでは、図２０のように、全ての人体キャラクタが互いに近接点で接している状況で
は、ｅ＝３となるため、全ての人体キャラクタに同一のダンスを振り付け、一定の空間隊
形を保ち同一の振りでダンスをする空間的同期による協調性を表現する。ここで、振り付
ける同一のダンスの種類は、前述の配置情報／動き情報関連付け部４２で指定した３種類
のモーション・ファイルからランダムに一つを選択して決定する。

また、図２１のように、近接点に他の人体キャラクタが配置されていないキャラクタＡ
にはソロのダンスをさせ、他の２つの人体キャラクタが互いに近接点で接しているキャラ
クタＢとＣは、ｅ＝２となるため、それらをソロのダンスに対して合いの手を入れるよう
なダンスをさせて、空間的なずれのもとに協調するダンスを表現する。ここで、振り付け
るソロのダンスの種類は、前述の配置情報／動き情報関連付け部４２で指定した各人体キ
ャラクタに対応付けたモーション・ファイルにより決定する。また、振り付ける合いの手
のダンスも、配置情報／動き情報関連付け部４２で指定した２種類のモーション・ファイ
ルからランダムに一つを選んで決定する。

また、図２２のように、全ての人体キャラクタが互いに近接点で接していない状態であ
れば、ｅ＝０となるため、全ての人体キャラクタをソロでダンスさせ、ダンスの協調性に
アクセントをつける効果を表現する。ここで、振り付けるソロのダンスの種類は、前述の
配置情報／動き情報関連付け部４２で指定した各人体キャラクタに対応付けたモーション
・ファイルにより決定する。

一方、大局的な配置情報による評価の仕方は、配置情報／動き情報関連付け部４２で用
意された配置パターンと、変更された配置における２次元配列array [x][y]の状態とのマ
ッチングによる方法をとる。

すなわち、人体キャラクタがどこに配置されているかを、２次元配列array [x][y]のｘ
ｚ空間で探査し、用意された配置パターンと同じ配置状態であれば、その配置パターンに
関連づけられたモーション・ファイルを各人体キャラクタに適応させる。

図１３の動き生成部４５は、音情報抽出部１から入力される音情報から音楽のテンポデ
ータを取得し、取得したテンポデータに応じて各人体キャラクタを振り付けられたダンス
の動き情報に基づいて動作させるものである。

図２３は、動き生成部４５における処理の流れを示したものである。前述の動き情報作
成部８で説明したように、本実施例では、人体キャラクタの動きをキーフレーム・アニメ
ーションの手法を用いて生成する。まず、テンポデータを取得し（Ｓ２３１）、人体キャ
ラクタの動きを音楽のテンポに同期させるために、人体キャラクタの各ポーズとポーズの
補間の分割数を、音情報抽出部から入力される音情報中のテンポデータにより算出する（
Ｓ２３２）。

そして、この補間の分割数で、モーション・ファイルに記述されたポーズとポーズの間
の補間ポーズを逐次算出して（Ｓ２３３）描画更新を行い、モーション・ファイルであら
わされる一つの動きを周期的に繰り返すアニメーションを生成する（Ｓ２３４）。

また、本動き生成部の処理は、４０msの時間間隔のタイマーを用いて、各時間間隔ごと
にタイマーイベントを発生させて行うようにする。
以下に、テンポデータから補間の分割数を算出する方法について説明する。ＭＩＤＩ信
号で得られるテンポデータは、例えば１２０といった数値で、これは１分間に１２０回テ
ンポを打つことを意味している。従って、１テンポの時間間隔は６００００(ms)／１２０
＝５００(ms)である。

本実施例では、モーション・ファイルに記述されたポーズ間の時間間隔を、上記の１テ
ンポの時間間隔で規定し、動きをテンポに同期させるようにする。
図２４は、テンポが１２０の場合での、モーション・ファイルに記述される一連のポー
ズを時間軸上で示した例である。動きの一周期は、最初のポーズP1から始まってポーズP8
に至り再びポーズP1に戻る、合計８区間であらわされる。ここで、１テンポの時間間隔（
５００ms）を、P1−P3、P3−P5、P5−P7、P7−P1のポーズ２区間の時間間隔であると決め
る。

すると、ポーズ１区間（例えばP1−P2）の補間の分割数Ｎは、テンポ（tempo ）および
タイマーの時間間隔（４０ms）を用いて以下の式で得られる。
Ｎ＝（（６００００／tempo ）／２）／４０
上述のように、各人体キャラクタを音楽のテンポに同期して動かすことにより、各人体
キャラクタが一致してダンスを行う、時間的な同期による協調性を表現することができる
。

次に、編集部４の第一の変形例について説明する。編集部４の第一の変形例は、前述の
編集部４の編集機能に加え、音情報抽出部１から入力された音情報であるＭＩＤＩ信号の
チャンネル（演奏楽器に対応）と動き情報を図形に関連づけたり、関連づけを変更したり
して、関連づけたチャンネルが演奏されるタイミングで、前述のテンポに同期した図形の
動きの合間に、図形に関連づけた動きを新たに派生させて、複数の図形の様々な動作を編
集・生成するものである。

本変形例における編集部４の具体的な構成は、図２５のようになる。配置情報／動き情
報関連づけ部４２、図形情報選択部４１、配置変更部４３、動き情報変更部４４は、前述
の編集装置におけるものと同じである。

音情報／動き情報関連づけ部４６は、ＭＩＤＩのチャンネルと動き情報記憶装置で記憶
された動き情報を図形に関連づけさせるものである。
図２６は、音情報／動き情報関連づけ部４６におけるインタフェースの一例である。こ
こでは、図形すなわち人体キャラクタに対し、ＭＩＤＩチャンネル（番号）と動き情報で
あるモーション・ファイル名（***.mtn ）を入力して指定し、これらを人体キャラクタに
関連づけする。ここで指定された関連づけ情報は、メモリ空間で記憶させる。

ＭＩＤＩチャンネルは１〜１６番まであり、演奏楽曲で使われる楽器に対応し、それぞ
れのチャンネルは演奏中、時間的に異なるタイミングで鳴らされる。
上記インタフェースにおいて、各人体キャラクタに異なるチャンネルを指定すると、後
述するように、テンポに同期した動きの合間に、各人体キャラクタが時間的に異なるタイ
ミングで、すなわち時間的なずれをもって、上で指定された動きをアドリブ的に行う。

また、同じチャンネルを指定すると、テンポに同期した動きの合間に、各人体キャラク
タは時間的に一致して、上で指定された動きをアドリブ的に行う。本変形例では、各人体
キャラクタがアドリブ的なダンスや身振りを行う際の、動きの時間的な同期やずれによる
協調性を表現する。

本変形例における動き生成部４５での処理の流れを図２７に示す。ここでは、入力され
る音情報からテンポデータを取得する以外に、演奏音としてどのチャンネルを鳴らすかが
指定されたチャンネルデータ（ノートオン）も取得する（Ｓ２７１）。

音情報／動き情報関連づけ部４６において人体キャラクタ（Ａ，Ｂ，Ｃをｉｄで示す）
に関連づけられたチャンネルがオンの場合（例えば、人体キャラクタＡに関連づけられた
チャンネル４番がオンの場合）（Ｓ２７２）、前述のテンポに応じた動きから新たな動き
を派生させる（Ｓ２７３）。派生させる動きは、音情報／動き情報関連づけ部において人
体キャラクタに関連づけられた動き（モーション・ファイル）を用いる。また、関連付け
たれたチャンネルがオフの場合、図２３の処理と同様に補間の分割数を算出し（Ｓ２７４
）、補間ポーズを算出する（Ｓ２７５）。

図２８は、前述のテンポに同期した動きに、新たな動きを割り込ませて派生させる方法
を示している。ここでは、派生させる動きが４個のポーズ（Pd１，Pd２，Pd３，Pd４）か
ら成る例を示す。指定されたチャンネルがオンになったタイミングで、テンポに同期した
動きの最終ポーズPeと派生させる動きの最初のポーズPd１を、分割数２の補間でキーフレ
ーム・アニメーションする（補間Ａ）。

次に、派生させる動きの各ポーズ間（Pd１−Pd１，Pd２−Pd３，Pd３−Pd４）を分割数
２の補間でキーフレーム・アニメーションする。
最後に、派生させる動きの最終ポーズPd４と、テンポに同期した動きの開始ポーズPsと
を、分割数２の補間でキーフレーム・アニメーションする(補間Ｂ)。ここで開始ポーズPs
は、最終ポーズPeから１０回分（分割数２×５回）を補間した後のポーズである。補間Ａ
とＢのように、派生させる動きの始まりと終わりで、テンポに同期した動きのポーズと補
間するアニメーションを生成することにより、スムーズな動きのつながりを実現する。

また、上述のように開始ポーズPsを、最終ポーズPeから派生させる動きにかかる補間数
（時間）分を仮想的に進めた後のポーズとすることにより、派生させる動きの前と後で、
テンポに同期した動きが時間的にずれないように連続性を保つことができる。これはすな
わち、ある一つの人体キャラクタが派生の動きをした場合でも、他の人体キャラクタとの
テンポに同期した動きが常に一致することを保証している。

次に、編集部４の第二の変形例について説明する。編集部４の第二の変形例は、上述の
第一の変形例での編集機能に加え、作成者が一つの図形の動き情報を対話的に操作して変
化させ、変化させた一つの図形の動き情報に応じて他の図形の動き情報を変化させて、複
数の図形の動作を編集・生成するものである。

本変形例における編集装置の具体的な構成は、図２９のようになる。図形情報選択部４
１、配置情報／動き情報関連づけ部４２、配置変更部４３、音情報／動き情報関連づけ部
４６は、前述の編集部４におけるものと同じである。

操作／動き情報関連づけ部４７は、作成者の対話的な操作手段と図形すなわち人体キャ
ラクタの動き情報を関連づけするためのものである。本実施例では、キーボードによるキ
ー入力を、作成者の対話的な操作手段として実現する例を説明する。

図３０は、キーボードのキーと動き情報を関連づけするためのインタフェースの例であ
る。ここでは、Ｈ，Ｊ，Ｋ，Ｌの４つのキーに対して、前述のモーション・ファイル（**
*.mtn ）を入力し、各キーに動き情報を関連づけすることができる。

動き操作部４８は、作成者が一つの図形すなわち人体キャラクタの動き情報を対話的に
変化させるためのものである。ここでは、前述の操作／動き情報関連づけ部４７で関連づ
けられたＨ，Ｊ，Ｋ，Ｌの４つのキーを入力可能とする。

また、キーボードによるキー入力だけではなく、前記操作／動き情報関連づけ部４７に
おいて、実際の人の動きやジェスチャの画像を動き情報に関連づけし、ＣＣＤカメラなど
による画像取得を介した画像認識（例えば、テンプレートマッチング）を行えば、人の動
きやジェスチャの入力による対話操作も可能である。

本変形例における動き情報変更部４４では、前記動き操作部４８で入力された操作に対
して前記操作／動き情報関連づけ部４７において関連づけられた動き情報を、一つの図形
すなわち一つの人体キャラクタに振り付け、図形の配置状態を判定した後、他の図形の動
き情報を変更して振り付けるものである。

前記動き操作部４８において入力操作があった場合の、動き情報変更部４４における処
理の流れを図３１に示す。
まず、図形ｉｄ＝１すなわち人体キャラクタＡに、入力キーに関連づけられた動き（モ
ーション・ファイル）Ｘを振り付ける（Ｓ３１１）。
次に、２次元格子上で、図形ｉｄ＝２すなわち人体キャラクタＢの近接点に人体キャラ
クタＡがあるかどうか判定する（Ｓ３１２，Ｓ３１３）。
横方向（Ｘ方向）にある場合は、人体キャラクタＢをdelay ＝０すなわち人体キャラク
タＡと同時におこなう動きＸを振り付ける（Ｓ３１４）。
これ以外にある場合は、人体キャラクタＢをdelay ＝１すなわち人体キャラクタＡの動
きに対して時間的遅れをもたせて、動きＸを振り付ける（Ｓ３１５）。
以下、図形ｉｄ＝３すなわち人体キャラクタＣに対して配置状態を判定した後、動きを
振り付ける。
このように、本変形例では、人体キャラクタＢ，Ｃを、作成者が操作する人体キャラク
タＡの動きと同じ動きＸで、配置状態に応じて、同時におこなわせたり、遅れておこなわ
せるようにする。これにより、組織的なダンスにおける時間的な同期やずれによる協調性
を、前述の変形例に加えてさらに表現できるようになる。

本変形例における動き生成部４５では、前述の第一の変形例において説明した、テンポ
に同期した動きから新たな動きを派生させる手法と同じように、上記動き情報変更部４４
における振り付けで（あるものは時間的に遅らせて）各人体キャラクタの動きを生成する
。

ここで、図２８のチャンネル・オンのタイミングが、作成者のキー入力のタイミングに
置き換わる。
また、前記動き情報変更部においてdelay ＝０の人体キャラクタの動きは、キー入力と
同じタイミングで生成し、delay ＝１の人体キャラクタの動きは、キー入力から数フレー
ム遅らせたタイミングで生成を開始させて動きの遅れを実現する。

図１の描画部９は、編集部４において図形の配置情報および音情報と関係づけられた図
形情報、および動き情報によって描画を行い、表示タイミングに従って描画内容を呈示部
１０へ送出する。

図１の音情報再生部２は、音情報抽出部から出力されたＭＩＤＩ信号から楽曲演奏情報
などの音情報を抽出し、再生するものである。
図１の呈示部１０は、描画部９で描画、更新された描画内容をビデオ信号に変換し、Ｃ
ＲＴなどのディスプレイにアニメーションを表示する。図３２に、本実施例で呈示される
アニメーションの１シーンを示す。

この結果、本発明によれば、音と図形および動きとの関係を、音と映像を確かめながら
対話的に編集することができるので、一つの音楽に対して様々な映像を作成することが出
来るようになる。

［第２の実施例］
以下、図面を参照しつつ本発明によるアニメーション作成装置の一実施例を説明する。図
３３は本発明によるアニメーション作成装置の一実施例を示すブロック図である。

このアニメーション作成装置は大きく顔画像記憶部５０、音情報抽出部１、図形情報記
憶部５、動き情報作成部８、ポーズ情報記憶部７、動き情報記憶部６、配置情報記憶部３
、編集部４、描画部９、音情報再生部２、呈示部１０を有する。ここでは、顔画像記憶部
５０および編集部４以外の部分は、第１の実施例と同じであるので説明は省略する。

顔画像記憶部５０は、人体キャラクタの頭部に合成するための、顔画像および後頭部画
像を記憶しておくものである。顔画像は、デジタルカメラで撮影された人物の顔画像、ス
キャナから取り込まれた人物の顔画像、またはペイントツールによって描かれた顔画から
、背景画像を取り去った画像である。ここで、背景画像が取り去られた顔画像とは、たと
えばペイントツールによってユーザが顔領域（髪の部分も含む）以外の背景画像を白色（
ＲＧＢ記述では、Ｒ：２５５、Ｇ：２５５、Ｂ：２５５）で塗りつぶすことによって得ら
れた画像である。

後頭部画像は、顔画像の顔領域を髪の毛の色で塗りつぶした画像、デジタルカメラで撮
影された人物の後頭部画像、スキャナから取り込まれた人物の後頭部画像、またはペイン
トツールによって描かれた後頭部画から、背景画像を取り去った画像である。

図３４に示すように顔画像記憶部５０では、上述の顔画像複数枚を一連のものとして保
持し（000.bmp,001.bmp,・・・）、さらに、これら顔画像に対する１枚の後頭部画像を加
えたものを１セットとして保持する（Back000.bmp ）。ここで、それぞれの顔画像および
後頭部画像はビットマップ（BMP ）形式などの静止画像ファイルである。一連の顔画像は
、それぞれ顔の表情の異なるものを１０枚保持するようにする。

図３５は、上述の顔画像および後頭部画像を１セットとして保持するファイルの一例で
ある。記述 #FACE MOVIE FILE は、このファイルが一連の顔画像および後頭部画像が記
述されたファイルであることを示す。記述 FMV [ nframe 10 ] は、一連の顔画像が１０
枚で構成されることを示す。記述 Frame [ id 0 fname "000.bmp" ] では、１番目の顔
画像ファイルが指定され、以下のFrame の記述では、一連の顔画像ファイルの指定が行わ
れる。最後の記述 BackFrame [ id 0 fname "Back000.bmp" ] では、後頭部画像ファイ
ルが指定される。本実施例では、上述のファイルを.fmvという拡張子を付けて、以下、Ｆ
ＭＶファイルと呼ぶ。

本実施例の編集部４は、顔画像記憶部５０から希望するＦＭＶファイルを選択してＣＧ
キャラクタの頭部に貼り付けたり、ＣＧキャラクタを変更したり、音情報と動き情報の関
連づけを変更したりして、表示内容およびＣＧキャラクタの様々な動作を編集・生成する
ものである。本実施例における編集部４の具体的な構成は、図３６のようになる。ここで
、図形情報選択部４１、図形変更部５１、および動画像貼り付け部５２以外の部分は、第
１の実施例と同じであるので説明は省略する。

図３６の図形情報選択部４１は、ユーザが指定するＣＧキャラクタの種類およびＣＧキ
ャラクタの頭部に貼り付ける顔画像すなわちＦＭＶファイルを選択するものである。図形
情報選択部４１でのＣＧキャラクタおよびＦＭＶファイルの選択は、図３７に示すキャラ
クタ選択用のダイアログボックスを用いて行う。

このダイアログボックスは、ユーザが指定するＣＧキャラクタにマウス・カーソルをあ
て左クリックすることにより起動される。ＣＧキャラクタは、図３７のキャラクタ・ファ
イルの欄において、希望するＣＧキャラクタのファイル名を記述して選択する。ＦＭＶフ
ァイルは、図３７のＦＭＶファイルの欄において、希望するＦＭＶファイル名を記述して
選択する。

図３６の図形変更部５１は、指定されたＣＧキャラクタを、図形情報選択部４１におい
て選択されたＣＧキャラクタおよびＦＭＶファイルで置き換えまたは貼り替えるものであ
る。指定されたＣＧキャラクタに顔画像を貼り付ける一例を図３８に示す。図６（ａ）は
、指定されたＣＧキャラクタである。

まず、図３８（ｂ）に示すように、ＣＧキャラクタの頭部オブジェクトを一枚の平面プ
レートに置き換える。次に、図３８（ｃ）に示すように、置き換えた平面プレートに、選
択されたＦＭＶファイルの一番目の顔画像をテクスチャマッピングする。

ここで、顔画像の白色で塗られた背景部分は透明化する。透明化は、たとえば３次元Ｃ
ＧのＡＰＩであるＤｉｒｅｃｔ３Ｄのテクスチャ機能を用いて、白色部分のＴｒａｎｓｐ
ａｒｅｎｃｙを有効にして行う。これにより、背景が透明で顔領域だけの顔画像がＣＧキ
ャラクタの頭部にマッピングされる。

次に、図３６の顔画像貼り付け部５２は、図形変更部５１において置き換えられたＣＧ
キャラクタの頭部の平面プレートに対して、図形情報選択部４１において選択されたＦＭ
Ｖファイルの一連の顔画像および後頭部画像を周期的に切り替えて貼り付けるものである
。

図３９は顔画像貼り付け部５２における処理の流れを示すものである。顔画像貼り付け
部５２では、動き生成部４５において生成されたＣＧキャラクタのポーズ・データおよび
３次元シーンを見る位置／方向を決める表示画面の正面（視線方向）に対応するカメラ・
データにより（Ｓ３９１）、顔画像および後頭部画像の貼り付け方を決める。ここで、ポ
ーズ・データは、ＣＧキャラクタの各部品（頭、胸等）の位置と向きである。１００ｍｓ
間隔のタイマにより１０枚の顔画像を周期的に切り替えて貼り付けを行うのが処理の基本
的な流れである。

１０番目の顔画像が貼り付けされたら（Ｓ３９２）、次は１番目の顔画像を貼り付ける
ように１０枚の顔画像の切り替えはループ状におこなう（Ｓ３９３）。
次に、ＣＧキャラクタが背を向けているかどうかの判定を行う。ＣＧキャラクタの胸の
向きベクトルＶａとＣＧキャラクタの胸の位置から表示画面の正面へと結んだベクトルＶ
ｂとの内積の正負で行う。すなわち、Ｖａ・Ｖｂ＞＝０ならＣＧキャラクタは表示画面方
向を向いており、Ｖａ・Ｖｂ＜０ならＣＧキャラクタは表示画面に対して背を向いている
と判定する（Ｓ３９４）。

表示画面に対して背を向けていない場合、そのまま頭部の平面プレートにｃ番目の画像
をマッピングする（Ｓ３９５）。
ＣＧキャラクタの向きが表示画面の方向に対して反対側、すなわちＣＧキャラクタが表
示画面に対して背を向けている場合、頭部の平面プレートにはＦＭＶファイルで記述され
た後頭部画像を貼り付ける（Ｓ３９６）。

また、ＣＧキャラクタの表示画面に対する向きに応じて、貼り付けを行う頭部の平面プ
レートの向きを変更する（Ｓ３９７）。ここでは、常に顔画像が表示画面方向を向くよう
に、頭部の平面プレートの向きをＣＧキャラクタ頭部の位置と表示画面に対し正面の位置
とを結んだベクトルにする。

図４０は、ＣＧキャラクタが背を向けている場合に、後頭部画像が頭部に貼り付けされ
た一例である。上述の処理により、ＣＧキャラクタ自身の動きと同時に、異なる表情の顔
画像が周期的に切り替えられ、さらに、ＣＧキャラクタの向きに応じて後頭部画像に切り
替えられる。

本実施例では、図形情報選択部４１において一つのＦＭＶファイルを一つのＣＧキャラ
クタに対して関連づけを行ったが、変形例として、複数のＦＭＶファイルを関連づけし、
ユーザのキー操作や音情報に応じてＦＭＶファイルを切り替えることも可能である。この
場合、たとえば笑いの表情変化をセットしたＦＭＶファイルと驚きの表情変化をセットし
たＦＭＶファイルを用意し、音情報により動き情報を変更させる動き情報変更部４４にお
ける方法と同様に、ある音が発せられたタイミングでＦＭＶファイルを切り替えることに
より、笑いから驚きへの顔表情のダイナミックな変化を行うことができる。

また、本実施例では、ＣＧキャラクタ頭部への顔画像の貼り付けを示したが、人物の上
半身画像から服の部分を切り出し（背景画像は白色で塗りつぶし）、顔画像同様、切り出
された服の画像をＣＧキャラクタの胸部分に貼り付けることも可能である（図４１）。

後頭部画像と同様に、切り出された服の画像の服領域を服の色で塗りつぶし、これを背
面画像として用い、ＣＧキャラクタがカメラに背を向けた場合は、この背面画像に切り替
えて貼り付けを行う。

［第３の実施例］
次に、本発明の第３の実施例を説明する。図４２は、本発明による協調対話型アニメーシ
ョン作成装置の第３の実施例を示すブロック図である。
この協調動作アニメーション作成装置は大きく顔画像記憶部５０、顔画像抽出部６０、
後頭部画像生成部６１、音情報抽出部１、図形情報記憶部５、ポーズ情報記憶部７、動き
情報記憶部６、配置情報記憶部３、編集部４、描画部９、音情報再生部２、呈示部１０を
有する。

この協調動作アニメーション作成装置は、顔画像抽出部６０と後頭部画像生成部６１に
より自動的に顔画像および後頭部画像を生成し、音楽に応じて協調動作するＣＧキャラク
タにこれらの画像を切り替えて貼り付けるものである。

顔画像抽出部６０と後頭部画像生成部６１以外の部分については、第１の実施例と同じ
であるので説明は省略する。顔画像記憶部５０は、本発明による第２の実施例で説明した
ものと同じである。顔画像抽出部６０は、ビデオ映像等の人物の動画から、人物の顔部分
を自動的に切り出すものである。動画像から顔画像を自動的に切り出すオブジェクト抽出
の方法として、たとえばフラクタル抽出法を用いる。

フラクタル抽出法では、毎秒１０枚の処理速度で背景画像を取り去った顔画像（髪の毛
部分も含む）の切り出しが行え、ここでは一秒分すなわち１０枚の一連の顔画像を抽出す
る。それぞれの顔画像は、取り去った背景部分を白色（ＲＧＢ記述では、Ｒ：２５５、Ｇ
：２５５、Ｂ：２５５）とし、それぞれ１枚の静止画ファイル（BMP ）として保存される
。

後頭部画像生成部６１は、顔画像抽出部６１で切り出された顔画像の一枚を基に、人物
の後頭部画像を自動的に生成するものである。後頭部画像生成部６１では、１０枚のうち
一番目の顔画像に対し、切り出された顔領域を髪の毛の色で塗りつぶす。ここで、髪の毛
の色は顔画像において一番濃い色を用いる。

また、耳などの出っぱりにより後頭部の輪郭が不具合になるのを防ぐため、輪郭の平滑
化を行う。さらに、うなじ部分の処理として、後頭部領域の下部分の数ビット列分を白色
で塗って水平に切断を行う。以上の処理により生成された後頭部画像は顔画像同様に静止
画ファイル（BMP ）として保存される。

また、このようにして得られた１０枚の顔画像および後頭部画像は、前述の顔画像記憶
部５０において前述のＦＭＶファイルにそれらのファイル名が記述された形で、一つのフ
ァイルに保存される。

この例では、動作としては、ダンスをするものを紹介したが、必ずしもこれに限定され
るものではない。例えば、チャットやバーチャルモールなどのように遠隔地からユーザが
一つの仮想空間を共有するようなものにも利用できる。例えば、各ユーザの代理人（アバ
ター）の３次元キャラクタにおしゃべりや歩行のような動作がついているが、それに抽出
した顔と後頭部の画像を合成し、あたかもユーザ自身が仮想空間でおしゃべりしたり、歩
行したりするようにもできる。この場合、顔は、ユーザから入力されたおしゃべりのテキ
ストや歩行に合わせて動かしたりすることで、ユーザ毎に異なる動きを簡単につけられる
。

また、音楽配信の際に、音楽データといっしょに歌手の顔画像をつけたキャラクタを配
信する。ユーザは自分の顔画像を追加すれば、そこで、歌手といっしょに踊る状況を簡単
に作りだして楽しむことができる。あるいは、コンサートなどのときに、遠隔地にいる、
あるいは会場にいる聴衆の顔を切り出して、ステージの背景で、歌手の音楽にあわせてい
っしょに、踊らせるころで、新しいパフォーマンスを実現できる。

以上のように、複数の特定オブジェクト画像およびこのオブジェクト画像の背面画像を
、周期的または前記物体キャラクタの向きに応じて切り替えて、前記物体キャラクタに合
成することにより、ユーザ自身がキャラクタといっしょに踊っているような臨場感を簡易
に生成できる。

これにより、切り出された複数の顔画像とその後頭部画像を前記物体キャラクタの頭部
に切り替えて合成することができるので、前記物体キャラクタの動きに加えて顔の表情変
化のついたアニメーションを作成することが可能である。

また、バレリーナが回転するときのように、顔がほとんど正面を向き、一瞬だけ後頭部
が正面を向く回転動作を簡易に実現できるので、より臨場感を増すことができる。

さらに顔だけでなく上半身を切り出し用いることで、より臨場感のある仮想空間にユー
ザの手間なく簡易に実現できるので、その効果は絶大である。
［記憶媒体による実施形態］
また、本願発明の実施例における処理をコンピュータで実行可能なプログラムで実現し、
このプログラムをコンピュータで読み取り可能な記憶媒体として実現することも可能であ
る。

なお、本願発明における記憶媒体としては、磁気ディスク、フロッピー（登録商標）デ
ィスク、ハードディスク、光ディスク（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ等）、光磁気デ
ィスク（ＭＯ等）、半導体メモリ等、プログラムを記憶でき、かつコンピュータが読み取
り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。

また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコン
ピュータ上で稼動しているＯＳ（オペレーションシステム）や、データベース管理ソフト
、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部
を実行してもよい。

さらに、本願発明における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮ
やインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶
した記憶媒体も含まれる。

また、記憶媒体は１つに限らず、複数の媒体から本実施形態における処理が実行される
場合も、本発明における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本願発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、
本実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複
数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。

また、本願発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれ
る演算処理装置、マイコン等も含み、プログラムによって本願発明の機能を実現すること
が可能な機器、装置を総称している。

第１の実施例の概略構成図第１の実施例中の図形情報記憶部５の記憶形式の一例第１の実施例中の図形情報記憶部５の記憶形式の一例第１の実施例中の図形情報の描画の一例第１の実施例の動き情報作成部８の構成第１の実施例中の図形情報の描画の一例第１の実施例中の動き情報編集部８２の画面の一例動き情報編集部８２により作成された動きの表示の一例作成されたポーズの一例作成された動きの一例配置の一例配置の一例第１の実施例中の編集部４の構成の一例第１の実施例中の動き情報関連づけインタフェースの一例第１の実施例中の動き情報関連づけインタフェースの一例配置の移動の一例配置変更の処理の流れ図３次元的な配置の一例第１の実施例中の動き情報変更部４４の処理の流れ図異なる配置の例異なる配置の例異なる配置の例第１の実施例中の動き生成部４５における処理の流れ第１の実施例中の動き生成部４５における動きとテンポの同期方法の一例第１の実施例の変形例１における編集部４の構成の一例音情報／動き情報関連づけ部４６におけるインタフェースの一例第１の実施例の変形例１における動き生成部４５における処理の流れ第１の実施例の変形例１における動きの派生方法の一例第１の実施例の変形例２における編集部４の構成の一例操作／動き情報関連づけ部４７におけるインタフェースの一例第１の実施例の変形例２における動き情報変更部４４における処理の流れ第１の実施例による呈示画像の一例第２の実施例の概略構成図第２の実施例中の顔画像記憶部５０における記憶内容の一例第２の実施例中の顔画像記憶部５０における記憶形式の一例第２の実施例中の編集部４における構成第２の実施例中の図形情報選択部４１におけるインタフェースの一例第２の実施例中の図形変更部５１における顔画像貼り付けの一例第２の実施例中の図形変更部５１における顔画像貼り付けの一例第２の実施例中の後頭部画像貼り付けの一例第２の実施例中の服画像貼り付けの一例第３の実施例の概略構成図

符号の説明

１…音情報抽出部
２…音情報再生部
３…配置情報記憶部
４…編集部
５…図形情報記憶部
６…動き情報記憶部
７…ポーズ情報記憶部
８…動き情報作成部
９…描画部
１０…呈示部
１１…指示部
４１…図形情報選択部
４２…配置情報／動き情報関連づけ部
４３…配置変更部
４４…動き情報変更部
４５…動き生成部
４６…音情報／動き情報関連づけ部
４７…操作／動き情報関連づけ部
４８…動き操作部
８１…ポーズ作成部
８２…動き情報編集部

Claims

動作させる図形を記憶する図形記憶手段と、
この図形記憶手段に記憶された図形に対し、表示すべき図形の動き情報を記憶してなる
動き情報記憶手段と、
表示すべき複数の図形を動作させるための指示を入力させるための指示手段と、
この指示手段から入力された指示に応じて、前記動き情報を変化させ前記図形に動作を
させるための動作生成手段と、
前記図形に合成すべきオブジェクト画像を切り出すためのオブジェクト抽出手段と、
このオブジェクト抽出手段により切り出された画像の背面画像を生成するための背面画
像生成手段と、
前記オブジェクト抽出手段で抽出されたオブジェクト画像および前記背面生成手段によ
り生成された背面画像を記憶しておくための画像記憶手段と、
前記図形に前記オブジェクト画像および前記背面画像を切り替えて合成するための画像
合成手段と、
前記動作生成手段により生成された動作および前記画像合成手段によって合成された合
成画像をアニメーションとして呈示するための呈示手段とを具備したことを特徴とするア
ニメーション作成装置。
前記動作生成手段は、特定オブジェクト画像あるいはオブジェクト画像の背面画像を、
周期的に切り替えて、前記図形に合成することを特徴とする請求項１に記載のアニメーシ
ョン作成装置。
前記動作生成手段は、特定オブジェクト画像あるいはオブジェクト画像の背面画像を、
前記図形の向きとカメラ方向とが成す角度に応じて切り替え、前記図形に合成することを
特徴とする請求項１に記載のアニメーション作成装置。
図形を動作させるための指示に応じて、あらかじめ記憶された複数の図形の動き情報を
変化させて動作生成手段により前記図形を動作させ、
前記図形に合成すべきオブジェクト画像をオブジェクト抽出手段により抽出し、
この抽出されたオブジェクト画像の背面画像を背面画像生成手段で生成し、
抽出されたオブジェクト画像と生成された背面画像を画像記憶手段に記憶し、
画像合成手段により前記図形に前記オブジェクト画像および前記背面画像を切り替えて
合成し、
呈示手段により合成された合成画像をアニメーションとして呈示することを特徴とする
アニメーション作成方法。
図形を動作させるようなアニメーションを作成するためのプログラムをコンピュータで
読み取り可能なように記憶させた記憶媒体であって、
図形を動作させるための指示に応じて、あらかじめ記憶された複数の図形の動き情報を
変化させて動作生成手段により前記図形を動作させ、
この抽出されたオブジェクト画像の背面画像を背面画像生成手段で生成させ、
抽出されたオブジェクト画像と生成された背面画像を画像記憶手段に記憶させ、
画像合成手段により前記図形に前記オブジェクト画像および前記背面画像を切り替えて
合成させ、
呈示手段により合成された合成画像をアニメーションとして呈示させるプログラムをコ
ンピュータで読み取り可能なように記憶させたことを特徴とする記憶媒体。