JP2000331182A - アニメーション編集装置とアニメーション再生装置とプログラム記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】本発明は、動画像表示と音声出力との同期を全
く考慮することなく、アニメーションを編集できるよう
にすることを目的とする。 【解決手段】特定の意味を持つ動画像に対応付けて定義
されて、非発話領域の動画像情報と、発話領域の動画像
情報と、それらの動画像情報の再生情報と、発話領域の
動画像情報に対応付けられる発話情報とを構成データと
して持つアニメーション部品を再生対象として、非発話
領域の動画像情報の持つ再生情報に従って、非発話領域
の動画像情報を再生するとともに、発話情報を再生しつ
つ、その再生が完了するまでの間、発話領域の動画像情
報の持つ再生情報に従って、発話領域の動画像情報を繰
り返し再生するという構成を採る。これにより、アニメ
ーションの編集者は、動画像表示と音声出力との同期を
全く考慮することなく、アニメーションを編集できるよ
うになる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、アニメーションを
編集するアニメーション編集装置と、そのアニメーショ
ン編集装置で編集されたアニメーションを再生するアニ
メーション再生装置と、そのアニメーション再生装置の
実現に用いられるプログラムが格納されるプログラム記
録媒体とに関し、特に、アニメーションを簡単に編集で
きるようにするアニメーション編集装置と、そのアニメ
ーション編集装置で編集されたアニメーションを再生す
るときにあって、動画像と音声との同期を簡単にとれる
ようにするアニメーション再生装置と、そのアニメーシ
ョン再生装置の実現に用いられるプログラムが格納され
るプログラム記録媒体とに関する。

【０００２】

【従来の技術】近年、パソコンの性能向上とコストパフ
ォーマンスとにより、動画像と音声とを用いたユーザイ
ンタフェースが身近なものになってきており、このよう
なユーザインタフェース技術を用いて、擬人化されたキ
ャラクタを用いるインタフェースが注目を集めるように
なってきた。

【０００３】そこで、ユーザインタフェースを設計する
プログラマにとって、より扱い易いキャラクタアニメー
ション作成ツールの必要性が増大している。

【０００４】プログラマがキャラクタアニメーションを
作成する上で重要となるものが、音声とキャラクタ動作
との同期処理である。従来技術では、この同期処理は、
キャラクタアニメーションの編集時に考慮されていた。

【０００５】すなわち、従来技術では、タイマの発行す
る定期的なイベントに合わせて、動画像表示と音声出力
とを実行する構成を採っており、これから、従来のアニ
メーション編集技術では、図１７に示すように、タイマ
の発行する定期的なイベントを正方マスとして表示する
構成を採って、これらの正方マスに、動画像情報と音声
情報とを割り付けることで、アニメーションを編集する
という構成を採っている。

【０００６】すなわち、従来技術では、アニメーション
の編集者は、アニメーションの動画像と台詞とを決定す
ると、自分自身のノウハウを使ってその台詞の発話時間
を把握して、それに従って、図１７に示すようなアニメ
ーション編集画面に、それらの決定した動画像の情報と
台詞の音声情報とを割り付けていくことで、アニメーシ
ョンを編集するように処理している。

【０００７】

【発明が解決しようとする課題】このように、従来のア
ニメーション編集技術では、動画像表示と音声出力との
同期を全てアニメーションの編集者が行うという構成を
採っている。

【０００８】しかしながら、このような従来技術に従っ
ていると、アニメーションの編集者に高度なノウハウが
要求されるという問題点があった。

【０００９】そして、このような従来技術に従っている
と、制作されたアニメーションの台詞に変更にあると、
動画像表示と音声出力との同期がずれてしまうことか
ら、アニメーションを修正しなくてはならないという問
題点があった。

【００１０】本発明はかかる事情に鑑みてなされたもの
であって、アニメーションを簡単に編集できるようにす
る新たなアニメーション編集装置の提供と、そのアニメ
ーション編集装置で編集されたアニメーションを再生す
るときにあって、動画像と音声との同期を簡単にとれる
ようにする新たなアニメーション再生装置の提供と、そ
のアニメーション再生装置の実現に用いられるプログラ
ムが格納される新たなプログラム記録媒体の提供とを目
的とする。

【００１１】

【課題を解決するための手段】図１に本発明の原理構成
を図示する。

【００１２】図中、１は本発明を具備するアニメーショ
ン編集装置であって、アニメーションを編集するもの、
２は本発明を具備するアニメーション再生装置であっ
て、アニメーション編集装置１で編集されたアニメーシ
ョンを再生するものである。

【００１３】本発明のアニメーション編集装置１は、端
末１０と、管理手段１１と、表示手段１２と、編集手段
１３とを備える。

【００１４】この端末１０は、ユーザとの対話手段とな
る。管理手段１１は、特定の意味を持つ動画像に対応付
けて定義されて、非発話領域の動画像情報と、発話領域
の動画像情報と、それらの動画像情報の再生情報と、発
話領域の動画像情報に対応付けられる発話情報の登録域
とを構成データとして持つ動画像部品を管理する。

【００１５】表示手段１２は、管理手段１１の管理する
動画像部品の一覧を端末１０のディスプレイ画面に表示
する。編集手段１３は、端末１０を介してユーザと対話
することで、表示手段１２の表示する動画像部品一覧の
中から動画像部品を選択して、それらの繋がりをディス
プレイ画面上で設定していくことで、動画像のシナリオ
を編集するとともに、それらの動画像部品に発話情報を
割り付けることでアニメーションを編集する。

【００１６】一方、本発明のアニメーション再生装置２
は、ディスプレイ２０と、スピーカ２１と、管理手段２
２と、再生手段２３と、画像再生手段２４と、音声再生
手段２５と、決定手段２６とを備える。

【００１７】このディスプレイ２０は、アニメーション
の動画像を表示する。スピーカ２１は、アニメーション
の音声を出力する。

【００１８】管理手段２２は、アニメーション編集装置
１により編集されたアニメーションを管理する。このア
ニメーションは、特定の意味を持つ動画像に対応付けて
定義されて、非発話領域の動画像情報と、発話領域の動
画像情報と、それらの動画像情報の再生情報と、発話領
域の動画像情報に対応付けられる発話情報とを構成デー
タとして持つアニメーション部品の繋がりで構成され
る。

【００１９】再生手段２３は、管理手段２２に管理され
るアニメーション部品を再生対象として、アニメーショ
ンを再生する。画像再生手段２４は、再生手段２３に備
えられて、アニメーションの動画像を再生する。音声再
生手段２５は、再生手段２３に備えられて、アニメーシ
ョンの音声を再生する。決定手段２６は、アニメーショ
ン部品の持つ発話領域の動画像情報の繰り返し再生回数
を決定する。

【００２０】このように構成される本発明のアニメーシ
ョン編集装置１では、表示手段１２は、管理手段１１の
管理する動画像部品の一覧を端末１０のディスプレイ画
面に表示し、これを受けて、編集手段１３は、端末１０
を介してユーザと対話することで、表示手段１２の表示
する動画像部品一覧の中から動画像部品を選択して、そ
れらの繋がりをディスプレイ画面上で設定していくこと
で、動画像のシナリオを編集するとともに、それらの動
画像部品に発話情報を割り付けることでアニメーション
を編集して、それを本発明のアニメーション再生装置２
の管理手段２２に格納する。

【００２１】このようにして、本発明のアニメーション
再生装置２の管理手段２２には、特定の意味を持つ動画
像に対応付けて定義されて、非発話領域の動画像情報
と、発話領域の動画像情報と、それらの動画像情報の再
生情報と、発話領域の動画像情報に対応付けられる発話
情報とを構成データとして持つアニメーション部品の繋
がりで構成されるアニメーションが格納されることにな
る。

【００２２】一方、本発明のアニメーション再生装置２
では、この管理手段２２の管理するアニメーション部品
を受けて、再生手段２３は、非発話領域の動画像情報の
持つ再生情報に従って、非発話領域の動画像情報を再生
するとともに、発話情報を再生しつつ、その再生が完了
するまでの間、発話領域の動画像情報の持つ再生情報に
従って、発話領域の動画像情報を繰り返し再生すること
でアニメーション部品の規定するアニメーションを再生
する。

【００２３】このとき、再生手段２３は、発話領域のア
ニメーションが再生条件に応じて複数用意されるときに
は、成立する再生条件の指定するアニメーションを再生
していくように処理し、これにより、ユーザ入力に応答
したアニメーションを即座に再生していくことが可能に
なる。

【００２４】また、決定手段２６が備えられるときに
は、この決定手段２６が、アニメーション部品の発話情
報の再生時間を特定して、その再生時間と、発話領域の
動画像情報の持つ再生情報とから、発話領域の動画像情
報の繰り返し再生回数を決定するので、再生手段２３
は、非発話領域の動画像情報の持つ再生情報に従って、
非発話領域の動画像情報を再生するとともに、発話情報
を再生しつつ、決定手段２６の決定した繰り返し再生回
数分、発話領域の動画像情報を繰り返し再生することで
アニメーション部品の規定するアニメーションを再生す
る。

【００２５】このとき、再生手段２３は、発話領域のア
ニメーションが再生条件に応じて複数用意されるときに
は、成立する再生条件の指定するアニメーションを再生
していくように処理し、これにより、ユーザ入力に応答
したアニメーションを即座に再生していくことが可能に
なる。

【００２６】このようにして、本発明のアニメーション
編集装置１では、特定の意味を持つ動画像に対応付けて
定義されて、非発話領域の動画像情報と、発話領域の動
画像情報と、それらの動画像情報の再生情報と、発話領
域の動画像情報に対応付けられる発話情報の登録域とを
構成データとして持つ動画像部品を用意する構成を採っ
て、それらの中からアニメーションを構成する動画像部
品を選択して、それらの繋がりをディスプレイ画面上で
設定していくことで、動画像のシナリオを編集するとと
もに、それらの動画像部品に発話情報を割り当てること
でアニメーションを編集していくという構成を採ること
から、アニメーションの編集者は、アニメーションを簡
単に編集できるようになる。

【００２７】そして、本発明のアニメーション再生装置
２では、特定の意味を持つ動画像に対応付けて定義され
て、非発話領域の動画像情報と、発話領域の動画像情報
と、それらの動画像情報の再生情報と、発話領域の動画
像情報に対応付けられる発話情報とを構成データとして
持つアニメーション部品を再生対象として、非発話領域
の動画像情報の持つ再生情報に従って、非発話領域の動
画像情報を再生するとともに、発話情報を再生しつつ、
その再生が完了するまでの間、発話領域の動画像情報の
持つ再生情報に従って、発話領域の動画像情報を繰り返
し再生するという構成を採ることから、アニメーション
の編集者は、動画像表示と音声出力との同期を全く考慮
することなく、アニメーションを編集できるようにな
る。

【００２８】そして、発話情報の再生時間を特定して、
その再生時間と、発話領域の動画像情報の持つ再生情報
とから、発話領域の動画像情報の繰り返し再生回数を決
定する構成を採って、非発話領域の動画像情報の持つ再
生情報に従って、非発話領域の動画像情報を再生すると
ともに、発話情報を再生しつつ、その決定した繰り返し
再生回数分、発話領域の動画像情報を繰り返し再生する
ことでアニメーションを再生するという構成を採ること
から、アニメーションの編集者は、動画像表示と音声出
力との同期を全く考慮することなく、アニメーションを
編集できるようになる。

【００２９】

【発明の実施の形態】以下、実施の形態に従って本発明
を詳細に説明する。

【００３０】図２に、本発明を具備するパーソナルコン
ピュータ３０の一実施例を図示する。

【００３１】この本発明を具備するパーソナルコンピュ
ータ３０は、ユーザのボタン操作に応じた動作をするア
ニメーションを編集する機能を有するとともに、そのア
ニメーションを再生する機能を有するものであって、端
末４０と、アニメーション部品ファイル４１と、動画像
ファイル４２と、音声ファイル４３と、アニメーション
データファイル４４と、アニメーション編集プログラム
４５と、再生処理用メモリ域４６と、アニメーション再
生制御プログラム４７と、画像再生プログラム４８と、
音声再生プログラム４９と、ユーザ入力メモリ域５０と
を備える。

【００３２】この端末４０は、ディスプレイとスピーカ
とマウスなどの入力装置とを有して、アニメーション編
集用の対話装置となるとともに、アニメーション出力用
の出力装置となる。

【００３３】アニメーション部品ファイル４１は、アニ
メーションの編集用に用意されるアニメーション部品を
管理する。動画像ファイル４２は、アニメーション部品
に割り付けられる動画像データを管理する。音声ファイ
ル４３は、アニメーション部品に割り付けられる音声デ
ータを管理する。アニメーションデータファイル４４
は、編集されたアニメーションデータ（アニメーション
部品のリストで構成される）を管理する。

【００３４】アニメーション編集プログラム４５は、フ
ロッピィディスクや回線などを介してインストールされ
て、端末４０を介してユーザと対話することでアニメー
ションデータを編集して、アニメーションデータファイ
ル４４に格納する。再生処理用メモリ域４６は、アニメ
ーションデータファイル４４に格納されるアニメーショ
ンデータなどを展開する。アニメーション再生制御プロ
グラム４７は、フロッピィディスクや回線などを介して
インストールされて、再生処理用メモリ域４６に格納さ
れるアニメーションデータの再生処理を制御する。

【００３５】画像再生プログラム４８は、フロッピィデ
ィスクや回線などを介してインストールされて、アニメ
ーション再生制御プログラム４７の再生指示に応答して
アニメーションの動画像を再生して、端末４０のディス
プレイ画面に表示する。音声再生プログラム４９は、フ
ロッピィディスクや回線などを介してインストールされ
て、アニメーション再生制御プログラム４７の再生指示
に応答してアニメーションの音声を再生して、端末４０
のスピーカに出力する。

【００３６】ユーザ入力メモリ域５０は、アニメーショ
ンの再生に応答して入力されるユーザの入力操作情報を
保持する。

【００３７】図３に、アニメーション部品ファイル４１
のファイルデータの一実施例を図示する。

【００３８】この図に示すように、アニメーション部品
ファイル４１は、特定の意味を持つ「手を振る」などの
アニメーション動作に対応付けて定義されるアニメーシ
ョン部品を管理するものである。これらのアニメーショ
ン部品は、動画像ファイル４２に格納される非発話領域
の動画像データへのポインタ（非発話領域番号）と、発
話領域の数量と、動画像ファイル４２に格納される各発
話領域の動画像データへのポインタ（発話領域番号）と
を構成データとして持つ。ここで、アニメーション部品
によっては、発話領域を持たないこともある。

【００３９】各アニメーション部品は、図４に示すよう
に、部品名と、非発話領域の動画像データの再生間隔Δ
ｔと、各発話領域＃ｉ（ｉ＝０〜Ｎ）の動画像データの
再生間隔Δｔｉ（ｉ＝０〜Ｎ）と、再生対象となる動画
像データを定義するアニメーション部と、再生対象とな
る音声データを定義する音声部という定義情報を持つ。

【００４０】このアニメーション部品の持つアニメーシ
ョン部は、図３で説明したポインタにより指される動画
像ファイル４２の管理する動画像データで構成されるも
のであり、図３に示したアニメーション部品＃Ａで説明
するならば、図５に示すように、６枚の動画像データパ
ーツで構成される非発話領域と、３枚の動画像データパ
ーツで構成される発話領域＃０と、３枚の動画像パーツ
で構成される発話領域＃１と、３枚の動画像データパー
ツで構成される発話領域＃２とで構成されている。

【００４１】複数用意される発話領域の動画像データ
は、ユーザの入力に応答して選択的に再生されるアニメ
ーション用に用意され、例えば図６に示すように、図５
に示す発話領域＃１の動画像データは、ユーザが「Ｙe
s」を入力してくるときに、笑顔で口を開けて「イエス
ですね」と確認するアニメーションを再生するために用
意され、図５に示す発話領域＃２の動画像データは、ユ
ーザが「Ｎo 」を入力してくるときに、渋い顔で口を開
けて「ノーですね」と確認するアニメーションを再生す
るために用意され、図５に示す発話領域＃０の動画像デ
ータは、ユーザが「Ｙes」も「Ｎo 」も入力してこない
ときに、口を開けて「イエスかノーを入力して下さい」
と促すアニメーションを再生するために用意される。

【００４２】図４に示した非発話領域の再生間隔Δｔ
は、非発話領域を構成する１枚１枚の動画像データパー
ツの再生時間間隔を定義しており、図４に示した発話領
域＃ｉの再生間隔Δｔｉは、発話領域＃ｉを構成する１
枚々の動画像データパーツの再生時間間隔を定義してい
る。

【００４３】一方、アニメーション部品の持つ音声部
は、音声ファイル４３に格納される音声データのファイ
ル名を記述することで、再生対象となる音声データを定
義する。これから説明するように、この音声データは、
アニメーション編集プログラム４５により設定されるこ
とになる。

【００４４】音声ファイル４３がテキストデータで表さ
れる音声データを管理するＴＴＳファイル（音声再生プ
ログラム４９がテキストから音声を合成するText To Sp
eechの音声再生機能を有するときに用意される）で構成
されるときには、この音声部は、ファイル名を使って、
再生対象となるテキストデータを定義することになる。
一方、音声ファイル４３がディジタル信号で表される生
の音声データを管理するｗａｖファイルで構成されると
きには、この音声部は、ファイル名を使って、再生対象
となる生の音声データを定義することになる。

【００４５】図７に、アニメーション編集プログラム４
５の実行する処理フローの一実施例、図８ないし図１０
に、アニメーション再生制御プログラム４７の実行する
処理フローの一実施例を図示する。次に、これらの処理
フローに従って、本発明について詳細に説明する。

【００４６】アニメーション編集プログラム４５は、ユ
ーザがアニメーションデータの編集要求を発行すると、
図７の処理フローに示すように、先ず最初に、ステップ
１で、端末４０のディスプレイ画面に、図１１に示すよ
うなアニメーション編集画面を表示する。

【００４７】このアニメーション編集画面は、アニメー
ション部品ファイル４１に管理されるアニメーション部
品の一覧を表示するアニメーション部品選択画面と、ア
ニメーション部品選択画面から選択されたアニメーショ
ン部品を配置するアニメーション部品配置画面とで構成
されている。

【００４８】なお、ユーザは、アニメーション部品選択
画面に表示されるアニメーション部品の１つを指定して
定義情報の閲覧要求を発行することで、そのアニメーシ
ョン部品の持つ定義情報を閲覧できるようになっている
とともに、アニメーション部品選択画面に表示されるア
ニメーション部品の１つを指定して定義情報の編集要求
を発行することで、その定義情報を編集できるようにな
っている。

【００４９】続いて、ステップ２で、ユーザがアニメー
ション部品選択画面からアニメーション部品を選択する
のを待って、ユーザがアニメーション部品を選択する
と、ステップ３に進んで、ユーザの指定するアニメーシ
ョン部品配置画面の画面位置に、そのアニメーション部
品を配置することで、アニメーション編集画面上でアニ
メーション部品の繋がりを設定していく。ここで、この
アニメーション部品の配置は、アニメーションのシーン
毎に行うことになる。

【００５０】例えば、図１２に示すようなアニメーショ
ン部品選択画面を表示して、図１３に示すように、ユー
ザの指定するアニメーション部品配置画面の画面位置
に、その中から選択されるアニメーション部品を配置す
ることで、アニメーション編集画面上でアニメーション
部品の繋がりを設定していくのである。

【００５１】続いて、ステップ４で、ユーザがその配置
したアニメーション部品の持つ発話領域に音声データを
割り付けることを要求することを待って、ユーザが音声
データの割り付けを要求すると、ステップ５に進んで、
音声データの入力画面を開設して、ユーザと対話するこ
とで、音声ファイル４３に格納される音声データのファ
イル名を選択することで、そのアニメーション部品の持
つ発話領域に音声データを割り付ける。

【００５２】このとき、アニメーション部品の持つ発話
領域が複数あるときには、それぞれの発話領域に音声デ
ータを割り付ける。上述した図６の例で説明するなら
ば、発話領域＃１には、「イエスですね」という音声デ
ータを割り付け、発話領域＃２には、「ノーですね」と
いう音声データを割り付け、発話領域＃０には、「イエ
スかノーを入力して下さい」という音声データを割り付
けるのである。

【００５３】そして、続くステップ６で、ユーザからア
ニメーション編集の終了要求が発行されたのか否かを判
断して、終了要求が発行されないことを判断するときに
は、ステップ２に戻ることで、アニメーション編集を続
行し、終了要求が発行されたことを判断するときには、
ステップ７に進んで、音声データの割り付けられたアニ
メーション部品の繋がりで構成される図１４に示すよう
なアニメーションデータの完成を判断して、それをアニ
メーションデータファイル４４に格納して処理を終了す
る。

【００５４】このようにして、アニメーション編集プロ
グラム４５は、アニメーション部品を選択して、それら
の繋がりをディスプレイ画面上で設定していくととも
に、アニメーション部品の持つ発話領域に音声データを
割り付けることでアニメーションを編集していくように
処理することから、アニメーションの編集者は、アニメ
ーションを簡単に編集できるようになる。

【００５５】次に、図８ないし図１０の処理フローに従
って、アニメーション再生制御プログラム４７の実行す
る処理について説明する。

【００５６】アニメーション再生制御プログラム４７
は、アニメーションデータファイル４４に格納されるア
ニメーションデータの再生要求が発行されると、図８の
処理フローに示すように、先ず最初に、ステップ１で、
アニメーションデータファイル４４に格納されるアニメ
ーションデータと、動画像ファイル４２に格納される動
画像データと、音声ファイル４３に格納される音声デー
タとを読み込み、再生処理用メモリ域４６に展開する。

【００５７】続いて、ステップ２で、再生処理用メモリ
域４６に展開されるアニメーションデータの順番に従っ
て、再生対象となるアニメーション部品を１つ選択す
る。続いて、ステップ３で、その選択に従って、再生対
象となる全てのアニメーション部品の選択を終了したの
か否かを判断して、全てのアニメーション部品の選択を
終了したことを判断するときは、処理を終了する。

【００５８】一方、全てのアニメーション部品の選択を
終了していないことを判断するとき、すなわち、ステッ
プ２で、再生対象となるアニメーション部品を選択でき
たことを判断するときには、ステップ４に進んで、その
アニメーション部品をデコードすることで、非発話領域
／発話領域の再生間隔と、アニメーション部で定義する
ポインタ（非発話領域番号／発話領域番号）と、音声部
で定義するファイル名とを取得し、そして、再生処理用
メモリ域４６から、その取得したポインタの指す非発話
領域／発話領域の動画像データを取得するとともに、そ
の取得したファイル名の指す音声データを取得する。

【００５９】続いて、ステップ５で、画像再生プログラ
ム４８を制御することで、取得した非発話領域の再生間
隔に従って、取得した非発話領域の動画像データを再生
することで、選択したアニメーション部品の持つ非発話
領域を再生する。すなわち、取得した非発話領域が６枚
の動画像データパーツで構成されている場合には、取得
した再生間隔に従ってそれらの動画像データパーツの１
枚１枚を再生していくことで、選択したアニメーション
部品の持つ非発話領域を再生するのである。

【００６０】この非発話領域の再生を終了すると、続い
て、ステップ６で、画像再生プログラム４８及び音声再
生プログラム４９を制御することで、取得した発話領域
の再生間隔に従って、取得した発話領域の動画像データ
を再生するとともに、取得した発話領域に割り付けられ
る音声データを再生することで、選択したアニメーショ
ン部品の発話領域を再生する。

【００６１】すなわち、取得した発話領域が３枚の動画
像データパーツで構成されている場合には、取得した再
生間隔に従ってそれらの動画像データパーツの１枚１枚
を再生していくことで、発話領域の動画像データを再生
するとともに、それに同期させて音声データを再生する
ことで、選択したアニメーション部品の持つ発話領域を
再生するのである。

【００６２】そして、この発話領域の動画像データ／音
声データの再生を終了すると、ステップ２に戻って、次
の再生対象のアニメーション部品の再生に入っていく。

【００６３】図９及び図１０に示す処理フローは、図８
の処理フローのステップ６で実行する発話領域の再生処
理の詳細な処理フローの一実施例である。

【００６４】ここで、図９の処理フローは、音声ファイ
ル４３にテキストデータで表されるの音声データが格納
されるとともに、音声再生プログラム４８がText To Sp
eechの音声再生機能を有する場合のときに実行する処理
フロー、図１０の処理フローは、音声ファイル４３にデ
ィジタル信号で表される生の音声データが格納されると
ともに、音声再生プログラム４８がディジタル信号で表
される生の音声データの音声再生機能を有する場合のと
きに実行する処理フローである。

【００６５】図９の処理フローに従う場合、アニメーシ
ョン再生制御プログラム４７は、図８の処理フローのス
テップ６に従って発話領域の再生処理に入ると、先ず最
初に、ステップ１で、音声再生プログラム４９を制御す
ることで、ユーザ入力に関係しないデフォルトの発話領
域の音声データの再生に入る。すなわち、図１５に示す
ように、ユーザ入力に関係しないデフォルトの発話領域
（この例では発話領域＃０）の音声データの再生に入っ
て、図６の例で説明するならば、音声再生プログラム４
９に指示することで、「イエスかノーを入力して下さ
い」という音声データの再生に入るのである。

【００６６】続いて、ステップ２で、画像再生プログラ
ム４８を制御することで、デフォルトの発話領域の動画
像データの再生に入って、その再生を繰り返していく。
そして、この再生中に、続くステップ３で、音声再生プ
ログラム４９から音声再生の終了通知が発行されたのか
否かを監視して、音声再生の終了通知が発行されないこ
とを判断するときには、ステップ２に戻って、デフォル
トの発話領域の動画像データの再生を繰り返していく。

【００６７】一方、ステップ３で、音声再生プログラム
４９から音声再生の終了通知が発行されたことを判断す
るときには、ステップ４に進んで、ユーザ入力メモリ域
５０を参照することで、デフォルトの発話領域の再生中
に、ユーザ入力があったのか否かをチェックする。すな
わち、デフォルトの発話領域の再生中に、ユーザが端末
４０の入力装置を操作することで「Ｙes」か「Ｎo 」を
入力してくると、その入力値がユーザ入力メモリ域５０
に記録されることになるので、このユーザ入力メモリ域
５０を参照することで、ユーザ入力があったのか否かを
チェックするのである。

【００６８】このチェック処理に従ってユーザ入力がな
かったことを判断するときには、ステップ１に戻ってい
くことで、デフォルトの発話領域の再生を繰り返してい
く。一方、ユーザ入力があったことを判断するときに
は、ステップ５に進んで、ユーザ入力の指す発話領域を
特定する。図６の例で説明するならば、ユーザが「Ｙe
s」を入力してきたときには、ユーザ入力の指す発話領
域として発話領域＃１を特定し、ユーザが「Ｎo 」を入
力してきたときには、ユーザ入力の指す発話領域として
発話領域＃２を特定するのである。

【００６９】続いて、ステップ６で、音声再生プログラ
ム４９を制御することで、その特定した発話領域の音声
データの再生に入る。図６の例で説明するならば、ユー
ザが「Ｙes」を入力してきたときには、「イエスです
ね」という音声データの再生に入り、ユーザが「Ｎo 」
を入力してきたときには、「ノーですね」という音声デ
ータの再生に入るのである。

【００７０】続いて、ステップ７で、画像再生プログラ
ム４８を制御することで、その特定した発話領域の動画
像データの再生に入って、その再生を繰り返していく。
そして、この再生中に、続くステップ８で、音声再生プ
ログラム４９から音声再生の終了通知が発行されたのか
否かを監視して、音声再生の終了通知が発行されたこと
を判断するときには、処理を終了し、発行されないこと
を判断するときには、ステップ７に戻って、動画像デー
タの再生を繰り返していく。

【００７１】このようにして、アニメーション再生制御
プログラム４７は、アニメーション部品の発話領域にテ
キストデータで表される音声データが割り付けられると
きには、図９の処理フローを実行することで、その発話
領域の再生処理を実行していくように処理するのであ
る。

【００７２】アニメーション部品にテキストデータで表
される音声データが割り付けられる場合には、再生対象
のテキストデータからでは、その音声再生時間を知るこ
とはできない。

【００７３】そこで、アニメーション再生制御プログラ
ム４７は、発話領域の再生に入ることで、音声再生プロ
グラム４９に指示して音声データの再生に入ると、音声
再生プログラム４９から音声データの再生終了が通知さ
れてくるまでの間、画像再生プログラム４８に指示する
ことで発話領域の動画像データを繰り返し再生していく
ことで、動画像と音声との同期をとりつつアニメーショ
ンを再生していくように処理するのである。

【００７４】このとき、図１６（ａ）に示すように、音
声再生プログラム４９から音声データの再生終了が通知
されてくるときに、直ちに、発話領域の動画像データの
再生を終了していくように制御してもよいが、図１６
（ｂ）に示すように、その時点の発話領域の終わりまで
動画像データの再生を続行させてから終了していくよう
に制御してもよい。

【００７５】また、再生対象となるテキストデータの中
に、音を延ばすことになる「ー」などのような記号があ
るときには、それに合わせて、口を開ける動画像データ
のパーツ部分の再生間隔を例えば２倍というように大き
くしたり、全動画像データパーツの再生間隔を例えば２
倍というように大きくするという構成を採ることも可能
である。

【００７６】一方、図１０の処理フローに従う場合、ア
ニメーション再生制御プログラム４７は、図８の処理フ
ローのステップ６に従って発話領域の再生処理に入る
と、先ず最初に、ステップ１で、デフォルトの発話領域
の音声データの再生時間を特定する。図１０の処理フロ
ーに従う場合には、デフォルトの発話領域に割り付けら
れる音声データはディジタル信号で表される生の音声デ
ータであり、これから音声データの再生時間を特定する
ことが可能であるので、この再生時間を特定するのであ
る。

【００７７】続いて、ステップ２で、この特定した音声
データの再生時間と、デフォルトの発話領域の再生間隔
（図８の処理フローのステップ４で取得した動画像デー
タの再生間隔）とから、デフォルトの発話領域の動画像
データの繰り返し再生回数を求める。すなわち、この特
定した音声データの再生時間が２.5秒で、デフォルトの
発話領域の動画像データの再生間隔から求まる、デフォ
ルトの発話領域の動画像データの再生時間が１秒である
ときには、デフォルトの発話領域の動画像データの繰り
返し再生回数として、３回という回数を求めるのであ
る。

【００７８】続いて、ステップ３で、音声再生プログラ
ム４９を制御することで、デフォルトの発話領域の音声
データを再生するとともに、画像再生プログラム４８を
制御することで、その求めた繰り返し再生回数分、デフ
ォルトの発話領域の動画像データの再生を繰り返してい
く。

【００７９】続いて、ステップ４で、ユーザ入力メモリ
域５０を参照することで、デフォルトの発話領域の再生
中に、ユーザ入力があったのか否かをチェックする。す
なわち、デフォルトの発話領域の再生中に、ユーザが端
末４０の入力装置を操作することで「Ｙes」か「Ｎo 」
を入力してくると、その入力値がユーザ入力メモリ域５
０に記録されることになるので、このユーザ入力メモリ
域５０を参照することで、ユーザ入力があったのか否か
をチェックするのである。

【００８０】このチェック処理に従ってユーザ入力がな
かったことを判断するときには、ステップ１に戻ってい
くことで、デフォルトの発話領域の再生を繰り返してい
く。一方、ユーザ入力があったことを判断するときに
は、ステップ５に進んで、ユーザ入力の指す発話領域を
特定する。図６の例で説明するならば、ユーザが「Ｙe
s」を入力してきたときには、ユーザ入力の指す発話領
域として発話領域＃１を特定し、ユーザが「Ｎo 」を入
力してきたときには、ユーザ入力の指す発話領域として
発話領域＃２を特定するのである。

【００８１】続いて、ステップ６で、この特定した発話
領域の音声データの再生時間を特定し、続くステップ７
で、この特定した再生時間と、この特定した発話領域の
再生間隔（図８の処理フローのステップ４で取得した動
画像データの再生間隔）とから、この特定した発話領域
の動画像データの繰り返し再生回数を求める。すなわ
ち、この特定した音声データの再生時間が５秒で、この
特定した発話領域の動画像データの再生間隔から求ま
る、この特定した発話領域の動画像データの再生時間が
１.2秒であるときには、この特定した発話領域の動画像
データの繰り返し再生回数として、５回という回数を求
めるのである。

【００８２】続いて、ステップ８で、音声再生プログラ
ム４９を制御することで、この特定した発話領域の音声
データを再生するとともに、画像再生プログラム４８を
制御することで、その求めた繰り返し再生回数分、この
特定した発話領域の動画像データの再生を繰り返してい
く。

【００８３】このようにして、アニメーション再生制御
プログラム４７は、アニメーション部品にディジタル信
号で表される生の音声データが割り付けられるときに
は、図１０の処理フローを実行することで、発話領域の
再生処理を実行していくように処理するのである。

【００８４】アニメーション部品にディジタル信号で表
される生の音声データが割り付けられる場合には、その
音声データの再生時間を知ることができるので、それに
従って発話領域の動画像データの繰り返し再生回数を決
定して、発話領域の動画像データを繰り返し再生してい
くことで、動画像と音声との同期をとりつつアニメーシ
ョンを再生していくように処理するのである。

【００８５】以上説明したことから分かるように、本発
明によれば、ユーザの入力に応答したアニメーションを
再生できるようになることから、インタラクティブなユ
ーザインタフェースを実現できるようになる。

【００８６】

【発明の効果】以上説明したように、本発明のアニメー
ション編集装置では、特定の意味を持つ動画像に対応付
けて定義されて、非発話領域の動画像情報と、発話領域
の動画像情報と、それらの動画像情報の再生情報と、発
話領域の動画像情報に対応付けられる発話情報の登録域
とを構成データとして持つ動画像部品を用意する構成を
採って、それらの中からアニメーションを構成する動画
像部品を選択して、それらの繋がりをディスプレイ画面
上で設定していくことで、動画像のシナリオを編集する
とともに、それらの動画像部品に発話情報を割り当てる
ことでアニメーションを編集していくという構成を採る
ことから、アニメーションの編集者は、アニメーション
を簡単に編集できるようになる。

【００８７】そして、本発明のアニメーション再生装置
では、特定の意味を持つ動画像に対応付けて定義され
て、非発話領域の動画像情報と、発話領域の動画像情報
と、それらの動画像情報の再生情報と、発話領域の動画
像情報に対応付けられる発話情報とを構成データとして
持つアニメーション部品を再生対象として、非発話領域
の動画像情報の持つ再生情報に従って、非発話領域の動
画像情報を再生するとともに、発話情報を再生しつつ、
その再生が完了するまでの間、発話領域の動画像情報の
持つ再生情報に従って、発話領域の動画像情報を繰り返
し再生するという構成を採ることから、アニメーション
の編集者は、動画像表示と音声出力との同期を全く考慮
することなく、アニメーションを編集できるようにな
る。

【００８８】そして、発話情報の再生時間を特定して、
その再生時間と、発話領域の動画像情報の持つ再生情報
とから、発話領域の動画像情報の繰り返し再生回数を決
定する構成を採って、非発話領域の動画像情報の持つ再
生情報に従って、非発話領域の動画像情報を再生すると
ともに、発話情報を再生しつつ、その決定した繰り返し
再生回数分、発話領域の動画像情報を繰り返し再生する
ことでアニメーションを再生するという構成を採ること
から、アニメーションの編集者は、動画像表示と音声出
力との同期を全く考慮することなく、アニメーションを
編集できるようになる。

【００８９】そして、ユーザ入力に応答したアニメーシ
ョンを即座に表示できるようになることで、インタラク
ティブなユーザインタフェースを実現できるようにな
る。従来のアニメーションデータではユーザ入力を考慮
しておらず、ユーザ入力はプログラムで処理されていた
ことから、ユーザ入力に応答したアニメーションを即座
に表示できないのに対して、本発明では、アニメーショ
ン部品が分岐を考慮したデータ構造を持つことで、ユー
ザ入力に応答したアニメーションを即座に表示できるよ
うになるのである。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】本発明の一実施例である。

【図３】アニメーション部品ファイルの一実施例であ
る。

【図４】アニメーション部品の一実施例である。

【図５】アニメーション部の説明図である。

【図６】アニメーション部の説明図である。

【図７】アニメーション編集プログラムの処理フローで
ある。

【図８】アニメーション再生制御プログラムの処理フロ
ーである。

【図９】アニメーション再生制御プログラムの処理フロ
ーである。

【図１０】アニメーション再生制御プログラムの処理フ
ローである。

【図１１】アニメーション編集画面の一実施例である。

【図１２】アニメーション部品選択画面の一実施例であ
る。

【図１３】アニメーション部品配置画面の一実施例であ
る。

【図１４】アニメーションデータの説明図である。

【図１５】発話領域の再生処理の説明図である。

【図１６】発話領域の再生処理の説明図である。

【図１７】従来技術の説明図である。

【符号の説明】

１ アニメーション編集装置 ２ アニメーション再生装置 １０ 端末 １１ 管理手段 １２ 表示手段 １３ 編集手段 ２０ ディスプレイ ２１ スピーカ ２２ 管理手段 ２３ 再生手段 ２４ 画像再生手段 ２５ 音声再生手段 ２６ 決定手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田 高弘 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 (72)発明者 森原 隆 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 Ｆターム(参考） 5B050 BA08 CA07 EA24 FA02 FA10 FA12 FA13 5B075 ND16 PP07 PP13 PQ02 PQ04

Claims (6)

【特許請求の範囲】
1. 【請求項１】 特定の意味を持つ動画像に対応付けて定
   義されて、非発話領域の動画像情報と、発話領域の動画
   像情報と、それらの動画像情報の再生情報と、発話領域
   の動画像情報に対応付けられる発話情報の登録域とを構
   成データとして持つ動画像部品を管理する管理手段と、 上記管理手段の管理する動画像部品の一覧をディスプレ
   イ画面に表示する表示手段と、 対話処理に従って、上記表示手段の表示する動画像部品
   一覧の中から動画像部品を選択して、それらの繋がりを
   ディスプレイ画面上で設定していくことで、動画像のシ
   ナリオを編集するとともに、それらの動画像部品に発話
   情報を割り付けることでアニメーションを編集する編集
   手段とを備えることを、 特徴とするアニメーション編集装置。
2. 【請求項２】 特定の意味を持つ動画像に対応付けて定
   義されて、非発話領域の動画像情報と、発話領域の動画
   像情報と、それらの動画像情報の再生情報と、発話領域
   の動画像情報に対応付けられる発話情報とを構成データ
   として持つアニメーション部品を管理する管理手段と、 上記非発話領域の動画像情報の持つ再生情報に従って、
   上記非発話領域の動画像情報を再生するとともに、上記
   発話情報を再生しつつ、その再生が完了するまでの間、
   上記発話領域の動画像情報の持つ再生情報に従って、上
   記発話領域の動画像情報を繰り返し再生することでアニ
   メーションを再生する再生手段とを備えることを、 特徴とするアニメーション再生装置。
3. 【請求項３】 特定の意味を持つ動画像に対応付けて定
   義されて、非発話領域の動画像情報と、発話領域の動画
   像情報と、それらの動画像情報の再生情報と、発話領域
   の動画像情報に対応付けられる発話情報とを構成データ
   として持つアニメーション部品を管理する管理手段と、 上記発話情報の再生時間を特定して、その再生時間と、
   上記発話領域の動画像情報の持つ再生情報とから、上記
   発話領域の動画像情報の繰り返し再生回数を決定する決
   定手段と、 上記非発話領域の動画像情報の持つ再生情報に従って、
   上記非発話領域の動画像情報を再生するとともに、上記
   発話情報を再生しつつ、上記決定手段の決定する繰り返
   し再生回数分、上記発話領域の動画像情報を繰り返し再
   生することでアニメーションを再生する再生手段とを備
   えることを、 特徴とするアニメーション再生装置。
4. 【請求項４】 請求項２又は３記載のアニメーション再
   生装置において、 再生手段は、発話領域のアニメーションが再生条件に応
   じて複数用意されるときには、成立する再生条件の指定
   するアニメーションを再生していくように処理すること
   を、 特徴とするアニメーション再生装置。
5. 【請求項５】 特定の意味を持つ動画像に対応付けて定
   義されて、非発話領域の動画像情報と、発話領域の動画
   像情報と、それらの動画像情報の再生情報と、発話領域
   の動画像情報に対応付けられる発話情報とを構成データ
   として持つアニメーション部品を管理する管理手段にア
   クセスするアクセス処理と、 上記非発話領域の動画像情報の持つ再生情報に従って、
   上記非発話領域の動画像情報を再生するとともに、上記
   発話情報を再生しつつ、その再生が完了するまでの間、
   上記発話領域の動画像情報の持つ再生情報に従って、上
   記発話領域の動画像情報を繰り返し再生することでアニ
   メーションを再生する再生処理とをコンピュータに実行
   させるプログラムが格納されることを、 特徴とするプログラム記録媒体。
6. 【請求項６】 特定の意味を持つ動画像に対応付けて定
   義されて、非発話領域の動画像情報と、発話領域の動画
   像情報と、それらの動画像情報の再生情報と、発話領域
   の動画像情報に対応付けられる発話情報とを構成データ
   として持つアニメーション部品を管理する管理手段にア
   クセスするアクセス処理と、 上記発話情報の再生時間を特定して、その再生時間と、
   上記発話領域の動画像情報の持つ再生情報とから、上記
   発話領域の動画像情報の繰り返し再生回数を決定する決
   定処理と、 上記非発話領域の動画像情報の持つ再生情報に従って、
   上記非発話領域の動画像情報を再生するとともに、上記
   発話情報を再生しつつ、上記決定処理の決定する繰り返
   し再生回数分、上記発話領域の動画像情報を繰り返し再
   生することでアニメーションを再生する再生処理とをコ
   ンピュータに実行させるプログラムが格納されること
   を、 特徴とするプログラム記録媒体。