JP2006048379A

JP2006048379A - コンテンツ生成装置

Info

Publication number: JP2006048379A
Application number: JP2004228645A
Authority: JP
Inventors: Hiroyuki Oishi; 寛之大石
Original assignee: NTT Docomo Hokuriku Inc
Current assignee: NTT Docomo Hokuriku Inc
Priority date: 2004-08-04
Filing date: 2004-08-04
Publication date: 2006-02-16

Abstract

【課題】アバタによるコミュニケーションを実現させる際、再生される音声の内容とアバタの表情や動きとを一致させる。
【解決手段】コンテンツ生成装置３０は、画像データと文字列データとを受信すると、受信された画像データが表す画像からアバタを生成し、受信された文字列データに基づいて音声データを生成する。コンテンツ生成装置３０は、音声データを再生した時の時間軸上において、文字列中にある特定文字近傍の文字が再生される時点を求め、特定文字の種類に基づいて、態様が変更されたアバタを生成する。コンテンツ生成装置３０は、文字列中にある特定文字近傍の文字が再生される時点において態様が変更されたアバタが表示される動画像を生成し、この動画像と音声データとを統合したコンテンツデータを生成する。
【選択図】図１

Description

本発明は、音声および画像を用いてメッセージを伝達する技術に関する。

自分の分身となるアバタを用い、通信ネットワークを介して他者とコミュニケーションをとることが行われている。従来、アバタを使用してコミュニケーションを図る場合、アバタの使用者は、予め用意された既製のアバタの中から好みのアバタを選択し、文字によりメッセージを伝えていた。しかしながら、近年、使用者の好みのアバタを生成することや、動きのあるアバタを生成することが可能となり、また、メッセージの伝達においても、音声によりメッセージを伝えることが可能となっている。例えば、特許文献１に開示されているシステム（以下、従来システムと称する）においては、アバタの使用者が用意した静止画や動画から所望のアバタを生成することや、複数の静止画を組み合わせて動きのあるアバタを生成することが可能となっており、また、メッセージの伝達においても、アバタに配置したボタンを押下することにより、ボタンに対応付けられた音声メッセージが再生されるようになっている。
特開２００１−２３６２９０号公報

従来システムによれば、音声や動きのあるアバタを使用することが可能となり、より感情や気持ちを相手に伝えることができる。しかしながら、従来システムにおいては、ボタンが押下された時に音声が再生されるという構成のため、アバタの画像が動画の場合、アバタの表情や動きと再生される音声の内容とが合わない場合が生じ、メッセージを聞いたコミュニケーション相手に違和感を与える場合が生じえる。

本発明は、上述した背景の下になされたものであり、アバタの表情や動きと、再生される音声の内容とを容易に合わせることができる技術を提供することを目的とする。

上述した課題を解決するために本発明は、文字列データを受信する受信手段と、前記受信手段により受信された文字列データに基づいて電子機器が再生可能な音声データを生成する音声データ生成手段と、前記受信手段により受信された文字列データから特定文字を抽出し、前記音声データを再生した時の時間軸上において、前記音声データの再生開始時点から該抽出された特定文字近傍の文字の音声が再生されるまでの時間を特定する特定手段と、オブジェクトの動画像を生成する手段であって、前記特定手段により抽出された特定文字の種類に応じてその態様を変化させたオブジェクトを生成し、該動画像の開始時点から前記特定手段により特定された時間が経過した時点において前記態様を変化させたオブジェクトを表示する動画像を生成する動画像生成手段と、前記動画像生成手段により生成された動画像と、前記音声データ生成手段により生成された音声データとを統合したコンテンツデータを生成するコンテンツデータ生成手段とを有するコンテンツ生成装置を提供する。
本発明によれば、特定文字が挿入された文字列をコンテンツ生成装置に送信すると、特定文字近傍の文字が読み上げられる際にオブジェクトの態様が変化するコンテンツデータが生成される。このオブジェクトをアバタとすると、特定文字の種類によりアバタの態様が変化し、特定文字が挿入される位置によりアバタの態様を変化させるタイミングが変わるので、特定文字の種類と挿入位置とを変更するだけで、容易にアバタの態様と、アバタの態様を変化させるタイミングとを替えることができ、アバタの表情や動きと、再生される音声の内容とを容易に合わせることができる。

本発明によれば、アバタの表情や動きと再生される音声の内容とを容易に合わせることが可能となる。

［Ａ．実施形態］
図１は、本発明の実施形態に係る通信システムの全体構成を示した図である。
移動機１０Ａ，１０Ｂは、例えばＰＤＣ（Personal Digital Cellular）方式、ＧＳＭ（Global System for Mobile Communications ）方式或いはＩＭＴ−２０００（International Mobile Telecommnucation-2000）方式の携帯電話機や、ＰＨＳ（Personal Handyphone System：登録商標）方式の簡易携帯電話機である。なお、移動機１０Ａ，１０Ｂは、各々同じ構成であるため、特に区別する必要のない場合には、以下、移動機１０と称する。また、本システムにおいては、多数の移動機１０が存在するが、図面が煩雑になるのを防ぐために二つの移動機１０Ａ，１０Ｂのみを例示している。移動機１０は、データ通信を行うことが可能であり、ＷＷＷ（World Wide Web）ブラウザプログラムに基づいてサーバ装置との間で各種データの授受を行い、電子メールプログラムに基づいて電子メールの授受を行う。また、移動機１０は、デジタルカメラ機能を備えており、撮影した被写体を表す画像データを生成して記憶する。

移動パケット通信網２０は、移動機１０にデータ通信サービスを提供する通信網である。移動パケット通信網２０には、移動機１０に電子メールを送信するメールサーバ４０と、コンテンツ生成装置３０とが接続されている。移動パケット通信網２０は、メールサーバ４０またはコンテンツ生成装置３０と移動機１０との間で行われるデータ通信を中継する。

コンテンツ生成装置３０は、移動機１０から送信される各種データを用いてアバタを生成し、生成したアバタを表すアバタデータを移動機１０へ提供する装置である。図２に示したように、コンテンツ生成装置３０の各部はバス１０１に接続されており、各部はこのバスを介して各種信号を授受する。

通信部１０６は、インターネット２０を介した通信を行うための通信インターフェースである。ＣＰＵ１０２は、この通信部１０６を介して他の装置と通信を行い、各種データの授受を行う。記憶部１０５は、例えば、ハードディスク装置等の記憶装置を具備しており、ＯＳ（Operating System）プログラムやコンテンツ生成プログラム、各種データ等を記憶する。ＲＯＭ１０３は、コンテンツ生成装置３０の各部を初期化する初期化プログラムを記憶している。ＣＰＵ１０２は、ＲＯＭ１０３に記憶されている初期化プログラムに基づいて、各部の初期化を行う。ＣＰＵ１０２は、各部の初期化が終了すると、記憶部１０５に記憶されているＯＳプログラムに基づいて、各部の制御を行いＷＷＷサーバとして動作する。また、ＣＰＵ１０２は、ＯＳプログラムが起動した後、記憶部１０５に記憶されているコンテンツ生成プログラムを起動する。ＣＰＵ１０２は、コンテンツ生成プログラムを起動すると、移動機１０から送信される画像データおよびテキストデータとを用いて音声付きのアバタの動画像を生成し、生成した音声付き動画像を表すコンテンツデータを移動機１０へ送信する。

次に本実施形態の動作について説明する。なお、以下の説明においては、移動機１０Ａのユーザ（以下、このユーザをユーザＡと称する）が、移動機１０Ａのデジタルカメラ機能により得た画像データをコンテンツ生成装置３０へ送信し、コンテンツ生成装置３０にて生成されたアバタデータを移動機１０Ｂのユーザ（以下、このユーザをユーザＢと称する）へ送信する場合を想定して動作の説明を行う。

まず、ユーザＡが移動機１０Ａを操作し、例えば、自身の子供の顔を撮影する操作を行うと、移動機１０Ａは被写体となった子供の顔の画像データを生成した記憶する。次にユーザＡが、電子メールプログラムの起動を指示する操作を行うと、移動機１０Ａは電子メールプログラムを起動する。この後ユーザＡは、移動機１０Ａを操作し、ユーザＢに伝えるメッセージを電子メールの本文とし、画像データを添付ファイルとした電子メールを生成する。そしてユーザＡは、移動機１０Ａを操作し、生成した電子メールをコンテンツ生成装置３０を宛先として送信する（図３：ステップＳ１０１）。

コンテンツ生成装置３０は、この電子メールを受信すると（ステップＳ１０２）、まず添付されている画像データを抽出する（図４：ステップＳＡ１）。コンテンツ生成装置３０は、画像データを抽出すると、この抽出した画像データが表す画像中のオブジェクト、即ち、子供の顔に基づいてアバタを生成する（ステップＳＡ２）。なお、画像データから抽出したオブジェクトの画像をそのままアバタとしてもよいし、抽出したオブジェクトから似顔絵を生成し、生成した似顔絵をアバタとしてもよい。次にコンテンツ生成装置３０は、受信した電子メールの本文と差出人の電子メールアドレスとを電子メールから抽出し（ステップＳＡ３）、抽出した本文を表すテキストデータと、生成したアバタの画像を表すアバタデータと、抽出した差出人の電子メールアドレスとを対応付けて記憶部１０５に記憶する（ステップＳＡ４）。

次にコンテンツ生成装置３０は、図６に例示したように、音声付きのアバタの声色を選択するためのリストボックスＢＸ１１と、電子メールから抽出した本文が記述されたテキストボックスＢＸ１２とを有し、記憶したアバタデータのＵＲＬ（Uniform Resource Locator）と、差出人の電子メールアドレスとが埋め込まれたＷｅｂページを生成して記憶する（ステップＳＡ５）。次に、コンテンツ生成装置３０は、このＷｅｂページのＵＲＬが記述された電子メールを生成し（ステップＳＡ６）、この生成した電子メールを、ステップＳ１０２で受信した電子メールの差出人を宛先として送信する（ステップＳＡ７、ステップＳ１０３）。

移動機１０Ａは、このコンテンツ生成装置３０から送信された電子メールを受信すると（ステップＳ１０４）、電子メールを受信したことをユーザＡに報知する。ユーザＡが、受信した電子メールを開封する操作を移動機１０Ａに対して行うと、コンテンツ生成装置３０が生成したＷｅｂページのＵＲＬが表示される。ユーザＡが、移動機１０Ａを操作し、このＵＲＬをクリックする操作を行うと、移動機１０Ａは、ＷＷＷブラウザプログラムを起動する。そして、移動機１０Ａは、このＵＲＬで特定されるコンテンツ生成装置３０と通信を行い、ＵＲＬで特定されるＷｅｂページを取得する（ステップＳ１０５，１０６）。

移動機１０Ａは、Ｗｅｂページを取得すると、図６に示したページを液晶ディスプレイに表示する。このＷｅｂページにおいて、「アバタの表情を見る」と記載されている部分には、コンテンツ生成装置３０が生成したアバタデータのＵＲＬが対応付けられている。ユーザＡが、移動機１０Ａを操作し「アバタの表情を見る」と記載されている部分をクリックする操作を行うと、移動機１０Ａは、コンテンツ生成装置３０と通信を行い、コンテンツ生成装置３０が生成したアバタデータを取得する。そして移動機１０Ａは、この取得したアバタデータに基づいて、アバタの画像を表示する。これにより、ユーザＡは、コンテンツ生成装置３０で生成されたアバタを確認することができる。

また、このＷｅｂページの「声の選択」と記載されている部分において、移動機１０のユーザは、音声付きアバタの声色を選択する。ユーザＡがこのページ中の「選択」ボタンをクリックする操作を行うと、図７に示したように、各種声色の項目リストが表示される。ユーザＡが、この中の項目の一つを選択する操作を行うと、図６の画面に戻り、選択された声色の項目が表示される。

また、このＷｅｂページのテキストボックスＢＸ１２において、移動機１０のユーザは、文章中に特定の絵文字を挿入し、アバタの表情とアバタの表情を替えるタイミングとを設定する。ユーザＡは、例えば、「こんにちはおじいちゃん元気ですか」と音声が再生された時点でアバタの表情を笑顔にしたい場合には、図８に示したように笑顔の絵文字Ｃ１０を「か」の後ろに挿入する。また、例えば、「体重が３５００グラムもありました」と音声が再生された時点でアバタの表情をウインクの表情にする場合には、図８に示したように、ウインクの絵文字Ｃ１１を「た」の後ろに挿入する。

ユーザＡが、表示されたＷｅｂページにおいて各種設定を行った後、Ｗｅｂページ中の「ダウンロードボタン」をクリックする操作を行うと、移動機１０Ａは、選択された声色の項目を示す声色データと、テキストボックスにある文字列と、Ｗｅｂページに埋め込まれている電子メールアドレスとをコンテンツ生成装置３０へ送信する（ステップＳ１０７）。

コンテンツ生成装置３０は、これらを受信すると、受信した電子メールアドレスを検索キーにして、記憶部１０５を検索する（図５：ステップＳＢ１）。コンテンツ生成装置３０は、検索キーとした電子メールアドレスを見つけると、この電子メールアドレスに対応付けて記憶されているアバタデータを読み出す（ステップＳＢ２）。次にコンテンツ生成装置３０は、受信した文字列を解析し、周知の音声合成技術を用いて文字列を順次音声に変換し、音声データを生成する（ステップＳＢ３）。また、コンテンツ生成装置３０は、受信した文字列から絵文字を抽出し、絵文字が表す表情を解析する。コンテンツ生成装置３０は、この解析した表情に基づいて、アバタデータが表すアバタの目や口の位置および形状を編集し、絵文字の表情のアバタを表すアバタデータを生成する（ステップＳＢ４）。例えば、笑顔の絵文字Ｃ１０と、ウインクの表情の絵文字Ｃ１１が抽出された場合、コンテンツ生成装置３０は、笑顔の表情のアバタを表すアバタデータと、ウインクの表情のアバタを表すアバタデータとを生成する。

次にコンテンツ生成装置３０は、生成したアバタデータと音声データとを用いて音声付きの動画を生成する。具体的には、まず、コンテンツ生成装置３０は、受信したメッセージを解析し、アバタの表情を替えるタイミングと、このタイミングにおけるアバタの表情とを特定する。例えば、図８に示したように「こんにちはおじいちゃん元気ですか」という文字列の後に、アバタの表情を笑顔にする絵文字Ｃ１０が挿入されている場合、コンテンツ生成装置３０は、文字列中における絵文字Ｃ１０の位置を特定し、この絵文字Ｃ１０より前にある文字列を読み終えるまでの時間を音声データに基づいて算出する。コンテンツ生成装置３０は、例えば、この文字列を読み終えるまでに要する時間が２秒であると算出すると、この２秒間は動画像の画像を当初生成したアバタデータが表す画像とし、２秒経過した時点からの画像を、ステップＳＢ４で生成した笑顔のアバタ画像とする。また、「体重が３５００グラムもありました」という文字列の後に、アバタの表情をウインクの表情にする絵文字Ｃ１１が挿入されている場合、コンテンツ生成装置３０は、文字列中における絵文字Ｃ１１の位置を特定し、音声データに基づいて、この文字列を読み終えるまでの時間を算出する。コンテンツ生成装置３０は、例えば、アバタの表情を笑顔にしてからこの文字列を読み終えるまでに要する時間が５秒であると算出すると、この５秒間は動画像の画像を笑顔のアバタ画像とし、５秒経過した時点からの画像をウインクした表情のアバタ画像とする。コンテンツ生成装置３０は動画の生成が終了すると、この生成した動画と音声データとを統合したコンテンツデータを生成し（ステップＳＢ５）、生成したコンテンツデータを移動機１０Ａへ送信する（ステップＳＢ６，ステップＳ１０８）。

移動機１０Ａは、このコンテンツデータを受信すると、受信したコンテンツデータを記憶する。ユーザＡは、移動機１０Ａにおいてコンテンツデータが受信されると、ユーザＢを宛先とした電子メールを生成し、受信したコンテンツデータをこの電子メールに添付する。そして、ユーザＢが移動機１０Ａを操作し、生成した電子メールを送信する操作を行うと、コンテンツデータが添付された電子メールが移動機１０から送信され（ステップＳ１０９）、移動機１０Ｂにて受信される（ステップＳ１１０）。

移動機１０Ｂにて電子メールが受信されると、ユーザＢは、移動機１０Ｂを操作し、受信した電子メールを開封する操作を行う。次にユーザＢが、添付されているコンテンツデータの再生を指示する操作を行うと、移動機１０Ｂは、コンテンツデータを再生する。コンテンツデータを再生してアバタを表示し、「こんにちはおじいちゃん元気ですか」という音声メッセージを再生し終えると、アバタの画像が笑顔の画像に切り替わる。また、音声メッセージの再生を続け、「体重が３５００グラムもありました」という音声メッセージを再生し終えると、アバタの画像がウインクの表情に切り替わる。このように移動機１０においてコンテンツデータが再生されると、ユーザが絵文字を設定した言葉の部分でアバタの表情が切り替わる。

以上説明したように本実施形態によれば、音声メッセージとアバタの表情とを同調させることが可能となり、より、感情や気持ちがコミュニケーション相手に伝わるようになる。また、本実施形態によれば、アバタの表情を設定するための絵文字をメッセージの文中に挿入するという簡易な操作により、アバタの表情とアバタの表情を替えるタイミングとを設定することできるため、パーソナルコンピュータのように大きな画面を表示できない移動機１０のような端末においても、ユーザは、容易にアバタの表情とアバタの表情を替えるタイミングとを設定することができる。

［Ｂ．変形例］
以上、本発明の実施形態について説明したが、例えば、上述した実施形態を以下のように変形して本発明を実施してもよい。

上述した実施形態においては、人間のアバタを生成する際の動作について説明したが、生成可能なアバタは人間に限定されるものではない。例えば、画像データから動物や植物、乗り物等、人間以外のオブジェクトを抽出してアバタを生成し、送信するようにしてもよい。また、アバタの表情は、上述した笑顔やウインクの顔だけでなく、泣き顔や、ハート型の目等、様々な表情を設定できるようにしてもよい。また、特定の絵文字を挿入することにより、アバタの服装や顔の色を変更するようにしてもよい。

上述した実施形態において、テキストボックスＢＸ１２中の文字サイズを可変できるようにし、文字サイズの大小に応じてアバタの画像の大きさを替えるようにしてもよい。また、予め定められたキーワードがある場合には、キーワードに応じて画像サイズの大きさや、表情を替えるようにしてもよい。さらに、文字サイズに応じて、再生される音声メッセージが表す音声のレベルを替えるようにしてもよい。

上述した実施形態において、画像データを添付した電子メールをコンテンツ生成装置３０へ送信する際に、絵文字を挿入したメッセージを送信し、コンテンツ生成装置３０は、電子メールを受信した際に、コンテンツデータを生成し、生成したコンテンツデータを電子メールに添付して返信するようにしてもよい。また、画像データを添付した電子メールを送信する際には、コンテンツデータの送信先を同時にコンテンツ生成装置３０に送るようにし、コンテンツ生成装置３０は、生成したコンテンツデータを、受信した送信先に送信するようにしてもよい。また、メッセージを編集する際には、挨拶文などの定型文をリストボックスに表示して選択できるようにしてもよい。

また、上述した実施形態において移動機１０は、メッセージを表す文字列と、画像データとを電子メールにより送信し、声色データと絵文字が挿入された文字列とをＷｅｂブラウザにより送信するようにしているが、撮影機能と、文字列の編集機能と、絵文字の挿入機能と、声色の選択機能と、コンテンツ生成装置３０と通信を行う通信機能とを実現するアプリケーションプログラムを移動機１０に記憶させ、このプログラムを移動機１０において実行することにより、絵文字が挿入された文字列と、画像データと、声色データとを生成し、コンテンツ生成装置３０へ送信するようにしてもよい。
具体的には、移動機１０においてアプリケーションプログラムが起動された後、被写体の撮影を行う操作が行われると、移動機１０は、画像データを生成して記憶する。移動機１０は、画像データを記憶すると、メッセージの編集画面を表示し、メッセージと絵文字が入力されるのを待つ。メッセージと絵文字の入力が終了したことを示す操作が行われると、移動機１０は、声色の選択画面を表示し、ユーザに声色の選択を行わせる。移動機１０は、声色の選択が行われると、画像データと、絵文字が挿入されたメッセージ（文字列）と、声色データとをコンテンツ生成装置３０へ送信する。なお、画像データについては、コンテンツデータを作成する際に撮影して生成するのではなく、移動機１０の撮影機能により既に記憶されている画像データを選択するようにしてもよい。また、コンテンツ生成装置３０において、画像データと絵文字が挿入された文字列と声色データとを受信し、これらの受信したデータを基にコンテンツデータを生成するようにしてもよい。また、生成したコンテンツデータの記憶位置を示すＵＲＬを移動機１０へ送信するようにしてもよいし、生成したコンテンツデータを移動機１０へ送信するようにしてもよい。

上述した実施形態において、メッセージの読み上げに替えて、文字によりメッセージを伝えるようにしてもよい。文字によりメッセージを伝える場合には、メッセージを読み上げるのと同様にアバタの口を動かし、メッセージの文字を順次表示するようにしてもよい。また、文字によりメッセージを伝える場合、移動機１０にて音声を録音し、録音した音声を表す音声データをコンテンツ生成装置３０へ送信し、コンテンツ生成装置３０において、音声から文字に変換するようにしてもよい。

アバタは、２次元の画像に限定されるものではなく、３次元の画像で生成するようにしてもよい。また、表情を替えるだけでなく、特定の絵文字を挿入することにより、アバタ以外の画像を表示するようにしてもよい。また、アバタデータは、コンテンツ生成装置３０が予め記憶している既製のアバタデータを使用するようにしてもよい。

本発明の実施形態に係る通信システムの全体構成を示した図である。同実施形態に係るコンテンツ生成装置３０の構成を示す図である。同実施形態の動作を説明するための図である。コンテンツ生成装置３０が行う処理の流れを示すフローチャートである。コンテンツ生成装置３０が行う処理の流れを示すフローチャートである。コンテンツ生成装置３０が生成するＷｅｂページを例示した図である。音声の声色を選択する際に表示されるリストボックスを例示した図である。アバタの表情を設定する動作を説明するための図である。

符号の説明

１０，１０Ａ，１０Ｂ・・・移動機、２０・・・移動パケット通信網、３０・・・コンテンツ生成装置、４０・・・メールサーバ、１０１・・・バス、１０２・・・ＣＰＵ、１０３・・・ＲＯＭ、１０４・・・ＲＡＭ、１０５・・・記憶部、１０６・・・通信部。

Claims

文字列データを受信する受信手段と、
前記受信手段により受信された文字列データに基づいて電子機器が再生可能な音声データを生成する音声データ生成手段と、
前記受信手段により受信された文字列データから特定文字を抽出し、前記音声データを再生した時の時間軸上において、前記音声データの再生開始時点から該抽出された特定文字近傍の文字の音声が再生されるまでの時間を特定する特定手段と、
オブジェクトの動画像を生成する手段であって、前記特定手段により抽出された特定文字の種類に応じてその態様を変化させたオブジェクトを生成し、該動画像の開始時点から前記特定手段により特定された時間が経過した時点において前記態様を変化させたオブジェクトを表示する動画像を生成する動画像生成手段と、
前記動画像生成手段により生成された動画像と、前記音声データ生成手段により生成された音声データとを統合したコンテンツデータを生成するコンテンツデータ生成手段と
を有するコンテンツ生成装置。
前記受信手段は、画像データをさらに受信し、
前記受信手段により受信された画像データが表す画像中のオブジェクトを抽出するオブジェクト抽出手段を有し、
前記動画像生成手段は、前記オブジェクト抽出手段により抽出されたオブジェクトの動画像を生成すること
を特徴とする請求項１に記載のコンテンツ生成装置。
前記受信手段により受信された文字列データが表す文字列の文字サイズを検知する文字サイズ検知手段を有し、
前記動画像生成手段は、前記文字サイズ検知手段により検出された文字サイズに応じて、動画像の表示サイズを可変すること
を特徴とする請求項１または請求項２に記載のコンテンツ生成装置。
前記受信手段により受信された文字列データが表す文字列の文字サイズを検知する文字サイズ検知手段を有し、
前記音声データ生成手段は、前記文字サイズ検知手段により検出された文字サイズに応じて、音声データが表す音声のレベルを可変すること
を特徴とする請求項１乃至３のいずれかに記載のコンテンツ生成装置。
前記受信手段は、前記コンテンツデータの送信先を示す送信先データを受信し、
前記コンテンツデータ生成手段により生成されたコンテンツデータを、前記受信手段により受信された送信先データが表す送信先へ送信する送信手段を有することを特徴とする請求項１乃至４のいずれかに記載のコンテンツ生成装置。
前記特定文字が絵文字であることを特徴とする請求項１に記載のコンテンツ生成装置。