JP2000123191A - 情報処理装置及び方法及び情報伝送システム - Google Patents
情報処理装置及び方法及び情報伝送システムInfo
- Publication number
- JP2000123191A JP2000123191A JP29728098A JP29728098A JP2000123191A JP 2000123191 A JP2000123191 A JP 2000123191A JP 29728098 A JP29728098 A JP 29728098A JP 29728098 A JP29728098 A JP 29728098A JP 2000123191 A JP2000123191 A JP 2000123191A
- Authority
- JP
- Japan
- Prior art keywords
- animation
- data
- text string
- information
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims description 30
- 238000000034 method Methods 0.000 title claims description 15
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 27
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 27
- 230000010365 information processing Effects 0.000 claims description 37
- 238000003672 processing method Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 10
- 230000008451 emotion Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 241000320126 Pseudomugilidae Species 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/205—3D [Three Dimensional] animation driven by audio data
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
示とテキストデータによるテキスト読み上げとの間の同
期を容易かつ正確に行えるようにする。 【解決手段】レシーバ106はアニメーション制御情報
が配された音声合成のためのテキスト列とアニメーショ
ンデータからなるデータを受信する。デマルチプレクサ
107は、当該データからアニメーションデータを抽出
し、外部記憶装置105に格納する。また、デマルチプ
レクサ107は、受信したデータより音声合成のための
テキスト列を抽出し、これをテキスト読み上げ部112
に提供し、音声合成出力を行わせる。更に、デマルチプ
レクサ107は、音声合成処理の進行に合わせて、受信
したデータのテキスト列中からアニメーション制御情報
を抽出し、アニメータ108は、抽出されたアニメーシ
ョン制御情報に従って外部記憶装置115に格納された
アニメーションデータの表示を制御する。
Description
情報伝送システムに関し、特に音声用情報と画像用情報
の伝送、受信に好適な情報処理装置及び情報伝送システ
ムに関する。
な音声情報と画像情報の送受信を行う画像・音声伝送シ
ステムが知られている。
は以下のような制御が行われる。まず、被写体をビデオ
カメラにより撮影して伝送すべき画像情報を獲得すると
ともに、マイクによって話者の音声を取り込むことによ
って伝送すべき音声情報を獲得する。伝送すべき画像情
報及び音声情報は、ビデオエンコーダ及びオーディオエ
ンコーダによってそれぞれ符号化(圧縮)される。こう
して圧縮された画像及び音声情報はマルチプレクサによ
って一本化され、圧縮一本化された画像・音声データが
伝送される。
音声データを受信した情報処理装置は、デマルチプレク
サによって画像データと音声データに分離し、それぞれ
を復号化して画像及び音声を再生する。なお、再生時に
おいては、映像と音声の同期がとられる。
られるが、いずれにしろ上記の例は(圧縮された)自然
動画および音声データを伝送するものであり、TV会議
や、TV電話などで広く用いられている。
送信する代わりに、それらをアニメーションデータとテ
キストデータとして送信することも提案されている。例
えば、ビデオカメラで得られた画像から顔や体のアニメ
ーション情報を抽出し、抽象化されたアバタ(化身)を
作成してアニメーションデータとする。また、テキスト
データは、マイクによって入力された話者音声を認識し
てテキストに変換することで得る。そして、マルチプレ
クサによりアバタのアニメーションデータおよびテキス
トデータがマルチプレクスされ伝送される。
に基づいて顔や体のアニメーション表示を実行するとと
もに、テキストデータを音声信号に変換して読み上げを
行う。当然ながら、アニメーションと音声の同期制御も
必要である。
ト)が低いときなどに有効な手法である。
キストデータを、ビデオカメラやマイクを用いて取り込
むようなことを行わず、アニメーション作成器で、顔や
体の動きや喜怒哀楽を含むアニメーションデータを一か
ら作成したり、テキストエディタを用いて音声合成すべ
きテキストを編集したりするようにすることも考えられ
る。
報伝送システムにおいては以下のような問題があった。
方法では、伝走路の帯域が狭い(ビットレートが低い)
場合には対応しにくい。
ータで情報伝送を行う方法は、ビットレートの低い伝送
路に好適であるが、アニメーションデータとテキストデ
ータはそれぞれ完全に独立しており、このためテキスト
を音声データに変換する際には、アニメーションとの同
期をとる必要があるが、アニメーションの表示とテキス
ト読み上げを正確に同期させるのは困難である。
であり、その目的とするところは、アニメーションデー
タによるアニメーション表示とテキストデータによるテ
キスト読み上げとの間の同期を容易かつ正確に行えるよ
うにすることにある。
メーションデータを保持させておくことを可能とし、読
み上げのためのテキストの送信の度にアニメーションデ
ータを送信しなくても済むようにすることにある。
めの本発明の一態様による情報処理装置は、例えば以下
の構成を備える。すなわち、音声合成のためのテキスト
列中にアニメーション制御情報が配されたデータを受信
する受信手段と、アニメーションデータを格納する格納
手段と、前記受信手段で受信したデータより音声合成の
ためのテキスト列を抽出し、抽出されたテキスト列に基
づいて音声合成をおこなって音声出力する音声出力手段
と、前記音声出力手段によって音声出力されているテキ
スト列の位置と、前記アニメーション制御情報の位置と
に基づいて前記格納手段に格納されたアニメーションデ
ータの表示を制御する表示制御手段とを備える。
おいて実現される情報処理方法が提供される。また、本
発明によれば該情報処理方法をコンピュータに実現させ
るための制御プログラムを格納する記憶媒体が提供され
る。更に、本発明によれば、上記情報処理装置を用いた
情報伝送システムが提供される。
明の好適な実施形態を説明する。
よる情報処理装置の構成例を示すブロック図である。図
1において、10は情報処理装置を指す。また、11は
CPUであり情報処理装置10の各種制御を実現する。
12はROMでありCPU11が実行する制御プログラ
ムや各種データを格納する。13はRAMであり、外部
記憶装置よりロードされたCPU11が実行するための
制御プログラムを格納したり、CPU11が各種制御を
実行するに際しての作業領域を提供したりする。
により各種表示を実現する。15は入力装置であり、キ
ーボードやポインティングデバイス(マウス等)を含
む。また、16は音声合成装置、17は回線と情報処理
装置10を接続するためのインターフェース、18はバ
スである。
6よりの音声出力を再生する。また、115は外部記憶
装置である。10’は情報処理装置10と回線を介して
接続された情報処理装置であり、上述したのと同様の構
成を備える。本実施形態では、情報処理装置10も情報
処理装置10’もともにデータ送信側及び受信側として
機能するものとする。
る機能構成を説明するブロック図である。
図2において、101は人物の顔や体のアニメーション
の元となる画像を生成する画像生成部である。画像とし
ては、送信者に似ている人物像を作成してもよいし、送
信者とは全く異なったアバタ画像であってもかまわな
い。いずれにしろ、ここでは、アニメーション自体を行
う必要性はなく、人物の骨格や特徴といった点を、静止
画で描画し、かつ、アニメーションを行うときに必要と
なる特徴点(目の位置、口の位置など)を決定してやる
だけで良い。
成の対象となるテキストを編集する。テキスト編集は入
力装置15を用いて行えばよい。なお、ここで編集され
たテキストには、後述するように合成音声出力時のアニ
メーションを指定するアニメーションタグが含まれてい
る。103はマルチプレクサであり、画像とテキストを
マルチプレクスして、図3のような送信データを生成す
る。図3は第1の実施形態による送信データのデータ構
成例を示す図である。31〜33はアニメーションデー
タであり、後述するアニメーションタグと対応するもの
である。34はテキストデータであり、上述のテキスト
エディタ102によって作成されたものである。104
はトランスミッタであり、送信データを、指定された、
或いはデータ要求を行ってきた外部の情報処理装置に対
して送信する。
伝送路の種類(アナログ、ディジタルなど)は特に限定
しない。
して音声及び画像再生を行う。106はレシーバであ
り、回線105を介して送信されてきた上述の送信デー
タを受信する。107はデマルチプレクサであり、受信
した送信データをアニメーションデータ(図3の31〜
33)とテキスト(34)に分けるとともに、テキスト
34に関してはさらに後述するアニメーションタグ、読
み上げ(または表示)を行うためのテキスト情報及びヘ
ッダデータに選別する。
して得られたアニメーションデータおよびアニメーショ
ンタグ情報を表す。108はアニメータであり、アニメ
ーションデータおよびアニメーションタグ情報に基づい
てアニメーション処理を行い、モニタにアニメーション
表示を行う。111はテキスト表示部であり、読み上げ
を行うためのテキスト情報に基づいて表示を行う。11
2はテキスト読み上げ部であり、読み上げを行うテキス
ト情報に基づいて音声合成を行い、音声信号を出力す
る。113はスピーカであり、テキスト読み上げ部11
2より出力された音声信号により音声を再生する。
たヘッダデータは、人物特定部114に送信され、テキ
スト読み上げ部112で採用する性別等を決定する。な
お、人物特定部114で決定される内容として、男女性
別の他に年齢などを入れてもよい。一方、アニメーショ
ンに必要なデータ(アニメーションデータ31〜33)
は、外部記憶装置115の(実際は磁気ディスクなど)
に記憶される。
出例を示す図である。(a)に示すのは手紙文の例だ
が、本来のテキスト情報以外の情報は、タグと呼ばれる
<と>で囲まれて記述されている。このような表記はHT
ML(Hyper Text Markup Language)を摸した表記方法で
あるが、これは説明の便宜上用いた一例に過ぎず、他の
いかなるフォーマットを用いてもかまわない。
信者のテキスト表示部やテキスト読み上げ部分では扱わ
れない、送信者の情報を記したヘッダである。1行目お
よび4行目では、それぞれヘッダ部と開始と終了を示し
ている。また、2行目では、<NAME>と</NAME>で囲まれ
た内部に、送信者の名前が記述されている。更に、3行
目では、<GENDER>と</GENDER>で囲まれた内部に性別が
記述されている。
は、<SMILE>と</SMILE>で囲まれており、このタグで囲
まれるテキストを読み上げる際には、笑っているような
アニメーション効果をすることを示す。同様に、6行目
(<NORMAL>と</NORMAL>で囲まれた部分)は真顔、7行
目(<PAIN>と</PAIN>で囲まれた部分)は苦痛の表情を
示す。このように、テキストをタグで囲むことによっ
て、容易にアニメーション情報を伝達することができ、
さらには、アニメーションとテキスト読み上げ時の同期
をとることも可能になる。
1によって表示される内容を示している。更に図4の
(c)はヘッダデータを示しており、本実施形態の人物
特定部114では、性別情報を用いて合成音声の種類
(たとえば男性の声)を決定している。
ン表示と音声合成処理を説明するフローチャートであ
る。ステップS11においてレシーバ106が送信デー
タを受信すると、ステップS12においてデマルチプレ
クサ107が送信データをアニメーションとテキストに
分離する。そして、ステップS13において、分離され
たアニメーションを外部記憶装置115に格納する。
2で分離されたテキストを、さらにヘッダと、読み上げ
用のテキストデータ及びアニメーションタグを含むテキ
スト本文とに分離する。そして、ステップS15では、
ステップS14で得られたヘッダ情報に基づき、合成音
声の性別等を決定する。
は、テキスト本文からアニメーションタグ、読み上げ用
テキストを抽出し、アニメーションとテキスト読み上げ
を行うとともに両者の同期を達成する。
より文字列を取り込む。ここでは、例えば、 次に取り込むべき文字列が「<」で始まる場合は、
「>」が登場するまでの文字列を取り込む。 次に取り込むべき文字列が「<」以外で始まる場合
は、次の句読点や「?」までの文字列、或いは「<」の
直前までの文字列を取り込む。
込んだデータが「<」と「>」で囲まれたアニメーション
タグであるか否かを判定し、アニメーションタグであれ
ばステップS19へ進み、当該アニメーションタグで示
されるアニメーションデータを選択してアニメータ10
8に提供する。アニメータ108は提供されたアニメー
ションデータに従ってアニメーションの表示制御を行
う。一方、抽出された文字列がアニメーションタグでな
ければ、ステップS18へ進み、当該文字列をテキスト
読み上げ部112へ提供することにより音声合成を行
う。
文中の全文字列について処理を終えたか否かを判定し、
未処理の文字列があればステップS16へ戻る。また、
すべての文字列について処理を終えていれば本処理を終
了する。
げの移行例を示す図である。図4に示すテキスト本文に
ついてステップS16以降の処理が適用されると、ま
ず、<SMILE>が読み出され、これはアニメーションタグ
であると判定される。そしてステップS19において<S
MILE>に相当するアニメーションを表示する。続いて、
「こんにちは。」が読み出され、今度はアニメーション
タグではないので、ステップS18において当該テキス
ト列をテキスト読み上げ部112へ提供する。この結
果、図6の(a)に示すように、<SMILE>に相当するア
ニメーションと、「こんにちは。」という音声出力が実
行される。
ですか?」であり、アニメーションタグではないので、
そのままのアニメーションを継続しながら「ご機嫌いか
がですか?」という音声合成を行う(ステップS1
9)。
>」が抽出され、ステップS19で真顔に対応するアニ
メーションが選択されて表示される。そして、これに続
く文字列が音声合成される(図6の(b))。以下、同
様の処理が繰り返された、図6の(c)、(d)に示す
アニメーションと音声合成が行われることになる。すな
わち、テキストの内容に応じて、順に、笑顔→真顔→泣
き顔→真顔と、顔のアニメーションが変化していく。
れば、伝送するテキスト情報の中に、人間の顔や体の動
きや、喜怒哀楽を表現するアニメーション情報を重畳す
ることにより、アニメーション情報を容易に伝送・表示
したり、テキスト読み上げとアニメーション表示を容易
に同期させることが可能になる。
は、テキスト読み上げ時にアニメーションを表示するた
めのアニメーションデータを送信データに含ませている
が、アニメーションデータは予め受信側装置に用意され
ているものを用いるようにしてもよい。
に関る機能構成を説明するブロック図である。図2に示
した第1の実施形態の機能構成と異なる点は、アニメー
ションデータを生成する画像生成部101が無く、外部
記憶装置415には予めアニメーションデータが格納さ
れている点である。図8は第2の実施形態におけるアニ
メーションデータの格納状態を示す図である。図8に示
されるように、喜怒哀楽を表すアニメーションデータの
セットに対して人物特定情報として用いられる属性(名
前、性別、メールアドレス)が対応づけられている。
置のデータ受信時の処理を説明するフローチャートであ
る。図9において、第1の実施形態(図5)と同様の処
理を行うステップには同一のステップ番号を付してあ
る。
テップS31において、デマルチプレクサ107が受信
したテキストデータを本文とヘッダとに分離する。そし
てステップS32において、ステップS31で分離され
たヘッダに基づいて、発声者とアニメーションデータセ
ットを決定する。すなわち、ヘッダに含まれている名
前、性別、メールアドレスにより音声発生時に表示する
アニメーションデータを決定する。
施形態で説明したとおりである。なお、ステップS19
では、ステップS32で決定したアニメーションデータ
セットの中から表示すべきアニメーションデータが選択
されることとなる。
かじめ、受信側の外部記憶装置415に蓄積されている
顔などのアニメーションデータを、送信者から送られた
人物特定情報に基づいて選択する。このため、送信側
は、毎回アニメーションデータを送信する必要はなく、
テキストとヘッダ・タグ情報のみを伝送するだけで、音
声合成出力とアニメーションの同期表示を行うことが可
能になる。
別、電子メールアドレスなど)はテキスト中に重畳され
る。一方、受信側においては、あらかじめ外部記憶装置
415に蓄積されていた特定人物の情報と照合し、合致
したアニメーションに必要な静止画像を抽出する。この
ため、送信側では、人間の顔や体の静止画を送信する必
要がなくなり、動きや、喜怒哀楽を表現するアニメーシ
ョン情報だけを伝送すれば良くなる。
テキストデータに埋め込まれている性別や名前、メール
アドレスから適用するアニメーションデータを決定し
た。しかしながら、このような決定方法では、送信者の
名前等とアニメーションデータを予め結びつけておく必
要があり、不特定多数の送信者に対応することはできな
い。そこで、第3の実施形態では、適用すべきアニメー
ションのアバタに対してより一般的な属性を付与し、不
特定多数の送信者からのデータに対応可能とする。
ータの一部を示す図である。<HEAD>.....</HEAD>間はテ
キストのヘッダ部であり、図4の例と同じく送信者情報
を示す。また、これに続く<AVATAR>.....</AVATAR>は、
アバタの情報を示すタグである。本例では、<FACE>タグ
で細身の顔を、<HAIR>タグで長髪を、<EYE>タグで青い
目を、<OPTION>タグで眼鏡を着用していることを示す。
ョンデータの格納例を示す図である。図11に示される
ように、喜怒哀楽を表すアニメーションデータの各セッ
トに対して顔の形状(<FACE>)、髪の毛の長さや色(<H
AIR>)、目の色(<EYE>)、眼鏡の有無(<OPTION>)等
を示す属性が付与されている。従って、アニメーション
表示に際しては、受信したテキストデータに含まれる<A
VATAR>と</AVATAR>で囲まれたアバタの情報から適切な
アニメーションのセットを選択し、これを表示する。す
なわち、これらのアバタ情報にもっとも適した画像を外
部記憶装置415から選択して読み出すことによって、
容易にアニメーションを行うことができる。
形態(図9)と類似のものとなる。異なる点は、ステッ
プS31においてテキストデータ本文とヘッダに加え
て、<AVATAR>と</AVATAR>で記述され
た属性情報を取得し、ステップS32において、この属
性情報に基づいて図11で示されるデータを検索し、使
用すべきアニメーションデータを決定することである。
を決定付けるもので、必ずしも送信者の特徴を示すもの
なくてもかまわないことは明白である。
トコンピュータ,インタフェイス機器,リーダ,プリン
タなど)から構成されるシステムに適用しても、一つの
機器からなる装置(例えば、複写機,ファクシミリ装置
など)に適用してもよい。
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
体としては、例えば、フロッピディスク,ハードディス
ク,光ディスク,光磁気ディスク,CD−ROM,CD
−R,磁気テープ,不揮発性のメモリカード,ROMな
どを用いることができる。
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
ニメーションデータによるアニメーション表示とテキス
トデータによるテキスト読み上げとの間の同期を容易か
つ正確に行えるようになる。
低レートの伝送路においても、顔や体のアニメーション
を伴った、画像・テキストの伝送を行うことが可能とな
るという効果が得られる。
ションデータを保持させておくことが可能となり、読み
上げのためのテキストの送信の度にアニメーションデー
タを送信しなくても済むようになる。
ブロック図である。
を説明するブロック図である。
例を示す図である。
図である。
声合成処理を説明するフローチャートである。
示す図である。
構成を説明するブロック図である。
の格納状態を示す図である。
声合成処理を説明するフローチャートである。
を示す図である。
の格納例を示す図である。
Claims (22)
- 【請求項1】 音声合成のためのテキスト列中にアニメ
ーション制御情報が配されたデータを受信する受信手段
と、 アニメーションデータを格納する格納手段と、 前記受信手段で受信したデータより音声合成のためのテ
キスト列を抽出し、抽出されたテキスト列に基づいて音
声合成をおこなって音声出力する音声出力手段と、 前記音声出力手段によって音声出力されているテキスト
列の位置と、前記アニメーション制御情報の位置とに基
づいて前記格納手段に格納されたアニメーションデータ
の表示を制御する表示制御手段とを備えることを特徴と
する情報処理装置。 - 【請求項2】 前記アニメーション制御情報は、用いる
べきアニメーションの表情を特定することを特徴とする
請求項1に記載の情報処理装置。 - 【請求項3】 前記受信手段において受信されるデータ
は、アニメーションデータを含み、 前記格納手段は、前記受信手段で受信されたデータから
アニメーションデータを抽出して格納することを特徴と
する請求項1に記載の情報処理装置。 - 【請求項4】 前記格納手段は、アニメーションデータ
に属性情報を対応づけて格納し、 前記受信手段で受信したデータによって指定される属性
情報に基づいて用いるべきアニメーションデータを決定
する決定手段を更に備えることを特徴とする請求項1に
記載の情報処理装置。 - 【請求項5】 前記属性情報は、送信者を特定する情報
を含み、 前記決定手段は、前記データに記述された送信者情報に
基づいて適用すべきアニメーションデータを決定するこ
とを特徴とする請求項4に記載の情報処理装置。 - 【請求項6】 前記送信者を特定する情報は、送信者の
名前、性別、メールアドレスの何れかもしくは組み合わ
せであることを特徴とする請求項5に記載の情報処理装
置。 - 【請求項7】 前記属性情報は、アニメーションデータ
の画像的特徴を示す情報を含み、 前記決定手段は、前記データに記述された画像的特徴に
基づいて適用すべきアニメーションを決定することを特
徴とする請求項4に記載の情報処理装置。 - 【請求項8】 前帰属性情報は、アニメーションデータ
が表す顔の特徴を示すことを特徴とする請求項7に記載
の情報処理装置。 - 【請求項9】 前記アニメーション制御情報は、前記デ
ータ中において所定の記号で挟まれた部分に記述された
テキスト列であることを特徴とする請求項1に記載の情
報処理装置。 - 【請求項10】 前記データ中よりテキスト列を抽出す
る抽出手段と、 前記抽出手段で抽出したテキスト列が前記所定の記号で
挟まれたテキスト列であるか否かに基づいて、当該テキ
スト列アニメーション制御用情報か否かを判定する判定
手段とを更に備え、 前記音声出力手段は、前記判定手段により前記抽出手段
で抽出したテキスト列がアニメーション制御用情報でな
いと判定された場合に、当該テキスト列に基づいて音声
合成をおこなって音声出力し、 前記表示制御手段は、前記判定手段により前記抽出手段
で抽出したテキスト列がアニメーション制御用情報であ
ると判定された場合に、当該テキスト列に基づいて前記
格納手段に格納されたアニメーションデータの表示を制
御することを特徴とする請求項9に記載の情報処理装
置。 - 【請求項11】 音声合成のためのテキスト列中にアニ
メーション制御情報が配されたデータを受信する受信工
程と、 アニメーションデータを格納する格納工程と、 前記受信工程で受信したデータより音声合成のためのテ
キスト列を抽出し、抽出されたテキスト列に基づいて音
声合成をおこなって音声出力する音声出力工程と、 前記音声出力工程によって音声出力されているテキスト
列の位置と、前記アニメーション制御情報の位置とに基
づいて前記格納工程で格納されたアニメーションデータ
の表示を制御する表示制御工程とを備えることを特徴と
する情報処理方法。 - 【請求項12】 前記アニメーション制御情報は、用い
るべきアニメーションの表情を特定することを特徴とす
る請求項11に記載の情報処理方法。 - 【請求項13】 前記受信工程において受信されるデー
タは、アニメーションデータを含み、 前記格納工程は、前記受信工程で受信されたデータから
アニメーションデータを抽出して格納することを特徴と
する請求項11に記載の情報処理方法。 - 【請求項14】 前記格納工程は、アニメーションデー
タに属性情報を対応づけて格納し、 前記受信工程で受信したデータによって指定される属性
情報に基づいて用いるべきアニメーションデータを決定
する決定工程を更に備えることを特徴とする請求項11
に記載の情報処理方法。 - 【請求項15】 前記属性情報は、送信者を特定する情
報を含み、 前記決定工程は、前記データに記述された送信者情報に
基づいて適用すべきアニメーションデータを決定するこ
とを特徴とする請求項14に記載の情報処理方法。 - 【請求項16】 前記送信者を特定する情報は、送信者
の名前、性別、メールアドレスの何れかもしくは組み合
わせであることを特徴とする請求項15に記載の情報処
理方法。 - 【請求項17】 前記属性情報は、アニメーションデー
タの画像的特徴を示す情報を含み、 前記決定工程は、前記データに記述された画像的特徴に
基づいて適用すべきアニメーションを決定することを特
徴とする請求項14に記載の情報処理方法。 - 【請求項18】 前帰属性情報は、アニメーションデー
タが表す顔の特徴を示すことを特徴とする請求項17に
記載の情報処理方法。 - 【請求項19】 前記アニメーション制御情報は、前記
データ中において所定の記号で挟まれた部分に記述され
たテキスト列であることを特徴とする請求項11に記載
の情報処理方法。 - 【請求項20】 前記データ中よりテキスト列を抽出す
る抽出工程と、 前記抽出工程で抽出したテキスト列が前記所定の記号で
挟まれたテキスト列であるか否かに基づいて、当該テキ
スト列アニメーション制御用情報か否かを判定する判定
工程とを更に備え、 前記音声出力工程は、前記判定工程により前記抽出工程
で抽出したテキスト列がアニメーション制御用情報でな
いと判定された場合に、当該テキスト列に基づいて音声
合成をおこなって音声出力し、 前記表示制御工程は、前記判定工程により前記抽出工程
で抽出したテキスト列がアニメーション制御用情報であ
ると判定された場合に、当該テキスト列に基づいて前記
格納工程に格納されたアニメーションデータの表示を制
御することを特徴とする請求項19に記載の情報処理方
法。 - 【請求項21】 音声合成のためのテキスト列中にアニ
メーション制御情報が配されたデータを作成する作成手
段と、 前記作成手段で作成されたデータを送信する送信手段
と、 前記送信手段によって送信されたデータを受信する受信
手段と、 前記受信手段を備えた受信側装置において、アニメーシ
ョンデータを格納する格納手段と、 前記受信手段で受信したデータより音声合成のためのテ
キスト列を抽出し、抽出されたテキスト列に基づいて音
声合成をおこなって音声出力する音声出力手段と、 前記音声出力手段によって音声出力されているテキスト
列の位置と、前記アニメーション制御情報の位置とに基
づいて前記格納手段に格納されたアニメーションデータ
の表示を制御する表示制御手段とを備えることを特徴と
する情報伝送システム。 - 【請求項22】 音声合成のためのテキスト列中にアニ
メーション制御情報が配されたデータに基づいて、コン
ピュータに音声合成とアニメーション表示を行わせるた
めの制御プログラムを格納する記憶媒体であって、該制
御プログラムが、 音声合成のためのテキスト列中にアニメーション制御情
報が配されたデータを受信する受信工程のコードと、 アニメーションデータを格納する格納工程のコードと、 前記受信工程で受信したデータより音声合成のためのテ
キスト列を抽出し、抽出されたテキスト列に基づいて音
声合成をおこなって音声出力する音声出力工程のコード
と、 前記音声出力工程によって音声出力されているテキスト
列の位置と、前記アニメーション制御情報の位置とに基
づいて前記格納工程で格納されたアニメーションデータ
の表示を制御する表示制御工程のコードとを備えること
を特徴とする記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29728098A JP4266411B2 (ja) | 1998-10-19 | 1998-10-19 | 情報処理装置及びその制御方法、情報伝送システム、記憶媒体 |
US09/419,622 US6476815B1 (en) | 1998-10-19 | 1999-10-18 | Information processing apparatus and method and information transmission system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29728098A JP4266411B2 (ja) | 1998-10-19 | 1998-10-19 | 情報処理装置及びその制御方法、情報伝送システム、記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000123191A true JP2000123191A (ja) | 2000-04-28 |
JP4266411B2 JP4266411B2 (ja) | 2009-05-20 |
Family
ID=17844487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29728098A Expired - Fee Related JP4266411B2 (ja) | 1998-10-19 | 1998-10-19 | 情報処理装置及びその制御方法、情報伝送システム、記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6476815B1 (ja) |
JP (1) | JP4266411B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001061446A1 (fr) * | 2000-02-18 | 2001-08-23 | Sharp Kabushiki Kaisha | Systeme et dispositif de commande de donnees de representation, et support d'enregistrement du programme de ce systeme |
JP2002007279A (ja) * | 2000-06-22 | 2002-01-11 | Tecmo Ltd | 電子メール用送受信システムおよび電子メール用送受信プログラムを記録した媒体 |
EP1318658A2 (en) * | 2001-12-04 | 2003-06-11 | Fuji Photo Film Co., Ltd. | Method and apparatus for registering modification pattern of transmission image and method and apparatus for reproducing the same |
JP2003233616A (ja) * | 2002-02-13 | 2003-08-22 | Matsushita Electric Ind Co Ltd | 提供情報提示装置、および情報提供装置 |
JP2004234213A (ja) * | 2003-01-29 | 2004-08-19 | Victor Co Of Japan Ltd | コミュニケーションツール |
EP1535243A1 (en) * | 2002-07-31 | 2005-06-01 | Inchain Pty Limited | Animated messaging |
GB2421103A (en) * | 2004-12-01 | 2006-06-14 | Nec Corp | Controlling speech synthesis on a mobile device by detecting content information |
JP2008529403A (ja) * | 2005-02-15 | 2008-07-31 | エスケーテレコム株式会社 | 移動通信網における3dキャラクターを利用したニュース情報を提供する方法及びシステム |
JP2011158915A (ja) * | 2011-03-14 | 2011-08-18 | Seiko Epson Corp | 画像表示システム、画像表示装置、画像表示装置の制御方法、及び画像表示システムによる画像表示方法 |
JP2015125613A (ja) * | 2013-12-26 | 2015-07-06 | Kddi株式会社 | アニメーション生成装置、データフォーマット、アニメーション生成方法およびプログラム |
JP2021056906A (ja) * | 2019-09-30 | 2021-04-08 | 株式会社バーチャルキャスト | 記録装置、再生装置、システム、記録方法、再生方法、記録プログラム、再生プログラム |
JPWO2022079933A1 (ja) * | 2020-10-14 | 2022-04-21 |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9715516D0 (en) * | 1997-07-22 | 1997-10-01 | Orange Personal Comm Serv Ltd | Data communications |
US20120105740A1 (en) * | 2000-06-02 | 2012-05-03 | Oakley, Inc. | Eyewear with detachable adjustable electronics module |
US7349946B2 (en) * | 2000-10-02 | 2008-03-25 | Canon Kabushiki Kaisha | Information processing system |
US6990452B1 (en) | 2000-11-03 | 2006-01-24 | At&T Corp. | Method for sending multi-media messages using emoticons |
US7035803B1 (en) | 2000-11-03 | 2006-04-25 | At&T Corp. | Method for sending multi-media messages using customizable background images |
US20080040227A1 (en) | 2000-11-03 | 2008-02-14 | At&T Corp. | System and method of marketing using a multi-media communication system |
US7091976B1 (en) | 2000-11-03 | 2006-08-15 | At&T Corp. | System and method of customizing animated entities for use in a multi-media communication application |
US6963839B1 (en) | 2000-11-03 | 2005-11-08 | At&T Corp. | System and method of controlling sound in a multi-media communication application |
US6976082B1 (en) | 2000-11-03 | 2005-12-13 | At&T Corp. | System and method for receiving multi-media messages |
US7203648B1 (en) | 2000-11-03 | 2007-04-10 | At&T Corp. | Method for sending multi-media messages with customized audio |
EP1267532A3 (en) * | 2001-06-11 | 2007-03-21 | Qript one soft, Inc. | Messaging system |
JP3883904B2 (ja) | 2001-06-15 | 2007-02-21 | シャープ株式会社 | 表示装置及び表示システム |
US7013009B2 (en) | 2001-06-21 | 2006-03-14 | Oakley, Inc. | Eyeglasses with wireless communication features |
JP2003143256A (ja) * | 2001-10-30 | 2003-05-16 | Nec Corp | 端末装置と通信制御方法 |
US7671861B1 (en) * | 2001-11-02 | 2010-03-02 | At&T Intellectual Property Ii, L.P. | Apparatus and method of customizing animated entities for use in a multi-media communication application |
JP3939189B2 (ja) * | 2002-04-17 | 2007-07-04 | パナソニック コミュニケーションズ株式会社 | 情報処理装置、製品の組立工程表示用プログラム、及び製品の組立工程表示方法 |
TWI220234B (en) * | 2003-10-21 | 2004-08-11 | Ind Tech Res Inst | A method to simulate animated images for an object |
US7176956B2 (en) * | 2004-05-26 | 2007-02-13 | Motorola, Inc. | Video enhancement of an avatar |
CN101046956A (zh) * | 2006-03-28 | 2007-10-03 | 国际商业机器公司 | 交互式音效产生方法及系统 |
EP2095178B1 (en) | 2006-12-14 | 2015-08-12 | Oakley, Inc. | Wearable high resolution audio visual interface |
US7447996B1 (en) * | 2008-02-28 | 2008-11-04 | International Business Machines Corporation | System for using gender analysis of names to assign avatars in instant messaging applications |
CN102317980A (zh) * | 2009-02-18 | 2012-01-11 | 日本电气株式会社 | 动作对象控制装置、动作对象控制系统、动作对象控制方法及程序 |
JP2015515638A (ja) | 2012-02-17 | 2015-05-28 | オークリー インコーポレイテッド | 眼鏡類に電子デバイスを取り外し可能に連結するためのシステムおよび方法 |
EP2973533A4 (en) | 2013-03-15 | 2016-11-30 | Oakley Inc | ELECTRONIC ORNAMENTATION FOR EYEWEAR |
WO2014201213A1 (en) | 2013-06-12 | 2014-12-18 | Oakley, Inc. | Modular heads-up display system |
CN113010138B (zh) * | 2021-03-04 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 文章的语音播放方法、装置、设备及计算机可读存储介质 |
US11985246B2 (en) * | 2021-06-16 | 2024-05-14 | Meta Platforms, Inc. | Systems and methods for protecting identity metrics |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0612401A (ja) * | 1992-06-26 | 1994-01-21 | Fuji Xerox Co Ltd | 感情模擬装置 |
US6250928B1 (en) * | 1998-06-22 | 2001-06-26 | Massachusetts Institute Of Technology | Talking facial display method and apparatus |
US6230111B1 (en) * | 1998-08-06 | 2001-05-08 | Yamaha Hatsudoki Kabushiki Kaisha | Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object |
-
1998
- 1998-10-19 JP JP29728098A patent/JP4266411B2/ja not_active Expired - Fee Related
-
1999
- 1999-10-18 US US09/419,622 patent/US6476815B1/en not_active Expired - Fee Related
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001061446A1 (fr) * | 2000-02-18 | 2001-08-23 | Sharp Kabushiki Kaisha | Systeme et dispositif de commande de donnees de representation, et support d'enregistrement du programme de ce systeme |
JP2001228947A (ja) * | 2000-02-18 | 2001-08-24 | Sharp Corp | 表現データ制御システム、および、それを構成する表現データ制御装置、並びに、そのプログラムが記録された記録媒体 |
JP2002007279A (ja) * | 2000-06-22 | 2002-01-11 | Tecmo Ltd | 電子メール用送受信システムおよび電子メール用送受信プログラムを記録した媒体 |
JP4529243B2 (ja) * | 2000-06-22 | 2010-08-25 | テクモ株式会社 | 電子メール用送受信システムおよび電子メール用送受信プログラムを記録した媒体 |
EP1318658A3 (en) * | 2001-12-04 | 2005-06-08 | Fuji Photo Film Co., Ltd. | Method and apparatus for registering modification pattern of transmission image and method and apparatus for reproducing the same |
US7224851B2 (en) | 2001-12-04 | 2007-05-29 | Fujifilm Corporation | Method and apparatus for registering modification pattern of transmission image and method and apparatus for reproducing the same |
EP1318658A2 (en) * | 2001-12-04 | 2003-06-11 | Fuji Photo Film Co., Ltd. | Method and apparatus for registering modification pattern of transmission image and method and apparatus for reproducing the same |
JP2003233616A (ja) * | 2002-02-13 | 2003-08-22 | Matsushita Electric Ind Co Ltd | 提供情報提示装置、および情報提供装置 |
EP1535243A4 (en) * | 2002-07-31 | 2010-07-21 | Inchain Pty Ltd | ANIMATED MESSAGING |
EP1535243A1 (en) * | 2002-07-31 | 2005-06-01 | Inchain Pty Limited | Animated messaging |
US9135740B2 (en) | 2002-07-31 | 2015-09-15 | E-Clips Intelligent Agent Technologies Pty. Ltd. | Animated messaging |
KR101029743B1 (ko) | 2002-07-31 | 2011-04-20 | 인체인 피티와이 리미티드 | 애니메이티드 메시징 |
JP2004234213A (ja) * | 2003-01-29 | 2004-08-19 | Victor Co Of Japan Ltd | コミュニケーションツール |
GB2421103A (en) * | 2004-12-01 | 2006-06-14 | Nec Corp | Controlling speech synthesis on a mobile device by detecting content information |
GB2421103B (en) * | 2004-12-01 | 2007-12-27 | Nec Corp | Communication device and related content output method and supply system, distribution server and method |
JP2006155482A (ja) * | 2004-12-01 | 2006-06-15 | Nec Corp | 携帯型通信端末装置、コンテンツ出力方法、配信サーバとその方法、コンテンツ提供システムとその提供方法 |
JP2008529403A (ja) * | 2005-02-15 | 2008-07-31 | エスケーテレコム株式会社 | 移動通信網における3dキャラクターを利用したニュース情報を提供する方法及びシステム |
JP2011158915A (ja) * | 2011-03-14 | 2011-08-18 | Seiko Epson Corp | 画像表示システム、画像表示装置、画像表示装置の制御方法、及び画像表示システムによる画像表示方法 |
JP2015125613A (ja) * | 2013-12-26 | 2015-07-06 | Kddi株式会社 | アニメーション生成装置、データフォーマット、アニメーション生成方法およびプログラム |
JP2021056906A (ja) * | 2019-09-30 | 2021-04-08 | 株式会社バーチャルキャスト | 記録装置、再生装置、システム、記録方法、再生方法、記録プログラム、再生プログラム |
WO2021065868A1 (ja) * | 2019-09-30 | 2021-04-08 | 株式会社バーチャルキャスト | 記録装置、再生装置、システム、記録方法、再生方法、記録プログラム、再生プログラム |
CN114600449A (zh) * | 2019-09-30 | 2022-06-07 | 多玩国株式会社 | 记录装置、播放装置、系统、记录方法、播放方法、记录程序、播放程序 |
US11949847B2 (en) | 2019-09-30 | 2024-04-02 | Dwango Co., Ltd. | Recording device, reproduction device, system, recording method, reproduction method, recording program, and reproduction program |
CN114600449B (zh) * | 2019-09-30 | 2024-06-14 | 多玩国株式会社 | 记录装置、播放装置、系统、记录方法、播放方法、存储介质 |
JPWO2022079933A1 (ja) * | 2020-10-14 | 2022-04-21 | ||
WO2022079933A1 (ja) * | 2020-10-14 | 2022-04-21 | 住友電気工業株式会社 | コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム |
CN114787759A (zh) * | 2020-10-14 | 2022-07-22 | 住友电气工业株式会社 | 交流支持程序、交流支持方法、交流支持系统、终端装置以及非语言表达程序 |
JP7193015B2 (ja) | 2020-10-14 | 2022-12-20 | 住友電気工業株式会社 | コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム |
US11960792B2 (en) | 2020-10-14 | 2024-04-16 | Sumitomo Electric Industries, Ltd. | Communication assistance program, communication assistance method, communication assistance system, terminal device, and non-verbal expression program |
Also Published As
Publication number | Publication date |
---|---|
JP4266411B2 (ja) | 2009-05-20 |
US6476815B1 (en) | 2002-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4266411B2 (ja) | 情報処理装置及びその制御方法、情報伝送システム、記憶媒体 | |
JP3784289B2 (ja) | メディア編集方法及びその装置 | |
CN110968736B (zh) | 视频生成方法、装置、电子设备及存储介质 | |
JP6019108B2 (ja) | 文字に基づく映像生成 | |
JP4344658B2 (ja) | 音声合成機 | |
EP1269465B1 (en) | Character animation | |
US8588463B2 (en) | Method of facial image reproduction and related device | |
US20080275700A1 (en) | Method of and System for Modifying Messages | |
KR20180038318A (ko) | 자막 생성 시스템, 자막 생성 방법, 그리고 콘텐트 생성 프로그램 | |
US20010051535A1 (en) | Communication system and communication method using animation and server as well as terminal device used therefor | |
JP2014519082A5 (ja) | ||
KR950030647A (ko) | 화상통신장치 | |
JP2007101945A (ja) | 音声付き映像データ処理装置、音声付き映像データ処理方法及び音声付き映像データ処理用プログラム | |
US8553855B2 (en) | Conference support apparatus and conference support method | |
JP7072390B2 (ja) | 手話翻訳装置及びプログラム | |
JP5894505B2 (ja) | 画像コミュニケーションシステム、画像生成装置及びプログラム | |
JP2005062420A (ja) | コンテンツ生成システム、コンテンツ生成方法およびコンテンツ生成プログラム | |
KR20010017865A (ko) | 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법 | |
KR20190111642A (ko) | 실제 사진의 픽셀 기반의 토킹 헤드 애니메이션을 이용한 영상 처리 시스템 및 방법 | |
JP2005216087A (ja) | 電子メール受信装置及び電子メール送信装置 | |
JP7179387B1 (ja) | ハイライト動画生成システム、ハイライト動画生成方法、およびプログラム | |
JP2006039705A (ja) | コンテンツ作成装置、コンテンツ作成方法、及びコンテンツ作成システム | |
JP2007047291A (ja) | 音声通訳システムおよび音声通訳方法 | |
JP2001350704A (ja) | 電子装置、記憶媒体及びコンピュータプログラム | |
CN117372577A (zh) | 虚拟对象的口型图像生成方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051014 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20051014 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20051014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080617 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080722 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090206 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090217 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140227 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |