JP2000123191A - 情報処理装置及び方法及び情報伝送システム - Google Patents

情報処理装置及び方法及び情報伝送システム

Info

Publication number
JP2000123191A
JP2000123191A JP29728098A JP29728098A JP2000123191A JP 2000123191 A JP2000123191 A JP 2000123191A JP 29728098 A JP29728098 A JP 29728098A JP 29728098 A JP29728098 A JP 29728098A JP 2000123191 A JP2000123191 A JP 2000123191A
Authority
JP
Japan
Prior art keywords
animation
data
text string
information
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP29728098A
Other languages
English (en)
Other versions
JP4266411B2 (ja
Inventor
Tsutomu Ando
勉 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP29728098A priority Critical patent/JP4266411B2/ja
Priority to US09/419,622 priority patent/US6476815B1/en
Publication of JP2000123191A publication Critical patent/JP2000123191A/ja
Application granted granted Critical
Publication of JP4266411B2 publication Critical patent/JP4266411B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/2053D [Three Dimensional] animation driven by audio data
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】アニメーションデータによるアニメーション表
示とテキストデータによるテキスト読み上げとの間の同
期を容易かつ正確に行えるようにする。 【解決手段】レシーバ106はアニメーション制御情報
が配された音声合成のためのテキスト列とアニメーショ
ンデータからなるデータを受信する。デマルチプレクサ
107は、当該データからアニメーションデータを抽出
し、外部記憶装置105に格納する。また、デマルチプ
レクサ107は、受信したデータより音声合成のための
テキスト列を抽出し、これをテキスト読み上げ部112
に提供し、音声合成出力を行わせる。更に、デマルチプ
レクサ107は、音声合成処理の進行に合わせて、受信
したデータのテキスト列中からアニメーション制御情報
を抽出し、アニメータ108は、抽出されたアニメーシ
ョン制御情報に従って外部記憶装置115に格納された
アニメーションデータの表示を制御する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、情報処理装置及び
情報伝送システムに関し、特に音声用情報と画像用情報
の伝送、受信に好適な情報処理装置及び情報伝送システ
ムに関する。
【0002】
【従来の技術】従来より、TV会議やTV電話等のよう
な音声情報と画像情報の送受信を行う画像・音声伝送シ
ステムが知られている。
【0003】一般的な画像・音声伝送システムにおいて
は以下のような制御が行われる。まず、被写体をビデオ
カメラにより撮影して伝送すべき画像情報を獲得すると
ともに、マイクによって話者の音声を取り込むことによ
って伝送すべき音声情報を獲得する。伝送すべき画像情
報及び音声情報は、ビデオエンコーダ及びオーディオエ
ンコーダによってそれぞれ符号化(圧縮)される。こう
して圧縮された画像及び音声情報はマルチプレクサによ
って一本化され、圧縮一本化された画像・音声データが
伝送される。
【0004】一方、上述のようにして伝送された画像・
音声データを受信した情報処理装置は、デマルチプレク
サによって画像データと音声データに分離し、それぞれ
を復号化して画像及び音声を再生する。なお、再生時に
おいては、映像と音声の同期がとられる。
【0005】符号化の方式については色々な方式が用い
られるが、いずれにしろ上記の例は(圧縮された)自然
動画および音声データを伝送するものであり、TV会議
や、TV電話などで広く用いられている。
【0006】また、自然画動画データ及び音声データを
送信する代わりに、それらをアニメーションデータとテ
キストデータとして送信することも提案されている。例
えば、ビデオカメラで得られた画像から顔や体のアニメ
ーション情報を抽出し、抽象化されたアバタ(化身)を
作成してアニメーションデータとする。また、テキスト
データは、マイクによって入力された話者音声を認識し
てテキストに変換することで得る。そして、マルチプレ
クサによりアバタのアニメーションデータおよびテキス
トデータがマルチプレクスされ伝送される。
【0007】一方、受信側では、アニメーションデータ
に基づいて顔や体のアニメーション表示を実行するとと
もに、テキストデータを音声信号に変換して読み上げを
行う。当然ながら、アニメーションと音声の同期制御も
必要である。
【0008】以上の例は、伝送路の帯域(ビットレー
ト)が低いときなどに有効な手法である。
【0009】或いは、上記のアニメーションデータやテ
キストデータを、ビデオカメラやマイクを用いて取り込
むようなことを行わず、アニメーション作成器で、顔や
体の動きや喜怒哀楽を含むアニメーションデータを一か
ら作成したり、テキストエディタを用いて音声合成すべ
きテキストを編集したりするようにすることも考えられ
る。
【0010】
【発明を解決するための手段】しかしながら、上記の情
報伝送システムにおいては以下のような問題があった。
【0011】まず、自然動画や音声を圧縮して伝送する
方法では、伝走路の帯域が狭い(ビットレートが低い)
場合には対応しにくい。
【0012】一方、アニメーションデータとテキストデ
ータで情報伝送を行う方法は、ビットレートの低い伝送
路に好適であるが、アニメーションデータとテキストデ
ータはそれぞれ完全に独立しており、このためテキスト
を音声データに変換する際には、アニメーションとの同
期をとる必要があるが、アニメーションの表示とテキス
ト読み上げを正確に同期させるのは困難である。
【0013】本発明は上記の問題に鑑みてなされたもの
であり、その目的とするところは、アニメーションデー
タによるアニメーション表示とテキストデータによるテ
キスト読み上げとの間の同期を容易かつ正確に行えるよ
うにすることにある。
【0014】また、本発明の他の目的は、受信側でアニ
メーションデータを保持させておくことを可能とし、読
み上げのためのテキストの送信の度にアニメーションデ
ータを送信しなくても済むようにすることにある。
【0015】
【課題を解決するための手段】上記の目的を達成するた
めの本発明の一態様による情報処理装置は、例えば以下
の構成を備える。すなわち、音声合成のためのテキスト
列中にアニメーション制御情報が配されたデータを受信
する受信手段と、アニメーションデータを格納する格納
手段と、前記受信手段で受信したデータより音声合成の
ためのテキスト列を抽出し、抽出されたテキスト列に基
づいて音声合成をおこなって音声出力する音声出力手段
と、前記音声出力手段によって音声出力されているテキ
スト列の位置と、前記アニメーション制御情報の位置と
に基づいて前記格納手段に格納されたアニメーションデ
ータの表示を制御する表示制御手段とを備える。
【0016】また、本発明によれば上記情報処理装置に
おいて実現される情報処理方法が提供される。また、本
発明によれば該情報処理方法をコンピュータに実現させ
るための制御プログラムを格納する記憶媒体が提供され
る。更に、本発明によれば、上記情報処理装置を用いた
情報伝送システムが提供される。
【0017】
【発明の実施の形態】以下、添付の図面を参照して本発
明の好適な実施形態を説明する。
【0018】[第1の実施形態]図1は、本実施形態に
よる情報処理装置の構成例を示すブロック図である。図
1において、10は情報処理装置を指す。また、11は
CPUであり情報処理装置10の各種制御を実現する。
12はROMでありCPU11が実行する制御プログラ
ムや各種データを格納する。13はRAMであり、外部
記憶装置よりロードされたCPU11が実行するための
制御プログラムを格納したり、CPU11が各種制御を
実行するに際しての作業領域を提供したりする。
【0019】14は表示装置であり、CPU11の制御
により各種表示を実現する。15は入力装置であり、キ
ーボードやポインティングデバイス(マウス等)を含
む。また、16は音声合成装置、17は回線と情報処理
装置10を接続するためのインターフェース、18はバ
スである。
【0020】113はスピーカであり、音声合成装置1
6よりの音声出力を再生する。また、115は外部記憶
装置である。10’は情報処理装置10と回線を介して
接続された情報処理装置であり、上述したのと同様の構
成を備える。本実施形態では、情報処理装置10も情報
処理装置10’もともにデータ送信側及び受信側として
機能するものとする。
【0021】図2は第1の実施形態の情報伝送処理に関
る機能構成を説明するブロック図である。
【0022】まずデータ送信側の機能構成を説明する。
図2において、101は人物の顔や体のアニメーション
の元となる画像を生成する画像生成部である。画像とし
ては、送信者に似ている人物像を作成してもよいし、送
信者とは全く異なったアバタ画像であってもかまわな
い。いずれにしろ、ここでは、アニメーション自体を行
う必要性はなく、人物の骨格や特徴といった点を、静止
画で描画し、かつ、アニメーションを行うときに必要と
なる特徴点(目の位置、口の位置など)を決定してやる
だけで良い。
【0023】102はテキストエディタであり、音声合
成の対象となるテキストを編集する。テキスト編集は入
力装置15を用いて行えばよい。なお、ここで編集され
たテキストには、後述するように合成音声出力時のアニ
メーションを指定するアニメーションタグが含まれてい
る。103はマルチプレクサであり、画像とテキストを
マルチプレクスして、図3のような送信データを生成す
る。図3は第1の実施形態による送信データのデータ構
成例を示す図である。31〜33はアニメーションデー
タであり、後述するアニメーションタグと対応するもの
である。34はテキストデータであり、上述のテキスト
エディタ102によって作成されたものである。104
はトランスミッタであり、送信データを、指定された、
或いはデータ要求を行ってきた外部の情報処理装置に対
して送信する。
【0024】105は伝送路または回線を示す。なお、
伝送路の種類(アナログ、ディジタルなど)は特に限定
しない。
【0025】一方、受信側では上述の送信データを受信
して音声及び画像再生を行う。106はレシーバであ
り、回線105を介して送信されてきた上述の送信デー
タを受信する。107はデマルチプレクサであり、受信
した送信データをアニメーションデータ(図3の31〜
33)とテキスト(34)に分けるとともに、テキスト
34に関してはさらに後述するアニメーションタグ、読
み上げ(または表示)を行うためのテキスト情報及びヘ
ッダデータに選別する。
【0026】110は、送信データをデマルチプレクス
して得られたアニメーションデータおよびアニメーショ
ンタグ情報を表す。108はアニメータであり、アニメ
ーションデータおよびアニメーションタグ情報に基づい
てアニメーション処理を行い、モニタにアニメーション
表示を行う。111はテキスト表示部であり、読み上げ
を行うためのテキスト情報に基づいて表示を行う。11
2はテキスト読み上げ部であり、読み上げを行うテキス
ト情報に基づいて音声合成を行い、音声信号を出力す
る。113はスピーカであり、テキスト読み上げ部11
2より出力された音声信号により音声を再生する。
【0027】一方、デマルチプレクサによって選択され
たヘッダデータは、人物特定部114に送信され、テキ
スト読み上げ部112で採用する性別等を決定する。な
お、人物特定部114で決定される内容として、男女性
別の他に年齢などを入れてもよい。一方、アニメーショ
ンに必要なデータ(アニメーションデータ31〜33)
は、外部記憶装置115の(実際は磁気ディスクなど)
に記憶される。
【0028】図4はテキストデータの一例とテキスト抽
出例を示す図である。(a)に示すのは手紙文の例だ
が、本来のテキスト情報以外の情報は、タグと呼ばれる
<と>で囲まれて記述されている。このような表記はHT
ML(Hyper Text Markup Language)を摸した表記方法で
あるが、これは説明の便宜上用いた一例に過ぎず、他の
いかなるフォーマットを用いてもかまわない。
【0029】1〜4行目は、本文の内容とは異なる、受
信者のテキスト表示部やテキスト読み上げ部分では扱わ
れない、送信者の情報を記したヘッダである。1行目お
よび4行目では、それぞれヘッダ部と開始と終了を示し
ている。また、2行目では、<NAME>と</NAME>で囲まれ
た内部に、送信者の名前が記述されている。更に、3行
目では、<GENDER>と</GENDER>で囲まれた内部に性別が
記述されている。
【0030】5行目からは手紙の本文である。5行目
は、<SMILE>と</SMILE>で囲まれており、このタグで囲
まれるテキストを読み上げる際には、笑っているような
アニメーション効果をすることを示す。同様に、6行目
(<NORMAL>と</NORMAL>で囲まれた部分)は真顔、7行
目(<PAIN>と</PAIN>で囲まれた部分)は苦痛の表情を
示す。このように、テキストをタグで囲むことによっ
て、容易にアニメーション情報を伝達することができ、
さらには、アニメーションとテキスト読み上げ時の同期
をとることも可能になる。
【0031】なお、図4の(b)はテキスト表示部11
1によって表示される内容を示している。更に図4の
(c)はヘッダデータを示しており、本実施形態の人物
特定部114では、性別情報を用いて合成音声の種類
(たとえば男性の声)を決定している。
【0032】図5は第1の実施形態によるアニメーショ
ン表示と音声合成処理を説明するフローチャートであ
る。ステップS11においてレシーバ106が送信デー
タを受信すると、ステップS12においてデマルチプレ
クサ107が送信データをアニメーションとテキストに
分離する。そして、ステップS13において、分離され
たアニメーションを外部記憶装置115に格納する。
【0033】また、ステップS14では、ステップS1
2で分離されたテキストを、さらにヘッダと、読み上げ
用のテキストデータ及びアニメーションタグを含むテキ
スト本文とに分離する。そして、ステップS15では、
ステップS14で得られたヘッダ情報に基づき、合成音
声の性別等を決定する。
【0034】以降のステップS16〜ステップS20で
は、テキスト本文からアニメーションタグ、読み上げ用
テキストを抽出し、アニメーションとテキスト読み上げ
を行うとともに両者の同期を達成する。
【0035】まず、ステップS16では、テキスト本文
より文字列を取り込む。ここでは、例えば、 次に取り込むべき文字列が「<」で始まる場合は、
「>」が登場するまでの文字列を取り込む。 次に取り込むべき文字列が「<」以外で始まる場合
は、次の句読点や「?」までの文字列、或いは「<」の
直前までの文字列を取り込む。
【0036】ステップS17ではステップS16で取り
込んだデータが「<」と「>」で囲まれたアニメーション
タグであるか否かを判定し、アニメーションタグであれ
ばステップS19へ進み、当該アニメーションタグで示
されるアニメーションデータを選択してアニメータ10
8に提供する。アニメータ108は提供されたアニメー
ションデータに従ってアニメーションの表示制御を行
う。一方、抽出された文字列がアニメーションタグでな
ければ、ステップS18へ進み、当該文字列をテキスト
読み上げ部112へ提供することにより音声合成を行
う。
【0037】次にステップS20において、テキスト本
文中の全文字列について処理を終えたか否かを判定し、
未処理の文字列があればステップS16へ戻る。また、
すべての文字列について処理を終えていれば本処理を終
了する。
【0038】図6は、アニメーションとテキスト読み上
げの移行例を示す図である。図4に示すテキスト本文に
ついてステップS16以降の処理が適用されると、ま
ず、<SMILE>が読み出され、これはアニメーションタグ
であると判定される。そしてステップS19において<S
MILE>に相当するアニメーションを表示する。続いて、
「こんにちは。」が読み出され、今度はアニメーション
タグではないので、ステップS18において当該テキス
ト列をテキスト読み上げ部112へ提供する。この結
果、図6の(a)に示すように、<SMILE>に相当するア
ニメーションと、「こんにちは。」という音声出力が実
行される。
【0039】続いて抽出される文字列は「ご機嫌いかが
ですか?」であり、アニメーションタグではないので、
そのままのアニメーションを継続しながら「ご機嫌いか
がですか?」という音声合成を行う(ステップS1
9)。
【0040】更に、続いて、「</SMILE>」と「<NORMAL
>」が抽出され、ステップS19で真顔に対応するアニ
メーションが選択されて表示される。そして、これに続
く文字列が音声合成される(図6の(b))。以下、同
様の処理が繰り返された、図6の(c)、(d)に示す
アニメーションと音声合成が行われることになる。すな
わち、テキストの内容に応じて、順に、笑顔→真顔→泣
き顔→真顔と、顔のアニメーションが変化していく。
【0041】以上説明したように、第1の実施形態によ
れば、伝送するテキスト情報の中に、人間の顔や体の動
きや、喜怒哀楽を表現するアニメーション情報を重畳す
ることにより、アニメーション情報を容易に伝送・表示
したり、テキスト読み上げとアニメーション表示を容易
に同期させることが可能になる。
【0042】[第2の実施形態]上記第1の実施形態で
は、テキスト読み上げ時にアニメーションを表示するた
めのアニメーションデータを送信データに含ませている
が、アニメーションデータは予め受信側装置に用意され
ているものを用いるようにしてもよい。
【0043】図7は第2の実施形態による情報伝送処理
に関る機能構成を説明するブロック図である。図2に示
した第1の実施形態の機能構成と異なる点は、アニメー
ションデータを生成する画像生成部101が無く、外部
記憶装置415には予めアニメーションデータが格納さ
れている点である。図8は第2の実施形態におけるアニ
メーションデータの格納状態を示す図である。図8に示
されるように、喜怒哀楽を表すアニメーションデータの
セットに対して人物特定情報として用いられる属性(名
前、性別、メールアドレス)が対応づけられている。
【0044】図9は、第2の実施形態による情報処理装
置のデータ受信時の処理を説明するフローチャートであ
る。図9において、第1の実施形態(図5)と同様の処
理を行うステップには同一のステップ番号を付してあ
る。
【0045】ステップS11でデータを受信すると、ス
テップS31において、デマルチプレクサ107が受信
したテキストデータを本文とヘッダとに分離する。そし
てステップS32において、ステップS31で分離され
たヘッダに基づいて、発声者とアニメーションデータセ
ットを決定する。すなわち、ヘッダに含まれている名
前、性別、メールアドレスにより音声発生時に表示する
アニメーションデータを決定する。
【0046】以下、ステップS16〜S20は第1の実
施形態で説明したとおりである。なお、ステップS19
では、ステップS32で決定したアニメーションデータ
セットの中から表示すべきアニメーションデータが選択
されることとなる。
【0047】以上のように、第2の実施形態では、あら
かじめ、受信側の外部記憶装置415に蓄積されている
顔などのアニメーションデータを、送信者から送られた
人物特定情報に基づいて選択する。このため、送信側
は、毎回アニメーションデータを送信する必要はなく、
テキストとヘッダ・タグ情報のみを伝送するだけで、音
声合成出力とアニメーションの同期表示を行うことが可
能になる。
【0048】ここで、人物を特定する情報(名前、性
別、電子メールアドレスなど)はテキスト中に重畳され
る。一方、受信側においては、あらかじめ外部記憶装置
415に蓄積されていた特定人物の情報と照合し、合致
したアニメーションに必要な静止画像を抽出する。この
ため、送信側では、人間の顔や体の静止画を送信する必
要がなくなり、動きや、喜怒哀楽を表現するアニメーシ
ョン情報だけを伝送すれば良くなる。
【0049】[第3の実施形態]第2の実施形態では、
テキストデータに埋め込まれている性別や名前、メール
アドレスから適用するアニメーションデータを決定し
た。しかしながら、このような決定方法では、送信者の
名前等とアニメーションデータを予め結びつけておく必
要があり、不特定多数の送信者に対応することはできな
い。そこで、第3の実施形態では、適用すべきアニメー
ションのアバタに対してより一般的な属性を付与し、不
特定多数の送信者からのデータに対応可能とする。
【0050】図10は第3の実施形態によるテキストデ
ータの一部を示す図である。<HEAD>.....</HEAD>間はテ
キストのヘッダ部であり、図4の例と同じく送信者情報
を示す。また、これに続く<AVATAR>.....</AVATAR>は、
アバタの情報を示すタグである。本例では、<FACE>タグ
で細身の顔を、<HAIR>タグで長髪を、<EYE>タグで青い
目を、<OPTION>タグで眼鏡を着用していることを示す。
【0051】図11は第3の実施形態によるアニメーシ
ョンデータの格納例を示す図である。図11に示される
ように、喜怒哀楽を表すアニメーションデータの各セッ
トに対して顔の形状(<FACE>)、髪の毛の長さや色(<H
AIR>)、目の色(<EYE>)、眼鏡の有無(<OPTION>)等
を示す属性が付与されている。従って、アニメーション
表示に際しては、受信したテキストデータに含まれる<A
VATAR>と</AVATAR>で囲まれたアバタの情報から適切な
アニメーションのセットを選択し、これを表示する。す
なわち、これらのアバタ情報にもっとも適した画像を外
部記憶装置415から選択して読み出すことによって、
容易にアニメーションを行うことができる。
【0052】なお、第3の実施形態の処理は第2の実施
形態(図9)と類似のものとなる。異なる点は、ステッ
プS31においてテキストデータ本文とヘッダに加え
て、<AVATAR>と</AVATAR>で記述され
た属性情報を取得し、ステップS32において、この属
性情報に基づいて図11で示されるデータを検索し、使
用すべきアニメーションデータを決定することである。
【0053】なお、本データは、あくまでアバタの特徴
を決定付けるもので、必ずしも送信者の特徴を示すもの
なくてもかまわないことは明白である。
【0054】なお、本発明は、複数の機器(例えばホス
トコンピュータ,インタフェイス機器,リーダ,プリン
タなど)から構成されるシステムに適用しても、一つの
機器からなる装置(例えば、複写機,ファクシミリ装置
など)に適用してもよい。
【0055】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
【0056】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
【0057】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク,ハードディス
ク,光ディスク,光磁気ディスク,CD−ROM,CD
−R,磁気テープ,不揮発性のメモリカード,ROMな
どを用いることができる。
【0058】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
【0059】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【0060】
【発明の効果】以上説明したように本発明によれば、ア
ニメーションデータによるアニメーション表示とテキス
トデータによるテキスト読み上げとの間の同期を容易か
つ正確に行えるようになる。
【0061】この結果、簡単な手順で、しかも、非常に
低レートの伝送路においても、顔や体のアニメーション
を伴った、画像・テキストの伝送を行うことが可能とな
るという効果が得られる。
【0062】また、本発明によれば、受信側でアニメー
ションデータを保持させておくことが可能となり、読み
上げのためのテキストの送信の度にアニメーションデー
タを送信しなくても済むようになる。
【図面の簡単な説明】
【図1】本実施形態による情報処理装置の構成例を示す
ブロック図である。
【図2】第1の実施形態の情報伝送処理に関る機能構成
を説明するブロック図である。
【図3】第1の実施形態による送信データのデータ構成
例を示す図である。
【図4】テキストデータの一例とテキスト抽出例を示す
図である。
【図5】第1の実施形態によるアニメーション表示と音
声合成処理を説明するフローチャートである。
【図6】アニメーションとテキスト読み上げの移行例を
示す図である。
【図7】第2の実施形態による情報伝送処理に関る機能
構成を説明するブロック図である。
【図8】第2の実施形態におけるアニメーションデータ
の格納状態を示す図である。
【図9】第2の実施形態によるアニメーション表示と音
声合成処理を説明するフローチャートである。
【図10】第3の実施形態によるテキストデータの一部
を示す図である。
【図11】第3の実施形態によるアニメーションデータ
の格納例を示す図である。
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B050 BA08 BA12 BA16 CA05 EA20 EA24 FA02 FA10 5C082 AA31 AA34 BA12 BA43 BB01 BB53 CB01 DA73 DA87 MM02 MM05 MM07 5E501 AB02 AB16 AB20 BA20 CA02 CA08 CB02 CB09 EA32 EB05 FA13 FA15 FA32 FB25

Claims (22)

    【特許請求の範囲】
  1. 【請求項1】 音声合成のためのテキスト列中にアニメ
    ーション制御情報が配されたデータを受信する受信手段
    と、 アニメーションデータを格納する格納手段と、 前記受信手段で受信したデータより音声合成のためのテ
    キスト列を抽出し、抽出されたテキスト列に基づいて音
    声合成をおこなって音声出力する音声出力手段と、 前記音声出力手段によって音声出力されているテキスト
    列の位置と、前記アニメーション制御情報の位置とに基
    づいて前記格納手段に格納されたアニメーションデータ
    の表示を制御する表示制御手段とを備えることを特徴と
    する情報処理装置。
  2. 【請求項2】 前記アニメーション制御情報は、用いる
    べきアニメーションの表情を特定することを特徴とする
    請求項1に記載の情報処理装置。
  3. 【請求項3】 前記受信手段において受信されるデータ
    は、アニメーションデータを含み、 前記格納手段は、前記受信手段で受信されたデータから
    アニメーションデータを抽出して格納することを特徴と
    する請求項1に記載の情報処理装置。
  4. 【請求項4】 前記格納手段は、アニメーションデータ
    に属性情報を対応づけて格納し、 前記受信手段で受信したデータによって指定される属性
    情報に基づいて用いるべきアニメーションデータを決定
    する決定手段を更に備えることを特徴とする請求項1に
    記載の情報処理装置。
  5. 【請求項5】 前記属性情報は、送信者を特定する情報
    を含み、 前記決定手段は、前記データに記述された送信者情報に
    基づいて適用すべきアニメーションデータを決定するこ
    とを特徴とする請求項4に記載の情報処理装置。
  6. 【請求項6】 前記送信者を特定する情報は、送信者の
    名前、性別、メールアドレスの何れかもしくは組み合わ
    せであることを特徴とする請求項5に記載の情報処理装
    置。
  7. 【請求項7】 前記属性情報は、アニメーションデータ
    の画像的特徴を示す情報を含み、 前記決定手段は、前記データに記述された画像的特徴に
    基づいて適用すべきアニメーションを決定することを特
    徴とする請求項4に記載の情報処理装置。
  8. 【請求項8】 前帰属性情報は、アニメーションデータ
    が表す顔の特徴を示すことを特徴とする請求項7に記載
    の情報処理装置。
  9. 【請求項9】 前記アニメーション制御情報は、前記デ
    ータ中において所定の記号で挟まれた部分に記述された
    テキスト列であることを特徴とする請求項1に記載の情
    報処理装置。
  10. 【請求項10】 前記データ中よりテキスト列を抽出す
    る抽出手段と、 前記抽出手段で抽出したテキスト列が前記所定の記号で
    挟まれたテキスト列であるか否かに基づいて、当該テキ
    スト列アニメーション制御用情報か否かを判定する判定
    手段とを更に備え、 前記音声出力手段は、前記判定手段により前記抽出手段
    で抽出したテキスト列がアニメーション制御用情報でな
    いと判定された場合に、当該テキスト列に基づいて音声
    合成をおこなって音声出力し、 前記表示制御手段は、前記判定手段により前記抽出手段
    で抽出したテキスト列がアニメーション制御用情報であ
    ると判定された場合に、当該テキスト列に基づいて前記
    格納手段に格納されたアニメーションデータの表示を制
    御することを特徴とする請求項9に記載の情報処理装
    置。
  11. 【請求項11】 音声合成のためのテキスト列中にアニ
    メーション制御情報が配されたデータを受信する受信工
    程と、 アニメーションデータを格納する格納工程と、 前記受信工程で受信したデータより音声合成のためのテ
    キスト列を抽出し、抽出されたテキスト列に基づいて音
    声合成をおこなって音声出力する音声出力工程と、 前記音声出力工程によって音声出力されているテキスト
    列の位置と、前記アニメーション制御情報の位置とに基
    づいて前記格納工程で格納されたアニメーションデータ
    の表示を制御する表示制御工程とを備えることを特徴と
    する情報処理方法。
  12. 【請求項12】 前記アニメーション制御情報は、用い
    るべきアニメーションの表情を特定することを特徴とす
    る請求項11に記載の情報処理方法。
  13. 【請求項13】 前記受信工程において受信されるデー
    タは、アニメーションデータを含み、 前記格納工程は、前記受信工程で受信されたデータから
    アニメーションデータを抽出して格納することを特徴と
    する請求項11に記載の情報処理方法。
  14. 【請求項14】 前記格納工程は、アニメーションデー
    タに属性情報を対応づけて格納し、 前記受信工程で受信したデータによって指定される属性
    情報に基づいて用いるべきアニメーションデータを決定
    する決定工程を更に備えることを特徴とする請求項11
    に記載の情報処理方法。
  15. 【請求項15】 前記属性情報は、送信者を特定する情
    報を含み、 前記決定工程は、前記データに記述された送信者情報に
    基づいて適用すべきアニメーションデータを決定するこ
    とを特徴とする請求項14に記載の情報処理方法。
  16. 【請求項16】 前記送信者を特定する情報は、送信者
    の名前、性別、メールアドレスの何れかもしくは組み合
    わせであることを特徴とする請求項15に記載の情報処
    理方法。
  17. 【請求項17】 前記属性情報は、アニメーションデー
    タの画像的特徴を示す情報を含み、 前記決定工程は、前記データに記述された画像的特徴に
    基づいて適用すべきアニメーションを決定することを特
    徴とする請求項14に記載の情報処理方法。
  18. 【請求項18】 前帰属性情報は、アニメーションデー
    タが表す顔の特徴を示すことを特徴とする請求項17に
    記載の情報処理方法。
  19. 【請求項19】 前記アニメーション制御情報は、前記
    データ中において所定の記号で挟まれた部分に記述され
    たテキスト列であることを特徴とする請求項11に記載
    の情報処理方法。
  20. 【請求項20】 前記データ中よりテキスト列を抽出す
    る抽出工程と、 前記抽出工程で抽出したテキスト列が前記所定の記号で
    挟まれたテキスト列であるか否かに基づいて、当該テキ
    スト列アニメーション制御用情報か否かを判定する判定
    工程とを更に備え、 前記音声出力工程は、前記判定工程により前記抽出工程
    で抽出したテキスト列がアニメーション制御用情報でな
    いと判定された場合に、当該テキスト列に基づいて音声
    合成をおこなって音声出力し、 前記表示制御工程は、前記判定工程により前記抽出工程
    で抽出したテキスト列がアニメーション制御用情報であ
    ると判定された場合に、当該テキスト列に基づいて前記
    格納工程に格納されたアニメーションデータの表示を制
    御することを特徴とする請求項19に記載の情報処理方
    法。
  21. 【請求項21】 音声合成のためのテキスト列中にアニ
    メーション制御情報が配されたデータを作成する作成手
    段と、 前記作成手段で作成されたデータを送信する送信手段
    と、 前記送信手段によって送信されたデータを受信する受信
    手段と、 前記受信手段を備えた受信側装置において、アニメーシ
    ョンデータを格納する格納手段と、 前記受信手段で受信したデータより音声合成のためのテ
    キスト列を抽出し、抽出されたテキスト列に基づいて音
    声合成をおこなって音声出力する音声出力手段と、 前記音声出力手段によって音声出力されているテキスト
    列の位置と、前記アニメーション制御情報の位置とに基
    づいて前記格納手段に格納されたアニメーションデータ
    の表示を制御する表示制御手段とを備えることを特徴と
    する情報伝送システム。
  22. 【請求項22】 音声合成のためのテキスト列中にアニ
    メーション制御情報が配されたデータに基づいて、コン
    ピュータに音声合成とアニメーション表示を行わせるた
    めの制御プログラムを格納する記憶媒体であって、該制
    御プログラムが、 音声合成のためのテキスト列中にアニメーション制御情
    報が配されたデータを受信する受信工程のコードと、 アニメーションデータを格納する格納工程のコードと、 前記受信工程で受信したデータより音声合成のためのテ
    キスト列を抽出し、抽出されたテキスト列に基づいて音
    声合成をおこなって音声出力する音声出力工程のコード
    と、 前記音声出力工程によって音声出力されているテキスト
    列の位置と、前記アニメーション制御情報の位置とに基
    づいて前記格納工程で格納されたアニメーションデータ
    の表示を制御する表示制御工程のコードとを備えること
    を特徴とする記憶媒体。
JP29728098A 1998-10-19 1998-10-19 情報処理装置及びその制御方法、情報伝送システム、記憶媒体 Expired - Fee Related JP4266411B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP29728098A JP4266411B2 (ja) 1998-10-19 1998-10-19 情報処理装置及びその制御方法、情報伝送システム、記憶媒体
US09/419,622 US6476815B1 (en) 1998-10-19 1999-10-18 Information processing apparatus and method and information transmission system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29728098A JP4266411B2 (ja) 1998-10-19 1998-10-19 情報処理装置及びその制御方法、情報伝送システム、記憶媒体

Publications (2)

Publication Number Publication Date
JP2000123191A true JP2000123191A (ja) 2000-04-28
JP4266411B2 JP4266411B2 (ja) 2009-05-20

Family

ID=17844487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29728098A Expired - Fee Related JP4266411B2 (ja) 1998-10-19 1998-10-19 情報処理装置及びその制御方法、情報伝送システム、記憶媒体

Country Status (2)

Country Link
US (1) US6476815B1 (ja)
JP (1) JP4266411B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001061446A1 (fr) * 2000-02-18 2001-08-23 Sharp Kabushiki Kaisha Systeme et dispositif de commande de donnees de representation, et support d'enregistrement du programme de ce systeme
JP2002007279A (ja) * 2000-06-22 2002-01-11 Tecmo Ltd 電子メール用送受信システムおよび電子メール用送受信プログラムを記録した媒体
EP1318658A2 (en) * 2001-12-04 2003-06-11 Fuji Photo Film Co., Ltd. Method and apparatus for registering modification pattern of transmission image and method and apparatus for reproducing the same
JP2003233616A (ja) * 2002-02-13 2003-08-22 Matsushita Electric Ind Co Ltd 提供情報提示装置、および情報提供装置
JP2004234213A (ja) * 2003-01-29 2004-08-19 Victor Co Of Japan Ltd コミュニケーションツール
EP1535243A1 (en) * 2002-07-31 2005-06-01 Inchain Pty Limited Animated messaging
GB2421103A (en) * 2004-12-01 2006-06-14 Nec Corp Controlling speech synthesis on a mobile device by detecting content information
JP2008529403A (ja) * 2005-02-15 2008-07-31 エスケーテレコム株式会社 移動通信網における3dキャラクターを利用したニュース情報を提供する方法及びシステム
JP2011158915A (ja) * 2011-03-14 2011-08-18 Seiko Epson Corp 画像表示システム、画像表示装置、画像表示装置の制御方法、及び画像表示システムによる画像表示方法
JP2015125613A (ja) * 2013-12-26 2015-07-06 Kddi株式会社 アニメーション生成装置、データフォーマット、アニメーション生成方法およびプログラム
JP2021056906A (ja) * 2019-09-30 2021-04-08 株式会社バーチャルキャスト 記録装置、再生装置、システム、記録方法、再生方法、記録プログラム、再生プログラム
JPWO2022079933A1 (ja) * 2020-10-14 2022-04-21

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9715516D0 (en) * 1997-07-22 1997-10-01 Orange Personal Comm Serv Ltd Data communications
US20120105740A1 (en) * 2000-06-02 2012-05-03 Oakley, Inc. Eyewear with detachable adjustable electronics module
US7349946B2 (en) * 2000-10-02 2008-03-25 Canon Kabushiki Kaisha Information processing system
US6990452B1 (en) 2000-11-03 2006-01-24 At&T Corp. Method for sending multi-media messages using emoticons
US7035803B1 (en) 2000-11-03 2006-04-25 At&T Corp. Method for sending multi-media messages using customizable background images
US20080040227A1 (en) 2000-11-03 2008-02-14 At&T Corp. System and method of marketing using a multi-media communication system
US7091976B1 (en) 2000-11-03 2006-08-15 At&T Corp. System and method of customizing animated entities for use in a multi-media communication application
US6963839B1 (en) 2000-11-03 2005-11-08 At&T Corp. System and method of controlling sound in a multi-media communication application
US6976082B1 (en) 2000-11-03 2005-12-13 At&T Corp. System and method for receiving multi-media messages
US7203648B1 (en) 2000-11-03 2007-04-10 At&T Corp. Method for sending multi-media messages with customized audio
EP1267532A3 (en) * 2001-06-11 2007-03-21 Qript one soft, Inc. Messaging system
JP3883904B2 (ja) 2001-06-15 2007-02-21 シャープ株式会社 表示装置及び表示システム
US7013009B2 (en) 2001-06-21 2006-03-14 Oakley, Inc. Eyeglasses with wireless communication features
JP2003143256A (ja) * 2001-10-30 2003-05-16 Nec Corp 端末装置と通信制御方法
US7671861B1 (en) * 2001-11-02 2010-03-02 At&T Intellectual Property Ii, L.P. Apparatus and method of customizing animated entities for use in a multi-media communication application
JP3939189B2 (ja) * 2002-04-17 2007-07-04 パナソニック コミュニケーションズ株式会社 情報処理装置、製品の組立工程表示用プログラム、及び製品の組立工程表示方法
TWI220234B (en) * 2003-10-21 2004-08-11 Ind Tech Res Inst A method to simulate animated images for an object
US7176956B2 (en) * 2004-05-26 2007-02-13 Motorola, Inc. Video enhancement of an avatar
CN101046956A (zh) * 2006-03-28 2007-10-03 国际商业机器公司 交互式音效产生方法及系统
EP2095178B1 (en) 2006-12-14 2015-08-12 Oakley, Inc. Wearable high resolution audio visual interface
US7447996B1 (en) * 2008-02-28 2008-11-04 International Business Machines Corporation System for using gender analysis of names to assign avatars in instant messaging applications
CN102317980A (zh) * 2009-02-18 2012-01-11 日本电气株式会社 动作对象控制装置、动作对象控制系统、动作对象控制方法及程序
JP2015515638A (ja) 2012-02-17 2015-05-28 オークリー インコーポレイテッド 眼鏡類に電子デバイスを取り外し可能に連結するためのシステムおよび方法
EP2973533A4 (en) 2013-03-15 2016-11-30 Oakley Inc ELECTRONIC ORNAMENTATION FOR EYEWEAR
WO2014201213A1 (en) 2013-06-12 2014-12-18 Oakley, Inc. Modular heads-up display system
CN113010138B (zh) * 2021-03-04 2023-04-07 腾讯科技(深圳)有限公司 文章的语音播放方法、装置、设备及计算机可读存储介质
US11985246B2 (en) * 2021-06-16 2024-05-14 Meta Platforms, Inc. Systems and methods for protecting identity metrics

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0612401A (ja) * 1992-06-26 1994-01-21 Fuji Xerox Co Ltd 感情模擬装置
US6250928B1 (en) * 1998-06-22 2001-06-26 Massachusetts Institute Of Technology Talking facial display method and apparatus
US6230111B1 (en) * 1998-08-06 2001-05-08 Yamaha Hatsudoki Kabushiki Kaisha Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001061446A1 (fr) * 2000-02-18 2001-08-23 Sharp Kabushiki Kaisha Systeme et dispositif de commande de donnees de representation, et support d'enregistrement du programme de ce systeme
JP2001228947A (ja) * 2000-02-18 2001-08-24 Sharp Corp 表現データ制御システム、および、それを構成する表現データ制御装置、並びに、そのプログラムが記録された記録媒体
JP2002007279A (ja) * 2000-06-22 2002-01-11 Tecmo Ltd 電子メール用送受信システムおよび電子メール用送受信プログラムを記録した媒体
JP4529243B2 (ja) * 2000-06-22 2010-08-25 テクモ株式会社 電子メール用送受信システムおよび電子メール用送受信プログラムを記録した媒体
EP1318658A3 (en) * 2001-12-04 2005-06-08 Fuji Photo Film Co., Ltd. Method and apparatus for registering modification pattern of transmission image and method and apparatus for reproducing the same
US7224851B2 (en) 2001-12-04 2007-05-29 Fujifilm Corporation Method and apparatus for registering modification pattern of transmission image and method and apparatus for reproducing the same
EP1318658A2 (en) * 2001-12-04 2003-06-11 Fuji Photo Film Co., Ltd. Method and apparatus for registering modification pattern of transmission image and method and apparatus for reproducing the same
JP2003233616A (ja) * 2002-02-13 2003-08-22 Matsushita Electric Ind Co Ltd 提供情報提示装置、および情報提供装置
EP1535243A4 (en) * 2002-07-31 2010-07-21 Inchain Pty Ltd ANIMATED MESSAGING
EP1535243A1 (en) * 2002-07-31 2005-06-01 Inchain Pty Limited Animated messaging
US9135740B2 (en) 2002-07-31 2015-09-15 E-Clips Intelligent Agent Technologies Pty. Ltd. Animated messaging
KR101029743B1 (ko) 2002-07-31 2011-04-20 인체인 피티와이 리미티드 애니메이티드 메시징
JP2004234213A (ja) * 2003-01-29 2004-08-19 Victor Co Of Japan Ltd コミュニケーションツール
GB2421103A (en) * 2004-12-01 2006-06-14 Nec Corp Controlling speech synthesis on a mobile device by detecting content information
GB2421103B (en) * 2004-12-01 2007-12-27 Nec Corp Communication device and related content output method and supply system, distribution server and method
JP2006155482A (ja) * 2004-12-01 2006-06-15 Nec Corp 携帯型通信端末装置、コンテンツ出力方法、配信サーバとその方法、コンテンツ提供システムとその提供方法
JP2008529403A (ja) * 2005-02-15 2008-07-31 エスケーテレコム株式会社 移動通信網における3dキャラクターを利用したニュース情報を提供する方法及びシステム
JP2011158915A (ja) * 2011-03-14 2011-08-18 Seiko Epson Corp 画像表示システム、画像表示装置、画像表示装置の制御方法、及び画像表示システムによる画像表示方法
JP2015125613A (ja) * 2013-12-26 2015-07-06 Kddi株式会社 アニメーション生成装置、データフォーマット、アニメーション生成方法およびプログラム
JP2021056906A (ja) * 2019-09-30 2021-04-08 株式会社バーチャルキャスト 記録装置、再生装置、システム、記録方法、再生方法、記録プログラム、再生プログラム
WO2021065868A1 (ja) * 2019-09-30 2021-04-08 株式会社バーチャルキャスト 記録装置、再生装置、システム、記録方法、再生方法、記録プログラム、再生プログラム
CN114600449A (zh) * 2019-09-30 2022-06-07 多玩国株式会社 记录装置、播放装置、系统、记录方法、播放方法、记录程序、播放程序
US11949847B2 (en) 2019-09-30 2024-04-02 Dwango Co., Ltd. Recording device, reproduction device, system, recording method, reproduction method, recording program, and reproduction program
CN114600449B (zh) * 2019-09-30 2024-06-14 多玩国株式会社 记录装置、播放装置、系统、记录方法、播放方法、存储介质
JPWO2022079933A1 (ja) * 2020-10-14 2022-04-21
WO2022079933A1 (ja) * 2020-10-14 2022-04-21 住友電気工業株式会社 コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム
CN114787759A (zh) * 2020-10-14 2022-07-22 住友电气工业株式会社 交流支持程序、交流支持方法、交流支持系统、终端装置以及非语言表达程序
JP7193015B2 (ja) 2020-10-14 2022-12-20 住友電気工業株式会社 コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム
US11960792B2 (en) 2020-10-14 2024-04-16 Sumitomo Electric Industries, Ltd. Communication assistance program, communication assistance method, communication assistance system, terminal device, and non-verbal expression program

Also Published As

Publication number Publication date
JP4266411B2 (ja) 2009-05-20
US6476815B1 (en) 2002-11-05

Similar Documents

Publication Publication Date Title
JP4266411B2 (ja) 情報処理装置及びその制御方法、情報伝送システム、記憶媒体
JP3784289B2 (ja) メディア編集方法及びその装置
CN110968736B (zh) 视频生成方法、装置、电子设备及存储介质
JP6019108B2 (ja) 文字に基づく映像生成
JP4344658B2 (ja) 音声合成機
EP1269465B1 (en) Character animation
US8588463B2 (en) Method of facial image reproduction and related device
US20080275700A1 (en) Method of and System for Modifying Messages
KR20180038318A (ko) 자막 생성 시스템, 자막 생성 방법, 그리고 콘텐트 생성 프로그램
US20010051535A1 (en) Communication system and communication method using animation and server as well as terminal device used therefor
JP2014519082A5 (ja)
KR950030647A (ko) 화상통신장치
JP2007101945A (ja) 音声付き映像データ処理装置、音声付き映像データ処理方法及び音声付き映像データ処理用プログラム
US8553855B2 (en) Conference support apparatus and conference support method
JP7072390B2 (ja) 手話翻訳装置及びプログラム
JP5894505B2 (ja) 画像コミュニケーションシステム、画像生成装置及びプログラム
JP2005062420A (ja) コンテンツ生成システム、コンテンツ生成方法およびコンテンツ生成プログラム
KR20010017865A (ko) 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법
KR20190111642A (ko) 실제 사진의 픽셀 기반의 토킹 헤드 애니메이션을 이용한 영상 처리 시스템 및 방법
JP2005216087A (ja) 電子メール受信装置及び電子メール送信装置
JP7179387B1 (ja) ハイライト動画生成システム、ハイライト動画生成方法、およびプログラム
JP2006039705A (ja) コンテンツ作成装置、コンテンツ作成方法、及びコンテンツ作成システム
JP2007047291A (ja) 音声通訳システムおよび音声通訳方法
JP2001350704A (ja) 電子装置、記憶媒体及びコンピュータプログラム
CN117372577A (zh) 虚拟对象的口型图像生成方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051014

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20051014

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20051014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080617

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080722

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090217

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140227

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees