JP2001339529A - 通信端末装置 - Google Patents

通信端末装置

Info

Publication number
JP2001339529A
JP2001339529A JP2000160052A JP2000160052A JP2001339529A JP 2001339529 A JP2001339529 A JP 2001339529A JP 2000160052 A JP2000160052 A JP 2000160052A JP 2000160052 A JP2000160052 A JP 2000160052A JP 2001339529 A JP2001339529 A JP 2001339529A
Authority
JP
Japan
Prior art keywords
data
voice
character
communication
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000160052A
Other languages
English (en)
Other versions
JP3953258B2 (ja
Inventor
Takeshi Ogawa
毅 小河
Toru Watsuji
徹 和辻
Noriko Oba
紀子 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2000160052A priority Critical patent/JP3953258B2/ja
Publication of JP2001339529A publication Critical patent/JP2001339529A/ja
Application granted granted Critical
Publication of JP3953258B2 publication Critical patent/JP3953258B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

(57)【要約】 【課題】 文書や音声でのコミュニケーションをより円
滑に行うことができるようにした通信端末装置を提供す
る。 【解決手段】 複数種類の画像データ、及び、各画像デ
ータ毎に割り当てられたコードを記憶している記憶部9
と、画像データに割り当てられたコードが画像選択用デ
ータとして通信相手に送信されるように制御するととも
に、通信相手から画像選択用データとして受信したコー
ドが割り当てられている画像データが記憶部9から読み
出されて液晶表示部8に表示されるように制御する制御
部7−1を設ける。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、携帯電話装置、携
帯情報端末装置などの送信機能と受信機能との少なくと
も一方を備えた通信端末装置に関するものである。
【0002】
【従来の技術】実開平6−62664号公報に開示され
ているファックス機能付き携帯電話のように、従来か
ら、静止画または動画を伝送するFAX電話、TV電話
などの通信端末装置が存在する。
【0003】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の装置では、画像データそのものを伝送してい
たため、伝送データ量が大きくなり、現行のアナログ、
デジタル回線ではリアルタイムに伝送することが難し
い。具体的には、VGA(640×480ドット、約3
0万画素)程度の画像データであっても、フルカラーで
は膨大なデータ量となる。同時発色数を256色に落と
しても1画面が300kbyteのデータとなり、32
kbpsの速度で伝送しても、10秒近くかかってしま
う。このように、リアルタイムでの伝送ができないの
で、コミュニケーションを円滑に行うことができなかっ
た。
【0004】そこで、本発明は、文書や音声でのコミュ
ニケーションをより円滑に行うことができるようにした
通信端末装置を提供することを目的とする。
【0005】
【課題を解決するための手段】上記の目的を達成するた
め、本発明の通信端末装置では、画像データに割り当て
られたコードを画像選択用データとして通信相手に送信
する第1の手段と、通信相手が画像選択用データとして
送信してきたコードが割り当てられている画像データを
複数種類の画像データを記憶している記憶手段から読み
出して表示する第2の手段との少なくとも一方を備えて
いる。この構成により、伝送データ量を大幅に増加させ
ることなく、文書や音声でのコミュニケーションに画像
を付け加えることができるようになる。
【0006】また、前記画像選択用データとして送信す
るコードを、通信データの特性に応じて決定するように
すれば、例えば、話者の声の大きさに応じて対話者側の
装置に表示される画像を変化させることができるように
なる。
【0007】また、前記画像選択用データとして送信す
るコードを、入力されるデータに応じて決定するように
すれば、例えば、話者が移動中であるか静止しているか
によって、また、移動中であるときにはその移動速度に
よって、対話者側の装置に表示される画像を変化させる
ことができるようになる。
【0008】
【発明の実施の形態】以下に、本発明の実施形態を図面
を参照しながら説明する。図1は本発明の第1実施形態
である携帯電話装置のブロック図である。マイク1は入
力された音声を電気信号に変換する。マイク1で得られ
た電気信号は通信処理部2にて所定の信号処理が施され
た後、通信部3にて変調されてアンテナ4から送信され
る。アンテナ4で受信された信号は通信部3にて復調さ
れた後、通信処理部2にて所定の信号処理が施された
後、スピーカ5で音声に変換されて出力される。
【0009】ユーザはキー入力部6から当該装置に対し
て命令を入力することができる。制御部7−1は、装置
全体としての動作がキー入力部6から入力される命令に
応じたものとなるように各部を制御する。液晶表示部8
は制御部7−1による制御の下で所定の表示を行う。
【0010】記憶部9には、図2に示すようなウサギの
基本パターン1−0、ネコの基本パターン2−0、タヌ
キの基本パターン3−0、及び、図3に示すようなウサ
ギの喜びのパターン1−1、悲しみのパターン1−2、
疑問のパターン1−3、怒りのパターン1−4など、複
数の種類及び複数のパターンの表示キャラクタの画像デ
ータが記憶されている。そして、これらの各表示キャラ
クタには異なるコードが割り当てられている。尚、記憶
部9をEEPROMやRAMで構成するなどして、記憶
させておく表示キャラクタを書き換えることができるよ
うにしておいてもよい。
【0011】そして、制御部7−1の制御により、通話
時には、予め選択された表示キャラクタが記憶部9から
読み出されて液晶表示部8に自キャラクタとして表示さ
れるとともに、予め選択された表示キャラクタに割り当
てられているコードが表示キャラクタ選択用データとし
て送信される。
【0012】また、通信処理部2は、受信した信号の中
から通信相手が表示キャラクタ選択用データとして送信
してきたコードを抽出して制御部7−1に与えるように
なっており、制御部7−1は、この通信処理部2から与
えられるコードが割り当てられている表示キャラクタが
記憶部9から読み出されて液晶表示部8に相手キャラク
タとして表示されるように制御する。
【0013】尚、使用者はキー入力部6で所定のキー操
作を行うことにより、キャラクタの種類(ウサギ、ネ
コ、タヌキなど)及びキャラクタのパターン(喜び、悲
しみ、疑問、怒りなど)を選択することができるような
っている。
【0014】次に、本発明の第2実施形態である携帯電
話装置のブロック図を図4に示す。尚、上記第1実施形
態のブロック図と同一部分には同一符号を付して説明を
省略する。音声振幅強度測定部10は、マイク1に入力
された音声振幅強度を測定し、その測定結果を制御部7
−2に与える。話者特定部11は、マイク1に入力され
た音声パターンから話者を特定し、特定した話者を示す
データを制御部7−2に与える。
【0015】そして、制御部7−2の制御により、通話
時には、音声振幅強度測定部10での入力音声振幅強度
の測定結果が閾値を越えると、表示キャラクタ選択用デ
ータとして送信されるコードが、その話者に対応したキ
ャラクタの予め選択されたパターンに割り当てられたコ
ードに切り替わり、一定時間後に基本パターンに割り当
てられたコードに切り替わる。
【0016】また、制御部7−2は、通信相手に対して
表示キャラクタ選択用データとして送信するコードが割
り当てられている表示キャラクタが記憶部9から読み出
されて液晶表示部8に自キャラクタとして表示されると
ともに、通信処理部2から与えられるコード(通信相手
から表示キャラクタ選択用データとして送信されてきた
コード)が割り当てられている表示キャラクタが記憶部
9から読み出されて液晶表示部8に相手キャラクタとし
て表示されるように制御する。
【0017】したがって、通話時には、音声振幅強度測
定部10での入力音声振幅強度の測定結果が閾値を越え
ると、対話者の装置の液晶表示部8に相手キャラクタと
して表示されるキャラクタが、話者に対応したキャラク
タの予め選択されたパターンに切り替わり、一定時間後
に基本パターンに戻る。
【0018】尚、入力音声振幅強度に関する上記閾値
は、使用者により設定可能としておいてもよい。また、
表示されるキャラクタが、特定の話者の音声が入力され
たときにだけ、予め選択されたパターンに切り替わるよ
うに制御して、特定の話者の音声入力の有無により表示
の切り替えを行うようにしてもよい。また、表示キャラ
クタ選択用データを送信しないようにし、例えば受信し
た音声の振幅強度に基づいて表示するキャラクタを受信
側で独自に切り替えるようにしてもよい。
【0019】以上より、上記第1、第2の各実施形態で
は、例えば表示キャラクタのパターンとして喜びのパタ
ーンを選択しておけば、通話時には対話者の装置に喜び
のパターンのキャラクタが表示され、「対話を歓迎して
いる」などの意向を対話者に伝達することが可能とな
る。そして、表示キャラクタの画像そのものを伝送する
のではなく、表示キャラクタに割り当てたコードを伝送
するようになっているので、伝送データ量が大幅に増大
することはなく、リアルタイムの伝送が可能となる。し
たがって、音声でのコミュニケーションをより円滑に行
うことができるようになる。また、使用者が選択したパ
ターンのキャラクタ、すなわち、対話者の装置に表示さ
れるパターンのキャラクタが使用者の装置にも表示され
るので、それを目で確認することができ、便利である。
【0020】次に、本発明の第3実施形態である携帯電
話装置のブロック図を図5に示す。尚、上記第1実施形
態のブロック図と同一部分には同一符号を付して説明を
省略する。制御部7−3は、センサ12の出力により、
話者の状態、具体的には、話者の歩行周期を認識するこ
とができるようになっている。尚、センサ12として
は、例えば、振動センサ、加速度センサ、角速度センサ
などを用いればよい。
【0021】そして、制御部7−3の制御により、通話
時には、話者が移動状態にある場合は、例えばウサギの
喜びのパターンが選択されているとすると、図6の
(イ)に示すウサギの喜びのパターンに対応する状態変
化キャラクタ1−5と1−6とに割り当てられているコ
ードが話者の歩行周期に応じて交互に表示キャラクタ選
択用データとして送信される。
【0022】尚、話者が静止状態にあるときには、状態
変化キャラクタへ移行することはなく、例えばウサギの
喜びのパターンが選択されている場合には、図6の
(ロ)に示すように、ウサギの喜びのパターンのキャラ
クタ1−0が対話者の装置の液晶表示部8に常時表示さ
れるように表示キャラクタ選択用データが送信される。
【0023】また、制御部7−3は、通信相手に対して
表示キャラクタ選択用データとして送信するコードが割
り当てられている表示キャラクタが記憶部9から読み出
されて液晶表示部8に自キャラクタとして表示されると
ともに、通信処理部2から与えられるコード(通信相手
から表示キャラクタ選択用データとして送信されてきた
コード)が割り当てられている表示キャラクタが記憶部
9から読み出されて液晶表示部8に相手キャラクタとし
て表示されるように制御する。
【0024】したがって、通話時に話者が移動状態にあ
る場合は、例えばウサギの喜びのパターンが選択されて
いるとすると、対話者の装置の液晶表示部8に相手キャ
ラクタとして表示されるキャラクタが、図6の(イ)に
示すように、ウサギの喜びのパターンに対応する状態変
化キャラクタ1−5と1−6とに話者の歩行周期に応じ
て交互に切り替わる。
【0025】このように、本第3実施形態では、話者の
状態(移動中であるのか静止しているか、移動中であれ
ばその移動速度)を対話者の装置に表示されるキャラク
タに反映させることができるので、対話者に対して自分
の状態を伝達することができるようになる。そして、表
示キャラクタの画像そのものを伝送するのではなく、表
示キャラクタに割り当てたコードを伝送するようになっ
ているので、伝送データ量が大幅に増大することはな
く、リアルタイムの伝送が可能となる。したがって、音
声でのコミュニケーションをより円滑に行うことができ
るようになる。
【0026】次に、本発明の第4実施形態である携帯電
話装置のブロック図を図7に示す。キー入力部6でのキ
ー操作により、または、マイク1に音声で送信文書が入
力される。音声で送信文書が入力された場合には、音声
認識部13がマイク1から出力される音声信号を文書デ
ータに変換して制御部7−4に与える。そして、制御部
7−4は、入力された送信文書が液晶表示部8に表示さ
れるとともに、場合によっては、音声合成部14を用い
てスピーカ5から音声で出力する。これにより、使用者
は送信文書を確認することができる。
【0027】そして、制御部7−4の制御により、文書
の送信時には、予め選択された音声パターン(男性の声
であるか、それとも女性の声であるか、低い声である
か、高い声であるか、それとも普通の声であるか、など
の情報を示すデータ)に割り当てられているコードが音
声パターン選択用データとして、また、予め選択された
表示キャラクタに割り当てられているコードが表示キャ
ラクタ選択用データとして、それぞれ送信文書のヘッダ
に添付して送信される。
【0028】また、制御部7−4の制御により、文書の
受信時には、受信文書に加えて、受信データのヘッダに
表示キャラクタ選択用データとして添付されているコー
ドに対応する表示キャラクタが記憶部9から読み出され
て液晶表示部8に表示されるとともに、場合によって
は、音声合成部14を用いて、受信データのヘッダに音
声パターン選択用データとして添付されているコードに
対応する音声で受信文書がスピーカ5から出力される。
【0029】尚、音声パターンに割り当てるコードをア
スキーコードで記述しておけば、音声パターンを文書と
して表示することも可能となる。また、ヘッダにデータ
がない場合には、予め選択された標準の音声で受信文書
を出力するようになっている。
【0030】また、入力された文書(送信文書)、受信
文書のそれぞれについて、スピーカ5から音声で出力さ
せるようにするかしないかを、使用者はキー入力部6で
所定のキー操作を行うことにより切り替えることができ
るようになっている。また、使用者はキー入力部6で所
定のキー操作を行うことにより、任意の種類の音声パタ
ーンを選択することができるようになっている。
【0031】以上より、本第4実施形態では、受信側で
は、受信した文書が表示されることに加えて、送信側で
選択されたキャラクタが表示されるとともに、受信した
文書が送信側で選択された声で再生されるので、送信者
を特定しやすくなる。そして、表示キャラクタの画像そ
のものを伝送するのではなく、表示キャラクタに割り当
てたコードを伝送するようになっているので、伝送デー
タ量が大幅に増大することはなく、リアルタイムの伝送
が可能となる。したがって、3者以上による文書でのコ
ミュニケーションをより円滑に行うことができるように
なる。
【0032】
【発明の効果】以上説明したように、本発明の通信端末
装置によれば、伝送データ量を大幅に増加させることな
く、状況に応じて変化する表示キャラクタ(画像)を文
書や音声でのコミュニケーションに付け加えることがで
きるので、リアルタイムの伝送が可能となり、表情や身
ぶり手振りを付けて行うコミュニケーションとほぼ同じ
レベルで円滑に行うことができるようになる。
【図面の簡単な説明】
【図1】 本発明の第1実施形態である携帯電話装置の
ブロック図である。
【図2】 表示キャラクタの基本パターンの一例を示す
図である。
【図3】 表示キャラクタの基本パターン以外のパター
ンの一例を示す図である。
【図4】 本発明の第2実施形態である携帯電話装置の
ブロック図である。
【図5】 本発明の第3実施形態である携帯電話装置の
ブロック図である。
【図6】(イ)話者が移動している場合に、対話者の装
置に表示されるキャラクタの一例を示す図である。 (ロ)話者が静止している場合に、対話者の装置に表示
されるキャラクタの一例を示す図である。
【図7】 本発明の第4実施形態である携帯電話装置の
ブロック図である。
【符号の説明】
1 マイク 2 通信部 3 通信処理部 4 アンテナ 5 スピーカ 6 キー入力部 7−1、7−2、7−3、7−4 制御部 8 液晶表示部 9 記憶部 10 音声振幅強度測定部 11 話者特定部 12 センサ 13 音声認識部 14 音声合成部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 大場 紀子 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 Fターム(参考) 5C064 AA01 AC06 AC09 AC15 AC16 AC18 AD08 AD14 5K027 AA11 BB01 CC08 FF22 FF28 5K067 AA34 BB04 DD52 EE02 FF23 FF31 5K101 KK02 KK03 LL01 LL12 NN03 NN06 NN07 NN15 NN16 NN18 NN21 QQ01 QQ07 UU19

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 画像データに割り当てられたコードを画
    像選択用データとして通信相手に送信する第1の手段
    と、通信相手が画像選択用データとして送信してきたコ
    ードが割り当てられている画像データを複数種類の画像
    データを記憶している記憶手段から読み出して表示する
    第2の手段との少なくとも一方を備えたことを特徴とす
    る通信端末装置。
  2. 【請求項2】 前記第1の手段は、前記画像選択用デー
    タとして送信するコードを、通信データの特性に応じて
    決定することを特徴とする請求項1に記載の通信端末装
    置。
  3. 【請求項3】 前記第1の手段は、前記画像選択用デー
    タとして送信するコードを、入力されるデータに応じて
    決定することを特徴とする請求項1に記載の通信端末装
    置。
JP2000160052A 2000-05-30 2000-05-30 通信端末装置 Expired - Fee Related JP3953258B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000160052A JP3953258B2 (ja) 2000-05-30 2000-05-30 通信端末装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000160052A JP3953258B2 (ja) 2000-05-30 2000-05-30 通信端末装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007084350A Division JP2007235977A (ja) 2007-03-28 2007-03-28 通信端末装置

Publications (2)

Publication Number Publication Date
JP2001339529A true JP2001339529A (ja) 2001-12-07
JP3953258B2 JP3953258B2 (ja) 2007-08-08

Family

ID=18664303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000160052A Expired - Fee Related JP3953258B2 (ja) 2000-05-30 2000-05-30 通信端末装置

Country Status (1)

Country Link
JP (1) JP3953258B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006018867A1 (ja) * 2004-08-18 2006-02-23 Fujitsu Limited 通信方法、通信装置、通信システム及びプログラム
WO2014199596A1 (ja) * 2013-06-10 2014-12-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 話者識別方法、話者識別装置及び話者識別システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11061446B1 (en) 2020-01-10 2021-07-13 Panasonic Intellectual Property Management Co., Ltd. Electronic device and apparatus including electronic device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62121564A (ja) * 1985-11-22 1987-06-02 Hitachi Ltd 音声メッセージの通信方法
JPH10271470A (ja) * 1997-03-24 1998-10-09 Olympus Optical Co Ltd 画像音声通信システムおよびテレビ電話送受信方法
JPH11122648A (ja) * 1997-10-09 1999-04-30 Oi Electric Co Ltd 画像表示機能付き選択呼出受信装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62121564A (ja) * 1985-11-22 1987-06-02 Hitachi Ltd 音声メッセージの通信方法
JPH10271470A (ja) * 1997-03-24 1998-10-09 Olympus Optical Co Ltd 画像音声通信システムおよびテレビ電話送受信方法
JPH11122648A (ja) * 1997-10-09 1999-04-30 Oi Electric Co Ltd 画像表示機能付き選択呼出受信装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006018867A1 (ja) * 2004-08-18 2006-02-23 Fujitsu Limited 通信方法、通信装置、通信システム及びプログラム
WO2014199596A1 (ja) * 2013-06-10 2014-12-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 話者識別方法、話者識別装置及び話者識別システム
US9710219B2 (en) 2013-06-10 2017-07-18 Panasonic Intellectual Property Corporation Of America Speaker identification method, speaker identification device, and speaker identification system

Also Published As

Publication number Publication date
JP3953258B2 (ja) 2007-08-08

Similar Documents

Publication Publication Date Title
US9377930B2 (en) Emoticon input method for mobile terminal
US6937880B2 (en) Telecommunication device with improved call-priority notification function and method of notification of call-priority
EP1231798A2 (en) Language selecting method and mobile communication system
US7130647B2 (en) Cordless telephone system
JP3033734B2 (ja) 信号変換装置
US5890073A (en) Mobile terminal capable of sending communication mode signals and a method thereof
JP2001339529A (ja) 通信端末装置
JP2002152335A (ja) 移動通信端末
KR20050081600A (ko) 이동통신단말기에서의 화면 캡쳐 방법
US20030148789A1 (en) Data handling telecommunication terminal
JP2007235977A (ja) 通信端末装置
JP3090341U (ja) 会話ログ記録/表示機能付き携帯端末機器
KR100722269B1 (ko) 메신저 기능이 구비된 이동통신 단말기 및 그 동작방법
KR100570079B1 (ko) 아바타를 이용한 화상통화 방법 및 시스템
JP3699009B2 (ja) 携帯電話装置
KR100827084B1 (ko) 매너모드에서 알람모드로 자동으로 전환하는 휴대용 단말기 및 방법
EP1885112A1 (en) Image display system, terminal device, image display method, and program
CN1468015A (zh) 在便携式终端中利用语音识别传送字符消息的方法
JP2000069561A (ja) 無線通信端末のリモートコントロールシステム
KR100408207B1 (ko) 컬러액정화면을 구비한 이동통신 단말기의 문자 색변환장치
KR100442950B1 (ko) 터치 스크린 방식의 블루투스 단말기에서 입력 펜을이용한 데이터 통신방법
JPH11196039A (ja) 発呼信号出力機能付き携帯端末装置及び発呼信号受信部付き電話機
JP3757083B2 (ja) 電話機
KR200234151Y1 (ko) 청각 장애인용 전화기
JPH02278947A (ja) 通信装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041029

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050324

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050420

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20050527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070424

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees