JP3139615B2 - 3次元仮想空間音通信方法とその装置 - Google Patents

3次元仮想空間音通信方法とその装置

Info

Publication number
JP3139615B2
JP3139615B2 JP21000296A JP21000296A JP3139615B2 JP 3139615 B2 JP3139615 B2 JP 3139615B2 JP 21000296 A JP21000296 A JP 21000296A JP 21000296 A JP21000296 A JP 21000296A JP 3139615 B2 JP3139615 B2 JP 3139615B2
Authority
JP
Japan
Prior art keywords
sound
virtual space
transmission
avatar
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP21000296A
Other languages
English (en)
Other versions
JPH1055261A (ja
Inventor
佳文 湯田
悌之 清末
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP21000296A priority Critical patent/JP3139615B2/ja
Publication of JPH1055261A publication Critical patent/JPH1055261A/ja
Application granted granted Critical
Publication of JP3139615B2 publication Critical patent/JP3139615B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、3次元仮想空間音
通信方法に関し、特に、計算機相互間をネットワークで
接続し、互いに画像データや音データを通信することで
人間相互間の会話を支援することを目的とした、仮想環
境実現方式における音データの取扱に関する。
【0002】
【従来の技術】従来の技術では、仮想空間(部屋、街な
ど)内に存在するアバタ間全てで送受信を行い、また、
同一仮想空間内に存在するアバタ間でも、互いの距離や
角度によって音量を変化させ、即ち、距離が離れるにし
たがって音量を下げるなどの方法しか取られていなかっ
た。
【0003】つまり、同一空間内の特定の場所で、距離
や角度によらず音の送受信の形態を変えるということは
行われていなかった。
【0004】
【発明が解決しようとする課題】上述した従来の3次元
仮想空間通信方法では、音通信方法の変更を行うため
に、用意された音通信方法の数だけ変更装置または方法
が必要になる。また、計算機操作者が音通信方法の変更
装置または方法を駆使する必要がある。同様に音送信を
中断するためには、音送信装置の稼動を停止するか、音
送信の出力量を変更している。
【0005】したがって、計算機操作者は、自分のアバ
タの操作を一時中断しなければ、音通信方法の変更がで
きないという欠点があった。また、計算機以外の装置や
変更操作方法を用意するという欠点もある。
【0006】本発明の目的は、上記の点を解決した、各
計算機操作者がアバタの操作を中断することなく音通信
方法を変更することができる3次元仮想空間音通信方法
を提供することである。
【0007】
【課題を解決するための手段】本発明の3次元仮想空間
音通信方法は、計算機上の仮想的な空間を構築し、前記
計算機をネットワークで接続し、該ネットワーク上で、
仮想的な空間内に位置させた計算機操作者の分身、すな
わち、斯界で称しているアバタの位置情報と、音とを送
信する、リアルタイムデータ伝送型仮想コミュニケーシ
ョン環境いわゆるサイバースペースにおける音通信方法
である、3次元仮想空間音通信方法において、仮想的な
空間内のアバタの位置を変更することによって、アバタ
の音環境に対応しての音の受給形態を意味する音送信形
態を変更する。
【0008】また、前記仮想的な空間内の特定の範囲内
の位置に前記アバタが存在するときだけ、ネットワーク
を介して、接続されている他の計算機へ音データを送信
し、前記特定の範囲外の位置に存在するときは、前記接
続されている他の計算機へ音データを送信しない音通信
方法も本発明の一つの実施態様である。さらに、前記音
送信形態を、音の送信のみと、受信のみと、送受信可能
と、送受停止の形態とした音通信方法は代表的な本発明
の実施態様である。
【0009】また、計算機上の仮想的な空間を構築し、
前記計算機をネットワークで接続し、該ネットワーク上
で、仮想的な空間内に位置させた計算機操作者の分身、
すなわち、斯界で称しているアバタの位置情報と、音と
を送信する、リアルタイムデータ伝送型仮想コミュニケ
ーション環境いわゆるサイバースペースにおける3次元
仮想空間音通信装置において、仮想的な空間内にアバタ
の音環境を指定する特定のエリアを設け、当該エリアに
アバタを位置するとき該エリアに特定した音環境に対応
する音送信形態の送受信を計算機端末が設定する手段を
有する。
【0010】また、仮想空間が遠隔会議場であり、前記
特定のエリアが、それぞれ、演壇と、聴衆席と、会話可
能ゾーンと、無音ゾーンである場合が本発明の代表的な
実施対応の一つであり、アバタが前記演壇に位置すると
きは計算機操作者の発声のみが送出され、聴衆席に位置
するときは、他の計算機端末からの受信のみとし、会話
可能ゾーンに位置するときは、送受信を可能とし、無音
ゾーンに位置するときは送受信を停止する手段を有する
のが望ましい形態である。
【0011】上記の構成により、計算機操作者は、その
アバタの操作を中断することなく、そのまま仮想的な空
間に予め用意された音通信形態を変更できる特定の場所
へ移動することで、音通信形態を変更することができ
る。
【0012】
【発明の実施の形態】次に、本発明の実施の形態につい
て、図面を参照して説明する。
【0013】まず、基本構成について説明し、次に適用
例について述べる。適用例については、遠隔会議に用い
た例を挙げる。
【0014】図1は本発明の3次元仮想空間音通信方法
が適用された計算機ネットワーク全体のシステム構成図
を示す。
【0015】図1に示すネットワークへ接続されている
端末機は、受信音を出力する音出力装置(スピーカ等)
と、送信音を入力する音入力装置(マイクロホン等)
と、仮想空間を表示する表示装置(CRTディスプレイ
等)と、アバタの移動を指示するポインティングデバイ
ス(マウス等)を有している。端末機は、ローカルエリ
アネットワーク(LAN)や有線無線のネットワークを
介して接続されている。
【0016】また、通信と、音入出力機能を有する端末
機なら固定、移動の何れでもよい。
【0017】図2は本発明で使用する端末機のモジュー
ル構成図である。
【0018】固定端末機1(または移動端末機2以下、
総称して端末機と称す)は、ポインティングデバイス7
と、通信モジュール8と、ポインティングデバイス入力
モジュール9と、アバタ座標取得モジュール10と、音
通信形態選択モジュール11と、CG画像作成モジュー
ル12と、音出力モジュール13と、音入力モジュール
14と、表示装置15と、音出力装置16と、音入力装
置17を有する。
【0019】ポインティングデバイス7は端末機操作者
のアバタを操作するマウス7であり、表示装置15は、
端末機に接続されたCRTディスプレイ15であり、音
出力16は、端末機に接続されたスピーカー16であ
り、音入力装置17は端末機に接続されたマイクロホン
(以下マイクと略称する)17である。
【0020】また、通信モジュール8はネットワー
経由でアバタの位置データ、音データ、指示データを他
の端末機に送信、または、他の端末から同データを受信
するプログラムのモジュールである。
【0021】ポインティングデバイスモジュール9は、
ポインティングデバイス7から入力された、端末機操作
者のアバタの操作データ(位置座標データ)を取得する
プログラムモジュールである。
【0022】アバタ座標取得モジュール10は、通信モ
ジュール8から得られる他の端末機操作者のアバタ位置
座標データと、ポインティングデバイス入力モジュール
9から得られる端末機操作者のアバタ位置座標データと
を基に、別端末機からの音データ、CG画像作成の位
置座標データの処理対象を判断するプログラムモジュー
ルである。
【0023】音通信形態選択モジュール11は、アバタ
の位置座標データを基に音通信形態を選択するプログラ
ムモジュールである。
【0024】CG画像作成モジュール12は、アバタ位
置座標取得モジュール10から得られた端末操作者のア
バタ位置座標データと他の端末機操作者のアバタ位置座
標データを基にコンピュータグラフィクス画像(CG画
像)を作成するプログラムモジュールである。
【0025】音出力モジュール13は、スピーカ16に
音出力を行うための音データを与えるプログラムモジュ
ールである。
【0026】音入力モジュール14は、マイク17から
音データを得るためのプログラムモジュールである。
【0027】アバタ座標取得モジュール10で得られる
端末機操作者のアバタと他の端末機操作者のアバタの位
置座標データを基に音通信形態選択モジュール11が音
通信形態を選択する。音通信形態選択モジュール11
は、必要に応じて音出力モジュール13に音データの出
力を行い、通信モジュール8に端末機操作者のアバタ位
置座標データと音データに付加データを与え、選択した
通信形態での通信データ出力を指示する。
【0028】次に、本実施例の動作について図1、およ
び、図2を参照して説明する。
【0029】本発明は、端末機操作者同士が共有する仮
想空間内で、端末機操作者のアバタを操作するだけで、
任意に音通信形態を変更できるシステムを提供するもの
である。
【0030】この共有仮想空間内に予め、アバタを移動
させると音通信形態を変更できる場所に、アバタを接触
させると音通信形態を変更する物体が用意されている。
したがって、端末機操作者は、自分のアバタをその場所
への移動、または物体への接触することによって音通信
形態を変更できる。
【0031】図1の端末機1,2,5,6は、お互いに
音データと自分のアバタ位置座標データを送信し合って
いる。
【0032】つまり、図1の端末機1の操作者が自分の
アバタを移動させると図2のアバタ位置座標取得10が
共有仮想空間内のどの場所に移動したかを認識する。同
時に図1の端末機2,5,6から受信した各アバタの位
置座標データから、別端末機操作者のアバタが、共有仮
想空間内のどの場所に居るかを認識する。この位置座標
データを基に図2の音通信形態選択モジュール11で音
通信形態を変更するかを判断し、その結果を図2の通信
モジュール8に与え、選択した音通信形態で音データと
アバタ位置座標データが他の端末機(図1の端末機2,
5,6)に図2のネットワーク3を介して送られる。さ
らに、図2の音出力モジュール13に音出力形態を指示
し、音データが図2のスピーカ16で出力される。
【0033】上記した音通信処理を実現することで端末
機操作者は、音通信形態の変更にアバタ操作以外に特別
な指示の入力、機器の操作が不要になる。また、操作が
単純であることから幅広いユーザでの使用が可能とな
る。
【0034】さらに、音通信形態を変化させる場所など
の設定次第では、その場所にアバタが存在すること自体
で他の端末機操作者に付加情報を伝えることが可能とな
る。
【0035】以下、本発明を遠隔会議システムに用いた
例を示す。
【0036】図3は特別なエリアを設定した空間を床
と、アバタとで表示した図である。図3は、便宜上、空
間内の床のみを示してある。この仮想空間は送信専用エ
リア20と、受信専用エリア21と、非送受信エリア2
2と、送受信エリア23とを有している。
【0037】図4は、図3に示す各エリア20,21,
22,23毎の送受信形態を掲載した図ある。
【0038】送信専用エリア20は会議の発表者が立つ
場所(演壇)として用いることができ、ここに入ったア
バタ(クライアント)は他のアバタ(クライアント)へ
の音の送信のみを行い、他からの音は受信しない。
【0039】受信専用エリア21は会議の聴衆が座る場
所として用いることができ、ここに入ったアバタ(クラ
イアント)は、他のアバタへの音の送信を行わず、受信
のみを行う。
【0040】非送受信エリア22は会議室の片隅に設け
られた音送受信中断エリアとして用いることができ、会
議中に守秘目的で音送受信を行いたくない場合に使用す
ることができる。ここに入ったアバタは、他クライアン
ト間の音送受信を行わなくなる。
【0041】送受信(通常)エリア23は、会話可能ゾ
ーンで通常の送信も受信も行う場所である。
【0042】図5に、図3,4の設定がされているとき
に、アバタが移動した後の処理の流れについて説明した
処理フロー図を示す。この処理フロー図は、図2に示す
音通信形態選択モジュール11が行う処理について述べ
たものである。
【0043】まず、移動先が特別なエリアかどうかを判
断する(ステップ31)。ここで特別なエリアでないと
判断された場合は、通常の送受信エリア23であると見
なされ、送受信エリア23での送受信形態の指示を関連
モジュールに与える(ステップ37)。つまり、図2に
示す、通信モジュール8からの入力を音出力モジュール
13へ渡し、音入力モジュール14からの入力を通信モ
ジュール8へ渡す。
【0044】ステップ31で特別なエリアであると判断
された場合、次にどのエリアであるかを以下の処理で判
断する。まず、送信専用エリア20かどうかを判断し、
ステップ32)、送信専用エリア20であると判断され
た場合は、送信専用エリア20内の送受信形態の指示を
与える(ステップ33)。つまり、図2に示す音入力モ
ジュール14からの入力を通信モジュール8へ渡し、音
出力モジュール13へ通信モジュール8から渡される受
信音を渡さないようにする。
【0045】ステップ32で送信専用エリアでないと判
断された場合は、次に受信専用エリア21であるかどう
かを判断する(ステップ34)。受信専用エリア21で
あると判断された場合は、受信専用エリア内の送受信形
態の指示を与える(ステップ35)。つまり、図2に示
す通信モジュール8からの入力を音出力モジュール13
へ渡し、マイク17からの入力音を音通信モジュール8
へ渡さないようにする。
【0046】ステップ34で受信専用エリア21でない
と判断された場合は、非送信エリア22内での送受信形
態の指示を与える(ステップ36)。つまり、図2に示
すマイク17からの入力音を通信モジュール8へ渡さな
いようにし、音出力モジュール13へ受信音を渡さない
ようにする。
【0047】以上の処理は、音の受信側の指示を優先さ
せることで処理を統一する。
【0048】
【発明の効果】以上説明したように、本発明は、特定の
エリアに、それぞれ、異なる音通信形態に変化される状
態を設定しておくことにより、計算機操作者が、そのア
バタの操作を中断することなく、そのまま仮想的な空間
に予め用意された音通信方法を変更できる特定の場所へ
移動することで、音通信方法を変更することができる効
果がある。
【図面の簡単な説明】
【図1】本発明の3次元仮想空間音通信方法が適用され
た計算機ネットワークの全体システム構成図である。
【図2】本発明で使用する端末機1のモジュール構成図
である。
【図3】特別なエリアを設定した空間を床と、アバタと
で表示した図である。
【図4】図3に示す各エリア20,21,22,23毎
の送受信形態を掲載した図である。
【図5】図3に示す遠隔会議システムにおける特別なエ
リア内の動作を説明するための処理フロー図である。
【符号の説明】
1,6 固定端末機 2,5 移動端末機 3 端末機間を接続するネットワーク 4 端末機間を接続するLAN 7 ポインティングデバイス(マウスなど) 8 通信モジュール 9 ポインティングデバイス入力モジュール 10 アバタ座標取得モジュール 11 音通信形態選択モジュール 12 CG画像作成モジュール 13 音出力モジュール 14 音入力モジュール 15 表示装置(CRTディスプレイなど) 16 音出力装置(スピーカーなど) 17 音入力装置(マイクなど) 20 送信専用エリア 21 受信専用エリア 22 非送信エリア 23 送受信(通常)エリア
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06F 3/16 G06F 13/00

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 計算機上の仮想的な空間を構築し、前記
    計算機をネットワークで接続し、該ネットワーク上で、
    仮想的な空間内に位置させた計算機操作者の分身、すな
    わち、斯界で称しているアバタの位置情報と、音とを送
    信する、リアルタイムデータ伝送型仮想コミュニケーシ
    ョン環境、すなわち、サイバースペースにおける音通信
    方法である、3次元仮想空間音通信方法において、 仮想的な空間内の特定の位置にアバタを配置することに
    よって当該位置におけるアバタの送受信可・不可の音環
    境に対応する音送信形態を実現する位置を予め設定する
    ことを特徴とする、3次元仮想空間音通信方法。
  2. 【請求項2】 前記仮想的な空間内の特定の範囲内の位
    置に前記アバタが存在するときだけ、ネットワークを介
    して、接続されている計算機へ音データを送信し、前記
    特定の範囲外の位置に存在するときは、前記接続されて
    いる計算機へ音データを送信しない、請求項1に記載の
    3次元仮想空間音通信方法。
  3. 【請求項3】 前記音送信形態が、それぞれ、音の送信
    のみと、受信のみと、送受信可能と、送受停止の形態で
    ある請求項1記載の3次元仮想空間音通信方法。
  4. 【請求項4】 計算機上の仮想的な空間を構築し、前記
    計算機をネットワークで接続し、該ネットワーク上で、
    仮想的な空間内に位置させた計算機操作者の分身、すな
    わち、斯界で称しているアバタの位置情報と、音とを送
    信する、リアルタイムデータ伝送型仮想コミュニケーシ
    ョン環境、すなわち、サイバースペースにおける3次元
    仮想空間音通信装置において、 仮想的な空間内に送受信可・不可の特定の音環境を限定
    するエリアを有し、当該エリアにアバタを位置させると
    き該エリアに限定した音環境に対応する音送信形態の送
    受信を計算機端末が対応して設定する手段を有すること
    を特徴とする、3次元仮想空間音通信装置。
  5. 【請求項5】 仮想空間が遠隔会議場であり、前記特定
    のエリアが、それぞれ、演壇と、聴衆席と、会話可能ゾ
    ーンと、無音ゾーンであり、アバタが前記演壇に位置す
    るときは計算機操作者の発声のみが送出され、聴衆席に
    位置するときは、他の計算機端末からの受信のみとし、
    会話可能ゾーンに位置するときは、送受信を可能とし、
    無音ゾーンに位置するときは送受信を停止する手段を有
    する請求項4記載の3次元仮想空間音通信装置。
JP21000296A 1996-08-08 1996-08-08 3次元仮想空間音通信方法とその装置 Expired - Lifetime JP3139615B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21000296A JP3139615B2 (ja) 1996-08-08 1996-08-08 3次元仮想空間音通信方法とその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21000296A JP3139615B2 (ja) 1996-08-08 1996-08-08 3次元仮想空間音通信方法とその装置

Publications (2)

Publication Number Publication Date
JPH1055261A JPH1055261A (ja) 1998-02-24
JP3139615B2 true JP3139615B2 (ja) 2001-03-05

Family

ID=16582231

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21000296A Expired - Lifetime JP3139615B2 (ja) 1996-08-08 1996-08-08 3次元仮想空間音通信方法とその装置

Country Status (1)

Country Link
JP (1) JP3139615B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208398B1 (en) 1996-03-07 2001-03-27 California Institute Of Technology Hybrid aligned liquid crystal display employing a porous material

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4844093B2 (ja) * 2005-11-11 2011-12-21 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US7769806B2 (en) * 2007-10-24 2010-08-03 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
US7844724B2 (en) * 2007-10-24 2010-11-30 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
US8397168B2 (en) 2008-04-05 2013-03-12 Social Communications Company Interfacing with a spatial virtual communication environment
TWI492592B (zh) * 2007-10-24 2015-07-11 社交通訊公司 在共享虛擬區通訊環境中之自動化即時資料串流交換技術
US8605863B1 (en) * 2008-03-18 2013-12-10 Avaya Inc. Method and apparatus for providing state indication on a telephone call
US9853922B2 (en) 2012-02-24 2017-12-26 Sococo, Inc. Virtual area communications
JP6526879B1 (ja) * 2018-06-25 2019-06-05 株式会社バーチャルキャスト データ送信装置、およびプログラム
JP7217725B2 (ja) * 2020-06-30 2023-02-03 株式会社電通 音声コンテンツ配信システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
「FUJITSU」第47巻、第3号、240−246頁(1996年5月10日発行)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208398B1 (en) 1996-03-07 2001-03-27 California Institute Of Technology Hybrid aligned liquid crystal display employing a porous material

Also Published As

Publication number Publication date
JPH1055261A (ja) 1998-02-24

Similar Documents

Publication Publication Date Title
US5491743A (en) Virtual conference system and terminal apparatus therefor
US10808882B2 (en) Tele-robotic system with a robot face placed on a chair
US5889843A (en) Methods and systems for creating a spatial auditory environment in an audio conference system
JP4152432B2 (ja) 仮想現実回路網
JP4546151B2 (ja) 音声コミュニケーション・システム
US6961561B2 (en) Enhancing/limiting use of mobile electronic devices
US20060008117A1 (en) Information source selection system and method
US20060167997A1 (en) System, method and computer program product for establishing a conference session and synchronously rendering content during the same
JPH09247637A (ja) 映像音声通信システム、映像通信システム、送信端末及び受信端末
JP3139615B2 (ja) 3次元仮想空間音通信方法とその装置
JP2003198870A (ja) プロジェクタのワイヤレス制御システム及びワイヤレス制御方法
JP2007336481A (ja) ネットワークシステム
JP3638146B2 (ja) テレビ会議システム及びそれに用いる端末、接続制御方法並びに接続制御プログラム
JPH05113941A (ja) 送受信装置
JP2001016563A (ja) 3次元共有仮想空間表示方法、3次元共有仮想空間通信システム及び方法、仮想会議システム、並びにそのための利用者端末プログラムを記録した記録媒体
JP2023082119A (ja) バーチャルシーン情報インタラクション方法、装置、電子機器、記憶媒体及びコンピュータプログラム
JP2002149580A (ja) サーバ装置、ユーザ端末装置、仮想空間システム、ユーザ情報配信方法、ユーザ情報表示方法、ユーザ情報配信表示方法、及び記憶媒体
JP2004120284A (ja) 画像共有システム、画像共有方法、画像表示機器、情報端末機器及び画像共有プログラム
JP3443306B2 (ja) 仮想空間内における仮想共有表示方法およびその表示プログラムを記録した記録媒体
JP3296471B2 (ja) 音場制御方法および装置
KR20180105595A (ko) 외부 디바이스를 통한 모바일 디바이스에서의 채팅 방법 및 시스템
JP3533717B2 (ja) 画像合成装置
JPH09233445A (ja) 通信制御装置
WO2021235173A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP7409467B1 (ja) 仮想空間生成装置、仮想空間生成プログラム、および、仮想空間生成方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071215

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081215

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091215

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101215

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101215

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111215

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111215

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121215

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121215

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131215

Year of fee payment: 13

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term