JP2002112216A - 画像合成方法および情報処理装置 - Google Patents
画像合成方法および情報処理装置Info
- Publication number
- JP2002112216A JP2002112216A JP2000299848A JP2000299848A JP2002112216A JP 2002112216 A JP2002112216 A JP 2002112216A JP 2000299848 A JP2000299848 A JP 2000299848A JP 2000299848 A JP2000299848 A JP 2000299848A JP 2002112216 A JP2002112216 A JP 2002112216A
- Authority
- JP
- Japan
- Prior art keywords
- image
- terminals
- synthesis
- terminal
- transfer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
分散処理型の画像合成を可能にする画像合成方法および
それを用いた情報処理装置を提供する。 【解決手段】複数の端末のそれぞれが、各自で取得した
画像中から所望の物体画像を抽出し、複数の端末のうち
の1つから提供された1枚の画像を転送画像として複数
の端末間でネットワークを介して転送しながら、この転
送画像に各端末にて抽出した物体画像を合成し、転送画
像が複数の端末の全てに転送されて、物体画像の合成が
終了したとき、その終点の端末から他の全てあるいは一
部の端末へ物体画像の合成が終了した転送画像を送信す
ることにより、画像合成に参加する複数の端末のそれぞ
れが1枚の転送画像上に自端末の物体画像を合成してい
くので、複数の端末のうちの特定の端末に画像合成処理
の負荷が集中することがない。
Description
ネットなどを経由して画像を伝送しながら合成画像を生
成する合成画像生成方法および情報処理装置に関する。
の加工や編集、合成をする機会も増えつつある。例え
ば、ある背景画像に、離れた場所にいる複数の参加者の
画像を合成する場合、通信回線で画像を送受するのが便
利である。その際、文献「自己相似写像を用いたリアル
タイムオブジェクト抽出」(井田、堀、三本杉、第6回
画像センシングシンポジウム講演論文集、D−22、p
p.161−166、June 2000.)に示し
た、顔画像伝送システム(図12参照)を用いることが
考えられる。このシステムは、画像合成に参加する複数
(ここでは、2つ)の第1の端末801、802と1つ
の第2の端末803とから構成され、各第1の端末で
は、カメラ901で撮影された画像から、切り出し部9
02で利用者の頭部を切り出し、圧縮部903で圧縮し
たデータを第2の端末へ伝送し、受信側の第2の端末8
03で、複数の第1の端末801、802から送られて
きた顔画像を再生部904、905で再生し、合成部9
06で合成するものである。
像を動画として生成できるのであるが、画像を合成する
受信側の第2の端末では、複数の画像合成を行うために
処理量が多くなるという問題点がある。
の参加者の画像を通信端末を用いて1つの画像に合成す
る場合、合成処理を行う特定の端末の負荷が大きくなる
という問題点があった。
数の端末のそれぞれの処理負荷を均等にした分散処理型
の画像合成を可能にする画像合成方法およびそれを用い
た情報処理装置を提供することを目的とする。
は、複数の端末のそれぞれが、各自で取得した画像中か
ら所望の物体画像を抽出し、前記複数の端末のうちの1
つから提供された1枚の画像を転送画像として前記複数
の端末間でネットワークを介して転送しながら、前記転
送画像に各端末にて抽出した物体画像を合成し、前記転
送画像が前記複数の端末の全てに転送されて、物体画像
の合成が終了したとき、その終点の端末から他の全てあ
るいは一部の端末へ前記物体画像の合成が終了した転送
画像を送信することにより、画像合成に参加する複数の
端末のそれぞれが1枚の転送画像上に自端末の物体画像
を合成していくので、複数の端末のうちの特定の端末に
画像合成処理の負荷が集中することなく、それぞれの処
理負荷を均等にした分散処理型の画像合成を可能にす
る。
して他の端末へ送信される。
した送信先リストに自端末のアドレスを順次追加してい
くことにより、終点の端末では、この送信先リストを前
記物体画像の合成が終了した転送画像の送信先を設定す
る際に参考にでき、送信先の設定が容易に行える。
て、図面を参照して説明する。
方法を実現するためのシステム全体の構成例を示したも
ので、インターネット等のネットワークを介して、複数
(例えば、ここでは、4つ)の端末TE1〜TE4が互
いに通信可能に接続されている。端末TE1〜TE4と
しては、携帯電話やパソコン、PDA、家庭用ゲーム機
などの通信端末を用い、電子メールなどをこれら複数の
端末で順次転送しながら合成画像を生成するものであ
る。画像合成を個々の端末で行うので、特定の端末の負
荷が大きくなることがない。転送される画像(転送画
像)は、例えば電子メールの添付データとして転送さ
れ、画像を受信した端末では、それに自分の顔画像など
を新たに合成し、その合成画像を次の端末に送信する転
送画像とする。なお、各端末間の通信は、有線/無線、
公衆線/専用線を問わない。また、インターネット、ブ
ルートゥースでも構わず、データの転送はそれぞれの通
信プロトコルを用いる。以下の説明では、インターネッ
トを用いて各端末間で通信を行う場合について説明する
が、以下の説明は、どのような通信形態を用いる場合で
も当てはまる。
別する必要がない場合は、そのそれそれを簡単に端末と
呼ぶ。
実施形態に共通する、本発明の画像合成方法を説明する
ためのフローチャートであり、以下、図2を参照しなが
ら、画像合成方法について説明するステップS1では、
端末を区別するための番号kを「1」とする。kはフロ
ーチャートが冗長な図になるのを避けるために用いた変
数である。
(例えば、端末TE1)において、これから転送する画
像として図8に示すような背景とする任意の画像を設定
する。これが各端末へ順次転送される転送画像の初期画
像であり、これに、順次、参加者の顔画像などが合成さ
れていく。
(TE1)において、転送画像(初期画像)1に物体画
像が合成される(図9参照)。
者の顔画像がある。図9は、顔画像2を転送画像に合成
した例を示したものである。このように、合成とは、転
送画像の一部を物体画像で上書きすることをいう。カメ
ラで撮影した画像は、通常、四角形であり、この例のよ
うに物体を輪郭に沿って切り出し、合成処理を行うに
は、物体の外側を透明として扱えるようにする必要があ
る。そのために、アルファマップと呼ばれる、四角形の
画像と同じ大きさの別の画像を用意する。ここで、アル
ファマップと区別するために、カメラなどで撮影した、
通常の画像をテクスチャ画像と呼ぶ。アルファマップに
おいて、例えば画素値が「0」である部分を透明な画
素、「255」である部分を不透明な画素とする。物体
画像を転送画像に合成する際には、アルファマップを参
照しながら、アルファマップの画素値が「255」であ
る部分のテクスチャ画像の画素だけで上書きする。この
ような透明対応画像としては、アルファマップを用いる
もの以外にも、例えばクロマキー画像がある。これで
は、特定の色を透明を意味することにし、合成の際に、
テクスチャ画像の画素値がその特定の色の場合には、上
書きをしない。
決めておくか、利用者が操作した結果を反映する。
には、既に図9に示すように、前の端末での物体画像2
が合成されているので、それに新たに物体画像3が合成
される。その結果、図10に示すような画像になる。こ
のように、各端末では、カメラで撮影した顔画像に加え
て、その胴体をアニメーションで合成しても楽しい。
こで終了するか、転送を続行するかを判定する。例え
ば、予め転送するリストを用意しておき、その順序で転
送し、そのリストの最後にきていたら転送終了、そうで
ない場合は転送続行とする。あるいは、端末の利用者が
手動で転送先を操作した結果により、転送終了/続行を
判定する方法もある。転送終了の場合はステップS7に
進む。転送続行の場合はステップS5に進む。
の次のk+1番目の端末に転送画像を送信する。k+1
番目の端末は、前述した転送リストの次の端末、あるい
は、利用者が設定したメールアドレスなどにより決め
る。
てステップS3に戻り、転送画像1の次の転送先の端末
で上記ステップS3〜ステップS5が実行される。
判定されるまで、ステップS3〜ステップS6が繰り返
される。
k番目の端末が、図11に示すように、多くの物体画像
が合成された転送画像1をこれまで転送されてきた、1
番目の端末からk−1番目の端末に送信する。これによ
り、参加者が完成した合成画像を受け取れる。
TE4に共通の画像合成のために必要な機能を説明する
ためのブロック図である。
3に示した各端末での、転送データを受信してから送信
するまでの各機能部の処理動作について説明する。
106にて、電子メールのデータ(メールデータと呼
ぶ)などの転送データを受信する。
07にて、メールデータから転送画像1を取り出す。例
えば、転送データがテキストコードで表されるメールシ
ステムの場合、画像データもテキストコードに変換さ
れ、メールデータの末尾に付加されている。これを抜き
出して、元の画像データに逆変換する。また、画像デー
タが圧縮されていれば、それを再生する。
で取得した画像(予め記憶した画像を読み出したもので
もよい)から、切出し部102にて物体画像を取得す
る。図5にこのステップS13において、文献「自己相
似写像を用いたリアルタイムオブジェクト抽出」(前
出)に示した方法を用いる場合の処理動作を示した。
るカメラ101で利用者の顔を取得する。
されいるような公知の技術を用いて、ある顔の概略形状
の自動設定法を用いて顔領域を検出する。
して頭部の輪郭線を抽出する。
領域を切り出す。ここで、切り出すとは、前述した方法
で透明な画素を決定することである。つまり、物体領域
以外を透明とする。
画像抽出・挿入部107から抽出された転送画像1に、
切出し部102で切り出された物体画像を合成する。
07にて、物体画像を合成した転送画像1をテキストコ
ードに変換し、メールデータの末尾に付加する。この
際、必要であれば圧縮も行う。
にて、メールデータの送信先を選択する。例えば、利用
者が選択したアドレスが送信先として選択される。ある
いは、新たな転送は終了と利用者によって操作された場
合は、これまで転送画像が転送されてきた端末全てある
いは一部を送信先として設定する。
106にて、選択された送信先にメールデータを送信す
る。
の転送画像が転送された端末にて自端末のアドレスを書
き込むためのアドレスリストとをメールデータに付加し
て転送しながら、転送画像に物体画像を合成する場合に
ついて説明する。
〜TE4に共通の画像合成のために必要な機能を説明す
るためのブロック図である。
6に示した各端末での、転送データを受信してから送信
するまでの各機能部の処理動作について説明する。な
お、図6、図7において、図3、図4と同一部分には、
同一符号を付し、異なる部分について説明する。すなわ
ち、図6では、アドレスリスト操作部110が新たに追
加されている。また、図7では、図4のステップS11
〜ステップS17の処理に、ステップS12〜ステップ
S15の処理と並行に処理されるステップS38〜ステ
ップS40がステップS11とステップS16との間に
追加されている。ステップS38〜ステップS40の処
理は、主に、アドレスリスト操作部110の処理であ
る。
xxx.yyy」「def@zzz.yyy」「ghi
@uuu.vvv」のように、メールアドレスを羅列し
たものである。
部110は、電子メール送受信部106で受信されたメ
ールデータからアドレスリストを取り出す。例えば、メ
ールデータ内でのアドレスリストの配置位置を予め決め
ておけば、アドレスリストを直ちに取り出せる。
部110は、アドレスリストにその端末のメールアドレ
スを追加する。
が加えられたアドレスリストをメールデータの所定の位
置に挿入する。
で、その画像合成に参加した端末のアドレスを次々にア
ドレスリストに追加されていくので、画像合成の終点の
端末に転送画像とともに転送されてくるアドレスリスト
には、画像合成に参加した全ての端末のアドレスが書き
込まれている。
36において、転送画像を複数の端末間で転送しながら
その各端末において転送画像に物体画像を合成していく
ことにより完成された合成画像の送信先を選択する際に
は、アドレスリストを参照して、メールアドレスの送信
先を選択する。すなわち、このアドレスリストにアドレ
スが羅列されている画像合成に参加した全ての端末のア
ドレスのそれぞれを各端末宛のメールデータに付加す
る。このように、終点の端末では、アドレスリストを参
照することにより、送信先の設定が容易になる。
クスチャ画像のデータである必要はない。例えば、物体
画像ごとにレイヤ表現された画像であれば、後で、物体
画像ごとに、配置を変えたり、削除したり、複製したり
できて便利である。ここで、レイヤ表現された画像と
は、例えば、図11の例では、1つの初期画像のデータ
と5つの透明対応画像のデータと、各透明対応画像の配
置や大きさを指定するデータ、各透明対応画像の前後関
係を指定するデータなどから成る。
動画像でもよい。動画像の場合には、動画像符号化の国
際規格であるMPEG−4のシェイプ符号化を用いれ
ば、少ないデータ量で透明対応画像を表現できる。
半身や全身であったり、動物、自動車、建物、花、ある
いは、利用者が描いたイラスト、文字や記号のなど、ど
のような画像でも構わない。
した本発明の手法は、コンピュータに実行させることの
できるプログラムとして、磁気ディスク(フロッピー
(登録商標)ディスク、ハードディスクなど)、光ディ
スク(CD−ROM、DVDなど)、半導体メモリなど
の記録媒体に格納して頒布することもできる。
るものではなく、実施段階ではその要旨を逸脱しない範
囲で種々に変形することが可能である。さらに、上記実
施形態には種々の段階の発明は含まれており、開示され
る複数の構成用件における適宜な組み合わせにより、種
々の発明が抽出され得る。例えば、実施形態に示される
全構成要件から幾つかの構成要件が削除されても、発明
が解決しようとする課題の欄で述べた課題(の少なくと
も1つ)が解決でき、発明の効果の欄で述べられている
効果(のなくとも1つ)が得られる場合には、この構成
要件が削除された構成が発明として抽出され得る。
複数の端末のうちの特定の端末に画像合成処理の負荷が
集中することなく、それぞれの処理負荷を均等にした分
散処理型の画像合成を可能にする。
するためのシステム全体の構成例を示した図。
の画像合成方法を説明するためのフローチャート。
ために必要な機能を説明するためのブロック図。
から送信するまでの各機能部の処理動作について説明す
るためのフローチャート。
ャート。
ために必要な機能を説明するためのブロック図。
から送信するまでの各機能部の処理動作について説明す
るためのフローチャート。
子を示した図。
様子を示した図。
像が合成されて、最終的にかんせいされた合成画像の具
体例を示した図。
の構成例を示した図。
Claims (8)
- 【請求項1】 複数の端末のそれぞれが、各自で取得し
た画像中から所望の物体画像を抽出し、前記複数の端末
のうちの1つから提供された1枚の画像を転送画像とし
て前記複数の端末間でネットワークを介して転送しなが
ら、前記転送画像に各端末にて抽出した物体画像を合成
し、前記転送画像が前記複数の端末の全てに転送され
て、物体画像の合成が終了したとき、その終点の端末か
ら他の全てあるいは一部の端末へ前記物体画像の合成が
終了した転送画像を送信する画像合成方法。 - 【請求項2】 複数の端末のそれぞれが、各自で取得し
た画像中から所望の物体画像を抽出し、前記複数の端末
のうちの1つから提供された1枚の画像を転送画像とし
て、これをメールデータに付加して前記複数の端末間で
ネットワークを介して転送しながら、前記転送画像に各
端末にて抽出した物体画像を合成し、前記転送画像が前
記複数の端末の全てに転送されて、物体画像の合成が終
了したとき、その終点の端末から他の全てあるいは一部
の端末へ前記物体画像の合成が終了した転送画像を送信
する画像合成方法。 - 【請求項3】 前記メールデータは、前記終点の端末
で、前記物体画像の合成が終了した転送画像の送信先の
アドレスを選択する際に用いる送信先リストを含み、前
記複数の端末のそれぞれは、前記メールデータを受信し
たとき、前記メールデータに含まれる前記転送画像に前
記物体画像を合成するとともに、そのメールデータに含
まれる送信先リストに自端末のアドレスを追加した後、
該メールデータを次の端末へ転送することを特徴とする
請求項2記載の画像合成方法。 - 【請求項4】 ネットワークを介して他の少なくとも1
つの情報処理装置と互いに通信可能に接続された情報処
理装置であって、 自装置で取得した第1の画像中から所望の物体画像を抽
出する抽出手段と、 前記ネットワークを介して前記物体画像と合成するため
の第2の画像を受信する受信手段と、 前記第2の画像に、前記抽出手段で抽出した物体画像を
合成する合成手段と、 この合成手段で前記物体画像を合成した第2の画像を前
記第2の画像への画像合成に参加する他の情報処理装置
へ送信するとともに、前記受信した前記第2の画像が、
この第2の画像への画像合成に参加する全ての情報処理
装置を経由済みのときは、その画像合成に参加した全て
または一部のコンピュータへ前記物体画像を合成した第
2の画像を送信する送信手段と、 を具備したことを特徴とする情報処理装置。 - 【請求項5】 ネットワークを介して他の少なくとも1
つの情報処理装置と互いに通信可能に接続された情報処
理装置であって、 自装置で取得した第1の画像中から所望の物体画像を抽
出する抽出手段と、 前記物体画像と合成するための第2の画像をメールデー
タとして前記ネットワークを介して受信する受信手段
と、 前記第2の画像に、前記抽出手段で抽出した物体画像を
合成する合成手段と、 この合成手段で前記物体画像を合成した第2の画像を前
記第2の画像への画像合成に参加する他の情報処理装置
へメールデータとして送信する第1の送信手段と、 前記受信した前記第2の画像が、この第2の画像への画
像合成に参加する全ての情報処理装置を経由済みのとき
は、その画像合成に参加した全てまたは一部の情報処理
装置へ前記物体画像を合成した第2の画像をメールデー
タとして送信する第2の送信手段と、 を具備したことを特徴とする情報処理装置。 - 【請求項6】 前記メールデータは、前記第2の画像と
ともに、前記第2の送信手段で前記第2の画像の送信先
を選択する際に用いる送信先リストを含み、 前記受信手段で前記メールデータを受信したとき、その
メールデータに含まれる送信先リストに前記ネットワー
ク上の自装置のアドレスを追加する手段をさらに具備
し、 前記第1の送信手段は、自装置のアドレスの追加された
前記送信先リストを、自装置で抽出した物体画像を合成
した前記第2の画像とともにメールデータとして前記他
の情報処理装置へ送信することを特徴とする請求項5記
載の情報処理装置。 - 【請求項7】 ネットワークを介して他の少なくとも1
つのコンピュータと互いに通信可能に接続されたコンピ
ュータに実行させるためのプログラムを記録したコンピ
ュータ読み取り可能な記録媒体であって、 自コンピュータで取得した第1の画像中から所望の物体
画像を抽出するための処理と、 前記ネットワークを介して前記物体画像と合成するため
の第2の画像を受信するための処理と、 前記第2の画像に、自コンピュータで抽出した前記物体
画像を合成するための処理と、 前記物体画像を合成した第2の画像を前記第2の画像へ
の画像合成に参加する他のコンピュータへ送信するため
の処理と、 前記受信した前記第2の画像が、この第2の画像への画
像合成に参加する全てのコンピュータを経由済みのとき
は、その画像合成に参加した全てまたは一部のコンピュ
ータへ前記物体画像を合成した第2の画像を送信するた
めの処理と、 をコンピュータに実行させるためのプログラムを記録し
た記録媒体。 - 【請求項8】 ネットワークを介して他の少なくとも1
つのコンピュータと互いに通信可能に接続されたコンピ
ュータに実行させるためのプログラム製品であって、 自コンピュータで取得した第1の画像中から所望の物体
画像を抽出するための処理と、 前記ネットワークを介して前記物体画像と合成するため
の第2の画像を受信するための処理と、 前記第2の画像に、自コンピュータで抽出した前記物体
画像を合成するための処理と、 前記物体画像を合成した第2の画像を前記第2の画像へ
の画像合成に参加する他のコンピュータへ送信するため
の処理と、 前記受信した前記第2の画像が、この第2の画像への画
像合成に参加する全てのコンピュータを経由済みのとき
は、その画像合成に参加した全てまたは一部のコンピュ
ータへ前記物体画像を合成した第2の画像を送信するた
めの処理と、 をコンピュータに実行させるためのプログラム製品。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000299848A JP3748374B2 (ja) | 2000-09-29 | 2000-09-29 | 画像合成方法及び画像合成システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000299848A JP3748374B2 (ja) | 2000-09-29 | 2000-09-29 | 画像合成方法及び画像合成システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002112216A true JP2002112216A (ja) | 2002-04-12 |
JP3748374B2 JP3748374B2 (ja) | 2006-02-22 |
Family
ID=18781600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000299848A Expired - Fee Related JP3748374B2 (ja) | 2000-09-29 | 2000-09-29 | 画像合成方法及び画像合成システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3748374B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011044883A (ja) * | 2009-08-20 | 2011-03-03 | Nihon System Kaihatsu Co Ltd | 画像合成機能を有するデジタルカメラ |
-
2000
- 2000-09-29 JP JP2000299848A patent/JP3748374B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011044883A (ja) * | 2009-08-20 | 2011-03-03 | Nihon System Kaihatsu Co Ltd | 画像合成機能を有するデジタルカメラ |
Also Published As
Publication number | Publication date |
---|---|
JP3748374B2 (ja) | 2006-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110475150A (zh) | 虚拟礼物特效的渲染方法和装置、直播系统 | |
CN108173742B (zh) | 一种图像数据处理方法、装置 | |
CN107534704A (zh) | 信息处理设备、信息处理方法和信息处理程序 | |
US20040150723A1 (en) | Apparatus and method for displaying pictures in a mobile terminal | |
KR20040054416A (ko) | 정지영상 이미지 처리방법 | |
US9514718B2 (en) | Information processing system, information processing apparatus, and information processing method | |
JP2004128614A (ja) | 画像表示制御装置及び画像表示制御プログラム | |
US11363088B1 (en) | Methods and apparatus for receiving virtual relocation during a network conference | |
US12058183B2 (en) | Virtual relocation during network conferences | |
US20130016058A1 (en) | Electronic device, display method and computer-readable recording medium storing display program | |
CN112817671A (zh) | 图像处理方法、装置、设备以及计算机可读存储介质 | |
CN115690664A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
US20200296145A1 (en) | Communication terminal, communication system, and display control method | |
KR101771133B1 (ko) | 필기 애니메이션 메시지 송수신을 위한 장치 및 방법 | |
CN110913118B (zh) | 视频处理方法、装置及存储介质 | |
US10468029B2 (en) | Communication terminal, communication method, and computer program product | |
JP4444623B2 (ja) | 動画像変換装置および方法、動画像配信装置、メール中継装置並びにプログラム | |
CN100388834C (zh) | 移动型终端装置、图像印刷装置和图像通信管理服务器 | |
JP4321751B2 (ja) | 描画処理装置、描画処理方法および描画処理プログラム、並びにそれらを備えた電子会議システム | |
JP2002112216A (ja) | 画像合成方法および情報処理装置 | |
JP2009169695A (ja) | 動画像生成装置及びコンピュータプログラム | |
KR100694035B1 (ko) | 화상 통신시 배경 화면 서비스 방법 | |
CN111445557A (zh) | 银行网点名片的自动生成方法及装置 | |
JP2882632B2 (ja) | 画像会議装置 | |
KR100800896B1 (ko) | 휴대용 단말기의 메시지 전송 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041214 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050830 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051125 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |