JP2000049948A - 音声通話装置および音声通話システム - Google Patents
音声通話装置および音声通話システムInfo
- Publication number
- JP2000049948A JP2000049948A JP10215824A JP21582498A JP2000049948A JP 2000049948 A JP2000049948 A JP 2000049948A JP 10215824 A JP10215824 A JP 10215824A JP 21582498 A JP21582498 A JP 21582498A JP 2000049948 A JP2000049948 A JP 2000049948A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- volume
- overlap
- call
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Telephonic Communication Services (AREA)
Abstract
話装置において、会話の中心となる相手の話の聞き分け
を容易にし、使い勝手を良くする。 【解決手段】 双方向通信路を介して複数の通話装置が
接続される。各通話装置に、制御部23と、話者に応じ
て複数設けられたゲインコントロールアンプ26と、加
算器27とを設ける。制御部23において、発声時間を
検出すると共に、会話の重なり時間を検出する。音声の
重なり時間をT1とし、話相手と想定される人の発声時
間をT2として、音量抑制の重みWを(W=T1/T
2)により算出する。重みWでゲインコントロールアン
プを制御することにより、不要な音声を抑制して快適な
通話環境を形成する。
Description
上の話者の間において音声通話する際に用いられ、電話
会議や遠隔テレビ会議等に用いて好適な音声通話装置お
よび音声通話システムに関する。
に音声や映像を伝送することが可能な各種装置およびシ
ステムが提案されているが、実際に広く普及しているの
は電話装置である。近年、通信方式のディジタル化に伴
い、電話装置においても各種サービスを受けることがで
き、然も、画像等が送れる高機能な電話装置が実用化さ
れている。従来の電話装置において画像を伝送する場合
には、例えば、現行のアナログ回線が使用され、静止画
のみが伝送される。また、通信サービスにおいては、通
常の回線交換接続以外にも、3者同時通話が可能な接続
サービスが提供されつつある。このようなサービスは、
今後、さらに通信網の整備や通信方式の高度化に伴っ
て、複雑多岐にわたるものとなることが予想され、高度
な情報通信サービスの一つとして多地点間におけるテレ
ビ会議や3人以上の話者が同時通話可能な電話会議等が
考えられる。
電話装置の受話器を用いて複数の人と会話しようとして
も、本来の会話のように相手の方を向いて声の大きさを
調節したり、顔の表情を確認しながら会話を進めること
ができないため、通常の会話とは感覚が異なり、円滑に
コミュニケーションを図ることができない問題点があっ
た。また、同時に会話する人数が多くなるにつれて、会
話の中心となる相手の話を聞き分けることが困難になり
使い勝手が悪い問題点があった。
以上の話者が同時通話可能な電話会議等を行う場合に
は、その場所毎にマイクの状態やマイクと話者との距離
が異なるためにそれぞれ音量レベルが異なり、音量レベ
ル等を全体として調整する必要が生じ、制御情報や制御
系が複雑になる問題点を有していた。
なる相手の話を聞き分けることが容易で使い勝手が良
く、然も、各話者の音量レベルが自動的に適正レベルと
することができる音声通話装置および音声通話システム
を提供することにある。
めに、請求項1の発明は、通信を介して複数の人が音声
通話するようになされた音声通話システムに用いられる
音声通話装置において、通話中に各人の音声の音量を検
出する音量検出手段と、上記音量検出手段により検出さ
れる音量を所定のしきい値で2値化することにより音声
の有無を判別する判別手段と、上記判別手段の判別結果
により、通話中の各人の音声の重なりを判定し、上記音
声の重なりに応じて通話中の各人の音声のレベルを調整
する音量調整手段とを備えたことを特徴とする音声通話
装置である。
が音声通話するようになされた音声通話システムにおい
て、双方向通信路を介して複数の音声通話装置が結合さ
れ、上記音声通話装置は、他の音声通話装置との通信の
ための通信手段と、通話中に各人の音声の音量を検出す
る音量検出手段と、上記音量検出手段により検出される
音量を所定のしきい値で2値化することにより音声の有
無を判別する判別手段と、上記判別手段の判別結果によ
り、通話中の各人の音声の重なりを判定し、上記音声の
重なりに応じて通話中の各人の音声のレベルを調整する
音量調整手段とを備えたことを特徴とする音声通話シス
テムである。
区間における各話者の音量レベルの検出がなされ、所定
のしきい値で以て音量レベルを2値化することで発声時
間が検出されると共に、重なり時間が検出される。そし
て、音声の重なり時間をT1とし、話相手と想定される
人の発声時間をT2としてレベル抑制の重みWが(W=
T1/T2)により算出される。重みWが各話者の対応
して設けられたゲインコントロールアンプのそれぞれに
供給され、ゲインコントロールアンプが重みWにより制
御されることにより、会話の相手以外の話者の発声音量
が抑えられると共に、自分が主に話をしている場合に
は、自然に他の人全体の音量が抑えられて通話環境が快
適なものとされる。
いて図面を参照して説明する。図1は、この発明による
音声通話装置によって構成される電話会議システムの一
例を示し、図2は、この発明の一実施形態の全体構成を
示す。なお、図1および図2において対応する箇所に関
しては、同一の参照符号が付されている。
A,B,C,Dの4人によって電話会議がなされるもの
とする。この場合においては、話者A,B,C,Dのそ
れぞれに対して同一の構成の音声通話装置1a,1b,
1c,1dが設置される。音声通話装置1a,1b,1
c,1dのそれぞれは、制御ユニット10、アンプ1
2、スピーカ13およびマイクロホン14により構成さ
れる。音声通話装置1a,1b,1c,1dの制御ユニ
ット10は、出力端子11と入力端子15とを有し、出
力端子11にアンプ12を介してスピーカ13が接続さ
れ、入力端子15にマイクロホンが接続される。音声通
話装置1a,1b,1c,1dのそれぞれが双方向通信
路としてのネットワーク/電話回線2に接続され、話者
A,B,C,Dの4者間においてネットワーク/電話回
線2を介して互いに通話が可能な状態とされる。
御ユニット19のそれぞれは、図2に示すようにネット
ワークインターフェース回路21、伝送符号/復号器2
2、制御部23、4個のD/A変換器24a,24b,
24c,24d、4個のゲインコントロールアンプ26
a,26b,26c,26d、A/D変換器25および
加算器27により構成されている。なお、D/A変換器
およびゲインコントロールアンプは、会議システムに含
まれる人数に応じて設けられている。
処理用のメモリ31、音量検出回路32、発生区間判定
回路33、重なり区間判定回路34、重み発生部35、
D/A変換器36および図示せずもマイクロコンピュー
タ等により構成されており、会話が行われている組を自
動的に検出することによって話者の音量を調節するため
の重みWを形成し、この重みをゲインコントロールアン
プ26a〜26dの制御端子に供給する。この例では、
重みWは、音量を抑制するものであり、ゲインコントロ
ールアンプ26a〜26dは、重みWが大きな値ほどそ
のゲインが小に制御される。
の音声通話装置1a,1b,1c,1dにおいても同様
であるため、話者Aの地点の音声通話装置1aを例に挙
げてその構成と動作について以下に説明する。ネットワ
ーク/電話回線2およびネットワークインターフェース
回路21を介して他の話者B,C,Dの音声情報が伝送
符号/復号器22に供給される。
形態とされている音声情報が復号され、復号後の音声情
報がさらに識別情報に基づいて話者B,C,Dそれぞれ
の音声情報D2,D3,D4に分離される。音声情報D
2が制御部23の音声処理用のメモリ31に供給される
と共に、D/A変換器24bに供給され、音声情報D3
が制御部23の音声処理用のメモリ31に供給されると
共に、D/A変換器24cに供給され、音声情報D4が
制御部23の音声処理用のメモリ31に供給されると共
に、D/A変換器24dに供給される。
2がディジタル・アナログ変換され、アナログの音声信
号S2が形成される。この音声信号S2がゲインコント
ロールアンプ26bに供給される。同様にD/A変換器
24cおよび24dにおいて、音声情報D3およびD4
のそれぞれがディジタル・アナログ変換され、アナログ
の音声信号S3およびS4が形成される。この音声信号
S3がゲインコントロールアンプ26cに供給され、音
声信号S4がゲインコントロールアンプ26dに供給さ
れる。
入力端子15には、自分(話者A)の音声信号が供給さ
れる。入力端子15を介して話者Aの入力音声信号がA
/D変換器25に供給される。A/D変換器25におい
て、入力音声信号がアナログ・ディジタル変換され、音
声情報D1が形成される。この音声情報D1が伝送符号
/復号器22に供給される。伝送符号/復号器22にお
いて、音声情報がさらに所定の伝送形態に符号化され、
この出力がネットワークインターフェース回路21およ
びネットワーク/電話回線2を介して接続地点のそれぞ
れに対して送出される。また、音声情報D1は、伝送符
号化されることなく、伝送符号/復号器22を介して制
御部23の音声処理用のメモリ31に供給されると共
に、D/A変換器24aに供給される。D/A変換器2
4aにおいて、音声情報D1がディジタル・アナログ変
換され、アナログの音声信号S1が形成される。この音
声信号S1がゲインコントロールアンプ26aに供給さ
れる。
b,26c,26dのそれぞれは、制御端子を有してお
り、この制御端子に供給される制御信号(重みW)に応
じてそれぞれの信号レベルを調整して出力する。ゲイン
コントロールアンプ26aの制御端子には、制御部23
からの制御信号C1が供給されており、音声信号S1が
所定レベルに制御されて加算器27の第1の入力端子に
供給される。同様にゲインコントロールアンプ26bの
制御端子には、制御部23からの制御信号C2が供給さ
れ、ゲインコントロールアンプ26cの制御端子には、
制御部23からの制御信号C3が供給され、ゲインコン
トロールアンプ26dの制御端子には、制御部23から
の制御信号C4が供給される。従って、音声信号S2が
所定レベルに制御されて加算器27の第2の入力端子に
供給され、音声信号S3が所定レベルに制御されて加算
器27の第3の入力端子に供給され、音声信号S4が所
定レベルに制御されて加算器27の第4の入力端子に供
給される。
アンプ26a,26b,26c,26dのそれぞれの出
力が加算され、合成音声信号が形成される。この合成音
声信号が出力端子11を介して取り出され、スピーカ1
3が接続されたアンプ12に供給される。後述するよう
に、制御部23において、各人の音声信号のレベルを制
御することによって、スピーカ13により再生される音
声は、会話の組以外の話者(すなわち、会話のタイミン
グが合っていない話者)の発声音量が抑えられると共
に、自分が主に話をしている場合には、自然に自分以外
の話者の音量が抑えられたものとされる。なお、他の地
点の音声通話装置1b,1c,1dにおいても同様に処
理がなされ、各地点においてそれぞれに快適な会話環境
が形成される。
説明する。通常、多人数で会話をする時には、自分の発
声と重なるように話す人の声は煩わしく、また、それで
も自分の話を聞かせたい場合には、重なって発声してい
る相手よりも大きな声で発声するように心掛けるもので
あり、逆に、聞きたい相手の発声中には、自分の発声を
控えるものである。さらに、聞こえる音量が少々低くて
も、興味のある話題には、敏感に反応するという面もあ
る。このように会話時の発声音量は、円滑にコミュニケ
ーションを図る上で重要な要素である。この発明は、制
御部23の処理によって、各話者の音声レベルを制御
し、自然なユーザーインターフェースを実現しようとす
るものである。
は、上述したように伝送符号/復号器22からの音声情
報D1,D2,D3,D4が供給されており、逐次音声
情報D1,D2,D3,D4がメモリ31に蓄積され
る。メモリ31の蓄積時間、即ち、処理対象区間Ct
は、必要に応じて可変することができ、例えば、(Ct
=30sec )に設定されている。つまり、メモリ31に
おいて、現時刻から30sec前までの区間の音声情報D
1,D2,D3,D4のそれぞれがメモリ31に書き込
まれて一時的に保持される。この処理対象区間Ctで処
理を行うことで、制御部23の反応が必要以上に過敏に
なることが防止される。なお、この説明においては、処
理対象区間Ctが予め設定されたものであるが、処理対
象区間Ctを可変するようにしても良い。メモリ31に
蓄積された音声情報D1,D2,D3,D4のそれぞれ
が読み出され、音量検出回路32に供給される。
B,C,Dの音量レベルの検出がなされ、音量検出回路
32の出力が発声区間判定回路33に供給される。発声
区間判定回路33は、所定のしきい値で以て音量レベル
を2値化することで発声区間を判定すると共に、処理対
象区間Ct内の発声時間をカウントする。発声区間判定
回路33において、音声レベルが所定値以上である場合
には、例えば、ハイレベルとされる発声区間情報と発声
時間を示す情報とが形成される。各話者A,B,C,D
のそれぞれの発声区間情報と発声時間を示す情報とが重
なり区間判定回路34に供給される。
区間判定回路33からの各話者A,B,C,Dのそれぞ
れの発声区間情報の論理積により重なり区間を判定し、
その重なり時間をカウントする。重なり区間判定回路3
3において、発声区間の重なり合う関係を示す情報と、
重なり時間を示す情報とが形成され、この情報が重み発
生部35に供給される。また、音声区間判定回路33か
らの発声時間を示す情報がそのまま重み発生部35に供
給される。
る重みWが生成される。例えば、音声の重なり時間をT
1とし、話相手と想定される人の発声時間をT2とした
場合には、下式に示される演算により重みWが算出され
る。なお、予め重みWの最大値Wmax が設定されてお
り、重みWが(W<Wmax )とされる。
が算出され、得られた重みWに応じた制御情報が形成さ
れる。この制御情報がD/A変換器36に供給される。
D/A変換器36において、重み発生部35からの制御
情報がディジタル・アナログ変換され、各話者A,B,
C,Dの音声レベルを制御する4つの制御信号C1,C
2,C3,C4が形成される。
れぞれが前述したゲインコントロールアンプ26a,2
6b,26c,26dのそれぞれに供給される。ゲイン
コントロールアンプ26a,26b,26c,26dの
それぞれが制御信号C1,C2,C3,C4により制御
されることにより、会話のタイミングが合っていない話
者の発声音量が抑えられると共に、自分が主に話をして
いる場合には、自然に他の人全体の音量が抑えられる。
また、逆に発声タイミングを合わせることで話相手以外
の他の話者の音量を抑えることができる。
的になされるものであるが、例えば、制御部23が手動
モードに設定された場合には、各話者A,B,C,Dに
対する重みWをそれぞれに設定して手動で調整すること
が可能とされている。
具体的な会話例を挙げて詳細に説明する。各話者A,
B,C,Dの全員が会話に参加しており、例えば、図3
で示すように発声区間が検出されているものとする。な
お、図3においては、横軸が時間の経過を示し、最上段
から話者A,B,C,Dの発声区間が示されている。ま
た、図3において矢印51で示される数値が発声区間判
定回路33において、カウントされた処理対象区間Ct
内の各話者A,B,C,Dの発声時間である。
間判定回路33からの各話者A,B,C,Dのそれぞれ
の発声区間情報の論理積により重なり区間が判定され、
その重なり時間がカウントされる。図3に示すタイミン
グで会話がなされている場合には、図4に示すように各
話者A,B,C,Dの全ての組み合わせで重なり時間T
1が検出される。なお、図4において、各数値の単位は
秒であり、( ) で括って表示されている数値は、発声区
間判定回路33において、カウントされた処理対象区間
Ct内の各話者A,B,C,Dの発声時間である。
で重なり時間T1が検出されると、次に、重み発生部3
5において、各話者A,B,C,Dの全ての組み合わせ
で重みWが算出される。重みWを図5に示す。例えば、
話者Aの地点において話者Bに対する重みWを算出する
場合には、重なり時間T1が2.5秒であり、話者Bの
発声時間T2が10秒であるため、(2.5/10=
0.25)が算出される。また、話者AとDとの重みW
を算出する場合には、重なり時間T1が12.5秒であ
り、話者Dの発声時間T2が25秒であるため、(1
2.5/25=0.5)が算出される。同様に各話者
A,B,C,Dの全ての組み合わせで重みWが算出され
る。なお、重み付けを行う場合においては、予め重みW
の最大値Wmaxが0.9に設定されており、それによっ
て、会話に支障をきたさない範囲での音量レベルの制御
が可能とされる。
グの制御信号C1〜C4がD/A変換器36から発生す
る。制御信号C1〜C4によって、重みWが大きいほど
ゲインが小さくなるように、ゲインコントロールアンプ
26a,26b,26c,26dのそれぞれのゲインが
制御される。
は、発声区間情報の論理積により重なり区間の判定を行
って重なり時間T1を検出する場合について説明した
が、例えば、重なっていない区間を検出しても演算によ
り重なり時間T1を算出することができ、重なり時間T
1の検出方法としては、種々のものが可能である。
ては、話者が4人の場合について説明したが、当然のこ
とながら、3人以上で4人以外の場合においてもこの発
明を適用することができ、この場合においては、D/A
変換器およびゲインコントロールアンプのそれぞれが対
応して増設される。
部において、処理対象区間Ct における各話者の音量レ
ベルの検出がなされ、所定のしきい値で以て音量レベル
を2値化することで発声時間が検出されると共に、重な
り時間が検出される。そして、音声の重なり時間をT1
とし、話相手と想定される人の発声時間をT2として重
みWが(W=T1/T2)により算出される。従って、
この発明に依れば、会話のタイミングが合っていない話
者の発声音量が抑えられると共に、自分が主に話をして
いる場合には、自然に他の人全体の音量が抑えられて円
滑にコミュニケーションを図ることができる。
システムのブロック図である。
すブロック図である。
図である。
図である。
図である。
ネットワーク/電話回線、10・・・制御ユニット、2
1・・・ネットワークインターフェース回路、23・・
・制御部、26a,26b,26c,26d・・・ゲイ
ンコントロールアンプ、31・・・音声処理用のメモ
リ、32・・・音量検出回路、33・・・発声区間判定
回路、34・・・重なり区間判定回路、35・・・重み
発生部
Claims (5)
- 【請求項1】 通信を介して複数の人が音声通話するよ
うになされた音声通話システムに用いられる音声通話装
置において、 通話中に各人の音声の音量を検出する音量検出手段と、 上記音量検出手段により検出される音量を所定のしきい
値で2値化することにより音声の有無を判別する判別手
段と、 上記判別手段の判別結果により、通話中の各人の音声の
重なりを判定し、上記音声の重なりに応じて通話中の各
人の音声のレベルを調整する音量調整手段とを備えたこ
とを特徴とする音声通話装置。 - 【請求項2】 通信を介して複数の人が音声通話するよ
うになされた音声通話システムにおいて、 双方向通信路を介して複数の音声通話装置が結合され、 上記音声通話装置は、 他の音声通話装置との通信のための通信手段と、 通話中に各人の音声の音量を検出する音量検出手段と、 上記音量検出手段により検出される音量を所定のしきい
値で2値化することにより音声の有無を判別する判別手
段と、 上記判別手段の判別結果により、通話中の各人の音声の
重なりを判定し、上記音声の重なりに応じて通話中の各
人の音声のレベルを調整する音量調整手段とを備えたこ
とを特徴とする音声通話システム。 - 【請求項3】 請求項1または2において、 上記音量調整手段は、過去の所定区間の音声信号に基づ
いて音量調整を行うことを特徴とする装置。 - 【請求項4】 請求項1または2において、 上記音量調整手段の音声の重なりに応じた処理は、所定
区間の音声の重なり時間と話相手と想定される人の発声
時間とによる演算結果に基づいてなされることを特徴と
する装置。 - 【請求項5】 請求項1または2において、 上記音量調整手段の音声の重なりに応じた処理に用いら
れる演算結果は、音声の重なり時間をT1とし、話相手
と想定される人の発声時間をT2として、下式により算
出されるWであることを特徴とする装置。 W=T1/T2
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21582498A JP3829485B2 (ja) | 1998-07-30 | 1998-07-30 | 音声通話装置、音声通話システム、および音声通話方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21582498A JP3829485B2 (ja) | 1998-07-30 | 1998-07-30 | 音声通話装置、音声通話システム、および音声通話方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2000049948A true JP2000049948A (ja) | 2000-02-18 |
JP2000049948A5 JP2000049948A5 (ja) | 2005-09-08 |
JP3829485B2 JP3829485B2 (ja) | 2006-10-04 |
Family
ID=16678875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21582498A Expired - Fee Related JP3829485B2 (ja) | 1998-07-30 | 1998-07-30 | 音声通話装置、音声通話システム、および音声通話方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3829485B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7266368B2 (en) | 2003-01-29 | 2007-09-04 | Fujitsu Limited | Method and apparatus for presenting assistance data in a communication conference system |
EP3301895A1 (en) | 2016-09-28 | 2018-04-04 | British Telecommunications public limited company | Streamed communication |
EP3301896A1 (en) | 2016-09-28 | 2018-04-04 | British Telecommunications public limited company | Streamed communication |
EP2896194B1 (en) * | 2012-09-14 | 2018-05-09 | Google LLC | Handling concurrent speech |
-
1998
- 1998-07-30 JP JP21582498A patent/JP3829485B2/ja not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7266368B2 (en) | 2003-01-29 | 2007-09-04 | Fujitsu Limited | Method and apparatus for presenting assistance data in a communication conference system |
EP2896194B1 (en) * | 2012-09-14 | 2018-05-09 | Google LLC | Handling concurrent speech |
EP3301895A1 (en) | 2016-09-28 | 2018-04-04 | British Telecommunications public limited company | Streamed communication |
EP3301896A1 (en) | 2016-09-28 | 2018-04-04 | British Telecommunications public limited company | Streamed communication |
US10277732B2 (en) | 2016-09-28 | 2019-04-30 | British Telecommunications Public Limited Company | Streamed communication |
US10277639B2 (en) | 2016-09-28 | 2019-04-30 | British Telecommunications Public Limited Company | Managing digitally-streamed audio conference sessions |
Also Published As
Publication number | Publication date |
---|---|
JP3829485B2 (ja) | 2006-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10499136B2 (en) | Providing isolation from distractions | |
JP2000059496A (ja) | 携帯通信装置においてスピ―カフォン動作を行うための方法および装置 | |
JPH1075310A (ja) | 多地点テレビ会議システム | |
JP5526134B2 (ja) | 周辺電話技術システムにおける会話検出 | |
JPWO2004030329A1 (ja) | 電話通訳システム | |
JP2004133403A (ja) | 音声信号処理装置 | |
US5842139A (en) | Telephone communication terminal and communication method | |
JPH11112672A (ja) | 多地点通話装置 | |
JP3829485B2 (ja) | 音声通話装置、音声通話システム、および音声通話方法 | |
CN110891216A (zh) | 一种耳机装置 | |
JP2009027239A (ja) | 通信会議装置 | |
CN110856068B (zh) | 一种耳机装置的通话方法 | |
JP2001339799A (ja) | 仮想会議装置 | |
JP3828185B2 (ja) | 会議支援システムおよび会議支援システムの制御方法 | |
EP4075822A1 (en) | Microphone mute notification with voice activity detection | |
JP7331976B2 (ja) | 情報処理装置、プログラム、及び情報処理システム | |
JP2000049948A5 (ja) | 音声通話装置、音声通話システム、および音声通話方法 | |
JP2003060792A (ja) | 複数音声録音再生装置 | |
JP5391175B2 (ja) | 遠隔会議方法、遠隔会議システム及び遠隔会議プログラム | |
JP2666317B2 (ja) | 多地点間映像会議システムの映像画面切替え方法 | |
JPS59152771A (ja) | 会議通話制御方式 | |
JPH07226930A (ja) | 通信会議システム | |
JP2661151B2 (ja) | 電話装置 | |
JPS6010958A (ja) | デイジタル式会議通話装置 | |
JP2023107364A (ja) | コミュニケーション装置及びコミュニケーション方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050310 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060328 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060703 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090721 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100721 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100721 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110721 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110721 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120721 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120721 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130721 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |