JP2003163908A - 会議記録システムにおける音声位置特定方式 - Google Patents

会議記録システムにおける音声位置特定方式

Info

Publication number
JP2003163908A
JP2003163908A JP2001363537A JP2001363537A JP2003163908A JP 2003163908 A JP2003163908 A JP 2003163908A JP 2001363537 A JP2001363537 A JP 2001363537A JP 2001363537 A JP2001363537 A JP 2001363537A JP 2003163908 A JP2003163908 A JP 2003163908A
Authority
JP
Japan
Prior art keywords
master unit
recording system
unit
slave
microphones
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001363537A
Other languages
English (en)
Other versions
JP4229608B2 (ja
Inventor
Kiyoshi Suzuki
清詞 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2001363537A priority Critical patent/JP4229608B2/ja
Publication of JP2003163908A publication Critical patent/JP2003163908A/ja
Application granted granted Critical
Publication of JP4229608B2 publication Critical patent/JP4229608B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 【課題】 複数のマイクロホンを備えた会議記録システ
ムの設置操作のうち、手間のかかる配線作業を容易に
し、機器間のネットワークの形成、及び設置されたマイ
クロホンの位置の特定を自動的に行う。 【解決手段】 複数のマイクロホンを用いて録音する会
議記録システムであって、マイクロホンのうち少なくと
も一台は親機100、残りは子機200とする。親機1
00、子機200は、それぞれスピーカ115,21
0、無線アンテナ113,208、ネットワーク通信装
置等を有し、親機と子機の間で無線LANを用いてネッ
トワークを形成する。親機はスピーカ115を用いて距
離検出用音信号を出力し、子機から音信号を検出した時
刻(子機でのタイマカウント値)を受信し、親機と全子
機間の距離計算を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数のマイクロホ
ンを用いて録音する会議記録システムにおける音声位置
特定方式に関し、さらに詳しくは、会議、講演、学会発
表、ビジネスプレゼンテーション等を映像及び音声で記
録し、その映像記録を話者の発言内容等でタグ付けや構
造化するために、音声録音を簡単かつ高品質なものと
し、また会議参加者等の位置情報を収集することができ
る会議記録システムにおける音声位置特定方式に関す
る。
【0002】
【従来の技術】従来、会議、講演、学会発表、ビジネス
プレゼンテーション等を映像及び音声として記録し、そ
の映像記録を話者の発言内容等でタグ付けや構造化する
ために、話者の方向を検出する方法が検討されてきた。
例えば、特開平6−276514号公報に記載された
「テレビ会議システムにおけるカメラ制御方式」は、マ
イクに電磁波発信源を設け、電磁波の放出方向にカメラ
を向けるようにしたものである。また、特開平5−15
3582号公報に記載された「TV会議人物カメラ旋回
システム」は、放射状に配置した複数の指向性マイクを
用いて話者を特定する方法であり、特開平5−1110
20号公報に記載された「テレビ会議用画面切替制御装
置」は、複数のマイクロホンを用いた音声/非音声識別
方法及び複数話者の優先検出方法である。
【0003】
【発明が解決しようとする課題】前記したような話者の
方向を検出する方法は、多数のマイクロホンを使用する
こと、及びそれらの装置の設置が困難で、大掛かりな会
議でしか使用されないという問題があり、このような装
置の普及や使用の妨げとなっている。また、集音装置に
工夫を施し話者の方向を検出するものは、話者の距離情
報を得ることができない。同様にマイクロホンに電磁波
(光を含む)発信源を設け、指向性アンテナまたはビデ
オカメラを使用して位置を特定するものも、マイクロホ
ン間の距離情報を得ることができない。この場合、記録
された音場の再生成や、雑音の除去に必要なマイクロホ
ン間の距離情報が失われており、そのような機能を実現
することが困難である。
【0004】したがって、本発明は、会議記録システム
の設置操作のうち最も手間のかかるマイクロホンを有す
る機器間の配線作業を容易にし、機器間のネットワーク
の形成、及び設置されたマイクロホンの相対位置の特定
を自動的に行い、記録された音場の再生成や、雑音の除
去をより効果的に行うことができる会議記録システムに
おける音声位置特定方式を提供することを目的とする。
【0005】
【課題を解決するための手段】本発明は、前記実情に鑑
みなされたもので、請求項1の発明は、複数のマイクロ
ホンを用いて録音する会議記録システムにおける音声位
置特定方式において、前記複数のマイクロホンのうち少
なくとも1台を親機、該親機以外の複数のマイクロホン
を子機とし、前記親機と子機はそれぞれスピーカ、ネッ
トワーク通信装置、中央処理装置を有し、前記親機と子
機相互間のネットワークの形成、及び前記スピーカを用
いた音波による前記親機及び子機の位置の特定を自動的
に行うことを特徴とする。
【0006】請求項2の発明は、請求項1の発明の会議
記録システムにおける音声位置特定方式において、前記
親機と子機相互間のネットワークは、無線LANを用い
て形成することを特徴とする。
【0007】請求項3の発明は、請求項1または2の発
明の会議記録システムにおける音声位置特定方式におい
て、録音中の子機マイクロホンの追加または移動に対応
するため、定期的に前記ネットワークを再形成し、音波
による前記親機及び子機の位置を再特定することを特徴
とする。
【0008】請求項4の発明は、請求項1〜3の発明の
会議記録システムにおける音声位置特定方式において、
前記音波による親機及び子機の位置の特定は、複数の周
波数を用いて行うことを特徴とする。
【0009】請求項5の発明は、請求項4の発明の会議
記録システムにおける音声位置特定方式において、前記
複数の周波数の全てあるいはいずれかが、可聴周波数帯
域外であることを特徴とする。
【0010】
【発明の実施の形態】以下、本発明の実施の形態を図1
〜図4に示す実施例に基づいて説明する。図1は本発明
の音声位置特定方式の全体構成を示す図である。実施例
の会議記録システムにおける音声位置特定方式において
は、少なくとも1台の親機100と任意の複数台の子機
200a〜200nからなり(図1に示す例では、子機
200a〜200fの6台)、それぞれにマイクロホン
を備えているとともに、親機、子機は図2に示すような
構成要素を備えている。
【0011】図2は、親機及び子機の構成を示す図で、
図2(A)は親機100の構成を示すブロック図、図2
(B)は子機200a〜200nそれぞれの構成を示す
ブロック図である。なお、子機200a〜200nは、
それぞれ同様の構成であるので、a〜nの符号は省略し
ている。親機100は、CPU101,クロック10
2,RAM103,ROM104,HDD105,拡張
バス106,無線ネットワークI/F107,オーディ
オ入出力I/F108,ディスプレイカード109,キ
ーボードI/F110,マウスI/F111等がバス1
12に接続され、無線ネットワークI/F107,オー
ディオ入出力I/F108,ディスプレイカード10
9,キーボードI/F110,マウスI/F111に
は、それぞれ無線アンテナ113,マイクロホン11
4,スピーカ115,ディスプレイ116,キーボード
117,マウス118が接続されている。
【0012】親機100には、マイクロホン114に付
随して無線ネットワークを自動的に構成するために必要
な無線アンテナ113、また位置検出用音信号を発する
のに必要なスピーカ115が設けられている。これら
は、無線ネットワークI/F107、オーディオ入出力
I/F108、バス112を介してCPU101に接続
されている。CPU101は、クロック102を動作制
御の基準信号及び時間制御の基準信号として用いて本発
明に必要な制御動作を行い、かつ録音の開始・終了、シ
ステムの構成等を操作者とやり取りする機能を有する。
【0013】親機100を構成する前記以外の構成要素
はCPU101を動作させるのに一般的に必要な装置で
ある。すなわち、プログラムを格納するRAM103,
ROM104,HDD105、装置の動作を操作者が命
令したり、監視したりするのに必要なディスプレイ11
6、ディスプレイカード109、キーボード117、キ
ーボードI/F110、マウス118、マウスI/F1
11等である。また、将来的な装置の拡張に備えて拡張
バス106を設けてある。
【0014】子機200(200a〜200n)は、C
PU201,クロック202,RAM203,ROM2
04,無線ネットワークI/F205,オーディオ入出
力I/F206等がバス207に接続され、無線ネット
ワークI/F205,オーディオ入出力I/F206に
は、それぞれ無線アンテナ208,マイクロホン20
9,スピーカ210が接続されている。子機200には
電源の投入以外は操作者が必要ないため、その部分が親
機100から省略された構成である。
【0015】実施例の会議記録システムにおける音声位
置特定方式の動作を説明する。図3、図4は、実施例の
会議記録システムにおける音声位置特定方式の処理を示
す図で、図3は親機の処理を示すフロー図、図4は子機
の処理を示すフロー図である。親機と子機が行う処理の
概略の流れは次のようである。 A1.親機と子機の間で無線LANを用いてネットワー
クを形成する。(図3の初期化処理300,図4の初期
化処理400) A2.親機と子機間の距離計算(図3の親機−子機距離
計算310,図4の親機−子機距離計算410)、子機
と子機間の距離計算(図3の子機−子機距離計算32
0,図4の子機−子機距離計算420)により、親機と
子機間、子機相互間の相対位置を決定する。 A3.録音を開始する。(図3の録音処理340,図4
の録音処理440)
【0016】A1の動作を図3に基づき、まず親機から
説明する。操作者の操作により、電源投入が行われる
(S301)。CPUとして一般的に必要なイニシャラ
イズを行った後(S302)、親機であることが子機に
認識できる親機IDを最低限の情報として放出するブロ
ードキャスト(Broadcast:ネットワークに接
続されたすべての機器に対して通知する動作)を行い
(S303)、子機からの応答を待つ(S304)。子
機からの応答が予め設定されたタイムアウト時間内にあ
った場合、その子機のIDを登録する(S305,S3
06)。タイムアウト経過後は(S306−YES)、
それで現時点で可能なすべての子機からの応答があった
とみなし、A1の処理を完了し、A2の処理に移る。
【0017】子機では、親機の動作(S303)の時点
で、図4の初期化処理400の初期化処理がListe
nまで進行していた場合(S403)、親機からのブロ
ードキャスト(Broadcast)を受信した後(S
404−YES)、子機のID発信を行う(S40
5)。その後、親機による子機の登録動作(S305)
の確認として帰ってくる親機からの確認をうけ(S40
6)、A1の処理を完了し、A2の処理に移る。
【0018】A2の動作を説明する。親機からは、親機
と子機間の距離検出処理に入ることを通知するブロード
キャスト(Broadcast)が流れる(S31
1)。この処理終了直後にタイマカウント処理を行い
(S312)、タイマをカウント値0から動作させる。
【0019】子機では、親機からのブロードキャストを
受信し(S411)、同様にタイマカウント処理を行い
(S412)、タイマをカウント値0から動作させる。
これにより、全子機でほぼ同時刻(数マイクロ秒程度が
望ましい)にタイマのカウントがカウント値0から開始
される。
【0020】ここで、実際に親機のCPU101が通知
命令を出してから、無線アンテナ113によって通知
(ブロードキャスト)が発するまでと、子機の無線アン
テナ208の受信から、子機のCPU201がタイマカ
ウント開始(S412)を行うまでの時間的ずれは、そ
の命令数等により理論的に算出できるので、親機と子機
のタイマカウント値は適当に補正しておくものとする。
また、親機の無線アンテナ113と子機の無線アンテナ
208間の遅延は、これから距離計算に用いようとする
音波の速度に比べれば遥かに高速であるため、無視す
る。
【0021】親機において、全子機からこの通知に了解
した旨の応答があったことを確認したら(S313−Y
ES)、親機は距離検出用音信号出力を行う(S31
4)。次に、子機からその音信号出力を検出した時刻
(子機でのタイマカウント値)を受信し(S315)、
このデータに基づき親機と全子機との距離計算を行う
(S316)。この距離計算は、子機が距離検出用音波
を受信したタイマカウント値T1から親機のタイマカウ
ント値T2を差し引いた値Tに音速Sを掛けて2で割っ
たものが距離Dとなる(D=S×(T1−T2)/2
)。
【0022】次に、親機は、(S305)で登録された
子機IDそれぞれに対して、距離検出命令を送信する
(S321)。それに対し、子機は、命令された子機I
Dと自分のIDを確認し(S421)、一致した場合
(S422−YES)、自ら距離検出用音波を発する
(S423)。一致しない場合(S422−NO)、別
の子機からの距離検出用音波を検出し(S424)、検
出時のタイマカウントを親機に発信する(S425)。
【0023】親機はそれを受信し、子機間の距離を計算
する(S324)。これをすべての子機について行う
(S325)。それが終了すると、親機には、親機とそ
れぞれの子機間の距離情報が集まる。これらの情報か
ら、三角形の構成定理をもとに、矛盾のない位置関係と
距離を求める(S326)。そして、親機から位置検出
処理の終了を全子機へ通知することで(S327)、A
2の処理が完了する(S328)。
【0024】最後に、A3の録音開始を説明する。親機
は操作者により録音命令を受けると(S341)、全子
機に録音開始命令を出す(S342)。子機は、これを
受信し(S441)、録音データを親機に送信し(S4
42)、親機は録音データを受信、記録していく(S3
44)。
【0025】このとき、録音中の子機の増設や、子機の
移動に対応できるように、設定された時間tが経過する
毎に、A1,A2の処理を再度行うように(S34
6)、設定時間カウンタをセットする(S343)。設
定時間tが経過したことが検出された場合(S346−
YES)、更新処理が行われる(S347)。これにつ
いては、子機側も常に親機の(S346)における通知
があるかどうか確認しており(S443)、通知があっ
た場合(S443−YES)、対応する処理が行われる
(S444)。
【0026】録音処理は親機に録音中止が操作者により
入力されるまで継続する(S345)。親機に録音中止
が入力されると(S345−YES)、録音終了通知が
子機に通知され(S332)、子機はそれを受信し(S
445)、親機、子機とも処理を終了する(S331)
(S431)。
【0027】
【発明の効果】以上の説明から明らかなように、本発明
によれば、会議記録システムの設置操作のうちもっとも
面倒な配線と調整処理は自動的に行われ、かつ設置され
たマイクロホンの相対位置がわかるため、記録された音
場の再生成や、雑音の除去をより効果的に行うことがで
き、人によるディクテーションや音声認識や品質、効率
を向上させることができる。
【0028】特に、請求項1の発明は、それぞれマイク
ロホンを備えた親機と子機は、スピーカ、ネットワーク
通信装置、中央処理装置を有し、前記親機と子機間、子
機相互間のネットワークを形成すること、及びスピーカ
を用いた音波による親機及び子機の位置の特定を自動的
に行うので、複数のマイクロホンの設定処理を軽減する
ことができる。請求項2の発明は、無線LANを用いる
ことで、複数のマイクロホンの設置処理がより軽減でき
る。請求項3の発明は、録音中の子機マイクロホンの追
加、移動に随時対応することができる。請求項4の発明
は、複数周波数の音波による距離情報をもつことで、よ
り精密な音場再生成、ノイズ除去に必要な情報を提供す
ることができる。請求項5の発明は、録音中の位置検出
処理によって発生する音を人に聞かせることなく、その
処理を行うことができる。
【図面の簡単な説明】
【図1】 本発明の全体構成を示す図である。
【図2】 図1に示された親機、子機の装置構成を示す
ブロック図である。
【図3】 親機の電源投入から、初期化処理(子機との
ネットワーク生成)、子機との方向検出処理、録音動作
を示すフローチャートである。
【図4】 子機の電源投入から、初期化処理(親機との
ネットワーク生成)、子機相互間の方向検出処理、録音
動作を示すフローチャートである。
【符号の説明】
100…親機、101…CPU、102…クロック、1
03…RAM、104…ROM、105…HDD、10
6…拡張バス、107…無線ネットワークI/F、10
8…オーディオ入出力I/F、109…ディスプレイカ
ード、110…キーボードI/F、111…マウスI/
F、112…バス、113…無線アンテナ、114…マ
イクロホン、115…スピーカ、116…ディスプレ
イ、117…キーボード、118…マウス、200(2
00a〜200f)…子機、201…CPU、202…
クロック、203…RAM、204…ROM、205…
無線ネットワークI/F、206…オーディオ入出力I
/F、207…バス、208…無線アンテナ、209…
マイクロホン、210…スピーカ。

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 複数のマイクロホンを用いて録音する会
    議記録システムにおける音声位置特定方式において、 前記複数のマイクロホンのうち少なくとも1台を親機、
    該親機以外の複数のマイクロホンを子機とし、前記親機
    と子機はそれぞれスピーカ、ネットワーク通信装置、中
    央処理装置を有し、前記親機と子機相互間のネットワー
    クの形成、及び前記スピーカを用いた音波による前記親
    機及び子機の位置の特定を自動的に行うことを特徴とす
    る会議記録システムにおける音声位置特定方式。
  2. 【請求項2】 請求項1記載の会議記録システムにおけ
    る音声位置特定方式において、 前記親機と子機相互間のネットワークは、無線LANを
    用いて形成することを特徴とする会議記録システムにお
    ける音声位置特定方式。
  3. 【請求項3】 請求項1または2記載の会議記録システ
    ムにおける音声位置特定方式において、 録音中の子機マイクロホンの追加または移動に対応する
    ため、定期的に前記ネットワークを再形成し、音波によ
    る前記親機及び子機の位置を再特定することを特徴とす
    る会議記録システムにおける音声位置特定方式。
  4. 【請求項4】 請求項1乃至3いずれかに記載の会議記
    録システムにおける音声位置特定方式において、 前記音波による親機及び子機の位置の特定は、複数の周
    波数を用いて行うことを特徴とする会議記録システムに
    おける音声位置特定方式。
  5. 【請求項5】 請求項4記載の会議記録システムにおけ
    る音声位置特定方式において、 前記複数の周波数の全てあるいはいずれかが、可聴周波
    数帯域外であることを特徴とする会議記録システムにお
    ける音声位置特定方式。
JP2001363537A 2001-11-29 2001-11-29 会議記録システムにおける音声位置特定方式 Expired - Fee Related JP4229608B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001363537A JP4229608B2 (ja) 2001-11-29 2001-11-29 会議記録システムにおける音声位置特定方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001363537A JP4229608B2 (ja) 2001-11-29 2001-11-29 会議記録システムにおける音声位置特定方式

Publications (2)

Publication Number Publication Date
JP2003163908A true JP2003163908A (ja) 2003-06-06
JP4229608B2 JP4229608B2 (ja) 2009-02-25

Family

ID=19173861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001363537A Expired - Fee Related JP4229608B2 (ja) 2001-11-29 2001-11-29 会議記録システムにおける音声位置特定方式

Country Status (1)

Country Link
JP (1) JP4229608B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319448A (ja) * 2005-05-10 2006-11-24 Yamaha Corp 拡声システム
US7403217B2 (en) 2003-12-31 2008-07-22 Mitel Networks Corporation System and method of self-discovery and self-calibration in a video conferencing system
JP2013011744A (ja) * 2011-06-29 2013-01-17 Mizuho Information & Research Institute Inc 議事録作成システム、議事録作成方法及び議事録作成プログラム
JP7414319B2 (ja) 2021-11-08 2024-01-16 ハイラブル株式会社 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0522721A (ja) * 1991-07-17 1993-01-29 Nec Corp テレビ電話機
JP2000004495A (ja) * 1998-06-16 2000-01-07 Oki Electric Ind Co Ltd 複数マイク自由配置による複数話者位置推定方法
JP2001256335A (ja) * 2000-03-08 2001-09-21 Ricoh Co Ltd 会議記録システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0522721A (ja) * 1991-07-17 1993-01-29 Nec Corp テレビ電話機
JP2000004495A (ja) * 1998-06-16 2000-01-07 Oki Electric Ind Co Ltd 複数マイク自由配置による複数話者位置推定方法
JP2001256335A (ja) * 2000-03-08 2001-09-21 Ricoh Co Ltd 会議記録システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7403217B2 (en) 2003-12-31 2008-07-22 Mitel Networks Corporation System and method of self-discovery and self-calibration in a video conferencing system
JP2006319448A (ja) * 2005-05-10 2006-11-24 Yamaha Corp 拡声システム
JP2013011744A (ja) * 2011-06-29 2013-01-17 Mizuho Information & Research Institute Inc 議事録作成システム、議事録作成方法及び議事録作成プログラム
JP7414319B2 (ja) 2021-11-08 2024-01-16 ハイラブル株式会社 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム

Also Published As

Publication number Publication date
JP4229608B2 (ja) 2009-02-25

Similar Documents

Publication Publication Date Title
US8208664B2 (en) Audio transmission system and communication conference device
JP4973919B2 (ja) 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム
CN106375902A (zh) 通过麦克风的机会性使用的音频增强
WO2017044924A1 (en) Compact public address access point apparatuses
JP2015115959A (ja) 位置認識自動設定ラウドスピーカ
US10587979B2 (en) Localization of sound in a speaker system
JP2012211874A (ja) 携帯端末装置の位置判定システムおよび携帯端末装置
JP2003163908A (ja) 会議記録システムにおける音声位置特定方式
JP2008078938A (ja) 音響出力装置及びその制御方法並びに音響システム
JP5794700B2 (ja) 防災無線受信機
JP2006339712A (ja) 通信システム
JP3022877B1 (ja) 放送システム及びその方法
JP2014085747A (ja) 防災警報システム
CN112153525A (zh) 多扬声器全景音效的定位方法及系统
JP5537690B2 (ja) ホームシアターシステムにおいてスピーカーを特定する方法
JP6617643B2 (ja) 送信装置、受信装置、通信システム
JP2007096810A (ja) 通信システム
JP6500731B2 (ja) 通知プログラム、通信装置、および、通知方法
CN112119646A (zh) 信息处理装置、信息处理方法以及程序
JPS5839129A (ja) タクシ−無線機における空車応答方式
JP2007306185A (ja) 無線通信システム
JP4665651B2 (ja) 位置情報管理システム、サーバ装置、移動端末装置及びそれらに用いる位置情報管理方法
JP6244641B2 (ja) 無線通信システム、及び、無線通信システムの通信制御方法
JP2761305B2 (ja) コードレス電話機
JP2000347964A (ja) ネットワークシステム、位置特定方法、及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041102

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20041104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080401

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081202

R150 Certificate of patent or registration of utility model

Ref document number: 4229608

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees