JP2010130411A - 複数信号区間推定装置とその方法とプログラム - Google Patents
複数信号区間推定装置とその方法とプログラム Download PDFInfo
- Publication number
- JP2010130411A JP2010130411A JP2008303615A JP2008303615A JP2010130411A JP 2010130411 A JP2010130411 A JP 2010130411A JP 2008303615 A JP2008303615 A JP 2008303615A JP 2008303615 A JP2008303615 A JP 2008303615A JP 2010130411 A JP2010130411 A JP 2010130411A
- Authority
- JP
- Japan
- Prior art keywords
- participant
- probability
- existence probability
- unit
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】この発明の複数信号区間推定装置は、センサ部と、音声信号区間推定部と、発話者方向推定部と、顔位置検出部と、情報統合部とを具備する。音声信号区間推定部はマイクロホンからの音響信号を周波数分析した周波数スペクトルを入力として、センサ部を中心とする平面の全領域に対する音声の存在確率を推定する。発話者方向推定部は音響信号の周波数スペクトルを用いて各領域における発話者の存在確率を推定する。顔位置検出部はカメラからの映像信号を入力として、談話参加者の顔の重心の方向に基づき各領域における談話参加者の存在確率を推定する。情報統合部は音声の存在確率と発話者の存在確率と談話参加者の存在確率を入力として各領域内の特定領域において談話参加者が発話した確率を算出する。
【選択図】図1
Description
Tranter,S.E.and Reynolds,D.A.,"An overview of automatic speaker diarization systems,"IEEE Trans.on Audio,Speech,and Language Processing,vol.14,pp.1557-1565,2006. Araki,S.,Fujimoto,M.,Ishizuka,K.,Sawada,H.,and Makino,S."A DOA based speaker diarization system for real meetings,"Proceedings of the 5th Joint Workshop on Hands-free Speech Communication and Microphone Arrays,pp.29-32,2008.
この発明の複数信号区間推定装置は、複数のマイクロホンと1台以上のカメラを備えたセンサ部を中心とした平面空間をR個の離散的な領域に分割し、各領域r=1,2,…,Rにおいて、談話参加者の有無を2値で表すqr(qr=0ならば領域rには談話参加者が不在、qr=1ならば領域rに談話参加者が存在)と発話の有無を2値で表すar(ar=0ならば領域rでは発話が無く、ar=1ならば領域rで発話が有る)を導入する。また、領域rから得られる音響信号の周波数スペクトルXr、領域rから得られる音響信号の空間パワー分布をDr、及び領域rから得られる観測映像信号をVrとし、それらの観測が得られたときにqr=1かつar=1となる条件付確率p(ar=1,qr=1|Xr,Dr,Vr)を求め、これを閾値処理することにより、センサ部から見てどの方向にいつ発話があったかを推定する。なお、センサ部から見てどの方向にいつ発話があったかを推定するための閾値処理を行う際に利用する閾値や、センサ部を中心とした平面空間をR個に分割するためのRの値については予め定めておき、例えば複数信号区間推定装置内の記憶部(図1には不記載)に予め記録しておくこととしても良い。
このようにこの発明によれば、映像信号Vrから求めた談話参加者の存在確率p(qr=1|Vr)を、音響信号から求めた音声の存在確率p(ar=1|Xr)と発話者の存在確率p(ar=1,qr=1|Dr)とを統合して発話した確率を算出するので、談話参加者が発話のない状況で移動した場合であっても談話参加者の位置を追跡することが可能になる。また、3つの確率値を統合する(複数個の確率値を算出する際、1つの確率値を算出する毎に算出した確率値に対して閾値処理等の判断処理を行うのではなく、3つの確率値をすべて算出して算出した確率値全てを利用する)ので、1つの確率値の信頼度が低い場合でもその信頼度の低さがボトルネックになることがない。
同じ参照符号を付し、説明は繰り返さない。
ローを示す。複数信号区間推定装置100は、センサ部3と、音声信号区間推定部4と、
発話者方向推定部5と、顔位置検出部6と、情報統合部7とを具備する。センサ部3を除
く各部は、例えばROM、RAM、CPU等で構成されるコンピュータに所定のプログラ
ムが読み込まれて、CPUがそのプログラムを実行することで実現されるものである。
号を出力する(ステップS3、図2)。音響信号は、例えば同一の水平面上に配置された3本のマイクロホンで収音された音を16kHzでサンプリングしたディジタル信号である。映像信号は、例えばセンサ部3を中心とした空間の全方位を撮影できるように配置された1台以上のカメラで撮影された30フレーム/秒のディジタル信号である。
2msの時間長の信号を窓関数を乗じることで1フレームとして切り出される。例えば式
(7)に示すハニング窓w(n)を乗じて切り出す。
例えば512点である。このフレームとして切り出された観測信号に対し、離散フーリエ
変換を行い、時間領域の信号波形から周波数領域の周波数スペクトルに変換する。i番目
のフレームの観測信号をxi(n)とすると、その周波数スペクトルXi(k)は式(8)で求められる。
図3に音声信号区間推定部4の機能構成例を示す。音声信号区間推定部4は、事前・事後SN比算出手段40と、尤度比Λ算出手段41と、音声存在確率算出手段42を備える。事前・事後SN比算出手段40は、周波数スペクトルXi(k)を用いて、カルマンフィルタ等を利用することによって雑音信号のフレームiにおけるパワーλi N(k)を推定し、これを元に式(9)に示す事後信号対雑音比(事後SN比)γi(k)と式(10)に示す事前信号対雑音比(事前SN比)ξi(k)を求める。
ある。これらの尤度の比を取ることで、尤度比Λi(k)が計算される(式(13))。
とが出来ないため、事前SN比ξi(k)を上記の手段で求めている。尤度比Λ算出手段41は、このようにして得られた尤度比Λi(k)を例えば全周波数kに対して平均した値を尤度比Λiとして出力する(式(15))。
図4に発話者方向推定部5の機能構成例を示す。発話者方向推定部5は、信号到来方向
算出手段50と、分類手段51と、発話者存在確率算出手段52を備える。信号到来方向
算出手段50は、周波数スペクトルXi(k)を入力として、各周波数ビン(k)において信号到来方向を算出する。まず、式(17)に示す音響信号の到達時間差τi m(k)と式(18)に示す到達時間差ベクトルτi(k)→を求める。(変数名の表記は式中の表記が正しい。)
(k)と仰角φi(k)で出力する。以後、簡単のために方位角のみを信号到来方向として用いる。
て与え、例えば15度を用いる。なお、このThresholdも予め定めて複数信号区間推定装
置100内の記録部に記録しておき、分類手段が記録部から読み出すこととしても良い。
なお、各クラスタは、後述するように音声の存在確率が高いフレームにおいて推定された
空間パワー分布に基づいて生成することも可能である。
存在確率p(ar=1,qr=1|Dr)を式(21)で算出する。
す。Cnはn番目の話者が存在するクラスタを表す。例えば、n番目の話者が領域r1〜
r2に存在する場合、領域r1〜r2がCnとなる。
図5に顔位置検出部6の機能構成例を示す。顔位置検出部6は、顔位置検出・追跡手段
60と談話参加者存在確率算出手段61を備え、映像信号を入力として談話参加者の存在
確率p(qr=1|Vr)を推定する。
位をカバーした映像信号を入力として談話参加者の顔の重心の方向θnを出力する。談話
参加者の顔の重心方向は、例えば参考文献「Mateo Lozano, O. and Otsuka, k,“Simultaneous and fast 3D tracking of multiple faces in video sequences by using a particle filter”J.Signal Processing Systems,DOI 10.1007/s11265-008-0250-2,in press」に記載されたテンプレートマッチングとパーティクルフィルタを用いた顔検出・追跡方法を用いることで求めることが可能である。
ウス分布関数N(θn(τ),σ2)を用いて式(22)に示すように存在確率p(qr
=1|Vr)を計算する。
情報統合部7は、音声信号区間推定部4で推定した音声の存在確率と、発話者方向推定
部5で推定した発話者の存在確率と、顔位置検出部6が推定した談話参加者の存在確率を
入力とし、各確率値を統合することで特定領域において談話参加者が発話した確率p(a
r=1,qr=1|Xr,Dr,Vr)を算出する。
号区間推定装置160は、実施例1の発話者方向推定部5と音声信号区間推定部4の動作
を変更したものである。
を複数の領域に分割し、各領域における音響信号の空間パワー分布を算出して各領域にお
ける発話者の存在確率を推定する。発話者方向推定部60は、まず、信号到来方向算出手
段50が出力する方位角θi(k)を用いて、一定範囲から到来する信号のみを抽出するため式(26)に示す時間周波数マスクMaski(k,r)を生成する。
方向の一定範囲を表すインデックスである(r=1…R)。一定範囲の信号を抜き出すた
めには、aに例えば0を用い、bには例えば1を用いる。
音声の存在確率を推定する。実施例2の情報統合部7は、空間パワー分布を用いて談話参
加者が発話した確率p(ar=1,qr=1|Xr,Dr,Vr)を求める。
るか否かを判定させる目的信号有無判別部8を設けるようにしても良い。目的信号有無判
別部8は、発話の有無を判定する発話閾値Tを持ち、談話参加者が発話した確率p(ar
=1,qr=1|Xr,Dr,Vr)が発話閾値Tを超えていれば、談話参加者が領域rで発話しているとして“1”を出力し、超えていなければ発話が無いとして“0”を出力する。このような目的信号有無判別部8を設けた方が、複数信号区間推定装置としてより使い易いものにすることが出来る。なお、発話閾値Tは固定値でも良いし、時間と共に変化する値にしても良い。
この発明の効果を確認する目的で、3本のマイクロホンと2台のカメラを用いて観測し
た音響信号と映像信号を、この発明の複数信号区間推定装置100で分析する評価実験を
行った。実験条件を説明する。図7に音響信号と映像信号の収録環境を示す。残響時間が
約350msの会議室内で円卓70を囲んで談話する4名音響信号と映像信号を収録した。円卓70の中央に3本の全指向性マイクロホン1a,1b,1cを例えば1辺が4cmの正三角形の頂点にそれぞれ配置し、その正三角形を中心として魚眼レンズを装備した2台のカメラ2a,2bを、全方位がカバー出来るように配置した。
Thresholdは15度とした。評価尺度としては話者決定不正解率(DER:Diarization
Error Rate)を用いた。DERは、誤検出時間(FST:False-alarm Speech Time)、誤棄却時間(MST:Missed Speech Time)、話者誤り時間(SET:Speaker Error Time)の3種の誤り時間を合計し、それを総発話時間で除算する式(28)で求めた。
(Random Access Memory)、CD-ROM(Compact Disc Read Only Memory)、CD-R
(Recordable)/RW(ReWritable)等を、光磁気記録媒体として、MO(Magneto Optical disc)等を、半導体メモリとしてフラッシュメモリー等を用いることができる。
Claims (9)
- 複数のマイクロホンと1台以上のカメラを備えるセンサ部と、
上記マイクロホンからの音響信号を周波数分析した周波数スペクトルを入力として、上記センサ部を中心とする平面の全領域に対する音声の存在確率を推定する音声信号区間推定部と、
上記周波数スペクトルを用いて上記各領域における発話者の存在確率を推定する発話者方向推定部と、
上記カメラからの映像信号を入力として、談話参加者の顔の重心の方向に基づき上記各領域における上記談話参加者の存在確率を推定する顔位置検出部と、
上記音声の存在確率と上記発話者の存在確率と上記談話参加者の存在確率を入力として上記各領域内の特定領域において上記談話参加者が発話した確率を算出する情報統合部と、
を具備する複数信号区間推定装置。 - 複数のマイクロホンと1台以上のカメラを備えるセンサ部と、
上記マイクロホンからの音響信号を周波数分析した周波数スペクトルを入力として、上記センサ部を中心とする平面を複数の領域に分割した各領域における音声の存在確率を推定する音声信号区間推定部と、
上記周波数スペクトルを用いて上記各領域における発話者の存在確率を推定する発話者方向推定部と、
上記カメラからの映像信号を入力として、談話参加者の顔の重心の方向に基づき上記各領域における上記談話参加者の存在確率を推定する顔位置検出部と、
上記音声の存在確率と上記発話者の存在確率と上記談話参加者の存在確率を入力として上記各領域内の特定領域において上記談話参加者が発話した確率を算出する情報統合部と、
を具備する複数信号区間推定装置。 - 複数のマイクロホンと1台以上のカメラを備えるセンサ部と、
上記マイクロホンからの音響信号を入力として、上記センサ部を中心とする平面を複数の領域に分割し、上記各領域における音響信号の空間パワー分布を算出して上記各領域における発話者の存在確率を推定する発話者方向推定部と、
上記空間パワー分布を入力として上記各領域における音声の存在確率を推定する音声信号区間推定部と、
上記カメラからの映像信号を入力として、談話参加者の顔の重心の方向に基づき上記各領域における上記談話参加者の存在確率を推定する顔位置検出部と、
上記音声の存在確率と上記発話者の存在確率と上記談話参加者の存在確率を入力として上記各領域内の特定領域において上記談話参加者が発話した確率を算出する情報統合部と、
を具備する複数信号区間推定装置。 - 請求項1乃至3の何れかに記載した複数信号区間推定装置において、
上記談話参加者が発話した確率を入力として、上記各領域において上記談話参加者が発話しているか否かを判定する目的信号有無判別部を、
更に具備することを特徴とする複数信号区間推定装置。 - センサ部が、複数のマイクロホンと1台以上のカメラにより音響信号と映像信号を観測するセンシング過程と、
音声信号区間推定部が、上記マイクロホンからの音響信号を周波数分析した周波数スペクトルを入力として、上記センサ部を中心とする平面の全領域に対する音声の存在確率を推定する音声信号区間推定過程と、
発話者方向推定部が、上記周波数スペクトルを用いて上記各領域における発話者の存在確率を推定する発話者方向推定過程と、
顔位置検出部が、上記カメラからの映像信号を入力として、談話参加者の顔の重心の方向に基づき上記各領域における上記談話参加者の存在確率を推定する顔位置検出過程と、
情報統合部が、上記音声の存在確率と上記発話者の存在確率と上記談話参加者の存在確率を入力として上記各領域内の特定領域において上記談話参加者が発話した確率を算出する情報統合過程と、
を含む複数信号区間推定方法。 - センサ部が、複数のマイクロホンと1台以上のカメラにより音響信号と映像信号を観測するセンシング過程と、
音声信号区間推定部が、上記マイクロホンからの音響信号を周波数分析した周波数スペクトルを入力として、上記センサ部を中心とする平面を複数の領域に分割した各領域における音声の存在確率を推定する音声信号区間推定過程と、
発話者方向推定部が、上記周波数スペクトルを用いて上記各領域における発話者の存在確率を推定する発話者方向推定過程と、
顔位置検出部が、上記カメラからの映像信号を入力として、談話参加者の顔の重心の方向に基づき上記各領域における上記談話参加者の存在確率を推定する顔位置検出過程と、
情報統合部が、上記音声の存在確率と上記発話者の存在確率と上記談話参加者の存在確率を入力として上記各領域内の特定領域において上記談話参加者が発話した確率を算出する情報統合過程と、
を含む複数信号区間推定方法。 - センサ部が、複数のマイクロホンと1台以上のカメラにより音響信号と映像信号を観測するセンシング過程と、
発話者方向推定部が、上記マイクロホンからの音響信号を入力として、上記センサ部を中心とする平面を複数の領域に分割し、上記各領域における音響信号の空間パワー分布を算出して上記各領域における発話者の存在確率を推定する発話者方向推定過程と、
音声信号区間推定部が、上記空間パワー分布を入力として上記各領域における音声の存在確率を推定する音声信号区間推定過程と、
顔位置検出部が、上記カメラからの映像信号を入力として、談話参加者の顔の重心の方向に基づき上記各領域における上記談話参加者の存在確率を推定する顔位置検出過程と、
情報統合部が、上記音声の存在確率と上記発話者の存在確率と上記談話参加者の存在確率を入力として上記各領域内の特定領域において上記談話参加者が発話した確率を算出する情報統合過程と、
を含む複数信号区間推定方法。 - 請求項5乃至7の何れかに記載した複数信号区間推定方法において、
目的信号有無判別部が、上記談話参加者が発話した確率を入力として、上記各領域において上記談話参加者が発話しているか否かを判定する目的信号有無判別過程を、
更に含むことを特徴とする複数信号区間推定方法。 - 請求項1乃至4の何れかに記載した複数信号区間推定装置としてコンピュータを機能させるための装置プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008303615A JP5215826B2 (ja) | 2008-11-28 | 2008-11-28 | 複数信号区間推定装置とその方法とプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008303615A JP5215826B2 (ja) | 2008-11-28 | 2008-11-28 | 複数信号区間推定装置とその方法とプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010130411A true JP2010130411A (ja) | 2010-06-10 |
JP5215826B2 JP5215826B2 (ja) | 2013-06-19 |
Family
ID=42330450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008303615A Expired - Fee Related JP5215826B2 (ja) | 2008-11-28 | 2008-11-28 | 複数信号区間推定装置とその方法とプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5215826B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014010290A1 (ja) * | 2012-07-13 | 2014-01-16 | ソニー株式会社 | 情報処理システムおよび記憶媒体 |
WO2014017134A1 (ja) * | 2012-07-27 | 2014-01-30 | ソニー株式会社 | 情報処理システムおよび記憶媒体 |
CN104781880A (zh) * | 2012-09-03 | 2015-07-15 | 弗兰霍菲尔运输应用研究公司 | 用于提供通知的多信道语音存在概率估计的装置和方法 |
JP2019095699A (ja) * | 2017-11-27 | 2019-06-20 | 日本電信電話株式会社 | 話者方向推定装置、話者方向推定方法、およびプログラム |
CN113302692A (zh) * | 2018-10-26 | 2021-08-24 | 弗劳恩霍夫应用研究促进协会 | 基于方向响度图的音频处理 |
-
2008
- 2008-11-28 JP JP2008303615A patent/JP5215826B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
Title |
---|
JPN6012047701; 荒木章子他: '音声区間推定と時間周波数領域推定の統合による会議音声話者識別' 信学技報(IEICE Technical Report) EA2008-40, 20080711, 19-24, 社団法人電子情報通信学会 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10075801B2 (en) | 2012-07-13 | 2018-09-11 | Sony Corporation | Information processing system and storage medium |
WO2014010290A1 (ja) * | 2012-07-13 | 2014-01-16 | ソニー株式会社 | 情報処理システムおよび記憶媒体 |
JPWO2014010290A1 (ja) * | 2012-07-13 | 2016-06-20 | ソニー株式会社 | 情報処理システムおよび記憶媒体 |
RU2635046C2 (ru) * | 2012-07-27 | 2017-11-08 | Сони Корпорейшн | Система обработки информации и носитель информации |
WO2014017134A1 (ja) * | 2012-07-27 | 2014-01-30 | ソニー株式会社 | 情報処理システムおよび記憶媒体 |
JPWO2014017134A1 (ja) * | 2012-07-27 | 2016-07-07 | ソニー株式会社 | 情報処理システムおよび記憶媒体 |
US9615173B2 (en) | 2012-07-27 | 2017-04-04 | Sony Corporation | Information processing system and storage medium |
JP2015526767A (ja) * | 2012-09-03 | 2015-09-10 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 情報に基づく多チャネル音声存在確率推定を提供するための装置および方法 |
US9633651B2 (en) | 2012-09-03 | 2017-04-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for providing an informed multichannel speech presence probability estimation |
CN104781880B (zh) * | 2012-09-03 | 2017-11-28 | 弗劳恩霍夫应用研究促进协会 | 用于提供通知的多信道语音存在概率估计的装置和方法 |
CN104781880A (zh) * | 2012-09-03 | 2015-07-15 | 弗兰霍菲尔运输应用研究公司 | 用于提供通知的多信道语音存在概率估计的装置和方法 |
JP2019095699A (ja) * | 2017-11-27 | 2019-06-20 | 日本電信電話株式会社 | 話者方向推定装置、話者方向推定方法、およびプログラム |
CN113302692A (zh) * | 2018-10-26 | 2021-08-24 | 弗劳恩霍夫应用研究促进协会 | 基于方向响度图的音频处理 |
JP2022505964A (ja) * | 2018-10-26 | 2022-01-14 | フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 方向性音量マップベースのオーディオ処理 |
Also Published As
Publication number | Publication date |
---|---|
JP5215826B2 (ja) | 2013-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9595259B2 (en) | Sound source-separating device and sound source-separating method | |
Vesperini et al. | A neural network based algorithm for speaker localization in a multi-room environment | |
CN112088315A (zh) | 多模式语音定位 | |
US10535361B2 (en) | Speech enhancement using clustering of cues | |
JP4964204B2 (ja) | 複数信号区間推定装置、複数信号区間推定方法、そのプログラムおよび記録媒体 | |
JP6467736B2 (ja) | 音源位置推定装置、音源位置推定方法および音源位置推定プログラム | |
JP4875656B2 (ja) | 信号区間推定装置とその方法と、プログラムとその記録媒体 | |
JP5328744B2 (ja) | 音声認識装置及び音声認識方法 | |
US11869481B2 (en) | Speech signal recognition method and device | |
KR102230667B1 (ko) | 오디오-비주얼 데이터에 기반한 화자 분리 방법 및 장치 | |
JP5215826B2 (ja) | 複数信号区間推定装置とその方法とプログラム | |
US20220148611A1 (en) | Speech enhancement using clustering of cues | |
Marti et al. | Real time speaker localization and detection system for camera steering in multiparticipant videoconferencing environments | |
JP2005141687A (ja) | 物体追跡方法、物体追跡装置、物体追跡システム、プログラム、および、記録媒体 | |
Pasha et al. | Blind speaker counting in highly reverberant environments by clustering coherence features | |
Gebre et al. | Motion history images for online speaker/signer diarization | |
WO2013132216A1 (en) | Method and apparatus for determining the number of sound sources in a targeted space | |
Araki et al. | Online meeting recognizer with multichannel speaker diarization | |
Inoue et al. | Speaker diarization using eye-gaze information in multi-party conversations | |
Bergh et al. | Multi-speaker voice activity detection using a camera-assisted microphone array | |
Nakamura et al. | Blind spatial sound source clustering and activity detection using uncalibrated microphone array | |
Liu et al. | A unified network for multi-speaker speech recognition with multi-channel recordings | |
Takashima et al. | Estimation of talker's head orientation based on discrimination of the shape of cross-power spectrum phase coefficients | |
Tachioka et al. | Ensemble integration of calibrated speaker localization and statistical speech detection in domestic environments | |
US20190164568A1 (en) | System and method for temporal and power based zone detection in speaker dependent microphone environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101214 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5215826 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160308 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |