JP2010254461A - エレベータの呼び登録装置 - Google Patents

エレベータの呼び登録装置 Download PDF

Info

Publication number
JP2010254461A
JP2010254461A JP2009109510A JP2009109510A JP2010254461A JP 2010254461 A JP2010254461 A JP 2010254461A JP 2009109510 A JP2009109510 A JP 2009109510A JP 2009109510 A JP2009109510 A JP 2009109510A JP 2010254461 A JP2010254461 A JP 2010254461A
Authority
JP
Japan
Prior art keywords
state
elevator
information
voice
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009109510A
Other languages
English (en)
Other versions
JP5402219B2 (ja
Inventor
Shinichi Kuroda
慎一 黒田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2009109510A priority Critical patent/JP5402219B2/ja
Publication of JP2010254461A publication Critical patent/JP2010254461A/ja
Application granted granted Critical
Publication of JP5402219B2 publication Critical patent/JP5402219B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Elevator Control (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)

Abstract

【課題】乗りかご内に設けられたマイクロホンを用いた音声認識における、エレベータの状態(戸開閉状態や走行停止状態等)の変化による誤認識を防止することができ、正確に音声認識することが可能であるエレベータの呼び登録装置を提供する。
【解決手段】エレベータの呼び登録装置において、エレベータの乗りかご1内に設けられ、利用者が発した音声の入力を受け音声信号として出力するマイクロホン4と、当該エレベータの状態に関する状態情報を出力するエレベータ制御装置2と、前記マイクロホン4から出力される前記音声信号と、当該エレベータの各状態ごとに予め登録された利用者が発する行先階の音声情報である登録音声信号のうち、前記状態情報に対応する当該エレベータの状態における前記登録音声信号と、を比較し、これらが合致した場合に呼び登録信号を出力する音声認識手段5と、を備える。
【選択図】図1

Description

この発明は、エレベータの呼び登録装置に関するものである。
従来におけるエレベータの呼び登録装置においては、エレベータの利用者の発する音声を認識して呼び登録を行うものであって、当該利用者以外からの雑音による誤認識を防止するものとして、エレベータホールに設置されたマイクロホンと、このマイクロホンの前にエレベータの利用者が立っているかどうかを検出する人検出手段と、この人検出手段からの人検出信号があるときにのみ前記マイクロホンに入力される音声信号を予め登録されている音声と比較し、音声信号が登録音声と一致した場合に呼び登録信号を発する音声認識手段と、を備えたものが知られている(例えば、特許文献1参照)。
また、同様の呼び登録装置を乗りかご内に設けることで、音声認識によりかご行先階呼び登録を行うこともできる。
特許第2557939号公報
このような特許文献1に示された従来におけるエレベータの呼び登録装置を乗りかご内に設けて、音声認識によりかご行先階呼び登録を行う場合、乗りかご内はほぼ密閉された比較的狭い空間であることから、エレベータの利用者の発する音声の反射の影響、すなわち、乗りかご内の音響モデルを考慮する必要がある。
しかしながら、特許文献1に示された従来におけるエレベータの呼び登録装置は、乗りかご内の音響モデルについては考慮しておらず、戸閉状態の方が戸開状態に比べて残響音がより重畳される等、戸の開閉状態による乗りかご内の残響音の変化の影響、乗りかごの材質の違いによる音声の反射の変化の影響や乗りかごの走行音の影響等によって、利用者が発話する階床情報(例えば「1階」等)を正確に音声認識することができず誤認識が発生するおそれがあるという課題がある。
この発明は、このような課題を解決するためになされたもので、乗りかご内に設けられたマイクロホンを用いた音声認識における、エレベータの状態(戸開閉状態や走行停止状態等)の変化による誤認識を防止することができ、正確に音声認識することが可能であるエレベータの呼び登録装置を得るものである。
この発明に係るエレベータの呼び登録装置においては、エレベータの乗りかご内に設けられ、利用者が発した音声の入力を受け音声信号として出力するマイクロホンと、当該エレベータの状態に関する状態情報を出力するエレベータ制御装置と、前記マイクロホンから出力される前記音声信号と、当該エレベータの各状態ごとに予め登録された利用者が発する行先階の音声情報である登録音声信号のうち、前記状態情報に対応する当該エレベータの状態における前記登録音声信号と、を比較し、これらが合致した場合に呼び登録信号を出力する音声認識手段と、を備えた構成とする。
この発明はエレベータの呼び登録装置において、エレベータの乗りかご内に設けられ、利用者が発した音声の入力を受け音声信号として出力するマイクロホンと、当該エレベータの状態に関する状態情報を出力するエレベータ制御装置と、前記マイクロホンから出力される前記音声信号と、当該エレベータの各状態ごとに予め登録された利用者が発する行先階の音声情報である登録音声信号のうち、前記状態情報に対応する当該エレベータの状態における前記登録音声信号と、を比較し、これらが合致した場合に呼び登録信号を出力する音声認識手段と、を備えた構成としたことで、乗りかご内に設けられたマイクロホンを用いた音声認識における、エレベータの状態の変化による誤認識を防止することができ、正確に音声認識することが可能であるという効果を奏する。
この発明の実施の形態1に係るエレベータの呼び登録装置の全体構成を示すブロック図である。 この発明の実施の形態1に係る状況判断手段により作成された状況判断結果の具体例を示す表である。 この発明の実施の形態1に係る記憶手段に記憶された各環境下の登録音声情報のアドレス空間内における記憶位置を示す説明図である。
実施の形態1.
図1から図3は、この発明の実施の形態1に係るもので、図1はエレベータの呼び登録装置の全体構成を示すブロック図、図2は状況判断手段により作成された状況判断結果の具体例を示す表、図3は記憶手段に記憶された各環境下の登録音声情報のアドレス空間内における記憶位置を示す説明図である。
図において1はエレベータの図示しない昇降路内に昇降自在に配置された乗りかごであり、この乗りかご1の昇降を含む当該エレベータの運転全般は、エレベータ制御装置2により制御される。
乗りかご1内には、利用者が操作することによりかご行先階呼びを登録するための行先階登録ボタン3が、各行先階に対応して設置されており、この行先階登録ボタン3の操作状況はエレベータ制御装置2へと送信され、また、エレベータ制御装置2により行先階登録ボタン3のボタン灯の点灯指示等がなされる。
そして、乗りかご1内には利用者が発する音声の入力を受け、音声を電気信号に変換して出力するマイクロホン4も設置されており、このマイクロホン4を介して入力された利用者の発した音声情報は、音声認識手段5により音声認識される。
この音声認識手段5は、当該エレベータの状態(戸開閉状態や走行停止状態等)を判断する状態判断手段6、利用者が発する行先階の音声情報である登録音声信号を予め記憶する記憶手段(記憶部)7、状態判断手段6による状況判断結果に基づいて、記憶手段7に記憶された登録音声信号から適切な音声信号を選択する登録音声信号選択手段8、及び、マイクロホン4から出力された音声信号と登録音声信号選択手段8により選択された登録音声信号との比較を行う音声比較手段9を有している。
エレベータ制御装置2は、当該エレベータの状態が変化するごとにエレベータの状態情報、すなわち、乗りかご1に設けられた図示しないかご戸の開閉状態に関する情報である戸開閉情報10、並びに、当該エレベータすなわち乗りかご1が走行中であるか否かに関する情報である走行中情報11を状態判断手段6へと出力する。
ここで、戸開閉情報10は、かご戸の状態に応じて、開状態、閉状態及び戸開閉動作中の3状態をとり、さらに具体的には、開状態では「1」、閉状態では「2」、戸開閉動作中では「3」の各値をとる。また、走行中情報11は、乗りかご1の状態に応じて、走行中及び停止中の2状態をとり、さらに具体的には、乗りかご1が走行中では「1」、停止中では「2」の各値をとる。
状態判断手段6は、エレベータ制御装置2からの戸開閉情報10及び走行中情報11に基づいて、当該エレベータの現在の状態を判断し、この結果を状態判断結果12として登録音声信号選択手段8へと出力する。
ここでの状態判断は、図2に示すテーブルのルールに従って行われる(なお、このテーブルにおいて、「*」は「Don’t care」つまり当該情報の値はいずれであっても状態判断に影響を及ぼさないことを意味する)。
すなわち、戸開閉情報10の値が「1」(開状態)である場合には走行中情報11の値に関わらずエレベータの状態は戸開状態であるとして状態判断結果12は「1」の値をとる。戸開閉情報10の値が「3」(開閉動作中)である場合には走行中情報11の値に関わらずエレベータの状態は戸開閉動作中であるとして状態判断結果12は「2」の値をとる。戸開閉情報10の値が「2」(閉状態)であり、かつ、走行中情報11の値が「2」である場合には、エレベータの状態は戸開状態(停止中)であるとして状態判断結果12は「3」の値をとる。そして、戸開閉情報10の値が「2」(閉状態)であり、かつ、走行中情報11の値が「1」である場合には、エレベータの状態は戸開状態(走行中)であるとして状態判断結果12は「3」の値をとる。
記憶手段7には、この状態判断結果12がとり得る4つのエレベータの状態下のそれぞれにおいて、利用者が発話した行先階の音声情報である登録音声信号が予め記憶されている。
この記憶手段7における登録音声信号の格納方法について、一例を図3に示す。なお、ここでは、例えば、状態判断結果12がとり得る4の状況のうち、ある1つの状況下における登録音声信号の記憶領域として0x0400バイト(頭の「0x」は後に続く数が16進数で表現されていることを示す)を確保したとする。
従って、この例においては、エレベータの状態が戸開状態(状態判断結果12の値が「1」)における登録音声信号はアドレス空間内の0x0000〜0x0399バイトのエリアに格納され、戸開閉動作中(状態判断結果12の値が「2」)における登録音声信号はアドレス空間内の0x0400〜0x0799バイトのエリアに格納され、戸閉状態(停止中)(状態判断結果12の値が「3」)における登録音声信号はアドレス空間内の0x0800〜0x0B99バイトのエリアに格納され、そして、戸閉状態(走行中)(状態判断結果12の値が「4」)における登録音声信号はアドレス空間内の0x0C00〜0x0F99バイトのエリアに格納されている。
登録音声信号選択手段8は、状態判断手段6からの状態判断結果12に基づいて、この状態判断結果12に対応する登録音声信号を選択して記憶手段7から取得し、これを登録音声信号13として音声比較手段9へと出力する。ここでの選択及び取得の方法を前述の例により具体的に説明すると次のようになる。
すなわち、登録音声信号選択手段8は、次の(1)式により、状態判断結果12に対応する登録音声信号が格納されている先頭アドレスを算出する。
((状態判断結果12の値)−1)×(0x0400) ・・・(1)
例えば、状態判断結果12の値が「1」すなわち戸開状態である場合、(1)式による算出結果は0x0000となり、この0x0000が状態判断結果12の値「1」に対応する登録音声信号が格納されている先頭アドレスであることが判り、状態判断結果12の値が「3」すなわち戸閉状態(停止中)である場合、(1)式による算出結果は0x0800となり、0x0800が状態判断結果12の値「3」に対応する登録音声信号が格納されている先頭アドレスであることが判る。
こうして、登録音声信号選択手段8は、状態判断手段6からの状態判断結果12に基づいて、対応する登録音声信号を選択して記憶手段7から取得し、これを登録音声信号13として音声比較手段9へと出力する。
一方、乗りかご1内にあるマイクロホン4に入力された、利用者が発声した行先階の音声情報は、マイクロホン4に備えられたA/D変換器(アナログ/デジタル変換器)によりデジタル音声信号14に変換されて、音声比較手段9へと出力される。
音声比較手段9は、マイクロホン4からのデジタル音声信号14と登録音声信号選択手段8からの登録音声信号13との比較を行い、これらの音声信号が合致するか否か、より詳しくは、デジタル音声信号14の表す音声情報が、登録音声信号13の表すエレベータの昇降動作すなわち行先階に係る音声情報と合致するか否か、を判断する。
そして、デジタル音声信号14の表す音声情報が、登録音声信号13の表す行先階に係る音声情報と合致している場合、当該行先階の情報を呼び登録信号15としてエレベータ制御装置2へと出力する。
この音声比較手段9からの呼び登録信号15を受けたエレベータ制御装置2は、呼び登録信号15に含まれる行先階の情報に基づいて、当該行先階を行先階とするかご行先階呼びの登録を行うとともに、当該行先階に対応する行先階登録ボタン3のボタン灯を点灯するよう指示を行う。
そして、該当する行先階登録ボタン3のボタン灯が点灯し、利用者は自身が発話した行先階へのかご行先階呼びが正しく登録されたことを知ることができる。
なお、当該エレベータの状態を判断するのに用いられる状態情報として、ここでは、戸開閉情報及び走行中情報を用いることとしたが、この状態情報は、これらの戸開閉情報及び走行中情報に限られるものではなく、他の音声認識に影響を及ぼす可能性のあるエレベータの状態に関する情報を併せて用いるようにしてもよい。
以上のように構成されたエレベータの呼び登録装置においては、エレベータの乗りかご内に、利用者が発した音声の入力を受け音声信号として出力するマイクロホンを設け、エレベータ制御装置から当該エレベータの状態に関する状態情報を出力させ、音声認識手段により、マイクロホンから出力される音声信号と、当該エレベータの各状態ごとに予め登録された利用者が発する行先階の音声情報である登録音声信号のうち、エレベータ制御装置からの状態情報に対応する当該エレベータの状態における登録音声信号と、を比較し、これらが合致した場合に呼び登録信号を出力することで、乗りかご内に設けられたマイクロホンを用いた音声認識における、エレベータの状態の変化による誤認識を防止することができ、正確に音声認識することが可能である。
また、この際、戸の開閉状態による乗りかご内の残響音の変化や乗りかごの走行音が、音声認識に対する大きく影響すると考えられることに鑑み、状態情報として、乗りかごのかご戸の戸開閉情報及び乗りかごの走行中情報を少なくとも含むようにするとともに、状態情報に対応する当該エレベータの状態として、これらの戸開閉情報及び走行中情報の組合せにより定まる、戸開状態、戸開閉動作中、戸閉状態で停止中(戸閉状態(停止中))及び戸閉状態で走行中(戸閉状態(走行中))の各状態を少なくとも含むようにすることで、さらに音声認識の精度向上を図ることができる。
1 乗りかご
2 エレベータ制御装置
3 行先階登録ボタン
4 マイクロホン
5 音声認識手段
6 状態判断手段
7 記憶手段
8 登録音声信号選択手段
9 音声比較手段
10 戸開閉情報
11 走行中情報
12 状態判断結果
13 登録音声信号
14 デジタル音声信号
15 呼び登録信号

Claims (4)

  1. エレベータの乗りかご内に設けられ、利用者が発した音声の入力を受け音声信号として出力するマイクロホンと、
    当該エレベータの状態に関する状態情報を出力するエレベータ制御装置と、
    前記マイクロホンから出力される前記音声信号と、当該エレベータの各状態ごとに予め登録された利用者が発する行先階の音声情報である登録音声信号のうち、前記状態情報に対応する当該エレベータの状態における前記登録音声信号と、を比較し、これらが合致した場合に呼び登録信号を出力する音声認識手段と、を備えたことを特徴とするエレベータの呼び登録装置。
  2. 前記状態情報は、前記乗りかごのかご戸の戸開閉情報及び前記乗りかごの走行中情報を少なくとも含み、
    前記状態情報に対応する当該エレベータの状態は、これらの前記戸開閉情報及び前記走行中情報の組合せにより定まる、戸開状態、戸開閉動作中、戸閉状態で停止中及び戸閉状態で走行中の各状態を少なくとも含むことを特徴とする請求項1に記載のエレベータの呼び登録装置。
  3. 前記音声認識手段は、
    前記エレベータ制御装置から出力される前記状態情報に基づいて、当該エレベータの状態を判断し、状態判断結果を出力する状態判断手段と、
    利用者が発する行先階の音声情報である登録音声信号を、当該エレベータの各状態ごとに予め記憶する記憶手段と、
    前記状態判断手段から出力される前記状態判断結果に対応する当該エレベータの状態における前記登録音声信号を、前記記憶手段に記憶された前記登録音声信号から選択し、この選択した前記登録音声信号を出力する登録音声信号選択手段と、
    前記マイクロホンから出力される前記音声信号と前記登録音声信号選択手段から出力される前記登録音声信号とを比較し、これらが合致した場合に呼び登録信号を出力する音声比較手段と、を備えたことを特徴とする請求項1に記載のエレベータの呼び登録装置。
  4. 前記状態情報は、前記乗りかごのかご戸の戸開閉情報及び前記乗りかごの走行中情報を少なくとも含み、
    前記状態判断手段から出力される前記状態判断結果に対応する当該エレベータの状態は、これらの前記戸開閉情報及び前記走行中情報の組合せにより定まる、戸開状態、戸開閉動作中、戸閉状態で停止中及び戸閉状態で走行中の各状態を少なくとも含み、
    前記記憶手段は、少なくとも、戸開状態、戸開閉動作中、戸閉状態で停止中及び戸閉状態で走行中の各状態ごとの前記登録音声信号を予め記憶することを特徴とする請求項3に記載のエレベータの呼び登録装置。
JP2009109510A 2009-04-28 2009-04-28 エレベータの呼び登録装置 Active JP5402219B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009109510A JP5402219B2 (ja) 2009-04-28 2009-04-28 エレベータの呼び登録装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009109510A JP5402219B2 (ja) 2009-04-28 2009-04-28 エレベータの呼び登録装置

Publications (2)

Publication Number Publication Date
JP2010254461A true JP2010254461A (ja) 2010-11-11
JP5402219B2 JP5402219B2 (ja) 2014-01-29

Family

ID=43315856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009109510A Active JP5402219B2 (ja) 2009-04-28 2009-04-28 エレベータの呼び登録装置

Country Status (1)

Country Link
JP (1) JP5402219B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103221325A (zh) * 2010-12-14 2013-07-24 三菱电机株式会社 电梯的呼梯登记装置
US20160200547A1 (en) * 2013-08-21 2016-07-14 Mitsubishi Electric Corporation Elevator control device
WO2016143091A1 (ja) * 2015-03-11 2016-09-15 三菱電機株式会社 エレベータの制御システム
CN108373081A (zh) * 2018-04-27 2018-08-07 上海贝思特电气有限公司 一种语音播报控制电路
CN112607536A (zh) * 2020-12-08 2021-04-06 日立楼宇技术(广州)有限公司 一种电梯控制的方法、装置、计算机设备和存储介质
CN114380153A (zh) * 2021-12-29 2022-04-22 苏州市职业大学 一种用于电梯的智能声控系统及其控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6236284A (ja) * 1985-08-08 1987-02-17 三菱電機株式会社 エレベ−タの制御装置
JPH08259123A (ja) * 1995-03-28 1996-10-08 Fujitec Co Ltd エレベータの音声認識用ニューラルネットの学習方法
JP2001086239A (ja) * 1999-09-14 2001-03-30 Canon Inc 音声入力端末器、音声認識装置、音声通信システム及び音声通信方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6236284A (ja) * 1985-08-08 1987-02-17 三菱電機株式会社 エレベ−タの制御装置
JPH08259123A (ja) * 1995-03-28 1996-10-08 Fujitec Co Ltd エレベータの音声認識用ニューラルネットの学習方法
JP2001086239A (ja) * 1999-09-14 2001-03-30 Canon Inc 音声入力端末器、音声認識装置、音声通信システム及び音声通信方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103221325A (zh) * 2010-12-14 2013-07-24 三菱电机株式会社 电梯的呼梯登记装置
US20160200547A1 (en) * 2013-08-21 2016-07-14 Mitsubishi Electric Corporation Elevator control device
US10000362B2 (en) 2013-08-21 2018-06-19 Mitsubishi Electric Corporation Elevator control device
JPWO2016143091A1 (ja) * 2015-03-11 2017-06-22 三菱電機株式会社 エレベータの制御システム
CN107250017A (zh) * 2015-03-11 2017-10-13 三菱电机株式会社 电梯控制系统
KR20170119695A (ko) * 2015-03-11 2017-10-27 미쓰비시덴키 가부시키가이샤 엘리베이터의 제어 시스템
WO2016143091A1 (ja) * 2015-03-11 2016-09-15 三菱電機株式会社 エレベータの制御システム
KR102046063B1 (ko) * 2015-03-11 2019-11-18 미쓰비시덴키 가부시키가이샤 엘리베이터의 제어 시스템
DE112015006293B4 (de) * 2015-03-11 2019-11-21 Mitsubishi Electric Corporation Aufzugsteuervorrichtung
US10625979B2 (en) 2015-03-11 2020-04-21 Mitsubishi Electric Corporation Elevator control system
CN108373081A (zh) * 2018-04-27 2018-08-07 上海贝思特电气有限公司 一种语音播报控制电路
CN112607536A (zh) * 2020-12-08 2021-04-06 日立楼宇技术(广州)有限公司 一种电梯控制的方法、装置、计算机设备和存储介质
CN114380153A (zh) * 2021-12-29 2022-04-22 苏州市职业大学 一种用于电梯的智能声控系统及其控制方法

Also Published As

Publication number Publication date
JP5402219B2 (ja) 2014-01-29

Similar Documents

Publication Publication Date Title
JP5402219B2 (ja) エレベータの呼び登録装置
JP5626362B2 (ja) エレベータの呼び登録装置
TWI557599B (zh) 語音控制方法及語音控制系統
KR101818980B1 (ko) 다중 화자 음성 인식 수정 시스템
JP6502249B2 (ja) 音声認識方法及び音声認識装置
KR101522486B1 (ko) 엘리베이터의 호출 등록 장치
US8170875B2 (en) Speech end-pointer
JP4859982B2 (ja) 音声認識装置
TW201717655A (zh) 語音控制方法及語音控制系統
KR20100062145A (ko) 차량 운전자의 감성 조절 시스템 및 방법
JP5252119B2 (ja) エレベータの音声呼び登録装置
JP2015107867A (ja) エレベータの音声呼び登録装置
ES1175583U (es) Portero electronico accesible.
JP2004333543A (ja) 音声対話システム及び音声対話方法
JP2007168972A (ja) エレベータ制御装置
CN102892697A (zh) 电梯呼梯登记装置
JP2013160877A (ja) エレベータの音声認識装置および音声認識方法
JP6061069B2 (ja) 極微小音声入力装置
JP4385889B2 (ja) エレベーター装置
JP6248717B2 (ja) エレベータ制御装置
JP2013103809A (ja) エレベータ装置
JP6007862B2 (ja) エレベータの音声案内装置
US11437019B1 (en) System and method for source authentication in voice-controlled automation
JP2019191477A (ja) 音声認識装置及び音声認識方法
JP2000311077A (ja) 音声情報入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131014

R150 Certificate of patent or registration of utility model

Ref document number: 5402219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250