JP2010100370A - エレベーターの操作入力装置及び方法 - Google Patents

エレベーターの操作入力装置及び方法 Download PDF

Info

Publication number
JP2010100370A
JP2010100370A JP2008271519A JP2008271519A JP2010100370A JP 2010100370 A JP2010100370 A JP 2010100370A JP 2008271519 A JP2008271519 A JP 2008271519A JP 2008271519 A JP2008271519 A JP 2008271519A JP 2010100370 A JP2010100370 A JP 2010100370A
Authority
JP
Japan
Prior art keywords
car
passenger
operation input
sight
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008271519A
Other languages
English (en)
Other versions
JP5492399B2 (ja
Inventor
Masamichi Tomita
正道 富田
Harutaka Ushijima
治孝 牛島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2008271519A priority Critical patent/JP5492399B2/ja
Priority to CN 200910206092 priority patent/CN101723216B/zh
Publication of JP2010100370A publication Critical patent/JP2010100370A/ja
Application granted granted Critical
Publication of JP5492399B2 publication Critical patent/JP5492399B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】
エレベーターの乗客が乗りかご内に設けられた防犯釦或いはインターホン呼び釦を操作することなく最寄り階への移動と停止と開扉、または警報,通報を行うことのできる操作入力装置を提供する。
【解決手段】
乗りかご内において、カメラ撮影などにより取得された乗客の画像から乗客の視線を画像処理によって認識し、認識された視線が乗りかご内の所定の箇所に向けられているか否かを判断する。そして、視線が乗りかご内の所定の箇所に向けられていると判断した場合に最寄り階停止開扉又は警報の発報若しくは乗りかご外部への通報を行う。
【選択図】図1

Description

本発明は、制御装置に所要の操作指令を入力する、エレベーターの操作入力装置及び方法に関する。
従来、エレベーターの乗客が乗りかご内で所要の操作指令を入力する入力装置としては、行き先階階床釦,戸開釦,戸閉釦,戸開延長釦及びインターホン呼び釦等が一般に用いられていた。インターホン呼び釦は、通常はこれを押し続けることによりエレベーターの管理者の事務所または保守センターに繋がるものである。
また、特開平11−116157号公報(特許文献1)に記載される技術では、乗客が乗り合せた他の乗客による犯罪の危険を感じたときに指で操作すると、扉を閉じにくくする機能,最寄り階に停止して扉を開くという機能または各階ごとに停止する機能を有する防犯釦を乗りかご内に設置する。逆に特開2007−238195号公報(特許文献2)に記載される技術では、乗り合せたくない他人が乗り場で待っている可能性が有るときに階床に乗りかごを着床させずに階床の中間部分に緊急避難させる防犯釦を設置する。
さらに、特開2007−161420号公報(特許文献3)には、乗客が両手に大きな荷物を持っている場合や、上肢を動かすことが困難な乗客に対応して、乗りかご内の乗客の視線をカメラで認識し、このカメラで検出された乗客の視線を画像処理装置で処理して、どの行先階釦を注視しているかを判別し、エレベーターの制御信号を発生させる装置が開示されている。
特開平11−116157号公報 特開2007−238195号公報 特開2007−161420号公報
特許文献1または2のような指で操作する方式の防犯釦では、乗客の操作者が予めボタンの付近で操作に適した位置にいる必要がある。しかし犯罪の危険を認識した状況では、立ち位置を自由に変更することは一般に困難である。また、恐怖心や釦を押す操作が相手が行動を起こすきっかけになりかねないとの懸念があって押すことをためらう場合もある。
特許文献3に記載された入力装置では、乗場のかご呼び釦又は乗りかご内の行先階登録釦を視線により入力することが開示されているが、防犯釦およびインターホン呼び釦の入力については開示されておらず、乗客が押すことをためらう場合について考慮されていない。
本発明は、上記問題点を考慮してなされたものであり、防犯釦またはインターホン呼び釦の機能を持つエレベーターの操作入力装置及び方法を提供する。
上記課題を解決するために本発明においては、乗りかご内において、カメラ撮影などにより取得された乗客の画像から乗客の視線を画像処理によって認識し、認識された視線が乗りかご内の所定の箇所に向けられているか否かを判断する。そして、視線が乗りかご内の所定の箇所に向けられていると判断した場合に最寄り階停止開扉又は警報の発報若しくは乗りかご外部への通報を行う。乗客の視線が向けられる乗りかご内の所定の箇所としては、カメラ,防犯釦,インターホン呼び釦,ダミー標識などを設定することができる。
さらに、好ましくは、乗客の顔画像から乗客が登録者かどうかの判別を行い、登録者であることが確認された時に入力を有効化する。
本発明によれば、乗りかご内の乗客が防犯釦やインターホン呼び釦を手で押すことを躊躇する状況あるいは困難な状況においても、防犯操作指令やインターホン操作指令を入力することが可能なる。
以下、本発明の第1の実施形態について、図面に基づいて説明する。
図1は、第1の実施形態であるエレベーターの操作入力装置を備えた乗りかごの内部を示している。乗りかご1の内部には、カメラ2と、乗りかご内操作盤8上に防犯釦3と、表示装置12を備えている。乗りかご1の上部には画像処理装置4が設置されており、カメラ2の出力した画像信号は信号線により画像処理装置4に入力される。画像処理装置4と昇降路内部に設けられたエレベーター制御装置5との間は信号線により繋がれ、指令信号と撮影画像とが伝送される。
以下、第1の実施形態の動作について述べる。
乗客が乗りかご1内の防犯釦3を手で押した時には、エレベーター制御装置5は次の(1)ないし(3)のいずれかの防犯処理を実行する。
(1)乗りかご1を最寄りの階まで移動させて停止して、乗りかご扉6および乗場扉7を開く。
(2)乗りかご1を各階で停止させ、乗りかご扉6および乗場扉7を開閉させて、全乗客が指定した最終の行先階まで移動する。
(3)警報の発報又は乗りかご1の外部(例えばエレベーターの設置されている建物の管理室又はエレベーターの保守会社の監視センタ)への通報。
次に、視線による操作入力機能実行時の動作を説明する。図2は、第1の実施形態の操作入力装置を乗客が使用する状況を示している。図3は、第1の実施形態の操作入力装置の機能ブロック図を示し、図4は、同実施形態におけるデータ処理の流れを示す。
エレベーターの管理者が視線による操作入力機能を起動させると(ステップ101)、エレベーター制御装置5が画像処理装置4に顔捕捉プログラムの起動を指令する(ステップ102)。画像処理装置4は、カメラ2によって取得された乗りかご内の画像を取り込み(ステップ103)、画像の一定の領域内にいる乗客の顔を認識したら、その顔を追尾し続ける。
画像処理装置4は、追尾していた顔画像が正面画像であって、その目の中で黒眼が中央にあると認識した場合は、乗客がカメラ2を注視していると判断する(ステップ104)。乗客が一定時間(例えば5秒間)以上カメラ2を注視し続けているとき、画像処理装置4は防犯処理の入力があったものと判断し、入力を受け付ける。エレベーター制御装置5は手動入力の場合と同様に、前述の防犯処理を実行する(ステップ105)。防犯処理の実行中には、表示装置12に処理実行中であることを表示する。
本実施形態によれば、防犯釦3を備えた乗りかご1内において防犯釦3を押す操作がかえって相手(同乗者)が犯罪行動を起こすきっかけになりかねないとの懸念があって押す操作を躊躇する場合においても、乗客は相手に気付かれずに自然な動作をするだけで防犯処理の入力を行うことができる。
また本実施形態によれば、乗客が防犯処理を入力する際には撮影するカメラ2を注視するため、画像処理装置4は、視線方向の認識に際して黒眼の位置が目の中央にあるか否かを判別して処理するので、カメラ2以外の部分を注視する場合よりも視線方向の認識処理がより単純化され、入力動作がより確実になる。
次に、本発明の第2の実施形態について、図5ないし図7を用いて説明する。図5において乗りかご1の内部には、カメラ2と、乗りかご内操作盤8上に防犯釦3とインターホン呼び釦9とを備えている。乗りかご内操作盤8にはその他に行先階釦,戸開釦,戸閉釦等も備える。防犯釦3とインターホン呼び釦9は、他の釦とは離れた位置に設置する。特に防犯釦3とインターホン呼び釦9は、他の釦よりもカメラ2に近い位置に設置する。本実施形態では、乗りかご内操作盤内で防犯釦3とインターホン呼び釦9は、カメラ2の左右両側に配置することにより、視線が指す釦の判別をより確実にする。
図6に第2の実施形態の機能ブロック図を示し、図7に第2の実施形態のデータ処理の流れを示す。エレベーターの管理者が視線による操作入力機能を起動させると(ステップ201)、エレベーター制御装置5が画像処理装置4に顔捕捉プログラムの起動を指令し(ステップ202)、画像処理装置4は一定の領域内にいる乗客の顔を捕捉し続ける(ステップ203)。カメラ2からの画像を取り込んだ画像処理装置4は、追尾していたいずれかの顔画像が一定時間(例えば5秒間)以上防犯釦3を注視したと認識した場合には(ステップ204)、防犯処理の入力があったものと判断し、防犯入力を受け付ける。防犯入力を受け付けると、エレベーター制御装置5は防犯処理を行う(ステップ205)。
一方、画像処理装置4が上記と同様に乗客の視線を判定して、乗客が一定時間以上インターホン呼び釦9を注視したと、認識した場合には(ステップ206)、エレベーター制御装置5は乗りかご1の外部の、エレベーターの設置されている建物の管理室10又はエレベーターの保守会社の監視センタ11への通信回線にインターホンを繋ぐ(ステップ207)。
本実施形態によれば、第1の実施形態と同様に防犯釦3を備えた乗りかご1内において防犯釦3を押す操作を躊躇する場合においても、乗客が同乗者に気付かれずに防犯処理の入力を行える。また画像処理装置4は乗客が注視している釦を判別できるので、1台の乗りかご1に視線による操作入力による防犯処理の機能とインターホン呼びの機能を併設できる。なお、防犯処理の機能とインターホン呼びの機能の内、何れか一方だけを装備することも可能である。
また本実施形態によれば、防犯釦3またはインターホン呼び釦9を必ずしも手で押す必要が無いので、上肢など身体の不自由な乗客や荷物などを持っていて手を動かしづらい乗客も、容易に所要の指令を入力できる。
次に、本発明の第3の実施形態について、図8を用いて説明する。第2の実施形態においては、防犯釦3を指で押してもあるいは防犯釦3に視線を向けることによっても、防犯処理の入力を行えるように構成し、またインターホン呼び釦9を指で押し続けてもあるいは視線を向けることによってもインターホンを通信回線に繋げるように構成したが、本実施形態では図8に示すように、防犯釦3とインターホン呼び釦9を設ける代わりに2個のダミー標識3A及び9Aを設けて、2個のダミー標識への視線により操作入力するように構成する。すなわち、ダミー標識3Aに視線を向けると、第1及び第2の実施形態と同様に防犯処理が実行され、ダミー標識9Aに視線を向けると、インターホンが通信回線に繋がる。なお、ダミー標識3A及び9Aは、シールあるいはラベルを乗りかご内操作盤8に貼り付けたり、乗りかご内操作盤8のパネル表面に予め印刷したりすることにより設ける。
本実施形態によれば、防犯釦3とインターホン呼び釦9を実装する場合よりも釦の数を節減できるので、乗りかごの製造コストを低減することができる。
次に、本発明の第4の実施形態について説明する。
まず、図9を用いて特定利用者(乗客)の顔画像登録処理について説明する。エレベーターが設置されている建物の入居者など、そのエレベーターを頻繁に利用する特定利用者に対して、本人らの申込みを受け付けた上で、その正面及び斜め前からの顔登録画像を予めカメラ2で撮影し(ステップ301)、画像処理装置4を用いて登録しておく。画像処理装置4には顔識別プログラムが組み込まれており、登録データは顔画像と個人データとを対応付けて、画像処理装置が備える記憶装置に記憶されている(ステップ302,303)。
それら特定利用者に対して、(1)防犯入力の意志が無いときには乗りかご1内でカメラ2を注視し続けないこと、及び(2)設定された一定の事前動作、例えば瞬きや、数秒間目を閉じる動作や、上を向く動作等を、視線により操作入力する前に行うことを教示しておくこともできる。
画像処理装置4は、視線による操作入力機能を設定してある間は、撮影した画面中の顔画像を探索し続け、顔画像を検出したらそれが登録者のものであるか否かを判別し続ける。登録者の顔画像が存在する場合には、顔の向きと目の画像から視線方向を検出する。登録者がカメラ2を注視していると画像処理装置4が判定した時、エレベーター制御装置5は本発明の第1の実施形態と同様に行われる防犯処理の入力を有効化する。
本実施形態では、視線を向けた乗客が顔画像を登録された特定利用者か否かを判別しているので、一般乗客の偶然の視線を操作入力と誤認することが防止できる。このため、虚報すなわち警報の誤動作の発生を抑制することができる。
また本実施形態によれば、視線認識開始条件となる特定の事前動作について、特定乗客を対象に予め教示できる。その場合は、視線入力方法を知らない部外者が偶然にカメラ2を注視することと、顔識別プログラムが部外者を登録者と誤認識することとが同時に発生しない限りは防犯処理を誤動作させてしまうことが無いので、特定利用者へのサービスの質を低下させずに虚報の発生を抑制できる。
なお、上述した実施形態に限らず、本発明の技術的思想の範囲内において種々の実施形態が可能である。
本発明の第1の実施形態である視線による操作入力装置を備えた乗りかごの内部を示す。 第1の実施形態の操作入力装置を乗客が使用する状況を示す。 第1の実施形態の操作入力装置の機能ブロック図。 第1の実施形態におけるデータ処理の流れを示すフローチャート。 本発明の第2の実施形態である視線による操作入力装置を備えた乗りかごの内部を示す。 第2の実施形態の操作入力装置の機能ブロック図。 第2の実施形態におけるデータ処理の流れを示すフローチャート。 本発明の第3の実施形態である視線による操作入力装置を備えた乗りかごの内部を示す。 本発明の第4の実施形態である視線による操作入力装置における顔画像登録処理を示す。
符号の説明
1 乗りかご
2 カメラ
3 防犯釦
3A,9A ダミー標識
4 画像処理装置
5 エレベーター制御装置
6 乗りかご扉
7 乗場扉
8 乗りかご内操作盤
9 インターホン呼び釦
10 管理室
11 監視センタ
12 表示装置

Claims (6)

  1. 乗客が乗りかご内から警報の発報または通報を行うエレベーターの操作入力装置において、
    前記乗りかご内に設けられたカメラと、
    前記カメラで撮影された画像から前記乗客の視線を認識する画像処理手段と、
    前記画像処理手段によって、前記視線が前記乗りかご内の所定の箇所に向けられていると判断された場合に、最寄り階停止開扉又は警報の発報若しくは乗りかご外部への通報の処理を行うエレベーター制御装置と、
    を備えたことを特徴とするエレベーターの操作入力装置。
  2. 請求項1において、前記所定の箇所が、前記カメラ,防犯釦,インターホン呼び釦,ダミー標識のいずれかであることを特徴とするエレベーターの操作入力装置。
  3. 請求項1または請求項2において、前記カメラで撮影した前記乗客の顔画像から前記乗客が登録者かどうかの判別を行い、登録者であることが確認された時に入力を有効化することを特徴とするエレベーターの操作入力装置。
  4. 乗客が乗りかご内から警報の発報または通報を行うエレベーターの操作入力方法において、
    前記乗りかご内において前記乗客の画像を取得するステップと、
    前記画像から前記乗客の視線を画像処理によって認識するステップと、
    前記視線が前記乗りかご内の所定の箇所に向けられているか否かを判断するステップと、
    前記視線が前記乗りかご内の前記所定の箇所に向けられていると判断した場合に最寄り階停止開扉又は警報の発報若しくは乗りかご外部への通報を行うステップと、
    を含むことを特徴とするエレベーターの操作入力方法。
  5. 請求項4において、前記所定の箇所が、カメラ,防犯釦,インターホン呼び釦,ダミー標識のいずれかであることを特徴とするエレベーターの操作入力方法。
  6. 請求項4または請求項5において、前記画像から予め登録済みの者か否かの判別を行い、登録者であることが確認された時に入力を有効化することを特徴とするエレベーターの操作入力方法。
JP2008271519A 2008-10-22 2008-10-22 エレベーターの操作入力装置及び方法 Expired - Fee Related JP5492399B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008271519A JP5492399B2 (ja) 2008-10-22 2008-10-22 エレベーターの操作入力装置及び方法
CN 200910206092 CN101723216B (zh) 2008-10-22 2009-10-21 电梯的操作输入装置以及操作输入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008271519A JP5492399B2 (ja) 2008-10-22 2008-10-22 エレベーターの操作入力装置及び方法

Publications (2)

Publication Number Publication Date
JP2010100370A true JP2010100370A (ja) 2010-05-06
JP5492399B2 JP5492399B2 (ja) 2014-05-14

Family

ID=42291377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008271519A Expired - Fee Related JP5492399B2 (ja) 2008-10-22 2008-10-22 エレベーターの操作入力装置及び方法

Country Status (2)

Country Link
JP (1) JP5492399B2 (ja)
CN (1) CN101723216B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104291171A (zh) * 2014-10-30 2015-01-21 合肥指南针电子科技有限责任公司 一种智能小区的眼纹识别自动电梯控制方法及系统
CN110325467A (zh) * 2017-02-28 2019-10-11 三菱电机株式会社 电梯的呼梯登记系统
EP3575257A1 (en) 2018-05-30 2019-12-04 Inventio AG Control of elevator with gaze tracking
WO2020049706A1 (ja) * 2018-09-07 2020-03-12 三菱電機株式会社 エレベーター
CN111847147A (zh) * 2020-06-18 2020-10-30 闽江学院 一种无接触眼动式电梯楼层输入方法及装置
CN113636421A (zh) * 2019-02-28 2021-11-12 百度在线网络技术(北京)有限公司 用于发送信息的方法和装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI469910B (zh) * 2011-03-15 2015-01-21 Via Tech Inc 簡單節點式運輸系統之控制方法與裝置
CN103771203A (zh) * 2014-01-21 2014-05-07 江苏蒙哥马利电梯有限公司 一种电梯控制系统
JP5764852B1 (ja) * 2014-06-10 2015-08-19 東芝エレベータ株式会社 エレベータ乗場呼び登録システム
CN109326096B (zh) * 2018-09-14 2020-12-15 住友富士电梯有限公司 一种电梯安全语音提示系统及其控制方法
CN110759191B (zh) * 2019-11-18 2020-11-03 嵊州市万睿科技有限公司 基于5g智慧园区电梯控制方法
CN115231398A (zh) * 2022-07-05 2022-10-25 北京北投智慧城市科技有限公司 一种基于ai手势、语音识别的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6225495Y2 (ja) * 1981-05-16 1987-06-30
JPH04345490A (ja) * 1991-05-24 1992-12-01 Mitsubishi Electric Corp エレベータの非常運転装置
JP3542410B2 (ja) * 1995-06-27 2004-07-14 キヤノン株式会社 視線検出手段を有する機器
JP2007161420A (ja) * 2005-12-14 2007-06-28 Hitachi Ltd エレベータの呼び登録装置
JP2008040758A (ja) * 2006-08-04 2008-02-21 Sogo Keibi Hosho Co Ltd 警備装置、監視システム、異常判定方法および異常判定プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6225495Y2 (ja) * 1981-05-16 1987-06-30
JPH04345490A (ja) * 1991-05-24 1992-12-01 Mitsubishi Electric Corp エレベータの非常運転装置
JP3542410B2 (ja) * 1995-06-27 2004-07-14 キヤノン株式会社 視線検出手段を有する機器
JP2007161420A (ja) * 2005-12-14 2007-06-28 Hitachi Ltd エレベータの呼び登録装置
JP2008040758A (ja) * 2006-08-04 2008-02-21 Sogo Keibi Hosho Co Ltd 警備装置、監視システム、異常判定方法および異常判定プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104291171A (zh) * 2014-10-30 2015-01-21 合肥指南针电子科技有限责任公司 一种智能小区的眼纹识别自动电梯控制方法及系统
CN110325467A (zh) * 2017-02-28 2019-10-11 三菱电机株式会社 电梯的呼梯登记系统
CN110325467B (zh) * 2017-02-28 2021-10-01 三菱电机株式会社 电梯的呼梯登记系统
EP3575257A1 (en) 2018-05-30 2019-12-04 Inventio AG Control of elevator with gaze tracking
WO2020049706A1 (ja) * 2018-09-07 2020-03-12 三菱電機株式会社 エレベーター
CN113636421A (zh) * 2019-02-28 2021-11-12 百度在线网络技术(北京)有限公司 用于发送信息的方法和装置
CN113636421B (zh) * 2019-02-28 2023-01-13 百度在线网络技术(北京)有限公司 用于发送信息的方法和装置
CN111847147A (zh) * 2020-06-18 2020-10-30 闽江学院 一种无接触眼动式电梯楼层输入方法及装置
CN111847147B (zh) * 2020-06-18 2023-04-18 闽江学院 一种无接触眼动式电梯楼层输入方法及装置

Also Published As

Publication number Publication date
CN101723216B (zh) 2013-07-17
CN101723216A (zh) 2010-06-09
JP5492399B2 (ja) 2014-05-14

Similar Documents

Publication Publication Date Title
JP5492399B2 (ja) エレベーターの操作入力装置及び方法
AU2021200009B2 (en) System and method for alternatively interacting with elevators
EP3285160A1 (en) Intention recognition for triggering voice recognition system
JP2008517855A5 (ja)
JP7016641B2 (ja) 輸送システムに閉じ込められた乗客との通信
JP4414675B2 (ja) エレベータの警報装置
JP2009149412A (ja) エレベータモード変更装置及びエレベータモード変更方法
WO2011114489A1 (ja) エレベータの案内装置
JP2018065694A (ja) エレベーター監視システムおよびエレベーター監視方法
JP6483214B1 (ja) エレベータシステム及びエレベータの迷子検出方法
KR20110042708A (ko) 엘리베이터의 방범운전 시스템 및 그 제어방법
JP4952486B2 (ja) エレベータの制御装置及び制御方法
TW201510945A (zh) 一種人員進入辨識方法及實現該方法的安全艙防護系統
KR20170126821A (ko) 센서기반 지능형 비상통화장치 자기
JP2011251846A (ja) エレベータ制御システム
JP2018177395A (ja) 昇降装置の遠隔監視システム
CN114455414B (zh) 电梯乘客晕倒告警方法及装置、电子设备
KR20100089418A (ko) 음인식 수단을 구비한 승강기 운행시스템
JP2009029582A (ja) エレベーターのドア制御装置および方法
JP2020104983A (ja) エレベータ運行制御装置及び方法
JP2005206275A (ja) エレべ−ターの防犯装置
JP6864129B1 (ja) 撮影状態診断方法、画像処理装置および遠隔監視プログラム
KR200342526Y1 (ko) 승강기의 출입 감시 및 영상 송출 시스템
JP2017108343A (ja) インターホンシステムおよび玄関機
CN208071041U (zh) 一种具有测距报警功能的电梯投影装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140303

R151 Written notification of patent or utility model registration

Ref document number: 5492399

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees