JP2008262474A - 警報装置 - Google Patents

警報装置 Download PDF

Info

Publication number
JP2008262474A
JP2008262474A JP2007105957A JP2007105957A JP2008262474A JP 2008262474 A JP2008262474 A JP 2008262474A JP 2007105957 A JP2007105957 A JP 2007105957A JP 2007105957 A JP2007105957 A JP 2007105957A JP 2008262474 A JP2008262474 A JP 2008262474A
Authority
JP
Japan
Prior art keywords
alarm
driver
recognized
warning
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007105957A
Other languages
English (en)
Other versions
JP5075457B2 (ja
Inventor
Satohiko Watabe
聡彦 渡部
Hitoshi Kumon
仁 久門
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota InfoTechnology Center Co Ltd
Original Assignee
Toyota Motor Corp
Toyota InfoTechnology Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota InfoTechnology Center Co Ltd filed Critical Toyota Motor Corp
Priority to JP2007105957A priority Critical patent/JP5075457B2/ja
Publication of JP2008262474A publication Critical patent/JP2008262474A/ja
Application granted granted Critical
Publication of JP5075457B2 publication Critical patent/JP5075457B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Emergency Alarm Devices (AREA)

Abstract

【課題】作業者が警報を認知したか否かを判断する。
【解決手段】警報装置は、所定の周波数で点滅表示する警報表示手段と、作業者の脳波を測定する脳波測定手段と、測定された脳波に基づいて、作業者が警報を認知したか否かを判定する認知判定手段とを有する。ここで、認知判定手段は、警報表示手段の点滅周波数に対応する脳波である視覚誘発電位が測定されたか否かに応じて、作業者が警報を認知したか否かを判定することが好適である。
【選択図】図2

Description

本発明は、警報装置に関し、特に、作業者が警報を認知したことを判定可能な警報装置に関する。
警報装置は、異常な状況が発生した場合などに、作業者に対してそのことを警報する。しかし、作業者がその警報を認知したかを警報装置側で直接判定することはできなかった。
たとえば、車両の運転者に対して異常を知らせる運転支援システムとしては、対向車や歩行者が存在する場合に運転者に対して警報を発するものである。この場合、システム側では、運転者が周辺状況を認識したかどうかを把握することは困難である。ハンドルやブレーキの操作によって運転者が警報を認識したと判断することも可能であるが、実際には運転者が警報にしたがって周辺状況を確認した上で問題ないと判断したために、ハンドルやブレーキを操作しないということもある。したがって、警報を認知したかどうかは判断できないので、運転に係るヒューマンエラーの原因の一つである認知ミスを確認することは、ドライブレコーダー等を用いても後日に解析することによってしか得られなかった。
ところで、人間の脳波について以下のことが知られている。すなわち、目に光を当てた場合に、その視覚への刺激に対して視覚誘発電位と呼ばれる脳波が発生する。そして、点滅する物体を目視した場合には、点滅周波数と同一周波数成分の脳波が強く発生することが知られている。非特許文献1には、視覚誘発電位を利用して、異なる刺激周波数の2物体を提示したときに被験者がどちらの物体を注視していたかを判別することが記載されている。
唐山英明、廣瀬通考著、「視覚誘発電位を利用したCAVE内の仮想物体制御に関する研究」、日本バーチャルリアリティ学会第11回大会論文集、2006年9月
本発明の目的は、警報装置において、作業者が警報を認知したか否かを判定可能とすることにある。
本発明は、視覚誘発電位を利用して、作業者が点滅表示される警報表示を認知したか否かを判定することを特徴とする。
より具体的には、本発明に係る警報装置は、警報表示手段と、脳波測定手段と、認知判定手段とを有する。警報表示手段は、作業者に対して警報を知らせるときに点滅表示するものであり、点滅周波数はあらかじめ定められている。脳波測定手段は、作業者の脳波を測定する。脳波の測定は、どのような技術によって実施されても良いが、侵襲性のない頭皮上電極を用いて測定することが好適である。認知判定手段は、警報表示手段の点滅周波数に対応する脳波(視覚誘発電位)が測定されたか否かに応じて、作業者が警報を認知したか否かを判定する。より具体的には、点滅周波数と同じ周波数成分の脳波が所定の強度以上で測定された場合に、作業者が警報を認知したと判定することができる。
このように視覚誘発電位を利用することで、作業者が警報を認知したか否かを直接判定
することができる。したがって、作業者が回避行動など警報に対応する行動を取らなかった場合であっても、警報に気がつかず行動を取らなかったのか、警報を認知した上で判断して行動を取らなかったのかを区別することが可能となる。
本発明に係る警報装置において、警報表示手段が複数設けられ、各々が異なる周波数で点滅表示する構成を採用することができる。この場合、認知判定手段は、脳波測定手段によって測定された脳波に基づいて、作業者がどの警報表示手段による警報を認知したかを判定することが好適である。より具体的には、認知判定手段は、測定された脳波の周波数と同じ周波数の点滅周波数で点滅する警報を作業者が認知したと判定することができる。
このような構成によれば、複数の警報表示手段が同時に警報表示される場合であっても、作業者がどの警報表示手段による警報を認知したか判定することが可能となる。
また、本発明に係る警報装置は、作業者の視線を測定する視線測定手段をさらに有することが好適である。この場合、認知判定手段は、作業者の視線の向きも考慮して、作業者の警報の認知度合いを判定することができる。たとえば、視覚誘発電位が検知されない場合は、警報を認知していないと判定することができる。視覚誘発電位が検知され、かつ、視線が警報表示手段の方を向いた場合は、警報を完全に認知したと判定することができる。視覚誘発電位が検知されているにも拘わらず作業者の視線が警報表示手段の方に向かない場合は、警報を認知しているが動作が伴っていないと判定することができる。
このように、視覚誘発電位と視線変化の両方を利用することで、作業者の警報の認知度合いをより詳細に判定することが可能となる。
また、本発明に係る警報装置は、認知判定手段によって作業者が警報を認知していないと判定された場合に、警報を強化する警報強化手段を設けても良い。警報強化手段は、たとえば、警報表示手段の発光輝度を増加させたり、音声による警報を発したりする構成を採用することができる。また、作業者が警報を認知していないと判定された場合には、回避行動を行う制御手段を設けることも好適である。
なお、本発明は、上記手段の少なくとも一部を有する警報装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む警報の認知判定方法、または、かかる方法を実現するためのプログラムとして捉えることもできる。上記手段及び処理の各々は可能な限り組み合わせて本発明を構成することができる。
本発明によれば、作業者が警報を認知したか否かを判定することが可能となる。
以下、図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
(第1の実施形態)
〈構成〉
本発明の第1の実施形態は、本発明に係る警報装置を車両に対して適用した例であり、運転者(作業者に相当)に対して障害物の存在等の異常を警報する。
図1は、本実施形態に係る警報装置の機能ブロックを示す図である。本実施形態に係る警報装置は、車両状況取得部1、警報制御部2、2つの警報表示器3a,3b、脳波計4、認知判定部5および車両制御部6から構成される。
車両状況取得部1は、車両に設置されたレーダーやカメラなどから車両付近の障害物に関する情報を取得する。たとえば、ミリ波レーダーから対向車の情報を取得したり、赤外線カメラから歩行者の情報を取得する。また、無線通信装置によって、路側機から発信される対向車、歩行者やその他の障害物についての情報を取得してもよい。
警報制御部2は、車両状況取得部1から得られた情報に基づいて、運転者に対して警報を発する必要があるかを判断する。警報制御部2は、車両の状況が異常であると判断した場合には、警報表示器3を用いて運転者に対して警報する。
警報表示器3a,3bは、運転者に対して異常を知らせるための表示装置である。本実施形態においては、2つの警報表示器が設けられており、それぞれ車両左側および右側に異常がある場合に用いられる。警報表示器3a,3bは、それぞれが異なる点滅周期(点滅周波数)で点滅表示する。本実施形態では、警報表示器3aは7Hzで点滅し左側に異常があることを通知し、警報表示器3bは5Hzで点滅表示し右側に異常があることを通知する。なお、警報表示器は、液晶ディスプレイなどの画像表示装置上に表示される画像として構成されても良く、ライトやランプなどとして構成されても良い。
脳波計4は、運転者の脳波を計測する。脳波計4は、複数(数個〜数十個)の電極を有し、計測対象者の頭皮に配置して脳波を計測する。脳波計4は、ヘッドバンドのような形態をしていても良く、ヘルメットなどの内側に電極が設けられる形態であっても良い。
認知判定部5は、運転者から得られる脳波に、警報表示に対応する視覚誘発電位が存在するか否かによって、運転者が警報を認知したか否かを判定する。従来技術の欄でも説明したように、所定の周波数で点滅する点滅表示を認知した場合に、人間の脳波には点滅周波数と同一の周波数の視覚誘発電位が発生することが知られている。認知判定部5は、この視覚誘発電位を検知することで、運転者が警報を認知したか判断する。
具体的には、認知判定部5は、脳波計4から得られた脳波を高速フーリエ変換し、脳波の所定の周波数成分(本実施形態においては、警報表示器3a,3bに対応して7Hzと5Hz)の強度を取得する。そして、得られた各周波数成分の脳波の強度が所定の閾値以上である場合に、視覚誘発電位が発生していると判断する。そして、認知判定部5は、視覚誘発電位が発生している場合に警報を認知したと判断する。
また、別の方法として、認知判定部5は、脳波計4から得られた脳波を、識別器に適用することで、運転者が警報表示を認知したか否か判断することもできる。識別器は、あらかじめ用意された学習用データである、警報表示を認知した場合の脳波と警報表示を認知していない場合の脳波とを用いてニューラルネットワークの技術によって作成される。そして、識別器は、入力された脳波が警報表示を認知したか否かを識別可能である。具体的手法としては、SVM(サポートベクタマシン)などの手法を採用することができる。
認知判定部5は、警報を表示したにも拘わらず、運転者が警報を認知していないと判定された場合には、車両制御部6に対して車両側で異常回避を強制的に実行する指令を出しても良い。また、警報制御部2に対して、警報表示を強化する指令を出しても良い。また、警報表示器3a,3b以外の警報(たとえば、音声や警報音による警報)が設けられている場合には、これらの警報を用いて運転者に対して警報を行っても良い。
〈動作例〉
図2は、本実施形態に係る警報装置の動作例を示すフローチャートである。警報制御部2は、車両状況取得部1から得られる情報に基づいて、対向車や歩行者などの障害物について車外の状況を把握し(S11)、異常があるか判定する(S12)。異常がない場合
(S12−NO)には、S11へ戻り車外状況の把握を続行する。異常がある場合(S12−YES)には、障害物が存在する方向の警報表示器を点滅表示させる(S13)。次に、認知判定部5は、脳波計4から得られる運転者の脳波から、点滅表示させた警報表示器に対応する視覚誘発電位を検知する(S14)。脳波から視覚誘発電位が検知された場合(S14−YES)、認知判定部5は、運転者が警報を認知したと判定する(S15)。一方、脳波から視覚誘発電位が検知されない場合(S14−NO)は、認知判定部5は、運転者が警報を認知していないと判定する(S16)。運転者が警報を認知していない場合は、さらに警報を強化したり、車両を自動的に制御することが好ましい。
〈実施形態の作用・効果〉
本実施形態に係る警報装置によれば、運転者が警報を認知したか否かを、より直接的に判定することができる。たとえば、警報装置が異常を運転者に知らせた場合であっても、運転者が目視によって確認して異常な状況ではないと判定することがある。このような場合、運転者はハンドルやブレーキなどの操作(対応行動)を行わないことになるが、本実施形態に係る警報装置は運転者が警報を認知していたことが判断できるため、さらなる警報や自動制御などを行わなくて済む。また、本実施形態に係る警報装置は、このように警報を発生させた後に運転者が対応行動を取らなくても良いことを前提とできるため、異常かもしれないという状況で運転者に注意喚起を促す警報を行うことができる。
(第2の実施形態)
図3は、本発明の第2の実施形態に係る警報装置の機能ブロックを示す図である。図に示すように本実施形態に係る警報装置は、上記第1の実施形態に係る警報装置に対して、運転者の視線を検知する視線計測器7を設けた点が異なる。
視線計測器7は、運転者の視線がどの方向を向いているかを計測する装置である。本実施形態において、視線計測器7は具体的には、運転者の眼球を撮影するカメラと、撮影された眼球の画像を解析するコンピュータとから構成される。なお、運転者の視線を、運転者の顔向きから計測する構成を採用しても構わない。
認知判定部5は、脳波計4から得られる脳波と、視線計測器7から得られる視線の向きに基づいて、運転者の警報の認知度合いを判定する。認定判定部5は、運転者が、(1)警報を認知していない、(2)警報を認知したが行動が伴わない、(3)警報を完全に認知、の3つの段階に分けて把握する。
具体的な判定方法を図4のフローチャートに基づいて説明する。なお、図4のステップS21〜S24は、第1の実施形態のフローチャート(図2)のステップS11〜S14と同様であるため、説明を省略する。
認知判定部5は、脳波計4から警報の点滅表示に対応する視覚誘発電位が検知されない場合(S24−NO)は、運転者が警報を認知していないと判定する(S27)。脳波から視覚誘発電位が検知された場合(S24−YES)は、視線計測器7から得られる運転者の視線に変化があるか判定する(S25)。運転者の視線が点滅表示された警報表示の方向に向いた場合(S25−YES)は、認知判定部5は、運転者が警報を認知したと判定する(S26)。一方、運転者の視線が点滅表示された警報表示の方向に向いていない場合(S25−NO)は、認知判定部5は、運転者が警報を認知したが行動が伴っていないと判定する(S28)。
本実施形態に係る警報装置によれば、脳波計4と視線計測器7を併用して、運転者が警報をどの程度認識したかをより詳細に判定することができる。運転者が警報を認知していない場合、および、警報を認知した場合には、認知判定部5は上記第1の実施形態と同様
の制御を行うことが好ましい。これに対して、運転者が警報を認知したにも拘わらず行動が伴わない場合については、認知判定部5は種々の制御を行うことができる。たとえば、警報している異常の重要度が高い場合には、警報の強化を行ったり自動制御を行ったりする一方、警報している異常の重要度が低い場合には、警報を認識していると見なして何もしなくても良い。運転者の認知結果に基づいてどのような制御を行うかは本発明に係る警報装置が適用される状況に応じて適宜設定すればよい。本発明に係る警報装置は、運転者の認知具合を詳細に把握することで、それぞれに適した制御を行えることに利点がある。
なお、本実施形態においては、視線計測器7から得られる運転者の視線が警報表示器に向いたか否かを判断の基準にしているが、警報表示に対応する異常の方向(車両右側や左側)に運転者の視線が向いているか否かを判断の基準にしても構わない。
(第3の実施形態)
本実施形態では、複数の異なる内容の警報を運転者に通知する。これら複数の警報表示器は、それぞれが異なる内容の異常に対する警報であり、同時に複数の警報が表示されることがある。なお、各警報表示器は、それぞれが独自の点滅周波数(点滅周期)で点滅表示される。
本実施形態においては、認知判定部5は、同時に点滅表示される複数の警報表示のうち、どの警報表示を認知したかを判定する。認知判定部5は、脳波計4から得られる運転者の脳波から、警報表示に対する周波数成分の脳波成分を抽出し、その強度が閾値以上である周波数に対応する警報表示を認知したと判定することができる。また、認知判定部5は、SVMなどの識別器を用いて、どの警報表示を認知したか判定しても良い。
本実施形態に係る警報装置によれば、複数の警報が同時に表示される環境において、運転者がどの警報を認識したか適切に判定することが可能となる。
(その他)
上記の実施形態では、車両を運転する運転者に対して車外の障害物などの異常を通知する警報装置を例にして説明したが、本発明に係る警報装置は具体的にどのような異常を作業者に対して通知するものであって良い。たとえば、車両に適用される場合であっても、エンジンやその他の車内の機器に関する異常を通知する警報装置であっても良い。また、適用範囲は車両に限られず、工場などに適用され、作業ミスや装置の故障などの異常を通知するよう構成されても良い。
また、上記の第1及び第2の実施形態では、2つの警報表示器を用いたが、これらの実施形態において警報表示器を1つのみしか利用しなくても良く、また、3つ以上の警報表示器を利用しても良い。
また、運転者(作業者)の警報表示の認知度合いに応じて、どのような制御を警報装置側で行うかは、本発明に係る警報装置が適用される状況に応じて適宜設定可能である。
第1の実施形態に係る警報装置の機能ブロックを示す図である。 第1の実施形態に係る警報装置の動作例を示すフローチャートである。 第2の実施形態に係る警報装置の機能ブロックを示す図である。 第2の実施形態に係る警報装置の動作例を示すフローチャートである。
符号の説明
1 車外状況取得部
2 警報制御部
3 警報表示器
4 脳波計
5 認知判定部
6 車両制御部
7 視線計測器

Claims (4)

  1. 所定の周波数で点滅表示する警報表示手段と、
    作業者の脳波を測定する脳波測定手段と、
    測定された脳波に基づいて、前記作業者が警報を認知したか否かを判定する認知判定手段と、
    を有する警報装置。
  2. 前記認知判定手段は、前記警報表示手段の点滅周波数に対応する脳波が測定されたか否かに応じて、前記作業者が警報を認知したか否かを判定する
    請求項1記載の警報装置。
  3. 各々が異なる周波数で点滅表示する複数の警報表示手段を有し、
    複数の警報表示手段は同時に警報表示可能であり、
    前記認知判定手段は、測定された脳波に基づいて、作業者がいずれの警報表示手段による警報を認知したか判定する
    請求項1または2記載の警報装置。
  4. 作業者の視線を測定する視線測定手段をさらに有し、
    前記認知判定手段は、作業者の視線の向きも考慮して、作業者の警報の認知度合いを判定する
    請求項1〜3いずれか1項記載の警報装置。
JP2007105957A 2007-04-13 2007-04-13 警報装置 Expired - Fee Related JP5075457B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007105957A JP5075457B2 (ja) 2007-04-13 2007-04-13 警報装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007105957A JP5075457B2 (ja) 2007-04-13 2007-04-13 警報装置

Publications (2)

Publication Number Publication Date
JP2008262474A true JP2008262474A (ja) 2008-10-30
JP5075457B2 JP5075457B2 (ja) 2012-11-21

Family

ID=39984890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007105957A Expired - Fee Related JP5075457B2 (ja) 2007-04-13 2007-04-13 警報装置

Country Status (1)

Country Link
JP (1) JP5075457B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019073603A1 (ja) * 2017-10-13 2020-11-19 マクセル株式会社 表示装置、脳波インタフェース装置、ヘッドアップディスプレイシステム、プロジェクタシステムおよび視覚刺激信号の表示方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04285526A (ja) * 1991-03-13 1992-10-09 Koonan:Kk 視野計
JPH07325988A (ja) * 1994-06-02 1995-12-12 Nissan Motor Co Ltd 車両用表示装置
JPH1052402A (ja) * 1996-08-09 1998-02-24 Agency Of Ind Science & Technol 視覚疲労検査方法および立体視標呈示装置
JPH1097369A (ja) * 1996-09-24 1998-04-14 Yoshimichi Yonezawa 誘発脳波を用いた選択スイッチ機能
JP2000149167A (ja) * 1998-11-10 2000-05-30 Nissan Motor Co Ltd 警報装置
JP2003248541A (ja) * 2002-02-22 2003-09-05 Mitsubishi Electric Corp 脳波信号を用いた制御装置及び制御方法
JP2007038772A (ja) * 2005-08-02 2007-02-15 Matsushita Electric Ind Co Ltd 速度制御装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04285526A (ja) * 1991-03-13 1992-10-09 Koonan:Kk 視野計
JPH07325988A (ja) * 1994-06-02 1995-12-12 Nissan Motor Co Ltd 車両用表示装置
JPH1052402A (ja) * 1996-08-09 1998-02-24 Agency Of Ind Science & Technol 視覚疲労検査方法および立体視標呈示装置
JPH1097369A (ja) * 1996-09-24 1998-04-14 Yoshimichi Yonezawa 誘発脳波を用いた選択スイッチ機能
JP2000149167A (ja) * 1998-11-10 2000-05-30 Nissan Motor Co Ltd 警報装置
JP2003248541A (ja) * 2002-02-22 2003-09-05 Mitsubishi Electric Corp 脳波信号を用いた制御装置及び制御方法
JP2007038772A (ja) * 2005-08-02 2007-02-15 Matsushita Electric Ind Co Ltd 速度制御装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019073603A1 (ja) * 2017-10-13 2020-11-19 マクセル株式会社 表示装置、脳波インタフェース装置、ヘッドアップディスプレイシステム、プロジェクタシステムおよび視覚刺激信号の表示方法
JP7101696B2 (ja) 2017-10-13 2022-07-15 マクセル株式会社 表示装置、脳波インタフェース装置、ヘッドアップディスプレイシステムおよびプロジェクタシステム
JP7367132B2 (ja) 2017-10-13 2023-10-23 マクセル株式会社 脳波インタフェース装置

Also Published As

Publication number Publication date
JP5075457B2 (ja) 2012-11-21

Similar Documents

Publication Publication Date Title
JP7032966B2 (ja) 車両安全支援装置および方法
US9776644B2 (en) On-vehicle situation detection apparatus and method
US11772671B2 (en) Systems and methods for predicting control handback
Dawson et al. Look before you (s) leep: evaluating the use of fatigue detection technologies within a fatigue risk management system for the road transport industry
US10327705B2 (en) Method and device to monitor at least one vehicle passenger and method to control at least one assistance device
JP6291787B2 (ja) 車両用表示装置
JP4845886B2 (ja) 個人の警戒レベルの指示を生成するための方法及び装置
CN106740862A (zh) 驾驶员状态监控方法及驾驶员状态监控装置
KR101628394B1 (ko) 운전자 시선 거리 추적 방법
US20130093603A1 (en) Vehicle system and method for assessing and communicating a condition of a driver
JP6330411B2 (ja) 情報呈示装置及び情報呈示方法
CN105389948A (zh) 一种预防司机疲劳驾驶的系统及方法
CN105894855A (zh) 危险驾驶的提示方法及装置
JP2011180873A (ja) 運転支援装置、及び運転支援方法
KR101417470B1 (ko) 응시 대상 확인 장치 및 방법
KR101338041B1 (ko) Ssvep 기반 차량 안전 주행 제어 시스템 및 방법
Barr et al. A review and evaluation of emerging driver fatigue detection measures and technologies
JPWO2011111206A1 (ja) 生体状態判定装置
KR20210113070A (ko) 주의 기반 알림
Ebrahim et al. Eye movement detection for assessing driver drowsiness by electrooculography
KR20170007001A (ko) 단말의 눈동자 인식 기능을 이용한 안전 운전 제어 방법, 장치 및 기록매체
KR20150061943A (ko) 운전자 상태 감지 장치 및 그 방법
KR20080106907A (ko) 무력상태 모니터
US20220334641A1 (en) Hands-free vehicle sensing and applications as well as supervised driving system using brainwave activity
US11427206B2 (en) Vehicle operation assistance device, vehicle operation assistance method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090918

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120814

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120827

R150 Certificate of patent or registration of utility model

Ref document number: 5075457

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees