JP2008212490A - 心理状態推定装置 - Google Patents

心理状態推定装置 Download PDF

Info

Publication number
JP2008212490A
JP2008212490A JP2007056235A JP2007056235A JP2008212490A JP 2008212490 A JP2008212490 A JP 2008212490A JP 2007056235 A JP2007056235 A JP 2007056235A JP 2007056235 A JP2007056235 A JP 2007056235A JP 2008212490 A JP2008212490 A JP 2008212490A
Authority
JP
Japan
Prior art keywords
psychological state
frustration
influence
cognitive
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007056235A
Other languages
English (en)
Other versions
JP4748084B2 (ja
Inventor
Daiki Mori
大樹 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2007056235A priority Critical patent/JP4748084B2/ja
Priority to PCT/JP2008/054429 priority patent/WO2008108495A1/ja
Priority to US12/525,466 priority patent/US9050045B2/en
Publication of JP2008212490A publication Critical patent/JP2008212490A/ja
Application granted granted Critical
Publication of JP4748084B2 publication Critical patent/JP4748084B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021Measuring pressure in heart or blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis

Abstract

【課題】被験者の心理状態を高精度に推定する心理状態推定装置を提供することを課題とする。
【解決手段】被験者の心理状態を推定する心理状態推定装置1であって、被験者の生体情報を取得する生体情報取得手段3と、外的事象に対する被験者の認知反応を取得する認知反応取得手段4と、取得した認知反応に基づいて被験者の心理状態の変化への影響度を取得する影響度取得手段5と、生体情報と心理状態の変化への影響度に基づいて被験者の心理状態を推定する推定手段6とを備えることを特徴とする。
【選択図】図2

Description

本発明は、イライラ状態などの被験者の心理状態を推定する心理状態推定装置に関する。
運転中の安全性を向上させるために、イライラ状態などの運転者の心理状態を推定する装置が各種提案されている。この推定装置としては、例えば、特許文献1に記載の装置では、被験者の心拍数や血圧などの生体情報を検出し、その検出した生体情報と予め設定した閾値との大小関係によってイライラ状態などを判定する。また、特許文献2に記載の装置では、生体情報だけでなく、車速や天候などによる道路負荷量を考慮してイライラ状態などを判定する。
特開2006−34803号公報 特開2003−61939号公報 特開2005−157662号公報 特開2004−24879号公報
生体情報に基づいてイライラ状態を判定する場合、予め設定した数値基準(閾値)で判定しているので、イライラ状態を誤判定する虞がある。例えば、イライラ状態が高くなった場合に心拍数や血圧が上昇するので、通常より高い心拍数や血圧を閾値としてそれぞれ設定し、心拍数や血圧がその各閾値以上になるとイライラ状態が高いと判定する。しかし、心拍数や血圧が上昇するのは、イライラ状態が高いときだけでなく、大声を出して笑っているときなどの他の状態のときにも上昇する場合がある。したがって、イライラ状態が高くないときでも、イライラ状態が高いと判定される場合がある。このように、生体情報だけでは、イライラ状態の推定精度が低くなる。
また、生体情報に加えて道路負荷量(外的な環境要因)も考慮してイライラ状態を判定する場合、このような環境要因に対する反応は個人個人で異なるので、イライラ状態を誤判定する虞がある。例えば、ある規模の渋滞に遭遇した場合、全ての運転者が一律に同じ度合いのイライラ状態を示すのではなく、ある運転者は渋滞になることを予測していたのでイライラ状態が高くならないが、他の運転者は急いでいたのでイライラ状態が高くなる場合がある。したがって、実際には、同じ環境要因に遭遇した場合でも、個人個人の状況によってイライラ状態への影響が異なる。このように、生体情報に環境要因を加味した場合でも、イライラ状態の推定精度が低くなる。
そこで、本発明は、被験者の心理状態を高精度に推定する心理状態推定装置を提供することを課題とする。
本発明に係る心理状態推定装置は、被験者の心理状態を推定する心理状態推定装置であって、外的事象に対する被験者の認知反応を取得する認知反応取得手段と、認知反応取得手段で取得した認知反応に基づいて被験者の心理状態を推定する推定手段とを備えることを特徴とする。
この心理状態推定装置では、認知反応取得手段により、外的事象を受けたときの被験者の認知反応を取得する。被験者が同じ外的事象を受けたときでも、被験者個々でその外的事象に対する認知反応が異なっており、反応が大きくて心理状態に大きく影響する人もいれば、反応が小さくて心理状態に影響を殆ど与えない人もいる。そこで、心理状態推定装置では、推定手段により、その認知反応に基づいて被験者の心理状態を推定する。このように、この心理状態推定装置では、外的事象に対する被験者個々の認知反応を考慮して被験者個々の心理状態を推定することにより、外的事象が心理状態に与える影響を被験者個々に的確に反映でき、被験者個々の心理状態を高精度に推定できる。また、この心理状態推定装置では、外的事象に対する認知反応を利用することにより、外的事象に対する認知反応は瞬間的に反応として表れるので、被験者の心理状態の瞬時の変化に対応することができる。
なお、外的事象は、被験者の心理状態に影響を与える外的な様々な事象(要因)であり、例えば、運転者の場合には渋滞、割込み、道路状況である。認知反応は、被験者が外的事象を受けたときに、その外的事象に対する被験者の認知の反応であり、例えば、定位反応(慣れた外的事象に対する反応であり、反応が低い)、防御反応(外的事象に対して警戒する反応であり、反応が高い)、無反応(外的事象に気付いておらず、反応が無し)である。心理状態としては、例えば、イライラ状態、焦り状態、パニック状態である。
本発明の上記心理状態推定装置では、認知反応取得手段で取得した認知反応に基づいて被験者の心理状態の変化への影響度を取得する影響度取得手段を備え、推定手段は、影響度取得手段で取得した影響度に基づいて被験者の心理状態を推定する構成としてもよい。
この心理状態推定装置では、影響度取得手段により、外的事象に対する認知反応に基づいて被験者の心理状態の変化への影響度を取得する。そして、心理状態推定装置では、推定手段により、その影響度に基づいて被験者の心理状態を推定する。このように、この心理状態推定装置では、認知反応によって心理状態の変化に対する影響度を求めることにより、外的事象が被験者個々の心理状態の変化に与える影響が判り、被験者個々の心理状態を高精度に推定できる。
本発明の上記心理状態推定装置では、影響度取得手段は、認知反応取得手段で被験者が防御反応を示していることを取得した場合には防御反応を示していない場合より被験者の心理状態の変化への影響度の大きさが大きくなるようにすると好適である。
この心理状態推定装置では、影響度取得手段により、被験者が外的事象に対して認知反応が防御反応の場合、防御反応でない場合(定位反応、無反応などの場合)より被験者の心理状態の変化への影響度を大きくする。防御反応の場合、外的事象に対して警戒しており、その外的事象の心理状態に対する影響が大きいと推測できる。このように、この心理状態推定装置では、防御反応の場合には心理状態の変化に対する影響度を大きくすることにより、被験者個々の心理状態を高精度に推定できる。
本発明の上記心理状態推定装置では、被験者の生体情報を取得する生体情報取得手段を備え、推定手段は、生体情報取得手段で取得した生体情報と影響度取得手段で取得した影響度に基づいて被験者の心理状態を推定すると好適である。
この心理状態推定装置では、生体情報取得手段により、心理状態が表れるような被験者の生体情報を取得する。そして、心理状態推定装置では、推定手段により、心理状態が表れる生体情報と外的事象に対する認知反応による心理状態の変化への影響度に基づいて被験者の心理状態を推定する。このように、この心理状態推定装置では、被験者個々の生体情報に加えて外的事象に対する被験者個々の認知反応を考慮して被験者個々の心理状態を推定することにより、被験者個々の心理状態をより高精度に推定できる。なお、生体情報は、人に心理状態が表れ、人から生体計測できる様々な情報であり、例えば、血圧、心拍数、皮膚電位である。
本発明の上記心理状態推定装置では、影響度取得手段は、外的事象に応じた心理状態の変化への影響度を設定するとともに認知反応取得手段で取得した認知反応に応じた認知反応係数を設定し、外的事象に応じた心理状態の変化への影響度に認知反応係数を加味して影響度を取得する構成としてもよい。
この心理状態推定装置では、影響度取得手段により、外的事象自体の心理状態の変化への影響度と被験者個々の外的事象に対する認知反応に応じた認知反応係数を設定し、外的事象自体に対する影響度に認知反応係数を加味して最終的な影響度を求める。このように、心理状態推定装置では、外的事象自体の心理状態の変化に対する影響に加えて被験者個々の外的事象に対する認知反応による心理状態の変化に対する影響を考慮しているので、外的事象が心理状態に与える影響を被験者個々により的確に反映でき、被験者個々の心理状態をより高精度に推定できる。
本発明は、外的事象に対する被験者個々の認知反応を考慮して心理状態を推定することにより、被験者の心理状態を高精度に推定することができる。
以下、図面を参照して、本発明に係る心理状態推定装置の実施の形態を説明する。
本実施の形態では、本発明に係る心理状態推定装置を、車両に搭載され、運転者のイライラレベルを推定するイライラ推定装置に適用する。本発明に係るイライラ推定装置では、運転者のイライラ状態を表す生体情報に加えて運転者のイライラ状態に影響を与える環境要因自体とその環境要因に対する認知反応を考慮して運転者のイライラレベルを推定する。そして、本発明に係るイライラ推定装置では、その推定したイライラレベルを各種運転者支援装置、警報装置、イライラ緩和装置などに提供する。
図1に参照して、本実施の形態の概要について説明する。図1は、本実施の形態の概念図である。運転者のイライラ状態を高める可能性のある外部からの環境要因として渋滞、割込み、道路状況(ワインディングロード、狭道など)をセンシングする。そして、いずれかの環境要因を検出した場合、運転者の生体情報(皮膚電位、心拍数)をセンシングし、その生体反応に基づいて運転者の認知反応(防御反応、定位反応、無反応)を判定する。また、環境要因を検出した場合、その環境要因自体に対するイライラ影響度(基準値)を設定する。そして、イライラ影響度(基準値)に認知反応を加味して最終的なイライラ影響度を算出する。さらに、運転者のイライラ状態を表す生体情報(心拍数、血圧)をセンシングし、その生体反応に基づいてイライラレベル(基準値)を設定する。そして、イライラレベル(基準値)にイライラ影響度を反映して最終的なイライラレベルを推定する。なお、生体情報以外に運転者の挙動情報(表情、しぐさ、車両操作など)なども利用してもよい。
人が環境要因などの刺激を受けた場合、その刺激に対する認知反応が生体情報などに瞬時に表れる。そのため、認知反応の場合、生体情報に基づいてイライラ状態を判定する場合と比較すると、判定する区間を大幅に短くでき、秒単位であり、(生体情報に基づいてイライラ状態を判定する場合には分単位である)、また、判定に用いる生体情報の種類や判定基準も異なる。本実施の形態では、認知反応を判定するためには、瞬時に反応が出易い皮膚電位反応と心拍数を利用する。
防御反応は、刺激に対して警戒する反応であり、イライラ状態への準備段階であり、反応係数が高い。定位反応は、慣れた刺激への反応であり、イライラ状態へ移行し難く、反応係数が低い。無反応は、刺激に気付いていない状態であり、イライラ状態への影響はなく、反応係数がゼロである。
本実施の形態で推定するイライラレベルは、0〜2までの値であり、整数値(0、1、2)としてもよいし、整数値でなくてもよい。イライラレベル0は、イライラの自覚がない状態であり、通常の平静状態である。イライラレベル1は、イライラの自覚が小さい状態であり、ムッとする程度の状態である。イライラレベル2は、イライラの自覚が大きい状態であり、怒りを我慢し、一触即発の状態である。このイライラレベル2ぐらいまでになると、運転中に判断ミスや急操作などを起こり易くなる。ちなみに、イライラレベル3は、怒りを暴発させた状態である。このイライラレベル3まで推定するようにしてもよい。
図2〜図10を参照して、イライラ推定装置について説明する。図2は、本実施の形態に係るイライラ推定装置の構成図である。図3は、運転者の環境要因(渋滞)に対する生体情報(皮膚電位、心拍数)の時間変化を示す一例である。図4は、運転者の環境要因(渋滞)に対する皮膚電位の判定区間の時間変化の一例である。図5は、運転者の環境要因(渋滞)に対する心拍数の判定区間の時間変化の一例である。図6は、環境要因に対するイライラ影響度の参照データの一例である。図7は、運転者の心拍数の時間変化の一例である。図8は、運転者の血圧の時間変化の一例である。図9は、生体情報(心拍数、血圧)によるイライラレベルの評価テーブルの一例である。図10は、生体情報(心拍数、血圧)によるイライラレベルの評価テーブルの他の例である。
イライラ推定装置1は、イライラ状態が表れる生体情報とイライラ状態に影響を及ぼす外部の環境要因に基づいてイライラレベルを推定する。特に、イライラ推定装置1は、推定精度を向上させるために、環境要因に対する運転者の認知反応を考慮してイライラレベルを推定する。そのために、イライラ推定装置1は、環境情報検出手段2、生体情報検出手段3、認知反応判定手段4、イライラ影響度算出手段5、イライラレベル判定手段6、参照データ記憶装置7を備えている。特に、認知反応判定手段4、イライラ影響度算出手段5、イライラレベル判定手段6、参照データ記憶装置7については、イライラ推定装置1のECU[Electronic Control Unit]に構成される。
なお、本実施の形態では、生体情報検出手段3が特許請求の範囲に記載する生体情報取得手段に相当し、認知反応判定手段4が特許請求の範囲に記載する認知反応取得手段に相当し、イライラ影響度算出手段5が特許請求の範囲に記載する影響度取得手段に相当し、イライラレベル判定手段6が特許請求の範囲に記載する推定手段に相当する。
環境情報検出手段2は、渋滞などのイライラ状態に影響を与える環境要因の情報を検出する手段である。例えば、渋滞の場合、VICS情報(渋滞情報など)を取得するナビゲーション装置、車速を検出するための車速センサと車速に基づいて渋滞を判定する処理部、あるいは、これらの組合せである。割込みの場合、車速を検出するための車速センサと車速に基づいて割込みを判定する処理部、車間距離を検出するためのレーダセンサと車間距離に基づいて割込みを判定する処理部、前方画像を撮像するカメラと画像情報に基づいて割込みを判定する処理部、あるいは、これらの組合せである。道路状況の場合、地図データベースを備えるナビゲーション装置、前方画像を撮像するカメラと画像情報に基づいて道路状況を判定する処理部、あるいは、これらの組合せであるである。なお、環境情報検出手段2の各処理部については、ECU内に構成してもよい。
生体情報検出手段3は、生体情報として皮膚電位(精神性発汗を電気的示す生体情報)、心拍数、血圧を検出する手段である。具体的には、皮膚電位センサ、心拍数センサ(心電センサでもよい)、血圧センサである。
認知反応判定手段4は、運転者のイライラ状態に影響を及ぼす環境要因が検出された場合に皮膚電位と心拍数に基づいてその環境要因に対する運転者の認知反応を判定する手段である。
具体的には、認知反応判定手段4では、環境情報検出手段2で渋滞のなどの環境要因を検出したか否かを判定する。環境要因を検出した場合、認知反応判定手段4では、その環境要因を検出した時刻T0を起点として、認知反応を判定するための生体情報を切り出す区間t1を設定する。区間t1は、認知反応を判定するための極短い時間範囲(秒オーダー)であり、実験などによって予め設定される。そして、認知反応判定手段4では、生体情報検出手段3で検出している皮膚電位から時刻T0から区間t1内の皮膚電位を切り出すとともに、生体情報検出手段3で検出している心拍数から時刻T0から区間t1内の心拍数を切り出す(図3参照)。
認知反応判定手段4では、区間t1内の皮膚電位が基準電位α以上になっているか否かを判定するとともに(図4参照)、区間t1内の心拍数が基準心拍数β以上になっているか否かを判定する(図5参照)。基準電位αは、環境要因に対する認知反応が皮膚電位に表れたか否かを判定するための閾値であり、多数の運転者に対する実験などによって予め設定される。基準心拍数βは、環境要因に対する認知反応が心拍数に表れたか否かを判定するための閾値であり、多数の運転者に対する実験などによって予め設定される。基準電位α、基準心拍数βは、渋滞、割込みなどの全ての環境要因に対して同じ値である。
皮膚電位は、人の精神的発汗を表すので、人の精神的な状態(感情など)が変化しただけで値が瞬時に変化する。そのため、運転者が環境要因を認知しただけで、皮膚電位が瞬時に上昇する。一方、心拍数は、人が体を動かしたり、興奮したりするなどのアクションを起こしたときに、その値が瞬時に変化する。そのため、運転者が環境要因を認知し、さらに、何らかのアクションを起こしたときに、心拍数が瞬時に上昇する。そこで、皮膚電位だけが瞬時に大きく上昇した場合には、運転者が認知しただけと推測し、定位反応とする。また、皮膚電位と心拍数が瞬時に大きく上昇した場合には、運転者が認知し、さらに、環境要因に対して何らかのアクションを起こしたと推測し、防御反応とする。
区間t1内の皮膚電位が基準電位α未満の場合、認知反応判定手段4では、認知反応Resとして無反応(0)を設定する。区間t1内の皮膚電位が基準電位α以上かつ区間t1内の心拍数が基準心拍数β未満の場合、認知反応判定手段4では、認知反応Resとして定位反応(1)を設定する。区間t1内の皮膚電位が基準電位α以上かつ区間t1内の心拍数が基準心拍数β以上の場合、認知反応判定手段4では、認知反応Resとして防御反応(2)を設定する。例えば、図4に示すように皮膚電位が基準電位α以上かつ図5に示すように心拍数が基準心拍数β未満の場合、定位反応と判定される。
ここでは生体情報に対して閾値(基準電位α、基準心拍数β)に対する大小で判定したが、この判定方法以外でもよい。例えば、区間t1内での生体情報の変化量(微分値)を閾値で判定するようにしてもよいし、生体情報の基準波形に対する相関度で判定するようにしてもよい。
イライラ影響度算出手段5は、運転者のイライラ状態に影響を及ぼす環境要因が検出された場合に環境要因自体と環境要因に対する運転者の認知反応からイライラ影響度を算出する手段である。ここでは、参照データ記憶装置7に記憶されている参照データを利用する。参照データは、環境要因自体に対するイライラ影響度(基準値)Ieを設定したデータであり、多数の運転者に対する実験などによって予め設定される。図6には参照データの一例を示しており、短い渋滞の場合にはイライラ影響度Ieが1であり、中程度の渋滞の場合にはイライラ影響度Ieが1.5であり、長い渋滞の場合にはイライラ影響度Ieが2であり、急な割込みの場合(例えば、前車との車間距離が短い車間への割込み)にはイライラ影響度Ieが2であり、通常の割込みの場合にはイライラ影響度Ieが1であり、緩やかな割込みの場合(例えば、前車との車間距離が十分に長い車間への割込み)にはイライラ影響度Ieが0.5である。
具体的には、イライラ影響度算出手段5では、参照データ記憶装置7の参照データを参照し、検出した環境要因に対するイライラ影響度(基準値)Ieを抽出する。例えば、図6に示す参照データの場合、中程度の渋滞が検出された場合、イライラ影響度(基準値)Ieとして1.5が抽出される。
さらに、イライラ影響度算出手段5では、認知反応Resが0(無反応)の場合には認知反応係数Kとしてk0を設定し、認知反応Resが1(定位反応)の場合には認知反応係数Kとしてk1を設定し、認知反応Resが2(防御反応)の場合には認知反応係数Kとしてk2を設定する。k0,k1,k2は、0以上1以下の値であり、環境要因に対する運転者の認知反応が高いほど大きな値が設定される(k0<k1<k2)。例えば、k0=0、k1=0.3、k2=1が設定され、図4と図5の例の場合、定位反応であるので、認知反応係数Kは0.3となる。
そして、イライラ影響度算出手段5では、イライラ影響度(基準値)Ieに認知反応係数Kを乗算し、その乗算値を最終的なイライラ影響度(補正値)Ifとする。例えば、イライラ影響度(基準値)が1.5、認知反応係数Kが0.3の場合、イライラ影響度(補正値)は0.45となる。
イライラレベル判定手段6は、心拍数と血圧に基づくイライラレベル(基準値)にイライラ影響度を反映して最終的なイライラレベルを判定する手段である。
具体的には、イライラレベル判定手段6では、生体情報検出手段3で検出した心拍数から区間t2内の心拍数を切り出す。区間t2は、生体情報からイライラレベルを判定するために必要な時間範囲(区間t1より長い時間範囲であり、分オーダー)であり、実験などによって予め設定される。そして、イライラレベル判定手段6では、区間t2内の心拍数が閾値a1未満(範囲HR0)か否か、閾値a1以上かつ閾値a2未満(範囲HR1)か否か、閾値a2以上かつ閾値a3未満(範囲HR2)か否かを判定する(図7参照)。閾値a1、a2、a3は、多数の被験者による実験などによって予め設定された値であり、a1<a2<a3である。図7に示す例の場合、心拍数は、範囲HR1と判定される。
また、イライラレベル判定手段6では、生体情報検出手段3で検出した血圧から区間t2内の血圧を切り出す。そして、イライラレベル判定手段6では、区間t2内の血圧が閾値b1未満(範囲BP0)か否か、閾値b1以上かつ閾値b2未満(範囲BP1)か否か、閾値b2以上かつ閾値b3未満(範囲BP2)か否かを判定する(図8参照)。閾値b1、b2、b3は、多数の被験者による実験などによって予め設定された値であり、b1<b2<b3である。図8に示す例の場合、血圧は、範囲BP2と判定される。
そして、イライラレベル判定手段6では、評価テーブルを参照し、判定した心拍数範囲と判定した血圧範囲に該当するイライラレベル(基準値)Ipを設定する。評価テーブルは、心拍数範囲(HR0,HR1,HR3)と血圧範囲(BP0,BP1,BP2)の各組合せに対してイライラレベル(基準値)Ipを設定したテーブルであり、多数の被験者による実験などによって予め設定される。例えば、図9と図10に評価テーブルの例を示しており、図9に示す例では0、1、2の整数値だけの3つの段階のイライラレベルが設定され、図10に示す例では0、0.5、1、1.5、2の5つの段階のイライラレベルが設定され、心拍数や血圧が上昇するほどイライラレベルが高くなる。心拍数が範囲HR1、血圧が範囲BP2の場合、図9に示す評価テーブルの場合にはイライラレベル(基準値)Ipが2であり、図10に示す評価テーブルの場合にはイライラレベル(基準値)Ipが1.5である。
なお、生体情報に基づくイライラレベルの判定方法については、上記の方法に限定するものではなく、様々な方法を適用可能である。例えば、各生体情報の分類数を3つの範囲としたが、2つや4つ以上の範囲としてもよいし、また、区間内の変化量を閾値判定するなどしてもよい。また、評価テーブルでイライラレベルを設定したが、所定の判定式などを用いて判定してもよい。
そして、イライラレベル判定手段6では、イライラ影響度Ifが0より大きいか否かを判定する。イライラ影響度Ifが0の場合(認知反応が無反応の場合)、環境要因によるイライラ状態への影響がないので、イライラレベル判定手段6では、イライラレベル(基準値)Ipを最終的なイライラレベルIにそのまま設定する。一方、イライラ影響度Ifが0より大きい場合(認知反応が定位反応又は防御反応の場合)、環境要因によるイライラ状態への影響があるので、イライラレベル判定手段6では、イライラレベル(基準値)Ipにイライラ影響度Ifを反映するために、イライラ判定式F(Ip,If)で最終的なイライラレベルIを算出する。イライラ判定式F(Ip,If)は、様々な形式の式が適用可能であり、例えば、F(Ip,If)=(a×Ip+b×If)/2であり、係数a、bは予め設定され、通常は1である。
上記例のイライラ判定式F(Ip,If)を用いた場合、イライラレベル(基準値)Ip=2、イライラ影響度If=0.45(中程度の渋滞に遭遇したが、認知反応が定位反応の場合)の場合、イライラレベルI=(1×2+1×0.45)/2=1.225であり、イライラレベル1となる。この場合、中程度の渋滞に遭遇したが、通常遭遇する慣れた渋滞であるため、イライラ状態が軽いと判定される。ちなみに、生体情報だけでイライラレベルを判定した場合、イライラレベル(基準値)Ip=2がそのままイライラレベルIとなり、誤判定の虞がある。この場合、中程度の渋滞に対してイライラ状態が軽いが、同乗者との会話あるいはハードな音楽を聴いたりしているため、心拍数や血圧の上昇を招いている。また、生体情報と環境要因自体でイライラレベルを判定した場合、イライラ影響度If=0.45の代わりにイライラ影響度(基準値)Ie=1.5が用いられ、イライラレベルI=(1×2+1×1.5)/2=1.75であり、イライラレベル2となり、判定精度が低下する虞がある。この場合、慣れた渋滞であるためイライラ状態への影響が低いにもかかわらず、中程度の渋滞自体でイライラ状態への影響を設定しているので、イライラ影響度が実際より高くなっている。
図2〜図10を参照して、イライラ推定装置1の動作について説明する。特に、認知反応判定手段4の処理については図11のフローチャートに沿って説明し、イライラ影響度算出手段5の処理については図12のフローチャートに沿って説明し、イライラレベル判定手段6の処置については図13のフローチャートに沿って説明する。図11は、図2の認知反応判定手段の処理の流れを示すフローチャートである。図12は、図2のイライラ影響度算出手段の処理の流れを示すフローチャートである。図13は、図2のイライラレベル判定手段の処理の流れを示すフローチャートである。
環境情報検出手段2では、常時、渋滞や割込みなどの環境要因をセンシングする。また、生体情報検出手段3では、常時、皮膚電位、心拍数、血圧をセンシングする。
認知反応判定手段4では、一定時間毎に、環境情報検出手段2で渋滞などの環境要因を検出したか否かを判定する(S10)。S10にて環境要因を検出したと判定した場合、認知反応判定手段4では、その検出した時刻T0から区間t1を決定し(S11)、生体情報検出手段3で検出している皮膚電位、心拍数から区間t1内の皮膚電位と心拍数を切り出す(S12)。
そして、認知反応判定手段4では、区間t1内の皮膚電位が基準電位α以上か否かを判定する(S13)。S13にて区間t1内の皮膚電位が基準電位α未満と判定した場合、認知反応判定手段4では、認知反応Resとして無反応(0)を設定する(S14)。一方、S13にて区間t1内の皮膚電位が基準電位α以上と判定した場合、認知反応判定手段4では、区間t1内の心拍数が基準心拍数β以上か否かを判定する(S15)。S15にて区間t1内の心拍数が基準心拍数β以上と判定した場合、認知反応判定手段4では、認知反応Resとして防御反応(2)を設定する(S16)。一方、。S15にて区間t1内の心拍数が基準心拍数β未満と判定した場合、認知反応判定手段4では、認知反応Resとして定位反応(1)を設定する(S17)。
続いて、イライラ影響度算出手段5では、検出された環境要因をキーとして参照データ記憶装置7の参照データを参照し(S20)、その検出された環境要因に対するイライラ影響度Ieを取得する(S21)。
次に、イライラ影響度算出手段5では、認知反応Res=0(無反応)か否かを判定する(S22)。S22にて認知反応Res=0と判定した場合、イライラ影響度算出手段5では、認知反応係数Kとしてk0(=0)を設定する(S23)。一方、S22にて認知反応Res=0でないと判定した場合、イライラ影響度算出手段5では、認知反応Res=1(定位反応)か否かを判定する(S24)。S24にて認知反応Res=1と判定した場合、イライラ影響度算出手段5では、認知反応係数Kとしてk1(>k0)を設定する(S25)。一方、S24にて認知反応Res=1でないと判定した場合、イライラ影響度算出手段5では、認知反応係数Kとしてk2(>k1)を設定する(S26)。
そして、イライラ影響度算出手段5では、イライラ影響度Ieに認知反応係数Kを乗算し、その乗算値をイライラ影響度Ifとする(S27)。
イライラレベル判定手段6では、生体情報検出手段3で検出している心拍数から区間t2内の心拍数を切り出し、区間t2内の心拍数が閾値a1未満(範囲HR0)か否か、閾値a1以上かつ閾値a2未満(範囲HR1)か否か、閾値a2以上かつ閾値a3未満(範囲HR2)か否かを判定する(S30)。また、イライラレベル判定手段6では、生体情報検出手段3で検出している血圧から区間t2内の血圧を切り出し、区間t2内の血圧が閾値b1未満(範囲BP0)か否か、閾値b1以上かつ閾値b2未満(範囲BP1)か否か、閾値b2以上かつ閾値b3未満(範囲BP2)か否かを判定する(S31)。そして、イライラレベル判定手段6では、その判定した心拍数範囲と血圧範囲に対応するイライラレベルIpを設定する(S32)。
次に、イライラレベル判定手段6では、イライラ影響度Ifが0より大きいか否かを判定する(S33)。S33にてイライラ影響度Ifが0より大きい場合、イライラレベル判定手段6では、イライラレベルIpとイライラ影響度Ifにより、イライラ判定式F(Ip,If)で最終的なイライラレベルIを算出する(S34)。一方、S33にてイライラ影響度Ifが0の場合、イライラレベル判定手段6では、イライラレベルIpを最終的なイライラレベルIとして設定する(S35)。
そして、イライラ推定装置1では、この推定した最終的なイライラレベルIを各種運転者支援装置、警報装置、イライラ緩和装置などに出力する。
このイライラ推定装置1によれば、運転者のイライラ状態に影響を与える環境要因に対する運転者個々の認知反応を考慮してイライラ状態を推定することにより、環境要因がイライラ状態に与える影響を運転者個々に的確に反映でき、運転者個々のイライラ状態を高精度に推定できる。また、このイライラ推定装置1では、環境要因に対する認知反応を利用することにより、認知反応は瞬時に生体情報の変化として表れるので、瞬時のイライラ状態の変化への対応が可能となる。したがって、運転中の一瞬の認知や判断ミスを防止するために(ひいては、衝突を防止するために)、この推定したイライラ状態を利用することができる。
このイライラ推定装置1では、認知反応を無反応、定位反応、防御反応の3つの段階に分けて判定するので、環境要因が運転者個々のイライラ状態に与える影響が的確に判り、運転者個々の心理状態をより高精度に推定できる。
このイライラ推定装置1では、運転者個々の生体情報に基づくイライラレベルに環境要因に対する運転者個々の認知反応を考慮して運転者個々のイライラ状態を推定することにより、運転者個々のイライラ状態をより高精度に推定できる。さらに、イライラ推定装置1では、環境要因自体のイライラ状態への影響度に運転者個々の環境要因に対する認知反応に基づく影響を考慮しているので、環境要因がイライラ状態に与える影響を運転者個々により的確に反映でき、運転者個々の心理状態をより高精度に推定できる。
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
例えば、本実施の形態では車両に搭載され、運転者のイライラレベルを推定するイライラ推定装置に適用したが、焦り、退屈、覚醒、パニックなどの他の状態を推定する装置にも適用可能であり、また、他の乗り物の運転者、各種プラントの監視者、夜間の従業者などの他の対象に対しても適用可能である。
また、本実施の形態では環境要因に応じた生体情報の変化から認知反応を判定するとともに環境要因自体に基づいてイライラ影響度(基準値)を設定し、そのイライラ影響度(基準値)に認知反応を加味して最終的なイライラ影響度を算出し、更に、生体情報から推定したイライラレベルにそのイライラ影響度を加味して最終的なイライラレベルを推定する構成としたが、生体情報から推定したイライラレベルを求めることなく、環境要因に応じた生体情報の変化から判定した認知反応に基づいてイライラレベルを直接推定するようにしてもよいし、あるいは、環境要因に応じた生体情報の変化から判定した認知反応と環境要因自体に基づいてイライラレベルを推定するようにしてもよいし、あるいは、環境要因に応じた生体情報の変化から判定した認知反応と生体情報から推定したイライラレベルに基づいて最終的なイライラレベルを推定するようにしてもよい。
また、本実施の形態では認知反応として定位反応、防御反応、無反応の3つの段階の反応としたが、このうちの2つの段階の反応だけとしてもよいし、あるいは、これ以外の反応を加えて4つ以上の段階としてもよい。
また、本実施の形態では認知反応を判定するために生体情報として皮膚電位と心拍数と用い、イライラレベルを判定するための生体情報として心拍数と血圧を用いたが、用いる生体情報の数を1又は3つ以上としてもよいし、あるいは、他の生体情報を用いてもよいし、あるいは、運転者の挙動などの別の情報を用いてもよい。
本実施の形態の概念図である。 本実施の形態に係るイライラ推定装置の構成図である。 運転者の環境要因(渋滞)に対する生体情報(皮膚電位、心拍数)の時間変化を示す一例である。 運転者の環境要因(渋滞)に対する皮膚電位の判定区間の時間変化の一例である。 運転者の環境要因(渋滞)に対する心拍数の判定区間の時間変化の一例である。 環境要因に対するイライラ影響度の参照データの一例である。 運転者の心拍数の時間変化の一例である。 運転者の血圧の時間変化の一例である。 生体情報(心拍数、血圧)によるイライラレベルの評価テーブルの一例である。 生体情報(心拍数、血圧)によるイライラレベルの評価テーブルの他の例である。 図2の認知反応判定手段の処理の流れを示すフローチャートである。 図2のイライラ影響度算出手段の処理の流れを示すフローチャートである。 図2のイライラレベル判定手段の処理の流れを示すフローチャートである。
符号の説明
1…イライラ推定装置、2…環境情報検出手段、3…生体情報検出手段、4…認知反応判定手段、5…イライラ影響度算出手段、6…イライラレベル判定手段、7…参照データ記憶装置

Claims (5)

  1. 被験者の心理状態を推定する心理状態推定装置であって、
    外的事象に対する被験者の認知反応を取得する認知反応取得手段と、
    前記認知反応取得手段で取得した認知反応に基づいて被験者の心理状態を推定する推定手段と
    を備えることを特徴とする心理状態推定装置。
  2. 前記認知反応取得手段で取得した認知反応に基づいて被験者の心理状態の変化への影響度を取得する影響度取得手段を備え、
    前記推定手段は、前記影響度取得手段で取得した影響度に基づいて被験者の心理状態を推定することを特徴とする請求項1に記載する心理状態推定装置。
  3. 前記影響度取得手段は、前記認知反応取得手段で被験者が防御反応を示していることを取得した場合には防御反応を示していない場合より被験者の心理状態の変化への影響度の大きさが大きくなるようにすることを特徴とする請求項2に記載する心理状態推定装置。
  4. 被験者の生体情報を取得する生体情報取得手段を備え、
    前記推定手段は、前記生体情報取得手段で取得した生体情報と前記影響度取得手段で取得した影響度に基づいて被験者の心理状態を推定することを特徴とする請求項2又は請求項3に記載する心理状態推定装置。
  5. 前記影響度取得手段は、外的事象に応じた心理状態の変化への影響度を設定するとともに前記認知反応取得手段で取得した認知反応に応じた認知反応係数を設定し、外的事象に応じた心理状態の変化への影響度に認知反応係数を加味して影響度を取得することを特徴とする請求項2〜請求項4のいずれか1項に記載する心理状態推定装置。
JP2007056235A 2007-03-06 2007-03-06 心理状態推定装置 Active JP4748084B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007056235A JP4748084B2 (ja) 2007-03-06 2007-03-06 心理状態推定装置
PCT/JP2008/054429 WO2008108495A1 (ja) 2007-03-06 2008-03-05 心理状態推定装置
US12/525,466 US9050045B2 (en) 2007-03-06 2008-03-05 Psychological state estimation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007056235A JP4748084B2 (ja) 2007-03-06 2007-03-06 心理状態推定装置

Publications (2)

Publication Number Publication Date
JP2008212490A true JP2008212490A (ja) 2008-09-18
JP4748084B2 JP4748084B2 (ja) 2011-08-17

Family

ID=39738357

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007056235A Active JP4748084B2 (ja) 2007-03-06 2007-03-06 心理状態推定装置

Country Status (3)

Country Link
US (1) US9050045B2 (ja)
JP (1) JP4748084B2 (ja)
WO (1) WO2008108495A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016106689A (ja) * 2014-12-03 2016-06-20 日本電信電話株式会社 感情情報推定装置、感情情報推定方法及び感情情報推定プログラム
WO2021053780A1 (ja) * 2019-09-19 2021-03-25 三菱電機株式会社 認知機能推定装置、学習装置、および、認知機能推定方法
WO2021192214A1 (ja) * 2020-03-27 2021-09-30 日本電気株式会社 ストレス管理装置、ストレス管理方法、及びコンピュータ読み取り可能な記録媒体

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5035303B2 (ja) * 2009-06-17 2012-09-26 トヨタ自動車株式会社 移動体、これを含むシステム、移動体の動作方法、及びプログラム
DE102011109564B4 (de) 2011-08-05 2024-05-02 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
DE102011110486A1 (de) * 2011-08-17 2013-02-21 Daimler Ag Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
US10758168B2 (en) * 2012-06-18 2020-09-01 The Boeing Company Method and system for the automated assessment of fatigue mitigation strategies
US9291474B2 (en) * 2013-08-19 2016-03-22 International Business Machines Corporation System and method for providing global positioning system (GPS) feedback to a user
KR20150047158A (ko) * 2013-10-24 2015-05-04 삼성전자주식회사 스트레스 관리 시스템 및 그 방법
US9739627B1 (en) 2016-10-18 2017-08-22 Allstate Insurance Company Road frustration index risk mapping and mitigation
US10830605B1 (en) 2016-10-18 2020-11-10 Allstate Insurance Company Personalized driving risk modeling and estimation system and methods
JP2018102617A (ja) 2016-12-27 2018-07-05 オムロン株式会社 感情推定装置、方法およびプログラム
JP6653398B2 (ja) * 2016-12-28 2020-02-26 本田技研工業株式会社 情報提供システム
WO2018211301A1 (en) * 2017-05-15 2018-11-22 Toyota Motor Europe Control device, system, and method for determining a comfort level of a driver

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08140949A (ja) * 1994-11-16 1996-06-04 Pioneer Electron Corp 運転精神状態検出装置
JP2005006966A (ja) * 2003-06-19 2005-01-13 Mazda Motor Corp 支援装置
JP2006167425A (ja) * 2004-11-19 2006-06-29 Nara Institute Of Science & Technology 車両用心的資源評価装置及びその利用

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000044580A1 (en) * 1999-01-27 2000-08-03 Compumedics Sleep Pty. Ltd. Vigilance monitoring system
DE10042367A1 (de) * 2000-08-29 2002-05-02 Bosch Gmbh Robert Verfahren und Vorrichtung zur Diagnose der Fahrtüchtigkeit eines Fahrers in einem Kraftfahrzeug
JP4514372B2 (ja) 2001-08-28 2010-07-28 パイオニア株式会社 情報提供システム、情報提供方法、情報提供プログラム、情報提供システムにおけるサーバ装置および、情報提供システムにおける端末装置
US6599243B2 (en) * 2001-11-21 2003-07-29 Daimlerchrysler Ag Personalized driver stress prediction using geographical databases
KR100485906B1 (ko) 2002-06-26 2005-04-29 삼성전자주식회사 정서유도 장치 및 방법
JP2005157662A (ja) 2003-11-25 2005-06-16 Nissan Motor Co Ltd 運転者心理状態判定装置
JP3931895B2 (ja) 2004-07-29 2007-06-20 株式会社デンソー 生体情報表示装置
JP4284538B2 (ja) * 2004-10-19 2009-06-24 ソニー株式会社 再生装置および再生方法
JP4923522B2 (ja) * 2005-11-10 2012-04-25 トヨタ自動車株式会社 運転者心理判定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08140949A (ja) * 1994-11-16 1996-06-04 Pioneer Electron Corp 運転精神状態検出装置
JP2005006966A (ja) * 2003-06-19 2005-01-13 Mazda Motor Corp 支援装置
JP2006167425A (ja) * 2004-11-19 2006-06-29 Nara Institute Of Science & Technology 車両用心的資源評価装置及びその利用

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016106689A (ja) * 2014-12-03 2016-06-20 日本電信電話株式会社 感情情報推定装置、感情情報推定方法及び感情情報推定プログラム
WO2021053780A1 (ja) * 2019-09-19 2021-03-25 三菱電機株式会社 認知機能推定装置、学習装置、および、認知機能推定方法
JPWO2021053780A1 (ja) * 2019-09-19 2021-11-18 三菱電機株式会社 認知機能推定装置、学習装置、および、認知機能推定方法
JP7031072B2 (ja) 2019-09-19 2022-03-07 三菱電機株式会社 認知機能推定装置、学習装置、および、認知機能推定方法
WO2021192214A1 (ja) * 2020-03-27 2021-09-30 日本電気株式会社 ストレス管理装置、ストレス管理方法、及びコンピュータ読み取り可能な記録媒体
JP7459931B2 (ja) 2020-03-27 2024-04-02 日本電気株式会社 ストレス管理装置、ストレス管理方法、及びプログラム

Also Published As

Publication number Publication date
WO2008108495A1 (ja) 2008-09-12
JP4748084B2 (ja) 2011-08-17
US9050045B2 (en) 2015-06-09
US20100009326A1 (en) 2010-01-14

Similar Documents

Publication Publication Date Title
JP4748084B2 (ja) 心理状態推定装置
JP2009018047A (ja) 心理状態推定装置
JP4803490B2 (ja) 運転者状態推定装置及び運転支援装置
JP3257310B2 (ja) 漫然運転検出装置
JP5423872B2 (ja) 生体状態判定装置
US8306271B2 (en) Drowsiness assessment device and program
EP3128498A1 (en) Vehicular information presentation device
JP2016110449A (ja) 運転支援システムおよび運転支援方法
JP4529394B2 (ja) ドライバの車両運転特性推定装置
JPWO2014147828A1 (ja) 運転支援装置、運転支援方法、情報提供装置、情報提供方法、ナビゲーション装置及びナビゲーション方法
JP2018022229A (ja) 安全運転行動通知システム及び安全運転行動通知方法
KR102048186B1 (ko) 차량의 주행 패턴을 이용한 졸음 운전 판단 장치 및 방법
CN103622682B (zh) 一种检测驾驶员健康状况的系统及方法
US8879790B2 (en) Image processing device and drowsiness assessment device
JP6055906B2 (ja) 眠気度判定装置
JP2011022738A (ja) 運転者状態推定装置及び方法
CN105374163B (zh) 具有疲劳识别的驾驶员辅助系统和用于预见疲劳度的方法
JP5643142B2 (ja) 運転能力判定装置及び運転能力判定方法
JP2004206207A (ja) 危険感受度推定装置、安全運転評価装置及び警報装置
JP2008301957A (ja) 心理状態推定装置
JP4923522B2 (ja) 運転者心理判定装置
JP2015214171A (ja) 運転者体調検知装置、運転者体調検知方法、運転支援装置
CN108482124B (zh) 一种具有监测功能的机动车仪表及其工作方法
JP2009261586A (ja) 心理状態推定装置
JP2020125089A (ja) 車両制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110222

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110502

R151 Written notification of patent or utility model registration

Ref document number: 4748084

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3