JP2017080297A - 覚醒状態判定方法 - Google Patents

覚醒状態判定方法 Download PDF

Info

Publication number
JP2017080297A
JP2017080297A JP2015214731A JP2015214731A JP2017080297A JP 2017080297 A JP2017080297 A JP 2017080297A JP 2015214731 A JP2015214731 A JP 2015214731A JP 2015214731 A JP2015214731 A JP 2015214731A JP 2017080297 A JP2017080297 A JP 2017080297A
Authority
JP
Japan
Prior art keywords
person
data
respiration
probability
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015214731A
Other languages
English (en)
Other versions
JP6114802B1 (ja
Inventor
慎二 杉山
Shinji Sugiyama
慎二 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TS Tech Co Ltd
Original Assignee
TS Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TS Tech Co Ltd filed Critical TS Tech Co Ltd
Priority to JP2015214731A priority Critical patent/JP6114802B1/ja
Priority to US15/770,622 priority patent/US10470697B2/en
Priority to PCT/JP2016/082036 priority patent/WO2017073719A1/ja
Application granted granted Critical
Publication of JP6114802B1 publication Critical patent/JP6114802B1/ja
Publication of JP2017080297A publication Critical patent/JP2017080297A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47CCHAIRS; SOFAS; BEDS
    • A47C7/00Parts, details, or accessories of chairs or stools
    • A47C7/62Accessories for chairs
    • A47C7/72Adaptations for incorporating lamps, radio sets, bars, telephones, ventilation, heating or cooling arrangements or the like
    • A47C7/727Adaptations for incorporating lamps, radio sets, bars, telephones, ventilation, heating or cooling arrangements or the like with speakers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002Seats provided with an occupancy detection means mounted therein or thereon
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/90Details or parts not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/90Details or parts not otherwise provided for
    • B60N2002/981Warning systems, e.g. the seat or seat parts vibrates to warn the passenger when facing a danger
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0028Mathematical models, e.g. for simulation
    • B60W2050/0029Mathematical model of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data

Abstract

【課題】覚醒状態の判定精度の高い覚醒状態判定方法を提供する。
【解決手段】覚醒状態判定方法は、着座者の呼吸によって変動する呼吸データを取得する呼吸センサと、呼吸センサから取得された呼吸データを演算する演算部、及び着座者の状態を判定する判定部を有するコントローラと、を用いる。呼吸センサが、着座者の呼吸データを取得する呼吸データ取得工程(ステップS11)と、演算部が、取得された呼吸データのP_velを演算により算出する演算工程(ステップS16)と、判定部が、P_velについての着座者に眠気が生じる確率を尤度とし、尤度に眠気の生じる事前確率を乗じるベイズフィルタを使用して、着座者の覚醒状態を判定する覚醒判定工程(ステップS18,S19,S20,S21)と、有する。
【選択図】図2

Description

本発明は、覚醒状態判定方法に係り、特に、人の覚醒状態を精度よく判定可能な覚醒状態判定方法に関する。
近年、安定した車両運転のために運転者の体調変化を検出することが必要となり、このために、運転者の状態を示す各種パラメータを検出して演算することで、体調変化、特に覚醒状態の判定する技術が種々提案されている。
例えば、特許文献1には、圧力センサを用いて人から加わる荷重に基づき圧力信号を検出し、検出した圧力信号を人の呼吸データに係るRI及びRrMSSDを算出して、これらの値の変動に基づいて覚醒状態の判定を行う技術が開示されている。具体的には、同文献に係る覚醒装置は、RIの上昇及びRrMSSDの所定量の上昇が同時に生じたときに眠気が生じている(低覚醒状態にある)と判定するものである。
特許文献1の技術によれば、特にRrMSSDを指標として覚醒状態の判定を行うことで、RIの瞬時的なばらつきを正確に取得することができるため、車両運転時等の外部要因による振動ノイズの影響を抑制して覚醒状態の判定を行うことができた。
特願2015−80521号公報
しかしながら、呼吸を一時的に止めるような注意集中状態にあるときや会話時においては、RI及びRrMSSDが同時に上昇してしまうことがあり、実際に眠気が生じていないときでも眠気が生じていると誤判定がされることがあった。
また、RI及びRrMSSDの値の変動と眠気の生じる状態との関係性は、個人の特性によって異なるため、正確な覚醒状態の判定を行うことは困難であった。
このため、人の覚醒状態をより正確に判定できる方法が望まれていた。
本発明は上記の課題に鑑みてなされたものであり、本発明の目的は、覚醒状態の判定精度の高い覚醒状態判定方法を提供することにある。
また、本発明の他の目的は、個人の特性による影響を抑制して、覚醒状態の判定を高い精度で行うことにある。
前記課題は、本発明に係る覚醒状態判定方法が、人の呼吸によって変動する呼吸データを取得する呼吸センサと、該呼吸センサから取得された前記呼吸データを演算する演算部、及び前記人の状態を判定する判定部を有するコントローラと、を用いた覚醒状態判定方法であって、前記呼吸センサが、前記人の前記呼吸データを取得する呼吸データ取得工程と、前記演算部が、取得された前記呼吸データの単位時間当たりの変化度合である呼吸の変化度合を演算により算出する演算工程と、前記判定部が、前記呼吸の変化度合についての前記人に眠気が生じる確率を尤度とし、該尤度に眠気の生じる事前確率を乗じるベイズフィルタを使用して、前記人の覚醒状態を判定する覚醒判定工程と、有すること、により解決される。
上記構成によれば、呼吸の変化度合についての人に眠気が生じる確率を尤度とするベイズフィルタを使用することで、RI及びRrMSSDが同時に上昇したときに、覚醒状態を誤って判定することを抑制でき、覚醒状態の判定精度の高い覚醒状態判定方法を提供することができる。
また、前記人の操作によって、前記人の覚醒状態に係る覚醒状態信号を取得する取得部と、前記取得部から送信される前記覚醒状態信号及び前記操作時の各種条件を記録する記録部を用い、前記演算工程において、前記演算部は、前記記録部に記録されたデータに基づいて前記尤度又は前記事前確率を設定してもよい。
上記構成によれば、人の操作により判定基準を調整できることにより、個人の特性による影響を抑制して覚醒判定の精度をより高めることができる。
さらに、前記演算工程において、前記演算部は、前記呼吸の変化度合についての所定時間当たりの低下数に係るパターンを演算により算出し、前記尤度は、前記パターンについての前記人に眠気が生じる確率を含むと好ましい。
上記構成によれば、呼吸の変化度合についての所定時間当たりの低下数に係るパターンにおいて人に眠気が生じる確率を尤度に含むことで、個人の特性による影響を抑制して、覚醒判定の精度をより高めることができる。
また、前記演算工程において、前記演算部は、前記呼吸センサから取得された前記呼吸データから前記人の1呼吸の間隔であるRIを演算により算出し、前記尤度は、前記RIについての前記人に眠気が生じる確率を含むと好ましい。
上記構成によれば、人の呼吸の間隔を示す値についての人に眠気が生じる確率を尤度に含むことで、覚醒判定の精度を高めることができる。
さらに、前記コントローラは、前記呼吸センサから得られた呼吸波形について、前記人の1呼吸の間隔であるRIの所定時間における推移であるRI波形データを生成する波形生成部を有し、該波形生成部によって生成された前記RI波形データのうち、t番目のRIをRI(t)とし、t番目からn番後のRIをRI(t+n)と定義して、下記数式1によってRrMSSDを定義した場合に、前記演算工程において、前記演算部は、前記RI波形から前記RrMSSDを演算により算出し、前記尤度は、前記RrMSSDについての前記人に眠気が生じる確率を含むと好ましい。
Figure 2017080297
上記構成によれば、RrMSSDについての人に眠気が生じる確率を尤度に含むことで、覚醒判定の精度を高めることができる。
また、前記尤度は、5又は6のデータから構成されるものであると好ましい。
上記構成によれば、尤度を構成するデータが、5又は6であると、覚醒判定処理に係る負荷の増加を抑制しつつ、覚醒判定の精度を高めることができる。
本発明によれば、覚醒状態を誤って判定することを抑制でき、覚醒状態の判定精度の高い覚醒状態判定方法を提供することができる。
また、個人の特性による影響を抑制して覚醒判定の精度をより高めることができる。
さらに、覚醒判定処理に係る負荷の増加を抑制しつつ、覚醒判定の精度を高めることができる。
本発明の実施形態に係る覚醒装置の全体構成を示す図である。 覚醒状態判定処理の一例を示すフローチャートである。 圧力信号の経時的変化を示す図である。 RIと、RIの30秒ごとの平均値であるRImの経時的変化を示す図である。 RrMSSDの経時的変化を示す図である。 P_velの経時的変化を示す図である。 P_velの経時的変化を示す図であり、P_velパターンに区分けするためのカウント方法を示す図である。 覚醒維持処理の一例を示すフローチャートである。
本発明は、覚醒状態判定方法に関するものであり、特に、人の覚醒状態を精度よく判定可能な覚醒状態判定方法に関するものである。
以下に説明する実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。すなわち、以下に説明する部材の形状、寸法、配置や、方法の手順等については、本発明の趣旨を逸脱することなく、改良や組み合わせ等の変更がされ得るとともに、本発明にはその等価物が含まれることは勿論である。
以下、本発明に係る覚醒状態判定方法の実施形態について、添付の図面を参照して具体的に説明する。
まず、本実施形態に係る覚醒装置10について、図1を参照して説明する。ここで、図1は、本発明の実施形態に係る覚醒装置10の全体構成を示す図である。
本実施形態に係る覚醒装置10は、人である着座者の覚醒状態の判定を、呼吸センサとしての圧力センサ20によって得られる呼吸データに基づいて行うものである。覚醒装置10は、図1に示すように、2個の圧力センサ20をシートクッション1の内部に備え、振動モータMをシートバック2の内部に備える車両用シートSと、圧力センサ20及び振動モータMを制御するコントローラ70と、から主に構成される。
車両用シートSは、着座者が着座するシートクッション1と、着座者の背もたれとなるシートバック2とを備え、シートクッション1の内部の着座者側近傍に圧力センサ20が設けられており、シートバック2の内部の着座者側近傍に振動モータMが設けられている。
圧力センサ20は、上下に電極を有し円形の検出面を有してシートクッション1に設けられており、着座者の呼吸に応じて変化する電気抵抗を検出する抵抗感圧式のセンサである。
圧力センサ20の上面の電極に加えられる圧力によって、上面の電極が下方に変形することで接触抵抗が大きくなると電極間の電気抵抗値が小さくなる。この電気抵抗値に係る電気信号が圧力センサ20から後述するコントローラ70に送信される。コントローラ70は、電気抵抗値に係る電気信号に基づいて圧力が演算され、演算された圧力に基づいて呼吸データを計測する。
コントローラ70は、不図示のRAMによって構成される記録部72と、電圧波形データを生成する波形生成部73aと、覚醒判定のためのデータ演算を行う演算部73bと、覚醒判定を行う判定部73cと、振動モータMを駆動する駆動部73dとを備える。これらのコントローラ70の構成部は、コントローラ70に設けられた不図示のROMに記憶されたプログラムがコントローラ70に設けられた不図示のCPUによって実行されることによって機能する。
記録部72は、演算制御中の信号及び入出力される信号を含むパラメータを一時記憶するものであり、本実施形態においてデジタル信号に変換された圧力信号その他の信号を記録するものである。
波形生成部73aは、圧力センサ20から得られ記録部72に記録された圧力センサ20の抵抗値に係る電気信号を基に、呼吸データを縦軸、時間を横軸とする呼吸波形データ、呼吸波形データから算出される波形データを生成する機能を有する。
演算部73bは、波形生成部73aによって生成された呼吸波形データに基づいて後述する演算を行うものである。
判定部73cは、演算部73bによって演算されたデータを指標として覚醒状態の判定を行うものである。
駆動部73dは、着座者の覚醒度の低下の判定に応じて振動モータMを駆動して着座者に振動刺激を付与するものである。
なお、記録部72、波形生成部73a、演算部73b、判定部73c及び駆動部73dの機能の詳細については後述する。
<覚醒状態判定処理>
次に、図2〜図7を参照し、上記のように構成された覚醒装置10の覚醒状態判定処理及び覚醒維持処理の処理内容の詳細をフローの流れに沿って説明する。
なお、図2は、覚醒状態判定処理の一例を示すフローチャート、図3は、圧力信号の経時的変化を示す図、図4は、後述するRIと、RIの30秒ごとの平均値であるRImの経時的変化を示す図、図5は、後述するRrMSSDの経時的変化を示す図、図6は、後述するP_velの経時的変化を示す図、図7は、P_velの経時的変化を示す図であり、後述するP_velパターンに区分けするためのカウント方法を示す図である。
本実施形態に係る覚醒状態判定処理は、呼吸間隔を示すRI(Respiration Interval)、及びRIのばらつきを示し後述するRrMSSD(Respiration root Mean Square Successive Difference)、並びに後述するP_vel(Pressure velocity)に係るデータ等にベイズフィルタを適用したものに基づいて着座者の覚醒状態を判定する処理である。なお、呼吸データ(圧力信号ともいう。)の単位時間当たりの変化度合について、P_velという用語を本実施形態において便宜的に用いる。
まず、圧力センサ20が、車両のエンジンを始動又は不図示のスタートスイッチの押下に応じて、着座者の呼吸の深度に応じて変動する呼吸データを電気抵抗の変化に基づいて取得する。
圧力センサ20が、呼吸データ取得工程として着座者の呼吸データを取得し、コントローラ70が、圧力センサ20から送信された呼吸データを記録部72に電位差データとして記録(取得)する(ステップS11)。
次に、波形生成部73aが、取得された圧力センサ20における呼吸データに基づき、圧力の所定時間における推移である図3に例示する呼吸センサ圧力の波形データ、及び人の1呼吸の間隔であるRIの所定時間における推移である図4に例示するRI波形データを生成する(ステップS12)。
次に、演算部73bが、演算工程において、生成されたRI波形データのうち、図5に示すように、30秒を1区間として、区間ごとにRIの平均値RImを算出する。
次に、判定部73cは、算出された1区間のRIm(t)と、次の区間のRIm(t+1)とを比較して、RIm(t+1)が直前のRIm(t)よりも大きな値であるかを判定する(ステップS13)。
そして、判定部73cは、RIm(t+1)がRIm(t)以下の値であると判定した場合には(ステップS13:No)、着座者が覚醒状態にあると判定する(ステップS20)。
一方、判定部73cが、RIm(t+1)がRIm(t)よりも大きな値であると判定した場合、換言すると、後の区間において先の区間よりもRImの値が上昇している場合には(ステップS13:Yes)、演算部73bは、演算工程において、RrMSSDを算出する(ステップS14)。詳細には、演算部73bが、30秒を1区間として、区間ごとにRrMSSDを算出する。
ここで、RrMSSDとは、t番目のRIをRI(t)とし、t番目からn番後のRIをRI(t+n)と定義したときに、次の数式1で算出される値であって、RIのばらつきを示すものである。
Figure 2017080297
RrMSSDは、眠気を覚まそうとする際の交感神経の活性化に伴って覚醒低下状態の初期段階に大きくなる。そこで、このRrMSSDを覚醒判定の指標の一つとすることで、より正確な覚醒判定を実現するものである。
次に、判定部73cは、算出された1区間のRrMSSD(t)と、次の区間のRrMSSD(t+1)とを比較して、RrMSSD(t+1)が直前のRrMSSD(t)よりも大きな値であるかを判定する(ステップS15)。
そして、判定部73cは、RrMSSD(t+1)がRrMSSD(t)以下の値であると判定した場合には(ステップS15:No)、着座者が覚醒状態にあると判定する(ステップS20)。
一方、判定部73cが、RrMSSD(t+1)がRrMSSD(t)よりも大きな値であると判定した場合、換言すると、後の区間において先の区間よりもRrMSSDの値が上昇している場合には(ステップS15:Yes)、演算部73bは、演算工程として図6に示すP_velを算出する(ステップS16)。
ここで、P_velとは、上記したように呼吸データの単位時間当たりの変化度合(呼吸の変化度合)であり、換言すると、所定時間内で得られた呼吸データを時間微分した値の絶対値である。特に、P_velは、メディアンフィルタとローパスフィルタが通され、ノイズが除去された値である。なお、P_velは、後述するベイズフィルタを適用するためのデータである。
次に、演算部73bは、演算工程において、P_velの10秒毎の平均値であるP_vel meanを算出し、P_vel meanに基づいて、図7及び表1に示すP_velパターンを決定する(ステップS17)。
Figure 2017080297
この表1は、時間tにおけるP_velが低下したときのカウント数と、t+1におけるP_velが低下したときのカウント数とによって定まるP_velパターンを示す表である。
P_velパターンとは、図7及び表1に示すように、所定の時間内でP_vel meanの低下した回数によって定めるパターンであって、本実施形態においては計16のパターンがある。
本実施形態においては、P_velパターンは、30秒間の時間tと時間tの後の30秒間の時間t+1間との間で、P_vel meanが前10秒間のP_vel meanよりも低下したときにカウントされる数との組み合わせによって決定される。
例えば、図7に示すように、時間tにおけるP_vel meanの低下数が1であり、時間t+1におけるP_velパターンの低下数が0である場合は、表1に示すように、P_velパターンは5に決定される。
厳密には、時間tのうち最初の10秒間についての数は、時間tのうち最初の10秒間のP_vel meanと、図示せぬ時間tの前10秒間のP_vel meanとを比較したものである。このP_velパターンは、後述するベイズフィルタを適用するためのデータである。
次に、判定部73cは、覚醒判定工程において、演算部73bにより算出されたRIm、P_vel及びP_velパターンの値をデータとするベイズフィルタを使用して、着座者が低覚醒状態(眠気が生じている状態)である確率が、着座者が覚醒状態である確率よりも大きいかを判定する(ステップS18)。
ここで、ベイズフィルタの式は、数式2によって表される。
Figure 2017080297
このように、後述する各種データに係る覚醒状態に関わる確率を乗じた、P(D1|H1)×P(D2|H1)×P(D3|H1)、及びP(D1|H2)×P(D2|H2)×P(D3|H2)は、それぞれベイズフィルタの尤度に相当するものである。また、P(H1)及びP(H2)は、事前確率に相当するものである。次に、ベイズフィルタに用いられるデータに関する確率及び事前確率について詳細に説明する。
(RImに係るデータD1に関する確率について)
RImの値であるデータD1に関し、着座者が低覚醒状態であるときにデータD1が得られる確率P(D1|H1)、着座者が覚醒状態であるときにデータD1が得られる確率P(D1|H2)について表2を参照して説明する。
Figure 2017080297
表2に示すように、着座者が低覚醒状態であるときに2000<D1≦3250である確率P(D1|H1)はP11aであり、着座者が覚醒状態であるときに2000<D1≦3250である確率P(D1|H2)はP12aである。また、着座者が低覚醒状態であるときに3250<D1≦4750である確率P(D1|H1)はP11bであり、着座者が覚醒状態であるときに3250<D1≦4750である確率P(D1|H2)はP12bである。そして、着座者が低覚醒状態であるときに4750<D1である確率P(D1|H1)はP11cであり、着座者が覚醒状態であるときに4750<D1である確率P(D1|H2)はP12cである。
つまり、P11a、P11b及びP11cの合計、及びP12a、P12b及びP12cの合計はそれぞれ1となる。
なお、表2に示す内容のデータベース、及び後述する表3及び表4に示す内容のデータベースは、記録部72に事前に記録されているものである。
(P_vel meanに係るデータD2に関する確率について)
P_vel meanの値であるデータD2に関し、着座者が低覚醒状態であるときにデータD2が得られる確率P(D2|H1)、着座者が覚醒状態であるときにデータD2が得られる確率P(D2|H2)について表3を参照して説明する。
Figure 2017080297
表3に示すように、着座者が低覚醒状態であるときに0<D2≦0.10である確率P(D2|H1)はP21aであり、着座者が覚醒状態であるときに0<D2≦0.10である確率P(D2|H2)はP22aである。着座者が低覚醒状態であるときに0.10<D2≦0.22である確率P(D2|H1)はP21bであり、着座者が覚醒状態であるときに0.10<D2≦0.22である確率P(D2|H2)はP22bである。着座者が低覚醒状態であるときに4750<D1である確率P(D2|H1)はP21cであり、着座者が覚醒状態であるときに4750<D1である確率P(D2|H2)はP22cである。
つまり、P21a、P21b及びP21cの合計、及びP22a、P22b及びP22cの合計はそれぞれ1となる。
(P_velパターンに係るデータD3に関する確率について)
P_velパターンの値であるデータD3に関し、着座者が低覚醒状態であるときにデータD3が得られる確率P(D3|H1)、着座者が覚醒状態であるときにデータD3が得られる確率P(D3|H2)について表4を参照して説明する。
Figure 2017080297
表4に示すように、着座者が低覚醒状態であるときにD3=1,2・・・15,16が得られるそれぞれの確率P(D3|H1)は、順にP31a,P31b・・・P31o,P31pである。また、着座者が覚醒状態であるときにD3=1,2・・・15,16が得られるそれぞれの確率P(D3|H2)は、順にP32a,P32b・・・・P32o,P32pである。
つまり、P31a,P31b・・・P31o,P31pの合計、及びP32a,P32b・・・・P32o,P32pの合計はそれぞれ1となる。
P_velパターンは、個人の特性によって異なるP_vel meanの値の大小の値とは異なり、個人の特性によらず一定の傾向を示すものであるため、人の覚醒状態の判定に好適である。つまり、ベイズフィルタがP_velパターンに係る(D3|H1)、(D3|H2)を尤度に含むことで、着座者の覚醒状態の判定をより正確に行うことができる。
(事前確率について)
事前確率P(H1)は、着座者が低覚醒状態となる確率であり、事前確率P(H2)は着座者が覚醒状態となる確率である。つまり、P(H1)とP(H2)の合計は1となる。
(ベイズフィルタの使用による覚醒状態の判定について)
演算部73bが、上記の数式2にそれぞれの確率を代入した場合に数式2が成立するとき、つまり、左辺の値が右辺の値よりも大きくなるときに(ステップS18:Yes)、覚醒判定工程において、判定部73cは、着座者が低覚醒状態にあると判定する(ステップS19)。一方、数式2が成立しないとき、つまり、左辺の値が右辺の値と同じか小さくなるときに(ステップS18:No)、判定部73cは、着座者が覚醒状態にあると判定する(ステップS20)。
例えば、D1=3500、D2=0.15、D3=7のとき、表5に示すように、P(D1|H1)=P11b、P(D1|H2)=P12b、P(D2|H1)=P21b、P(D2|H2)=P22b、P(D3|H1)=P31g、P(D3|H2)=P32gとなる。
Figure 2017080297
そして、表5に示すようにP(H1)=0.7、P(H2)=0.3のときに、演算部73bが数式2にこれらの値を代入して数式3とし、判定部73cが、数式3が成立するか否かを判定部73cが判定し、着座者が覚醒状態にあるか否かを判定する。
Figure 2017080297
着座者の覚醒状態の判定(ステップS19,ステップS20)の後に、コントローラ70は、同乗者に知らせるように車内に設けられた図示せぬディスプレイに判定結果を表示させたり、後述する振動モータMにより覚醒維持処理を行うようにしてもよい。
最後に、コントローラ70は、着座者による不図示のストップスイッチの押下等による処理終了の指示があるかどうかを判断し(ステップS21)、指示がない場合には呼吸データを取得するステップS11に戻り(ステップS21:No)、処理終了の指示がある場合には処理を終了する(ステップS21:Yes)。
なお、ステップS13においてRIの平均値であるRImを算出する区間、及びステップS14においてRrMSSDを算出する区間に関して、30秒を1区間としたが、これに限らず、20〜300秒を1区間としてもよい。この区間を長く設定するほど、覚醒判定が遅くなるが、各パラメータを平均化するための抽出データ数が多くなるため覚醒判定の信頼性は高くなる。
なお、上記実施形態における、ベイズフィルタを適用するデータD1であるRIm、データD2であるP_vel mean、データD3であるP_velパターンのそれぞれの範囲は一例である。つまり、これらの範囲を細分化してもよく、逆に範囲を広くしてもよく、範囲の数を増減してもよい。
<覚醒維持処理>
次に、覚醒維持処理について図8を参照して説明する。なお、図8は、覚醒維持処理の一例を示すフローチャートである。
図8に示す覚醒維持処理におけるステップS31〜S38,S42のそれぞれについては、図2に示す覚醒状態判定処理におけるステップS11〜S18,S21とそれぞれ略同じであるため、相違点を明確にするため、相違点のみを説明し、それ以外の一部の説明を省略する。
覚醒維持処理は、上記の覚醒状態判定処理によって着座者が低覚醒状態であるという判定結果に応じて振動モータMを駆動することによって、着座者の覚醒状態を維持させるための処理である。
覚醒維持処理における覚醒状態判定処理と異なる点の一つは、着座者が覚醒状態であるという条件が成立したときに(ステップS33:No、ステップS35:No又はステップS38:No)、処理終了の指示があるか否かに関わらず、呼吸データを取得する工程(ステップS31)に戻るという点にある。
また、覚醒維持処理においては、判定部73cがベイズフィルタによって着座者が覚醒状態にあると判定したときに(ステップS38:Yes)は、駆動部73dが振動モータMを駆動する(ステップS39)。そして、駆動部73dは、振動モータMの駆動を所定時間継続して、着座者に振動刺激を所定時間付与した後(ステップS40)、振動モータMを停止する(ステップS41)。
上記の覚醒維持処理によって、着座者が低覚醒状態であると判定されたときに振動モータMを適時駆動でき、効果的に着座者の覚醒を維持することができる。
上記実施形態においては、ベイズフィルタの適用する尤度に含まれるデータとして、RIm、P_vel mean、P_velパターンを例に説明したが、RrMSSDをデータに含めるようにしてもよい。つまり、RrMSSDの値を、データD1やデータD2のように複数の範囲に分け、着座者が低覚醒状態であるときに各範囲にある確率、及び着座者が覚醒状態にあるときに各範囲にある確率を、ベイズフィルタの尤度に含めるようにしてもよい。
その他、尤度に含まれるものとしては、人の覚醒状態に関わるデータに係る確率であれば任意である。人の覚醒状態に関わるデータとして、例えば、ETCによる信号により判別される道路状況の変化の少ない高速道路の運転中のデータであってもよく、昼間又は夜間運転時のデータであってもよい。なお、尤度を構成するデータは1つでもいいが、特に、5つ又は6つであると、覚醒判定処理に係る負荷の増加を抑制しつつ、覚醒判定の精度を高めることができる。
また、着座者が眠気を感じたときや感じないときに、着座者の操作に応じて低覚醒状態や覚醒状態に係る信号(覚醒状態信号)を取得し、コントローラ70に送信するスイッチ(取得部)を設けるようにしてもよい。これらを用いた処理としては、演算工程において、演算部73bが、スイッチからの信号に応じて、記録部72に記録された各データに関する低覚醒状態の確率若しくは覚醒状態の確率又は事前確率等の各種条件を更新し(設定し)、覚醒状態の判定基準を調整する。このようにすることで、着座者個人の特性によって覚醒状態の判定に誤りが生じるという悪影響を抑制でき、覚醒度の判定を高精度に行うことが可能となる。
また、上記実施形態においては、波形生成部73aが呼吸センサ圧力の波形データ及びRI波形データを生成するものとして説明したが、必ずしも波形そのものを生成する必要はない。つまり、圧力センサ20から得られた圧力信号と経過時間との関数を算出することができればよい。
また、上記実施形態において、着座者が低覚醒状態にあると判定部73cが判定した場合に、ディスプレイに表示したり、振動モータMによって、着座者に刺激を加えるものとして説明したが、このような形態に本発明は限定されない。例えば、着座者が低覚醒状態と判定した場合に、スピーカーによってアラーム音声を発するようにしてもよく、発光器によって、光を発するようにしてもよい。
上記実施形態では、具体例として自動車に搭載可能な車両用シートについて説明したが、これに限定されることなく、飛行機、船等の乗物用シートとしても利用することができる。更には、映画館用、劇場用のシート、リラクゼーションシート又はベッドその他の人に触れるものに採用することができる。
S 車両用シート
1 シートクッション
2 シートバック
10 覚醒装置
20 圧力センサ(呼吸センサ)
70 コントローラ
72 記録部
73a 波形生成部
73b 演算部
73c 判定部
73d 駆動部
M 振動モータ
特開2015−80521号公報
次に、演算部73bが、演算工程において、生成されたRI波形データのうち、図に示すように、30秒を1区間として、区間ごとにRIの平均値RImを算出する。
前記課題は、本発明に係る覚醒状態判定方法が、人の呼吸によって変動する呼吸データを取得する呼吸センサと、該呼吸センサから取得された前記呼吸データを演算する演算部、及び前記人の状態を判定する判定部を有するコントローラと、を用いた覚醒状態判定方法であって、前記呼吸センサが、前記人の前記呼吸データを取得する呼吸データ取得工程と、前記演算部が、取得された前記呼吸データの単位時間当たりの変化度合である呼吸の変化度合を演算により算出する演算工程と、前記判定部が、前記呼吸の変化度合についての前記人に眠気が生じる確率を尤度とし、該尤度に眠気の生じる事前確率を乗じるベイズフィルタを使用して、前記人の覚醒状態を判定する覚醒判定工程と、有すること、により解決される。
(RImに係るデータD1に関する確率について)
RImの値であるデータD1に関し、着座者が低覚醒状態であるときにデータD1が得られる確率P(D1|H1)、着座者が覚醒状態であるときにデータD1が得られる確率P(D1|H2)について表2を参照して説明する。
Figure 2017080297
表2に示すように、着座者が低覚醒状態であるときに2000<D1≦3250である確率P(D1|H1)はP11aであり、着座者が覚醒状態であるときに2000<D1≦3250である確率P(D1|H2)はP12aである。また、着座者が低覚醒状態であるときに3250<D1≦4750である確率P(D1|H1)はP11bであり、着座者が覚醒状態であるときに3250<D1≦4750である確率P(D1|H2)はP12bである。そして、着座者が低覚醒状態であるときに4750<D1である確率P(D1|H1)はP11cであり、着座者が覚醒状態であるときに4750<D1である確率P(D1|H2)はP12cである。
つまり、P11a、P11b及びP11cの合計、及びP12a、P12b及びP12cの合計はそれぞれ1となる。
なお、表2に示す内容のデータベース、及び後述する表3及び表4に示す内容のデータベースは、記録部72に事前に記録されているものである。
(P_vel meanに係るデータD2に関する確率について)
P_vel meanの値であるデータD2に関し、着座者が低覚醒状態であるときにデータD2が得られる確率P(D2|H1)、着座者が覚醒状態であるときにデータD2が得られる確率P(D2|H2)について表3を参照して説明する。
Figure 2017080297
表3に示すように、着座者が低覚醒状態であるときに0<D2≦0.10である確率P(D2|H1)はP21aであり、着座者が覚醒状態であるときに0<D2≦0.10である確率P(D2|H2)はP22aである。着座者が低覚醒状態であるときに0.10<D2≦0.22である確率P(D2|H1)はP21bであり、着座者が覚醒状態であるときに0.10<D2≦0.22である確率P(D2|H2)はP22bである。着座者が低覚醒状態であるときに0.22<D2である確率P(D2|H1)はP21cであり、着座者が覚醒状態であるときに0.22<D2である確率P(D2|H2)はP22cである。
つまり、P21a、P21b及びP21cの合計、及びP22a、P22b及びP22cの合計はそれぞれ1となる。

Claims (6)

  1. 人の呼吸によって変動する呼吸データを取得する呼吸センサと、
    該呼吸センサから取得された前記呼吸データを演算する演算部、及び前記人の状態を判定する判定部を有するコントローラと、を用いた覚醒状態判定方法であって、
    前記呼吸センサが、前記人の前記呼吸データを取得する呼吸データ取得工程と、
    前記演算部が、取得された前記呼吸データの単位時間当たりの変化度合である呼吸の変化度合を演算により算出する演算工程と、
    前記判定部が、前記呼吸の変化度合についての前記人に眠気が生じる確率を尤度とし、該尤度に眠気の生じる事前確率を乗じるベイズフィルタを使用して、前記人の覚醒状態を判定する覚醒判定工程と、有することを特徴とする覚醒状態判定方法。
  2. 前記人の操作によって、前記人の覚醒状態に係る覚醒状態信号を取得する取得部と、
    前記取得部から送信される前記覚醒状態信号及び前記操作時の各種条件を記録する記録部を用い、
    前記演算工程において、前記演算部は、前記記録部に記録されたデータに基づいて前記尤度又は前記事前確率を設定することを特徴とする請求項1に記載の覚醒状態判定方法。
  3. 前記演算工程において、前記演算部は、前記呼吸の変化度合についての所定時間当たりの低下数に係るパターンを演算により算出し、
    前記尤度は、前記パターンについての前記人に眠気が生じる確率を含むことを特徴とする請求項1又は2に記載の覚醒状態判定方法。
  4. 前記演算工程において、前記演算部は、前記呼吸センサから取得された前記呼吸データから前記人の1呼吸の間隔であるRIを演算により算出し、
    前記尤度は、前記RIについての前記人に眠気が生じる確率を含むことを特徴とする請求項1乃至3のいずれか一項に記載の覚醒状態判定方法。
  5. 前記コントローラは、前記呼吸センサから得られた呼吸波形について、前記人の1呼吸の間隔であるRIの所定時間における推移であるRI波形データを生成する波形生成部を有し、
    該波形生成部によって生成された前記RI波形データのうち、t番目のRIをRI(t)とし、t番目からn番後のRIをRI(t+n)と定義して、下記数式1によってRrMSSDを定義した場合に、
    前記演算工程において、前記演算部は、前記RI波形データから前記RrMSSDを演算により算出し、
    前記尤度は、前記RrMSSDについての前記人に眠気が生じる確率を含むことを特徴とする請求項1乃至4のいずれか一項に記載の覚醒状態判定方法。
    Figure 2017080297
  6. 前記尤度は、5又は6のデータから構成されることを特徴とする請求項1乃至5のいずれか一項に記載の覚醒状態判定方法。
JP2015214731A 2015-10-30 2015-10-30 覚醒状態判定方法 Active JP6114802B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015214731A JP6114802B1 (ja) 2015-10-30 2015-10-30 覚醒状態判定方法
US15/770,622 US10470697B2 (en) 2015-10-30 2016-10-28 Wakefulness determination method
PCT/JP2016/082036 WO2017073719A1 (ja) 2015-10-30 2016-10-28 覚醒状態判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015214731A JP6114802B1 (ja) 2015-10-30 2015-10-30 覚醒状態判定方法

Publications (2)

Publication Number Publication Date
JP6114802B1 JP6114802B1 (ja) 2017-04-12
JP2017080297A true JP2017080297A (ja) 2017-05-18

Family

ID=58630280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015214731A Active JP6114802B1 (ja) 2015-10-30 2015-10-30 覚醒状態判定方法

Country Status (3)

Country Link
US (1) US10470697B2 (ja)
JP (1) JP6114802B1 (ja)
WO (1) WO2017073719A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020040018A1 (ja) * 2018-08-24 2020-02-27 テイ・エス テック株式会社 センサ付きシート

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102631160B1 (ko) * 2019-07-11 2024-01-30 엘지전자 주식회사 차량 탑승자 상태 감지방법 및 차량 탑승자 상태 감지장치
CN110786869B (zh) * 2019-10-29 2021-12-21 浙江工业大学 一种程序员的疲劳程度的检测方法
US11941896B1 (en) * 2020-05-20 2024-03-26 Kismet Technologies Inc. System and method for alerting and monitoring health and wellness conditions of an individual within a defined environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010143535A1 (ja) * 2009-06-08 2010-12-16 公立大学法人名古屋市立大学 眠気判定装置
WO2011118393A1 (ja) * 2010-03-23 2011-09-29 アイシン精機株式会社 覚醒度判定装置、覚醒度判定方法及びプログラム
WO2015060268A1 (ja) * 2013-10-21 2015-04-30 テイ・エス テック株式会社 覚醒装置、シート及び覚醒度判定方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7689437B1 (en) * 2000-06-16 2010-03-30 Bodymedia, Inc. System for monitoring health, wellness and fitness
MXPA06002836A (es) * 2000-06-16 2006-06-14 Bodymedia Inc Sistema para vigilar y administrar el peso corporal y otras condiciones fisiologicas, que incluyen la planeacion, intervencion y capacidad de reporte iterativa y personalizada.

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010143535A1 (ja) * 2009-06-08 2010-12-16 公立大学法人名古屋市立大学 眠気判定装置
WO2011118393A1 (ja) * 2010-03-23 2011-09-29 アイシン精機株式会社 覚醒度判定装置、覚醒度判定方法及びプログラム
WO2015060268A1 (ja) * 2013-10-21 2015-04-30 テイ・エス テック株式会社 覚醒装置、シート及び覚醒度判定方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020040018A1 (ja) * 2018-08-24 2020-02-27 テイ・エス テック株式会社 センサ付きシート
US11896396B2 (en) 2018-08-24 2024-02-13 Ts Tech Co., Ltd. Sensor-equipped seat

Also Published As

Publication number Publication date
WO2017073719A1 (ja) 2017-05-04
JP6114802B1 (ja) 2017-04-12
US20190053748A1 (en) 2019-02-21
US10470697B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
JP6124011B2 (ja) 覚醒装置及びシート
JP6114802B1 (ja) 覚醒状態判定方法
JP5704612B2 (ja) 眠気判定装置
JP4596023B2 (ja) 睡眠装置
WO2015060267A1 (ja) 覚醒装置、シート及び覚醒度判定方法
JP5544826B2 (ja) 刺激効果予測装置、刺激効果予測方法及び車両制御装置
JP2014092965A (ja) 乗員監視装置
JP2004254827A (ja) 睡眠状態判定装置
US8834363B2 (en) Sleep depth determining device, sleep depth maintaining device, and sleep depth determining method
JP2015080521A5 (ja)
JP2010220649A (ja) 睡眠装置及び睡眠維持方法
JP2010020618A (ja) 運転者覚醒装置
JP6518056B2 (ja) 睡眠状態判定装置、睡眠状態判定方法及びプログラム
JP6968526B2 (ja) 覚醒状態判定装置、覚醒状態判定方法及びプログラム
JP2007044154A (ja) 覚醒度判定方法
JP6352028B2 (ja) 体調判定装置
JP6466729B2 (ja) 活性判定システム
JP6465949B2 (ja) 体調判定装置
JP2016187430A (ja) 回復支援装置
JP2019012501A (ja) 運転支援装置、運転支援方法、および運転支援プログラム
JP2007195615A (ja) 覚醒度推定装置および覚醒度推定方法
JP2024001914A (ja) 覚醒度推定システム、覚醒度推定装置、覚醒度推定方法、および、プログラム
JP2013172828A (ja) 睡眠制御装置
JP2019214334A (ja) 乗物乗員の活性化度合適正化システム
JP2013162892A (ja) 睡眠制御装置

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170317

R150 Certificate of patent or registration of utility model

Ref document number: 6114802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250