JP2014206785A - 眠気予測装置及び眠気予測システム - Google Patents

眠気予測装置及び眠気予測システム Download PDF

Info

Publication number
JP2014206785A
JP2014206785A JP2013082359A JP2013082359A JP2014206785A JP 2014206785 A JP2014206785 A JP 2014206785A JP 2013082359 A JP2013082359 A JP 2013082359A JP 2013082359 A JP2013082359 A JP 2013082359A JP 2014206785 A JP2014206785 A JP 2014206785A
Authority
JP
Japan
Prior art keywords
predicted
sleepiness
value
change amount
drowsiness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013082359A
Other languages
English (en)
Other versions
JP6186820B2 (ja
Inventor
慧 寺川
Satoshi Terakawa
慧 寺川
伊藤 靖之
Yasuyuki Ito
靖之 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2013082359A priority Critical patent/JP6186820B2/ja
Priority to PCT/JP2014/001952 priority patent/WO2014167811A1/ja
Publication of JP2014206785A publication Critical patent/JP2014206785A/ja
Application granted granted Critical
Publication of JP6186820B2 publication Critical patent/JP6186820B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1112Global tracking of patients, e.g. by using GPS
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/65Data transmitted between vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Psychiatry (AREA)
  • Transportation (AREA)
  • Biophysics (AREA)
  • Mechanical Engineering (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Developmental Disabilities (AREA)
  • Databases & Information Systems (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)

Abstract

【課題】ドライバの眠気を高精度に予測できる眠気予測装置及び眠気予測システムを提供すること。【解決手段】自車両のドライバの眠気を表す眠気数値を取得する眠気数値取得手段(21)と、自車両が属する領域における前記眠気数値の予測変化量を取得する予測変化量取得手段(23)と、前記眠気数値及び前記予測変化量に基き、前記領域内における前記眠気数値の予測値を算出する予測値算出手段(23)と、を備え、前記予測変化量は、前記領域を自車両が走行したときの前記眠気数値の変化に基き算出された予測変化量A1、又は、前記領域を走行した複数の車両における前記眠気数値の変化量に基き統計的に算出された予測変化量A2であることを特徴とする眠気予測装置(1)。【選択図】 図1

Description

本発明は、眠気予測装置及び眠気予測システムに関する。
近年、ドライバの眠気を検出し、これをドライバに知らせることで安全運転を促すシステムの開発が行われている。また、車両の進行方向の道路情報を解析して道路負荷量を算出し、将来におけるドライバの眠気を予測するシステムが提案されている(特許文献1参照)。
特許第4514372号公報
しかしながら、ドライバの眠気は、道路情報を解析して得られた道路負荷量以外の種々の要素にも左右されるため、従来技術ではドライバの眠気を精度よく予測することはできなかった。本発明は以上の点に鑑みなされたものであり、ドライバの眠気を高精度に予測できる眠気予測装置及び眠気予測システムを提供することを目的とする。
本発明の眠気予測装置は、自車両のドライバの眠気を表す眠気数値を取得する眠気数値取得手段と、自車両が属する領域における眠気数値の予測変化量を取得する予測変化量取得手段と、眠気数値及び予測変化量に基き、領域内における眠気数値の予測値を算出する予測値算出手段とを備える。
特に、本発明の眠気予測装置において、予測変化量は、領域を自車両が走行したときの眠気数値の変化に基き算出された予測変化量A1、又は、領域を走行した複数の車両における眠気数値の変化量に基き統計的に算出された予測変化量A2である。そのことにより、ドライバの眠気を高精度に予測できる。
眠気予測装置1及び眠気予測システム3の構成を表すブロック図である。 道路リンクを表す説明図である。 眠気予測装置1が実行する処理を表すフローチャートである。 情報センター5が実行する処理を表すフローチャートである。 眠気予測装置1が実行する処理を表すフローチャートである。 眠気予測装置1が実行する処理を表すフローチャートである。 眠気予測装置1及び眠気予測システム3の構成を表すブロック図である。
本発明の実施形態を図面に基き説明する。
<第1の実施形態>
1.眠気予測装置1及び眠気予測システム3の構成
眠気予測装置1及び眠気予測システム3の構成を図1に基き説明する。眠気予測システム3は、眠気予測装置1と、情報センター5とから構成される。眠気予測システム3は、複数の眠気予測装置1を含んでいてもよい。
眠気予測装置1は車両に搭載される車載装置である。眠気予測システム3が複数の眠気予測装置1を含む場合、複数の車両に眠気予測装置1が1台ずつ搭載される。以下では、眠気予測装置1が搭載された車両を自車両とする。
眠気予測装置1は、スピーカ7、ディスプレイ9、無線通信モジュール11、GPS13、車速センサ15、SDカード(登録商標)スロット17、SDカード19、入力部21、及び制御部23を備える。
スピーカ7は自車両の車室内に設置され、音声を出力可能な構成である。ディスプレイ9は自車両の車室内に設置され、ドライバに対し画像を表示可能な液晶表示装置である。無線通信モジュール11は後述する基地局103との間で無線通信を行う構成である。GPS13は自車両の位置情報を取得する周知の構成である。車速センサ15は自車両の速度を取得するセンサである。
SDカードスロット17はSDカード19を着脱可能であり、SDカード19を装着している状態においては、SDカード19に情報を書き込み可能であるとともに、SDカード19から情報を読み取り可能である。SDカード19は記憶メディアの1種であり、情報の書き込み、保持、及び読み出しが可能である。
入力部21は後述する眠気センサ101との間の通信を実行し、眠気数値を取得する構成である。制御部23は眠気予測装置1の各構成を制御し、後述する処理を実行する周知のコンピュータである。制御部23はROM23aを備え、そのROM23aに、後述する処理を実行するプログラムを記憶している。
情報センター5は、車両の外部に設置される固定設備であって、記憶装置29、通信モジュール31、及び制御部33を備える。記憶装置29は情報の書き込み、保存、及び読み出しが可能なHDD(ハードディスクドライブ)である。通信モジュール31は、基地局103との間で情報を送受信する構成である。
なお、基地局103は車両の外部に設置される固定設備であって、互いに所定の間隔をおいて複数設置されている。基地局103は、情報センター5の通信モジュール31から受け取った情報を、眠気予測装置1の無線通信モジュール11に対し、無線通信により送信する。また、基地局103は、無線通信モジュール11から無線通信により送信された情報を受信し、その情報を通信モジュール31に対し出力する。
また、情報センター5は、複数の端末105とインターネット回線107により接続している。端末105は、事務所、家庭等に備えられる端末であり、SDカードスロット109を備えている。SDカードスロット109は、上述したSDカードスロット17と同様の構成である。これらの構成により、情報センター5は、記憶装置29に記憶されている情報を、SDカードスロット109に装着されたSDカード19に書き込み可能である。また、情報センター5は、SDカードスロット109に装着されたSDカード19に記憶された情報を読み取り、記憶装置29に記憶可能である。
自車両は、眠気予測装置1に加えて、眠気センサ101を搭載している。眠気センサ101は、出力部111、カメラ113、電源115、及び制御部117を備える。出力部111は、後述する眠気数値を眠気予測装置1に出力する構成である。カメラ113は、自車両の車室内に設置され、ドライバの顔(特にドライバのまぶた)を含む範囲の動画を撮影可能である。電源115は眠気センサ101の各構成に電力を供給する。制御部117は眠気センサ101の各構成を制御し、眠気数値(自車両のドライバの眠気を表す数値)を取得する処理を実行する周知のコンピュータである。
眠気数値を取得する処理は以下のものである。まず、カメラ113を用いてドライバの顔を含む範囲の動画を撮影する。次に、撮影した動画を画像解析し、ドライバのまぶたが閉じている時間の比率R(%)を算出する。例えば、動画の全撮影時間がTaであり、そのうち、まぶたが閉じている時間がTcである場合、比率Rは、(Tc/Ta)×100(%)となる。
次に、比率Rを所定の換算式により、眠気数値に換算する。具体的には、比率Rが10%以下である場合は、比率Rを10倍した値を眠気数値とする。例えば、比率Rが5%である場合、眠気数値は50となる。また、比率Rが10%を超える場合は、眠気数値を一律に100とする。
なお、入力部21は眠気数値取得手段の一実施形態であり、制御部23は予測変化量取得手段及び予測値算出手段の一実施形態であり、GPS13、車速センサ15、及び制御部23は走行方向取得手段の一実施形態であり、無線通信モジュール11は送信手段の一実施形態であり、制御部33は更新手段の一実施形態である。
2.眠気予測装置1及び眠気予測システム3が実行する処理
(2−1)眠気予測装置1が予測変化量A1を記憶する処理
眠気予測装置1が予測変化量A1を記憶する処理を、図2及び図3に基き説明する。この処理は、自車両が、それまで走行していた道路リンク(領域の一実施形態)から、新たな道路リンクに進入したときに実行される。
ここで、道路リンクとは、道路を複数の領域に区分したときの個々の領域を意味する。例えば、図2に示すように、道路201は、複数の道路リンクL1、L2、L3、・・・に区分される。各道路リンクは重複することはなく(すなわち、道路201上の任意の1点が2以上の道路リンクに同時に属することはなく)、また、隣接する道路リンク間に隙間はない。
図3のステップ1では、眠気センサ101から眠気数値の取得を開始し、それ以降、継続的に(所定時間ごとに繰り返し)眠気数値を取得する。
ステップ2では、前記ステップ1で眠気数値の取得を開始してから、10分間が経過したか否かを判断する。10分間が経過した場合はステップ3に進み、未だ10分間が経過していない場合はステップ2に戻る。
ステップ3では、前記ステップ1で取得を開始してから10分間に取得した複数の眠気数値の標準偏差を算出する。そして、この標準偏差に1.5を乗じた数値を、予測変化量候補Xとして、SDカード19に記憶する。
ステップ4では、自車両の走行方向を取得する。走行方向は、自車両の位置をGPS13により繰り返し取得し、その位置が変化する方向を走行方向とする方法で取得できる。
ステップ5では、自車両が属する道路リンク上を前記ステップ4で取得した走行方向に走行したときに取得した予測変化量候補Xの平均値を算出し、その平均値を予測変化量A1としてSDカード19に記憶する。なお、予測変化量A1は、ある道路リンクを自車両が走行したときの眠気数値の変化に基き算出された値の一実施形態である。
例えば、同一の道路リンク及び同一の走行方向において予測変化量候補Xを過去に5回算出し、それぞれをSDカード19に記憶している場合は、その5回分の予測変化量候補Xの平均値を算出し、その平均値を予測変化量A1としてSDカード19に記憶する。なお、過去に予測変化量A1を算出し、SDカード19に記憶していた場合は、新たに算出した予測変化量A1で上書きする。
ステップ7では、前記ステップ6で算出した予測変化量A1と、それに対応する道路リンク及び走行方向を、無線通信モジュール11を用いて、基地局103を介し、情報センター5に送信する。
なお、本明細書では、所定の道路リンク上を所定の走行方向に走行したときに算出された予測変化量A1は、前記所定の道路リンク及び前記所定の走行方向に対応すると表現する。また、前記所定の道路リンク及び前記所定の走行方向は、その予測変化量A1に対応すると表現する。
(2−2)情報センター5が予測変化量A2を記憶する処理
情報センター5が予測変化量A2を記憶する処理を図4に基き説明する。この処理は所定時間ごとに繰り返し実行される。図4のステップ11では、眠気予測装置1が送信した予測変化量A1と、それに対応する道路リンク及び走行方向(前記ステップ7参照)とを基地局103及び通信モジュール31を用いて受信したか否かを判断する。受信した場合はステップ12に進み、受信しなかった場合は本処理を終了する。
ステップ12では、前記ステップ11で受信した予測変化量A1と同一の道路リンク及び走行方向に対応する予測変化量A1が既に記憶装置29に記憶されているか否かを判断する。記憶されている場合はステップ13に進み、記憶されていない場合はステップ15に進む。
ステップ13では、前記ステップ11で受信した予測変化量A1と、既に記憶装置29に記憶されている、同一の道路リンク及び走行方向に対応する予測変化量A1との平均値を算出する。
なお、平均値の算出に用いる、既に記憶装置29に記憶されていた予測変化量A1は、単数であっても複数であってもよい。また、既に記憶装置29に記憶されていた複数の予測変化量A1は、複数の眠気予測装置1からそれぞれ送信されたものであってもよい。
ステップ14では、前記ステップ13で算出した平均値を、新たな予測変化量A2として、記憶装置29に記憶する。なお、過去に予測変化量A2を算出し、記憶装置29に記憶していた場合は、新たに算出した予測変化量A2で上書きする。記憶装置29には、予測変化量A2と関連付けて、それに対応する道路リンク及び走行方向も記憶する。
一方、前記ステップ12において否定判断された場合はステップ15に進み、前記ステップ11で受信した予測変化量A1を予測変化量A2として新規に記憶装置29に記憶する。記憶装置29には、予測変化量A2と関連付けて、それに対応する道路リンク及び走行方向も記憶する。
なお、予測変化量A1と、それに基き前記ステップ14又は15において取得された予測変化量A2とは、同一の道路リンク及び走行方向に対応する。
(2−3)眠気予測装置1が眠気数値の予測値を算出する処理
眠気予測装置1が眠気数値の予測値を算出する処理を図5に基き説明する。この処理は、自車両が、それまで走行していた道路リンクから、新たな道路リンクに進入したときに実行される。
ステップ21では、前記ステップ4と同様の方法で、自車両の走行方向を取得する。
ステップ22では、自車両がその時点で属する道路リンク、及び前記ステップ21で取得した走行方向に対応する予測変化量A1がSDカード19に記憶されているか否かを判断する。記憶されている場合はステップ23に進み、記憶されていない場合はステップ28に進む。なお、対応する予測変化量A1がSDカード19に記憶されている場合、その予測変化量A1は前記ステップ6の処理で記憶されたものである。また、SDカード19に記憶されている予測変化量A1は、後述するステップ25で使用する。
ステップ23では、連続運転係数Cを取得する。連続運転係数Cは自車両が連続的に運転されている時間(連続運転時間)に応じて一義的に決まる係数である。連続運転係数Cは、連続運転時間が長いほど、大きい値となる。制御部23のROM23aには、連続運転時間の入力に対して連続運転係数Cを出力するマップが記憶されており、このマップを用いて連続運転係数Cを取得することができる。また、連続運転時間は、図示しないセンサによって取得した、自車両のエンジンの連続動作時間とすることができる。
ステップ24では、眠気センサ101から取得した過去2分間の眠気数値の平均値を算出する。
ステップ25では、以下の式(1)により、眠気数値の予測値Pを算出する。
式(1):P=Y+A1*C
上記式(1)において、Yは前記ステップ24で算出した眠気数値の平均値であり、A1は、自車両がその時点で属する道路リンク及び前記ステップ21で取得した走行方向に対応する予測変化量A1の値であり、Cは前記ステップ23で取得した連続運転係数Cの値である。上記式(1)では、連続運転時間係数Cを、予測変化量A1に乗算して補正し、補正後の予測変化量A1を用いて眠気数値の予測値Pを算出している。なお、*は乗算の演算子である。
ステップ26では、前記ステップ25、又は後述するステップ32で算出した眠気数値の予測値Pが所定の閾値より大きいか否かを判断する。閾値より大きい場合はステップ27に進み、閾値以下である場合は本処理を終了する。
ステップ27では、休憩を指示する画像をディスプレイ9に表示するとともに、警告音をスピーカ7で出力する。
一方、前記ステップ22で否定判断された場合はステップ28に進み、自車両がその時点で属する道路リンク、及び前記ステップ21で取得した走行方向に対応する予測変化量A2の送信を情報センター5に要求する。この要求は、無線通信モジュール11を用いて要求信号を情報センター5に送信することで行う。この要求に対し、情報センター5は、要求された予測変化量A2が記憶装置29に記憶されていればその予測変化量A2を送信するが、記憶されていなければ送信しない。情報センター5から、対応する予測変化量A2が送信された場合はステップ29に進み、送信されなかった場合は本処理を終了する。なお、送信された予測変化量A2は後述するステップ32で使用する。
また、本ステップ28の処理は、以下のものであってもよい。すなわち、自車両がその時点で属する道路リンク、及び前記ステップ21で取得した走行方向に対応する予測変化量A2がSDカード19に記憶されているか否かを判断し、記憶されていればステップ29に進み、記憶されていなければ本処理を終了する。この処理の場合、自車両が走行する範囲内に属する各道路リンクの予測変化量A2を、予め情報センター5から取得し、SDカード19に記憶しておく必要がある。SDカード19への予測変化量A2の記憶は、例えば、SDカード19を端末105のSDカードスロット109に装着することで行うことができる。
ステップ29では、前記ステップ23と同様にして、連続運転係数Cを取得する。
ステップ30では、予め算出し、SDカード19に記憶しておいた個別係数Bを取得する。個別係数Bは、同一の道路リンク及び走行方向に対応する予測変化量A2、及び予測測変化量A1において、予測変化量A2に対する予測測変化量A1の比である。個別係数Bの具体的な算出方法は後述する。
ステップ31では、前記ステップ24と同様に、眠気センサ101から取得した過去2分間の眠気数値の平均値を算出する。
ステップ32では、以下の式(2)により、眠気数値の予測値Pを算出する。
式(2):P=Y+A2*B*C
上記式(2)において、Yは前記ステップ31で算出した眠気数値の平均値であり、A2は、自車両がその時点で属する道路リンク及び前記ステップ21で取得した走行方向に対応する予測変化量A2の値であり、Bは前記ステップ30で取得した個別係数Bの値であり、Cは前記ステップ29で取得した連続運転係数Cの値である。
上記式(2)では、連続運転時間係数Cを、予測変化量A2に乗算して補正し、補正後の予測変化量A2を用いて眠気数値の予測値Pを算出している。また、上記式(2)では、個別係数Bを、予測変化量A2に乗算して補正し、補正後の予測変化量A2を用いて眠気数値の予測値Pを算出している。
(2−4)眠気予測装置1が個別係数Bを算出する処理
眠気予測装置1が個別係数Bを算出し、SDカード19に記憶する処理を図6に基き説明する。この処理は、自車両が、それまで走行していた道路リンク(以下、直前の道路リンクとする)から、新たな道路リンクに進入したときに実行される。
ステップ41では、直前の道路リンクにおける走行方向を取得する。
ステップ42では、直前の道路リンク、及び前記ステップ41で取得した走行方向に対応する予測変化量A1がSDカード19に記憶されているか否かを判断する。記憶されている場合はステップ43に進み、記憶されていない場合は本処理を終了する。
ステップ43では、直前の道路リンク、及び前記ステップ41で取得した走行方向に対応する予測変化量A2の送信を情報センター5に要求する。この要求は、無線通信モジュール11を用いて要求信号を情報センター5に送信することで行う。この要求に対し、情報センター5は、要求された予測変化量A2が記憶装置29に記憶されていればその予測変化量A2を送信するが、記憶されていなければ送信しない。情報センター5から、対応する予測変化量A2が送信された場合はステップ44に進み、送信されなかった場合は本処理を終了する。
ステップ44では、以下の式(3)により、個別係数Bを算出する。
式(3):B=A1/A2
上記式(3)において、Bは個別係数Bの値であり、A1は前記ステップ42で取得した予測変化量A1の値であり、A2は前記ステップ43で取得した予測変化量A2の値である。
ステップ45では、前記ステップ44で算出した個別係数BをSDカード19に記憶する。既に個別係数BがSDカード19に記憶されていた場合は、新たな個別係数Bを上書きする。
3.眠気予測装置1及び眠気予測システム3が奏する効果
(1)眠気予測装置1は、同一の道路リンク及び走行方向において、ドライバの実際の眠気数値の変化に基き算出された予測変化量A1又は予測変化量A2を用いて、眠気数値の予測値を算出する。そのため、ドライバの眠気を高精度に予測できる。
また、眠気予測装置1は、同一の道路リンクであっても、走行方向ごとに別々に予測変化量A1及び予測変化量A2を算出し、眠気数値の予測値の算出に使用するので、ドライバの眠気を一層高精度に予測できる。
(2)同一の道路リンク及び走行方向においても、連続運転時間により、眠気数値の変化量は変動する可能性がある。すなわち、連続運転時間が長いほど、眠気数値の変化量が大きくなる可能性がある。眠気予測装置1は、連続運転係数Cを予測変化量A1又は予測変化量A2に乗算して補正し、補正後の予測変化量A1又は予測変化量A2を用いて眠気数値の予測値を算出するので、連続運転時間の違いによる影響を低減し、ドライバの眠気を一層高精度に予測できる。
(3)同一の道路リンク及び走行方向においても、ドライバごとに、眠気数値の変化量は異なる可能性がある。そのため、予測変化量A2(場合により、自車両のドライバ以外のドライバにおける予測変化量A1も含めて算出された値)は、予測変化量A1とは異なる可能性がある。眠気予測装置1は、個別係数Bを予測変化量A2に乗算して補正し、補正後の予測変化量A2を用いて眠気数値の予測値を算出するので、ドライバの個人差による影響を低減し、ドライバの眠気を一層高精度に予測できる。
(4)眠気予測装置1は、ドライバのまぶたの動きに基き算出される眠気数値を用いる。そのため、ドライバの眠気を容易且つ高精度に予測できる。
(5)眠気予測システム3は、予測変化量A2を保持し、予測変化量A2を眠気予測装置1に提供可能な情報センター5を備える。そのため、眠気予測装置1は、予測変化量A2を容易に取得することができる。そして、眠気予測装置1は、自車両がその時点で属する道路リンク及び走行方向に対応する予測変化量A1が存在しない場合でも、予測変化量A2を用いてドライバの眠気を予測することができる。
(6)情報センター5は、眠気予測装置1から送信された予測変化量A1と、それに対応する道路リンク及び走行方向とを用いて予測変化量A2を新たに作成し、あるいは更新することができる。その結果、情報センター5は、各道路リンクと走行方向ごとに、対応する予測変化量A2を記録した地図を作成することができる。この地図を用いれば、例えば、ドライバの眠気を予測し、その予測結果に基づいて休憩すべきサービスエリアを提示する等のサービスが可能になる。
<第2の実施形態>
1.眠気予測装置1及び眠気予測システム3の構成
眠気予測装置1及び眠気予測システム3は、図7に示すとおり、基本的には前記第1の実施形態と同様の構成を有するが、眠気数値の種類において相違する。本実施形態では、眠気センサ101として、図7に示すものを用い、その眠気センサ101が出力する眠気数値を使用する。
本実施形態における眠気センサ101は、出力部111、脈拍センサ119、電源115、及び制御部117を備える。出力部111は、眠気数値を眠気予測装置1に出力する構成である。脈拍センサ119はドライバの脈拍及びHFを測定する。HFとは、心拍間隔の変動量を示す周知の指標(心拍数のゆらぎを示す指標)であって、心拍数のゆらぎを周波数解析して得られる高周波成分を意味する。電源115は眠気センサ101の各構成に電力を供給する。制御部117は眠気センサ101の各構成を制御し、眠気数値(自車両のドライバの眠気を表す数値)を取得する処理を実行する周知のコンピュータである。
眠気センサ101が眠気数値を取得する処理は以下のものである。まず、脈拍センサ119を用いてドライバの脈拍とHFを取得する。そして、以下の式(4)により、眠気数値Zを算出する。
式(4) Z=P*10+(Q−1)*100
上記式(4)においてPは通常時の値に対する脈拍の低下量(単位はbpm)であり、Qは過去500secでの値に対するHFの増加率である。なお、眠気の兆候がある状態では、交感神経活動が亢進状態から抑制状態へ変わるため、脈拍数が低下する。また、眠気が生じる状態では、副交感神経が亢進状態へ変わることで脈拍数が下がり、HFが上がる。
2.眠気予測装置1及び眠気予測システム3が実行する処理
眠気予測装置1及び眠気予測システム3は、基本的には前記第1の実施形態と同様の処理を実行する。ただし、前記ステップ3、24、31では、上述した眠気センサ101から、脈拍及びHFに基き算出された眠気数値を取得し、使用する。
3.眠気予測装置1及び眠気予測システム3が奏する効果
眠気予測装置1及び眠気予測システム3は、前記第1の実施形態と略同様の効果を奏することができる。
尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、前記式(1)において、予測変化量A1に連続運転時間係数Cを乗算せず、Yと予測変化量A1とを足した値をPとしてもよい。この場合、処理を簡略化できる。
また、前記(2)において、予測変化量A2に連続運転時間係数Cを乗算せず、Y+A2*BをPとしてもよい。この場合、処理を簡略化できる。
また、前記(2)において、予測変化量A2に個別係数Bを乗算せず、Y+A2*CをPとしてもよい。この場合、処理を簡略化できる。
また、前記(2)において、予測変化量A2に個別係数B及び連続運転時間係数Cを乗算せず、Y+A2をPとしてもよい。この場合、処理を簡略化できる。
また、予測変化量A1は、走行方向によらず、道路リンクごとに1つ設けるようにしてもよい。すなわち、ある道路リンクを一の走行方向に走行するときの予測変化量A1と、同じ道路リンクを反対方向に走行するときの予測変化量A1は同一であってもよい。同様に、予測変化量A2も、走行方向によらず、道路リンクごとに1つ設けるようにしてもよい。
また、予測変化量A2は、複数の予測変化量A1から算出される、平均値以外の統計値(例えば、最頻値、中央値等)であってもよい。
1…眠気予測装置、3…眠気予測システム、5…情報センター、7…スピーカ、9…ディスプレイ、11…無線通信モジュール、13…GPS、15…車速センサ、17…SDカードスロット、19…SDカード、21…入力部、23…制御部、23a…ROM、29…記憶装置、31…通信モジュール、33…制御部、101…眠気センサ、103…基地局、105…端末、107…インターネット回線、109…SDカードスロット、111…出力部、113…カメラ、115…電源、117…制御部、119…脈拍センサ、201…道路

Claims (8)

  1. 自車両のドライバの眠気を表す眠気数値を取得する眠気数値取得手段(21)と、
    自車両が属する領域における前記眠気数値の予測変化量を取得する予測変化量取得手段(23)と、
    前記眠気数値及び前記予測変化量に基き、前記領域内における前記眠気数値の予測値を算出する予測値算出手段(23)と、
    を備え、
    前記予測変化量は、前記領域を自車両が走行したときの前記眠気数値の変化に基き算出された予測変化量A1、又は、前記領域を走行した複数の車両における前記眠気数値の変化量に基き統計的に算出された予測変化量A2であることを特徴とする眠気予測装置(1)。
  2. 前記予測値算出手段は、前記予測変化量A2を用いて前記予測値を算出する場合、いずれかの前記領域における前記予測変化量A2に対する前記予測変化量A1の比である個別係数Bを、前記予測変化量A2に乗算して補正し、補正後の前記予測変化量A2を用いて前記予測値を算出することを特徴とする請求項1に記載の眠気予測装置。
  3. 前記予測値算出手段は、自車両の連続運転時間が長いほど値が大きくなる連続運転時間係数Cを、前記予測変化量A1又は前記予測変化量A2に乗算して補正し、補正後の前記予測変化量A1又は前記予測変化量A2を用いて前記予測値を算出することを特徴とする請求項1又は2に記載の眠気予測装置。
  4. 前記眠気数値は、ドライバのまぶたの動き、又はドライバの脈拍に基き算出される値であることを特徴とする請求項1〜3のいずれか1項に記載の眠気予測装置。
  5. 自車両の走行方向を取得する走行方向取得手段(13、15、23)を備え、
    前記予測変化量取得手段は、前記領域を自車両が前記走行方向取得手段で取得した走行方向に走行したときの前記予測変化量A1、又は、前記領域を前記走行方向取得手段で取得した走行方向に走行した複数の車両における前記予測変化量A2を取得することを特徴とする請求項1〜4のいずれか1項に記載の眠気予測装置。
  6. 請求項1〜5のいずれか1項に記載の眠気予測装置と、
    1以上の前記領域についてそれぞれ前記予測変化量A2を保持し、前記予測変化量A2を前記眠気予測装置に提供する情報センター(5)と、
    を備える眠気予測システム(3)。
  7. 前記眠気予測装置は、前記予測変化量A1及びそれに対応する前記領域を前記情報センターに送信する送信手段を備え、
    前記情報センターは、前記眠気予測装置から送信された前記予測変化量A1及びそれに対応する前記領域を用いて前記予測変化量A2を更新する更新手段(33)を備えることを特徴とする請求項6に記載の眠気予測システム。
  8. 前記情報センターは、前記領域を一の走行方向に走行したときの予測変化量A2と、同一の領域内をその反対の走行方向に走行したときの前記予測変化量A2とをそれぞれ保持することを特徴とする請求項6又は7に記載の眠気予測システム。
JP2013082359A 2013-04-10 2013-04-10 眠気予測装置及び眠気予測システム Expired - Fee Related JP6186820B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013082359A JP6186820B2 (ja) 2013-04-10 2013-04-10 眠気予測装置及び眠気予測システム
PCT/JP2014/001952 WO2014167811A1 (ja) 2013-04-10 2014-04-03 眠気予測装置及び眠気予測システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013082359A JP6186820B2 (ja) 2013-04-10 2013-04-10 眠気予測装置及び眠気予測システム

Publications (2)

Publication Number Publication Date
JP2014206785A true JP2014206785A (ja) 2014-10-30
JP6186820B2 JP6186820B2 (ja) 2017-08-30

Family

ID=51689233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013082359A Expired - Fee Related JP6186820B2 (ja) 2013-04-10 2013-04-10 眠気予測装置及び眠気予測システム

Country Status (2)

Country Link
JP (1) JP6186820B2 (ja)
WO (1) WO2014167811A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016187429A (ja) * 2015-03-30 2016-11-04 パイオニア株式会社 就寝案内装置
US10445560B2 (en) 2015-03-31 2019-10-15 Equos Research Co., Ltd. Pulse wave detection device and pulse wave detection program
WO2020012635A1 (ja) * 2018-07-13 2020-01-16 三菱電機株式会社 通報装置および通報方法
US10595732B2 (en) 2015-03-31 2020-03-24 Equos Research Co., Ltd. Pulse wave detection device and pulse wave detection program
JP2020078728A (ja) * 2015-07-22 2020-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 覚醒度予測方法および覚醒度予測装置
JP2022527912A (ja) * 2019-03-29 2022-06-07 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 運転者疲労マップに基づく個人向けルート探索

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3343306B1 (en) 2016-12-28 2019-08-07 Faurecia Automotive Seating, LLC Occupant-status prediction system
JP6983028B2 (ja) * 2017-10-06 2021-12-17 マレリ株式会社 眠気度予測装置及び眠気度予測方法
CN113569817B (zh) * 2021-09-23 2021-12-21 山东建筑大学 基于图像区域定位机制的驾驶人注意力分散检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223673A (ja) * 2008-03-17 2009-10-01 Fujitsu Ltd 運行支援装置、運行支援方法、運行支援プログラム
JP2010128649A (ja) * 2008-11-26 2010-06-10 Nissan Motor Co Ltd 覚醒状態判断装置及び覚醒状態判断方法
JP2012022671A (ja) * 2010-06-15 2012-02-02 Nissan Motor Co Ltd 運転支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223673A (ja) * 2008-03-17 2009-10-01 Fujitsu Ltd 運行支援装置、運行支援方法、運行支援プログラム
JP2010128649A (ja) * 2008-11-26 2010-06-10 Nissan Motor Co Ltd 覚醒状態判断装置及び覚醒状態判断方法
JP2012022671A (ja) * 2010-06-15 2012-02-02 Nissan Motor Co Ltd 運転支援装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016187429A (ja) * 2015-03-30 2016-11-04 パイオニア株式会社 就寝案内装置
US10445560B2 (en) 2015-03-31 2019-10-15 Equos Research Co., Ltd. Pulse wave detection device and pulse wave detection program
US10595732B2 (en) 2015-03-31 2020-03-24 Equos Research Co., Ltd. Pulse wave detection device and pulse wave detection program
JP2020078728A (ja) * 2015-07-22 2020-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 覚醒度予測方法および覚醒度予測装置
WO2020012635A1 (ja) * 2018-07-13 2020-01-16 三菱電機株式会社 通報装置および通報方法
JPWO2020012635A1 (ja) * 2018-07-13 2020-12-17 三菱電機株式会社 通報装置および通報方法
CN112384958A (zh) * 2018-07-13 2021-02-19 三菱电机株式会社 通知装置和通知方法
CN112384958B (zh) * 2018-07-13 2022-03-29 三菱电机株式会社 通知装置和通知方法
US11364918B2 (en) 2018-07-13 2022-06-21 Mitsubishi Electric Corporation Notifying device and notifying method
JP2022527912A (ja) * 2019-03-29 2022-06-07 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 運転者疲労マップに基づく個人向けルート探索
JP7391990B2 (ja) 2019-03-29 2023-12-05 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 運転者疲労マップに基づく個人向けルート探索
US11906318B2 (en) 2019-03-29 2024-02-20 Huawei Technologies Co., Ltd. Personalized routing based on driver fatigue map

Also Published As

Publication number Publication date
JP6186820B2 (ja) 2017-08-30
WO2014167811A1 (ja) 2014-10-16

Similar Documents

Publication Publication Date Title
JP6186820B2 (ja) 眠気予測装置及び眠気予測システム
US20170357930A1 (en) Work plan support information provision method, work plan support information provision apparatus, and computer-readable recording medium
US10198287B2 (en) System and method for improving motor vehicle safety
EP2783625B1 (en) Information processing apparatus and warning issuing method
JP5052550B2 (ja) 交通情報管理装置、交通情報管理方法および交通情報管理プログラム
JP6020217B2 (ja) 交通情報提供システム
JP2016133868A (ja) 運転支援システム、運転支援方法、及びプログラム
US10916137B2 (en) Traffic mitigation system
JP6319010B2 (ja) プローブ情報収集装置、及びプローブ情報収集方法
JP2009300355A (ja) 精度予測装置、精度予測方法及び精度予測プログラム
KR101807210B1 (ko) 차량 소모품 관리 장치 및 방법
JP2018169717A (ja) 旅行時間推定装置及びコンピュータプログラム
JP6340982B2 (ja) 路面の劣化検出プログラム、劣化検出方法、及び劣化検出装置
US10329973B2 (en) Engine oil deterioration diagnosis device
KR20120029707A (ko) 교통예측정보 표시방법 및 교통예측정보를 표시하는 내비게이션 장치
EP2949267A1 (en) Portable electronic device, diagnosis method, and diagnosis program
JP2018027758A (ja) 運転前警告システム、運転前警告サーバおよび運転前警告プログラム
EP3166198B1 (en) Method, device and computer program product for collecting data of a mobile device in a vehicle
CN114298432A (zh) 数据处理方法、装置、设备及计算机存储介质
JP2012137835A (ja) 速度情報生成装置、速度情報生成方法、渋滞情報生成装置及びプログラム
JP2015190830A (ja) 消費エネルギー推定装置、通信装置、消費エネルギー推定方法、消費エネルギー推定プログラム
JP5964158B2 (ja) 情報処理システム、情報処理装置、サーバ、端末装置、情報処理方法、及びプログラム
JP2019168811A (ja) 解析装置、通信装置、解析方法、通信方法、プログラム、及び記憶媒体
JP2012202773A (ja) 情報処理装置、情報表示装置、情報表示システム、情報処理方法、及びプログラム
JP2012108753A (ja) 運転負荷予測システム、装置、方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170717

R151 Written notification of patent or utility model registration

Ref document number: 6186820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees