JP2017206141A - 車載警告システム - Google Patents

車載警告システム Download PDF

Info

Publication number
JP2017206141A
JP2017206141A JP2016100464A JP2016100464A JP2017206141A JP 2017206141 A JP2017206141 A JP 2017206141A JP 2016100464 A JP2016100464 A JP 2016100464A JP 2016100464 A JP2016100464 A JP 2016100464A JP 2017206141 A JP2017206141 A JP 2017206141A
Authority
JP
Japan
Prior art keywords
driver
warning
vehicle
voice
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016100464A
Other languages
English (en)
Other versions
JP2017206141A5 (ja
JP6512174B2 (ja
Inventor
菜美 佐藤
Nami Sato
菜美 佐藤
朗浩 小笠原
Akihiro Ogasawara
朗浩 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016100464A priority Critical patent/JP6512174B2/ja
Priority to PCT/JP2017/007426 priority patent/WO2017199524A1/ja
Priority to US16/099,783 priority patent/US10399494B2/en
Publication of JP2017206141A publication Critical patent/JP2017206141A/ja
Publication of JP2017206141A5 publication Critical patent/JP2017206141A5/ja
Application granted granted Critical
Publication of JP6512174B2 publication Critical patent/JP6512174B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50Instruments characterised by their means of attachment to or integration in the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/90Calibration of instruments, e.g. setting initial or reference parameters; Testing of instruments, e.g. detecting malfunction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/006Indicating maintenance
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816Indicating performance data, e.g. occurrence of a malfunction
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0825Indicating performance data, e.g. occurrence of a malfunction using optical means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)
  • Navigation (AREA)

Abstract

【課題】メータパネルの警告灯の点灯等の異常が発生した場合に、運転者が精神的に動揺するような事態を極力防止する。
【解決手段】車両に異常が発生したときにメータパネルの警告灯が点灯または点滅するように構成された車載警告システム(1)であって、警告灯が点灯または点滅したときに、運転者の精神的な動揺を検出する検出部(12)と、運転者の精神的な動揺が検出されたときに、前記点灯または点滅した警告灯の警告の内容や前記警告に対する対処の仕方を運転者に報知する報知部(12)とを備えたものである。
【選択図】図1

Description

本発明は、車両に異常が発生したときにメータパネルの警告灯が点灯する車載警告システムに関する。
車両においては、エンジンオイルが不足したり、充電系統に異常が発生したりした場合、メータパネルの警告灯例えば油圧警告灯や充電警告灯等が点灯または点滅する。このようにメータパネルにて警告灯が点灯または点滅すると、運転者は、「何か表示が出ている。気になる。」と思い、運転に集中できない事態が発生していた。
また、特許文献1には、メータパネルの警告灯が点灯した場合に、ナビゲーション装置のディスプレイに警告の内容説明や対処方法説明等を表示するシステムが記載されている。しかし、上記システムの場合、ナビゲーション装置で経路案内している最中において、警告が発生したときには、経路案内の途中で突然、ディスプレイに警告の内容説明や対処方法説明等が表示される。このため、運転者は、メータパネルの警告灯の点灯で気持ちが動揺している上に、ナビゲーション装置のディスプレイの表示が突然変わることから、運転者の精神状態が更に混乱していく可能性があり、運転等に支障をきたすおそれもあった。
特開2006−193138号公報
本発明の目的は、メータパネルの警告灯の点灯等の異常が発生した場合に、運転者が精神的に動揺するような事態を極力防止できる車載警告システムを提供することにある。
請求項1の発明は、車両に異常が発生したときにメータパネルの警告灯が点灯または点滅するように構成された車載警告システム(1)であって、前記警告灯が点灯または点滅したときに、運転者の精神的な動揺を検出する検出部(12)と、運転者の精神的な動揺が検出されたときに、前記点灯または点滅した警告灯の警告の内容や前記警告に対する対処の仕方を運転者に報知する報知部(12)とを備えたものである。
第1実施形態を示す車載警告システムのブロック図 車両のコックピットの領域分割を説明する図(その1) 車両のコックピットの領域分割を説明する図(その2) 警告提示制御のフローチャート 警告灯と警告レベルとの関係を表にして示す図 警告の内容等を説明する説明文の表示態様の一例を示す図
(第1実施形態)
以下、第1実施形態について、図1ないし図6を参照して説明する。本実施形態の車載警告システム1は、図1に示すように、メータECU2と、監視カメラECU3と、ナビゲーション装置4と、これらECU2、3及びナビゲーション装置4が接続された車載LAN5とを備えている。メータECU2は、車載LAN5を介して車両に搭載された種々のECUから送信された種々の異常検出信号を受信し、受信した異常検出信号に対応するメータパネルの警告灯(例えば油圧警告灯や充電警告灯等)を点灯または点滅動作させる。
監視カメラECU3は、運転者(即ち、ドライバ)の顔及び上半身等を撮影するカメラと、カメラで撮影した画像データを画像認識処理する画像情報処理部とを備えている。監視カメラECU3は、カメラで撮影した運転者の画像データを画像認識処理することにより、運転者の視線の方向や顔向きの方向等を検出し、運転者が車両のインストルメントパネル及びフロントガラス周辺(即ち、コックピット)のどこに視点を置いているかを検出する機能を有する。この場合、例えば、図2に示すように、インストルメントパネル及びフロントガラス周辺を複数の領域R1〜Rnに分割し、これら領域R1〜Rnのいずれに運転者の視点が位置しているかを判定することが可能な構成となっている。図2に示す構成の場合、領域R2に運転者の視点が位置していると判定されると、運転者はメータパネル、即ち、警告灯を注視していると判断することができる。そして、監視カメラECU3は、運転者の視線の方向や顔向きの方向や視点の位置等の検出情報を車載LAN5を介してナビゲーション装置4へ送信するように構成されている。
尚、コックピット内を図2に示すように領域分割する代わりに、例えば図3に示すように、コックピット内を複数の領域Q1〜Qnに分割するように構成し、これら領域Q1〜Qnのいずれに運転者の視点が位置しているかを判定するように構成しても良い。
ナビゲーション装置4は、表示部6、操作入力部7、位置検出器8、地図データ入力器9、記憶部10、音声処理部11、制御部12などを備えている。表示部6は、例えば液晶表示器や有機EL表示器で構成されており、制御部12からの指示に基づいて各種の情報(例えば種々のメッセージや、ナビゲーションに関する各種の表示等)を表示する。表示部6の画面上には、タッチスイッチ(例えばタッチパネル)が設けられている。
操作入力部7は、上記タッチスイッチや表示部6の周囲に設けられたメカニカルスイッチなどを有し、ユーザによる上記スイッチの操作を検知し、その操作検知信号を制御部12に出力する。尚、操作入力部7には、音声認識処理を開始するためのトークスイッチが含まれている。制御部12は、操作入力部7から入力された操作検知信号を解析してユーザによる操作内容を特定する。
位置検出器8は、図示しない周知の地磁気センサ、ジャイロスコープ、車速センサおよびGPS受信機などを備えており、高精度に車両の現在位置を検出する。さらに、加速度を検出する加速度センサ等を加えてもよい。位置検出器8は、検出した車両の現在位置の情報を制御部12に出力する。地図データ入力器9は、CD−ROM、DVD−ROM、ハードディスク、不揮発性の半導体メモリ等のような大容量の情報記憶媒体を利用して道路地図データや音声認識辞書のデータなどを入力するためのものである。制御部12は、位置検出器8から与えられる車両の現在位置情報と、地図データ入力器9から与えられる道路地図データなどに基づいて、いわゆるナビゲーション処理を行う。
記憶部10は、例えばハードディスクドライブやSDメモリなどの不揮発性の記憶媒体からなり、各種データを記憶する記憶領域を有して構成されている。記憶部10は、ナビゲーション装置4に内蔵されている構成であってもよいし、ナビゲーション装置4から取り外し可能な外部記憶媒体を用いる構成であってもよい。
音声処理部11には、制御部12、マイクロホン13およびスピーカ14が接続されている。音声処理部11は、周知の音声入力処理、音声出力処理及び楽曲出力処理等を行う。音声処理部11は、ユーザ(例えば運転者等)が発した音声をマイクロホン13から入力すると、その入力した音声データを音声処理して制御部12へ出力する。また、音声処理部11は、制御部12から音声データや楽曲データや音データ等を入力すると、その入力した音声データや楽曲データや音データ等をスピーカ14から出力する。
制御部12は、CPU、ROM、RAM、I/Oバスなどを有するマイクロコンピュータを主体に構成されている。制御部12は、内蔵のROMや記憶部10などに記憶されているコンピュータプログラムに従って、ナビゲーション装置4の動作全般を制御する。制御部12は、車両の現在地から目的地までの経路を探索する経路探索機能、探索され且つ設定された経路に沿って経路案内する経路案内機能、および、操作入力部7を操作して目的地を設定する目的地設定機能を有している。
また、制御部12は、車載LAN5を介して車両に搭載された種々のECUから出力された種々の異常検出信号を受信し、メータパネルの警告灯が点灯または点滅されたか否か、即ち、警告が発生したか否かを判定する警告発生判定機能を有する。更に、制御部12は、マイクロホン13及び音声処理部11を介して入力したユーザの音声を、地図データ入力器9の音声認識辞書に基づいて音声認識処理する音声認識機能を有する。尚、音声認識処理は、通常、ユーザがトークスイッチを押下したときに実施されるが、上記警告が発生したことが判定されたときには、トークスイッチが押下されていなくても、即ち、連続音声認識モードがオンされて、自動的且つ連続的に音声認識処理が実施されるように構成されている。
また、制御部12は、車載LAN5を介して監視カメラECU3により検出された運転者の視線の方向の情報や顔向きの方向の情報や視点がコックピット内のどこの領域に位置しているかの情報等を受信する機能を有する。また、制御部12は、運転者の音声の音声認識結果と、運転者の視線の方向の情報や顔向きの方向の情報や視点がコックピット内のどこの領域に位置しているかの情報等とに基づいて、運転者が精神的に動揺(または混乱)していることを検出する機能を有する。そして、制御部12は、運転者が精神的に動揺していることを検出した場合に、上記警告の内容等をユーザに対して提示する機能を通する。また、制御部12は、運転者の発話の音声認識結果が「あれ何」等の言葉、即ち、警告が発生した状況下で、運転者の精神が動揺している際に、運転者が発するような言葉であるか否かを判断する機能を有する。制御部12は、検出部、報知部、注視検出部及び音声検出部としての各機能を備えている。
次に、上記構成のナビゲーション装置4の動作、即ち、制御部12の警告提示制御について、図4ないし図6を参照して説明する。図4のフローチャートは、制御部12の警告提示制御の内容を示す。
まず、図4のステップS10においては、制御部12は、車両LAN5を介して受信した異常検出信号に基づいてメータパネルの警告灯が点灯または点滅されたか否か、即ち、警告が発生したか否かを判定する。ここで、警告が発生していないときには、「NO」へ進み、ステップS10の判断を続ける。上記ステップS10において、警告が発生したときには(YES)、ステップS20へ進み、制御部12は、連続音声認識モードをオンし、マイクロホン13を介して入力したユーザの音声を自動的且つ連続的に音声認識処理する。
続いて、ステップS30へ進み、制御部12は、監視カメラECU3から車載LAN5を介して送信された運転者の視線の方向や顔向きの方向や視点の位置の情報等を受信して、運転者の視線や視点等を確認することにより、運転者がメータパネル付近を例えば0.3秒以上見たか否かを判断する。ここで、運転者がメータパネル付近を例えば0.3秒以上見ていないときには、「NO」へ進み、ステップS30の判断を繰り返す。
上記ステップS30において、運転者がメータパネル付近を例えば0.3秒以上見たときには(YES)、ステップS40へ進み、制御部12は、発生した警告の警告レベルが例えば2以上であるか否かを判断する。尚、警告レベルは、例えば、図5の表に示すように設定されており、警告レベル1は危険度が高く、警告レベル2は危険度が中ぐらいであり、警告レベル3は危険度が低い。上記ステップS40において、警告レベルが2以下でないときには(NO)、警告レベルが1であって発生した警告の危険度が高いことから、ステップS70へ進む。尚、ステップS70の処理及びそれ以降の処理については、後述する。
また、上記ステップS40において、警告レベルが2以上であるときには(YES)、警告レベルが2または3であって危険度が高くないことから、ステップS50へ進む。このステップS50では、制御部12は、監視カメラECU3から出力された運転者の視点等の情報に基づいて、運転者がメータパネル付近を例えば0.3秒以上見たパネル注視動作の回数が、例えば5秒間に3回以上であるか否かを判断する。この構成の場合、運転者がメータパネルを注視しているからといって、即時に警告内容を提示(例えば表示または音声で報知)するのではなく、所定時間(例えば5秒間)内に設定回数(例えば3回)以上パネル注視動作を実行した場合に、警告内容を提示するようにするためである。
上記ステップS50において、運転者がメータパネル付近を例えば0.3秒以上見たパネル注視動作の回数が、5秒間に3回未満のときには(NO)、ステップS30へ戻る。また、上記ステップS50において、運転者がメータパネル付近を例えば0.3秒以上見たパネル注視動作の回数が、5秒間に3回以上であるときには(YES)、ステップS60へ進む。
このステップS60においては、制御部12は、運転者の発話の音声認識結果が、「あれ何」等の言葉であるか否かを判断する。この場合、「あれ何?」の他に、「これ何?」、「この警告なに?」、「この警告なんだっけ?」、「赤い信号?」、または、「何で光っているの?」等の言葉、即ち、警告が発生した状況下で、運転者の精神が動揺している際に、運転者が発するような言葉が、音声認識されたか否かを判断する。
上記ステップS60において、運転者の発話の音声認識結果が、「あれ何」等の言葉でなかったときには(NO)、ステップS30へ戻る。また、上記ステップS60において、運転者の発話の音声認識結果が、「あれ何」等の運転者の精神が動揺している際に運転者が発するような言葉であったときには(YES)、ステップS70へ進む。
このステップS70においては、制御部12は、警告の内容を説明する表示態様(例えば図や画像や説明文等)や、警告に対する対処の仕方を説明する表示態様(例えば図やマークや画像や説明文等)等を運転者に提示、即ち、報知する。この場合、制御部12は、上記各表示態様を、ナビゲーション装置4の表示部6に表示する。表示部6に表示する表示態様の一例を、図6に示す。図6に示すように、メータパネル内で点灯した警告灯、例えば油圧警告灯のマーク(例えば図柄)15を表示すると共に、警告の内容として「油圧警告」を表示し、更に、警告に対する対処の仕方として「即座に停車してください。エンジンオイルを点検ください。」を表示する。尚、メータパネル内に表示装置が設けられている構成の場合には、メータパネル内の表示装置にも、上記各表示態様等を表示することが好ましい。更に、制御部12は、上記各表示態様等の中のメッセージ部分を、音声でスピーカ14から出力するように構成されている。この場合、メッセージ部分を音声出力する際に、丁寧な音声を出力するようにして、運転者の動揺を鎮めるようにすることが好ましい。また、メッセージ部分の音声出力の前に、「警告灯が点灯しました。落ち着いてください。警告の内容及び対処の仕方をご説明します。」というような運転者の動揺を抑制するための言葉を音声で出力するように構成しても良い。
そして、ステップS80へ進み、制御部12は、警告が終了したか否か、即ち、警告灯が消灯したか否かを判断する。ここで、警告が継続しているときには(NO)、ステップS30へ戻り、上述した制御を繰り返す。また、上記ステップS80において、警告が終了したときには(YES)、ステップS90へ進み、制御部12は、連続音声認識モードをオフする。これにより、連続音声認識モードは解除され、これ以降は、通常通り、ユーザ(例えば運転者)がトークスイッチを押下したときに、音声認識処理が実施されるようになる。このステップS90の後は、ステップS10へ戻り、上述した制御を繰り返す。
このような構成の本実施形態においては、メータパネルの警告灯が点灯または点滅したときに、運転者の精神的な動揺を検出し、運転者の精神的な動揺が検出されたときに、点灯または点滅した警告灯の警告の内容や警告に対する対処の仕方を運転者に報知するように構成した。この構成によれば、運転者の精神的な動揺が検出されたときに、初めて点灯または点滅した警告灯の警告の内容や警告に対する対処の仕方が運転者に報知されるようになるので、メータパネルの警告灯の点灯等の異常が発生した場合に、運転者が精神的に動揺するような事態を極力防止できる。
また、上記実施形態では、運転者の精神的な動揺を検出するに際して、監視カメラECU3によって、運転者の視線の方向や顔向きの方向等を検出して運転者の視点が前記メータパネルを注視していることを検出し、ナビゲーション装置4の制御部12によって、運転者の発する音声を音声認識して認識した音声が運転者の精神が動揺している際に運転者が発するような言葉であることを検出するように構成した。この構成によれば、運転者の精神的な動揺を正確に検出することができる。
また、上記実施形態では、運転者の視点がメータパネルを注視している時間が設定時間例えば0.3秒以上であるときに、運転者の精神が動揺しているどうかの検出制御を実行するように構成したので、運転者がメータパネルをちら見しかしないとき、即ち、運転者があまり動揺していないときには、上記検出制御を実行しないようにすることができる。
また、上記実施形態では、点灯または点滅した警告灯の警告レベルを考慮して、危険度が高い警告レベル(例えば警告レベルが1のとき)であるときには、点灯または点滅した警告灯の警告の内容や上記警告に対する対処の仕方を運転者に即座に報知するように構成した。この構成によれば、危険度が高い警告が発生した場合、その内容を運転者は速やかに知ることができる。
また、上記実施形態では、危険度が高い警告レベルでないときであって、運転者の視点がメータパネルを注視している時間が設定時間以上であるパネル注視動作の実行回数が、所定時間(例えば5秒間)内に設定回数(例えば3回)以上となったときに、運転者の精神が動揺しているどうかの検出制御を続行するように構成した。この構成によれば、運転者の精神的な動揺をより一層正確に検出することができる。
更に、上記実施形態では、危険度が高い警告レベルでないときであって、パネル注視動作の実行回数が所定時間内に設定回数以上となり、更に、運転者の発する音声が運転者の精神が動揺している際に運転者が発するような言葉であることが検出されたときに、運転者の精神的な動揺が検出されたとして、点灯または点滅した警告灯の警告の内容や上記警告に対する対処の仕方を運転者に報知するように構成した。この構成によれば、運転者の精神的な動揺をより一層正確に検出することができると共に、運転者の精神的な動揺を検出したときに、警告の内容や上記警告に対する対処の仕方を運転者に報知することができる。
また、上記実施形態では、警告灯が点灯または点滅したときに、自動的且つ連続的に音声認識処理を実行するように構成したので、警告が発生したときには、運転者がトークスイッチを押さなくても、運転者の音声の音声認識処理を自動的且つ連続的に実行することができる。更に、上記実施形態では、警告灯が消灯したときに、即ち、警告が終了したときに、連続音声認識モードをオフするように構成したので、高負荷の連続音声認識処理を無駄に続けることを防止できる。
尚、上記実施形態では、ナビゲーション装置4内に音声認識処理の機能を組み込むように構成したが、これに限られるものではなく、音声認識処理専用の車載ECUを設け、この車載ECUを車載LAN5に接続するように構成しても良い。また、上記実施形態では、監視カメラECU3を別途設けたが、これに代えて、監視カメラECU3の機能をナビゲーション装置4内に内蔵するように構成しても良い。また、上記実施形態では、警告提示制御の機能をナビゲーション装置4に組み込むように構成したが、これに限られるものではなく、警告提示制御の機能を他の車載ECUに組み込むと共に、警告の内容や対処の仕方等の表示は、車載LAN5に接続されたディスプレイECUのディスプレイに表示するように構成しても良い。
図面中、1は車載警告システム、2はメータECU、3は監視カメラECU、4はナビゲーション装置、6は表示部、11は音声処理部、12は制御部、13はマイクロホン、14はスピーカである。

Claims (7)

  1. 車両に異常が発生したときにメータパネルの警告灯が点灯または点滅するように構成された車載警告システム(1)であって、
    前記警告灯が点灯または点滅したときに、運転者の精神的な動揺を検出する検出部(12)と、
    運転者の精神的な動揺が検出されたときに、前記点灯または点滅した警告灯の警告の内容や前記警告に対する対処の仕方を運転者に報知する報知部(12)と
    を備えた車載警告システム。
  2. 前記検出部(12)は、運転者の視線の方向や顔向きの方向等を検出して運転者の視点が前記メータパネルを注視していることを検出する注視検出部(3)と、運転者の発する音声を音声認識して認識した音声が運転者の精神が動揺している際に運転者が発するような言葉であることを検出する音声検出部(12)とを備えたことを特徴とする請求項1記載の車載警告システム。
  3. 前記検出部(12)は、運転者の視点が前記メータパネルを注視している時間が設定時間以上であるときに、運転者の精神が動揺しているどうかの検出制御を実行するように構成されていることを特徴とする請求項2記載の車載警告システム。
  4. 前記検出部(12)は、前記点灯または点滅した警告灯の警告レベルを考慮し、危険度が高い警告レベルであるときには、前記報知部(12)によって前記点灯または点滅した警告灯の警告の内容や前記警告に対する対処の仕方を運転者に即座に報知するように構成されていることを特徴とする請求項3記載の車載警告システム。
  5. 前記検出部(12)は、危険度が高い警告レベルでないときであって、運転者の視点が前記メータパネルを注視している時間が設定時間以上であるパネル注視動作の実行回数が、所定時間内に設定回数以上となったときに、運転者の精神が動揺しているどうかの検出制御を続行するように構成されていることを特徴とする請求項4記載の車載警告システム。
  6. 前記検出部(12)は、危険度が高い警告レベルでないときであって、前記パネル注視動作の実行回数が所定時間内に設定回数以上となり、更に、前記音声検出部(12)によって運転者の発する音声が運転者の精神が動揺している際に運転者が発するような言葉であることを検出したときに、前記報知部(12)によって前記点灯または点滅した警告灯の警告の内容や前記警告に対する対処の仕方を運転者に報知するように構成されていることを特徴とする請求項5記載の車載警告システム。
  7. 前記音声検出部(12)は、前記警告灯が点灯または点滅したときに、連続的に音声認識処理を実行するように構成されていることを特徴とする請求項2から6のいずれか一項記載の車載警告システム。
JP2016100464A 2016-05-19 2016-05-19 車載警告システム Expired - Fee Related JP6512174B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016100464A JP6512174B2 (ja) 2016-05-19 2016-05-19 車載警告システム
PCT/JP2017/007426 WO2017199524A1 (ja) 2016-05-19 2017-02-27 車載警告システム
US16/099,783 US10399494B2 (en) 2016-05-19 2017-02-27 Vehicle-mounted warning system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016100464A JP6512174B2 (ja) 2016-05-19 2016-05-19 車載警告システム

Publications (3)

Publication Number Publication Date
JP2017206141A true JP2017206141A (ja) 2017-11-24
JP2017206141A5 JP2017206141A5 (ja) 2018-07-05
JP6512174B2 JP6512174B2 (ja) 2019-05-15

Family

ID=60326250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016100464A Expired - Fee Related JP6512174B2 (ja) 2016-05-19 2016-05-19 車載警告システム

Country Status (3)

Country Link
US (1) US10399494B2 (ja)
JP (1) JP6512174B2 (ja)
WO (1) WO2017199524A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739192A (zh) * 2020-06-17 2020-10-02 张玲 一种具有散热功能的防抖动智能行车记录仪

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867513B2 (en) * 2018-12-13 2020-12-15 Hyundai Motor Company Vehicular system for outputting warning and method of controlling the same
JP7192570B2 (ja) * 2019-02-27 2022-12-20 株式会社Jvcケンウッド 記録再生装置、記録再生方法およびプログラム
CN114071841B (zh) * 2020-08-03 2023-03-28 比亚迪股份有限公司 车辆氛围灯控制系统和方法、车辆及计算机存储介质
CN117836853A (zh) * 2021-11-29 2024-04-05 深圳市大疆创新科技有限公司 一种信息播报方法、通行状态提示方法、装置及车辆

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19952857C1 (de) * 1999-11-03 2001-08-09 Bosch Gmbh Robert Vorrichtung zur fahrerzustandsabhängigen Steuerung
JP2004034893A (ja) * 2002-07-05 2004-02-05 Honda Motor Co Ltd 車両用メータ装置
JP2005004414A (ja) * 2003-06-11 2005-01-06 Nissan Motor Co Ltd 車両用運転支援装置
JP2006256377A (ja) * 2005-03-15 2006-09-28 Suzuki Motor Corp 車両用情報表示装置
JP2007121798A (ja) * 2005-10-31 2007-05-17 Denso Corp 車両用表示装置
JP2008225216A (ja) * 2007-03-14 2008-09-25 Toyota Motor Corp 情報表示装置
JP2010282350A (ja) * 2009-06-03 2010-12-16 Toyota Motor Corp 衝突安全システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5595488A (en) * 1994-08-04 1997-01-21 Vigilant Ltd. Apparatus and method for monitoring and improving the alertness of a subject
US6091334A (en) * 1998-09-04 2000-07-18 Massachusetts Institute Of Technology Drowsiness/alertness monitor
US6661345B1 (en) * 1999-10-22 2003-12-09 The Johns Hopkins University Alertness monitoring system
JP2006193138A (ja) 2004-12-14 2006-07-27 Denso Corp 車載システム、警告灯詳細情報通知システム及びサーバシステム
JP2011225189A (ja) 2010-04-23 2011-11-10 Kanto Auto Works Ltd 車両故障警告装置及び車両故障警告システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19952857C1 (de) * 1999-11-03 2001-08-09 Bosch Gmbh Robert Vorrichtung zur fahrerzustandsabhängigen Steuerung
JP2004034893A (ja) * 2002-07-05 2004-02-05 Honda Motor Co Ltd 車両用メータ装置
JP2005004414A (ja) * 2003-06-11 2005-01-06 Nissan Motor Co Ltd 車両用運転支援装置
JP2006256377A (ja) * 2005-03-15 2006-09-28 Suzuki Motor Corp 車両用情報表示装置
JP2007121798A (ja) * 2005-10-31 2007-05-17 Denso Corp 車両用表示装置
JP2008225216A (ja) * 2007-03-14 2008-09-25 Toyota Motor Corp 情報表示装置
JP2010282350A (ja) * 2009-06-03 2010-12-16 Toyota Motor Corp 衝突安全システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739192A (zh) * 2020-06-17 2020-10-02 张玲 一种具有散热功能的防抖动智能行车记录仪

Also Published As

Publication number Publication date
US20190135176A1 (en) 2019-05-09
US10399494B2 (en) 2019-09-03
WO2017199524A1 (ja) 2017-11-23
JP6512174B2 (ja) 2019-05-15

Similar Documents

Publication Publication Date Title
WO2017199524A1 (ja) 車載警告システム
US10399575B2 (en) Cognitive load driving assistant
US9925832B2 (en) Alerting device
JP5106540B2 (ja) 車載情報提供装置
US10654491B2 (en) Wrong-way-driving suppression device, wrong-way-driving suppression method, and wrong-way-driving suppression system
JP2018062308A (ja) 運転モード切替制御装置、方法およびプログラム
US11535260B2 (en) Attention-based notifications
JP2016110449A (ja) 運転支援システムおよび運転支援方法
JP2008176357A (ja) 異常診断システム及び診断情報管理装置
JP2018151686A (ja) 運転モード切替制御装置、方法およびプログラム
JP2017194948A (ja) 情報提示制御装置、自動運転車、及び自動運転車運転支援システム
US11276313B2 (en) Information processing device, drive assist system, and drive assist method
JP2008040974A (ja) 運転支援装置
US10207584B2 (en) Information providing apparatus for vehicle
US9128517B2 (en) Vehicular terminal with input switching
JP2008310690A (ja) 車両用認知支援装置
JP2017187845A (ja) 信号機情報通知システム、情報機器、サーバおよびプログラム
JP2019200125A (ja) 経路案内制御装置および経路案内制御方法
JP2018151818A (ja) 故障判定装置、方法およびプログラム
JP2018088119A (ja) 制御装置、制御方法及びプログラム
JP2017078979A (ja) 車両用眠気防止装置および車両用眠気防止方法
JP2016085651A (ja) 情報処理装置、信号機の情報を案内する方法、および、コンピュータプログラム
JP6409473B2 (ja) 車両通知装置、車両制御装置、および車両通知プログラム
JP2013097605A (ja) 車両運転支援装置
JP2019008688A (ja) 駐車支援装置、駐車支援システム、駐車支援方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190325

R151 Written notification of patent or utility model registration

Ref document number: 6512174

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees