JP2020030742A - 警告装置、運転傾向解析装置、運転傾向解析方法およびプログラム - Google Patents

警告装置、運転傾向解析装置、運転傾向解析方法およびプログラム Download PDF

Info

Publication number
JP2020030742A
JP2020030742A JP2018157328A JP2018157328A JP2020030742A JP 2020030742 A JP2020030742 A JP 2020030742A JP 2018157328 A JP2018157328 A JP 2018157328A JP 2018157328 A JP2018157328 A JP 2018157328A JP 2020030742 A JP2020030742 A JP 2020030742A
Authority
JP
Japan
Prior art keywords
warning
driver
information
unit
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018157328A
Other languages
English (en)
Other versions
JP6777124B2 (ja
Inventor
孝夫 辻
Takao Tsuji
孝夫 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2018157328A priority Critical patent/JP6777124B2/ja
Priority to PCT/JP2019/028082 priority patent/WO2020039801A1/ja
Priority to EP19852821.8A priority patent/EP3825981B1/en
Priority to CN201980040547.5A priority patent/CN112424848B/zh
Publication of JP2020030742A publication Critical patent/JP2020030742A/ja
Application granted granted Critical
Publication of JP6777124B2 publication Critical patent/JP6777124B2/ja
Priority to US17/178,293 priority patent/US20210197849A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Vascular Medicine (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Mathematical Physics (AREA)

Abstract

【課題】車両の安全な運転の支援をすること。【解決手段】運転者の生体情報を取得する運転者生体情報取得部２１と、生体情報に基づいて運転者の覚醒度を推定する運転者覚醒度推定部２２と、車両の挙動を示す挙動情報を取得する車両挙動情報取得部２３と、覚醒度を示す覚醒度情報および挙動情報に基づいた警告を行う警告部３０とを備える。【選択図】図１

Description

本発明は、警告装置、運転傾向解析装置、運転傾向解析方法およびプログラムに関する
。
車両の安全な運転を支援するため、車両の運転者の状態を検出する技術が知られている
（例えば、特許文献１参照。）。特許文献１に記載の技術は、車両の走行情報と運転者の
生体情報とに基づいて、運転者の状態を検出する。
特開２０１８−７５２０８号公報
特許文献１に記載の技術は、加速度センサおよび角速度センサによって、車両の走行情
報を取得する。しかし、例えば、勾配、カーブ、または、段差のような道路の状態によっ
ては、加速度センサや角速度センサの情報だけでは、車両の走行情報を適切に取得するこ
とが難しいおそれがある。
本発明は、上記に鑑みてなされたものであって、車両の安全な運転の支援をすることを
目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る警告装置は、運転者の生
体情報を取得する運転者生体情報取得部と、前記生体情報に基づいて運転者の覚醒度を推
定する運転者覚醒度推定部と、車両の挙動を示す挙動情報を取得する車両挙動情報取得部
と、前記覚醒度を示す覚醒度情報および前記挙動情報に基づいた警告を行う警告部と、を
備えることを特徴とする。
本発明に係る運転傾向解析装置は、運転者の生体情報を取得する運転者生体情報取得部
と、前記生体情報に基づいて運転者の覚醒度を推定する運転者覚醒度推定部と、車両の挙
動を示す挙動情報を導出する車両挙動導出部と、前記挙動情報に基づいて、運転支援警告
を発生させるための運転支援警告情報を生成する運転支援警告生成部と、前記覚醒度およ
び前記運転支援警告に基づいて、前記運転者の覚醒度に対応付けて、前記挙動情報に対す
る運転支援警告の履歴を履歴情報として管理し、前記履歴情報に基づいて前記運転者の運
転傾向を解析し、解析情報を取得する運転傾向解析部と、を備えることを特徴とする。
本発明に係る運転傾向解析方法は、運転者の生体情報を取得する運転者生体情報取得ス
テップと、前記生体情報に基づいて運転者の覚醒度を推定する運転者覚醒度推定ステップ
と、車両の挙動を示す挙動情報を導出する車両挙動導出ステップと、前記挙動情報に基づ
いて、運転支援警告を発生させる運転支援警告情報を生成する運転支援警告生成ステップ
と、前記覚醒度および前記運転支援警告に基づいて、前記運転者の覚醒度に対応づけて、
前記挙動情報に対する運転支援警告の履歴を履歴情報として管理し、前記履歴情報に基づ
いて前記運転者の運転傾向を解析し、解析情報を取得する運転傾向解析ステップと、を含
む。
本発明に係るプログラムは、運転者の生体情報を取得する運転者生体情報取得ステップ
と、前記生体情報に基づいて運転者の覚醒度を推定する運転者覚醒度推定ステップと、車
両の挙動を示す挙動情報を導出する車両挙動導出ステップと、前記挙動情報に基づいて、
運転支援警告を発生させる運転支援警告情報を生成する運転支援警告生成ステップと、前
記覚醒度および前記運転支援警告に基づいて、前記運転者の覚醒度に対応づけて、前記挙
動情報に対する運転支援警告の履歴を履歴情報として管理し、前記履歴情報に基づいて前
記運転者の運転傾向を解析し、解析情報を取得する運転傾向解析ステップと、を運転傾向
解析装置として動作するコンピュータに実行させる。
本発明によれば、車両の安全な運転の支援をすることができるという効果を奏する。
図１は、第一実施形態に係る運転傾向解析装置を有する警告装置の構成例を示すブロック図である。 図２は、車両に載置した視線センサを示す概略図である。 図３は、第一実施形態に係る履歴情報の一例を示す図である。 図４は、第一実施形態に係る履歴情報の他の例を示す図である。 図５は、第一実施形態に係る運転傾向解析情報の一例を示す図である。 図６は、第一実施形態に係る運転傾向解析情報の他の例を示す図である。 図７は、第一実施形態に係る警告装置における処理の流れを示すフローチャートである。 図８は、第一実施形態に係る警告装置における処理の流れを示すフローチャートである。 図９は、第一実施形態に係る警告装置における処理の流れを示すフローチャートである。 図１０は、第二実施形態に係る運転傾向解析装置を有する警告装置の構成例を示すブロック図である。 図１１は、予測警告の報知先の一例を示す図である。 図１２は、第二実施形態に係る警告装置における処理の流れを示すフローチャートである。 図１３は、第三実施形態に係る運転傾向解析装置を有する警告装置の構成例を示すブロック図である。
以下に添付図面を参照して、本発明に係る警告装置、運転傾向解析装置、運転傾向解析
方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明
が限定されるものではない。
［第一実施形態］
図１は、第一実施形態に係る運転傾向解析装置を有する警告装置の構成例を示すブロッ
ク図である。警告装置１は、運転者の状態と車両の挙動とに基づいて、運転傾向を解析し
て、運転傾向に基づいた予測警告を行う。
運転者の状態は、運転者が正常に覚醒している状態であるか、運転者が居眠り状態であ
るかを含む運転者の覚醒度のことである。覚醒度が高いと、運転者は正常に覚醒している
状態であり、覚醒度が低いと、運転者は居眠り状態など、正常に運転できない状態である
。運転者の状態は、運転者の生体情報に基づいて推定する。
運転者の生体情報とは、運転者の覚醒度を推定可能な情報である。運転者の生体情報は
、例えば、眼の動きを示す視線情報、眼の開度を示す開度情報、まばたきの回数を示すま
ばたき回数情報、頭部の動きを示す頭部動き情報、表情を示す表情情報、脳波を示す脳波
情報、呼吸数を示す呼吸数情報、または、運転者の覚醒度に応じて変化する運転者の身体
に関する情報である。本実施形態では、運転者の生体情報は、視線情報として説明する。
車両の挙動とは、例えば、急ブレーキ、車線逸脱、前方衝突、先行車発進、または、速
度異常である。運転者の覚醒度が低いと、運転者は、次に挙げる状態となることがある。
ステアリング操作が適切に行われずに車線を逸脱することがある。運転者ごとに、右側ま
たは左側に、より逸脱しやすい傾向を示すことがある。前方の確認が不十分になったり、
ブレーキ操作が適切に行われなくなることによって、前方の障害物に衝突する可能性が高
くなる程度まで障害物に接近することがある。前方の確認が不十分になったり、反応が遅
れることで、信号待ちまたは渋滞などで停止した際に、先行車が発進しても停止したまま
になることがある。速度標識の確認が不十分になったり、ブレーキ操作およびアクセル操
作が適切に行われなくなったりすることによって、速度異常になることがある。
警告装置１は、車両に載置されているものに加えて、可搬型で車両において利用可能な
装置であってもよい。警告装置１は、視線センサ２と、カメラ５と、スピーカ６と、制御
装置１０とを有する。視線センサ２と、カメラ５と、スピーカ６とを別体として有する制
御装置１０を警告装置１としてもよい。警告装置１は、制御装置１０が車両の外部の管理
センタなどに配置されていてもよい。
図２を用いて、視線センサ２について説明する。図２は、車両に載置した視線センサを
示す概略図である。視線センサ２は、エンジンが始動してから停止するまでの間、運転者
の視線を検出する。視線センサ２は、運転席と向かい合って配置されている。視線センサ
２は、例えば、一対の赤外カメラ３と、赤外ＬＥＤ群で構成された赤外光照射部４とを含
む。本実施形態では、赤外光照射部４が、運転者の顔方向に赤外光を照射し、一対の赤外
カメラ３で撮影する。視線センサ２は、赤外カメラ３で撮影した撮影映像から、運転者の
瞳孔と角膜反射の位置とに基づいて、運転者の視線を検出する。視線センサ２は、同様の
機能を有する他の構成であってもよい。視線センサ２は、視線検出データを運転傾向解析
装置２０の運転者生体情報取得部２１の運転者視線検出部２１１に視線情報として出力す
る。なお、視線センサ２は、運転傾向解析装置２０の運転者生体情報取得部２１の一部と
して機能する形態であってもよい。また、視線センサ２は、可視光カメラを使用して、目
頭と虹彩とに基づいて視線を検出するものであってもよい。
図１に戻って、カメラ５は、車両の周囲の映像（車両周辺映像）を撮影するカメラであ
る。本実施形態では、カメラ５は、３６０°の全天周を撮影可能なカメラとして説明する
が、これに限定されず、車両の周囲を撮影する複数のカメラ群であってもよい。カメラ５
は、車両の前方に配置されている。カメラ５は、エンジンが始動してから停止するまでの
間、車両の周囲の車両周辺映像を常時撮影する。カメラ５は、撮影した車両周辺映像の映
像データ（車両周辺映像データ）を運転傾向解析装置２０の車両挙動情報取得部２３の映
像データ取得部２４へ出力する。映像データは、例えば毎秒３０フレームの画像から構成
される動画像である。
スピーカ６は、一例としては、警告装置１に固有の音声出力装置、または、ナビゲーシ
ョンシステムを含む他のシステムと共用する音声出力装置などである。スピーカ６は、警
告部３０から出力された音声信号に基づき、警告の音声を出力する。スピーカ６は、運転
者と助手席の同乗者と後部座席の同乗者とに、それぞれ配置されていてもよい。
制御装置１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ
）などで構成された演算処理装置（制御装置）である。制御装置１０は、図示しない記憶
部に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行
する。制御装置１０には図示しない内部メモリが含まれ、内部メモリは警告装置１におけ
るデータの一時記憶などに用いられる。制御装置１０は、運転傾向解析装置２０と警告部
３０とを含む。
運転傾向解析装置２０は、エンジンが始動してから停止するまでの間、運転者ごとの運
転傾向を解析する。運転傾向解析装置２０は、運転者生体情報取得部２１と、運転者覚醒
度推定部２２と、車両挙動情報取得部２３と、運転傾向解析部２７と、履歴情報記憶部２
８と、解析情報記憶部２９とを有する。
運転者生体情報取得部２１は、エンジンが始動してから停止するまでの間、運転者の生
体情報として視線センサ２から視線情報を取得する。運転者生体情報取得部２１は、運転
者視線検出部２１１を含む。
運転者視線検出部２１１は、視線センサ２の視線検出データに基づいて、運転者の視線
を検出して、視線情報を検出結果として取得する。運転者視線検出部２１１は、検出結果
を運転者覚醒度推定部２２に出力する。
運転者覚醒度推定部２２は、運転者生体情報取得部２１が取得した生体情報に基づいて
、エンジンが始動してから停止するまでの間、運転者の覚醒度を推定する。運転者覚醒度
推定部２２は、推定した覚醒度を示す覚醒度情報を履歴として記憶部に記憶する。本実施
形態では、運転者覚醒度推定部２２は、運転者生体情報取得部２１が取得した検出結果に
基づいて、運転者の覚醒度を推定する。覚醒度は、例えば、１から５までの５段階で推定
する。覚醒度「５」は、運転者が正常な状態である。覚醒度「１」は、運転者が居眠り状
態、または、覚醒度が低く運転に支障のある状態である。覚醒度「２」「３」「４」は、
正常を示す「５」から居眠り状態を示す「１」までの間で、適宜定められる。
例えば、運転者覚醒度推定部２２は、検出した視線の移動量が少ないほど覚醒度が低く
、移動量が多いほど覚醒度が高いと推定する。運転者覚醒度推定部２２における覚醒度の
推定は、他に次の例が挙げられる。検出した視線の移動範囲が狭いほど覚醒度が低く、移
動範囲が広いほど覚醒度が高いと推定してもよい。検出した視線が、運転者が正常な状態
の視線の視点、動き、または、視線の移動量との差異が大きいほど覚醒度が低いと推定し
てもよい。車両周辺映像データに画像認識処理を行って、前方に、赤信号、渋滞、または
、歩行者など注視すべき物体が表れたときに、運転者の視線が注視すべき物体を捉えてい
ない場合、覚醒度「１」と推定してもよい。わき見、または、うつむきによって所定時間
以上継続して視線を正しく検出できていない場合、覚醒度「１」と推定してもよい。
車両挙動情報取得部２３は、エンジンが始動してから停止するまでの間、車両の挙動を
示す挙動情報を取得する。車両挙動情報取得部２３は、映像データ取得部２４と、車両挙
動導出部２５と、運転支援警告生成部２６とを有する。
映像データ取得部２４は、車両周辺映像データを取得する。より詳しくは、映像データ
取得部２４は、カメラ５が出力した映像データを取得し、取得した映像データを車両挙動
導出部２５に出力する。
車両挙動導出部２５は、エンジンが始動してから停止するまでの間、映像データ取得部
２４が取得した映像データに画像処理を行って、車両の挙動を導出する。車両挙動導出部
２５における車両の挙動の導出としては、次の例が挙げられる。急ブレーキ、車線逸脱、
前方衝突、先行車発進、または、速度異常を車両の挙動として検出する。映像データに画
像処理を行って、車両が現在走行している車線からはみ出したことを検出すると、車両の
挙動を車線逸脱と導出する。映像データに画像処理を行って、先方の車両との車間距離を
検出して、車間距離が閾値以下の状態が所定時間以上継続すると、車両の挙動を前方衝突
の危険性が高いと導出する。映像データに画像処理を行って、他車両の後方に停止したと
き、前方の他車両が発進しても自車両が停止したままであることを検出すると、車両の挙
動を先行車発進と導出する。映像データに画像処理を行って、車両の車速が走行中の道路
の法定速度を所定範囲以上逸脱した状態が所定時間以上継続していることを検出すると、
車両の挙動を速度異常と導出する。
車両挙動導出部２５は、映像データ取得部２４による映像データを用いることなく、あ
るいは映像データと併用して、車両の加速度センサおよび角速度センサなどにより車両の
挙動情報を取得し、また、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）
を介して取得したアクセル開度、ブレーキ踏込量、ステアリング操作量などの車両情報か
ら判定して、車両の挙動を導出してもよい。例えば、車両挙動導出部２５は、加速度の急
激な変化やブレーキ踏込量などから急ブレーキをかけたことを検出すると、車両の挙動を
急ブレーキと導出する。
運転支援警告生成部２６は、車両挙動導出部２５が、車両の挙動として、急ブレーキ、
車線逸脱、前方衝突、先行車発進、または、速度異常を導出した場合、運転支援警告を発
生させるための運転支援警告情報を生成する。
運転支援警告情報とは、例えば、急ブレーキ、車線逸脱、前方衝突、先行車発進、また
は、速度異常が発生したことを運転者に音声または映像などで警告するための音声情報ま
たは映像情報である。音声で警告する場合、例えば、車両の挙動ごとに異なる警告音をス
ピーカ６から出力する。映像で警告する場合、例えば、カメラ５で撮影した映像を表示す
る表示画面、または、ナビゲーションシステムの表示画面などに、撮影した映像に文字ま
たは図形を重畳させた映像を表示する。
運転傾向解析部２７は、覚醒度情報および運転支援警告情報に基づいて、運転者の覚醒
度に対応付けて、車両の挙動を示す挙動情報に対する運転支援警告の履歴を履歴情報とし
て管理する。例えば、履歴情報としては、運転支援警告の発生頻度および種類が挙げられ
る。より詳しくは、運転傾向解析部２７は、運転支援警告生成部２６が運転支援警告情報
を生成したとき、挙動情報に対応する運転支援警告の発生頻度および種類を含む情報と、
運転者覚醒度推定部２２が推定した運転者の覚醒度とを対応付けて、運転者ごとの履歴情
報として履歴情報記憶部２８に記録する。運転傾向解析部２７は、図示しない入力部から
運転者が入力した氏名、ニックネーム等の情報を用いて運転者を特定し、運転者ごとの履
歴情報と対応付けて履歴情報記憶部２８に記録してもよい。なお、運転者が入力した情報
に限らず、図示しないカメラを用いて取得した運転者の顔画像に基づく顔認識情報、図示
しないマイクを用いて取得した運転者の音声に基づく音声認識（声紋認識）、または運転
者生体情報取得部２１が取得した運転者の各種生体情報に基づく生体情報認識等によって
運転者を特定してもよい。
ここで、図３、図４を用いて、履歴情報記憶部２８の一例について説明する。図３は、
第一実施形態に係る履歴情報の一例を示す図である。図４は、第一実施形態に係る履歴情
報の他の例を示す図である。履歴情報記憶部２８は、運転者ごとに、車両の挙動を導出し
た日時と、運転支援警告の種類と、覚醒度とを履歴情報として記憶する。
例えば、図３に示すように、運転者Ａについては、前方衝突注意が、覚醒度「１」のと
きにあり、車線逸脱（右側）が、覚醒度「２」のときにあり、急ブレーキが覚醒度「２」
のときにある、というように、車両の挙動を導出した日時とともに記憶されている。
例えば、図４に示すように、運転者Ｂについては、車線逸脱（右側）が、覚醒度「１」
と覚醒度「３」のときにあり、前方衝突注意が覚醒度「２」のときにある、というように
車両の挙動を導出した日時とともに記憶されている。
また、運転傾向解析部２７は、履歴情報記憶部２８に記憶した運転者ごとの履歴情報に
基づいて、運転者ごとの運転傾向を解析して、解析情報を解析情報記憶部２９に記憶する
。運転傾向解析部２７は、覚醒度ごとに、いずれの車両の挙動に対応する運転支援警告が
多いかを運転傾向としてもよい。例えば、運転傾向解析部２７は、覚醒度が所定のレベル
以下になると、前方衝突注意の回数が著しく高まることを運転傾向としてもよい。また、
運転傾向解析部２７は、覚醒度が所定のレベル以下になると、車線逸脱が発生しやすく、
特に右側に逸脱しやすいことを運転傾向としてもよい。さらにまた、運転傾向解析部２７
は、覚醒度の変化に応じて、所定の車両の挙動が増加する、または、減少することを運転
傾向としてもよい。また、運転傾向解析部２７は、覚醒度が低くなるにつれて、急ブレー
キの発生が顕著に増加することを運転傾向としてもよい。
ここで、図５、図６を用いて、解析情報記憶部２９について説明する。図５は、第一実
施形態に係る運転傾向の解析情報の一例を示す図である。図６は、第一実施形態に係る運
転傾向の解析情報の他の例を示す図である。解析情報記憶部２９は、運転者ごとに、運転
傾向解析部２７が解析した運転傾向を解析情報として記憶する。本実施形態では、解析情
報記憶部２９は、覚醒度ごとに、いずれの車両の挙動が多いかを運転傾向の解析情報とし
て記憶する。解析情報記憶部２９は、運転者ごとに、運転者の覚醒度と、運転傾向解析部
２７が解析した運転傾向の解析情報とを対応付けて記憶する。
例えば、図５に示すように、運転傾向解析部２７は、運転者Ａについて、覚醒度「１」
のとき、（傾向Ａ１）前方衝突注意の回数が多い、（傾向Ａ２）急ブレーキの回数が多い
と解析した解析情報を記憶する。運転傾向解析部２７は、運転者Ａについて、覚醒度「２
」のとき、（傾向Ａ３）車線逸脱（右側）の回数が多いと解析した解析情報を記憶する。
運転傾向解析部２７は、運転者Ａについての解析結果である解析情報を解析情報記憶部２
９に記憶する。
例えば、図６に示すように、運転傾向解析部２７は、運転者Ｂについて、覚醒度「１」
のとき、（傾向Ｂ１）車線逸脱（右側）の回数が多いと解析した解析情報を記憶する。運
転傾向解析部２７は、運転者Ｂについて、覚醒度「２」のとき、（傾向Ｂ２）先行車発進
の回数が多いと解析した解析情報を記憶する。運転傾向解析部２７は、運転者Ｂについて
、覚醒度「３」のとき、（傾向Ｂ３）車線逸脱（右側）の回数がやや多いと解析した解析
情報を記憶する。運転傾向解析部２７は、運転者Ｂについての解析結果である解析情報を
解析情報記憶部２９に記憶する。
このような運転傾向の解析処理を、運転傾向解析部２７は、解析の実行条件を満たすと
き、実行する。より詳しくは、運転傾向解析部２７は、所定期間ごとに処理を実行しても
よい。または、運転傾向解析部２７は、警告部３０が予測警告の処理を実行する前に解析
処理を実行してもよい。
図１に戻って、警告部３０は、運転者覚醒度推定部２２が推定した覚醒度情報と、車両
挙動導出部２５が導出した挙動情報とに基づいて、事前に警告（予測警告）を行う。より
詳しくは、警告部３０は、解析情報記憶部２９に記憶した運転者ごとの解析情報と覚醒度
情報と車両の挙動情報とに基づいて、運転者ごとに、運転傾向に応じた予測警告を行う。
なお、解析情報記憶部２９に記憶した各運転者と、現在の運転者との対応付けは、運転傾
向解析部２７における運転者を特定する手段と同一の手段を用いてもよいし、異なる手段
を用いてもよい。
警告部３０における予測警告について詳しく説明する。まず、警告部３０は、運転者の
解析情報および覚醒度情報に基づいて、車両の挙動に対する運転支援警告の発生と種類と
を予測する。そして、警告部３０は、運転支援警告が発生する可能性が高いと判断した場
合、予測される運転支援警告の種類に基づいて運転者に予測警告を行う。警告部３０によ
る予測警告によって、運転支援警告の発生、言い換えると、所定の車両の挙動が発生しな
いように事前に予測警告して抑制する。警告部３０は、運転者が腕に巻き付けた振動部８
を含むリストバンドを振動させることによって、予測警告を出力してもよい。警告部３０
は、リストバンドの他にも指輪（スマートリング）、眼鏡（スマートグラス）、腕時計（
スマートウォッチ）、またはハンズフリーマイクなど、運転者が身につけるデバイス（ウ
ェアラブルデバイス）を振動させることで、予測警告を出力してもよい。
運転者Ａについて、図５に示す解析情報に基づいて、予測警告を行う場合について具体
的に説明する。警告部３０は、運転者Ａについて、覚醒度「１」であれば、前方衝突注意
、および、急ブレーキに係る運転支援警告が発生しやすいと予測する。そして、警告部３
０は、運転者Ａが覚醒度「１」であれば、前方衝突注意、および、急ブレーキの発生を抑
制するよう、運転者Ａに予測警告を行う。例えば、警告部３０は、運転者Ａに対して、「
居眠り状態です。前方車両の挙動に注意を向けてください。」という音声を出力させる音
声信号をスピーカ６に出力する。
また、警告部３０は、運転者Ａについて、覚醒度「２」であれば、車線逸脱（右側）に
係る運転支援警告が発生しやすいと予測する。そして、警告部３０は、運転者Ａが覚醒度
「２」であれば、車線逸脱（右側）の発生を抑制するよう、運転者Ａに予測警告を行う。
例えば、警告部３０は、運転者Ａに対して、「集中力が足りていません。右側への車線逸
脱に注意してください。」という音声を出力させる音声信号をスピーカ６に出力する。
また、警告部３０は、運転者Ａについて、覚醒度「３」以上であれば、問題挙動が見ら
れないので運転支援警告が発生する可能性が低いと予測し、予測警告を行わない。
運転者Ｂについて、図６に示す解析情報に基づいて、予測警告を行う場合について具体
的に説明する。警告部３０は、運転者Ｂについて、覚醒度「１」であれば、車線逸脱（右
側）に係る運転支援警告が発生しやすいと予測する。そして、警告部３０は、運転者Ｂが
覚醒度「１」であれば、車線逸脱（右側）の発生を抑制するよう、運転者Ｂに予測警告を
行う。例えば、警告部３０は、運転者Ｂに対して、「居眠り状態です。右側への車線逸脱
に注意してください。」という音声を出力させる音声信号をスピーカ６に出力する。
また、警告部３０は、運転者Ｂについて、覚醒度「２」であれば、先行車発進に係る運
転支援警告が発生しやすいと予測する。そして、警告部３０は、運転者Ｂが覚醒度「２」
であれば、先行車発進の発生を抑制するよう、運転者Ｂに予測警告を行う。例えば、警告
部３０は、運転者Ｂに対して、「信号の確認がおろそかになっています。確実に行ってく
ださい。」という音声を出力させる音声信号をスピーカ６に出力する。
また、警告部３０は、運転者Ｂについて、覚醒度「３」であれば、車線逸脱（右側）に
係る運転支援警告がやや発生しやすいと予測する。そして、警告部３０は、運転者Ｂが覚
醒度「３」であれば、車線逸脱（右側）の発生を抑制するよう、運転者Ｂに予測警告を行
う。例えば、警告部３０は、運転者Ｂに対して、「集中力が足りていません。右側への車
線逸脱に注意してください。」という音声を出力させる音声信号をスピーカ６に出力する
。
また、警告部３０は、運転者Ｂについて、覚醒度「４」以上であれば、問題挙動が見ら
れないので運転支援警告が発生する可能性が低いと予測し、予測警告を行わない。
また、警告部３０は、運転者の覚醒度情報の履歴から、運転者の覚醒度が低下する周期
を算出し、周期に基づいたタイミングで予測警告を行ってもよい。例えば、警告部３０は
、運転者の覚醒度が５分おき、１０分おきなどの所定時間周期で低下している場合、所定
時間の経過前に、予測警告を行ってもよい。
このような予測警告の処理を、警告部３０は、予測警告の実行条件を満たすとき、実行
する。より詳しくは、警告部３０は、覚醒度が所定のレベル以下になったとき、または、
覚醒度が低いときの運転傾向に含まれる車両の挙動が導出されたとき、処理を実行しても
よい。または、警告部３０は、所定時間ごとに処理を実行してもよい。または、警告部３
０は、覚醒度が低下する可能性が高いとされる所定条件を満たすとき、処理を実行しても
よい。覚醒度が低下する可能性が高いとされる所定条件とは、例えば、車両が信号がない
道路を所定速度以上で、所定時間以上継続して、または、所定距離以上継続して走行して
いるときである。または、覚醒度が低下する可能性が高いとされる所定条件とは、例えば
、車両に対する運転者のステアリング操作、ブレーキ操作、ギア操作、空調操作、または
、オーディオ操作を含む各種操作が所定時間以上継続して検出されないときである。
さらに、警告部３０は、運転者の覚醒度に応じた運転傾向による予測警告を行った後、
覚醒度の改善が見られない場合、音量を大きくして出力させる音声信号をスピーカ６に出
力してもよい。
さらにまた、警告部３０は、運転者の覚醒度に応じた運転傾向による予測警告を行った
後、覚醒度の改善が見られない場合、覚醒度がさらに低下する可能性が高いと判定して、
より低い覚醒度に対応した予測警告を行ってもよい。例えば、警告部３０は、運転者覚醒
度推定部２２が運転者Ａの覚醒度を「２」と推定して予測警告をした後、覚醒度の改善が
見られない場合、解析情報記憶部２９に基づいて、運転者Ａの覚醒度「１」の運転傾向の
解析情報を取得して、覚醒度「１」に対応する予測警告を行ってもよい。
次に、図７を用いて、警告装置１の運転傾向解析装置２０における車両の挙動を導出す
る処理の流れについて説明する。図７は、第一実施形態に係る警告装置における処理の流
れを示すフローチャートである。警告装置１の起動中、視線センサ２は、運転者の視線を
検出する。警告装置１の起動中、カメラ５は、車両周辺映像を撮影する。警告装置１の起
動中、運転傾向解析装置２０において車両の挙動が導出される。
警告装置１は、運転者生体情報を取得する（ステップＳ１０１）。より詳しくは、警告
装置１は、運転者生体情報取得部２１の運転者視線検出部２１１によって、視線センサ２
が出力した視線検出データを取得する。そして、警告装置１は、運転者視線検出部２１１
によって、視線検出データに基づいて、視線情報を検出結果として取得する。警告装置１
は、ステップＳ１０２に進む。
警告装置１は、運転者の覚醒度を推定する（ステップＳ１０２）。例えば、警告装置１
は、ステップＳ１０１の検出結果に基づいて、検出した視線の移動量が少ないほど覚醒度
が低く、移動量が多いほど覚醒度が高いと推定する。警告装置１は、ステップＳ１０３に
進む。
警告装置１は、映像データを取得する（ステップＳ１０３）。より詳しくは、警告装置
１は、映像データ取得部２４によって、カメラ５が撮影した車両周辺映像の映像データを
取得する。警告装置１は、ステップＳ１０４に進む。
警告装置１は、車両の挙動を導出する（ステップＳ１０４）。より詳しくは、警告装置
１は、車両挙動導出部２５によって、映像データ取得部２４が取得した映像データに画像
処理を行って、例えば、急ブレーキ、車線逸脱、前方衝突、先行車発進、または、速度異
常を車両の挙動として検出する。警告装置１は、ステップＳ１０５に進む。なお、ステッ
プＳ１０４の処理は、後述するステップＳ１０５にて、車両の挙動を導出する際に、映像
データ取得部２４が取得した映像データを用いずに、あるいは映像データと併用して、加
速度センサ等により車両の挙動を検出するものとしてもよい。
警告装置１は、車両の挙動を導出したかを判定する（ステップＳ１０５）。警告装置１
は、車両挙動導出部２５が車両の挙動を導出した場合（ステップＳ１０５でＹｅｓ）、ス
テップＳ１０６に進む。警告装置１は、車両挙動導出部２５が車両の挙動を導出しなかっ
た場合（ステップＳ１０５でＮｏ）、ステップＳ１０４の処理を再度実行する。
車両の挙動を導出した場合（ステップＳ１０５でＹｅｓ）、警告装置１は、運転支援警
告を生成する（ステップＳ１０６）。より詳しくは、警告装置１は、運転支援警告生成部
２６によって、運転支援警告を運転者に報知するための運転支援警告情報を生成する。警
告装置１は、ステップＳ１０７に進む。
警告装置１は、運転支援警告生成部２６によって生成された運転支援警告情報に基づい
て、運転支援警告を出力する（ステップＳ１０７）。より詳しくは、警告装置１は、車両
の挙動ごとに異なる警告音をスピーカ６から出力する。警告装置１は、ステップＳ１０８
に進む。
警告装置１は、履歴情報を記憶する（ステップＳ１０８）。より詳しくは、警告装置１
は、車両挙動情報取得部２３によって、導出された車両の挙動を示す挙動情報と、運転者
覚醒度推定部２２が推定した運転者の覚醒度とを対応付けて、運転者ごとの履歴情報とし
て履歴情報記憶部２８に記録する。
次に、図８を用いて、警告装置１における予測警告の処理の流れについて説明する。図
８は、第一実施形態に係る警告装置における処理の流れを示すフローチャートである。
警告装置１は、運転傾向の解析の実行条件を満たすかを判定する（ステップＳ１１１）
。警告装置１は、例えば、所定期間ごと、または、予測警告の処理が実行されるごとに、
実行条件を満たすと判定して（ステップＳ１１１でＹｅｓ）、ステップＳ１１２に進む。
警告装置１は、上記のいずれにも該当しない場合、実行条件を満たさないと判定して（ス
テップＳ１１１でＮｏ）、ステップＳ１１１の処理を再度実行する。
警告装置１は、履歴情報を取得する（ステップＳ１１２）。より詳しくは、警告装置１
は、運転傾向解析部２７によって、履歴情報記憶部２８から履歴情報を取得する。警告装
置１は、ステップＳ１１３に進む。
警告装置１は、運転傾向を解析する（ステップＳ１１３）。より詳しくは、警告装置１
は、運転傾向解析部２７によって、運転者ごとの履歴情報に基づいて、運転者ごとの運転
傾向を解析する。警告装置１は、ステップＳ１１４に進む。
警告装置１は、運転傾向の解析情報を記憶する（ステップＳ１１４）。より詳しくは、
警告装置１は、運転傾向解析部２７によって、運転者ごとの運転傾向の解析情報を解析情
報記憶部２９に記憶する。
次に、図９を用いて、警告装置１における予測警告の処理の流れについて説明する。図
９は、第一実施形態に係る警告装置における処理の流れを示すフローチャートである。
警告装置１は、予測警告の実行条件を満たすかを判定する（ステップＳ１２１）。警告
装置１は、例えば、覚醒度が所定のレベル以下になった場合、車両の挙動が導出された場
合、所定時間ごと、または、覚醒度が低下する可能性が高いと判定される場合、実行条件
を満たすと判定して（ステップＳ１２１でＹｅｓ）、ステップＳ１２２に進む。警告装置
１は、上記のいずれにも該当しない場合、実行条件を満たさないと判定して（ステップＳ
１２１でＮｏ）、ステップＳ１２１の処理を再度実行する。
警告装置１は、解析情報記憶部２９に記憶された解析情報を取得する（ステップＳ１２
２）。警告装置１は、ステップＳ１２３に進む。
警告装置１は、予測警告が必要かを判定する（ステップＳ１２３）。より詳しくは、警
告装置１は、運転者の現在の覚醒度について、運転支援警告が発生する可能性が高いと判
断する場合、予測警告が必要であると判定する。警告装置１は、運転者の現在の覚醒度に
ついて、解析情報として示される運転傾向が「問題挙動なし」である場合、予測警告が必
要ないと判定する。警告装置１は、警告部３０によって、運転者ごとの運転傾向の解析情
報に応じて、予測警告が必要であると判定した場合（ステップＳ１２３でＹｅｓ）、ステ
ップＳ１２４に進む。警告装置１は、警告部３０によって、運転者ごとの運転傾向の解析
情報に応じて、予測警告が必要ではないと判定した場合（ステップＳ１２３でＮｏ）、処
理を終了する。
予測警告が必要であると判定された場合（ステップＳ１２３でＹｅｓ）、警告装置１は
、予測警告を出力する（ステップＳ１２４）。より詳しくは、警告装置１は、警告部３０
によって、解析情報記憶部２９に基づく、運転者の覚醒度に応じた運転傾向の解析情報を
取得して、それに応じた予測警告を行う。
このようにして、警告装置１は、運転者ごとに、覚醒度と車両の挙動とに見られる傾向
を解析した運転傾向の解析情報を取得する。警告装置１は、覚醒度情報と車両の挙動情報
と解析情報とに基づいて、運転者ごとに、運転支援警告が発生する可能性が高いと判断す
る場合、運転傾向の解析情報に応じて予測される車両挙動について予測警告を行う。
上述したように、本実施形態は、運転者ごとに、覚醒度と車両の挙動との傾向を解析し
た運転傾向の解析情報を取得する。本実施形態は、覚醒度情報と車両の挙動情報と解析情
報とに基づいて、運転者ごとに、覚醒度の低下に起因して運転支援警告が発生する可能性
が高いと判断する場合、覚醒度に対応付けられた運転傾向の解析情報に応じて予測される
車両挙動に基づいた予測警告を行うことができる。本実施形態によれば、予測警告によっ
て、運転支援警告の発生、言い換えると、所定の車両の挙動が発生しないように事前に予
測警告して抑制することができ、車両の安全な運転の支援をすることができる。
本実施形態では、覚醒度情報と車両の挙動情報と解析情報とに基づいて、予測警告を行
うことができ、道路の状態によって各種情報を誤検出するおそれがなく、誤って予測警告
を行う可能性を低減することができる。
本実施形態では、視線センサ２を使用して高精度に視線を検出することができ、本実施
形態は、運転者の覚醒度を高精度に推定することができる。
本実施形態では、運転者ごとに、覚醒度が低下した状態における車両の挙動を解析して
、解析情報を取得することができ、解析情報によって、運転者ごとに、覚醒度が低下した
状態における車両の挙動をより正確に把握することができる。しかも、本実施形態は、解
析情報を解析情報記憶部２９に記憶することにより、解析情報を走行記録または運行記録
として管理することができる。
［第二実施形態］
図１０ないし図１２を参照しながら、本実施形態に係る警告装置１Ａについて説明する
。図１０は、第二実施形態に係る運転傾向解析装置を有する警告装置の構成例を示すブロ
ック図である。図１１は、予測警告の報知先の一例を示す図である。図１２は、第二実施
形態に係る警告装置における処理の流れを示すフローチャートである。警告装置１Ａは、
基本的な構成は第一実施形態の警告装置１と同様である。以下の説明においては、警告装
置１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省
略する。警告装置１Ａは、通信部７Ａを有し、警告部３０Ａが外部発信部３１Ａを有する
点で第一実施形態と異なる。
通信部７Ａは、有線または無線によって外部機器との間で情報の通信を行う。通信部７
Ａは、例えば外部のサーバ装置との間で予測警告を発生させるための予測警告情報と映像
データなどの送受信を行う。通信部７Ａは、インターネット、携帯電話回線、車車間通信
、路車間通信などいずれの方法で通信を行ってもよい。また通信部７Ａは、情報通信機器
と通信してもよく、情報通信機器を通じて外部のサーバ装置とデータの送受信を行っても
よい。
外部発信部３１Ａは、通信部７Ａを介して車両の外部または車両内のたとえば同乗者が
所有する情報通信機器に運転者の覚醒度情報および予測される運転支援警告を含む予測警
告情報を発信する。外部発信部３１Ａは、運転者の覚醒度情報に基づいて発信頻度を決定
する。
外部発信部３１Ａは、覚醒度を含む、外部発信の所定条件を満たすとき、報知先に車両
の外部に加えてもよい。例えば、外部発信部３１Ａは、覚醒度が低いとき、警告部３０Ａ
による運転者に対する予測警告の出力に加えて、外部の管理センタのサーバ装置に通信部
７Ａを介して予測警告情報を発信してもよい。例えば、外部発信部３１Ａは、運転者の覚
醒度に応じた運転傾向による予測警告の出力を行った後、所定の車両の挙動が見られたと
き、または、覚醒度の改善が見られないとき、警告部３０Ａによる運転者に対する予測警
告の出力に加えて、外部の管理センタのサーバ装置に通信部７Ａを介して予測警告情報を
発信してもよい。
図１１を用いて、運転者Ａについて、予測警告の報知先について詳しく説明する。例え
ば、覚醒度「２」であるとき、警告部３０Ａによって覚醒度「２」に対応する予測警告の
音声を運転者側のスピーカ６から出力する。例えば、覚醒度「１」であるとき、警告部３
０Ａによって覚醒度「１」に対応する予測警告の音声を運転者側および同乗者側のスピー
カ６から出力する。例えば、覚醒度「１」に対応する予測警告を運転者に対して行った後
、前方衝突注意または急ブレーキの車両の挙動が導出されたときは、外部発信の所定条件
を満たすとしてもよい。この場合、警告部３０Ａによって運転者に対する予測警告の音声
をスピーカ６から出力することに加えて、外部発信部３１Ａによって車両の外部、例えば
、運転者の所属する会社の管理センタ、または、保険会社の管理センタのサーバ装置に通
信部７Ａを介して予測警告情報を発信する。例えば、覚醒度「１」が所定時間以上継続し
たときは、外部発信の所定条件を満たすとしてもよい。この場合、警告部３０Ａによって
運転者に対する予測警告の音声をスピーカ６から出力することに加えて、外部発信部３１
Ａによって車両の外部、例えば、運転者の所属する会社の管理センタ、または、保険会社
の管理センタのサーバ装置に通信部７Ａを介して予測警告情報を発信してもよい。
次に、図１２を用いて、警告装置１Ａにおける予測警告の処理の流れについて説明する
。ステップＳ１３１ないしステップＳ１３３、ステップＳ１３７の処理は、図９に示すフ
ローチャートのステップＳ１２１ないしステップＳ１２３、ステップＳ１２４と同様の処
理を行う。
警告装置１Ａは、外部への予告警告情報の発信が必要かを判定する（ステップＳ１３４
）。より詳しくは、警告装置１Ａは、外部発信の所定条件を満たすとき、例えば、覚醒度
「１」であるとき、警告部３０Ａによる運転者に対する予測警告に加えて、外部発信部３
１Ａによる外部への予告警告情報の発信が必要であると判定して（ステップＳ１３４でＹ
ｅｓ）、ステップＳ１３５に進む。警告装置１Ａは、外部発信の所定条件を満たしていな
いとき、例えば、覚醒度「２」以上であるとき、外部への予告警告情報の発信が必要では
ないと判定して（ステップＳ１３４でＮｏ）、ステップＳ１３７に進む。
外部への予測警告情報の発信が必要であると判定された場合（ステップＳ１３４でＹｅ
ｓ）、警告装置１Ａは、警告部３０Ａによって、運転者に予測警告を出力する（ステップ
Ｓ１３５）。ステップＳ１３５の処理は、図９に示すフローチャートのステップＳ１２４
と同様である。警告装置１Ａは、ステップＳ１３６に進む。
警告装置１Ａは、外部発信部３１Ａによって、通信部７Ａを介して、外部のサーバ装置
に予測警告情報を発信する（ステップＳ１３６）。
このようにして、予測警告を出力する際に、外部発信の所定条件を満たすとき、外部発
信部３１Ａによって車両の外部、例えば、運転者の所属する会社の管理センタ、または、
保険会社の管理センタのサーバ装置に通信部７Ａを介して予測警告情報を発信する。
上述したように、本実施形態は、予測警告を出力する際に、外部発信の所定条件を満た
すとき、外部発信部３１Ａによって車両の外部、例えば、運転者の所属する会社の管理セ
ンタ、または、保険会社の管理センタのサーバ装置に通信部７Ａを介して予測警告情報を
発信することができる。このようにして、本実施形態によれば、車両の安全な運転の支援
をすることができる。
本実施形態では、運転者が所属する会社では、運転者ごとに、覚醒度が低下した状態、
および、予測警告が報知された状態を適切に把握することができる。本実施形態によれば
、運転者が所属する会社は、運転者ごとに適切な対応をとることが可能になる。
［第三実施形態］
図１３を参照しながら、本実施形態に係る警告装置１Ｂについて説明する。図１３は、
第三実施形態に係る運転傾向解析装置を有する警告装置の構成例を示すブロック図である
。警告装置１Ｂは、基本的な構成は第一実施形態の警告装置１と同様である。警告装置１
Ｂは、制御装置１０Ｂが自動運転情報取得部４０Ｂを備える点と、警告部３０Ｂにおける
処理が第一実施形態と異なる。
自動運転情報取得部４０Ｂは、ＣＡＮを介して、車両が自動運転またはＡＣＣ（Ａｄａ
ｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）やＬＫＡＳ（Ｌａｎｅ Ｋｅｅｐｉｎｇ
Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）などの特定の運転支援を実行中であるか否かの自
動運転情報を取得する。自動運転情報取得部４０Ｂは、取得した自動運転情報を警告部３
０Ｂに出力する。
警告部３０Ｂは、自動運転情報が自動運転または特定の運転支援を実行中であることを
示す場合、運転者ごとに予測される運転支援警告の種類に基づいて、運転者の覚醒度に依
らず、予測警告を定期的に行う。運転者ごとの運転傾向に応じた予測警告が定期的に報知
されることで、運転者の集中力を維持し、手動運転に切り替わる場合に備えることができ
る。
上述したように、本実施形態は、自動運転情報が自動運転または特定の運転支援を実行
中であることを示す場合にも、予測される運転支援警告の種類に基づいて予測警告を定期
的に行うことができる。
さて、これまで本発明に係る警告装置１（１Ａ，１Ｂ）について説明したが、上述した
実施形態以外にも種々の異なる形態にて実施されてよいものである。
図示した警告装置１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示
の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限ら
れず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機
能的または物理的に分散または統合してもよい。
例えば、カメラ５と車両挙動情報取得部２３とは、車両の周囲の映像を撮影して記録す
るドライブレコーダとして車両に設置されていてもよい。
警告装置１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラム
などによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェア
の連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロッ
クについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによ
って種々の形で実現できる。
上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。
さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない
範囲において構成の種々の省略、置換または変更が可能である。
運転者の生体情報は、視線情報であるものとして説明したが、これに限定されない。例
えば、運転者に生体センサを装着して、脳波を示す脳波情報、呼吸数を示す呼吸数情報を
取得して、覚醒度を推定してもよい。このように、運転者の様々な生体情報に基づいて、
運転者の覚醒度を推定することができる。
警告部３０は、予測警告を出力するタイミングを、予測される運転支援警告の種類に応
じて変えてもよい。例えば、警告部３０は、予測される運転支援警告が先行車発進である
とき、信号で停止したときに予測警告を出力する。例えば、警告部３０は、予測される運
転支援警告が車線逸脱であるとき、車線を逸脱しやすい道路または逸脱が多く発生した道
路を走行しているときに予測警告を出力する。これにより、効果的な予測警告を行うこと
ができる。
警告部３０は、図９に示すフローチャートのステップＳ１２３において、予測警告が必
要ではないと判定された場合であっても、覚醒度が低下傾向にあるとき、予測警告を出力
するようにしてもよい。これにより、運転支援警告が発生しないように事前に予測警告し
て抑制することができる。
警告部３０は、覚醒度情報と車両の挙動の履歴情報との少なくともどちらかに基づいて
、通常の覚醒度の変化、または、通常の車両の挙動と異なるとき、その旨を、予測警告と
合わせて、または、独立して、今日の傾向として運転者に報知するようにしてもよい。こ
れにより、車両の安全な運転の支援をすることができる。
警告部３０は、予測警告をスピーカ６から音声で出力するものとして説明したが、これ
に限定されない。例えば、警告部３０は、運転者が腕に巻き付けた振動部８を含むリスト
バンドを振動させることによって、予測警告を出力してもよい。警告部３０は、リストバ
ンドの他にも指輪（スマートリング）、眼鏡（スマートグラス）、腕時計（スマートウォ
ッチ）、またはハンズフリーマイクなど、運転者が身につけるデバイス（ウェアラブルデ
バイス）を振動させることで、予測警告を出力してもよい。これにより、効果的な予測警
告を行うことができる。
１ 警告装置
２ 視線センサ
３ 赤外カメラ
４ 赤外光照射部
５ カメラ
６ スピーカ
８ 振動部
１０ 制御装置
２０ 運転傾向解析装置
２１ 運転者生体情報取得部
２１１ 運転者視線検出部
２２ 運転者覚醒度推定部
２３ 車両挙動情報取得部
２４ 映像データ取得部
２５ 車両挙動導出部
２６ 運転支援警告生成部
２７ 運転傾向解析部
２８ 履歴情報記憶部
２９ 解析情報記憶部
３０ 警告部

Claims (10)

  1. 運転者の生体情報を取得する運転者生体情報取得部と、
    前記生体情報に基づいて運転者の覚醒度を推定する運転者覚醒度推定部と、
    車両の挙動を示す挙動情報を取得する車両挙動情報取得部と、
    前記覚醒度を示す覚醒度情報および前記挙動情報に基づいた警告を行う警告部と、
    を備えることを特徴とする警告装置。
  2. 運転者に向けて赤外線を照射する赤外光照射部、
    をさらに備え、
    前記運転者生体情報取得部は、運転者の視線を検出する運転者視線検出部、をさらに備
    える、
    請求項１に記載の警告装置。
  3. 前記車両挙動取得部は、前記挙動情報に基づいて、運転支援警告を発生させるための運
    転支援警告情報を生成する運転支援警告生成部、を備え、
    前記覚醒度情報および前記運転支援警告情報に基づいて、前記運転者の覚醒度に対応付
    けて、前記挙動情報に対する運転支援警告の履歴を履歴情報として管理し、前記履歴情報
    に基づいて前記運転者の運転傾向を解析し、解析情報を取得する運転傾向解析部、をさら
    に備え、
    前記警告部は、前記解析情報に基づいて、運転傾向に応じた警告を行う、
    請求項１または２に記載の警告装置。
  4. 前記警告部は、前記運転者の前記解析情報および前記覚醒度情報に基づいて、前記車両
    の挙動に対する運転支援警告が発生する可能性および発生する運転支援警告の種類を予測
    し、前記運転支援警告が発生する可能性が高いと判断した場合、前記予測される運転支援
    警告の種類に基づいて運転者に警告を行う、
    請求項３に記載の警告装置。
  5. 外部の機器と通信を行う通信部、
    をさらに備え、
    前記警告部は、前記通信部を介して外部に前記運転者の覚醒度情報および予測される運
    転支援警告を示す予測警告情報を発信する外部発信部、をさらに備え、
    前記外部発信部は、前記運転者の前記覚醒度情報に基づいて発信頻度を決定する、
    請求項１から４のいずれか一項に記載の警告装置。
  6. 前記警告部は、前記運転者の前記覚醒度情報の履歴から、覚醒度が低下する周期を算出
    し、前記周期に基づいたタイミングで警告を行う、
    請求項１から５のいずれか一項に記載の警告装置。
  7. 前記車両が自動運転または特定の運転支援を実行中であるか否かの自動運転情報を取得
    する自動運転情報取得部、
    をさらに備え、
    前記警告部は、前記自動運転情報が自動運転または特定の運転支援を実行中であること
    を示す場合、予測される運転支援警告の種類に基づいて警告を定期的に行う、
    請求項１から６のいずれか一項に記載の警告装置。
  8. 運転者の生体情報を取得する運転者生体情報取得部と、
    前記生体情報に基づいて運転者の覚醒度を推定する運転者覚醒度推定部と、
    車両の挙動を示す挙動情報を導出する車両挙動導出部と、
    前記挙動情報に基づいて、運転支援警告を発生させるための運転支援警告情報を生成す
    る運転支援警告生成部と、
    前記覚醒度および前記運転支援警告に基づいて、前記運転者の覚醒度に対応付けて、前
    記挙動情報に対する運転支援警告の履歴を履歴情報として管理し、前記履歴情報に基づい
    て前記運転者の運転傾向を解析し、解析情報を取得する運転傾向解析部と、
    を備えることを特徴とする運転傾向解析装置。
  9. 運転者の生体情報を取得する運転者生体情報取得ステップと、
    前記生体情報に基づいて運転者の覚醒度を推定する運転者覚醒度推定ステップと、
    車両の挙動を示す挙動情報を導出する車両挙動導出ステップと、
    前記挙動情報に基づいて、運転支援警告を発生させる運転支援警告情報を生成する運転
    支援警告生成ステップと、
    前記覚醒度および前記運転支援警告に基づいて、前記運転者の覚醒度に対応づけて、前
    記挙動情報に対する運転支援警告の履歴を履歴情報として管理し、前記履歴情報に基づい
    て前記運転者の運転傾向を解析し、解析情報を取得する運転傾向解析ステップと、
    を含む運転傾向解析方法。
  10. 運転者の生体情報を取得する運転者生体情報取得ステップと、
    前記生体情報に基づいて運転者の覚醒度を推定する運転者覚醒度推定ステップと、
    車両の挙動を示す挙動情報を導出する車両挙動導出ステップと、
    前記挙動情報に基づいて、運転支援警告を発生させる運転支援警告情報を生成する運転
    支援警告生成ステップと、
    前記覚醒度および前記運転支援警告に基づいて、前記運転者の覚醒度に対応づけて、前
    記挙動情報に対する運転支援警告の履歴を履歴情報として管理し、前記履歴情報に基づい
    て前記運転者の運転傾向を解析し、解析情報を取得する運転傾向解析ステップと、
    を運転傾向解析装置として動作するコンピュータに実行させるためのプログラム。
JP2018157328A 2018-08-24 2018-08-24 警告装置、運転傾向解析装置および運転傾向解析方法 Active JP6777124B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018157328A JP6777124B2 (ja) 2018-08-24 2018-08-24 警告装置、運転傾向解析装置および運転傾向解析方法
PCT/JP2019/028082 WO2020039801A1 (ja) 2018-08-24 2019-07-17 警告装置、運転傾向解析装置、運転傾向解析方法およびプログラム
EP19852821.8A EP3825981B1 (en) 2018-08-24 2019-07-17 Warning apparatus and driving tendency analysis device
CN201980040547.5A CN112424848B (zh) 2018-08-24 2019-07-17 警告装置以及驾驶倾向分析方法
US17/178,293 US20210197849A1 (en) 2018-08-24 2021-02-18 Warning device and driving tendency analysis method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018157328A JP6777124B2 (ja) 2018-08-24 2018-08-24 警告装置、運転傾向解析装置および運転傾向解析方法

Publications (2)

Publication Number Publication Date
JP2020030742A true JP2020030742A (ja) 2020-02-27
JP6777124B2 JP6777124B2 (ja) 2020-10-28

Family

ID=69592483

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018157328A Active JP6777124B2 (ja) 2018-08-24 2018-08-24 警告装置、運転傾向解析装置および運転傾向解析方法

Country Status (5)

Country Link
US (1) US20210197849A1 (ja)
EP (1) EP3825981B1 (ja)
JP (1) JP6777124B2 (ja)
CN (1) CN112424848B (ja)
WO (1) WO2020039801A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021171539A (ja) * 2020-04-30 2021-11-01 株式会社Subaru 乗員感情伝達装置
JP7395069B1 (ja) 2023-06-01 2023-12-08 日立Astemo株式会社 車両用制御システム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11594128B2 (en) 2019-07-23 2023-02-28 BlueOwl, LLC Non-visual outputs for a smart ring
US11984742B2 (en) 2019-07-23 2024-05-14 BlueOwl, LLC Smart ring power and charging
US11537917B1 (en) 2019-07-23 2022-12-27 BlueOwl, LLC Smart ring system for measuring driver impairment levels and using machine learning techniques to predict high risk driving behavior
US11949673B1 (en) 2019-07-23 2024-04-02 BlueOwl, LLC Gesture authentication using a smart ring
US11909238B1 (en) 2019-07-23 2024-02-20 BlueOwl, LLC Environment-integrated smart ring charger
US11537203B2 (en) 2019-07-23 2022-12-27 BlueOwl, LLC Projection system for smart ring visual output
US11853030B2 (en) 2019-07-23 2023-12-26 BlueOwl, LLC Soft smart ring and method of manufacture
US11637511B2 (en) 2019-07-23 2023-04-25 BlueOwl, LLC Harvesting energy for a smart ring via piezoelectric charging
US11551644B1 (en) * 2019-07-23 2023-01-10 BlueOwl, LLC Electronic ink display for smart ring
US11462107B1 (en) 2019-07-23 2022-10-04 BlueOwl, LLC Light emitting diodes and diode arrays for smart ring visual output
US11866037B2 (en) * 2020-03-16 2024-01-09 Toyota Motor Engineering & Manufacturing North America, Inc. Behavior-based vehicle alerts
US20230227046A1 (en) * 2022-01-14 2023-07-20 Toyota Motor North America, Inc. Mobility index determination

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004034739A (ja) * 2002-06-28 2004-02-05 Koyo Seiko Co Ltd 車両用操舵装置
JP2012164040A (ja) * 2011-02-04 2012-08-30 Nissan Motor Co Ltd 覚醒低下検出装置
JP2017146641A (ja) * 2016-02-15 2017-08-24 トヨタ自動車株式会社 動画像処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10103401A1 (de) * 2001-01-26 2002-08-01 Daimler Chrysler Ag Gefahrenabwendungssystem für ein Fahrzeug
US7609150B2 (en) * 2006-08-18 2009-10-27 Motorola, Inc. User adaptive vehicle hazard warning apparatuses and method
BR112012012635A2 (pt) * 2009-12-18 2016-07-12 Honda Motor Co Ltd sistema e método para fornecer alerta de aviso de acidente em veículo
US9007198B2 (en) * 2012-11-02 2015-04-14 Toyota Motor Engineering & Manufacturing North America, Inc. Adaptive Actuator interface for active driver warning
CN104751600B (zh) * 2015-03-03 2018-01-30 北京虹安翔宇信息科技有限公司 基于虹膜识别的防疲劳驾驶安全设备及其使用方法
US10232772B2 (en) * 2015-03-26 2019-03-19 Mitsubishi Electric Corporation Driver assistance system
CN105243799B (zh) * 2015-09-30 2018-07-27 小米科技有限责任公司 安全提醒处理方法和装置
JP2018075208A (ja) 2016-11-10 2018-05-17 パナソニックＩｐマネジメント株式会社 運転者の状態検出システムおよび状態検出方法
CN106408878A (zh) * 2016-12-16 2017-02-15 苏州清研微视电子科技有限公司 一种考虑驾驶人疲劳状态及反应能力的车辆防撞预警系统
JP6946351B2 (ja) * 2017-01-19 2021-10-06 ソニーセミコンダクタソリューションズ株式会社 車両制御装置及び車両制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004034739A (ja) * 2002-06-28 2004-02-05 Koyo Seiko Co Ltd 車両用操舵装置
JP2012164040A (ja) * 2011-02-04 2012-08-30 Nissan Motor Co Ltd 覚醒低下検出装置
JP2017146641A (ja) * 2016-02-15 2017-08-24 トヨタ自動車株式会社 動画像処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021171539A (ja) * 2020-04-30 2021-11-01 株式会社Subaru 乗員感情伝達装置
JP7436277B2 (ja) 2020-04-30 2024-02-21 株式会社Subaru 乗員感情伝達装置
JP7395069B1 (ja) 2023-06-01 2023-12-08 日立Astemo株式会社 車両用制御システム

Also Published As

Publication number Publication date
EP3825981A1 (en) 2021-05-26
EP3825981A4 (en) 2021-12-15
US20210197849A1 (en) 2021-07-01
JP6777124B2 (ja) 2020-10-28
WO2020039801A1 (ja) 2020-02-27
CN112424848B (zh) 2024-01-05
EP3825981B1 (en) 2023-08-16
CN112424848A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
WO2020039801A1 (ja) 警告装置、運転傾向解析装置、運転傾向解析方法およびプログラム
JP7032966B2 (ja) 車両安全支援装置および方法
US11420636B2 (en) Information processing device, moving apparatus, method, and program
JP7299840B2 (ja) 情報処理装置および情報処理方法
WO2019188398A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US11634145B2 (en) Systems and methods for detecting and dynamically mitigating driver fatigue
US10377303B2 (en) Management of driver and vehicle modes for semi-autonomous driving systems
JP6497915B2 (ja) 運転支援システム
US9956963B2 (en) Apparatus for assessing, predicting, and responding to driver fatigue and drowsiness levels
JP7092116B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6972629B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2015122158A1 (ja) 運転支援装置
US20230054024A1 (en) Information processing apparatus, information processing system, information processing method, and information processing program
KR20200113202A (ko) 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램
EP2942012A1 (en) Driver assistance system
EP4030326A1 (en) Information processing device, mobile device, information processing system, method, and program
CN113044043A (zh) 自主车辆控制系统和使用该系统的自主车辆控制方法
JP2017016457A (ja) 表示制御装置、投影装置、表示制御プログラム、および記録媒体
CN112292081A (zh) 用于自主车辆的乘员意识监视
US11912267B2 (en) Collision avoidance system for vehicle interactions
JP2009245147A (ja) 運転支援装置
JP7251524B2 (ja) 眠気兆候通知システム、眠気兆候通知方法、及び眠気兆候通知プログラム
WO2020188634A1 (ja) ドライバモニタリング装置、ドライバモニタリングシステムおよびドライバモニタリング方法
JP2022020742A (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
JP2018097485A (ja) 運転支援装置、運転支援方法、運転支援プログラム、及び運転支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200921

R150 Certificate of patent or registration of utility model

Ref document number: 6777124

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150