JP2019087143A - ドライバ状態検出装置 - Google Patents

ドライバ状態検出装置 Download PDF

Info

Publication number
JP2019087143A
JP2019087143A JP2017216486A JP2017216486A JP2019087143A JP 2019087143 A JP2019087143 A JP 2019087143A JP 2017216486 A JP2017216486 A JP 2017216486A JP 2017216486 A JP2017216486 A JP 2017216486A JP 2019087143 A JP2019087143 A JP 2019087143A
Authority
JP
Japan
Prior art keywords
driver
threshold range
vehicle
face
setting unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017216486A
Other languages
English (en)
Other versions
JP6915502B2 (ja
Inventor
佐藤 潤
Jun Sato
潤 佐藤
健一郎 原
Kenichiro Hara
健一郎 原
和寛 友末
Kazuhiro Tomosue
和寛 友末
純也 春日井
Junya Kasugai
純也 春日井
航一郎 山内
Koichiro Yamauchi
航一郎 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017216486A priority Critical patent/JP6915502B2/ja
Priority to US16/180,131 priority patent/US10800424B2/en
Priority to CN201811317283.7A priority patent/CN109758167B/zh
Publication of JP2019087143A publication Critical patent/JP2019087143A/ja
Application granted granted Critical
Publication of JP6915502B2 publication Critical patent/JP6915502B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Ophthalmology & Optometry (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】ドライバが脇見をしていると誤判定することを抑制する。【解決手段】ドライバ状態検出装置1、1’は、車両80のドライバの顔を撮影してドライバの顔画像を生成するドライバモニタカメラ10と、顔画像に基づいてドライバの顔向き又は視線を検出する顔情報検出部21と、ドライバの顔向き又は視線として許容される閾値範囲を設定する閾値範囲設定部22と、ドライバの顔向き又は視線が所定時間以上閾値範囲外に維持された場合にドライバが脇見をしていると判定するドライバ状態判定部23と、車両の進行方向において車両から所定距離だけ前方の道路形状を判別する道路判別部24とを備える。閾値範囲設定部は、道路判別部によって判別された道路形状に応じて閾値範囲を拡張する。【選択図】図3

Description

本発明はドライバ状態検出装置に関する。
従来、車両に設けられた撮像手段を用いて脇見等のドライバ状態を検出するための装置が知られている。例えば、特許文献1に記載の脇見判定装置では、撮像手段によって出力されたドライバの顔画像からドライバの視線を検出し、検出された視線が所定範囲外にある場合にドライバが脇見をしていると判定される。また、車両がカーブを通過する際には、上記所定範囲がカーブ方向に所定量だけ変位させられる。
特開2012−058769号公報
ドライバは安全確認のために車両の進行方向だけでなく周囲の他車両も目視する必要がある。しかしながら、カーブにおいて脇見判定のための閾値範囲をカーブ方向に変位させると、カーブ進入時にドライバが周囲の他車両を目視した場合に、ドライバが脇見をしていると判定されるおそれがある。
また、車両の進行方向前方に坂がある場合には、ドライバは前方確認のために坂の勾配に応じた方向を目視する。このとき、閾値範囲が維持されていると、前方確認のための目視が脇見と判定されるおそれがある。
上記課題に鑑みて、本発明の目的は、ドライバが脇見をしていると誤判定することを抑制することにある。
本開示の要旨は以下のとおりである。
(1)車両のドライバの顔を撮影して該ドライバの顔画像を生成するドライバモニタカメラと、前記顔画像に基づいて前記ドライバの顔向き又は視線を検出する顔情報検出部と、前記ドライバの顔向き又は視線として許容される閾値範囲を設定する閾値範囲設定部と、前記ドライバの顔向き又は視線が所定時間以上前記閾値範囲外に維持された場合に前記ドライバが脇見をしていると判定するドライバ状態判定部と、前記車両の進行方向において該車両から所定距離だけ前方の道路形状を判別する道路判別部とを備え、前記閾値範囲設定部は、前記道路判別部によって判別された前記道路形状に応じて前記閾値範囲を拡張する、ドライバ状態検出装置。
(2)前記閾値範囲設定部は、前記道路判別部によって判別された前記道路形状がカーブである場合、該カーブの方向に前記閾値範囲を所定量だけ拡張する、上記(1)に記載のドライバ状態検出装置。
(3)前記閾値範囲設定部は、前記カーブの曲率半径が相対的に小さい場合に、該曲率半径が相対的に大きい場合に比べて前記所定量を大きくする、上記(2)に記載のドライバ状態検出装置。
(4)前記閾値範囲設定部は、前記道路判別部によって判別された前記道路形状が坂である場合、該坂の勾配方向に前記閾値範囲を所定量だけ拡張する、上記(1)から(3)のいずれか1つに記載のドライバ状態検出装置。
(5)前記閾値範囲設定部は、前記坂の勾配が相対的に大きい場合に、該勾配が相対的に小さい場合に比べて前記所定量を大きくする、上記(4)に記載のドライバ状態検出装置。
(6)前記車両の進行方向に他車線を走行する先行車両と前記車両との相対的な位置関係を検出する位置検出部を更に備え、前記閾値範囲設定部は、前記位置検出部によって検出された前記相対的な位置関係に基づいて前記閾値範囲を所定量だけ拡張する、上記(1)から(5)のいずれか1つに記載のドライバ状態検出装置。
(7)前記閾値範囲設定部は、前記車両から見た前記先行車両の方向と前記車両の進行方向とが成す角度が相対的に大きい場合に、該角度が相対的に小さい場合に比べて前記所定量を大きくする、上記(6)に記載のドライバ状態検出装置。
(8)前記閾値範囲設定部は、前記車両と前記先行車両との相対距離が相対的に短い場合に、該相対距離が相対的に長い場合に比べて前記所定量を大きくする、上記(6)に記載のドライバ状態検出装置。
本発明によれば、ドライバが脇見をしていると誤判定することを抑制することができる。
図1は、本発明の第一実施形態に係るドライバ状態検出装置の構成を示すブロック図である。 図2は、ドライバ状態検出装置を搭載した車両の内部を概略的に示す図である。 図3は、第一実施形態における閾値範囲設定処理の制御ルーチンを示すフローチャートである。 図4は、カーブの曲率半径と所定量との関係を示すマップである。 図5は、坂の勾配と所定量との関係を示すマップである。 図6は、第一実施形態におけるドライバ状態判定処理の制御ルーチンを示すフローチャートである。 図7は、自車両と先行車両との位置関係の一例を示す図である。 図8は、本発明の第二実施形態に係るドライバ状態検出装置の構成を示すブロック図である。 図9は、第二実施形態における閾値範囲設定処理の制御ルーチンを示すフローチャートである。 図10は、車両から見た先行車両の方向と車両の進行方向とが成す角度と所定量との関係を示すマップである。 図11は、車両と先行車両との相対距離と所定量との関係を示すマップである。
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。
<第一実施形態>
以下、図1〜図6を参照して、本発明の第一実施形態について説明する。図1は、本発明の第一実施形態に係るドライバ状態検出装置の構成を示すブロック図である。ドライバ状態検出装置1は、車両に搭載され、車両のドライバの状態を検出する。ドライバ状態検出装置1はドライバモニタカメラ10及び電子制御ユニット(ECU)20を備える。
図2は、ドライバ状態検出装置を搭載した車両の内部を概略的に示す図である。ドライバモニタカメラ10は車両80(自車両)のドライバの顔を撮影してドライバの顔画像を生成する。ドライバモニタカメラ10は車両80の内部に設けられる。具体的には、図2に示すように、ドライバモニタカメラ10は車両80のステアリングコラム81の上部に設けられる。図2には、ドライバモニタカメラ10の投影範囲が破線で示されている。なお、ドライバモニタカメラ10は、車両80のステアリング82、ルームミラー、メータパネル、メータフード等に設けられてもよい。また、ドライバ状態検出装置1は複数のドライバモニタカメラ10を備えていてもよい。
ドライバモニタカメラ10はカメラ及び投光器から構成される。例えば、カメラはCMOS(相補型金属酸化膜半導体)カメラ又はCCD(電荷結合素子)カメラであり、投光器はLED(発光ダイオード)である。また、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影できるように、好ましくは、投光器は近赤外LEDである。例えば、投光器は、カメラの両側に配置された二個の近赤外LEDである。また、カメラには可視光カットフィルタのようなフィルタが設けられてもよい。ドライバモニタカメラ10によって生成されたドライバの顔画像はドライバモニタカメラ10からECU20に送信される。
ECU20は、読み出し専用メモリ(ROM)及びランダムアクセスメモリ(RAM)のようなメモリ、中央演算装置(CPU)、入力ポート、出力ポート、通信モジュール等を備えたマイクロコンピュータである。本実施形態では、一つのECU20が設けられているが、機能毎に複数のECUが設けられていてもよい。ECU20は、顔情報検出部21、閾値範囲設定部22、ドライバ状態判定部23及び道路判別部24を有する。
顔情報検出部21はドライバの顔情報を検出する。具体的には、顔情報検出部21は、ドライバモニタカメラ10によって生成されたドライバの顔画像に基づいてドライバの顔向き又は視線を検出する。
顔情報検出部21は、例えば、以下の方法によってドライバの顔向きを検出する。顔情報検出部21は、ドライバが正面を向いているときの顔形状データを予め記憶している。顔形状データは、一般的な人間の顔のデータであっても、ドライバ毎に取得されてもよい。顔形状データはECU20のメモリに記憶される。顔情報検出部21は、生成されたドライバの顔画像と、顔形状データとのマッチングを行う。顔情報検出部21は、両者の一致率が最大となるようにドライバの顔画像を回転させ、一致率が最大となるときの回転角度からドライバの顔向きを検出する。
また、顔情報検出部21は以下の方法によってドライバの顔向きを検出してもよい。顔情報検出部21は、ドライバの顔向きが異なる複数の顔形状データを予め記憶している。顔形状データは、一般的な人間の顔のデータであっても、ドライバ毎に取得されてもよい。顔形状データはECU20のメモリに記憶される。顔情報検出部21は、生成されたドライバの顔画像と、複数の顔形状データとのマッチングを行う。顔情報検出部21は、両者の一致率が最大となる顔形状データの顔向きをドライバの顔向きとして検出する。また、顔情報検出部21は、特開2000−976762号公報又は特開2003−44853号公報に記載されたような他の公知の手法によってドライバの顔向きを検出してもよい。
顔情報検出部21は、例えば、以下の方法によってドライバの視線を検出する。顔情報検出部21は、生成されたドライバの顔画像から顔領域を特定し、眼、鼻、口等の顔部品の特徴点を抽出することによって顔部品を検出する。さらに、顔情報検出部21は、プルキニエ像(角膜反射像)の位置と瞳孔中心の位置とを検出し、プルキニエ像と瞳孔中心との位置関係に基づいてドライバの視線を検出する。なお、顔情報検出部21は、プルキニエ像と瞳孔中心との位置関係と、検出されたドライバの顔向きとに基づいてドライバの視線を検出してもよい。
閾値範囲設定部22は、ドライバの顔向き又は視線として許容される閾値範囲を設定する。閾値範囲は左右方向(ヨー方向)だけでなく上下方向(ピッチ方向)にも設定される。人間の眼には有効視野が存在するため、ドライバが右側を向いているときには左側の視野が狭くなり、ドライバが左側を向いているときには右側の視野が狭くなる。したがって、ドライバが左右両方の広い範囲を監視するためには、ドライバはできるだけ正面を向いている必要がある。
このため、閾値範囲は、通常、0°を中心とした所定範囲(例えば、左右方向±15°、上下方向±15°)に設定される。しかしながら、車両80が走行している道路形状に応じて、安全確認のためにドライバが見るべき方向が変化する。例えば、車両80の進行方向前方にカーブがある場合には、ドライバは、進路上の安全を確認するために、視線及び顔向きを正面からずらしてカーブの先を見る必要がある。また、車両80の進行方向前方に坂がある場合には、ドライバは、進路上の安全を確認するために、視線及び顔向きを正面からずらして坂の先を見る必要がある。
このため、閾値範囲が上記所定範囲に維持されると、ドライバが安全確認を行っているにも拘わらず、ドライバが脇見をしていると判定され、ドライバに警報が与えられるおそれがある。また、閾値範囲をカーブ方向又は坂の勾配方向に変位させると、カーブ又は坂の進入時にドライバが周囲の他車両を目視した場合に、ドライバが脇見をしていると判定され、ドライバに警報が与えられるおそれがある。このため、本実施形態では、閾値範囲設定部22は、車両80の進行方向において車両80から所定距離だけ前方の道路形状に応じて閾値範囲を拡張する。このことによって、ドライバが脇見をしていると誤判定することを抑制することができる。
例えば、閾値範囲設定部22は、道路形状がカーブである場合、カーブの方向に閾値範囲を所定量だけ拡張する。所定量は、予め定められた値である。なお、閾値範囲設定部22は、カーブの曲率半径に基づいて所定量を設定してもよい。カーブの曲率半径が小さいほど、カーブの曲がり具合がきつくなるため、ドライバの顔向き及び視線の移動量は多くなる。このため、閾値範囲設定部22は、カーブの曲率半径が相対的に小さい場合に、カーブの曲率半径が相対的に大きい場合に比べて上記所定量を大きくしてもよい。このことによって、閾値範囲がカーブの曲率半径に応じた値に設定されるため、カーブ進入時にドライバが脇見をしていると誤判定することをより一層抑制することができる。
また、閾値範囲設定部22は、道路形状が坂である場合、坂の勾配方向に閾値範囲を所定量だけ拡張する。所定量は、予め定められた値である。なお、閾値範囲設定部22は、坂の勾配に基づいて所定量を設定してもよい。坂の勾配が大きいほど、ドライバの顔向き及び視線の移動量は多くなる。このため、閾値範囲設定部22は、坂の勾配が相対的に大きい場合に、坂の勾配が相対的に小さい場合に比べて上記所定量を大きくしてもよい。このことによって、閾値範囲が坂の勾配に応じた値に設定されるため、坂進入時にドライバが脇見をしていると誤判定することをより一層抑制することができる。
道路形状の判別は道路判別部24によって行われる。道路判別部24は、車両80の進行方向において車両80から所定距離だけ前方の道路形状を判別する。
車両80にはナビゲーション装置40が設けられ、ナビゲーション装置40に記憶された情報はECU20に送信される。ナビゲーション装置40は、GPS受信機を有し、GPS受信機によって車両80の現在位置を検出する。また、ナビゲーション装置40は地図情報を記憶している。地図情報には、道路の位置情報、道路の形状情報(例えばカーブと直線部との種別、カーブの曲率半径、道路勾配等)、合流地点、分流地点等の位置情報、道路種別等の情報等が含まれる。
道路判別部24は、ナビゲーション装置40から取得した道路情報に基づいて道路形状を判別する。なお、道路判別部24は、車両80の外部から受信した道路情報に基づいて道路形状を判別してもよい。例えば、道路判別部24は、車両80の外部のデータセンタとの通信、車両80と他車両との間の車車間通信、路側機を介した路車間通信等によって道路情報を受信してもよい。
ドライバ状態判定部23はドライバの状態を判定する。具体的には、ドライバ状態判定部23は、ドライバの顔向き又は視線が閾値時間以上閾値範囲外に維持された場合に、ドライバが脇見をしていると判定する。
ドライバ状態判定部23は、ドライバが脇見をしていると判定した場合には、ドライバに警報を与える。例えば、ドライバ状態判定部23はヒューマン・マシン・インターフェース(Human Machine Interface(HMI))30を介して視覚的又は聴覚的にドライバに警報を与える。HMI30は、ドライバと車両80との間で情報の入出力を行うためのインターフェイスである。HMI30は、例えば、文字又は画像情報を表示するディスプレイ、音を発生させるスピーカ、ドライバが入力操作を行うための操作ボタン、タッチパネル、マイク等から構成される。
<閾値範囲設定処理>
以下、図3及び図4のフローチャートを参照して、ドライバ状態検出装置1を用いてドライバの脇見を検出するための制御について詳細に説明する。図3は、第一実施形態における閾値範囲設定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはECU20によって所定の時間間隔で繰り返し実行される。本制御ルーチンでは、顔向き又は視線の閾値範囲が設定される。
最初に、ステップS101において、道路判別部24は、車両80の進行方向において車両80から所定距離だけ前方の道路情報をナビゲーション装置40又は車両80の外部から取得する。所定距離は例えば100〜800mである。また、所定距離は、車両80が所定時間(例えば1〜5秒)後に到達する距離であってもよい。
次いで、ステップS102において、道路判別部24は、ステップS101において取得した道路情報に基づいて、車両80の進行方向において車両80から所定距離だけ前方の道路形状がカーブであるか否かを判定する。道路形状がカーブであると判定された場合、本制御ルーチンはステップS103に進む。
ステップS103では、閾値範囲設定部22は左右方向の閾値範囲を所定量だけ拡張する。所定量は、予め定められた値である。カーブの方向が右である場合には、右側(プラス側)の閾値範囲が拡張される。すなわち、左右方向の閾値範囲の上限値が大きくされる(例えば+15°から+45°へ変更)。一方、カーブの方向が左である場合には、左側(マイナス側)の閾値範囲が拡張される。すなわち、左右方向の閾値範囲の下限値が小さくされる(例えば−15°から−45°へ変更)。ステップS103の後、本制御ルーチンは終了する。
一方、ステップS102において道路形状がカーブでないと判定された場合、本制御ルーチンはステップS104に進む。ステップS104では、道路判別部24は、ステップS101において取得した道路情報に基づいて、車両80の進行方向において車両80から所定距離だけ前方の道路形状が坂であるか否かを判定する。道路形状が坂であると判定された場合、本制御ルーチンはステップS105に進む。
ステップS105では、閾値範囲設定部22は上下方向の閾値範囲を所定量だけ拡張する。所定量は、予め定められた値である。坂の勾配方向が上である場合、すなわち道路形状が上り坂である場合には、上側(プラス側)の閾値範囲が拡張される。すなわち、上下方向の閾値範囲の上限値が大きくされる(例えば+15°から+45°へ変更)。一方、坂の勾配方向が下である場合、すなわち道路形状が下り坂である場合には、下側(マイナス側)の閾値範囲が拡張される。すなわち、上下方向の閾値範囲の下限値が小さくされる(例えば−15°から−45°へ変更)。ステップS105の後、本制御ルーチンは終了する。
一方、ステップS104において道路形状が坂でないと判定された場合、本制御ルーチンはステップS106に進む。ステップS106では、閾値範囲設定部22は閾値範囲を初期化する。すなわち、閾値範囲が、拡張前の元の値に戻され、0°を中心とした所定範囲(例えば、左右方向±15°、上下方向±15°)に設定される。ステップS106の後、本制御ルーチンは終了する。
なお、閾値範囲設定部22は、ステップS103において左右方向の閾値範囲を所定量だけ拡張するとき、図4に示したようなマップを用いて所定量を設定してもよい。このマップでは、所定量がカーブの曲率半径の関数として示される。所定量は曲率半径が小さくなるにつれて線形的に大きくされる。なお、所定量は、図4に破線で示したように、曲率半径が小さくなるにつれて段階的(ステップ状)に大きくされてもよい。
また、閾値範囲設定部22は、ステップS105において上下方向の閾値範囲を所定量だけ拡張するとき、図5に示したようなマップを用いて所定量を設定してもよい。このマップでは、所定量が坂の勾配の関数として示される。所定量は坂の勾配が大きくなるにつれて線形的に大きくされる。なお、所定量は、図5に破線で示したように、坂の勾配が大きくなるにつれて段階的(ステップ状)に大きくされてもよい。
また、ステップS102及びステップS103又はステップS104及びステップS105は省略されてもよい。
<ドライバ状態判定処理>
図6は、第一実施形態におけるドライバ状態判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはECU20によって所定の時間間隔で繰り返し実行される。本制御ルーチンでは、ドライバが脇見をしているか否かが判定される。
最初に、ステップS201において、顔情報検出部21はドライバモニタカメラ10からドライバの顔画像を取得する。ドライバの顔画像はドライバモニタカメラ10によって生成される。
次いで、ステップS202において、顔情報検出部21はドライバの顔画像に基づいてドライバの顔向き又は視線を検出する。例えば、ドライバの顔向き又は視線は、上述したいずれかの方法によって検出される。
次いで、ステップS203において、ドライバ状態判定部23はドライバの顔向き又は視線が閾値範囲内であるか否かを判定する。閾値範囲は図3の制御ルーチンにおいて閾値範囲設定部22によって設定される。ドライバの顔向き又は視線が閾値範囲内であると判定された場合、本制御ルーチンはステップS208に進む。ステップS208では、ドライバ状態判定部23は積算時間ETをゼロにリセットする。ステップS208の後、本制御ルーチンは終了する。
一方、ステップS203において顔向き又は視線が閾値範囲外であると判定された場合、本制御ルーチンはステップS204に進む。ステップS204では、ドライバ状態判定部23は積算時間ETを更新する。具体的には、積算時間ETに微小時間Δtを加算した値が新たな積算時間ETとされる。積算時間ETは、ドライバの顔向き又は視線が閾値範囲外に維持された時間である。積算時間ETの初期値はゼロである。また、微小時間Δtは本制御ルーチンの実行間隔に相当する値である。
次いで、ステップS205において、ドライバ状態判定部23は積算時間ETが閾値時間Tref以上であるか否かを判定する。閾値時間Trefは、予め定められ、例えば1〜5秒である。積算時間ETが閾値時間Tref未満であると判定された場合、本制御ルーチンは終了する。
一方、積算時間ETが閾値時間Tref以上であると判定された場合、本制御ルーチンはステップS206に進む。ステップS206では、ドライバ状態判定部23は、ドライバが脇見をしていると判定する。次いで、ステップS207では、ドライバ状態判定部23はHMI30を介してドライバに警報を与える。次いで、ステップS208では、ドライバ状態判定部23は積算時間ETをゼロにリセットする。ステップS208の後、本制御ルーチンは終了する。
<第二実施形態>
第二実施形態に係るドライバ状態検出装置の構成及び制御は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ状態検出装置の構成及び制御と同様である。このため、以下、本発明の第二実施形態について、第一実施形態と異なる部分を中心に説明する。
図7は、自車両と先行車両との位置関係の一例を示す図である。車両80(自車両)の進行方向に他車線を走行する先行車両90が存在する場合、先行車両90が車線変更等を行う可能性があるため、ドライバは先行車両90を監視する必要がある。しかしながら、顔向き又は視線の閾値範囲が所定範囲に維持されると、ドライバが先行車両90を監視しているにも拘わらず、ドライバが脇見をしていると判定され、ドライバに警報が与えられるおそれがある。このため、第二実施形態では、車両80の進行方向に他車線を走行する先行車両90と車両80との相対的な位置関係に基づいて閾値範囲を所定量だけ拡張する。
図8は、本発明の第二実施形態に係るドライバ状態検出装置の構成を示すブロック図である。ドライバ状態検出装置1’はドライバモニタカメラ10及び電子制御ユニット(ECU)20を備える。ECU20は、顔情報検出部21、閾値範囲設定部22、ドライバ状態判定部23、道路判別部24及び位置検出部25を有する。また、車両80には、HMI30、ナビゲーション装置40及び他車両検出装置50が設けられている。
他車両検出装置50は車両80の周囲の他車両を検出する。他車両検出装置50は、例えば、ミリ波レーダ、レーザレーダ、ステレオカメラ等の少なくとも一つである。他車両検出装置50の出力はECU20に送信される。位置検出部25は、他車両検出装置50の出力に基づいて、車両80の進行方向に他車線を走行する先行車両90と車両80との相対的な位置関係を検出する。
閾値範囲設定部22は、位置検出部25によって検出された先行車両90と車両80との相対的な位置関係に基づいて閾値範囲を所定量だけ拡張する。このことによって、閾値範囲が先行車両90と車両80との相対的な位置関係に応じた値に設定されるため、先行車両90の監視時にドライバが脇見をしていると誤判定することを抑制することができる。
例えば、閾値範囲設定部22は、車両80から見た先行車両90の方向Xと車両80の進行方向Yとが成す角度αが相対的に大きい場合に、角度αが相対的に小さい場合に比べて上記所定量を大きくする。なお、方向Xは、車両80から目視可能な先行車両90の任意の点と車両80の運転席近傍の点とを結ぶ直線である。位置検出部25は他車両検出装置50の出力に基づいて角度αを算出する。
また、基本的に、車両80と先行車両90との相対距離が短いほど、角度αが大きくなる。このため、閾値範囲設定部22は、車両80と先行車両90との相対距離が相対的に短い場合に、相対距離が相対的に長い場合に比べて上記所定量を大きくしてもよい。
<閾値範囲設定処理>
図9は、第二実施形態における閾値範囲設定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはECU20によって所定の時間間隔で繰り返し実行される。本制御ルーチンでは、顔向き又は視線の閾値範囲が設定される。
最初に、ステップS301において、位置検出部25は、先行車両90が検出されたか否かを判定する。先行車両90が検出されたと判定された場合、本制御ルーチンはステップS302に進む。ステップS302では、閾値範囲設定部22は左右方向の閾値範囲を所定量だけ拡張する。閾値範囲設定部22は、図10に示したようなマップを用いて所定量を設定する。このマップでは、所定量が角度αの関数として示される。所定量は角度αが大きくなるにつれて線形的に大きくされる。なお、所定量は、図10に破線で示したように、角度αが大きくなるにつれて段階的(ステップ状)に大きくされてもよい。
また、閾値範囲設定部22は、図11に示したようなマップを用いて所定量を設定してもよい。このマップでは、所定量が車両80と先行車両90との相対距離の関数として示される。所定量は相対距離が短くなるにつれて線形的に大きくされる。なお、所定量は、図11に破線で示したように、相対距離が短くなるにつれて段階的(ステップ状)に大きくされてもよい。
ステップS302の後、本制御ルーチンはステップS303に進む。一方、ステップS301において先行車両90が検出されなかったと判定された場合、本制御ルーチンはステップS302をスキップしてステップS303に進む。ステップS303〜ステップS308は、図3のステップS101〜ステップS106と同様であることから説明を省略する。
なお、第二実施形態においても、第一実施形態と同様に図6のドライバ状態判定処理の制御ルーチンが実行される。
以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。
1、1’ ドライバ状態検出装置
10 ドライバモニタカメラ
20 電子制御ユニット(ECU)
21 顔情報検出部
22 閾値範囲設定部
23 ドライバ状態判定部
24 道路判別部
25 位置検出部
80 車両

Claims (8)

  1. 車両のドライバの顔を撮影して該ドライバの顔画像を生成するドライバモニタカメラと、
    前記顔画像に基づいて前記ドライバの顔向き又は視線を検出する顔情報検出部と、
    前記ドライバの顔向き又は視線として許容される閾値範囲を設定する閾値範囲設定部と、
    前記ドライバの顔向き又は視線が所定時間以上前記閾値範囲外に維持された場合に前記ドライバが脇見をしていると判定するドライバ状態判定部と、
    前記車両の進行方向において該車両から所定距離だけ前方の道路形状を判別する道路判別部と
    を備え、
    前記閾値範囲設定部は、前記道路判別部によって判別された前記道路形状に応じて前記閾値範囲を拡張する、ドライバ状態検出装置。
  2. 前記閾値範囲設定部は、前記道路判別部によって判別された前記道路形状がカーブである場合、該カーブの方向に前記閾値範囲を所定量だけ拡張する、請求項1に記載のドライバ状態検出装置。
  3. 前記閾値範囲設定部は、前記カーブの曲率半径が相対的に小さい場合に、該曲率半径が相対的に大きい場合に比べて前記所定量を大きくする、請求項2に記載のドライバ状態検出装置。
  4. 前記閾値範囲設定部は、前記道路判別部によって判別された前記道路形状が坂である場合、該坂の勾配方向に前記閾値範囲を所定量だけ拡張する、請求項1から3のいずれか1項に記載のドライバ状態検出装置。
  5. 前記閾値範囲設定部は、前記坂の勾配が相対的に大きい場合に、該勾配が相対的に小さい場合に比べて前記所定量を大きくする、請求項4に記載のドライバ状態検出装置。
  6. 前記車両の進行方向に他車線を走行する先行車両と前記車両との相対的な位置関係を検出する位置検出部を更に備え、
    前記閾値範囲設定部は、前記位置検出部によって検出された前記相対的な位置関係に基づいて前記閾値範囲を所定量だけ拡張する、請求項1から5のいずれか1項に記載のドライバ状態検出装置。
  7. 前記閾値範囲設定部は、前記車両から見た前記先行車両の方向と前記車両の進行方向とが成す角度が相対的に大きい場合に、該角度が相対的に小さい場合に比べて前記所定量を大きくする、請求項6に記載のドライバ状態検出装置。
  8. 前記閾値範囲設定部は、前記車両と前記先行車両との相対距離が相対的に短い場合に、該相対距離が相対的に長い場合に比べて前記所定量を大きくする、請求項6に記載のドライバ状態検出装置。
JP2017216486A 2017-11-09 2017-11-09 ドライバ状態検出装置 Active JP6915502B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017216486A JP6915502B2 (ja) 2017-11-09 2017-11-09 ドライバ状態検出装置
US16/180,131 US10800424B2 (en) 2017-11-09 2018-11-05 Driver condition detection system
CN201811317283.7A CN109758167B (zh) 2017-11-09 2018-11-07 驾驶员状态检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017216486A JP6915502B2 (ja) 2017-11-09 2017-11-09 ドライバ状態検出装置

Publications (2)

Publication Number Publication Date
JP2019087143A true JP2019087143A (ja) 2019-06-06
JP6915502B2 JP6915502B2 (ja) 2021-08-04

Family

ID=66326670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017216486A Active JP6915502B2 (ja) 2017-11-09 2017-11-09 ドライバ状態検出装置

Country Status (3)

Country Link
US (1) US10800424B2 (ja)
JP (1) JP6915502B2 (ja)
CN (1) CN109758167B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197786A (zh) * 2023-11-02 2023-12-08 安徽蔚来智驾科技有限公司 驾驶行为检测方法、控制装置及存储介质
EP4403396A1 (en) 2023-01-20 2024-07-24 Toyota Jidosha Kabushiki Kaisha Driver state detection device

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6627787B2 (ja) * 2017-01-17 2020-01-08 トヨタ自動車株式会社 ドライバ状態検出装置
JP6693427B2 (ja) * 2017-01-18 2020-05-13 トヨタ自動車株式会社 ドライバ状態検出装置
JP6809262B2 (ja) 2017-02-08 2021-01-06 トヨタ自動車株式会社 ドライバ状態検出装置
JP7020215B2 (ja) * 2018-03-19 2022-02-16 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
JP6844568B2 (ja) * 2018-03-27 2021-03-17 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
JP6973298B2 (ja) * 2018-05-31 2021-11-24 トヨタ自動車株式会社 物体監視装置
US20190367038A1 (en) * 2018-06-04 2019-12-05 Sharp Kabushiki Kaisha Driver monitoring device
JP2021002182A (ja) * 2019-06-21 2021-01-07 矢崎総業株式会社 車両警報システム
JP7309480B2 (ja) * 2019-06-27 2023-07-18 フォルシアクラリオン・エレクトロニクス株式会社 車載装置、及び車載装置の制御方法
US11429185B2 (en) * 2019-09-19 2022-08-30 GM Global Technology Operations LLC Apparatus and method for assessing occupant gazes
CN110909718B (zh) * 2019-12-11 2024-04-19 深圳市锐明技术股份有限公司 驾驶状态识别方法、装置及车辆
JP7342743B2 (ja) * 2020-03-11 2023-09-12 いすゞ自動車株式会社 安全運転判定装置
JP7342744B2 (ja) 2020-03-11 2023-09-12 いすゞ自動車株式会社 安全運転判定装置
JP2021144505A (ja) * 2020-03-12 2021-09-24 パナソニックIpマネジメント株式会社 推定装置および推定方法
CN111583609A (zh) * 2020-04-20 2020-08-25 惠州市德赛西威智能交通技术研究院有限公司 一种预警策略差异化设置方法
CN111731311B (zh) * 2020-05-29 2023-04-07 阿波罗智联(北京)科技有限公司 车机行驶的安全控制方法、装置、设备以及存储介质
JP7302534B2 (ja) * 2020-06-01 2023-07-04 トヨタ自動車株式会社 状態判定装置および状態判定方法
US11654921B2 (en) * 2020-11-10 2023-05-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for limiting driver distraction
CN112668553B (zh) * 2021-01-18 2022-05-13 东莞先知大数据有限公司 一种司机间断瞭望行为检测方法、装置、介质及设备
DE102021104917A1 (de) 2021-03-02 2022-09-08 Bayerische Motoren Werke Aktiengesellschaft Fahrerüberwachungssystem für kraftfahrzeug
US20240034332A1 (en) * 2022-07-29 2024-02-01 Motorola Mobility Llc Driving condition detection and indication to a remote device during a communication session
CN115447600B (zh) * 2022-11-08 2023-05-16 蔚来汽车科技(安徽)有限公司 基于深度学习的车辆防拥堵方法、控制器和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0796768A (ja) * 1993-09-27 1995-04-11 Nissan Motor Co Ltd 前方注視度検知装置
JP2010257293A (ja) * 2009-04-27 2010-11-11 Toyota Motor Corp ドライバ状態監視装置及び車両制御装置
JP2012058769A (ja) * 2010-09-03 2012-03-22 Honda Motor Co Ltd 脇見判定装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0660290B1 (en) * 1993-12-27 2000-07-12 Nissan Motor Co., Ltd. Apparatus and method for navigating vehicle to destination using display unit
CN100398065C (zh) * 2002-10-15 2008-07-02 沃尔沃技术公司 解释对象的头部和眼睛活动的方法和装置
BRPI0411056A (pt) * 2003-06-06 2007-04-17 Volvo Technology Corp método e disposição para controlar subsistemas veiculares baseados na atividade interpretativa do condutor
BRPI0712837B8 (pt) * 2006-06-11 2021-06-22 Volvo Tech Corporation método para determinação e análise de uma localização de interesse visual
WO2008136456A1 (ja) * 2007-05-02 2008-11-13 Toyota Jidosha Kabushiki Kaisha 車両挙動制御装置
TWI334517B (en) * 2007-08-30 2010-12-11 Ind Tech Res Inst Method for predicting lane line and lane departure warning system using the same
CA2649731C (en) * 2008-11-05 2015-07-21 The George Washington University An unobtrusive driver drowsiness detection method
WO2011125166A1 (ja) * 2010-04-05 2011-10-13 トヨタ自動車株式会社 生体状態判定装置
US8825304B2 (en) * 2010-06-30 2014-09-02 Microsoft Corporation Mediation of tasks based on assessments of competing cognitive loads and needs
JP5794298B2 (ja) * 2011-04-08 2015-10-14 トヨタ自動車株式会社 運転支援システム
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
WO2012176535A1 (ja) * 2011-06-20 2012-12-27 本田技研工業株式会社 車載機器操作装置及び報知装置
TWI434239B (zh) * 2011-08-26 2014-04-11 Ind Tech Res Inst 後方來車變換車道預警方法及其系統
EP2564766B1 (en) * 2011-09-02 2018-03-21 Volvo Car Corporation Visual input of vehicle operator
JP5657809B2 (ja) * 2011-10-06 2015-01-21 本田技研工業株式会社 脇見検出装置
US9265458B2 (en) * 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) * 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
EP3031388B1 (en) * 2013-08-08 2020-01-15 Panasonic Intellectual Property Management Co., Ltd. Visual field-calculating unit and visual field-calculating method
US9398144B2 (en) * 2013-10-24 2016-07-19 Cellco Partnership Mobile device mode of operation for visually impaired users
JP6292054B2 (ja) * 2013-11-29 2018-03-14 富士通株式会社 運転支援装置、方法、及びプログラム
KR102209511B1 (ko) * 2014-05-12 2021-01-29 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어 방법
US11228700B2 (en) * 2015-10-07 2022-01-18 Magna Electronics Inc. Vehicle vision system camera with adaptive field of view
JP2017123029A (ja) * 2016-01-06 2017-07-13 富士通株式会社 情報通知装置、情報通知方法及び情報通知プログラム
JP6737057B2 (ja) * 2016-08-10 2020-08-05 富士通株式会社 視線検出装置、視線検出方法、及び視線検出プログラム
JP2018067198A (ja) * 2016-10-20 2018-04-26 矢崎総業株式会社 走行支援装置
US10173586B1 (en) * 2017-09-11 2019-01-08 Stanislav D Kashchenko System and method for automatically activating turn indicators in a vehicle
JP6812952B2 (ja) * 2017-11-15 2021-01-13 オムロン株式会社 脇見判定装置、脇見判定方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0796768A (ja) * 1993-09-27 1995-04-11 Nissan Motor Co Ltd 前方注視度検知装置
JP2010257293A (ja) * 2009-04-27 2010-11-11 Toyota Motor Corp ドライバ状態監視装置及び車両制御装置
JP2012058769A (ja) * 2010-09-03 2012-03-22 Honda Motor Co Ltd 脇見判定装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4403396A1 (en) 2023-01-20 2024-07-24 Toyota Jidosha Kabushiki Kaisha Driver state detection device
CN117197786A (zh) * 2023-11-02 2023-12-08 安徽蔚来智驾科技有限公司 驾驶行为检测方法、控制装置及存储介质
CN117197786B (zh) * 2023-11-02 2024-02-02 安徽蔚来智驾科技有限公司 驾驶行为检测方法、控制装置及存储介质

Also Published As

Publication number Publication date
CN109758167A (zh) 2019-05-17
JP6915502B2 (ja) 2021-08-04
CN109758167B (zh) 2022-02-01
US20190135295A1 (en) 2019-05-09
US10800424B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
JP2019087143A (ja) ドライバ状態検出装置
JP6693427B2 (ja) ドライバ状態検出装置
JP5345350B2 (ja) 車両の運転支援装置
RU2656933C2 (ru) Способ и устройство для предупреждения о встречном транспортном средстве
JP4722777B2 (ja) 障害物認識判定装置
JP6317315B2 (ja) 標識情報表示装置及び方法
KR102537598B1 (ko) 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법
JP4872245B2 (ja) 歩行者認識装置
KR101986734B1 (ko) 차량 운전 보조 장치 및 이의 안전 운전 유도 방법
JP7107329B2 (ja) 運転支援システム
JP2005165422A (ja) 衝突可能性判定装置
WO2017145549A1 (ja) 脇見見落とし注意システム及びコンピュータプログラム
JP2008293122A (ja) 障害物監視装置
JP2018127084A (ja) 自動運転車両
JP2007249757A (ja) 警報装置
JP2007072570A (ja) 脇見判定装置
US11794645B2 (en) Apparatus and method for giving warning about vehicle in violation of traffic signal at intersection
JPWO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP2020086907A (ja) 漫然運転判定装置
KR101947473B1 (ko) 후방 차량을 고려한 안전 운전 지원 장치 및 방법
JP6992417B2 (ja) ドライバ状態検出装置
JP2019091256A (ja) 警報制御装置、警報制御方法、および警報制御のためのプログラム
JP2012069154A (ja) 障害物監視装置
JP2019087017A (ja) ドライバ状態検出装置
KR102697664B1 (ko) 차량의 차선 유지 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210628

R151 Written notification of patent or utility model registration

Ref document number: 6915502

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151