JP2022149287A - ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム - Google Patents
ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム Download PDFInfo
- Publication number
- JP2022149287A JP2022149287A JP2021051353A JP2021051353A JP2022149287A JP 2022149287 A JP2022149287 A JP 2022149287A JP 2021051353 A JP2021051353 A JP 2021051353A JP 2021051353 A JP2021051353 A JP 2021051353A JP 2022149287 A JP2022149287 A JP 2022149287A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- conversation
- determination unit
- degree
- dozing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 title claims abstract description 11
- 238000012544 monitoring process Methods 0.000 title claims abstract description 10
- 238000004590 computer program Methods 0.000 title claims abstract description 9
- 206010048232 Yawning Diseases 0.000 claims description 34
- 241001282135 Poromitra oscitans Species 0.000 claims description 22
- 230000001815 facial effect Effects 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Mathematical Physics (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Ophthalmology & Optometry (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】ドライバの居眠りを誤判定することを抑制する。【解決手段】ドライバ監視装置は、車両１０のドライバの顔が表された顔画像に基づいてドライバの眼の開閉状態を検知し、眼の開閉状態に基づいて、ドライバが居眠りをしているか否かを判定する居眠り判定部５１と、ドライバが会話をしているか否かを判定する会話判定部５２とを備える。居眠り判定部は、ドライバが会話をしていると判定されている間、ドライバが居眠りをしていると判定しない。【選択図】図６
Description
本発明は、ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラムに関する。
従来、車両に設けられた撮像装置を用いてドライバの状態を監視することが知られている（例えば特許文献１、２）。例えば、撮像装置によって生成されたドライバの顔画像に基づいて、ドライバが眼を閉じている状態が継続して検出された場合には、ドライバが居眠りしていると判定され、ドライバに警告が与えられる。
しかしながら、居眠り以外の要因によってもドライバが眼を閉じていると判定されるおそれがある。例えば、典型的には、人は笑うときに眼が細くなり、この結果、開眼度が小さくなる。このため、ドライバが笑っているときにドライバが居眠りをしていると判定され、このときの警告によりドライバが不快感を抱くおそれがある。
そこで、上記課題に鑑みて、本発明の目的は、ドライバの居眠りを誤判定することを抑制することにある。
本開示の要旨は以下のとおりである。
（１）車両のドライバの顔が表された顔画像に基づいて該ドライバの眼の開閉状態を検知し、該眼の開閉状態に基づいて、該ドライバが居眠りをしているか否かを判定する居眠り判定部と、前記ドライバが会話をしているか否かを判定する会話判定部とを備え、前記居眠り判定部は、前記ドライバが会話をしていると判定されている間、該ドライバが居眠りをしていると判定しない、ドライバ監視装置。
（２）前記居眠り判定部は、前記ドライバの会話が終了したと判定されてから所定時間が経過するまでの間、該ドライバが居眠りをしていると判定しない、上記（１）に記載のドライバ監視装置。
（３）前記会話判定部は、前記顔画像に基づいて、前記ドライバが会話をしているか否かを判定する、上記（１）又は（２）に記載のドライバ監視装置。
（４）前記会話判定部は、前記顔画像に基づいて前記ドライバの開口度を検出し、該開口度の変化量が所定の第１閾値以上となる頻度が所定の第１基準頻度以上である場合に、前記ドライバが会話をしていると判定する、上記（３）に記載のドライバ監視装置。
（５）前記顔画像に基づいて、前記ドライバがあくびをしているか否かを判定するあくび判定部を更に備え、前記あくび判定部は、前記顔画像に基づいて前記ドライバの開眼度及び開口度を検出し、該開口度が所定の上側閾値以上であるときに該開眼度が所定の下側閾値以下となり且つ該開口度の変化量が所定の第２閾値以上となる頻度が所定の第２基準頻度未満である場合に、ドライバがあくびをしていると判定する、上記（１）から（４）のいずれか１つに記載のドライバ監視装置。
（６）車両のドライバの顔が表された顔画像に基づいて該ドライバの眼の開閉状態を検知し、該眼の開閉状態に基づいて、該ドライバが居眠りをしているか否かを判定することと、前記ドライバが会話をしているか否かを判定することと、前記ドライバが会話をしていると判定されている間、該ドライバが居眠りをしていると判定しないこととを含む、ドライバ監視方法。
（７）車両のドライバの顔が表された顔画像に基づいて該ドライバの眼の開閉状態を検知し、該眼の開閉状態に基づいて、該ドライバが居眠りをしているか否かを判定することと、前記ドライバが会話をしているか否かを判定することと、前記ドライバが会話をしていると判定されている間、該ドライバが居眠りをしていると判定しないこととをコンピュータに実行させるドライバ監視用コンピュータプログラム。
本発明によれば、ドライバの居眠りを誤判定することを抑制することができる。
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。
＜第一実施形態＞
以下、図１～図６を参照して、本発明の第一実施形態について説明する。図１は、本発明の第一実施形態に係るドライバ監視装置を備える車両制御システム１の概略構成図である。車両制御システム１は、車両１０に搭載され、車両１０を制御する。図１に示されるように、車両制御システム１は、撮像装置２、ヒューマン・マシン・インターフェース（Human Machine Interface（ＨＭＩ））３及び電子制御ユニット（Electronic Control Unit（ＥＣＵ））４を備える。
以下、図１～図６を参照して、本発明の第一実施形態について説明する。図１は、本発明の第一実施形態に係るドライバ監視装置を備える車両制御システム１の概略構成図である。車両制御システム１は、車両１０に搭載され、車両１０を制御する。図１に示されるように、車両制御システム１は、撮像装置２、ヒューマン・マシン・インターフェース（Human Machine Interface（ＨＭＩ））３及び電子制御ユニット（Electronic Control Unit（ＥＣＵ））４を備える。
撮像装置２は、車両１０のドライバの顔を撮影し、ドライバの顔が表された顔画像を生成する。撮像装置２は、ＥＣＵ４と電気的に接続され、撮像装置２の出力、すなわち撮像装置２によって生成された顔画像はＥＣＵ４に送信される。なお、撮像装置２はドライバモニタカメラとも称される。以下、撮像装置２の具体的な構成例について説明する。
撮像装置２はカメラ及び投光器を有する。カメラは、レンズ及び撮像素子から構成され、例えばＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラである。投光器は、ＬＥＤ（発光ダイオード）であり、例えばカメラの両側に配置された二個の近赤外ＬＥＤである。ドライバに近赤外光を照射することによって、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影することができる。また、近赤外以外の波長成分の光を除去するするバンドパスフィルタがカメラの内部に設けられ、近赤外ＬＥＤから照射される赤色波長成分の光を除去する可視光カットフィルタが投光器の前面に設けられる。
図２は、撮像装置２が設けられた車両１０の内部を概略的に示す図である。撮像装置２は、車両１０のドライバの顔を撮影するように車室内に設けられる。例えば、図２に示されるように、撮像装置２は車両１０のステアリングコラム１１の上部に設けられる。図２には、撮像装置２の投影範囲が破線で示されている。なお、撮像装置２は、車両１０のステアリング１２、ルームミラー、メータパネル、メータフード等に設けられてもよい。また、車両制御システム１は複数の撮像装置を備えていてもよい。
ＨＭＩ３はドライバと車両１０との間で情報の入出力を行う。ＨＭＩ３は、例えば、情報を表示するディスプレイ、音を発生させるスピーカー、ドライバが入力操作を行うための操作ボタン、操作スイッチ又はタッチスクリーン、ドライバの音声を受信するマイクロフォン等を含む。ＨＭＩ３はＥＣＵ４に電気的に接続される。したがって、ＥＣＵ４の出力はＨＭＩ３を介してドライバに伝達され、ドライバからの入力はＨＭＩ３を介してＥＣＵ４に送信される。ＨＭＩ３は、入力装置、出力装置又は入出力装置の一例である。
図３は、ＥＣＵ４の構成を概略的に示す図である。ＥＣＵ４は車両の各種制御を実行する。図３に示されるように、ＥＣＵ４は、通信インターフェース４１、メモリ４２及びプロセッサ４３を備える。通信インターフェース４１及びメモリ４２は信号線を介してプロセッサ４３に接続されている。
通信インターフェース４１は、ＣＡＮ（Controller Area Network）等の規格に準拠した車内ネットワークにＥＣＵ４を接続するためのインターフェース回路を有する。ＥＣＵ４は、通信インターフェース４１及び車内ネットワークを介して、車内ネットワークに接続された車載機器と互いに通信する。
メモリ４２は、例えば、揮発性の半導体メモリ（例えばＲＡＭ）及び不揮発性の半導体メモリ（例えばＲＯＭ）を有する。メモリ４２は、プロセッサ４３によって実行されるコンピュータプログラム、プロセッサ４３によって各種処理が実行されるときに使用される各種データ等を記憶する。
プロセッサ４３は、一つ又は複数のＣＰＵ(Central Processing Unit)及びその周辺回路を有し、各種処理を実行する。なお、プロセッサ４３は、論理演算ユニット、数値演算ユニット又はグラフィック処理ユニットのような他の演算回路を更に有していてもよい。
本実施形態では、ＥＣＵ４は、車両１０のドライバの状態を監視するドライバ監視装置として機能する。図４は、第一実施形態におけるＥＣＵ４のプロセッサ４３の機能ブロック図である。本実施形態では、プロセッサ４３は居眠り判定部５１及び会話判定部５２を有する。居眠り判定部５１及び会話判定部５２は、ＥＣＵ４のメモリ４２に記憶されたコンピュータプログラムをＥＣＵ４のプロセッサ４３が実行することによって実現される機能モジュールである。なお、これら機能モジュールは、それぞれ、プロセッサ４３に設けられた専用の演算回路によって実現されてもよい。また、車内ネットワークを介して互いに接続された複数のＥＣＵによってこれら機能モジュールが実現されてもよい。すなわち、複数のＥＣＵがドライバモニタ装置として機能してもよい。
上述したように、撮像装置２によって生成された顔画像、すなわち、車両１０のドライバの顔が表された顔画像はＥＣＵ４に送信される。居眠り判定部５１は、顔画像に基づいてドライバの眼の開閉状態を検知し、眼の開閉状態に基づいて、ドライバが居眠りをしているか否かを判定する。
例えば、ドライバの眼の開閉状態を表す指標として、ドライバの開眼度が用いられる。この場合、居眠り判定部５１は顔画像に基づいてドライバの開眼度を検出する。例えば、居眠り判定部５１は、顔画像から顔領域を特定し、眼、鼻、口等の顔部品を検出する。そして、居眠り判定部５１は、右眼及び左眼のそれぞれについて、上瞼及び下瞼の特徴点を抽出し、二つの特徴点の距離を開眼度として算出する。一つの顔画像から検出される開眼度は、例えば、右眼の開眼度と左眼の開眼度との平均値として算出される。
なお、ドライバの開眼度を検出するために画像認識のための識別器が用いられてもよい。すなわち、居眠り判定部５１は、顔画像から開眼度を出力するように予め学習された識別器に顔画像を入力することによってドライバの開眼度を検出してもよい。
居眠り判定部５１は、ドライバの開眼度が所定の基準値以下である場合に、ドライバが閉眼状態にあると判定する。基準値は、不特定多数の人又はドライバが寝ている画像等を用いて予め定められる。また、居眠り判定部５１は、閉眼状態が所定の基準時間以上維持された場合、すなわちドライバの開眼度が基準値以下の値に基準時間以上維持された場合に、ドライバが居眠りをしていると判定する。基準時間は、瞬きによって眼が閉じる時間よりも長くなるように予め定められ、例えば１秒～７秒に設定される。
なお、居眠り判定部５１は、顔画像に基づいてドライバの眼の状態を開眼状態又は閉眼状態に分類するように予め学習された識別器に顔画像を入力することによってドライバの眼の開閉状態を検知してもよい。この場合も、居眠り判定部５１は、閉眼状態が基準時間以上維持された場合に、ドライバが居眠りをしていると判定する。開眼度又は眼の状態を出力する識別器として、例えば、ニューラルネットワーク（例えば畳み込みニューラルネットワーク（Convolutional Neural Network（ＣＮＮ））等）、サポートベクターマシン、ランダムフォレスト等の機械学習モデルが用いられる。
居眠り判定部５１は、ドライバが居眠りをしていると判定した場合、ＨＭＩ３によって警告表示及び警告音の少なくとも一方を出力することによってドライバに警告を与える。このことによって、ドライバが居眠りすることを抑制することができる。
一方、会話判定部５２は、車両１０のドライバが会話をしているか否かを判定する。例えば、会話判定部５２は、撮像装置２によって生成された顔画像、すなわち車両１０のドライバの顔が表された顔画像に基づいて、ドライバが会話をしているか否かを判定する。
人が会話をするときには、口の動きに応じて口が頻繁に開閉し、開口度が変化する。このため、会話判定部５２は、顔画像に基づいてドライバの開口度を検出し、開口度に基づいて、ドライバが会話をしているか否かを判定する。例えば、会話判定部５２は、顔画像から顔領域を特定し、眼、鼻、口等の顔部品を検出する。そして、会話判定部５２は、上唇及び下唇の特徴点を抽出し、二つの特徴点の距離を開口度として算出する。
なお、ドライバの開口度を検出するために画像認識のための識別器が用いられてもよい。すなわち、会話判定部５２は、顔画像から開口度を出力するように予め学習された識別器に顔画像を入力することによってドライバの開口度を検出してもよい。
会話判定部５２は、開口度の変化量が所定の第１閾値以上となる頻度が所定の第１基準頻度以上である場合に、ドライバが会話をしていると判定する。第１閾値及び第１基準頻度は、不特定多数の人又はドライバが会話をしているときの時系列の一連の顔画像等を用いて予め定められる。
なお、会話判定部５２は、顔画像に基づいてドライバの状態を会話状態又は非会話状態に分類するように予め学習された識別器に時系列の一連の顔画像を入力することによって、ドライバが会話をしているか否かを判定してもよい。開口度又はドライバの状態を出力する識別器として、例えば、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク（Convolutional Neural Network（ＣＮＮ））、再帰型ニューラルネットワーク（Recurrent Neural Network（ＲＮＮ））等）、サポートベクターマシン、ランダムフォレスト等の機械学習モデルが用いられる。
ところで、上記のようにドライバの閉眼状態が維持されていることが検出されたとしても、必ずしもドライバが居眠りをしているとは限らない。例えば、典型的には、人は笑うときに眼が細くなり、この結果、開眼度が小さくなる。このため、ドライバが笑っているときにドライバが居眠りをしていると判定され、このときの警告によりドライバが不快感を抱くおそれがある。
したがって、居眠りによる閉眼と笑顔による閉眼とを識別できることが望ましい。例えば、ドライバが笑顔になる状況としては、ドライバが人と会話をしている場面が想定される。このため、会話中に検出される閉眼状態は、笑顔に起因している可能性が高い。
そこで、本実施形態では、居眠り判定部５１は、会話判定部５２によってドライバが会話をしていると判定されている間、ドライバが居眠りをしていると判定しない。すなわち、居眠り判定部５１は、ドライバの閉眼状態が維持されたとしても、ドライバが会話をしていると判定されている限り、ドライバが居眠りをしていると判定しない。この場合、会話によるドライバの笑顔が閉眼状態と判定されたとしても、ドライバが居眠りをしていると判定されることはない。したがって、ドライバの居眠りを誤判定することを抑制することができる。
＜会話判定処理＞
以下、図５及び図６を参照して、上述した制御のフローについて説明する。図５は、本発明の第一実施形態における会話判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ４によって所定の実行間隔で繰り返し実行される。
以下、図５及び図６を参照して、上述した制御のフローについて説明する。図５は、本発明の第一実施形態における会話判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ４によって所定の実行間隔で繰り返し実行される。
最初に、ステップＳ１０１において、会話判定部５２は、現在までの所定期間において撮像装置２によって生成された時系列の一連の顔画像を取得する。これら一連の顔画像は例えばＥＣＵ４のメモリ４２に記憶されている。メモリ４２では、現在までの所定期間に生成された画像に対応する所定数の最新の顔画像がメモリ４２に記憶されるように、撮像装置２からＥＣＵ４に顔画像が送信される度に、最も古い顔画像が削除される。
次いで、ステップＳ１０２において、会話判定部５２は、時系列の一連の顔画像に基づいて、ドライバの開口度の変化量が第１閾値以上となる頻度が第１基準頻度以上であるか否かを判定する。例えば、会話判定部５２は、一連の顔画像のそれぞれについて開口度を検出し、開口度が下側閾値と上側閾値との間で変化した回数が所定回数以上である場合に、開口度の変化量が第１閾値以上となる頻度が第１基準頻度以上であると判定する。
ステップＳ１０２において開口度の変化量が第１閾値以上となる頻度が第１基準頻度以上であると判定された場合、本制御ルーチンはステップＳ１０３に進む。ステップＳ１０３では、会話判定部５２は、ドライバが会話をしていると判定する。
次いで、ステップＳ１０４において、会話判定部５２は居眠り判定禁止フラグＦを１に設定する。ステップＳ１０４の後、本制御ルーチンは終了する。
一方、ステップＳ１０２において開口度の変化量が第１閾値以上となる頻度が第１基準頻度未満であると判定された場合、本制御ルーチンはステップＳ１０５に進む。ステップＳ１０５では、会話判定部５２は居眠り判定禁止フラグＦをゼロに設定する。ステップＳ１０５の後、本制御ルーチンは終了する。
なお、ステップＳ１０２において、会話判定部５２は、開口度を検出することなく、時系列の一連の顔画像を識別器に入力することによって、ドライバが会話をしているか否かを判定してもよい。
＜居眠り判定処理＞
図６は、本発明の第一実施形態における居眠り判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ４によって所定の実行間隔で繰り返し実行される。
図６は、本発明の第一実施形態における居眠り判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ４によって所定の実行間隔で繰り返し実行される。
最初に、ステップＳ２０１において、居眠り判定部５１は、撮像装置２によって生成された顔画像を取得する。
次いで、ステップＳ２０２において、居眠り判定部５１は、顔画像に基づいて、ドライバが閉眼状態にあるか否かを判定する。具体的には、居眠り判定部５１は、ドライバの開眼度が基準値以下である場合にドライバが閉眼状態にあると判定し、ドライバの開眼度が基準値よりも大きい場合にドライバが開眼状態にあると判定する。なお、居眠り判定部５１は、開眼度を検出することなく、顔画像を識別器に入力することによってドライバが閉眼状態にあるか否かを判定してもよい。
ステップＳ２０２においてドライバ閉眼状態にあると判定された場合、すなわち、ドライバの眼が閉じていると判定された場合、本制御ルーチンはステップＳ２０３に進む。ステップＳ２０３では、居眠り判定部５１は、閉眼状態が基準時間以上維持されたか否かを判定する。ステップＳ２０３において閉眼状態が基準時間以上維持されたと判定された場合、本制御ルーチンはステップＳ２０４に進む。
ステップＳ２０４では、居眠り判定部５１は、居眠り判定禁止フラグＦがゼロに設定されているか否かを判定する。居眠り判定禁止フラグＦがゼロに設定されていると判定された場合、本制御ルーチンはステップＳ２０５に進む。
ステップＳ２０５では、居眠り判定部５１は、ドライバが居眠りをしていると判定する。次いで、ステップＳ２０６において、居眠り判定部５１は、ＨＭＩ３によって警告表示及び警告音の少なくとも一方を出力することによってドライバに警告を与える。なお、居眠り判定部５１は、他の手段、例えば運転席のシートベルトを振動させることによってドライバに警告を与えてもよい。ステップＳ２０６の後、本制御ルーチンは終了する。
一方、ステップＳ２０２においてドライバが開眼状態にあると判定された場合、ステップＳ２０３において閉眼状態が基準時間以上維持されていないと判定された場合、又はステップＳ２０４において居眠り判定禁止フラグＦが１に設定されていると判定された場合、本制御ルーチンは終了する。この場合、居眠り判定部５１は、ドライバが居眠りをしていると判定しない。
なお、ステップＳ２０４はステップＳ２０１の前に実行されてもよい。すなわち、居眠り判定部５１は、ドライバが会話をしていると判定されている間、ドライバの眼の開閉状態を検知しなくてもよい。
＜第二実施形態＞
第二実施形態に係るドライバ監視装置は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ監視装置の構成及び制御と同様である。このため、以下、本発明の第二実施形態について、第一実施形態と異なる部分を中心に説明する。
第二実施形態に係るドライバ監視装置は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ監視装置の構成及び制御と同様である。このため、以下、本発明の第二実施形態について、第一実施形態と異なる部分を中心に説明する。
第一実施形態では、ドライバの会話中に居眠り判定が禁止される。しかしながら、ドライバが会話をしていなかったとしても、同乗者の会話によってドライバが笑う可能性がある。斯かる状況は、特にドライバが会話をした直後に生じやすい。また、ドライバが会話をした直後にドライバが居眠りをする可能性は低い。
このため、第二実施形態では、居眠り判定部５１は、ドライバが会話をしていると判定されている間だけでなく、ドライバの会話が終了したと判定されてから所定時間が経過するまでの間も、ドライバが居眠りをしていると判定しない。このことによって、ドライバの居眠りを誤判定することをより一層抑制することができる。
＜会話判定処理＞
図７は、本発明の第二実施形態における会話判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ４によって所定の実行間隔で繰り返し実行される。
図７は、本発明の第二実施形態における会話判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ４によって所定の実行間隔で繰り返し実行される。
ステップＳ３０１～Ｓ３０４は、図５のステップＳ１０１～Ｓ１０４と同様に実行される。一方、ステップＳ３０２において、開口度の変化量が第１閾値以上となる頻度が第１基準頻度未満であると判定された場合、本制御ルーチンはステップＳ３０５に進む。
ステップＳ３０５では、会話判定部５２は、ドライバの会話が終了してから所定時間以内であるか否かを判定する。所定時間は例えば５秒～２０秒に設定される。なお、会話判定部５２は、ステップＳ３０２における判定の結果が肯定から否定に変化したときに、ドライバの会話が終了したと判定する。
ステップＳ３０５において、ドライバの会話が終了してから所定時間以内であると判定された場合、本制御ルーチンはステップＳ３０４に進む。ステップＳ３０４では、会話判定部５２は居眠り判定禁止フラグＦを１に設定する。ステップＳ３０４の後、本制御ルーチンは終了する。
一方、ステップＳ３０５において、ドライバの会話が終了してから所定時間以内ではないと判定された場合、本制御ルーチンはステップＳ３０６に進む。ステップＳ３０６では、会話判定部５２は居眠り判定禁止フラグＦをゼロに設定する。ステップＳ３０６の後、本制御ルーチンは終了する。
第二実施形態においても、第一実施形態と同様に、図６の居眠り判定処理の制御ルーチンが実行される。
＜第三実施形態＞
第三実施形態に係るドライバ監視装置は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ監視装置の構成及び制御と同様である。このため、以下、本発明の第三実施形態について、第一実施形態と異なる部分を中心に説明する。
第三実施形態に係るドライバ監視装置は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ監視装置の構成及び制御と同様である。このため、以下、本発明の第三実施形態について、第一実施形態と異なる部分を中心に説明する。
図８は、第三実施形態におけるＥＣＵ４のプロセッサ４３の機能ブロック図である。第三実施形態では、プロセッサ４３は、居眠り判定部５１及び会話判定部５２に加えて、あくび判定部５３を有する。居眠り判定部５１、会話判定部５２及びあくび判定部５３は、ＥＣＵ４のメモリ４２に記憶されたコンピュータプログラムをＥＣＵ４のプロセッサ４３が実行することによって実現される機能モジュールである。なお、これら機能モジュールは、それぞれ、プロセッサ４３に設けられた専用の演算回路によって実現されてもよい。また、車内ネットワークを介して互いに接続された複数のＥＣＵによってこれら機能モジュールが実現されてもよい。すなわち、複数のＥＣＵがドライバモニタ装置として機能してもよい。
あくび判定部５３は、撮像装置２によって生成された顔画像、すなわち車両１０のドライバの顔が表された顔画像に基づいて、ドライバがあくびをしているか否かを判定する。通常、人があくびをするときには、口の動きに眼の動きが連動し、開口度が大きくなると共に、開眼度が小さくなる。また、会話と異なり、人があくびをするときには、口が一度だけ開かれ、口が連続的に開閉することはない。
このため、あくび判定部５３は、顔画像に基づいてドライバの開眼度及び開口度を検出し、開口度が所定の上側閾値以上であるときに開眼度が所定の下側閾値以下となり且つ開口度の変化量が所定の第２閾値以上となる頻度が所定の第２基準頻度未満である場合に、ドライバがあくびをしていると判定する。このことによって、あくびと居眠りとを識別してあくびを精度良く検出することができる。なお、ドライバの開眼度及び開口度は、居眠り判定部５１及び会話判定部５２に関して上述した手法によって検出される。
＜あくび判定処理＞
第三実施形態では、図５の会話判定処理の制御ルーチン及び図６の居眠り判定処理の制御ルーチンに加えて、図９のあくび判定処理の制御ルーチンが実行される。図９は、本発明の第三実施形態におけるあくび判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ４によって所定の実行間隔で繰り返し実行される。
第三実施形態では、図５の会話判定処理の制御ルーチン及び図６の居眠り判定処理の制御ルーチンに加えて、図９のあくび判定処理の制御ルーチンが実行される。図９は、本発明の第三実施形態におけるあくび判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ４によって所定の実行間隔で繰り返し実行される。
最初に、ステップＳ４０１において、図５のステップＳ１０１における会話判定部５２による処理と同様に、あくび判定部５３は、現在までの所定期間において撮像装置２によって生成された時系列の一連の顔画像を取得する。
次いで、ステップＳ４０２において、あくび判定部５３は、時系列の一連の顔画像に基づいて、ドライバの開口度が大きくなり且つドライバの開眼度が低下したか否かを判定する。具体的には、あくび判定部５３は、一連の顔画像のそれぞれについて開口度及び開眼度を検出し、開口度が上限閾値以上であるときに開眼度が下限閾値以下になったか否かを判定する。ステップＳ４０２の判定が否定された場合、本制御ルーチンは終了する。
一方、ステップＳ４０２において開口度が上限閾値以上であるときに開眼度が下限閾値以下になったと判定された場合、本制御ルーチンはステップＳ４０３に進む。ステップＳ４０３では、あくび判定部５３は、時系列の一連の顔画像に基づいて、ドライバの開口度の変化量が第２閾値以上となる頻度が第２基準頻度未満であるか否かを判定する。第２閾値及び第２基準頻度は、不特定多数の人又はドライバがあくびをしているときの時系列の一連の顔画像等を用いて予め定められる。なお、第２閾値及び第２基準頻度は、それぞれ、会話判定に用いられる第１閾値及び第１基準頻度と同じ値であってもよい。例えば、あくび判定部５３は、一連の顔画像のそれぞれについて開口度を検出し、開口度が下側閾値と上側閾値との間で変化した回数が所定回数未満である場合に、開口度の変化量が第２閾値以上となる頻度が第２基準頻度未満であると判定する。
ステップＳ４０３において開口度の変化量が第２閾値以上となる頻度が第２基準頻度以上であると判定された場合、本制御ルーチンは終了する。一方、ステップＳ４０３において開口度の変化量が第２閾値以上となる頻度が第２基準値未満であると判定された場合、本制御ルーチンはステップＳ４０４に進む。
ステップＳ４０４では、あくび判定部５３は、ドライバがあくびをしていると判定する。次いで、ステップＳ４０５において、あくび判定部５３は、ＨＭＩ３によって警告表示及び警告音の少なくとも一方を出力することによってドライバに警告を与える。なお、あくび判定部５３は、他の手段、例えば運転席のシートベルトを振動させることによってドライバに警告を与えてもよい。また、あくび判定における警告の強度は居眠り判定における警告の強度よりも低く設定されてもよい。また、あくび判定部５３は、所定時間内にドライバがあくびをしていると判定した回数が所定回数に達したときにドライバに警告を与えてもよい。ステップＳ４０５の後、本制御ルーチンは終了する。
以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。
例えば、会話判定部５２は、ドライバの音声を取得するように車室内に設けられたマイクロフォン（例えばＨＭＩ３のマイクロフォン）への入力信号に基づいて、ドライバが会話をしているか否かを判定してもよい。この場合、会話判定部５２は、例えば、マイクロフォンへの入力信号の周波数が人の声に対応する所定範囲の周波数である場合に、ドライバが会話をしていると判定する。
また、会話判定部５２は、マイクロフォンへの入力信号に基づいてドライバの状態を会話状態又は非会話状態に分類するように予め学習された識別器にマイクロフォンへの入力信号を入力することによって、ドライバが会話をしているか否かを判定してもよい。この場合、識別器として、例えば、ニューラルネットワーク（例えば再帰型ニューラルネットワーク（Recurrent Neural Network（ＲＮＮ））等）、サポートベクターマシン、ランダムフォレスト等の機械学習モデルが用いられる。
また、上述した実施形態によるドライバ監視装置のプロセッサが有する各部の機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な記録媒体に記憶された形で提供されてもよい。コンピュータによって読取り可能な記録媒体は、例えば、磁気記録媒体、光記録媒体又は半導体メモリである。
また、上述した実施形態は、任意に組み合わせて実施可能である。第二実施形態と第三実施形態とが組み合わされる場合、図７の会話判定処理の制御ルーチンと、図６の居眠り判定処理の制御ルーチンと、図９のあくび判定処理の制御ルーチンとが実行される。
１０ 車両
４ 電子制御ユニット（ＥＣＵ）
４３ プロセッサ
５１ 居眠り判定部
５２ 会話判定部
４ 電子制御ユニット（ＥＣＵ）
４３ プロセッサ
５１ 居眠り判定部
５２ 会話判定部
Claims (7)
- 車両のドライバの顔が表された顔画像に基づいて該ドライバの眼の開閉状態を検知し、該眼の開閉状態に基づいて、該ドライバが居眠りをしているか否かを判定する居眠り判定部と、
前記ドライバが会話をしているか否かを判定する会話判定部と
を備え、
前記居眠り判定部は、前記ドライバが会話をしていると判定されている間、該ドライバが居眠りをしていると判定しない、ドライバ監視装置。 - 前記居眠り判定部は、前記ドライバの会話が終了したと判定されてから所定時間が経過するまでの間、該ドライバが居眠りをしていると判定しない、請求項１に記載のドライバ監視装置。
- 前記会話判定部は、前記顔画像に基づいて、前記ドライバが会話をしているか否かを判定する、請求項１又は２に記載のドライバ監視装置。
- 前記会話判定部は、前記顔画像に基づいて前記ドライバの開口度を検出し、該開口度の変化量が所定の第１閾値以上となる頻度が所定の第１基準頻度以上である場合に、前記ドライバが会話をしていると判定する、請求項３に記載のドライバ監視装置。
- 前記顔画像に基づいて、前記ドライバがあくびをしているか否かを判定するあくび判定部を更に備え、
前記あくび判定部は、前記顔画像に基づいて前記ドライバの開眼度及び開口度を検出し、該開口度が所定の上側閾値以上であるときに該開眼度が所定の下側閾値以下となり且つ該開口度の変化量が所定の第２閾値以上となる頻度が所定の第２基準頻度未満である場合に、ドライバがあくびをしていると判定する、請求項１から４のいずれか１項に記載のドライバ監視装置。 - 車両のドライバの顔が表された顔画像に基づいて該ドライバの眼の開閉状態を検知し、該眼の開閉状態に基づいて、該ドライバが居眠りをしているか否かを判定することと、
前記ドライバが会話をしているか否かを判定することと、
前記ドライバが会話をしていると判定されている間、該ドライバが居眠りをしていると判定しないことと
を含む、ドライバ監視方法。 - 車両のドライバの顔が表された顔画像に基づいて該ドライバの眼の開閉状態を検知し、該眼の開閉状態に基づいて、該ドライバが居眠りをしているか否かを判定することと、
前記ドライバが会話をしているか否かを判定することと、
前記ドライバが会話をしていると判定されている間、該ドライバが居眠りをしていると判定しないことと
をコンピュータに実行させるドライバ監視用コンピュータプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021051353A JP2022149287A (ja) | 2021-03-25 | 2021-03-25 | ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム |
| CN202210286162.0A CN115179956A (zh) | 2021-03-25 | 2022-03-22 | 驾驶员监视装置、驾驶员监视方法及驾驶员监视用计算机程序 |
| US17/656,567 US20220309808A1 (en) | 2021-03-25 | 2022-03-25 | Driver monitoring device, driver monitoring method, and driver monitoring-use computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021051353A JP2022149287A (ja) | 2021-03-25 | 2021-03-25 | ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022149287A true JP2022149287A (ja) | 2022-10-06 |
Family
ID=83364826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021051353A Pending JP2022149287A (ja) | 2021-03-25 | 2021-03-25 | ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220309808A1 (ja) |
| JP (1) | JP2022149287A (ja) |
| CN (1) | CN115179956A (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220046012A1 (en) * | 2020-08-07 | 2022-02-10 | Unwind, Inc. | Method and System for Verifying the Identity of a User |
| US20240087458A1 (en) * | 2022-09-08 | 2024-03-14 | Bendix Commercial Vehicle Systems Llc | Systems and method for integrating driver facing imaging device with a vehicle blind spot detection system |
-
2021
- 2021-03-25 JP JP2021051353A patent/JP2022149287A/ja active Pending
-
2022
- 2022-03-22 CN CN202210286162.0A patent/CN115179956A/zh active Pending
- 2022-03-25 US US17/656,567 patent/US20220309808A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN115179956A (zh) | 2022-10-14 |
| US20220309808A1 (en) | 2022-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101386823B1 (ko) | 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치 | |
| WO2020173213A1 (zh) | 车内人员危险动作识别方法和装置、电子设备、存储介质 | |
| KR20200123183A (ko) | 운전자 주의력 모니터링 방법, 장치 및 전자 기기 | |
| US20220309808A1 (en) | Driver monitoring device, driver monitoring method, and driver monitoring-use computer program | |
| US11783600B2 (en) | Adaptive monitoring of a vehicle using a camera | |
| US9105172B2 (en) | Drowsiness-estimating device and drowsiness-estimating method | |
| US11084424B2 (en) | Video image output apparatus, video image output method, and medium | |
| CN111845763A (zh) | 用于在自主驾驶期间确保驾驶员参与度的安全机构 | |
| JP2010111275A (ja) | 車載用警告装置、警告方法および警告プログラム | |
| CN112754498B (zh) | 驾驶员的疲劳检测方法、装置、设备及存储介质 | |
| JP2018128834A (ja) | ドライバ状態検出装置 | |
| US20240096116A1 (en) | Devices and methods for detecting drowsiness of drivers of vehicles | |
| JP2021037216A (ja) | 閉眼判定装置 | |
| CN113312958B (zh) | 一种基于司机状态的派单优先度调整方法及装置 | |
| JPH0793700A (ja) | 運転者状態監視装置 | |
| JP6689470B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| JP2020010865A (ja) | 運転者状態判定装置および運転者状態判定方法 | |
| KR20190044818A (ko) | 운전자 모니터링 장치 및 방법 | |
| JP6852407B2 (ja) | ドライバ状態検出装置 | |
| JP2022100538A (ja) | 生体情報取得装置 | |
| JP2021152729A (ja) | あくび検出装置 | |
| JP7276013B2 (ja) | 画像解析装置、画像解析方法、及びプログラム | |
| JP2019079285A (ja) | 安全運転促進装置及び安全運転促進方法 | |
| TWI741892B (zh) | 車內駕駛監測系統 | |
| Dehkordi et al. | An effective system to detect face drowsiness status using local features in a hierarchical decision-making structure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230515 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240322 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240521 |