JP2023022410A - 運転者状態判定方法及びその判定システム - Google Patents
運転者状態判定方法及びその判定システム Download PDFInfo
- Publication number
- JP2023022410A JP2023022410A JP2021127275A JP2021127275A JP2023022410A JP 2023022410 A JP2023022410 A JP 2023022410A JP 2021127275 A JP2021127275 A JP 2021127275A JP 2021127275 A JP2021127275 A JP 2021127275A JP 2023022410 A JP2023022410 A JP 2023022410A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- distribution
- sight
- line
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000009826 distribution Methods 0.000 claims abstract description 245
- 230000006399 behavior Effects 0.000 claims abstract description 80
- 230000005856 abnormality Effects 0.000 claims abstract description 36
- 230000000007 visual effect Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims description 37
- 210000004556 brain Anatomy 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000002093 peripheral effect Effects 0.000 claims description 8
- 238000012937 correction Methods 0.000 abstract description 46
- 230000002159 abnormal effect Effects 0.000 abstract description 6
- 238000005303 weighing Methods 0.000 abstract 1
- 230000004434 saccadic eye movement Effects 0.000 description 45
- 230000008569 process Effects 0.000 description 38
- 238000011156 evaluation Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 21
- 230000007613 environmental effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 206010041349 Somnolence Diseases 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 230000036626 alertness Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000003863 physical function Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】運転者の視線学習期間に拘らず状態判定精度を確保することができる運転者状態判定方法及びその判定システムを提供する。【解決手段】車両の運転者の状態を判定する運転者状態判定システムSは、車両の物理状態と、運転者の特性と、運転者の視線挙動とを関連付けた第2補正係数βを生成する学習情報生成部26aと、基準視線分布Aと第2補正係数βを用いて第2補正視線分布Yを生成する学習視線分布生成部26と、第2補正視線分布Yの生成に用いた画像数C2に基づき学習進捗度Stを演算する学習進捗度演算部27aと、視線挙動分布Bと第2補正視線分布Yとの差異が判定閾値以上のとき、運転者の異常を判定すると共に、学習進捗度Stが大きい程潜在特性に対する顕在特性の重み付け割合を増加する異常推定部27とを有する。【選択図】 図1
Description
本発明は、車両の運転者の状態を判定する運転者状態判定方法及びその判定システムに関する。
昨今、国家的に自動運転システムの開発が推進されている。本出願人は、現時点において、自動運転システムには、大きく分けると2つの方向性があると考えている。
第1の方向性は、自動車が主体となって運転者の操作を要することなく乗員を目的地まで運ぶシステムであり、所謂自動車の完全自動走行である。
第2の方向性は、「自動車の運転が楽しめる環境を提供する」というように、あくまで人間が運転することを前提とした自動運転システムである。
第2の方向性は、「自動車の運転が楽しめる環境を提供する」というように、あくまで人間が運転することを前提とした自動運転システムである。
第2の方向性の自動運転システムでは、例えば、運転者に疾患等が発生し正常な運転が困難な状況が発生した場合等に、自動的に、自動車が乗員に代わって自動運転を行うことが想定される。このため、運転者に異常が発生したこと、特に、運転者に機能障害や疾患が発生したことを如何に早期に且つ精度良く発見できるかが、運転者の救命率の向上や周囲を含めた安全を確保する観点から極めて重要となる。
運転者の異常を判定する方法として、例えば、特許文献1の計算フレームワークのシステムには、ベイズフレームワークに基づき、タスク依存のトップダウン因子及びボトムアップ因子が組み込まれた畳み込みニューラルネットワークが開示されている。
運転シーンにおける顕著領域は、運転データから学習された事前分布に基づいて推定された重みを用いて調整している。
運転シーンにおける顕著領域は、運転データから学習された事前分布に基づいて推定された重みを用いて調整している。
特許文献1の技術は、タスク依存のトップダウン因子及びボトムアップ因子が推定に組み込まれることで、運転者が注意を向けるであろう重要且つ顕著な領域を判定している。
しかし、特許文献1の技術では、各因子に対する重みを推定するための事前分布を運転者の実際の運転データから学習する必要があり、事前分布の学習が完了するまで判定精度を確保することができない虞がある。
しかし、特許文献1の技術では、各因子に対する重みを推定するための事前分布を運転者の実際の運転データから学習する必要があり、事前分布の学習が完了するまで判定精度を確保することができない虞がある。
また、情報処理の種類によっては、個人特性が反映され難い情報処理、或いは個人特性が反映され易い情報処理が存在しているため、視線挙動の個人特性が反映され難い情報処理を採用した状態判定システムでは、個人特性についての学習情報を収集する場合、学習情報を収集するための学習期間が長期化することが懸念される。
即ち、運転者の視線学習期間に拘らず状態判定精度を確保することは容易ではない。
即ち、運転者の視線学習期間に拘らず状態判定精度を確保することは容易ではない。
本発明の目的は、運転者の視線学習期間に拘らず状態判定精度を確保可能な運転者状態判定方法及びその判定システム等を提供することである。
請求項1の発明は、車両の運転者の状態を判定する運転者状態判定方法において、前記車両の周辺状況に関する情報を取得する周辺情報取得工程と、前記車両の物理状態を取得する車両状態取得工程と、前記運転者の特性を取得する運転者特性取得工程と、前記運転者の視界に表われる視界画像を作成する視界画像作成工程と、脳の低次処理を反映した潜在特性と脳の高次処理を反映した顕在特性とについて標準的視界画像に基づく基準視線分布を予め生成する基準視線分布生成工程と、脳の低次処理を反映した潜在特性と脳の高次処理を反映した顕在特性とについて前記運転者の視線挙動に基づく視線挙動分布を生成する視線挙動分布生成工程と、前記車両の物理状態と、前記運転者の特性と、前記運転者の視線挙動とを関連付けた学習情報を生成する学習情報生成工程と、前記基準視線分布と前記学習情報を用いて学習視線分布を生成する運転者学習視線分布生成工程と、前記学習視線分布の生成に用いた画像数に基づき学習進捗度を演算する学習進捗度演算工程と、前記視線挙動分布と前記学習視線分布との差異が判定閾値以上のとき、前記運転者の異常を判定すると共に、前記学習進捗度が大きい程潜在特性に対する顕在特性の重み付け割合を増加する運転者異常推定工程と、を有することを特徴としている。
この運転者状態判定方法では、前記車両の物理状態と、前記運転者の特性と、前記運転者の視線挙動とを関連付けた学習情報を生成する学習情報生成工程と、前記基準視線分布と前記学習情報を用いて学習視線分布を生成する運転者学習視線分布生成工程とを有するため、運転者の視線挙動とを関連付けた学習情報を用いて学習視線分布を生成することができる。前記学習視線分布の生成に用いた画像数に基づき学習進捗度を演算する学習進捗度演算工程と、前記視線挙動分布と前記学習視線分布との差異が判定閾値以上のとき、前記運転者の異常を判定すると共に、前記学習進捗度が大きい程潜在特性に対する顕在特性の重み付け割合を増加する運転者異常推定工程とを有するため、運転者の視線学習期間が不十分であるとき、個人差による影響が小さい潜在特性の重みを個人差による影響が大きい顕在特性の重みに比べて大きくすることができ、脳の低次処理であるボトムアップ機能を中心に判定を行うことができる。また、運転者の視線学習期間が十分であるとき、個人差による影響が小さい潜在特性の重みを個人差による影響が大きい顕在特性の重みに比べて小さくすることができ、脳の高次処理であるトップダウン機能を中心に判定を行うことができる。
請求項2の発明は、請求項1の発明において、前記運転者異常推定工程は、前記視線挙動分布の潜在特性に対応した確率分布と前記学習視線分布の潜在特性に対応した確率分布との差と、前記視線挙動分布の顕在特性に対応した確率分布と前記学習視線分布の顕在特性に対応した確率分布との差との加算値を前記視線挙動分布と前記学習視線分布との差異とすることを特徴としている。
この構成によれば、運転者の視線挙動を、ボトムアップ機能とトップダウン機能の両面から評価することができる。
この構成によれば、運転者の視線挙動を、ボトムアップ機能とトップダウン機能の両面から評価することができる。
請求項3の発明は、車両の運転者の状態を判定する運転者状態判定システムにおいて、前記車両の周辺状況に関する情報を取得する周辺情報取得手段と、前記車両の物理状態を取得する車両状態取得手段と、前記運転者の特性を取得する運転者特性取得手段と、前記運転者の視界に表われる視界画像を作成する視界画像作成手段と、脳の低次処理を反映した潜在特性と脳の高次処理を反映した顕在特性とについて標準的視界画像に基づく基準視線分布を予め生成する基準視線分布生成手段と、脳の低次処理を反映した潜在特性と脳の高次処理を反映した顕在特性とについて前記運転者の視線挙動に基づく視線挙動分布を生成する視線挙動分布生成手段と、前記車両の物理状態と、前記運転者の特性と、前記運転者の視線挙動とを関連付けた学習情報を生成する学習情報生成手段と、前記基準視線分布と前記学習情報を用いて学習視線分布を生成する運転者学習視線分布生成手段と、前記学習視線分布の生成に用いた画像数に基づき学習進捗度を演算する学習進捗度演算手段と、前記視線挙動分布と前記学習視線分布との差異が判定閾値以上のとき、前記運転者の異常を判定すると共に、前記学習進捗度が大きい程潜在特性に対する顕在特性の重み付け割合を増加する運転者異常推定手段と、を有することを特徴としている。
この運転者状態判定システムでは、前記車両の物理状態と、前記運転者の特性と、前記運転者の視線挙動とを関連付けた学習情報を生成する学習情報生成手段と、前記基準視線分布と前記学習情報を用いて学習視線分布を生成する運転者学習視線分布生成手段とを有するため、学習情報を用いて学習視線分布を生成することができる。
前記学習視線分布の生成に用いた画像数に基づき学習進捗度を演算する学習進捗度演算手段と、前記視線挙動分布と前記学習視線分布との差異が判定閾値以上のとき、前記運転者の異常を判定すると共に、前記学習進捗度が大きい程潜在特性に対する顕在特性の重み付け割合を増加する運転者異常推定手段とを有するため、運転者の視線学習期間が不十分であるとき、個人差による影響が小さい潜在特性の重みを個人差による影響が大きい顕在特性の重みに比べて大きくすることができ、脳の低次処理であるボトムアップ機能を中心に判定を行うことができる。また、運転者の視線学習期間が十分であるとき、個人差による影響が小さい潜在特性の重みを個人差による影響が大きい顕在特性の重みに比べて小さくすることができ、脳の高次処理であるトップダウン機能を中心に判定を行うことができる。
前記学習視線分布の生成に用いた画像数に基づき学習進捗度を演算する学習進捗度演算手段と、前記視線挙動分布と前記学習視線分布との差異が判定閾値以上のとき、前記運転者の異常を判定すると共に、前記学習進捗度が大きい程潜在特性に対する顕在特性の重み付け割合を増加する運転者異常推定手段とを有するため、運転者の視線学習期間が不十分であるとき、個人差による影響が小さい潜在特性の重みを個人差による影響が大きい顕在特性の重みに比べて大きくすることができ、脳の低次処理であるボトムアップ機能を中心に判定を行うことができる。また、運転者の視線学習期間が十分であるとき、個人差による影響が小さい潜在特性の重みを個人差による影響が大きい顕在特性の重みに比べて小さくすることができ、脳の高次処理であるトップダウン機能を中心に判定を行うことができる。
本発明の運転者状態判定方法及びその判定システムによれば、学習進捗度に応じて潜在特性の重みと顕在特性の重との重みを変更することにより、運転者の視線学習期間に拘らず状態判定精度を確保することができる。
以下、本発明の実施形態を図面に基づいて詳細に説明する。
以下の説明は、本発明を車両の運転者状態判定システムに適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。
また、以下の説明は、運転者状態判定方法の説明を含むものである。
以下の説明は、本発明を車両の運転者状態判定システムに適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。
また、以下の説明は、運転者状態判定方法の説明を含むものである。
以下、本発明の実施例1について図1~図17に基づいて説明する。
この運転者状態判定システムSは、車両を操縦する運転者の視線挙動に基づき運転者の異常状態の予兆を捉えることにより、運転者の状態を推定するシステムである。
車両は、例えば、右ハンドル式の自動四輪車であり、マニュアル運転と、アシスト運転と、自動運転とに切り換え可能である。マニュアル運転は、運転者の操作(例えば、アクセル操作等)に応じて走行する運転である。アシスト運転は、運転者の操作を車両が支援して走行する運転である。自動運転は、運転者の操作なしに走行する運転である。
この運転者状態判定システムSは、車両を操縦する運転者の視線挙動に基づき運転者の異常状態の予兆を捉えることにより、運転者の状態を推定するシステムである。
車両は、例えば、右ハンドル式の自動四輪車であり、マニュアル運転と、アシスト運転と、自動運転とに切り換え可能である。マニュアル運転は、運転者の操作(例えば、アクセル操作等)に応じて走行する運転である。アシスト運転は、運転者の操作を車両が支援して走行する運転である。自動運転は、運転者の操作なしに走行する運転である。
図1に示すように、運転者状態判定システムSは、マニュアル運転及びアシスト運転において、車両による挙動を制御する。具体的には、運転者状態判定システムSは、車両に設けられたアクチュエータ3を制御することで車両の動作(特に走行動作)を制御する。
運転者状態判定システムSは、情報取得部1と、制御部2と、アクチュエータ3と、通知部4を主な構成要素としている。運転者の異常が判定されたとき、アクチュエータ3により車両が予め設定された安全領域に退避され、通知部4により運転者の異常が管理センタに通知される。
運転者状態判定システムSは、情報取得部1と、制御部2と、アクチュエータ3と、通知部4を主な構成要素としている。運転者の異常が判定されたとき、アクチュエータ3により車両が予め設定された安全領域に退避され、通知部4により運転者の異常が管理センタに通知される。
まず、情報取得部1について説明する。
情報取得部1は、車両の制御、主に走行制御に用いられる各種情報、車両周辺状況に関する各種情報、及び運転者の状態判定に用いられる各種情報を各々取得するものである。
図1に示すように、この情報取得部1は、複数の外部カメラ11と、内部カメラ12と、複数のレーダ13と、位置センサ14と、外部入力部15と、車両状態センサ16と、運転操作センサ17と、生体情報センサ18等を備えている。
外部カメラ11と、複数のレーダ13と、位置センサ14と、外部入力部15が、周辺情報取得手段、内部カメラ12及び生体情報センサ18が、運転者特性取得手段、車両状態センサ16及び運転操作センサ17が、車両状態取得手段に夫々対応している。
情報取得部1は、車両の制御、主に走行制御に用いられる各種情報、車両周辺状況に関する各種情報、及び運転者の状態判定に用いられる各種情報を各々取得するものである。
図1に示すように、この情報取得部1は、複数の外部カメラ11と、内部カメラ12と、複数のレーダ13と、位置センサ14と、外部入力部15と、車両状態センサ16と、運転操作センサ17と、生体情報センサ18等を備えている。
外部カメラ11と、複数のレーダ13と、位置センサ14と、外部入力部15が、周辺情報取得手段、内部カメラ12及び生体情報センサ18が、運転者特性取得手段、車両状態センサ16及び運転操作センサ17が、車両状態取得手段に夫々対応している。
複数の外部カメラ11は、車両の周囲を全体的に網羅するように設けられ、互いに同様の構成を有する。各々の外部カメラ11は、車両の周囲に広がる環境(車両周辺の外部環境)の一部を撮像することにより、車両の外部環境の一部を示す画像データを取得する。
外部カメラ11に取得された画像データは、制御部2に送信される。外部カメラ11は、広角レンズを有する単眼カメラであり、例えば、CCD(Charge Coupled Device)やCMOS(Complementary metal-oxide-semiconductor)等の固体撮像素子を用いて構成される。
外部カメラ11に取得された画像データは、制御部2に送信される。外部カメラ11は、広角レンズを有する単眼カメラであり、例えば、CCD(Charge Coupled Device)やCMOS(Complementary metal-oxide-semiconductor)等の固体撮像素子を用いて構成される。
内部カメラ12は、車両内部に設けられる。
この内部カメラ12は、運転者の眼球を含む所定領域を撮像することで運転者の目を含む画像データを取得する。内部カメラ12は、運転者の前方に配置され、運転者の眼球が撮像範囲内になるように撮像範囲が設定されている。本車両は、運転者の眠気を判定するための眠気判定装置(図示略)を有し、内部カメラ12は眠気判定装置の撮像手段と兼用されている。内部カメラ12により得られた画像データは、制御部2に送信される。
この内部カメラ12は、運転者の眼球を含む所定領域を撮像することで運転者の目を含む画像データを取得する。内部カメラ12は、運転者の前方に配置され、運転者の眼球が撮像範囲内になるように撮像範囲が設定されている。本車両は、運転者の眠気を判定するための眠気判定装置(図示略)を有し、内部カメラ12は眠気判定装置の撮像手段と兼用されている。内部カメラ12により得られた画像データは、制御部2に送信される。
複数のレーダ13は、車両の周囲を全体的に網羅するように設けられ、互いに同様の構成を有する。レーダ13は、車両の外部環境(例えば、他車両や建物等の障害物)の一部までの方向、相対速度、離隔距離等を求めるために外部環境の一部を検出している。
レーダ13は、車両の外部環境の一部に向けて電波を送信すると共にこの外部環境の一部から反射された反射波を受信することで、車両の外部環境の一部を検出している。レーダ13の検出結果は、制御部2に送信される。
レーダ13は、車両の外部環境の一部に向けて電波を送信すると共にこの外部環境の一部から反射された反射波を受信することで、車両の外部環境の一部を検出している。レーダ13の検出結果は、制御部2に送信される。
位置センサ14は、車両の位置(例えば、緯度及び経度)を検出する。
このセンサ14は、全地球測位システムからのGPS情報を受信し、GPS情報に基づいて車両の位置を検出する。位置センサ14により得られた車両の位置情報は、制御部2に送信される。
このセンサ14は、全地球測位システムからのGPS情報を受信し、GPS情報に基づいて車両の位置を検出する。位置センサ14により得られた車両の位置情報は、制御部2に送信される。
外部入力部15は、車両外部に設けられた車外ネットワーク(例えば、インターネット等)を通じて情報を入力する。外部入力部15は、自車両の周囲に位置する他車両からの通信情報(車車間通信情報)、ナビゲーションシステムからのカーナビゲーションデータ、交通情報、高精度地図情報等を受信する。外部入力部15により得られた車両の位置情報は、制御部2に送信される。
車両状態センサ16は、車両状態(例えば、速度、加速度、及びヨーレート等)を検出する。車両状態センサ16は、車両の走行速度を検出する車速センサ、車両の加速度を検出する加速度センサ、車両のヨーレートを検出するヨーレートセンサ等を含む。
車両状態センサ16により得られた車両の状態情報は、制御部2に送信される。
車両状態センサ16により得られた車両の状態情報は、制御部2に送信される。
運転操作センサ17は、車両に与えられる運転操作を検出する。運転操作センサ17は、アクセル開度センサ、操舵角センサ、ブレーキ油圧センサ等を含む。
アクセル開度センサは、アクセルペダルの操作量を検出する。操舵角センサは、ステアリングホイールの操作量を検出する。ブレーキ油圧センサは、ブレーキペダルの操作量を検出する。運転操作センサ17により得られた車両の運転操作情報は、制御部2に送信される。
アクセル開度センサは、アクセルペダルの操作量を検出する。操舵角センサは、ステアリングホイールの操作量を検出する。ブレーキ油圧センサは、ブレーキペダルの操作量を検出する。運転操作センサ17により得られた車両の運転操作情報は、制御部2に送信される。
生体情報センサ18は、運転者の生体情報(例えば、発汗や心拍等)を検出する。生体情報センサ18により得られた情報は、制御部2に送信される。
次に、制御部2について説明する。
図2に示すように、制御部2は、運転者の直近の視線挙動に基づく視線挙動分布Ba,Bb,Bcと外乱因子が反映された第2補正視線分布Ya,Yb,Yc(学習視線分布)との離隔距離である評価値(差異)によって運転者の異常状態を判定している。
第2補正視線分布Ya,Yb,Ycは、標準的視界画像に基づく基準視線分布Aa,Ab,Acを後述する第1補正係数αを用いて補正して第1補正視線分布Xa,Xb,Xcを求めた後、この第1補正視線分布Xa,Xb,Xcを後述する第2補正係数β(学習情報)を用いた補正により求めている。
図2に示すように、制御部2は、運転者の直近の視線挙動に基づく視線挙動分布Ba,Bb,Bcと外乱因子が反映された第2補正視線分布Ya,Yb,Yc(学習視線分布)との離隔距離である評価値(差異)によって運転者の異常状態を判定している。
第2補正視線分布Ya,Yb,Ycは、標準的視界画像に基づく基準視線分布Aa,Ab,Acを後述する第1補正係数αを用いて補正して第1補正視線分布Xa,Xb,Xcを求めた後、この第1補正視線分布Xa,Xb,Xcを後述する第2補正係数β(学習情報)を用いた補正により求めている。
分布Aa,Ba,Xa,Yaはサリエンシー(誘目度)に関する正規分布、分布Ab,Bb,Xb,Ybはサッケード(跳躍性眼球運動)の振幅に関する正規分布、分布Ac,Bc,Xc,Ycはサッケードの頻度に関する正規分布である。サリエンシー及びサッケードの頻度は、脳の低次処理、所謂運転者の潜在特性を表す指標であり、サッケードの振幅は、脳の高次処理、所謂運転者の顕在特性を表す指標である。
尚、特段の説明がない場合、各々を総称して、基準視線分布Aa,Ab,Acを基準視線分布A、視線挙動分布Ba,Bb,Bcを視線挙動分布B、第1補正視線分布Xa,Xb,Xcを第1補正視線分布X、第2補正視線分布Ya,Yb,Ycを第2補正視線分布Yと記載する。
尚、特段の説明がない場合、各々を総称して、基準視線分布Aa,Ab,Acを基準視線分布A、視線挙動分布Ba,Bb,Bcを視線挙動分布B、第1補正視線分布Xa,Xb,Xcを第1補正視線分布X、第2補正視線分布Ya,Yb,Ycを第2補正視線分布Yと記載する。
図1に示すように、制御部2は、画像処理部21と、注意度検出部22と、視界画像作成部23(視界画像作成手段)と、視線挙動分布生成部24(視線挙動分布生成手段)と、補正部25と、学習視線分布生成部26(学習視線分布生成手段)と、異常推定部27(運転者異常推定手段)等を主な構成要素としている。
まず、画像処理部21について説明する。
画像処理部21は、複数の外部カメラ11で撮像された画像と内部カメラ12で撮像された画像とを夫々受信し、画像処理を行う。これらの撮像された画像には、外部環境を認識するために用いる画像と、サリエンシーマップの生成に用いる画像と、運転者の視線方向を検出するために用いる画像とが含まれている。
画像処理部21では、画像の歪を補正する歪補正処理や、画像のホワイトバランスを調整するホワイトバランス調整処理等を行う。
画像処理部21は、複数の外部カメラ11で撮像された画像と内部カメラ12で撮像された画像とを夫々受信し、画像処理を行う。これらの撮像された画像には、外部環境を認識するために用いる画像と、サリエンシーマップの生成に用いる画像と、運転者の視線方向を検出するために用いる画像とが含まれている。
画像処理部21では、画像の歪を補正する歪補正処理や、画像のホワイトバランスを調整するホワイトバランス調整処理等を行う。
次に、注意度検出部22について説明する。
注意度検出部22は、レーダ13と位置センサ14と及び外部入力部15とから出力された情報に基づき自車両周辺の環境因子を認識している。具体的には、道路環境及び障害物等を検出している。道路環境要因は、主に、交差点やT字路等の形状、道路勾配等の地形、舗装状態等である。障害物要因は、主に、障害物の有無、障害物の種類(他車両、歩行者、建物等)、障害物との相対関係(離隔距離、相対速度、配置関係等)等である。
この注意度検出部22は、環境因子を認識して、自車両が走行する外部環境の注意度が所定の閾値よりも高い高注意度であるか否かについて検出している。
注意度検出部22は、レーダ13と位置センサ14と及び外部入力部15とから出力された情報に基づき自車両周辺の環境因子を認識している。具体的には、道路環境及び障害物等を検出している。道路環境要因は、主に、交差点やT字路等の形状、道路勾配等の地形、舗装状態等である。障害物要因は、主に、障害物の有無、障害物の種類(他車両、歩行者、建物等)、障害物との相対関係(離隔距離、相対速度、配置関係等)等である。
この注意度検出部22は、環境因子を認識して、自車両が走行する外部環境の注意度が所定の閾値よりも高い高注意度であるか否かについて検出している。
次に、視界画像作成部23について説明する。
視界画像作成部23は、外部カメラ11及び内部カメラ12からの入力に基づき、運転席に着座した運転者の視界領域に表われる視界画像を作成している。
視界画像作成部23は、内部カメラ12により撮像された運転者の眼球画像から、運転者の視線方向を算出する。例えば、運転者が内部カメラ12のレンズを覗いた状態を基準にして、瞳孔の変化を検知することで運転者の視線方向を算出する。
この視界画像作成部23は、外部カメラ11が撮像した車両前方の外部環境画像に対して車両走行中に運転者の視界領域に入る車体構成部材を合成した視線画像を作成してる。
視界画像作成部23は、運転者の視線方向と視線画像とから運転者の注視点を算出している。
視界画像作成部23は、外部カメラ11及び内部カメラ12からの入力に基づき、運転席に着座した運転者の視界領域に表われる視界画像を作成している。
視界画像作成部23は、内部カメラ12により撮像された運転者の眼球画像から、運転者の視線方向を算出する。例えば、運転者が内部カメラ12のレンズを覗いた状態を基準にして、瞳孔の変化を検知することで運転者の視線方向を算出する。
この視界画像作成部23は、外部カメラ11が撮像した車両前方の外部環境画像に対して車両走行中に運転者の視界領域に入る車体構成部材を合成した視線画像を作成してる。
視界画像作成部23は、運転者の視線方向と視線画像とから運転者の注視点を算出している。
次に、視線挙動分布生成部24について説明する。
視線挙動分布生成部24は、運転者の直近の視線挙動に基づいて視線挙動分布Ba,Bb,Bcを生成している。図3に示すように、視線挙動分布Bは、サリエンシー(誘目度)に関する正規分布Baと、サッケード(跳躍性眼球運動)の振幅に関する正規分布Bbと、サッケードの頻度に関する正規分布Bcとの3つの正規分布により構成されている。
図1に示すように、視線挙動分布生成部24は、サリエンシーマップ作成部24aと、振幅特性作成部24bと、頻度特性作成部24cとを有している。
視線挙動分布生成部24は、運転者の直近の視線挙動に基づいて視線挙動分布Ba,Bb,Bcを生成している。図3に示すように、視線挙動分布Bは、サリエンシー(誘目度)に関する正規分布Baと、サッケード(跳躍性眼球運動)の振幅に関する正規分布Bbと、サッケードの頻度に関する正規分布Bcとの3つの正規分布により構成されている。
図1に示すように、視線挙動分布生成部24は、サリエンシーマップ作成部24aと、振幅特性作成部24bと、頻度特性作成部24cとを有している。
サリエンシーマップ作成部24aは、サリエンシー指標(AUC:Area Under Curve)とリスクポテンシャル(RP)とからなる正規分布Baを作成している。
このサリエンシーマップ作成部24aは、視界画像作成部23が作成した視線画像の車体構成部材以外の部分について、色に基づくサリエンシー、輝度に基づくサリエンシー、動きに基づくサリエンシー等、特徴毎にサリエンシーを算出して特徴毎のサリエンシーマップを生成している。これら生成された特徴毎のサリエンシーマップを足し合わせることで最終的なサリエンシーマップを作成する。
このサリエンシーマップ作成部24aは、視界画像作成部23が作成した視線画像の車体構成部材以外の部分について、色に基づくサリエンシー、輝度に基づくサリエンシー、動きに基づくサリエンシー等、特徴毎にサリエンシーを算出して特徴毎のサリエンシーマップを生成している。これら生成された特徴毎のサリエンシーマップを足し合わせることで最終的なサリエンシーマップを作成する。
図4は、正常な第三者における注視点のサリエンシーの時間変化をプロットしたものである。このグラフは、注視点の変化を所定環境のサリエンシーマップに当てはめて、サッケードが生じる毎に注視点のサリエンシーの高さをプロットしたものである。
一方、図5は、図4で用いたサリエンシーマップと同じサリエンシーマップからランダムに座標(以下、ランダム座標という)を指定して、サッケードが生じる毎にランダム座標のサリエンシーを求めることで生成される。
一方、図5は、図4で用いたサリエンシーマップと同じサリエンシーマップからランダムに座標(以下、ランダム座標という)を指定して、サッケードが生じる毎にランダム座標のサリエンシーを求めることで生成される。
次に、ランダム点における閾値を超える確率と第三者の注視点における閾値を超える確率とのROC(Receiver Operating Characteristic)曲線を求める。
図6に示すように、ランダム点における閾値を超える確率(第1確率)を横軸、第三者の注視点における閾値を超える確率(第2確率)を縦軸とすることで、同一の閾値におけるランダム確率に対する注視確率を表している。
曲線C1のように上側に凸になる場合は、第三者の注視点がランダム点よりも閾値を超える確率が高く、高サリエンシー領域の影響を受けている。曲線C2のように下側に凸になる場合は、第三者の注視点がランダム点よりも閾値を超える確率が低く、高サリエンシー領域の影響を受けていない。
図6に示すように、ランダム点における閾値を超える確率(第1確率)を横軸、第三者の注視点における閾値を超える確率(第2確率)を縦軸とすることで、同一の閾値におけるランダム確率に対する注視確率を表している。
曲線C1のように上側に凸になる場合は、第三者の注視点がランダム点よりも閾値を超える確率が高く、高サリエンシー領域の影響を受けている。曲線C2のように下側に凸になる場合は、第三者の注視点がランダム点よりも閾値を超える確率が低く、高サリエンシー領域の影響を受けていない。
サリエンシー指標(AUC)は、高サリエンシー領域への誘目度が高い程数値が高くなる指標である。図7に示すように、サリエンシー指標は、ROC曲線の右下部分の積分値である。ランダム点との比較を行ったサリエンシー指標を用いることで、高サリエンシー領域の多さや広がり等、走行シーンへの依存性を低減することができる。
リスクポテンシャル(RP)は、自車両の走行環境における危険度(運転者が感じる危険感)を適切に反映するように人工的に設定された場であり、例えば、周辺車両に対して各周辺車両の中心位置が最大となり、各周辺車両の周囲に拡がって行くような形状を有する適当な関数が設定されている。リスクポテンシャルの判定方法として、周辺車両との車間距離やTTC(Time To Collision)、道路線形や線形変化点までの距離等を用いても良い。
そして、所定環境におけるサリエンシー指標の時系列分布を求める(図8参照)。
また、サリエンシー指標の時系列分布と同じ環境におけるリスクポテンシャルの時系列分布を求める(図9参照)。図10に示すように、同じ所定時間(例えば、30sec)におけるサリエンシー指標の時系列分布とリスクポテンシャルの時系列分布とを合成する。
サリエンシー指標とリスクポテンシャルの合成時系列分布を、所定のリスクポテンシャル幅で均等に区分し、各区分領域(以下、binという)におけるサリエンシー指標の確率分布を夫々算出する。
また、サリエンシー指標の時系列分布と同じ環境におけるリスクポテンシャルの時系列分布を求める(図9参照)。図10に示すように、同じ所定時間(例えば、30sec)におけるサリエンシー指標の時系列分布とリスクポテンシャルの時系列分布とを合成する。
サリエンシー指標とリスクポテンシャルの合成時系列分布を、所定のリスクポテンシャル幅で均等に区分し、各区分領域(以下、binという)におけるサリエンシー指標の確率分布を夫々算出する。
図11に示すように、区分領域数が、例えば10の場合、bin1におけるサリエンシー指標の確率分布からbin10におけるサリエンシー指標の確率分布までを全て足し合わせて、最終的な正規分布Ba(運転者の直近の正規分布Ba)を演算している。
振幅特性作成部24bは、サッケード指標の一つである振幅とリスクポテンシャル(RP)とからなる正規分布Bbを作成している。
サッケードとは、運転者が不随意且つ反射的に視線を移動させる跳躍性眼球運動であり、視線が所定時間停滞する注視点から次の注視点に視線を移動させる眼球運動のことである。
図12に示すように、隣り合う注視期間の間に挟まれた期間がサッケード期間となる。サッケードの振幅dsは、サッケード期間における視線の移動距離である。
サッケードとは、運転者が不随意且つ反射的に視線を移動させる跳躍性眼球運動であり、視線が所定時間停滞する注視点から次の注視点に視線を移動させる眼球運動のことである。
図12に示すように、隣り合う注視期間の間に挟まれた期間がサッケード期間となる。サッケードの振幅dsは、サッケード期間における視線の移動距離である。
視線の移動速度が予め定められた速度閾値(例えば、2deg/s)未満である状態が予め定められた停滞時間継続する期間(例えば、0.1秒間)を注視期間として抽出し、隣り合う注視期間の間に挟まれた期間における視線移動のうち、移動速度が速度閾値(例えば、40deg/s)以上で且つ移動距離が距離閾値(例えば、3deg)以上である視線移動をサッケード候補として抽出している。
図13に示すように、例えば最小二乗法により複数のサッケード候補を用いて回帰曲線L10を導出する。次に、回帰曲線L10を移動速度が減少する方向にシフトさせることで第1基準曲線L11を導出し、回帰曲線L10を移動速度が増加する方向にシフトさせることで第2基準曲線L12を導出する。そして、第1基準曲線L11と第2基準曲線L12との間をサッケード範囲R10として、このサッケード範囲R10に含まれるサッケード候補を選択されたサッケードとして抽出する。
振幅特性作成部24bは、正規分布Baのときと同様に、所定環境におけるサッケード指標の振幅に係る時系列分布(図示略)を求める。また、サッケード指標の時系列分布と同じ環境におけるリスクポテンシャルの時系列分布(図示略)を求める。
同じ所定時間(例えば、30sec)におけるサッケード指標の時系列分布とリスクポテンシャルの時系列分布とを合成する。サッケード指標とリスクポテンシャルの合成時系列分布を、所定のリスクポテンシャル幅で均等に区分し、各区分領域におけるサッケード指標の確率分布を夫々算出する。区分領域数が、例えば10の場合、bin1のサッケード指標の確率分布からbin10のサッケード指標の確率分布を全て合成してサッケードに関する正規分布Bbを演算する。
同じ所定時間(例えば、30sec)におけるサッケード指標の時系列分布とリスクポテンシャルの時系列分布とを合成する。サッケード指標とリスクポテンシャルの合成時系列分布を、所定のリスクポテンシャル幅で均等に区分し、各区分領域におけるサッケード指標の確率分布を夫々算出する。区分領域数が、例えば10の場合、bin1のサッケード指標の確率分布からbin10のサッケード指標の確率分布を全て合成してサッケードに関する正規分布Bbを演算する。
頻度特性作成部24cは、サッケード指標の一つである頻度とリスクポテンシャル(RP)とからなる正規分布Bcを作成している。サッケード指標の一つである頻度は、所定時間(例えば、30sec)におけるサッケード回数を所定時間で除算した値である。
この頻度特性作成部24cは、正規分布Baのときと同様に、所定環境におけるサッケード指標の頻度に係る時系列分布(図示略)とリスクポテンシャルの時系列分布(図示略)とを用いてサッケードに関する正規分布Bcを演算する。
この頻度特性作成部24cは、正規分布Baのときと同様に、所定環境におけるサッケード指標の頻度に係る時系列分布(図示略)とリスクポテンシャルの時系列分布(図示略)とを用いてサッケードに関する正規分布Bcを演算する。
次に、補正部25について説明する。
補正部25は、環境と車両特性に起因した第1の外乱因子による影響度を用いて基準視線分布Aを補正して第1補正視線分布Xを算出している。
基本となる基準視線分布Aは、車両が工場から出荷される前段階、具体的には、先行実験等により正常な第三者の視線挙動を用いて事前に作成されている。また、基準視線分布Aを生成する基準視線分布生成手段は、先行実験を行う実験場に設けられている。
事前に作成されたデータ(基準視線分布A、第1補正係数α)は、予め車両に格納されている。
補正部25は、環境と車両特性に起因した第1の外乱因子による影響度を用いて基準視線分布Aを補正して第1補正視線分布Xを算出している。
基本となる基準視線分布Aは、車両が工場から出荷される前段階、具体的には、先行実験等により正常な第三者の視線挙動を用いて事前に作成されている。また、基準視線分布Aを生成する基準視線分布生成手段は、先行実験を行う実験場に設けられている。
事前に作成されたデータ(基準視線分布A、第1補正係数α)は、予め車両に格納されている。
人の視線挙動は、外乱因子のうち主に、N因子、所謂、環境因子、ヒト因子、車因子の影響を受けて変化する特性を有している。これらN因子の影響によって運転者の状態推定精度は変化する。第1の外乱因子は、N因子のうち個人差による影響が低い環境因子と車因子である。環境因子は、例えば、以下のものである。
道路(道路:種別、形状、車線数、数)
道路境界(道路:種別、相対位置、TTC)
周辺交通(種別:数、相対位置、TTC)
歩行者(種別:数、相対位置、TTC)
構造物(死角、衝突予測距離)
天候(晴、雨)
照明(昼、夜)
道路(道路:種別、形状、車線数、数)
道路境界(道路:種別、相対位置、TTC)
周辺交通(種別:数、相対位置、TTC)
歩行者(種別:数、相対位置、TTC)
構造物(死角、衝突予測距離)
天候(晴、雨)
照明(昼、夜)
車因子は、例えば、以下のものである。
自車両挙動(車速、加速度、減速度、ヨーレート)
車両特性(操作/路面入力への応答
窓枠構造(形状/加飾、インパネ奥行き)
アイポイント(高さ)
HMI(HUD他のレイアウト)
環境因子と車因子は、上記項目のうちから1つ或いは複数の因子を夫々設定し、設定された因子について、以下の処理を行っている。
自車両挙動(車速、加速度、減速度、ヨーレート)
車両特性(操作/路面入力への応答
窓枠構造(形状/加飾、インパネ奥行き)
アイポイント(高さ)
HMI(HUD他のレイアウト)
環境因子と車因子は、上記項目のうちから1つ或いは複数の因子を夫々設定し、設定された因子について、以下の処理を行っている。
補正部25は、環境因子及び車因子の水準を考慮し、公知の統計学的手法を用いて環境因子及び車因子に応じた第1補正係数α(αa,αb,αc)を演算する。
補正部25は、第1補正係数αを演算した後、次式によって第1補正視線分布Xa,Xb,Xcを求める。
X=α×A …(1)
尚、第1補正係数αは、環境因子と車因子を任意に変更して事前演算が可能であるため、本実施形態において、基準視線分布A、第1補正係数α、及び第1補正視線分布Xは、工場出荷前に予め車両に格納されている。
補正部25は、第1補正係数αを演算した後、次式によって第1補正視線分布Xa,Xb,Xcを求める。
X=α×A …(1)
尚、第1補正係数αは、環境因子と車因子を任意に変更して事前演算が可能であるため、本実施形態において、基準視線分布A、第1補正係数α、及び第1補正視線分布Xは、工場出荷前に予め車両に格納されている。
次に、学習視線分布生成部26について説明する。
学習視線分布生成部26は、運転者のヒト因子に関する第2補正係数βを用いて第2補正視線分布Yを生成している。図1に示すように、学習視線分布生成部26は、学習情報生成部26aを備えている。この学習情報生成部26aは、車両の物理状態と運転者の特性と運転者の視線挙動とを関連付けた第2補正係数βを生成している。
ヒト因子は、N因子のうち個人差による影響が高い特性を有している。
学習視線分布生成部26は、運転者のヒト因子に関する第2補正係数βを用いて第2補正視線分布Yを生成している。図1に示すように、学習視線分布生成部26は、学習情報生成部26aを備えている。この学習情報生成部26aは、車両の物理状態と運転者の特性と運転者の視線挙動とを関連付けた第2補正係数βを生成している。
ヒト因子は、N因子のうち個人差による影響が高い特性を有している。
ヒト因子は、例えば、以下のものである。
体調(病気、疲労、覚醒度、酔い)
心理(快不快;不安・緊張/ワクワク、活性度、期待)
経験(直前の短期、長期的)
運転スキル(心身機能、メタ認知)
運転スタイル(価値観、性格、嗜好)
運転意識(安全意識、運転意欲、自己認識)
意思(運転目的、他乗員有無と関係)
文化
年齢(若年/高齢、価値観)
性別
ヒト因子は、上記項目のうちから1つ或いは複数の因子を設定し、設定された因子について、以下の処理を行っている。
体調(病気、疲労、覚醒度、酔い)
心理(快不快;不安・緊張/ワクワク、活性度、期待)
経験(直前の短期、長期的)
運転スキル(心身機能、メタ認知)
運転スタイル(価値観、性格、嗜好)
運転意識(安全意識、運転意欲、自己認識)
意思(運転目的、他乗員有無と関係)
文化
年齢(若年/高齢、価値観)
性別
ヒト因子は、上記項目のうちから1つ或いは複数の因子を設定し、設定された因子について、以下の処理を行っている。
学習情報生成部26aは、ヒト因子の水準を考慮し、公知の統計学的手法を用いてヒト因子に応じた第2補正係数β(βa,βb,βc)を演算する。
学習視線分布生成部26は、第2補正係数βを演算した後、次式によって第2補正視線分布Ya,Yb,Ycを求める。
Y=β×X …(2)
学習視線分布生成部26は、第2補正係数βを演算した後、次式によって第2補正視線分布Ya,Yb,Ycを求める。
Y=β×X …(2)
次に、異常推定部27について説明する。
異常推定部27は、運転者の異常を判定可能に構成されている。この異常推定部27は、学習進捗度演算部27aを備えている。学習進捗度演算部27aは、運転者の個人特性について学習の進み具合、所謂学習進捗度Stを演算している。
この学習進捗度Stは、運転者の個人特性を特定するために必要十分な画像データのフレーム数をF1、運転者に係る画像フレームであり且つ第2補正視線分布Yを生成するために使用した画像フレーム数をF2としたとき、次式を用いて演算する。
St=F2/F1 …(3)
異常推定部27は、運転者の異常を判定可能に構成されている。この異常推定部27は、学習進捗度演算部27aを備えている。学習進捗度演算部27aは、運転者の個人特性について学習の進み具合、所謂学習進捗度Stを演算している。
この学習進捗度Stは、運転者の個人特性を特定するために必要十分な画像データのフレーム数をF1、運転者に係る画像フレームであり且つ第2補正視線分布Yを生成するために使用した画像フレーム数をF2としたとき、次式を用いて演算する。
St=F2/F1 …(3)
異常推定部27は、運転者の異常を判定するため、確率分布の乖離度を用いた第1の異常判定機能と、サリエンシー指標(図7参照)を用いた第2の異常判定機能と、注意度を用いた第3の異常判定機能との3つの判定機能を有している。
第1の異常判定機能は、運転者の直近(例えば、30sec期間)の視線挙動分布Bと第2補正視線分布Yとの差異である評価値が判定閾値以上のとき、運転者の異常状態を判定している。本実施形態では、図2に示すように、異常推定部26は、視線挙動分布Ba,Bb,Bcと第2補正視線分布Ya,Yb,Ycとの乖離度を評価値としてカルバック・ライブラー情報量を用いて夫々演算する。
分布Ba,Yaの評価値Daと、分布Bb,Ybの評価値Dbと、分布Bc,Ycの評価値Dcとを夫々求めて、次式に代入することで総評価値Dを算出する。
D=W×(Da+Dc)+(1-W)×Db …(4)
尚、W(0<W<1)は、重み付け係数である。
総評価値Dは、学習進捗度Stが小さい(学習期間が短い)とき、評価値Da,Dcの重みが評価値Dbの重みよりも大きくなるように設定され、学習進捗度Stが大きい(学習期間が長い)とき、評価値Da,Dcの重みが評価値Dbの重みよりも小さくなるように設定されている。総評価値Dが判定閾値(例えば、0.6)以上のとき、運転者の状態異常が判定される。
D=W×(Da+Dc)+(1-W)×Db …(4)
尚、W(0<W<1)は、重み付け係数である。
総評価値Dは、学習進捗度Stが小さい(学習期間が短い)とき、評価値Da,Dcの重みが評価値Dbの重みよりも大きくなるように設定され、学習進捗度Stが大きい(学習期間が長い)とき、評価値Da,Dcの重みが評価値Dbの重みよりも小さくなるように設定されている。総評価値Dが判定閾値(例えば、0.6)以上のとき、運転者の状態異常が判定される。
重み付け係数Wは、P,Q,Rを係数としたとき、次式により求めることができる。
W=1/(1+e-P×(St×Q-R)) …(5)
この重み付け係数Wは、活性化関数の1つであるシグモイド関数のように点対称となる単調増加関数であり、係数P,Q,Rは、任意に設定可能である。
W=1/(1+e-P×(St×Q-R)) …(5)
この重み付け係数Wは、活性化関数の1つであるシグモイド関数のように点対称となる単調増加関数であり、係数P,Q,Rは、任意に設定可能である。
第2の異常判定機能は、サリエンシー指標(ROC曲線の右下部分の積分値)が所定の判定閾値以上のとき、運転者の注意力が低下していると推定する。
第3の異常判定機能は、注意度検出部22により高注意度が検出され且つサッケードの振幅dsが大幅に減少した場合、運転者の注意力が低下していると推定する一方、注意度検出部22により低注意度が検出され且つサッケードの頻度が大幅に減少した場合、運転者の注意力が低下していると推定する。
第3の異常判定機能は、注意度検出部22により高注意度が検出され且つサッケードの振幅dsが大幅に減少した場合、運転者の注意力が低下していると推定する一方、注意度検出部22により低注意度が検出され且つサッケードの頻度が大幅に減少した場合、運転者の注意力が低下していると推定する。
図14~図17のフローチャートに基づき、運転者の状態判定処理手順の一例について説明する。尚、図中、Si(i=1,2,…)は、各ステップを示す。
図14のフローチャートによって、事前学習処理の例を示す。事前学習処理は、基本的に車両が工場から出荷される前段階、例えば、実験場等で行われる。
先ず、情報取得部1からの情報や各種実験結果等各種情報を読み込み(S1)、S2に移行する。S2では、正常な第三者における標準的サリエンシー指標及び標準的サッケード指標(振幅、頻度)を演算した後、S3に移行する。
先ず、情報取得部1からの情報や各種実験結果等各種情報を読み込み(S1)、S2に移行する。S2では、正常な第三者における標準的サリエンシー指標及び標準的サッケード指標(振幅、頻度)を演算した後、S3に移行する。
S3では、正常な第三者における標準的サリエンシー指標及び標準的サッケード指標に関するデータが十分に確保されたか否か判定する。
S3の判定の結果、データが十分に確保された場合、基準視線分布Aa,Ab,Acを夫々演算して(S4)、S5に移行する。S3の判定の結果、データが十分に確保されていない場合、S1にリターンする。
S3の判定の結果、データが十分に確保された場合、基準視線分布Aa,Ab,Acを夫々演算して(S4)、S5に移行する。S3の判定の結果、データが十分に確保されていない場合、S1にリターンする。
S5では、第1補正視線分布Xを求め、式(1)を用いて第1補正係数αを演算した後、S6に移行する。
第1補正視線分布Xは正常状態の指標に相当しているため、標準的サリエンシー指標に対応する確率分布及び標準的サッケード指標に対応する確率分布は、第1補正視線分布Xに相当している。そこで、式(1)に、基準視線分布Aと第1補正視線分布Xに相当する標準的サリエンシー指標に対応する確率分布及び標準的サッケード指標に対応する確率分布とを代入することにより、第1補正係数αを演算する。
S6では、基準視線分布A及び第1補正係数αを制御部2に保存した後、終了する。
第1補正視線分布Xは正常状態の指標に相当しているため、標準的サリエンシー指標に対応する確率分布及び標準的サッケード指標に対応する確率分布は、第1補正視線分布Xに相当している。そこで、式(1)に、基準視線分布Aと第1補正視線分布Xに相当する標準的サリエンシー指標に対応する確率分布及び標準的サッケード指標に対応する確率分布とを代入することにより、第1補正係数αを演算する。
S6では、基準視線分布A及び第1補正係数αを制御部2に保存した後、終了する。
次に、図15のフローチャートによって、運転者の状態判定処理の例を示す。
状態判定処理は、運転者による車両の走行操作時に行われる。
先ず、情報取得部1からの情報、基準視線分布A、第1補正係数α等各種情報を読み込み(S11)、S12に移行する。S12では、現在のサリエンシー指標及び現在のサッケード指標(振幅、頻度)を演算した後、S13に移行する。
状態判定処理は、運転者による車両の走行操作時に行われる。
先ず、情報取得部1からの情報、基準視線分布A、第1補正係数α等各種情報を読み込み(S11)、S12に移行する。S12では、現在のサリエンシー指標及び現在のサッケード指標(振幅、頻度)を演算した後、S13に移行する。
S13では、信頼度が高い第2補正係数βを保持しているか否かを判定する。
S13の判定の結果、第2補正係数βを保持している場合、第2補正視線分布Yを演算することができるため、S14に移行する。S14では、式(1)に基準視線分布Aと第1補正係数αを代入して第1補正視線分布Xを演算した後、式(2)に第1補正視線分布Xと第2補正係数βを代入して第2補正視線分布Yを求める。
S13の判定の結果、第2補正係数βを保持している場合、第2補正視線分布Yを演算することができるため、S14に移行する。S14では、式(1)に基準視線分布Aと第1補正係数αを代入して第1補正視線分布Xを演算した後、式(2)に第1補正視線分布Xと第2補正係数βを代入して第2補正視線分布Yを求める。
S15では、視線挙動分布Bと第2補正視線分布Yとの差異が演算され、S16に移行する。視線挙動分布Bと第2補正視線分布Yとの差異は、カルバック・ライブラー情報量を用いて乖離度(離隔距離)として演算される。各々の乖離度は、分布Ba,Yaの評価値Da、分布Bb,Ybの評価値Db、分布Bc,Ycの評価値Dcによって表されている。
S16では、S15で夫々取得された評価値Da、評価値Db、及び評価値Dcを用いて最終的な総評価値Dを求めて、S17に移行する。
S17では、総評価値Dが判定閾値以上か否か判定する。
S17の判定の結果、総評価値Dが判定閾値以上の場合、運転者の現在の状態を表す視線挙動分布Bが正常状態の指標に相当する第2補正視線分布Yから離隔しているため、運転者の状態が異常である異常判定を行い(S18)、終了する。
S17の判定の結果、総評価値Dが判定閾値未満の場合、運転者の現在の状態を表す視線挙動分布Bが正常状態の指標に相当する第2補正視線分布Yに接近しているため、運転者の状態が正常である正常判定を行い(S19)、終了する。
S17では、総評価値Dが判定閾値以上か否か判定する。
S17の判定の結果、総評価値Dが判定閾値以上の場合、運転者の現在の状態を表す視線挙動分布Bが正常状態の指標に相当する第2補正視線分布Yから離隔しているため、運転者の状態が異常である異常判定を行い(S18)、終了する。
S17の判定の結果、総評価値Dが判定閾値未満の場合、運転者の現在の状態を表す視線挙動分布Bが正常状態の指標に相当する第2補正視線分布Yに接近しているため、運転者の状態が正常である正常判定を行い(S19)、終了する。
S13の判定の結果、判定時点において第2補正係数βを保持していない場合、第2補正視線分布Yを演算することができないため、S20に移行する。
S20では、第2補正係数βを保持していないため、視線挙動に係るサリエンシーやサッケード以外の生体情報指標、例えば、心拍や血圧等を用いて運転者の状態を推定した後、S21に移行する。
S20では、第2補正係数βを保持していないため、視線挙動に係るサリエンシーやサッケード以外の生体情報指標、例えば、心拍や血圧等を用いて運転者の状態を推定した後、S21に移行する。
S21では、視線挙動に係るサリエンシーやサッケード以外の生体情報指標を用いて運転者の状態が正常状態か否か判定する。
S21の判定の結果、運転者が正常状態の場合、第2補正係数βを取得するため、S22に移行する。S22では、高精度の第2補正係数βを取得できるまで視線挙動分布Bを蓄積すると共に学習して、終了する。S21の判定の結果、運転者が正常状態ではない場合、第2補正係数βを取得することができないため、終了する。
S21の判定の結果、運転者が正常状態の場合、第2補正係数βを取得するため、S22に移行する。S22では、高精度の第2補正係数βを取得できるまで視線挙動分布Bを蓄積すると共に学習して、終了する。S21の判定の結果、運転者が正常状態ではない場合、第2補正係数βを取得することができないため、終了する。
次に、図16のフローチャートによって、総評価値演算処理(S16)の例を示す。
総評価値演算処理は、視線挙動分布Bと第2補正視線分布Yから総評価値Dを演算する際に行われる。先ず、運転者の個人特性を特定するために必要十分な画像フレーム数F1と第2補正視線分布Yを生成するために使用した画像フレーム数F2を式(3)に代入して学習進捗度Stを算出し(S31)、S32に移行する。
総評価値演算処理は、視線挙動分布Bと第2補正視線分布Yから総評価値Dを演算する際に行われる。先ず、運転者の個人特性を特定するために必要十分な画像フレーム数F1と第2補正視線分布Yを生成するために使用した画像フレーム数F2を式(3)に代入して学習進捗度Stを算出し(S31)、S32に移行する。
S32では、学習進捗度Stが予め設定された判定閾値以上か否か判定する。
S32の判定の結果、学習進捗度Stが予め設定された判定閾値以上の場合、運転者の個人特性を特定するために必要十分な画像データを取得し、精度の高い学習が既に行われているため、S33に移行する。S32の判定の結果、学習進捗度Stが予め設定された判定閾値未満の場合、運転者の個人特性を特定するために必要十分な画像データが取得されておらず、運転者に関するヒト因子の情報が不足しているため、S31にリターンする。
S32の判定の結果、学習進捗度Stが予め設定された判定閾値以上の場合、運転者の個人特性を特定するために必要十分な画像データを取得し、精度の高い学習が既に行われているため、S33に移行する。S32の判定の結果、学習進捗度Stが予め設定された判定閾値未満の場合、運転者の個人特性を特定するために必要十分な画像データが取得されておらず、運転者に関するヒト因子の情報が不足しているため、S31にリターンする。
S33では、学習進捗度Stと式(5)とを用いて重み付け係数Wを演算し、S34に移行する。S34では、重み付け係数W、評価値Da、評価値Db、評価値Dc、及び式(4)とを用いて総評価値Dを演算し、終了する。
次に、図17のフローチャートによって、学習フェーズ処理(S22)の例を示す。
学習フェーズ処理は、第2補正係数βを取得するため、視線挙動分布Bを学習する際に行われる。先ず、情報取得部1からの情報、基準視線分布A、第1補正係数α等各種情報を読み込み(S41)、S42に移行する。S42では、現在のサリエンシー指標及び現在のサッケード指標(振幅、頻度)を演算した後、S43に移行する。
学習フェーズ処理は、第2補正係数βを取得するため、視線挙動分布Bを学習する際に行われる。先ず、情報取得部1からの情報、基準視線分布A、第1補正係数α等各種情報を読み込み(S41)、S42に移行する。S42では、現在のサリエンシー指標及び現在のサッケード指標(振幅、頻度)を演算した後、S43に移行する。
S43では、運転者の状態が正常状態か否か判定する。
S43の判定の結果、運転者の状態が正常状態の場合、視線挙動分布Bを学習するため、視線挙動分布Bに関する撮像データを蓄積し、S44に移行する。
S43の判定の結果、運転者の状態が正常状態ではない場合、視線挙動分布Bに関するデータを蓄積することができないため、S41にリターンする。
S43の判定の結果、運転者の状態が正常状態の場合、視線挙動分布Bを学習するため、視線挙動分布Bに関する撮像データを蓄積し、S44に移行する。
S43の判定の結果、運転者の状態が正常状態ではない場合、視線挙動分布Bに関するデータを蓄積することができないため、S41にリターンする。
S44では、第2補正係数βを演算するに当り、視線挙動分布Bに関する必要十分なデータ量が確保できたか否か判定する。
S44の判定の結果、視線挙動分布Bに関するデータ量が確保できた場合、S45に移行する。S44の判定の結果、視線挙動分布Bに関するデータ量が確保できていない場合、更にデータを確保するため、S41にリターンする。
S44の判定の結果、視線挙動分布Bに関するデータ量が確保できた場合、S45に移行する。S44の判定の結果、視線挙動分布Bに関するデータ量が確保できていない場合、更にデータを確保するため、S41にリターンする。
S45では、第2補正係数βを演算し、第2補正係数βを保存した後(S46)、終了する。第2補正視線分布Yは正常状態の指標に相当しているため、正常状態の視線挙動分布Bは、直近の第2補正視線分布Yに相当するものである。そこで、式(2)に、第1補正視線分布X(基準視線分布A、第1補正係数α)と、直近の第2補正視線分布Yに相当する視線挙動分布Bとを代入して第2補正係数βを演算する。
次に、上記運転者状態判定システムSの作用、効果について説明する。
この運転者状態判定方法では、車両の物理状態と、運転者の特性と、運転者の視線挙動とを関連付けた第2補正係数βを生成する学習情報生成工程(S45)と、基準視線分布Aと第2補正係数βを用いて第2補正視線分布Yを生成する運転者学習視線分布生成工程(S14)とを有するため、運転者の視線挙動とを関連付けた第2補正係数βを用いて第2補正視線分布Yを生成することができる。第2補正視線分布Yの生成に用いた画像数C2に基づき学習進捗度Stを演算する学習進捗度演算工程(S31)と、視線挙動分布Bと第2補正視線分布Yとの差異が判定閾値以上のとき、運転者の異常を判定すると共に、学習進捗度Stが大きい程潜在特性に対する顕在特性の重み付け割合を増加する運転者異常推定工程(S17)とを有するため、運転者の視線学習期間が不十分であるとき、個人差による影響が小さい潜在特性の重みを個人差による影響が大きい顕在特性の重みに比べて大きくすることができ、脳の低次処理であるボトムアップ機能を中心に判定を行うことができる。また、運転者の視線学習期間が十分であるとき、個人差による影響が小さい潜在特性の重みを個人差による影響が大きい顕在特性の重みに比べて小さくすることができ、脳の高次処理であるトップダウン機能を中心に判定を行うことができる。
この運転者状態判定方法では、車両の物理状態と、運転者の特性と、運転者の視線挙動とを関連付けた第2補正係数βを生成する学習情報生成工程(S45)と、基準視線分布Aと第2補正係数βを用いて第2補正視線分布Yを生成する運転者学習視線分布生成工程(S14)とを有するため、運転者の視線挙動とを関連付けた第2補正係数βを用いて第2補正視線分布Yを生成することができる。第2補正視線分布Yの生成に用いた画像数C2に基づき学習進捗度Stを演算する学習進捗度演算工程(S31)と、視線挙動分布Bと第2補正視線分布Yとの差異が判定閾値以上のとき、運転者の異常を判定すると共に、学習進捗度Stが大きい程潜在特性に対する顕在特性の重み付け割合を増加する運転者異常推定工程(S17)とを有するため、運転者の視線学習期間が不十分であるとき、個人差による影響が小さい潜在特性の重みを個人差による影響が大きい顕在特性の重みに比べて大きくすることができ、脳の低次処理であるボトムアップ機能を中心に判定を行うことができる。また、運転者の視線学習期間が十分であるとき、個人差による影響が小さい潜在特性の重みを個人差による影響が大きい顕在特性の重みに比べて小さくすることができ、脳の高次処理であるトップダウン機能を中心に判定を行うことができる。
運転者異常推定工程(S17)は、視線挙動分布Bの潜在特性に対応した確率分布Ba,Bcと第2補正視線分布Yの潜在特性に対応した確率分布Ya,Ycとの差と、視線挙動分布Bの顕在特性に対応した確率分布Bbと第2補正視線分布Yの顕在特性に対応した確率分布Ybとの差との加算値を視線挙動分布Bと第2補正視線分布Yとの差異とするため、運転者の視線挙動を、ボトムアップ機能とトップダウン機能の両面から評価することができる。
この運転者状態判定システムSでは、車両の物理状態と、運転者の特性と、運転者の視線挙動とを関連付けた第2補正係数βを生成する学習情報生成部26aと、基準視線分布Aと第2補正係数βを用いて第2補正視線分布Yを生成する学習視線分布生成部26とを有するため、第2補正係数βを用いて第2補正視線分布Yを生成することができる。
第2補正視線分布Yの生成に用いた画像数C2に基づき学習進捗度Stを演算する学習進捗度演算部27aと、視線挙動分布Bと第2補正視線分布Yとの差異が判定閾値以上のとき、運転者の異常を判定すると共に、学習進捗度Stが大きい程潜在特性に対する顕在特性の重み付け割合を増加する運転者異常推定部27とを有するため、運転者の視線学習期間が不十分であるとき、個人差による影響が小さい潜在特性の重みを個人差による影響が大きい顕在特性の重みに比べて大きくすることができ、脳の低次処理であるボトムアップ機能を中心に判定を行うことができる。また、運転者の視線学習期間が十分であるとき、個人差による影響が小さい潜在特性の重みを個人差による影響が大きい顕在特性の重みに比べて小さくすることができ、脳の高次処理であるトップダウン機能を中心に判定を行うことができる。
第2補正視線分布Yの生成に用いた画像数C2に基づき学習進捗度Stを演算する学習進捗度演算部27aと、視線挙動分布Bと第2補正視線分布Yとの差異が判定閾値以上のとき、運転者の異常を判定すると共に、学習進捗度Stが大きい程潜在特性に対する顕在特性の重み付け割合を増加する運転者異常推定部27とを有するため、運転者の視線学習期間が不十分であるとき、個人差による影響が小さい潜在特性の重みを個人差による影響が大きい顕在特性の重みに比べて大きくすることができ、脳の低次処理であるボトムアップ機能を中心に判定を行うことができる。また、運転者の視線学習期間が十分であるとき、個人差による影響が小さい潜在特性の重みを個人差による影響が大きい顕在特性の重みに比べて小さくすることができ、脳の高次処理であるトップダウン機能を中心に判定を行うことができる。
次に、前記実施形態を部分的に変更した変形例について説明する。
1〕前記実施形態においては、環境及び車両特性に起因した第1補正係数αを用いて基準視線分布Aを補正した例を説明したが、環境のみに起因した第1補正係数αを用いて基準視線分布Aを補正しても良く、また、車両特性のみに起因した第1補正係数αを用いて基準視線分布Aを補正しても良い。
1〕前記実施形態においては、環境及び車両特性に起因した第1補正係数αを用いて基準視線分布Aを補正した例を説明したが、環境のみに起因した第1補正係数αを用いて基準視線分布Aを補正しても良く、また、車両特性のみに起因した第1補正係数αを用いて基準視線分布Aを補正しても良い。
2〕前記実施形態においては、基準視線分布生成手段が先行実験を行う実験場に設けられた例を説明したが、車両の制御部2に基準視線分布生成手段を設けても良い。
3〕前記実施形態においては、学習進捗度Stを画像フレーム数と式(3)を用いて演算した例を説明したが、少なくとも学習期間を検出できれば良く、学習進捗度Stを走行距離或いは運転時間をパラメータとして求めても良い。
4〕その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施形態に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。
11 外部カメラ
12 内部カメラ
13 レーダ
14 位置センサ
15 外部入力部
16 車両状態センサ
17 運転操作センサ
18 生体情報センサ
23 視界画像作成部
24 視線挙動分布生成部
26 学習視線分布生成部
26a 学習情報生成部
27 異常推定部
27a 学習進捗度演算部
S 運転者状態判定システム
12 内部カメラ
13 レーダ
14 位置センサ
15 外部入力部
16 車両状態センサ
17 運転操作センサ
18 生体情報センサ
23 視界画像作成部
24 視線挙動分布生成部
26 学習視線分布生成部
26a 学習情報生成部
27 異常推定部
27a 学習進捗度演算部
S 運転者状態判定システム
Claims (3)
- 車両の運転者の状態を判定する運転者状態判定方法において、
前記車両の周辺状況に関する情報を取得する周辺情報取得工程と、
前記車両の物理状態を取得する車両状態取得工程と、
前記運転者の特性を取得する運転者特性取得工程と、
前記運転者の視界に表われる視界画像を作成する視界画像作成工程と、
脳の低次処理を反映した潜在特性と脳の高次処理を反映した顕在特性とについて標準的視界画像に基づく基準視線分布を予め生成する基準視線分布生成工程と、
脳の低次処理を反映した潜在特性と脳の高次処理を反映した顕在特性とについて前記運転者の視線挙動に基づく視線挙動分布を生成する視線挙動分布生成工程と、
前記車両の物理状態と、前記運転者の特性と、前記運転者の視線挙動とを関連付けた学習情報を生成する学習情報生成工程と、
前記基準視線分布と前記学習情報を用いて学習視線分布を生成する運転者学習視線分布生成工程と、
前記学習視線分布の生成に用いた画像数に基づき学習進捗度を演算する学習進捗度演算工程と、
前記視線挙動分布と前記学習視線分布との差異が判定閾値以上のとき、前記運転者の異常を判定すると共に、前記学習進捗度が大きい程潜在特性に対する顕在特性の重み付け割合を増加する運転者異常推定工程と、
を有することを特徴とする運転者状態判定方法。 - 前記運転者異常推定工程は、前記視線挙動分布の潜在特性に対応した確率分布と前記学習視線分布の潜在特性に対応した確率分布との差と、前記視線挙動分布の顕在特性に対応した確率分布と前記学習視線分布の顕在特性に対応した確率分布との差との加算値を前記視線挙動分布と前記学習視線分布との差異とすることを特徴とする請求項1に記載の運転者状態判定方法。
- 車両の運転者の状態を判定する運転者状態判定システムにおいて、
前記車両の周辺状況に関する情報を取得する周辺情報取得手段と、
前記車両の物理状態を取得する車両状態取得手段と、
前記運転者の特性を取得する運転者特性取得手段と、
前記運転者の視界に表われる視界画像を作成する視界画像作成手段と、
脳の低次処理を反映した潜在特性と脳の高次処理を反映した顕在特性とについて標準的視界画像に基づく基準視線分布を予め生成する基準視線分布生成手段と、
脳の低次処理を反映した潜在特性と脳の高次処理を反映した顕在特性とについて前記運転者の視線挙動に基づく視線挙動分布を生成する視線挙動分布生成手段と、
前記車両の物理状態と、前記運転者の特性と、前記運転者の視線挙動とを関連付けた学習情報を生成する学習情報生成手段と、
前記基準視線分布と前記学習情報を用いて学習視線分布を生成する運転者学習視線分布生成手段と、
前記運転者学習視線分布生成工程に用いた画像数に基づき学習進捗度を演算する学習進捗度演算手段と、
前記視線挙動分布と前記学習視線分布との差異が判定閾値以上のとき、前記運転者の異常を判定すると共に、前記学習進捗度が大きい程潜在特性に対する顕在特性の重み付け割合を増加する運転者異常推定手段と、
を有することを特徴とする運転者状態判定システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021127275A JP2023022410A (ja) | 2021-08-03 | 2021-08-03 | 運転者状態判定方法及びその判定システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021127275A JP2023022410A (ja) | 2021-08-03 | 2021-08-03 | 運転者状態判定方法及びその判定システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023022410A true JP2023022410A (ja) | 2023-02-15 |
Family
ID=85201855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021127275A Pending JP2023022410A (ja) | 2021-08-03 | 2021-08-03 | 運転者状態判定方法及びその判定システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023022410A (ja) |
-
2021
- 2021-08-03 JP JP2021127275A patent/JP2023022410A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7155122B2 (ja) | 車両制御装置及び車両制御方法 | |
KR102667182B1 (ko) | 차량 제어 디바이스 및 차량 제어 방법 | |
JP7273031B2 (ja) | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム | |
US20210016805A1 (en) | Information processing apparatus, moving device, method, and program | |
US20160246298A1 (en) | Drive assist apparatus | |
JP6666892B2 (ja) | 運転支援装置及び運転支援方法 | |
CN111295699B (zh) | 辅助方法以及利用该辅助方法的辅助系统、辅助装置 | |
KR20200113202A (ko) | 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램 | |
CN107336710A (zh) | 驾驶意识推定装置 | |
JP7459634B2 (ja) | ドライバ異常判定システム | |
JP7331728B2 (ja) | 運転者状態推定装置 | |
US20240034362A1 (en) | Information processing device, information processing method, and information processing program | |
JP7459633B2 (ja) | ドライバ異常判定装置 | |
JP7226197B2 (ja) | 車両制御装置 | |
JP7331729B2 (ja) | 運転者状態推定装置 | |
JP7342636B2 (ja) | 車両制御装置および運転者状態判定方法 | |
JP7342637B2 (ja) | 車両制御装置および運転者状態判定方法 | |
JP2023022410A (ja) | 運転者状態判定方法及びその判定システム | |
US20240051585A1 (en) | Information processing apparatus, information processing method, and information processing program | |
JP2023022411A (ja) | 運転者状態判定方法及びその判定システム | |
JP2023022409A (ja) | 運転者状態判定方法及びその判定システム | |
JP7415460B2 (ja) | 車両制御装置及び運転者状態判定方法 | |
JP7318560B2 (ja) | 状態推定装置 | |
JP2021167163A (ja) | ドライバ異常判定装置 | |
JP7298509B2 (ja) | 状態推定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240618 |