JP2023124655A - 座り直し判定装置 - Google Patents
座り直し判定装置 Download PDFInfo
- Publication number
- JP2023124655A JP2023124655A JP2022028548A JP2022028548A JP2023124655A JP 2023124655 A JP2023124655 A JP 2023124655A JP 2022028548 A JP2022028548 A JP 2022028548A JP 2022028548 A JP2022028548 A JP 2022028548A JP 2023124655 A JP2023124655 A JP 2023124655A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- face
- determination
- vehicle
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010586 diagram Methods 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 206010062519 Poor quality sleep Diseases 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】運転者が座り直したか否かを適切に判定することができる座り直し判定装置を提供する。【解決手段】座り直し判定装置は、車両の運転席に着座する運転者の顔を撮影した顔画像から、運転者の顔の位置および向きのそれぞれを表す値を生成する生成部と、現在時刻よりも過去の判定期間に撮影された複数の顔画像から生成された顔の位置および向きのそれぞれを表す値の基本統計量を用いて、運転者が座り直したか否かを判定する判定部と、を備える。【選択図】図8
Description
本開示は、車両の運転席に着座する運転者が座り直したか否かを判定する座り直し判定装置に関する。
車両の運転者が眠気を催すと、交通事故のリスクが高まる。特許文献1には、運転者の頭部を撮影する撮像部により撮像された画像から運転者の眼の輪郭を検出し、運転者の開眼率を導出する乗員観察装置が記載されている。車両の走行制御装置は、導出された開眼率により覚醒度を判断して、覚醒度に応じた車両の走行制御を行うことができる。
車両の加減速または操舵のうち少なくとも一方が自動的に制御される自動運転では、運転者の周辺監視が必要とされない場合がある。このような場合、運転者は、車内に配置されたディスプレイの方向など、進行方向以外の方向に顔を向けていることがある。進行方向以外の方向に顔を向けた運転者を撮影した顔画像に運転者の目領域が適切に含まれない場合、特許文献1に記載の乗員観察装置は、運転者の覚醒度を適切に判断できない。
運転席に着座する運転者が着座姿勢を一時的に変更する座り直し動作は、運転者が眠気を催したときに表れる眠気行動特徴の一つとされている。そのため、運転席に着座する運転者の座り直し動作の有無を判定することにより、運転者の覚醒度を判断することができる。
本開示は、車両の運転者の覚醒度を判断するために、運転者が座り直したか否かを適切に判定することができる座り直し判定装置を提供することを目的とする。
本開示にかかる座り直し判定装置は、車両の運転席に着座する運転者の顔を撮影した顔画像から、運転者の顔の位置および向きのそれぞれを表す値を生成する生成部と、現在時刻よりも過去の判定期間に撮影された複数の顔画像から生成された顔の位置および向きのそれぞれを表す値の基本統計量を用いて、運転者が座り直したか否かを判定する判定部と、を備える。
本開示にかかる座り直し判定装置によれば、車両の運転者が座り直したか否かを適切に判定することができる。
以下、図面を参照して、車両の運転者が座り直したか否かを適切に判定することができる座り直し判定装置について詳細に説明する。座り直し判定装置は、車両の運転席に着座する運転者の顔を撮影した顔画像から、運転者の顔の位置および向きのそれぞれを表す値を生成する。そして、現在時刻よりも過去の判定期間に撮影された複数の顔画像から生成された顔の位置および向きのそれぞれを表す値の基本統計量を用いて、運転者が座り直したか否かを判定する。
図1は、座り直し判定装置が実装される車両の概略構成図である。
車両1は、ドライバモニタカメラ2と、ECU3(Electronic Control Unit)とを有する。ECU3は、座り直し判定装置の一例である。ドライバモニタカメラ2とECU3とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。
ドライバモニタカメラ2は、車両の運転者の顔を撮影して顔画像を生成するための運転者撮影部の一例である。ドライバモニタカメラ2は、CCDあるいはC-MOSなど、赤外光に感度を有する光電変換素子のアレイで構成された2次元検出器と、その2次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。また、ドライバモニタカメラ2は、赤外光を発する光源を有する。ドライバモニタカメラ2は、例えば車室内の前方に、運転席に着座する運転者の顔に向けて取り付けられる。ドライバモニタカメラ2は、所定の撮影周期(例えば1/30秒~1/10秒)ごとに運転者に赤外光を照射し、運転者の顔が写った顔画像を時系列に出力する。
ECU3は、ドライバモニタカメラ2が生成する顔画像から、運転者の顔の位置および向きのそれぞれを表す値を生成する。また、ECU3は、運転者の顔の位置および向きのそれぞれを表す値の基本統計量を用いて、運転者が座り直したか否かを判定する。
図2は、ECU3のハードウェア模式図である。ECU3は、通信インタフェース31と、メモリ32と、プロセッサ33とを備える。
通信インタフェース31は、通信部の一例であり、ECU3を車内ネットワークへ接続するための通信インタフェース回路を有する。通信インタフェース31は、受信したデータをプロセッサ33に供給する。また、通信インタフェース31は、プロセッサ33から供給されたデータを外部に出力する。
メモリ32は、記憶部の一例であり、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ32は、プロセッサ33による処理に用いられる各種データ、例えば、判定期間にドライバモニタカメラ2から時系列で出力される顔画像および顔画像から生成される値を一時的に保存する。また、メモリ32は、顔画像から運転者の顔の位置および向きのそれぞれを表す値を生成するために顔画像に照合される標準的な顔の3次元モデルデータを保存する。また、メモリ32は、基本統計量から座り直しの有無を判定する識別器として動作するニューラルネットワークを規定するためのパラメータ群(層数、層構成、カーネル、重み係数等)を保存する。また、メモリ32は、各種アプリケーションプログラム、例えば座り直し判定処理を実行する座り直し判定用プログラム等を保存する。
プロセッサ33は、制御部の一例であり、1以上のプロセッサおよびその周辺回路を有する。プロセッサ33は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。
図3は、ECU3が有するプロセッサ33の機能ブロック図である。
ECU3のプロセッサ33は、機能ブロックとして、生成部331と、判定部332とを有する。プロセッサ33が有するこれらの各部は、メモリ32に記憶されプロセッサ33上で実行されるコンピュータプログラムによって実装される機能モジュールである。プロセッサ33の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。あるいは、プロセッサ33が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとしてECU3に実装されてもよい。
生成部331は、車両1の運転席に着座する運転者の顔を撮影した顔画像から、運転者の顔の位置および向きのそれぞれを表す値を生成する。
図4はドライバモニタカメラ2による運転者の撮影を説明する模式図であり、図5は判定期間に撮影された複数の顔画像を説明する図である。
ドライバモニタカメラ2は、車両1の運転席DSに着座する運転者の顔に向かうように車両1の車室内に配置される。ドライバモニタカメラ2は、車内ネットワークを介してECU3に、所定の撮影周期ごとに運転者の顔が写った顔画像を出力する。
現在時刻t0よりも過去の判定期間Rk(時刻tkから時刻tk+iまで、例えば10秒間)にドライバモニタカメラ2により出力された顔画像(顔画像Pkから顔画像Pk+iまで)は、メモリ32に一時的に保存される。
生成部331は、メモリ32に一時的に保存された顔画像を、顔の部位を特徴点として検出するよう学習された識別器に入力することにより、運転者の顔の特徴点の位置を特定する。
識別器は、例えば、入力側から出力側に向けて直列に接続された複数の畳み込み層を有する畳み込みニューラルネットワーク(CNN)とすることができる。顔の特徴点を含む顔画像を教師データとして用いて、誤差逆伝搬法といった所定の学習手法に従って予めCNNの学習を行うことにより、CNNは顔の特徴点の位置を特定する識別器として動作する。
生成部331は、標準的な顔の3次元モデルにおける顔の各部位の位置が、顔画像から検出された顔の各部位の位置と最も適合するように、3次元モデルの位置および向きを特定する。そして、生成部331は、特定された3次元モデルの位置および向きのそれぞれを表す値を、顔画像に表された運転者の顔の位置および向きのそれぞれを表す値として生成する。生成部331は、生成された値をメモリ32に一時的に保存する。
図6は、判定期間Rkの顔画像から生成された値の例を示す表T1である。
表T1では、判定期間Rkに含まれるそれぞれの時刻における運転者の顔の位置は、図4に示す座標空間における座標(PX、PY、PZ)により表される。また、表T1では、判定期間Rkに含まれるそれぞれの時刻における運転者の顔の向きは、図4に示す座標空間における座標軸のそれぞれを中心とする回転角(RX、RY、RZ)により表される。
判定部332は、現在時刻よりも過去の判定期間に撮影された複数の顔画像から生成された顔の位置および向きのそれぞれを表す値の基本統計量を用いて、運転者が座り直したか否かを判定する。
判定部332は、まず、メモリ32に一時的に保存された値を読み出して統計処理を行うことにより、判定期間に対応するそれぞれの値の基本統計量を算出する。
図7は、判定期間Rkの顔画像から生成された値の基本統計量の例を示す表T2である。
表T2では、判定期間Rkの顔画像から生成された値の基本統計量として、それぞれの値の要素数、平均、標準偏差、最大値、最小値、中央値、1/4分位数、3/4分位数が示されている。表T2に示される統計量は基本統計量の一例である。判定部332が判定に用いる基本統計量は、これらの一部のみを含むものであってよい。また、判定部332が判定に用いる基本統計量は、最頻値、範囲、歪度、尖度といった他の統計量を含むものであってもよい。
判定部332は、算出された基本統計量のそれぞれを識別器に入力することにより、運転者が座り直したか否かを判定する。識別器は、予め学習された多層(例えば3層)パーセプトロンといったニューラルネットワークとすることができる。識別器は、入力された基本統計量に応じて、当該基本統計量に対応する判定期間に運転者が座り直した確からしさを示す確信度を出力する。判定部332は、出力された確信度がメモリ32に予め保存された確信度閾値を超える場合、運転者が座り直したと判定する。
図8は、座り直し判定処理のフローチャートである。ECU3は、車両1が自動運転により走行している間、図8に示す処理を所定の時間間隔(例えば10秒間隔)で繰り返し実行する。
まず、ECU3のプロセッサ33の生成部331は、車両1の運転席に着座する運転者の顔を撮影した顔画像から、運転者の顔の位置および向きのそれぞれを表す値を生成する(ステップS1)。
続いて、判定部332は、判定期間に撮影された複数の顔画像から生成された顔の位置および向きのそれぞれを表す値の基本統計量を用いて、運転者が座り直したか否かを判定し(ステップS2)、座り直し判定処理を終了する。
このように座り直し判定処理を実行することにより、ECU3は、運転者の顔が前方を向いていない状態であっても運転者が座り直したか否かを適切に判定することができる。ECU3は、座り直し判定処理による判定結果を用いて運転者の覚醒度を判断し、例えば覚醒度が所定の閾値よりも低い場合に運転者に休憩を促すメッセージを表示するといった処理を実行し、覚醒度に応じて車両1の走行を適切に制御することができる。
変形例によれば、判定部332は、判定期間をさらに細分化した単位期間(例えば1秒間)ごとに、基本統計量を算出してもよい。この場合、判定部332は、判定期間に含まれる単位期間ごとの基本統計量を並べたテンソルを識別器に入力することで、運転者が座り直したか否かを判定する。このように処理することで、ECU3は値の時系列変化を座り直し判定により反映させることができる。
当業者は、本発明の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。
1 車両
3 ECU
331 生成部
332 判定部
3 ECU
331 生成部
332 判定部
Claims (1)
- 車両の運転席に着座する運転者の顔を撮影した顔画像から、前記運転者の顔の位置および向きのそれぞれを表す値を生成する生成部と、
現在時刻よりも過去の判定期間に撮影された複数の前記顔画像から生成された前記顔の位置および向きのそれぞれを表す値の基本統計量を用いて、前記運転者が座り直したか否かを判定する判定部と、
を備える座り直し判定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022028548A JP2023124655A (ja) | 2022-02-25 | 2022-02-25 | 座り直し判定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022028548A JP2023124655A (ja) | 2022-02-25 | 2022-02-25 | 座り直し判定装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023124655A true JP2023124655A (ja) | 2023-09-06 |
Family
ID=87885995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022028548A Pending JP2023124655A (ja) | 2022-02-25 | 2022-02-25 | 座り直し判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023124655A (ja) |
-
2022
- 2022-02-25 JP JP2022028548A patent/JP2023124655A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6969493B2 (ja) | 映像出力装置、映像出力方法、及びコンピュータプログラム | |
US20180232588A1 (en) | Driver state monitoring device | |
US20210182617A1 (en) | System and method for detecting abnormal passenger behavior in autonomous vehicles | |
JP6432702B1 (ja) | 算出システム、指標算出方法、およびコンピュータプログラム | |
US20240096116A1 (en) | Devices and methods for detecting drowsiness of drivers of vehicles | |
US20220234594A1 (en) | Monitoring system and non-transitory storage medium | |
CN114103961B (zh) | 面部信息获取装置以及面部信息获取方法 | |
JP7024332B2 (ja) | ドライバモニタシステム | |
JP2023124655A (ja) | 座り直し判定装置 | |
US20230227044A1 (en) | Apparatus, method, and computer program for monitoring driver | |
CN113879321B (zh) | 驾驶员监视装置及驾驶员监视方法 | |
US11983941B2 (en) | Driver monitor | |
JP2023085085A (ja) | 覚醒度判定装置 | |
WO2020255238A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP2019079285A (ja) | 安全運転促進装置及び安全運転促進方法 | |
JP7371591B2 (ja) | 走行制御装置および走行制御方法 | |
JP2023097200A (ja) | 感情推定装置および感情推定方法 | |
US11999233B2 (en) | Driver monitoring device, storage medium storing computer program for driver monitoring, and driver monitoring method | |
JP2022144145A (ja) | 車両 | |
US20240067054A1 (en) | Position displacement device, storage medium storing computer program for position displacement and position displacement method | |
US20240029454A1 (en) | Line of sight estimating device, storage medium for storing computer program for line of sight estimation, and line of sight estimating method | |
JP2024031625A (ja) | 通知装置、通知方法、および通知用コンピュータプログラム | |
CN117985024A (zh) | 车载系统 | |
JP2021189851A (ja) | 覚醒制御装置 | |
JP2023097182A (ja) | ドライバ挙動判定装置、ドライバ挙動判定方法及びドライバ挙動判定用コンピュータプログラム |