JP2023097182A - ドライバ挙動判定装置、ドライバ挙動判定方法及びドライバ挙動判定用コンピュータプログラム - Google Patents

Abstract

【課題】車室内の画像に携帯機器が表されていなくても、ドライバが携帯機器を操作しているか否かを判定できるドライバ挙動判定装置を提供する。
【解決手段】ドライバ挙動判定装置は、車両１０の車室内を撮影するように設けられた撮像部３により得られた画像に基づいて、車両１０のドライバの視線方向を検出する視線方向検出部３１と、車両１０内に位置する携帯機器１１と通信可能な通信部２を介して携帯機器１１から受信した情報に表される携帯機器１１の操作画面の法線方向と視線方向とがなす角度を算出し、その角度が所定の角度範囲内に含まれる場合、ドライバが携帯機器１１を操作していると判定する操作判定部３３とを有する。
【選択図】図３

Description

本発明は、車両のドライバの所定の挙動を判定するドライバ挙動判定装置、ドライバ挙動判定方法及びドライバ挙動判定用コンピュータプログラムに関する。

車両のドライバを監視して、車両の運転中におけるドライバの不適切な挙動を検出する技術が研究されている。特に、ドライバが運転中に携帯機器を操作することで、車両周囲への注意が散漫になると非常に危険であるため、運転中における、ドライバによる携帯機器の操作を検出する技術が提案されている（例えば、特許文献１～３を参照）。

特許文献１に開示された技術では、携帯端末機が備えるカメラで撮影された画像データに基づき、携帯端末機の表示部を運転者が注視しているか否かが判定される。また、特許文献２に開示された技術では、携帯機器に設けられたカメラにより撮影された画像を解析することにより、携帯機器の使用者が運転者であるか否かが判定される。

また、特許文献３に開示された技術では、運転者撮影カメラで撮影された撮影画像に対する画像解析を行って、運転者が、スマートフォンを操作しながら運転するスマホ運転を行っているか否かが判定される。

特開２０１６－６６２８号公報 特開２０１８－１６６２６８号公報 特開２０１９－７４９４４号公報

特許文献１に開示された技術及び特許文献２に開示された技術では、携帯機器が常にドライバを撮影することが求められるため、携帯機器の電力消費量が増加してしまう。また、特許文献３に開示された技術では、車載のカメラによる画像に携帯機器が写っていないと、ドライバが携帯機器を操作しているか否かを判定することができない。しかし、車載のカメラの撮影範囲は限られ、あるいは、カメラの設置位置によっては、ステアリングなどが撮影範囲の一部に死角を生じることがある。そのため、場合によっては、カメラにより生成された画像に携帯機器が写っていないことがある。

そこで、本発明は、車室内の画像に携帯機器が表されていなくても、ドライバが携帯機器を操作しているか否かを判定できるドライバ挙動判定装置を提供することを目的とする。

一つの実施形態によれば、ドライバ挙動判定装置が提供される。このドライバ挙動判定装置は、車両の車室内を撮影するように設けられた撮像部により得られた画像に基づいて車両のドライバの視線方向を検出する視線方向検出部と、車両内に位置する携帯機器と通信可能な通信部を介して携帯機器から受信した情報に表される携帯機器の操作画面の法線方向と視線方向とがなす角度を算出し、その角度が所定の角度範囲内に含まれる場合、ドライバが携帯機器を操作していると判定する操作判定部とを有する。

このドライバ挙動判定装置は、画像に基づいて、ドライバの何れかの手の延伸方向を検出する手方向検出部をさらに有することが好ましい。この場合において、操作判定部は、手の延伸方向と視線方向とが交差する位置が、車両の車室における携帯機器を操作可能な空間に含まれる場合に限り、ドライバが携帯機器を操作していると判定することが好ましい。

また、このドライバ挙動判定装置において、操作判定部は、視線方向が車両の進行方向を中心とする所定の正面範囲内に含まれる場合には、ドライバが携帯機器を操作していると判定しないことが好ましい。

他の実施形態によれば、ドライバ挙動判定方法が提供される。このドライバ挙動判定方法は、車両内に位置する携帯機器から、その携帯機器と通信可能な通信部を介して携帯機器の操作画面の法線方向を表す情報を受信し、車両の車室内を撮影するように設けられた撮像部により得られた画像に基づいて車両のドライバの視線方向を検出し、携帯機器の操作画面の法線方向と視線方向とがなす角度を算出し、その角度が所定の角度範囲内に含まれる場合、ドライバが携帯機器を操作していると判定する、ことを含む。

さらに他の実施形態によれば、ドライバ挙動判定用コンピュータプログラムが提供される。このドライバ挙動判定用コンピュータプログラムは、車両内に位置する携帯機器から、その携帯機器と通信可能な通信部を介して携帯機器の操作画面の法線方向を表す情報を受信し、車両の車室内を撮影するように設けられた撮像部により得られた画像に基づいて車両のドライバの視線方向を検出し、携帯機器の操作画面の法線方向と視線方向とがなす角度を算出し、その角度が所定の角度範囲内に含まれる場合、ドライバが携帯機器を操作していると判定することを、車両に搭載されたプロセッサに実行させる命令を含む。

本開示に係るドライバ挙動判定装置は、車室内の画像に携帯機器が表されていなくても、ドライバが携帯機器を操作しているか否かを判定できるという効果を奏する。

ドライバ挙動判定装置を含む、運転支援システムの概略構成図である。 ドライバ挙動判定装置の一例であるＥＣＵのハードウェア構成図である。 ドライバ挙動判定処理に関する、ＥＣＵのプロセッサの機能ブロック図である。 ドライバが携帯機器を操作しているときのドライバの視線方向、携帯機器の操作画面の法線方向、及び、ドライバの手の延伸方向との関係の一例を示す図である。 車両のＥＣＵのプロセッサにより実行される、ドライバ挙動判定処理の動作フローチャートである。

以下、図を参照しつつ、ドライバ挙動判定装置、及び、ドライバ挙動判定装置にて実行されるドライバ挙動判定方法及びドライバ挙動判定用コンピュータプログラムについて説明する。発明者は、ドライバがスマートフォンあるいはタブレットといった携帯機器を操作しているときには、ドライバは、一般的に、携帯機器の操作画面を見るため、その操作画面とドライバとが正対するように携帯機器を保持することに着目した。そこで、このドライバ挙動判定装置は、携帯機器から操作画面の法線方向を表す情報を受信して、携帯機器の操作画面の法線方向とドライバの視線方向とがなす角度が所定の角度範囲内に含まれるか否かを判定する。そしてこのドライバ挙動判定装置は、その角度が所定の角度範囲に含まれる場合に、ドライバが携帯機器を操作していると判定する。これにより、このドライバ挙動判定装置は、車室内に設けられたカメラにより生成された画像に携帯機器が表されていなくても、ドライバが携帯機器を操作しているか否かを判定することを可能とする。

図１は、ドライバ挙動判定装置を含む、運転支援システムの概略構成図である。車両１０に搭載される運転支援システム１は、車両１０の車室内に位置する携帯機器１１と通信可能な通信器２と、ドライバモニタカメラ３と、通知機器４と、ドライバ挙動判定装置の一例である電子制御装置(ＥＣＵ)５とを有する。通信器２、ドライバモニタカメラ３及び通知機器４と、ＥＣＵ５とは、コントローラエリアネットワークといった通信規格に準拠した車内ネットワークを介して互いに通信可能に接続される。

携帯機器１１は、ドライバが携帯可能な機器であり、例えば、スマートフォンといった携帯電話あるいはタブレットである。携帯機器１１には、例えば、タッチパネルで構成される操作画面が設けられ、ドライバがその操作画面に触れて携帯機器１１を操作することで、携帯機器１１は所定の動作を実行する。また、携帯機器１１には、ジャイロセンサといった、操作画面の法線方向を測定するためのセンサが内蔵され、そのセンサにより、所定の周期ごとに、操作画面の法線方向が測定される。

さらに、携帯機器１１は、所定の近距離無線通信規格に準拠した無線信号を送信または受信するための通信器を有し、その通信器を介して通信器２と通信可能に構成される。所定の近距離無線通信規格は、例えば、Blue Tooth(登録商標)とすることができる。そして携帯機器１１は、所定の周期ごとに、あるいは、操作画面の法線方向が所定角度以上変化する度に、操作画面の法線方向を表す情報を含む無線信号を生成し、その無線信号を、通信器を介して通信器２へ送信する。なお、携帯機器１１は、Universal Serial Bus(USB)といったバス規格に準拠した、有線にて通信器２と接続するための通信インターフェースを有してもよい。この場合には、携帯機器１１は、操作画面の法線方向を表す情報を有線にて通信器２へ送信してもよい。

通信器２は、通信部の一例であり、携帯機器１１と通信する。そのために、通信器２は、例えば、上述した所定の近距離無線通信規格に準拠した無線信号を送信または受信するように構成される。なお、通信器２と携帯機器１１とが有線で接続される場合には、通信器２は、Universal Serial Bus(USB)といったバス規格に準拠した通信インターフェース及び通信回路を有していてもよい。そして通信器２は、携帯機器１１から、携帯機器１１の操作画面の法線方向を表す情報を受信する度に、受信したその情報をＥＣＵ５へわたす。

ドライバモニタカメラ３は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光または赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。ドライバモニタカメラ３は、赤外LEDといったドライバを照明するための光源をさらに有していてもよい。そしてドライバモニタカメラ３は、車両１０のドライバシートに着座したドライバの頭部がその撮影対象領域に含まれるように、すなわち、ドライバの頭部を撮影可能なように、例えば、インストルメントパネルまたはその近傍にドライバへ向けて取り付けられる。そしてドライバモニタカメラ３は、所定の撮影周期（例えば1/30秒～1/10秒）ごとにドライバを撮影し、ドライバが写った画像（以下、ドライバ画像と呼ぶ）を生成する。ドライバモニタカメラ３により得られたドライバ画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。ドライバモニタカメラ３は、ドライバ画像を生成する度に、その生成したドライバ画像を、車内ネットワークを介してＥＣＵ５へ出力する。

通知機器４は、車両１０の車室内に設けられ、ドライバに対して、光、音声、文字表示あるいは画像表示にて所定の通知を行う機器である。そのために、通知機器４は、例えば、スピーカ、光源あるいは表示装置の少なくとも何れかを有する。そして通知機器４は、ＥＣＵ５からドライバへの警告を表す通知を受け取ると、スピーカからの音声、光源の発光または点滅、あるいは、表示装置への警告メッセージの表示により、ドライバへその警告を通知する。

ＥＣＵ５は、ドライバの挙動を判定する。本実施形態では、ＥＣＵ５は、ドライバが携帯機器１１を操作しているか否かを判定し、ドライバが携帯機器１１を操作していると判定した場合に、ドライバに対して警告し、あるいは、車両１０を緊急停止するよう、車両１０を制御する。

図２は、ＥＣＵ５のハードウェア構成図である。図２に示されるように、ＥＣＵ５は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１、メモリ２２及びプロセッサ２３は、それぞれ、別個の回路として構成されてもよく、あるいは、一つの集積回路として一体的に構成されてもよい。

通信インターフェース２１は、ＥＣＵ５を車内ネットワークに接続するためのインターフェース回路を有する。そして通信インターフェース２１は、通信器２から携帯機器１１の操作画面の法線方向を表す情報を受信する度に、その情報をプロセッサ２３へわたす。また、通信インターフェース２１は、ドライバモニタカメラ３からドライバ画像を受信する度に、受信したドライバ画像をプロセッサ２３へわたす。さらにまた、通信インターフェース２１は、プロセッサ２３からドライバへの警告を表す通知といった、通知機器４を介してドライバへ通知される情報を受け取ると、その情報を通知機器４へ出力する。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ５のプロセッサ２３により実行されるドライバ挙動判定処理において使用される各種のアルゴリズム及び各種のデータを記憶する。例えば、メモリ２２は、視線方向の検出、及び、ドライバが携帯機器を操作しているか否かの判定などに利用される各種のパラメータなどを記憶する。さらに、メモリ２２は、ドドライバ画像及びドライバ挙動判定処理の途中で生成される各種のデータを一時的に記憶する。

プロセッサ２３は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、ドライバ挙動判定処理を実行する。

図３は、ドライバ挙動判定処理に関する、プロセッサ２３の機能ブロック図である。プロセッサ２３は、視線方向検出部３１と、手方向検出部３２と、操作判定部３３と、警告処理部３４とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。

視線方向検出部３１は、プロセッサ２３がドライバ画像を受け取る度に、そのドライバ画像に基づいてドライバの視線方向を検出する。そのために、視線方向検出部３１は、例えば、ドライバ画像を、画像からドライバの顔を検出するように予め学習された識別器に入力することで、そのドライバ画像上でドライバの顔が写っている領域（以下、顔領域と呼ぶ）を検出する。視線方向検出部３１は、そのような識別器として、例えば、コンボリューショナルニューラルネットワーク型(CNN)のアーキテクチャを持つディープニューラルネットワーク(DNN)またはAdaBoost識別器を利用することができる。

視線方向検出部３１は、さらに、ドライバ画像の顔領域からドライバの眼が表された領域（以下、眼領域と呼ぶ）を検出する。その際、視線方向検出部３１は、例えば、Sobelフィルタなどのエッジ検出フィルタを適用して顔領域内のエッジ画素を検出する。そして視線方向検出部３１は、エッジ画素が略水平方向に連続する線を検出し、左右それぞれの眼について、顔領域内でその眼が位置すると想定される範囲内で、上下方向に並んだそのような二つの線を、その眼の上瞼及び下瞼として検出する。なお、視線方向検出部３１は、画像から眼の上瞼及び下瞼を検出する他の手法に従って、ドライバ画像からドライバの左右それぞれの眼の上瞼及び下瞼を検出してもよい。ドライバ画像からドライバの左右それぞれの眼の上瞼及び下瞼が検出されると、視線方向検出部３１は、ドライバの左右それぞれの眼の少なくとも一方について、上瞼と下瞼とで囲まれた領域を眼領域として検出する。

眼領域が検出されると、視線方向検出部３１は、眼領域から光源の角膜反射像（プルキンエ像とも呼ばれる）及び瞳孔の重心（以下、単に瞳孔重心と呼ぶ）を検出する。その際、視線方向検出部３１は、例えば、プルキンエ像のテンプレートと眼領域とのテンプレートマッチングによりプルキンエ像を検出する。同様に、視線方向検出部３１は、瞳孔のテンプレートと眼領域とのテンプレートマッチングにより瞳孔を検出し、検出した瞳孔が表された領域の重心を瞳孔重心とすればよい。なお、視線方向検出部３１は、眼領域からプルキンエ像及び瞳孔重心を検出する他の手法に従ってプルキンエ像及び瞳孔重心を検出してもよい。そして視線方向検出部３１は、プルキンエ像と瞳孔重心間の距離を算出し、その距離とドライバの視線方向との関係を表すテーブルを参照することで、ドライバの視線方向を検出する。なお、そのようなテーブルは、メモリ２２に予め記憶されていればよい。また、視線方向検出部３１は、左右それぞれの眼について視線方向を検出した場合、左右それぞれの眼についての視線方向の平均値を、ドライバの視線方向とすればよい。さらに、視線方向検出部３１は、ドライバモニタカメラ３からドライバの眼の位置への方位とドライバモニタから３からドライバの眼までの距離とに基づいて、実空間におけるドライバの眼の位置を推定する。なお、視線方向検出部３１は、ドライバモニタカメラ３からその眼の位置への方位を、ドライバ画像上での眼の位置から求めればよい。また、視線方向検出部３１は、ドライバモニタから３からドライバの眼までの距離を、ドライバシートから取得した、ドライバシートのポジションを表す情報から推定すればよい。

視線方向検出部３１は、ドライバの視線方向を検出する度に、検出したその視線方向、及びドライバの眼の位置を操作判定部３３へ通知する。

手方向検出部３２は、プロセッサ２３がドライバ画像を受け取る度に、そのドライバ画像に基づいてドライバの手の延伸方向を検出する。なお、ここで言う手の延伸方向は、肘から先の部位、すなわち前腕の延伸方向を意味する。例えば、手方向検出部３２は、OpenPoseといった、画像に表された人の姿勢を検出する手法に従ってドライバ画像に写ったドライバの姿勢を検出することで、実空間における手の延伸方向を推定できる。また、手方向検出部３２は、ドライバ画像上での肘の位置により、ドライバモニタカメラ３から肘への方位を求めることができる。さらに、手方向検出部３２は、ドライバモニタカメラ３からドライバシートまでの距離と、ドライバの上腕の長さの推定値と、ドライバの姿勢から推定される上腕の延伸方向とに基づいて、ドライバモニタカメラ３から肘までの距離を推定できる。なお、上記のように、ドライバモニタカメラ３からドライバシートまでの距離は、ドライバシートのポジションに基づいて推定される。また、ドライバの上腕の長さの推定値は、メモリ２２に予め記憶されていればよい。そして手方向検出部３２は、ドライバの前腕の延伸方向と、ドライバモニタカメラ３からドライバの肘までの推定距離と、ドライバモニタカメラ３から肘までの方位とに基づいて、実空間におけるドライバの手の延伸方向を表す直線を算出できる。

手方向検出部３２は、ドライバの左右それぞれの手の延伸方向を検出する度に、検出した手の延伸方向を表す直線を操作判定部３３へ通知する。なお、手方向検出部３２は、ドライバ画像上で一方の手及び腕の大部分が写っていないといった理由により、ドライバの左右何れか一方の手の延伸方向しか検出できない場合には、検出できた方の手の延伸方向を表す直線を操作判定部３３へ通知すればよい。

操作判定部３３は、ドライバの視線方向、眼の位置、携帯機器１１の操作画面の法線方向、ドライバの手の延伸方向を表す直線に基づいて、ドライバが携帯機器１１を操作しているか否かを判定する。

図４は、ドライバが携帯機器１１を操作しているときのドライバの視線方向、携帯機器１１の操作画面の法線方向、及び、ドライバの手の延伸方向との関係の一例を示す図である。

上述したように、一般に、ドライバ４００が携帯機器１１を操作していると、ドライバ４００は、携帯機器１１の操作画面を見ている。そのため、携帯機器１１の操作画面とドライバ４００とが正対するので、ドライバ４００の視線方向４０１と、携帯機器１１の操作画面の法線方向４０２とがなす角度θはある程度の角度範囲に収まる。一方、携帯機器１１は、ドライバモニタカメラ３の撮影範囲４１０外に位置することもある。

さらに、ドライバ４００が携帯機器１１を操作している場合、ドライバ４００の手の延伸方向４０３の先に携帯機器１１が位置することが想定される。さらに、携帯機器１１は車室内においてドライバ４００が携帯機器１１を操作可能な空間４１１（以下、単に操作可能区間と呼ぶことがある）に位置していることが想定される。すなわち、携帯機器１１が車室の外に位置すること、あるいは、車室内でもステアリングといった他の機器が存在する場所に位置することは有り得ない。

このことから、操作判定部３３は、ドライバの視線方向と携帯機器１１の操作画面の法線方向とがなす角度を算出し、その角度が所定の角度範囲（例えば、５°以下、１０°以下、あるいは、２０°以下）に含まれるか否か判定する。さらに、操作判定部３３は、ドライバの眼の位置、視線方向及び左右それぞれの手の延伸方向を表す直線に基づいて、ドライバの視線方向とドライバの左右それぞれの手の延伸方向とが交差する位置（以下、単に交差位置と呼ぶことがある）を算出する。その際、操作判定部３３は、視線方向と手の延伸方向との最短距離が所定の距離閾値以下である場合、視線方向と手の延伸方向とが交差していると判定し、それらが最短となるときの手の延伸方向を表す直線上の位置を、交差位置とすればよい。また、視線方向と手の延伸方向との最短距離が所定の距離閾値よりも離れている場合、操作判定部３３は、交差位置を検出しない。そして操作判定部３３は、ドライバの視線方向と携帯機器１１の操作画面の法線方向とがなす角度が所定の角度範囲に含まれ、かつ、交差位置が、操作可能空間に含まれる場合、ドライバは携帯機器１１を操作していると判定する。なお、操作可能空間を特定する情報は、メモリ２２に予め記憶されていればよい。

操作判定部３３は、ドライバが携帯機器１１を操作していると判定すると、その判定結果を警告処理部３４へ通知する。

警告処理部３４は、操作判定部３３から、ドライバが携帯機器１１を操作しているとの判定結果を受け取ると、所定の警告処理を実施する。例えば、警告処理部３４は、通知機器４が有するスピーカに、携帯機器１１の操作を止めることを要求する音声信号あるいは警告音を発声させる。あるいは、警告処理部３４は、通知機器４が有するディスプレイに、携帯機器１１の操作を止めることを要求する警告メッセージを表示させる。

警告処理部３４は、通知機器４を介してドライバへ携帯機器１１の操作を止めるよう警告してから所定期間経過しても、操作判定部３３から、ドライバが携帯機器１１を操作しているとの判定結果を継続して受け取ることが有り得る。このような場合、警告処理部３４は、車両１０を緊急停止するよう、車両１０の各部を制御してもよい。

図５は、プロセッサ２３により実行される、ドライバ挙動判定処理の動作フローチャートである。プロセッサ２３は、所定の周期ごとに、以下の動作フローチャートに従ってドライバ挙動判定処理を実行すればよい。

プロセッサ２３の視線方向検出部３１は、ドライバ画像に基づいてドライバの視線方向を検出する（ステップＳ１０１）。

プロセッサ２３の操作判定部３３は、ドライバの視線方向と、通信器２を介して受信した、携帯機器１１からの情報に含まれる、携帯機器１１の操作画面の法線方向とがなす角度θを算出する（ステップＳ１０２）。そして操作判定部３３は、その角度θが所定の角度範囲に含まれるか否か判定する（ステップＳ１０３）。

ドライバの視線方向と携帯機器１１の操作画面の法線方向とがなす角度θが所定の角度範囲に含まれる場合（ステップＳ１０３－Ｙｅｓ）、プロセッサ２３の手方向検出部３２は、ドライバの左右それぞれの手の延伸方向を検出する（ステップＳ１０４）。操作判定部３３は、ドライバの左右それぞれの手の延伸方向とドライバの視線方向とが交差する位置を算出する（ステップＳ１０５）。そして操作判定部３３は、ドライバの左右何れかの手の延伸方向とドライバの視線方向とが交差する位置が、車両１０の車室内、かつ、携帯機器１１を操作可能な空間に含まれるか否か判定する（ステップＳ１０６）。

ドライバの左右何れかの手について、交差位置が操作可能空間に含まれる場合（ステップＳ１０６－Ｙｅｓ）、操作判定部３３は、ドライバが携帯機器を操作していると判定する（ステップＳ１０７）。そしてプロセッサ２３の警告処理部３４は、通知機器４を介して所定の警告処理を実行する（ステップＳ１０８）。

一方、ステップＳ１０３にて、ドライバの視線方向と携帯機器１１の操作画面の法線方向とがなす角度θが所定の角度範囲から外れる場合（ステップＳ１０３－Ｎｏ）、操作判定部３３は、ドライバが携帯機器を操作していないと判定する（ステップＳ１０９）。また、ステップＳ１０６にて、ドライバの左右それぞれの手について、交差位置が、操作可能空間から外れている場合も（ステップＳ１０６－Ｎｏ）、操作判定部３３は、ドライバが携帯機器を操作していないと判定する（ステップＳ１０９）。

ステップＳ１０８またはＳ１０９の後、プロセッサ２３は、ドライバ挙動判定処理を終了する。

以上に説明してきたように、このドライバ挙動判定装置は、携帯機器の操作画面の法線方向とドライバの視線方向とがなす角度が所定の角度範囲内に含まれるか否かで、ドライバによる携帯機器の操作の有無を判定する。そのため、ドライバモニタカメラにより生成された画像に携帯機器が表されていなくても、このドライバ挙動判定装置は、ドライバが携帯機器を操作しているか否かを判定することができる。さらに、このドライバ挙動判定装置は、ドライバの視線方向とドライバの左右何れかの手の延伸方向との交差位置が車室内でドライバが携帯機器を操作可能な空間に含まれている場合に限り、ドライバが携帯機器を操作していると判定する。これにより、このドライバ挙動判定装置は、ドライバが携帯機器を操作しているか否かをより正確に判定することができる。

変形例によれば、操作判定部３３は、ドライバの視線方向と携帯機器１１の操作画面の法線方向とがなす角度が所定の角度範囲内に含まれる場合、ドライバの手の延伸方向によらずに、ドライバが携帯機器１１を操作していると判定してもよい。この場合、手方向検出部３２、及び、図５に示される動作フローチャートにおけるステップＳ１０４～Ｓ１０６の処理は省略されてもよい。そのため、この変形例によれば、ドライバ挙動判定装置は、より少ない演算量でドライバが携帯機器を操作しているか否かを判定できる。

なお、上記の実施形態または変形例において、操作判定部３３は、ドライバの視線方向が車両１０の進行方向を中心とする所定の正面範囲内に含まれる場合には、ドライバが携帯機器１１を操作していると判定しないようにしてもよい。なお、所定の正面範囲を表す情報は、メモリ２２に予め記憶されていればよい。この変形例によれば、ドライバ挙動判定装置は、携帯機器の操作画面の法線方向が車両の進行方向と略平行であるために、ドライバが車両１０の進行方向を注視しているにもかかわらず、ドライバが携帯機器を操作していると誤判定することを防止できる。

また他の変形例によれば、視線方向検出部３１は、ドライバ画像から、ドライバの視線方向とともにドライバの顔向きを検出してもよい。そして操作判定部３３は、ドライバの視線方向及び顔向きの何れについても、携帯機器１１の操作画面の法線方向とのなす角度が所定の角度範囲に含まれる場合に、ドライバが携帯機器を操作していると判定してもよい。

この場合、視線方向検出部３１は、ドライバ画像の顔領域から、目尻、目頭、鼻尖点、口角点等のドライバの顔の複数の特徴点を検出する。その際、視線方向検出部３１は、例えば、画像に表された顔の特徴点を検出するように予め学習された識別器に顔領域を入力することで、顔の特徴点を検出する。そのような識別器として、視線方向検出部３１は、例えば、CNN型のアーキテクチャを持つNN、サポートベクトルマシンまたはAdaBoost識別器を用いることができる。あるいは、視線方向検出部３１は、顔の特徴点を表すテンプレートと顔領域とのテンプレートマッチング、あるいは、顔の特徴点を検出する他の手法に従って、顔領域からドライバの顔の特徴点を検出してもよい。視線方向検出部３１は、検出した顔の特徴点を、顔の３次元形状を表す３次元顔モデルにフィッティングする。そして視線方向検出部３１は、各特徴点が３次元顔モデルに最もフィッティングする際の３次元顔モデルの顔の向きを、ドライバの顔の向きとして検出すればよい。なお、視線方向検出部３１は、画像に表された顔の向きを判定する他の手法に従って、ドライバ画像に基づいてドライバの顔の向きを検出してもよい。

この変形例によれば、ドライバ挙動判定装置は、ドライバの視線方向だけでなく、ドライバの顔の向きも考慮して、ドライバが携帯機器を操作しているか否かを判定するので、より精度良くその操作の有無を判定することができる。

さらに他の変形例によれば、警告処理部３４は、ドライバが携帯機器１１を操作しているとの判定結果を受け取っても、車両１０が停止している場合には、警告処理を実行しないようにしてもよい。なお、警告処理部３４は、車両１０に設けられた車速センサ（図示せず）から車両１０の車速の測定値を受信し、その測定値に基づいて、車両１０が停止しているか否かを判定すればよい。

また、上記の実施形態または変形例による、ＥＣＵ５のプロセッサ２３の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 運転支援システム
２ 通信器
３ ドライバモニタカメラ
４ 通知機器
５ 電子制御装置(ドライバ挙動判定装置)
１０ 車両
１１ 携帯機器
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 視線方向検出部
３２ 手方向検出部
３３ 操作判定部
３４ 警告処理部

Claims (5)

1. 車両の車室内を撮影するように設けられた撮像部により得られた画像に基づいて前記車両のドライバの視線方向を検出する視線方向検出部と、
   前記車両内に位置する携帯機器と通信可能な通信部を介して前記携帯機器から受信した情報に表される前記携帯機器の操作画面の法線方向と前記視線方向とがなす角度を算出し、前記角度が所定の角度範囲内に含まれる場合、前記ドライバが前記携帯機器を操作していると判定する操作判定部と、
   を有するドライバ挙動判定装置。
2. 前記画像に基づいて、前記ドライバの何れかの手の延伸方向を検出する手方向検出部をさらに有し、
   前記操作判定部は、前記手の延伸方向と前記視線方向とが交差する位置が前記車両の車室内における前記携帯機器を操作可能な空間に含まれる場合に限り、前記ドライバが前記携帯機器を操作していると判定する、請求項１に記載のドライバ挙動判定装置。
3. 前記操作判定部は、前記視線方向が前記車両の進行方向を中心とする所定の正面範囲内に含まれる場合には、前記ドライバが前記携帯機器を操作していると判定しない、
   請求項１または２に記載のドライバ挙動判定装置。
4. 車両内に位置する携帯機器から、前記携帯機器と通信可能な通信部を介して前記携帯機器の操作画面の法線方向を表す情報を受信し、
   前記車両の車室内を撮影するように設けられた撮像部により得られた画像に基づいて前記車両のドライバの視線方向を検出し、
   前記携帯機器の操作画面の法線方向と前記視線方向とがなす角度を算出し、
   前記角度が所定の角度範囲内に含まれる場合、前記ドライバが前記携帯機器を操作していると判定する、
   ことを含むドライバ挙動判定方法。
5. 車両内に位置する携帯機器から、前記携帯機器と通信可能な通信部を介して前記携帯機器の操作画面の法線方向を表す情報を受信し、
   前記車両の車室内を撮影するように設けられた撮像部により得られた画像に基づいて前記車両のドライバの視線方向を検出し、
   前記携帯機器の操作画面の法線方向と前記視線方向とがなす角度を算出し、
   前記角度が所定の角度範囲内に含まれる場合、前記ドライバが前記携帯機器を操作していると判定する、
   ことを前記車両に搭載されたプロセッサに実行させるためのドライバ挙動判定用コンピュータプログラム。

Images