JP2023177049A - 腕検出装置 - Google Patents

Abstract

【課題】ドライバが表された画像から、ドライバの腕を検出できる腕検出装置を提供する。【解決手段】腕検出装置は、車両１０のドライバの顔を撮影した顔画像からドライバの顔が表された顔領域を検出する検出部３１と、顔画像をそれぞれが第１のサイズを有する複数のブロックに分割し、複数のブロックのうち所定の輝度閾値よりも高い輝度を有する画素の数が所定の画素数閾値よりも多いブロックを高輝度ブロックとして特定する特定部３２と、第１のサイズより大きい第２のサイズを有し、かつ、顔画像上の互いに異なる位置に設定される複数のウィンドウ領域の何れかについて、そのウィンドウ領域に含まれ、かつ、顔領域に含まれない高輝度ブロックの数が所定のブロック数閾値よりも多い場合、そのウィンドウ領域にドライバの腕が表されていると判定する判定部３３とを有する。【選択図】図３

Description

本発明は、車両のドライバが表された画像から、ドライバの腕を検出する腕検出装置に関する。

車両のドライバの顔を撮像装置により撮像することで得られた画像に基づいて、ドライバの状態が車両の運転に適した状態か否かを判定することが検討されている。ドライバの状態を判定するためには、画像にドライバの顔が適切に表されていることが求められる。しかし、場合によっては、撮像装置とドライバの顔との間に何らかの遮蔽物が存在するために、画像上にドライバの顔が表されていないことがある。このような場合、画像に基づいてドライバの状態を判定することが困難となる。そこで、そのような遮蔽物を検出するための技術が提案されている（特許文献１を参照）。

特許文献１に開示された技術では、撮像装置は、撮像部が撮像した撮影画像を複数のセクションに分割するとともに、所定数のセクションを一つのブロックとして、撮像画像を複数のブロックに分割する。そしてこの撮像装置は、複数のブロックのそれぞれについて、そのブロックに含まれるセクションの遮蔽状態を検証し、少なくとも一つのブロックにおいて、セクションの遮蔽状態が被写体の撮像を妨げるような遮蔽状態である場合、遮蔽物があると判定する。

特開２０１９－１５９３４６号公報

ドライバの腕がドライバの顔を隠す遮蔽物となることがある。そこで、ドライバが表された画像から、ドライバの腕をドライバの顔と区別して適切に検出することがもとめられる。

そこで、本発明は、ドライバが表された画像から、ドライバの腕を検出できる腕検出装置を提供することを目的とする。

一つの実施形態によれば、腕検出装置が提供される。この腕検出装置は、車両のドライバの顔を撮影した顔画像からドライバの顔が表された顔領域を検出する検出部と、顔画像をそれぞれが第１のサイズを有する複数のブロックに分割し、複数のブロックのうち所定の輝度閾値よりも高い輝度を有する画素の数が所定の画素数閾値よりも多いブロックを高輝度ブロックとして特定する特定部と、第１のサイズより大きい第２のサイズを有し、かつ、顔画像上の互いに異なる位置に設定される複数のウィンドウ領域の何れかについて、そのウィンドウ領域に含まれ、かつ、顔領域に含まれない高輝度ブロックの数が所定のブロック数閾値よりも多い場合、そのウィンドウ領域にドライバの腕が表されていると判定する判定部とを有する。

本開示に係る腕検出装置は、ドライバが表された画像から、ドライバの腕を検出できるという効果を奏する。

腕検出装置を含む、車両制御システムの概略構成図である。 腕検出装置の一例であるＥＣＵのハードウェア構成図である。 腕検出処理に関する、ＥＣＵのプロセッサの機能ブロック図である。 腕領域検出の概要を説明する図である。 車両のＥＣＵのプロセッサにより実行される、腕検出処理を含む車両制御処理の動作フローチャートである。

以下、図を参照しつつ、腕検出装置、及び、腕検出装置にて実行される腕検出方法及び腕検出用コンピュータプログラムについて説明する。この腕検出装置は、車室内に設けられたドライバモニタ用のカメラにより生成された、車両のドライバの顔を撮影することで得られた顔画像から、ドライバの顔が表された顔領域を検出する。さらに、この腕検出装置は、顔画像をそれぞれが第１のサイズを有する複数のブロックに分割し、複数のブロックのうち所定の輝度閾値よりも高い輝度を有する画素の数が所定の画素数閾値よりも多いブロックを高輝度ブロックとして特定する。さらに、この腕検出装置は、第１のサイズより大きい第２のサイズを有し、かつ互いに異なる位置に設定されるウィンドウ領域のそれぞれについて、そのウィンドウ領域に含まれ、かつ、顔領域に含まれない高輝度ブロックの数をカウントする。そしてこの腕検出装置は、何れかのウィンドウ領域においてカウントされた高輝度ブロックの数が所定のブロック数閾値よりも多い場合、そのウィンドウ領域にドライバの腕が表されていると判定する。

以下では、腕検出装置を、ドライバの状態を監視してドライバの状態に応じた運転支援などを実行する車両制御システムに実装した例について説明する。

図１は、腕検出装置を含む、車両制御システムの概略構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、ドライバモニタカメラ２と、通知機器３と、腕検出装置の一例である電子制御装置(ＥＣＵ)４とを有する。ドライバモニタカメラ２及び通知機器３と、ＥＣＵ４とは、コントローラエリアネットワークといった通信規格に準拠した車内ネットワークを介して互いに通信可能に接続される。なお、車両制御システム１は、車両１０の周辺の領域を撮影してその周辺の領域が表された画像を生成する車外カメラ（図示せず）を有していてもよい。あるいは、車両制御システム１は、LiDARあるいはレーダといった、車両１０から車両１０の周囲に存在する物体までの距離を測定する距離センサ（図示せず）を有していてもよい。さらに、車両制御システム１は、GPS受信機といった、衛星からの信号に基づいて車両１０の位置を測位するための測位機器（図示せず）を有していてもよい。さらにまた、車両制御システム１は、目的地までの走行予定ルートを探索するためのナビゲーション装置（図示せず）を有していてもよい。さらにまた、車両制御システム１は、車両１０の自動運転制御において参照される地図情報を記憶するストレージ装置（図示せず）を有していてもよい。

ドライバモニタカメラ２は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光または赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。ドライバモニタカメラ２は、赤外LEDといったドライバを照明するための光源をさらに有していてもよい。そしてドライバモニタカメラ２は、車両１０のドライバシートに着座したドライバの顔がその撮影対象領域に含まれるように、すなわち、ドライバの顔を撮影可能なように、例えば、インストルメントパネルまたはその近傍にドライバへ向けて取り付けられる。そしてドライバモニタカメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに撮影対象領域を撮影し、撮影対象領域が写った画像（以下、ドライバ画像と呼ぶ）を生成する。ドライバモニタカメラ２により得られたドライバ画像は、顔画像の一例であり、カラー画像であってもよく、あるいは、グレー画像であってもよい。ドライバモニタカメラ２は、ドライバ画像を生成する度に、その生成したドライバ画像を、車内ネットワークを介してＥＣＵ４へ出力する。

通知機器３は、車両１０の車室内に設けられ、ドライバに対して、光、音声、振動、文字表示あるいは画像表示にて所定の通知を行う機器である。そのために、通知機器３は、例えば、スピーカ、光源、振動子あるいは表示装置の少なくとも何れかを有する。そして通知機器３は、ＥＣＵ４からドライバへの警告を表す通知を受け取ると、スピーカからの音声、光源の発光または点滅、振動子の振動、あるいは、表示装置への警告メッセージの表示により、ドライバへその警告を通知する。

ＥＣＵ４は、車両１０に適用される運転制御レベルに従って車両１０を運転制御し、あるいは、ドライバによる車両１０の運転を支援する。さらに、ＥＣＵ４は、ドライバモニタカメラ２から受け取ったドライバ画像に基づいて、ドライバをモニターするとともに、ドライバに生じた異常を検出する。そしてＥＣＵ４は、ドライバに異常が生じたと判定した場合に、ドライバに対して警告し、あるいは、車両１０を緊急停止するよう、車両１０を制御する。その際、ＥＣＵ４は、ドライバ画像にドライバの腕が表されているか否か判定し、ドライバの腕によりドライバの顔が隠されている場合、ドライバの異常判定を行わないようにして、ドライバの異常の誤検出を防止する。

図２は、ＥＣＵ４のハードウェア構成図である。図２に示されるように、ＥＣＵ４は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１、メモリ２２及びプロセッサ２３は、それぞれ、別個の回路として構成されてもよく、あるいは、一つの集積回路として一体的に構成されてもよい。

通信インターフェース２１は、ＥＣＵ４を車内ネットワークに接続するためのインターフェース回路を有する。そして通信インターフェース２１は、ドライバモニタカメラ２からドライバ画像を受信する度に、受信したドライバ画像をプロセッサ２３へわたす。さらにまた、通信インターフェース２１は、プロセッサ２３からドライバへの警告を表す通知といった、通知機器３を介してドライバへ通知される情報を受け取ると、その情報を通知機器３へ出力する。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ４のプロセッサ２３により実行される腕検出処理において使用される各種のアルゴリズム及び各種のデータを記憶する。例えば、メモリ２２は、ドライバの顔あるいは腕の検出などに利用される各種のパラメータを記憶する。さらに、メモリ２２は、ドライバに異常が生じたか否かを判定するための判定条件（以下、単に異常判定条件と呼ぶことがある）を規定するためのパラメータを記憶する。さらにまた、メモリ２２は、ドライバ画像及び腕検出処理の途中で生成される各種のデータを一時的に記憶する。さらにまた、メモリ２２は、車両１０を運転制御するために利用される各種のパラメータ及び各種のデータを記憶する。そのようなデータには、車外カメラにより生成された画像、距離センサにより生成された測距信号、GPS受信機により生成された車両１０の位置を表す測位信号、ナビゲーション装置により生成された走行予定ルート、及び、地図情報が含まれる。

プロセッサ２３は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、所定の周期ごとに、腕検出処理を含む車両の運転制御処理を実行する。

図３は、腕検出処理を含む車両の運転制御処理に関する、プロセッサ２３の機能ブロック図である。プロセッサ２３は、顔検出部３１と、特定部３２と、判定部３３と、姿勢検出部３４と、異常判定部３５と、警告処理部３６と、車両制御部３７とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。なお、プロセッサ２３が有するこれらの各部のうち、顔検出部３１、特定部３２及び判定部３３により実行される処理が腕検出処理に対応する。そして顔検出部３１、特定部３２及び判定部３３は、所定の周期ごとに、ドライバモニタカメラ２からＥＣＵ４が受け取った最新のドライバ画像に対して腕検出処理を実行する。さらに、姿勢検出部３４、異常判定部３５、警告処理部３６及び車両制御部３７は、腕検出処理の結果を利用して、ドライバに異常が生じているか否かを判定し、その判定結果に応じて車両１０を制御し、あるいは、ドライバに対する警告を実行する。

顔検出部３１は、検出部の一例であり、ドライバ画像から、ドライバの顔が表された領域（以下、顔領域と呼ぶ）を検出する。

顔検出部３１は、例えば、ドライバ画像を、画像からドライバの顔を検出するように予め学習された識別器に入力することで、そのドライバ画像から顔領域を検出する。顔検出部３１は、そのような識別器として、例えば、Single Shot MultiBox DetectorあるいはFaster R-CNNといった、コンボリューショナルニューラルネットワーク(CNN)型のアーキテクチャを持つディープニューラルネットワーク(DNN)を利用することができる。あるいは、顔検出部３１は、そのような識別器として、Vision Transformerといったself attention network型のアーキテクチャを有するDNNを利用してもよい。あるいはまた、顔検出部３１は、そのような識別器として、サポートベクトルマシンまたはAdaBoost識別器といった、DNN以外の機械学習手法に基づく識別器を利用してもよい。このような識別器は、ドライバの顔が表された多数の教師画像を用いて、誤差逆伝搬法といった所定の学習手法に従って予め学習される。

顔検出部３１は、検出した顔領域の位置及び範囲を表す情報（例えば、顔領域の左上端の座標及び右下端の座標）を、判定部３３及び姿勢検出部３４へ通知する。さらに、顔検出部３１は、顔領域が検出されなかった場合、その旨を姿勢検出部３４及び異常判定部３５へ通知する。

特定部３２は、ドライバ画像をそれぞれが第１のサイズ（例えば、10～30画素×10～30画素）を有する複数のブロックに分割する。そして特定部３２は、複数のブロックのうち、所定の輝度閾値よりも高い輝度を有する画素の数が所定の画素数閾値よりも多いブロックを高輝度ブロックとして特定する。特定部３２は、例えば、所定の輝度閾値を、ドライバ画像の各画素の輝度値のうちの最大値に、1未満の所定の係数(例えば、0.7～0.8)を乗じて得られる値に設定する。また、所定の画素数閾値は、一つのブロックに含まれる画素の総数に1未満の所定の係数(例えば、0.7～0.8)を乗じて得られる値に設定される。

上記のように、ドライバモニタカメラ２がインストルメントパネルの近傍に設けられる場合、ドライバモニタカメラ２から見て、ドライバの腕がドライバの顔を隠すように位置していることがある。例えば、ドライバがステアリングを保持し、あるいはステアリング周辺に配置されたスイッチ類を操作するために腕をそれらスイッチ類の何れかへ向けている場合に、ドライバの腕がドライバの顔を隠すことがある。このような場合、ドライバの腕は、ドライバの顔よりもドライバモニタカメラ２に近い。そのため、ドライバモニタカメラ２の光源から、あるいはインストルメントパネルから発した光がドライバの腕により反射されてドライバモニタカメラ２に達する光量は、その光がドライバの顔により反射されてドライバモニタカメラ２に達する光量よりも多くなる。したがって、ドライバ画像上では、ドライバの腕が表された画素の輝度値は、ドライバの顔が表された画素の輝度値よりも高くなることがある。そのため、高輝度ブロックは、ドライバの腕が表されている候補領域となる。

特定部３２は、特定した個々の高輝度ブロックの位置を表す情報（例えば、個々の高輝度ブロックの左上端または中心の座標）を判定部３３へ通知する。

判定部３３は、ドライバ画像上に、第１のサイズより大きい第２のサイズを有し、かつ、互いに異なる位置に複数のウィンドウ領域を設定する。第２のサイズは、第１のサイズの数倍程度に設定される。すなわち、一つのウィンドウ領域に、第１のサイズを有するブロックが複数含まれるように、個々のウィンドウ領域が設定される。そして判定部３３は、複数のウィンドウ領域のそれぞれについて、そのウィンドウ領域に含まれ、かつ、顔領域に含まれない高輝度ブロックの数を表すカウント値を算出する。

場合によっては、ドライバの顔の一部により反射されてドライバモニタカメラ２に達する光量が多いために、ドライバの顔の一部が表されたブロックが、高輝度ブロックとして検出されることがある。そこで、判定部３３は、上記のように、顔領域に含まれない高輝度ブロックの数をカウントすることで、ドライバの顔の一部が表されている高輝度ブロックを誤って腕が表されている候補領域としてカウントすることを防止できる。

また、ドライバの腕がドライバの顔を隠す位置に存在している場合、ドライバの腕は、ドライバ画像上でのドライバの腕の大きさは、個々のブロックのサイズよりも大きくなると想定される。そのため、孤立した高輝度ブロックは、ドライバの腕以外のものを表している可能性が高い。そこで、判定部３３は、カウント値の算出において、着目する高輝度ブロックに隣接する他の高輝度ブロックが存在しない場合、着目する高輝度ブロックをカウントしないようにしてもよい。

なお、判定部３３は、着目する高輝度ブロックと着目するウィンドウ領域とが重複する領域がその高輝度ブロックに占める割合が所定割合以上となる場合に、着目する高輝度ブロックは着目するウィンドウ領域に含まれると判定する。同様に、判定部３３は、着目する高輝度ブロックと顔領域とが重複する領域がその高輝度ブロックに占める割合が所定割合未満となる場合に、着目する高輝度ブロックは顔領域に含まれないと判定する。なお、所定割合は、例えば、0.5～1.0に設定される。

判定部３３は、所定のオフセット量だけウィンドウ領域の位置をずらしながら上記の処理を繰り返すことで、ドライバ画像上に設定される複数のウィンドウ領域のそれぞれについてカウント値を算出する。そして判定部３３は、何れかのウィンドウ領域についてカウント値が所定のブロック数閾値よりも大きい場合、そのウィンドウ領域を、ドライバの腕が表されている腕領域であると判定する。なお、互いに隣接し、あるいは部分的に重複する複数のウィンドウ領域のそれぞれに対してドライバの腕が表されていると判定された場合、判定部３３は、それら複数のウィンドウ領域のうち、カウント値が最大となるウィンドウ領域を腕領域としてもよい。あるいは、判定部３３は、それら複数のウィンドウ領域の集合領域を腕領域としてもよい。

一方、何れのウィンドウ領域についてもカウント値が所定のブロック数未満となる場合、判定部３３は、ドライバ画像にドライバの腕は表されていないと判定する。

なお、判定部３３は、ドライバ画像上で、車両１０のステアリングなどの車室内に設けられる機器が写り込む領域には、ウィンドウ領域を設定しないようにしてもよい。また、判定部３３は、ドライバ画像上で、リアウィンドウあるいはドアガラスが写り込む領域といった、車外からの光によって明るくなることが想定される領域についても、ウィンドウ領域を設定しないようにしてもよい。

図４は、腕領域検出の概要を説明する図である。図４に示されるように、ドライバ画像４００から複数の高輝度ブロック４０１が検出されている。また、ドライバ画像４００には、水平方向にブロックW個の幅を有し、垂直方向にブロックH個の高さを持つ複数のウィンドウ領域４０２－１～４０２－ｎ（ｎは２以上の整数）が設定される。互いに隣接する二つのウィンドウ領域４０２－ｉ、４０２－(i+1)は、水平方向に１ブロックのサイズ分だけずらして配置される。ただし、この例では、ドライバの腕以外の要因により明るくなることが想定される、ドライバ画像の下部近辺及び左右それぞれの端部近辺には何れのウィンドウ領域も配置されない。またこの例では、ブロック数閾値は１２に設定されるものとする。

この例では、最も左側に位置している高輝度ブロック４０１ａは、他の高輝度ブロック４０１と隣接していない。そのため、高輝度ブロック４０１ａを含むウィンドウ領域４０２－１において、高輝度ブロック４０１ａはカウントされない。さらに、右側の４個の高輝度ブロック４０１ｂは、顔領域４０３に含まれている。そのため、これら高輝度ブロック４０１ｂもカウントされない。その結果、ウィンドウ領域４０２－１～４０２－ｎのうち、ウィンドウ領域４０２－５に含まれる高輝度ブロック４０１の数が最大（１３）となり、かつ、その数は、ブロック数閾値よりも大きい。したがって、ウィンドウ領域４０２－５が腕領域として検出される。

判定部３３は、ドライバの腕が表されているか否かの判定結果、及び、ドライバの腕が表されていると判定した場合における、腕領域の位置及び範囲を、異常判定部３５及び警告処理部３６へ通知する。

姿勢検出部３４は、ドライバ画像から検出された顔領域に基づいて、ドライバの姿勢を検出する。本実施形態では、姿勢検出部３４は、ドライバの姿勢を表す情報として、ドライバの顔の位置及びドライバの顔の向きを検出する。

姿勢検出部３４は、ドライバ画像の顔領域から、目尻、目頭、鼻尖点、口角点等のドライバの顔の複数の特徴点を検出する。その際、姿勢検出部３４は、画像に表された顔の特徴点を検出するように予め学習された識別器に顔領域を入力することで、顔の特徴点を検出する。そのような識別器として、姿勢検出部３４は、例えば、CNN型のアーキテクチャを持つDNN、サポートベクトルマシンまたはAdaBoost識別器を用いることができる。なお、顔領域検出用の識別器と顔の特徴点検出用の識別器は一体的に構成されてもよい。この場合には、顔検出部３１が、ドライバ画像を識別器に入力することで、顔領域と顔の個々の特徴点のそれぞれを検出すればよい。あるいは、姿勢検出部３４は、顔の特徴点を表すテンプレートと顔領域とのテンプレートマッチング、あるいは、顔の特徴点を検出する他の手法に従って、顔領域からドライバの顔の個々の特徴点を検出してもよい。

姿勢検出部３４は、検出した顔の個々の特徴点を、顔の３次元形状を表す３次元顔モデルにフィッティングする。そして姿勢検出部３４は、各特徴点が３次元顔モデルに最もフィッティングする際の３次元顔モデルの顔の向きを、ドライバの顔の向きとして検出する。なお、姿勢検出部３４は、画像に表された顔の向きを判定する他の手法に従って、ドライバ画像に基づいてドライバの顔の向きを検出してもよい。

なお、姿勢検出部３４は、何れかの特徴点の検出に失敗した場合、あるいは、顔領域が検出されていない場合、ドライバの顔の向きを検出できないと判定する。

さらに、姿勢検出部３４は、ドライバ画像における顔領域の重心位置を、ドライバの顔の位置として検出する。

なお、姿勢検出部３４は、ドライバの視線方向に基づいてドライバの姿勢を検出してもよい。この場合、姿勢検出部３４は、顔領域からドライバの眼が表された眼領域を検出する。その際、姿勢検出部３４は、上述した、顔の特徴点を検出する手法と同様の手法によって左右それぞれの眼について眼領域を検出すればよい。姿勢検出部３４は、さらに、左右何れかの眼領域に対するテンプレートマッチングにより、瞳孔重心及びドライバモニタカメラ２の光源の角膜反射像（プルキンエ像）を検出する。そして姿勢検出部３４は、瞳孔重心とプルキンエ像との位置関係に基づいて、ドライバの視線方向を検出すればよい。なお、姿勢検出部３４は、ドライバの左右何れの眼領域も検出できない場合、視線方向の検出に失敗したと判定する。

姿勢検出部３４は、ドライバ画像に対するドライバの姿勢の検出結果、すなわち、ドライバの顔の位置及び顔の向きの検出結果を異常判定部３５へ通知する。さらに、姿勢検出部３４は、顔の特徴点の検出結果を異常判定部３５へ通知する。さらにまた、ドライバの視線方向の検出が行われている場合、姿勢検出部３４は、視線方向の検出結果あるいは視線方向の検出に失敗したことを異常判定部３５へ通知する。

異常判定部３５は、姿勢検出部３４により検出されたドライバの姿勢が異常判定条件を満たす場合にドライバに異常が生じたと判定する。上記のように、本実施形態では、ドライバの姿勢はドライバの顔の位置及びドライバの顔の向きにより表される。また、異常判定条件は、ドライバの顔の位置または顔の向きが正常範囲から外れた状態が時間閾値以上継続することである。そこで、異常判定部３５は、姿勢検出部３４からドライバの顔の位置及び顔の向きが通知される度に、その顔の位置及び顔の向きが、予め設定された正常範囲に含まれるか否か判定する。そして異常判定部３５は、ドライバの顔の位置または顔の向きが正常範囲から外れた状態が継続する期間の長さが時間閾値以上になると、ドライバに異常が生じたと判定する。また、ドライバの視線方向が検出されている場合、異常判定部３５は、姿勢検出部３４からドライバの視線方向が通知される度に、その視線方向が、予め設定された正常範囲に含まれるか否か判定する。そして異常判定部３５は、ドライバの視線方向が正常範囲から外れた状態が継続する期間の長さが時間閾値以上になると、ドライバに異常が生じたと判定してもよい。

ただし、ドライバの顔の少なくとも一部がドライバの腕により隠されているドライバ画像に対して、異常判定部３５は、ドライバの顔の向き及び位置、及び、視線方向を精度良く検出することができない。そこで、ドライバ画像において顔領域が検出できなかったことを顔検出部３１から通知された場合、異常判定部３５は、ドライバの顔の位置及び向きの検出に失敗したと判定する。そして異常判定部３５は、そのドライバ画像において腕領域が検出されていることが判定部３３から通知されているか否か判定する。腕領域が検出されている場合、ドライバの顔がドライバの腕で隠されている可能性が有ると判定する。

また、ドライバ画像において顔の特徴点の何れかが検出されていない場合も、異常判定部３５は、そのドライバ画像についてドライバの顔の位置及び向きの検出に失敗したと判定する。そして異常判定部３５は、そのドライバ画像において腕領域が検出されている場合、ドライバの顔がドライバの腕で隠されている可能性が有ると判定する。さらに、ドライバの視線方向の検出に失敗したことが姿勢検出部３４から通知され、かつ、そのドライバ画像において腕領域が検出されている場合、異常判定部３５は、ドライバの顔がドライバの腕で隠されている可能性が有ると判定する。なお、この場合、異常判定部３５は、顔領域と腕領域間の距離が所定距離以下である場合に限り、ドライバの顔がドライバの腕で隠されている可能性が有ると判定してもよい。

変形例によれば、ドライバ画像において顔領域、顔の向き、位置あるいは視線方向の何れかが検出されておらず、かつ、腕領域が検出されている場合、異常判定部３５は、ドライバ画像上においてドライバの顔がドライバの手に隠されているか否かを判定してもよい。この場合、異常判定部３５は、ドライバ画像を、ドライバの手を検出するように予め学習された識別器に入力することで、ドライバ画像からドライバの手が表された手領域を検出する。そして異常判定部３５は、ドライバ画像において顔領域、顔の向き、位置あるいは視線方向の何れかが検出されておらず、かつ、手領域が検出されている場合、ドライバの顔の少なくとも一部がドライバの手に隠されていると判定してもよい。また、ドライバの顔の向き、位置あるいは視線方向が正常範囲から外れている場合において、顔領域から所定距離以内に手領域が検出されている場合も、異常判定部３５は、ライバの顔の少なくとも一部がドライバの手に隠されていると判定してもよい。

異常判定部３５は、ドライバの顔がドライバの腕で隠されている可能性が有ると判定した場合、ドライバの顔の向き、位置または視線方向が正常範囲から外れている期間の継続時間をリセットする。これにより、ドライバの異常の誤検出が抑制される。

異常判定部３５は、ドライバに異常が生じたか否かの判定結果を警告処理部３６及び車両制御部３７に通知する。さらに、異常判定部３５は、ドライバの顔がドライバの腕により隠されている可能性が有ると判定した場合、その旨を警告処理部３６に通知する。

警告処理部３６は、異常判定部３５から、ドライバに異常が生じたとの判定結果を受け取ると、所定の警告処理を実施する。例えば、警告処理部３６は、通知機器３が有するスピーカに、ドライバに運転姿勢を取ることを要求する音声信号あるいは警告音を発声させる。あるいは、警告処理部３６は、通知機器３が有するディスプレイに、ドライバに運転姿勢を取ることを要求する警告メッセージを表示させる。あるいはまた、警告処理部３６は、通知機器３が有する振動子を振動させる。

警告処理部３６は、通知機器３を介してドライバへ運転姿勢を取ることを要求する警告処理を実施した後に、異常判定部３５からドライバに異常が生じていないとの判定結果を受け取ると、警告処理の実行を停止する。

また、異常判定部３５から、ドライバの顔がドライバの腕により隠されている可能性が有ることを通知されると、警告処理部３６は、ドライバの腕の位置を変更することを依頼するメッセージを、通知機器３を介してドライバに通知する。その際、警告処理部３６は、ドライバの腕によりドライバの顔が隠されている可能性が有ることを表すメッセージを、通知機器３を介してドライバに対してさらに通知してもよい。

車両制御部３７は、異常判定部３５から、ドライバに異常が生じたとの判定結果を受け取るまでは、車両１０に適用される運転制御レベルに従って車両１０を制御する。車両１０に適用される運転制御レベルが、ドライバが車両１０の運転に関与しない運転制御レベルである場合、車両制御部３７は、車両１０が走行中の自車線に沿って走行するよう、車両１０を制御する。そのために、車両制御部３７は、車外カメラにより生成された画像から自車線と隣接車線とを区画する車線区画線、及び、車両１０の周囲を走行する他の車両といった移動物体を検出する。そして車両制御部３７は、検出された車線区画線と地図情報とを照合することで、車両１０の位置及び姿勢を推定する。そして車両制御部３７は、車両１０の位置及び姿勢の推定結果と、車両１０の周囲の個々の移動物体の検出結果とに基づいて、車両１０が個々の移動物体と衝突せず、かつ、自車線に沿って走行するように車両１０を制御する。

また、異常判定部３５からドライバに異常が生じたとの判定結果を継続して一定期間にわたって受け取ると、車両制御部３７は、車両１０を緊急停車させるように車両１０を制御する。なお、車両制御部３７は、異常判定部３５からドライバに異常が生じたとの判定結果を受け取ると直ちに車両１０を緊急停車させるように車両１０を制御してもよい。その際、車両制御部３７は、車両１０の位置及び姿勢の推定結果、車両１０の周囲の個々の移動物体の検出結果、及び、地図情報に基づいて、車両１０を路肩に移動させてから停車させてもよい。

図５は、プロセッサ２３により実行される、腕検出処理を含む車両制御処理の動作フローチャートである。プロセッサ２３は、所定の周期ごとに、以下の動作フローチャートに従って車両制御処理を実行すればよい。

プロセッサ２３の顔検出部３１は、最新のドライバ画像から顔領域を検出する（ステップＳ１０１）。

プロセッサ２３の特定部３２は、最新のドライバ画像における第１のサイズを有する個々のブロックのうち、高輝度ブロックを特定する（ステップＳ１０２）。その後、プロセッサ２３の判定部３３は、最新のドライバ画像上の個々のウィンドウ領域について、そのウィンドウ領域に含まれ、かつ、顔領域に含まれない高輝度ブロックの数をカウントしてカウント値を算出する（ステップＳ１０３）。そして判定部３３は、各ウィンドウ領域のうち、カウント値が所定のブロック数閾値よりも大きいウィンドウ領域を腕領域として判定する（ステップＳ１０４）。上記のように、カウント値が所定のブロック数閾値よりも大きいウィンドウ領域が複数存在する場合、判定部３３は、それらウィンドウ領域のうち、カウント値が最大となるウィンドウ領域、あるいは、それらウィンドウ領域の集合領域を腕領域と判定してもよい。

また、プロセッサ２３の姿勢検出部３４は、ドライバ画像から検出された顔領域に基づいてドライバの顔の位置及びドライバの顔の向きを検出する（ステップＳ１０５）。そしてプロセッサ２３の異常判定部３５は、顔の位置及び顔の向きの検出に成功したか否か判定する（ステップＳ１０６）。顔の位置及び顔の向きの検出が失敗している場合（ステップＳ１０６－Ｎｏ）、異常判定部３５は、腕領域が検出されているか否か判定する（ステップＳ１０７）。腕領域が検出されている場合（ステップＳ１０７－Ｙｅｓ）、プロセッサ２３の警告処理部３６は、ドライバの腕の位置を変更することを依頼するメッセージを、通知機器３を介してドライバに通知する。さらに、警告処理部３６は、ドライバの腕によりドライバの顔が隠されている可能性が有ることを表すメッセージを、通知機器３を介してドライバに通知する（ステップＳ１０８）。その後、プロセッサ２３は、車両制御処理を終了する。また、腕領域が検出されていない場合（ステップＳ１０７－Ｎｏ）も、プロセッサ２３は、車両制御処理を終了する。

また、ステップＳ１０６において、顔の位置及び顔の向きの検出に成功している場合（ステップＳ１０６－Ｙｅｓ）、異常判定部３５は、ドライバに異常が生じたか否か判定する（ステップＳ１０９）。その際、異常判定部３５は、直近の所定時間における時系列の一連のドライバ画像におけるドライバの顔の向き及び顔の位置あるいは視線方向に基づいて、ドライバに異常が生じたか否か判定すればよい。異常判定部３５がドライバに異常が生じたと判定した場合（ステップＳ１０９－Ｙｅｓ）、プロセッサ２３の警告処理部３６は、通知機器３を介してドライバに運転姿勢を取ることを要求する警告を通知する（ステップＳ１１０）。さらに、プロセッサ２３の車両制御部３７は、車両１０を緊急停車させるよう、車両１０を制御する（ステップＳ１１１）。

一方、ステップＳ１０９において、異常判定部３５がドライバに異常が生じていないと判定した場合（ステップＳ１０９－Ｎｏ）、車両制御部３７は、車両１０に適用される運転制御レベルに従って車両１０を制御する（ステップＳ１１２）。

ステップＳ１１１またはステップＳ１１２の後、プロセッサ２３は、車両制御処理を終了する。

以上に説明してきたように、この腕検出装置は、車両のドライバの顔が表された顔画像から、ドライバの顔が表された顔領域を検出する。さらに、この腕検出装置は、顔画像をそれぞれが第１のサイズを有する複数のブロックに分割し、複数のブロックのうち所定の輝度閾値よりも高い輝度を有する画素の数が所定の画素数閾値よりも多いブロックを高輝度ブロックとして特定する。そしてこの腕検出装置は、第１のサイズより大きい第２のサイズを有するウィンドウ領域に含まれる、高輝度ブロックのうち顔領域に含まれないブロックの数が所定のブロック数閾値よりも多い場合、そのウィンドウ領域にドライバの腕が表されていると判定する。そのため、この腕検出装置は、ドライバが表された画像において、ドライバの腕を、ドライバの顔と区別するとともに精度良く検出することができる。

変形例によれば、特定部３２は、ドライバ画像に設定した複数のブロックのうち、顔領域に含まれないブロックのなかから、高輝度ブロックを特定してもよい。この場合には、判定部３３は、ウィンドウ領域に含まれる高輝度ブロックの数をそのウィンドウ領域についてのカウント値として算出してもよい。この場合も、結局、各ウィンドウ領域について、顔領域に含まれない高輝度ブロックの数がカウントされることとなる。

他の変形例によれば、特定部３２は、ドライバ画像が生成されたときの時刻に基づいて、輝度閾値及び画素数閾値の何れか一方を変更してもよい。例えば、昼間に相当する時間帯では、車外からの光により車室内が明るくなるため、相対的に高い輝度値を有する画素の数が増加する。そこで、特定部３２は、昼間に相当する時間帯における輝度閾値を、夜間に相当する時間帯における輝度閾値よりも大きくしてもよい。同様に、特定部３２は、昼間に相当する時間帯における画素数閾値を、夜間に相当する時間帯における画素数閾値よりも大きくしてもよい。同様に、特定部３２は、車両１０に搭載された光量センサ（図示せず）により検出された光量が大きいほど、輝度閾値または画素数閾値を大きくしてもよい。あるいは、特定部３２は、車外カメラ（図示せず）の露出制御値が表す露出の値が小さくなるほど、輝度閾値または画素数閾値を大きくしてもよい。あるいはまた、特定部３２は、車両１０に搭載された無線通信端末（図示せず）を介して受信した天候情報で表される、車両１０の現在位置における天候に基づいて、輝度閾値及び画素数閾値の少なくとも一方を制御してもよい。例えば、特定部３２は、車両１０の現在位置における天候が晴である場合の輝度閾値または画素数閾値を、車両１０の現在位置における天候が曇りまたは雨天である場合の輝度閾値または画素数閾値よりも大きくしてもよい。なお、特定部３２は、車両１０の現在位置として、車両１０に搭載された測位機器により測定された車両１０の位置を利用することができる。

この変形例によれば、特定部３２は、車両１０の周囲の明るさによらず、ドライバの腕が写っている可能性が高いブロックを高輝度ブロックとして適切に特定することができる。

他の変形例によれば、特定部３２は、直近の所定期間における、時系列に得られる一連のドライバ画像における、同じ位置のブロック間で輝度変化を算出し、その輝度変化の無いブロックについては高輝度ブロックとしないようにしてもよい。これは、輝度変化の無いブロックは、車室内のインテリアなどが表されている可能性が高いためである。これにより、特定部３２は、昼間に相当する時間帯において、車外からの光により車室内のインテリアが照らされて明るくなっていても、そのようなインテリアが表されているブロックを高輝度ブロックから除外できる。その結果として、腕検出装置は、腕領域の検出精度を向上することができる。なお、特定部３２は、時系列の一連のドライバ画像の同じ位置のブロックのそれぞれについて輝度平均値を算出し、ドライバ画像間でのその輝度平均値の差の絶対値が所定の輝度差閾値以下である場合、その位置のブロックについて輝度変化が無いと判断する。所定の輝度差閾値は、例えば、ドライバ画像が取り得る輝度値の最大値に0.05～0.1を乗じた値とすることができる。

また、上記の実施形態または変形例による、ＥＣＵ４のプロセッサ２３の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 車両制御システム
２ ドライバモニタカメラ
３ 通知機器
４ 電子制御装置(腕検出装置)
１０ 車両
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 顔検出部
３２ 特定部
３３ 判定部
３４ 姿勢検出部
３５ 異常判定部
３６ 警告処理部
３７ 車両制御部

Claims (1)

1. 車両のドライバの顔を撮影した顔画像から、前記ドライバの顔が表された顔領域を検出する検出部と、
   前記顔画像をそれぞれが第１のサイズを有する複数のブロックに分割し、前記複数のブロックのうち所定の輝度閾値よりも高い輝度を有する画素の数が所定の画素数閾値よりも多いブロックを高輝度ブロックとして特定する特定部と、
   前記第１のサイズより大きい第２のサイズを有し、かつ、前記顔画像上の互いに異なる位置に設定される複数のウィンドウ領域の何れかについて、当該ウィンドウ領域に含まれ、かつ、前記顔領域に含まれない前記高輝度ブロックの数が所定のブロック数閾値よりも多い場合、当該ウィンドウ領域にドライバの腕が表されていると判定する判定部と、
   を有する腕検出装置。

Images