JP2010097379A - ドライバモニタリング装置およびドライバモニタリング装置用のプログラム - Google Patents

Abstract

【課題】車両内のドライバの顔の撮影画像に基づいて、ドライバの顔の動作の状態を検出するドライバモニタリング装置において、ドライバによるサングラスまたはマスクの着用状況に適した方法で、ドライバの顔動作状態を検出する。
【解決手段】ドライバモニタリング装置が、車両内のドライバの顔の撮影画像に基づいて、ドライバの顔動作状態を検出するドライバモニタリング装置が、当該撮影画像に基づいて、ドライバについてのサングラスまたはマスクの着用状況を判定し（ステップ１３０）、その判定した着用状況に基づいて、ドライバの顔動作状態を検出する方法を選択する（ステップ１８０）。
【選択図】図４

Description

本発明は、ドライバモニタリング装置およびドライバモニタリング装置用のプログラムに関するものである。

従来、車両内のドライバの顔を撮影し、ドライバの目、眉、鼻、耳、口等の顔器官の位置を、その撮影画像中で特定するドライバモニタリング装置の技術が知られている（例えば、特許文献１〜５参照）。また、顔器官の位置に基づいて、ドライバの脇見運転、居眠り運転等を検出するために、ドライバの視線方向、開眼度、顔の向き等の状態（以下、顔動作状態という）を検出する技術知られている（例えば、特許文献４、５参照）。
２００５−２５１２２４号公報 ２００７−２１３３７６号公報 ２００７−２５７３２１号公報 ２００１−３０７０７６号公報 ２００５−１８６５６号公報

しかし、ドライバがサングラス、マスクといった遮蔽物を着用した場合、顔器官の一部がその遮蔽物によって隠れてしまうため、ドライバモニタリング装置が、顔器官の一部の位置を特定することができなくなってしまう場合がある。

このような場合、例えば、以下のような問題が発生する。ドライバの開眼度は、ドライバの瞼の開閉の状態に基づいて検出される。しかし、ドライバがサングラスを着用している状態では、ドライバの瞼の位置等を検出することができない。このような場合にまで、ドライバの開眼度の検出を試みる処理を行うことは望ましくない場合がある。なぜなら、無用な処理負荷が増大してしまう可能性が高いからである。

また、ドライバの顔の向きは、ドライバの複数の顔器官の位置に基づいて検出される。しかし、ドライバがマスクを着用している状態では、ドライバの口（および場合によっては鼻）の位置を特定することができない。このような場合にまで、ドライバの口および鼻の位置を検出しようと試みることは、処理負荷の観点から好ましくない場合がある。

その一方で、ドライバが裸顔の状態（すなわち、遮蔽物を何も着用していない状態）においては、ドライバの顔動作状態をより詳しく把握するために、できるだけ多くの種類の顔動作状態を検出し、かつ、より多くの顔器官を用いた検出を行うことが望ましい。

本発明は上記点に鑑み、車両内のドライバの顔の撮影画像に基づいて、ドライバの顔動作状態を検出するドライバモニタリング装置において、ドライバによるサングラスまたはマスクの着用状況（すなわち、着用しているか否か）に適した方法で、ドライバの顔動作状態を検出する技術を提供することを目的とする。

上記目的を達成するための請求項１に記載の発明は、車両内のドライバの顔の撮影画像に基づいて、ドライバの顔の動作の状態（以下、顔動作状態という）を検出するドライバモニタリング装置が、当該撮影画像に基づいて、ドライバについてのサングラスまたはマスクの着用状況を判定し、その判定した着用状況に基づいて、ドライバの顔動作状態を検出する方法を選択するようになっていることである。

このように、サングラスまたはマスクの着用状況に基づいて、ドライバの顔動作状態を検出する方法を切り替えることで、ドライバによるサングラスまたはマスクの着用状況に適した方法で、ドライバの顔動作状態を検出することができる。

なお、「ドライバの顔動作状態」とは、車両の運転におけるドライバの顔の動作の状態をいう。より具体的には、ドライバの顔動作状態としては、ドライバの視線方向、ドライバの顔の向き、ドライバの開眼度等がある。

また、「顔動作状態を検出する方法」とは、例えば、ドライバの顔動作状態を検出するためにどのような情報（例えば、眼の位置の情報、口の位置の情報、鼻の位置の情報）を使用するかについての選択肢、あるいは、どのような種類の顔動作状態を検出するかについての選択肢をいう。

なお、サングラスには、撮影画像に基づいて着用状況を判定することができるサングラスと、そうでないサングラスがある。なぜなら、撮影画像の撮影に用いた波長の光のほとんどがサングラスのレンズ部を透過する場合、そのサングラスの着用状況は、着用状況判定手段が算出することはできないからである。本明細書では、撮影画像の撮影に用いた波長の光の多くを遮蔽するようなサングラスのみを、説明の対象とする。

また、請求項２に記載のように、ドライバモニタリング装置は、ドライバの顔の撮影画像と、あらかじめ用意されているドライバ以外の複数人の顔の画像の情報との比較に基づいて着用状況を判定するようになっていてもよい。

この場合、ドライバモニタリング装置は、着用状況を判定した後に、着用状況に変化があったことを検出し、その変化を検出したことを起因として、着用状況を再度判定し、また、着用状況が再度判定されたことを起因として、再度判定された着用状況に基づいて、当該ドライバの顔動作状態を検出する方法を変化させてもよい。この際、着用状況に変化があったことの検出は、当該ドライバの顔について繰り返し撮影された撮影画像間の変化に基づいて行うようになっていてもよい。

このように、ドライバの着用状況そのものの判定は、当該ドライバの顔の撮影画像の特徴情報と、あらかじめ用意された当該ドライバ以外の複数人の顔の画像の特徴情報との比較に基づいて行う。この方法は、比較対象として複数人の顔の画像の特徴情報を用いているので、精度が高い反面、当該ドライバ以外の人の顔の画像の特徴情報を比較対象に用いるので、処理負荷が比較的高くなる。

他方、着用状況が変化したことの検出は、当該ドライバの顔について繰り返し撮影された撮影画像間の変化に基づいて行うという、処理負荷の比較的低い方法で簡易に行うことができる。

このようにすることで、着用状況を一度判定してから、着用状況の変化が検出されて再度着用状況を判定するまでの間は、処理負荷の比較的高い着用状況そのものの判定を行わずともよく、簡易な手法で着用状況の変化の検出を行うことが可能となる。したがって、ドライバモニタリング装置の処理速度が向上する。

また、請求項３に記載のように、ドライバモニタリング装置は、着用状況の変化の検出において、ドライバの顔の撮影画像のうち、サングラスまたはマスクの着用時に覆われる部分に相当する部分画像を、ドライバの顔の撮影画像中から抽出し、当該部分画像における輝度別の頻度分布の統計的ばらつき度合いの変化に基づいて、着用状況に変化があった旨を検出するようになっていてもよい。

このような作動は、人間の目や口に比べればサングラスまたはマスクの輝度は一様であるという一般的な傾向を利用するものである。すなわち、サングラスまたはマスクの着用時に覆われる部分においては、マスクまたはサングラスを着用した状態と、そうでない状態では、輝度別の頻度分布の統計的ばらつき度合いが大きく異なる。

つまり、サングラスまたはマスクを着用している状態から、サングラスまたはマスクを着用していない状態に変化した場合、部分画像における輝度別の頻度分布の統計的ばらつき度合いが大きくなる。また、サングラスまたはマスクを着用していない状態から、サングラスまたはマスクを着用している状態に変化した場合、部分画像における輝度別の頻度分布の統計的ばらつき度合いが小さくなる。

また、請求項４に記載のように、ドライバモニタリング装置は、着用状況の変化の検出において、ドライバの顔の撮影画像のうち、サングラスまたはマスクの着用時に覆われる部分と覆われない部分を含む領域内における位置別の輝度分布に変化があったことに基づいて、着用状況に変化があった旨を検出するようになっていてもよい。

このような作動は、人の皮膚と、サングラスまたはマスクとでは、輝度に大きな差があるという一般的な傾向を利用するものである。すなわち、サングラスまたはマスクの着用時に覆われる部分と、その外の部分との間の輝度の乖離は、マスクまたはサングラスの着用時には大きくなり、非着用時には小さくなる。したがって、マスクまたはサングラスを着用している場合と、裸顔の場合とでは、サングラスまたはマスクの着用時に覆われる部分と覆われない部分を含む領域内における位置別の輝度分布が、大きく異なる。

また、請求項５に記載のように、ドライバモニタリング装置は、ドライバの顔の撮影画像のうち、サングラスまたはマスクの着用時に覆われる部分と覆われない部分とを共に含む領域に相当する部分画像を、ドライバの顔の撮影画像中から抽出し、当該部分画像における輝度別の頻度分布中のピークの数の変化に基づいて、着用状況に変化があった旨を検出するようになっていてもよい。

このような作動は、人の皮膚と、サングラスまたはマスクとでは、輝度に大きな差があるという一般的な傾向を利用するものである。すなわち、サングラスまたはマスクの着用時には、顔に相当する部分画像についての輝度別の頻度分布は、サングラスまたはマスクの典型的な輝度に対応するピークと、ドライバの皮膚の典型的な輝度に対応するピークを有する分布となる。また、サングラスまたはマスクの非着用時には、ドライバの皮膚の典型的な輝度を１つのピークとする正規分布に近い分布となる。

また、請求項６に記載のように、ドライバモニタリング装置は、ドライバの顔に相当する部分画像を、ドライバの顔の撮影画像中から抽出し、当該部分画像を更に複数の分割画像に分割し、当該複数の分割画像中で、サングラスまたはマスクの着用時に覆われる分割画像の輝度と、他の分割画像の輝度と、の比較値の変化に基づいて、着用状況に変化があった旨を検出するようになっていてもよい。

このようにすることで、外乱光等の影響で撮影画像全体の明暗に変化があったとしても、顔の所定の部分の間の輝度の比較を用いることで、サングラスまたはマスクの着用状況の変化の検出に対して外乱光等が与える影響を低減することができる。

また、請求項７に記載のように、ドライバモニタリング装置は、初期発見モード、トラッキングモード、再探索モードの３つのモードの間を遷移して作動するようになっていてもよい。

そして、ドライバモニタリング装置は、初期発見モードにおいて、撮影画像中のドライバの顔特徴点の画像および当該顔特徴点の画像の位置を特定してもよい。

また、初期発見モードに続いて、トラッキングモードにおいて、繰り返し撮影された前記ドライバの顔の撮影画像のそれぞれに対して、初期発見モードにおいて特定した顔特徴点の画像に類似する画像を当該撮影画像の撮影順に追跡することで、顔特徴点の位置を繰り返し特定してもよい。

また、ドライバモニタリング装置は、トラッキングモードで顔特徴点の位置の特定に失敗したことを起因として、再探索モードに遷移し、再探索モードにおいて、繰り返し撮影されたドライバの顔の撮影画像のそれぞれに対して、初期発見モードにおいて特定した顔特徴点の画像に類似する画像を探索することで、顔特徴点の位置を繰り返し特定しようと試み、その繰り返しにおける基準回数以内に顔特徴点の位置の特定に成功した場合、トラッキングモードに戻り、その繰り返しにおける基準回数以内に顔特徴点の位置の特定に成功しなかった場合、初期発見モードに戻ってもよい。

また、ドライバモニタリング装置は、着用状況の判定、および顔動作状態を検出する方法の選択は、初期発見モードにおいて行い、着用状況の変化の検出は、トラッキングモードおよび再探索モードにおいて行うようになっていてもよい。

なお、顔特徴点とは、目頭、目尻、鼻腔、２つの鼻腔の中間、口端等の、顔の器官中の特徴的な（すなわち、他と容易に区別できる特徴を有する）点をいう。

また、請求項９に記載のように、本発明の特徴は、モニタリング装置に用いるプログラムとして捉えることもできる。

なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。

以下、本発明の一実施形態について説明する。図１に、本実施形態に係るドライバモニタリング装置１０の車両への搭載形態を示し、図２に、ドライバモニタリング装置１０のブロック構成を示す。

これらの図に示すように、車両に搭載されるドライバモニタリング装置１０は、カメラ１、投光器２、画像処理ＥＣＵ３、状態推定ＥＣＵ４、およびアクチュエータ５を有している。なお、ドライバモニタリング装置１０は、車両の主電源がオンとなった場合（例えば、イグニッションがオンとなった場合）に作動を開始し、オフとなった場合に作動を終了する。したがって、ドライバモニタリング装置１０は、その１回の作動中においては、同じドライバを対象として作動する。

カメラ１は、車両のインストゥルメントパネルのうち、ドライバ席６の正面に近い位置（例えば、メータ付近）に取り付けられている。カメラ１の撮影範囲は、ドライバ７がドライバ席６に着座したときに、ドライバ７の顔８が通常の場合位置するであろう空間領域を含むようになっている。すなわち、カメラ１は、ドライバ席６に着座したドライバ７の顔８を正面から撮影できるように配置されている。

このカメラ１は、ドライバモニタリング装置１０の作動中、繰り返し定期的に（例えば１秒に３０回）ドライバ７の顔８を撮影し、その撮影の結果得た撮影画像（すなわち、顔８を含む画像）を、撮影順に逐次ＥＣＵ３に出力する。

なお、カメラ１は、撮影の際には、主に近赤外光を利用する。具体的には、カメラ１には、近赤外光以外の光をほぼ遮るフィルタが取り付けられており、そのフィルタ越しに受けた光を用いて撮影を行うようになっている。

また、カメラは周知のＡＧＣ（自動ゲイン制御）機能、および、周知のＡＥＣ（自動露出制御）を備えている。ＡＧＣ機能は、撮影時のカメラ１の周囲の明るさに応じて、撮影画像の全体輝度を、異なる撮影タイミングの撮影画像間で大きく変化しないように調節する機能である。また、ＡＥＣ機能は、撮影時のカメラ１の周囲の明るさに応じて、異なる撮影タイミングの撮影画像間で大きく変化しないように、カメラ１の露出を調節する機能である。

投光器２は、ドライバ席６に着座したドライバ７の顔８に主に近赤外光を照射するための装置である。この投光器２によって照射された近赤外光が顔８で反射することで、カメラ１によって撮影される顔８の撮影画像が、外部の環境に大きく影響されることなく、鮮明になる。

投光器２としては、例えば近赤外光を照射するＬＥＤを用いてもよい。この投光器２は、車両のインストゥルメントパネルのうち、ドライバ席６の正面に近い位置に取り付けられている。そして投光器２は、ドライバ７がドライバ席６に着座したときに、ドライバ７の顔８が通常の場合位置するであろう空間領域に赤外光が照射されるように、配置されている。

なお、投光器２は、画像処理ＥＣＵ３からの制御に基づいて、カメラ１による撮影のタイミングに合わせて光を照射するようになっていてもよいし、ドライバモニタリング装置１０の作動中常時光を照射し続けるようになっていてもよい。

画像処理ＥＣＵ３は、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、Ｉ／Ｏ等を有するマイコン等から成る。そして、ＣＰＵがＲＯＭから読み出したプログラムをＲＡＭに読み出して実行し、その実行の際に、必要に応じてフラッシュメモリ、カメラ１等から情報を取得し、また必要に応じて、状態推定ＥＣＵ４に信号を出力する。このようなＣＰＵ等の作動により、画像処理ＥＣＵ３の作動が実現する。

具体的には、画像処理ＥＣＵ３は、カメラ１から受信したドライバ７の顔８の撮影画像に基づいて、ドライバ７の顔動作状態を逐次判定し、判定したそれら運転状態の情報を、逐次状態推定ＥＣＵ４に出力する。ここで、ドライバ７の顔動作状態とは、ドライバ７の顔の動作の状態をいう。例えば、顔８の向き、開眼度（すなわち、瞼の開き度合い）、および視線方向（すなわち、ドライバ７が見ている方向）は、それぞれ顔動作状態の一種である。

ただし、画像処理ＥＣＵ３は、常にドライバ７の顔向き、開眼度、および視線方向のすべてを状態推定ＥＣＵ４に出力するとは限らず、それらのうちの一部のみを出力する場合もあれば、カメラ１から撮影画像を取得しているにも関わらずそれらを全く出力しない場合もある。画像処理ＥＣＵ３の詳細な作動については後述する。

状態推定ＥＣＵ４は、図示しないＣＰＵ（コンピュータの一例に相当する）、ＲＡＭ、ＲＯＭ、フラッシュメモリ、Ｉ／Ｏ等を有するマイコン等から成る。そして、ＣＰＵがＲＯＭから読み出したプログラムをＲＡＭに読み出して実行し、その実行の際に、必要に応じてフラッシュメモリ、カメラ１等から情報を取得し、また必要に応じて、状態推定ＥＣＵ３からの情報に基づいて、アクチュエータ５を制御する。

具体的には、状態推定ＥＣＵ４は、画像処理ＥＣＵ３から受けたドライバ７の顔動作状態の情報に基づいて、ドライバ７が眠気を催しているか否か、ドライバ７が居眠り運転をしているか否か、ドライバ７が脇見運転をしているか否か、等の運転状態を判定し、その判定結果に基づいて、ドライバに警告を与えるため、または、ドライバを覚醒させるため、アクチュエータ５を制御する。このようなＣＰＵ等の作動により、状態推定ＥＣＵ４の作動が実現する。

アクチュエータ５は、ドライバの感覚器官（耳、皮膚等）を刺激するための装置であり、スピーカ５ａ、シート振動装置５ｂ、および空調装置５ｃを含んでいる。スピーカ５ａは、ドライバの聴覚に働きかける装置である。シート振動装置５ｂは、ドライバ席６に埋め込まれ、自ら振動することで、その振動をドライバ席６越しにドライバ７に伝える装置である。空調装置５ｃは、車両の車室内の空気の温度を変化させることで、ドライバの体感温度を変化させる装置である。

状態推定ＥＣＵ４の具体的な作動は、以下の通りである。まず、状態推定ＥＣＵ４が、ドライバ７の顔向き、開眼度、および視線方向のすべてを繰り返し受けている場合について説明する。この場合、状態推定ＥＣＵ４は、ドライバ７の顔向きの変化に基づいてドライバ７の頭の揺れの状態を検出し、また、ドライバ７の開眼度の変化に基づいてドライバ７の瞬きの状態を検出し、それら頭の揺れの状態および瞬きの状態に基づいて、ドライバ７が居眠り状態であるか否か、およびドライバ７が眠気を憶えている状態であるか否かを判定する。また状態推定ＥＣＵ４は、ドライバ７の顔向きおよび視線方向に基づいて、ドライバ７が脇見運転をしているか否かを判定する。

次に、状態推定ＥＣＵ４が、ドライバ７の顔向き、開眼度、および視線方向のうち、顔向きおよび開眼度のみを繰り返し受けている場合について説明する。この場合、状態推定ＥＣＵ４は、ドライバ７の顔向きおよび開眼度に基づいて、ドライバ７が居眠り状態であるか否か、およびドライバ７が眠気を憶えている状態であるか否かを判定する。また状態推定ＥＣＵ４は、ドライバ７の顔向きのみに基づいて、ドライバ７が脇見運転をしているか否かを判定する。

次に、状態推定ＥＣＵ４が、ドライバ７の顔向き、開眼度、および視線方向のうち、顔向きおよび視線方向のみを繰り返し受けている場合について説明する。この場合、状態推定ＥＣＵ４は、ドライバ７の視線のみに基づいて、ドライバ７が居眠り状態であるか否か、およびドライバ７が眠気を憶えている状態であるか否かを判定する。また状態推定ＥＣＵ４は、ドライバ７の顔向きおよび視線方向に基づいて、ドライバ７が脇見運転をしているか否かを判定する。

次に、状態推定ＥＣＵ４が、ドライバ７の顔向き、開眼度、および視線方向のうち、顔向きのみを繰り返し受けている場合について説明する。この場合、状態推定ＥＣＵ４は、ドライバ７の顔向きのみに基づいて、ドライバ７が脇見運転をしているか否かを判定する。

次に、状態推定ＥＣＵ４が、ドライバ７の顔向き、開眼度、および視線方向のいずれも受けていない場合について説明する。この場合、状態推定ＥＣＵ４は、ドライバ７が居眠り状態であるか否か、およびドライバ７が眠気を憶えている状態であるか、および、ドライバ７が脇見運転をしているか否かのいずれについても、判定しない。

また、状態推定ＥＣＵ４は、ドライバ７が居眠り状態であると判定した場合、または、ドライバ７が眠気を憶えていると判定した場合、スピーカ５ａに大きな音を出力させ、かつ、シート振動装置５ｂを振動させ、さらに空調装置５ｃに車室内温度を低下させることで、ドライバを覚醒させ、ドライバの眠気を覚ます。また、状態推定ＥＣＵ４は、ドライバ７が脇見運転をしていると判定した場合、スピーカ５ａに、「脇見注意」等の警告音声を出力させる。

このように、状態推定ＥＣＵ４は、画像処理ＥＣＵ３が検出したドライバの顔動作状態の種類の変化に応じて、車両の運転にとって好ましくないドライバの身体的状況の検出のうち、いずれかの検出を行うかを切り替える。

次に、画像処理ＥＣＵ３のドライバの顔動作状態の判定の詳細について説明する。画像処理ＥＣＵ３は、ドライバモニタリング装置１０の作動中、図３に示すように、初期発見モード１００、トラッキングモード２００、再探索モード３００という３つの作動モードの間を遷移する。

より具体的には、画像処理ＥＣＵ３は、ドライバモニタリング装置１０の起動直後には、まず初期発見モード１００に入る。そして、初期発見モード１００において、ドライバ７の顔８および顔８の特徴点の位置および形状の特定を試み、その試みに成功すると、特定した顔８および顔８の特徴点の位置および特徴量（画像認識のための周知の特徴量。以下同じ。）をＲＡＭまたはフラッシュメモリに登録し、その後、矢印１１のようにトラッキングモード２００に遷移する。なお、顔８の特徴点とは、例えば、右目頭、右目尻、左目頭、左目尻、鼻腔中心（２つの鼻腔の中間点）、左右口端等の点をいう。

また、トラッキングモード２００において、初期発見モードにおいて特定した特徴点（以下、顔特徴点という）の位置の追跡を、逐次取得する撮影画像に基づいて撮影順に試み、特定した特徴点の位置等に基づいて、ドライバ７の顔動作状態（ドライバ７の顔向き、開眼度、および視線方向のすべてまたは一部）を特定し、特定した顔動作状態の情報を状態推定ＥＣＵ４に出力する。また、トラッキングモード２００において、顔特徴点の検出に失敗すると、矢印１２に示すように、再探索モード３００に遷移する。

再探索モード３００においては、トラッキングモード２００と同様に、逐次取得する撮影画像に基づいて顔特徴点の追跡を撮影順に試み、その試みの回数が基準回数に達する前に（または試みの継続期間が基準時間に達する前に）当該試みに成功すると、矢印１３に示すように、再度トラッキングモード２００に復帰し、その試みの回数が連続して基準回数失敗すると（または試みの失敗の継続期間が基準時間に達すると）、矢印１４に示すように、初期発見モード１００に戻る。

このように、画像処理ＥＣＵ３は、まず初期発見モード１００からトラッキングモード２００へと遷移し、追跡が成功している間は常にトラッキングモード２００が継続することになる。しかしながら、追跡に失敗し特徴点を見つけられなくなると再探索モード３００に移行し、特徴点を見失ったままでも、基準回数（または基準時間）の間は、追跡の試みを繰り返す。それでも基準回数（または基準時間）経過しても見つからない場合は、再探索モード３００から初期発見モード１００に戻る。

再探索モード３００において特徴点を見失ったままでも、追跡の試みを繰り返す理由は、後述するように初期発見モード１００の処理は計算の負荷（すなわち計算コスト）が高いので、初期発見モード１００の実行はなるべく避けたいためである。つまり、一度トラッキングモード２００に入ったら、ロスト状態（すなわち、特徴点を見失ったままの状態）が長く続かない限り初期発見モード１００には戻らないようになっている。

なお、後述するように、本実施形態においては、トラッキングモード２００から再探索モード３００に遷移するための条件として、撮影画像中で短期的に１個の特徴点の隠蔽が発生したという条件は採用していない。これは、例えば、手で眼をこすったり、ジュースを飲むために顔にジュース容器を近づけたり、強い西日が顔の一部を照らしたりした場合においてまで、その都度再探索モード３００に遷移し、その後隠蔽が終了してトラッキングモード２００に戻るという処理を行っていては、ロバストな機能処理ができなくなり不都合であるからである。

したがって、本実施形態においては、顔特徴点のうち、追跡できない顔特徴点が複数あったとしても、下限個数以上の顔特徴点が検出できていれば、トラッキングモード２００を継続するようになっている。なお、下限個数は、後述するように、どのようなドライバの顔動作状態を検出するかによって異なっている。

このような、初期発見モード１００、トラッキングモード２００、再探索モード３００間の遷移１１〜１４のみでは、初期発見モード１００の実行時に登録した特徴量をもとに追跡を行うため、ドライバモニタリング装置１０の作動途中でドライバがサングラス（より具体的には、近赤外光を遮るサングラス。以下本実施形態において同じ。）やマスクを着脱した場合には、本来トラッキング対象とすべき顔特徴点そのものの数が増減したり特徴量が変化しているにもかかわらず、着脱前の情報に基づいて探索を繰り返し実行することになり、それが原因で不要な処理を実行したり、誤検出の原因になったりすることがある。

例えば、最初は裸顔であったため、顔特徴点として、右目頭、右目尻、左目頭、左目尻、鼻腔中心、左右口端の７箇所の位置と特徴量を登録しその後のドライバの顔移動に追従して顔部品位置をトラッキング（すなわち追跡）していたが、途中でドライバが偏光サングラスを着用した場合、右目頭、右目尻、左目頭、左目尻がほとんど不可視になったにも関わらず、それらの位置を誤検出してしまい、その結果再探索モード３００に遷移せずそのままトラッキングを続け、誤った検出結果を状態推定ＥＣＵ４に出力し続けてしまう恐れがある。

また例えば、その逆に、初期発見モード１００の実行時にはサングラスを着用していたために検出可能な顔特徴点が限られた場合についても問題が発生し得る。初期発見モード１００の後のトラッキングモード２００においても、その限られた顔特徴点のみを用いてドライバの顔動作状態を検出していたが、ドライバがトラッキングモード２００の途中でサングラスを外した場合が、そのような場合に該当する。

この場合、初期発見モード１００においてはサングラスに隠れて検出できなかった右目頭、右目尻、左目頭、左目尻について、再度初期発見モード１００に入って検出し、その後トラッキングモード２００に戻り、それら新たな顔特徴点を含めたより多くの情報を使って、ドライバの顔動作状態を検出れば、検出精度や検出機能が高められるはずである。しかし、このような場合、矢印１１〜１４のような遷移のみでは、トラッキングモード２００から初期発見モード１００に戻ることがなく、限られた顔特徴点のみを用いたドライバの顔動作状態を継続してしまう。

このような問題を解決するために、３０ｆｐｓ（すなわち、１秒間に３０フレーム）のサイクルで更新される撮像画像毎に毎回初期発見モード１００の処理を実行するということも考えられるが、初期発見モード１００の処理負荷は、トラッキングモード２００の処理負荷よりも大きいので、処理がサイクルに追いつかない恐れがある。

このように、トラッキングモード２００における追跡対象が初期発見モード１００において固定化され、モード１００〜３００間で矢印１１〜１４のような遷移しか行わない場合においては、初期発見モード１００における検出結果を不必要に継続してしまうという問題がある。

そこで、本実施形態においては、図３に示すように、遷移１１〜１４に加え、トラッキングモード２００から初期発見モード１００に戻る遷移１５、および、再探索モード３００から初期発見モード１００に戻る遷移１６という遷移を実現する。

これらの遷移１１〜１６を実現するために、画像処理ＥＣＵ３のＣＰＵが実行するプログラムのフローチャートを、図４〜図６に示す。図４は、初期発見モード１００において実行されるプログラムに相当し、図５は、トラッキングモード２００において実行されるプログラムに相当し、図６は、再探索モード３００において実行されるプログラムに相当する。以下、画像処理ＥＣＵ３がこれらプログラムを実行するものとして説明する。

まず画像処理ＥＣＵ３は、ドライバモニタリング装置１０の起動直後に初期発見モード１００の実行を開始し、まずステップ１１０で、カメラ１によって撮影された撮影画像を１フレーム分取得する。図７に、撮影画像の一例を示す。なお、取得した撮影画像に対し、輝度調整等の前処理を行うようになっていてもよい。

続いてステップ１２０で、当該撮影画像から、顔８の眼、口、および鼻を含む領域（以下、顔領域という）２１（図７参照）を検出し、検出した顔領域２１中の画像を撮影画像から抽出する。この顔領域は、ドライバの顔の撮影画像のうち、サングラスまたはマスクの着用時に覆われる部分と覆われない部分とを共に含む領域の一例に相当する。

顔８を含む撮影画像から顔領域２１を検出する方法としては、あらかじめ画像処理ＥＣＵ３のＲＯＭまたはフラッシュメモリに用意された（すなわち、記録された）比較用の画像の特徴情報と、撮影画像の一部分を占める画像の特徴情報との比較に基づいて、検出する方法を採用する。

例えば、ニューラルネット、ブースティング等の周知の統計的手法を用いる。すなわち、あらかじめ多くの人（ほとんどの場合全員が現在のドライバ７と異なる）の顔の顔領域に相当する画像の特徴量を学習した結果の学習データ（比較用の画像の特徴情報の一例に相当する）を、画像処理ＥＣＵ３のＲＯＭまたはフラッシュメモリに用意しておく（すなわち、記録しておく）。そして、撮影画像全体を探索領域とし、その探索領域中に種々の大きさと種々の位置を示す候補領域を画定し、それら画定した種々の候補領域について、当該候補領域の画像の特徴量と、学習データとの一致度を算出する。そして、これら候補領域のうち、最も一致度の高い候補領域を、顔領域２１として特定する。

なお、人によって顔の大きさが違い、かつ、ドライバ７の着座位置の車両前後方向も変化し得るので、特定した顔領域２１の大きさは、常に同じではない。そこで、画像処理ＥＣＵ３は、顔領域２１を特定した段階で、その顔領域２１が所定の大きさになるように、顔領域２１を拡大縮小する（すなわち、顔領域２１の大きさを正規化する）ようになっていてもよい。

続いてステップ１３０では、マスク・サングラス着用判定を行う。すなわち、ステップ１２０で抽出した顔領域２１の画像について、マスクおよびサングラスの着用状況を判定する。なお、マスクの着用状況とは、マスクを着用しているか否かをいい、サングラスの着用状況とは、サングラスを着用しているか否かをいう。

マスク・サングラス着用判定を実現する方法としては、あらかじめ画像処理ＥＣＵ３のＲＯＭまたはフラッシュメモリに用意された（すなわち、記録された）比較用の画像の特徴情報と、撮影画像の一部分の（複数個の）画像の特徴情報との比較に基づいて、検出する方法を採用する。

例えば、ニューラルネット、ブースティング等の周知の統計的手法を用いて実現する。すなわち、あらかじめ、マスクのみを着用した顔、サングラスのみを着用した顔、マスクとサングラスを着用した顔、マスクもサングラスも着用していない裸顔、という、着用状況の異なる４種類の顔のそれぞれについて、多くの人（ほとんどの場合全員が現在のドライバ７と異なる）の顔領域の画像の特徴量を学習した結果の学習データ（比較用の画像の特徴情報の一例に相当する）を、画像処理ＥＣＵ３のＲＯＭまたはフラッシュメモリに用意しておく（すなわち、記録しておく）。

そして、ステップ１２０で抽出した顔領域２１の特徴情報と、異なる着用状況に対応する４種類の顔についての４つの学習データのそれぞれと、の一致度を算出する。そして、４つの学習データのうち、最も顔領域２１と一致度が高い学習データに対応する着用状況を、現在の顔領域２１の画像の着用状況であると判定する。例えば、顔領域２１の特徴情報は、サングラスのみを着用した着用状況に対応する学習データとの一致度が最も高い場合、ドライバ７はサングラスを着用しており、マスクを着用していない状態であると判定する。

続いてステップ１４０では、顔領域２１中の顔部品の位置および範囲の検出を試み、検出した顔部品中の画像を撮影画像から抽出する。顔部品とは、眼、鼻（より詳細には鼻腔）、口等、顔の器官（以下、顔器官という）のそれぞれをいう。図８に、ドライバ７の顔８が裸顔である場合の、撮影画像中の顔部品２２〜２５の一例を示す。

なお、検出を試みる顔部品の種類は、ステップ１３０における着用状況の判定結果によって変化する。具体的には、ステップ１３０で、ドライバ７が裸顔であると判定した場合は、左目、右目、鼻、口のそれぞれを顔部品として検出しようとする。また、ドライバ７がサングラスのみを着用していると判定した場合は、左目と右目については検出を試みず、鼻、口のそれぞれを顔部品として検出しようとする。また、ドライバ７がマスクのみを着用していると判定した場合は、左目と右目を検出しようとし、鼻、口のそれぞれについては顔部品として検出を試みない。また、ドライバ７がサングラスもマスクも着用していると判定した場合は、左目と右目、鼻、口のいずれについても検出を試みない。

特定の顔部品を検出する方法としては、あらかじめ画像処理ＥＣＵ３のＲＯＭまたはフラッシュメモリに用意された（すなわち、記録された）比較用の画像の特徴情報と、顔領域２１の一部を占める画像の特徴情報との比較に基づいて、検出する方法を採用する。

例えば、ニューラルネット、ブースティング等の周知の統計的手法を用いる。すなわち、あらかじめ多くの人（ほとんどの場合全員が現在のドライバ７と異なる）の顔部品に相当する画像の特徴量を学習した結果の学習データ（比較用の画像の特徴情報の一例に相当する）を、画像処理ＥＣＵ３のＲＯＭまたはフラッシュメモリに用意しておく（すなわち、記録しておく）。そして、当該顔領域２１を探索領域とし、その探索領域中に種々の大きさと種々の位置を示す候補領域を画定し、それら画定した種々の候補領域について、当該候補領域の特徴量と、学習データとの一致度を算出する。そして、これら候補領域のうち、最も一致度の高い候補領域を、当該顔部品として特定する。

続いてステップ１５０では、顔特徴点を検出する。顔特徴点とは、既述の通り、図９に示すように、右目頭２２ａ、右目尻２２ｂ、左目頭２３ａ、左目尻２３ｂ、鼻腔中心２４ａ、右口端２５ａ、左口端２５ｂ等の点をいう。

ステップ１４０において顔部品として左右の眼を検出している場合は、右目頭２２ａ、右目尻２２ｂ、左目頭２３ａ、左目尻２３ｂを顔特徴点として検出する。ステップ１４０において顔部品として鼻を検出している場合は、鼻孔中心２４ａを顔特徴点として検出する。ステップ１４０において顔部品として口を検出している場合は、右口端２５ａ、左口端２５ｂを顔特徴点として検出する。

特定の顔特徴点を検出する方法としては、あらかじめ画像処理ＥＣＵ３のＲＯＭまたはフラッシュメモリに用意された（すなわち、記録された）比較用の画像の特徴情報と、顔特徴点を含む顔部品中の一部を占める画像の特徴情報との比較に基づいて、検出する方法を採用する。

例えば、ニューラルネット、ブースティング等の周知の統計的手法を用いる。すなわち、あらかじめ多くの人（ほとんどの場合全員が現在のドライバ７と異なる）の顔特徴点に相当する画像の特徴量を学習した結果の学習データ（比較用の画像の特徴情報の一例に相当する）を、画像処理ＥＣＵ３のＲＯＭまたはフラッシュメモリに用意しておく（すなわち、記録しておく）。そして、当該顔特徴点を含む顔部品の範囲を探索領域とし、その探索領域中に種々の大きさと種々の位置を示す候補領域を画定し、それら画定した種々の候補領域について、当該候補領域の特徴量と、学習データとの一致度を算出する。そして、これら候補領域のうち、最も一致度の高い候補領域を、当該顔特徴点として特定する。

続いてステップ１６０では、ステップ１５０で検出した顔特徴点の位置関係が適正か否かを判定すると共に、下限個数以上の顔特徴点の検出に成功したか否かを判定する。

顔特徴点の位置関係が適正であるとは、例えば、右目頭２２ａ、右目尻２２ｂ、左目頭２３ａ、および左目尻２３ｂを検出した場合は、これらの顔特徴点が所定の誤差範囲内で左右に一直線に並んでいるか否かで判定してもよい。また例えば、鼻腔中心２４ａ、右口端２５ａ、左口端２５ｂを検出している場合は、鼻腔中心２４ａが右口端２５ａおよび左口端２５ｂよりも上方にあるか否かで判定してもよい。

また、下限個数は、ステップ１３０で判定されたマスク・サングラス着用状況に応じて変化する。これは、マスク・サングラス着用状況によって、検出可能な顔特徴点に違いがあるからである。例えば、ドライバ７が裸顔であると判定された場合は、図９に示すように、最大７個の特徴点を検出することができる。しかし、ドライバ７がマスクのみを着用していると判定された場合は、図１０に示すように、最大でも４個の特徴点しか検出することができない。また、ドライバ７がサングラスのみを着用していると判定された場合は、図１１に示すように、最大でも３個の特徴点しか検出することができない。

したがって、ドライバ７が裸顔であると判定された場合、ドライバ７がマスクのみを着用していると判定された場合、ドライバ７がサングラスのみを着用していると判定された場合、および、ドライバ７がサングラスもマスクも着用していると判定された場合、の４つの場合において、下限個数は、それぞれ例えば５、３、２、０であってもよい。

ステップ１６０では、ステップ１５０で検出した顔特徴点の位置関係が適正であり、かつ、下限個数以上の顔特徴点の検出に成功した場合に限り、続いてステップ１７０を実行し、それ以外の場合、次の撮影画像の撮影タイミングまで待ち、撮影タイミングが来ると、再度ステップ１１０に処理を戻す。

ステップ１７０では、顔パターン登録を行う。具体的には、ステップ１２０で検出した顔領域２１の位置（すなわち、撮影画像中の位置座標。以下同じ）、大きさ、および顔領域２１中の画像（以下、顔画像という）の特徴情報、ステップ１４０で検出した顔部品２２〜２５の位置、大きさ、および顔部品の画像の特徴情報、ステップ１５０で検出した顔特徴点の位置、大きさ、および顔特徴点の画像の特徴情報を、画像処理ＥＣＵ３のＲＡＭまたはフラッシュメモリに記録する。これら登録された登録情報は、トラッキングモード２００においてトラッキング対象として用いられる。

続いてステップ１８０では、アプリ機能選択を行う。具体的には、ステップ１３０で判定されたマスク・サングラス着用状況に応じて、トラッキングモード２００において検出するドライバの顔動作状態の種類を決定する。ドライバの顔動作状態の種類としては、視線方向、開眼度、顔向きの３つがある。

ステップ１３０でドライバ７が裸顔であると判定された場合、画像処理ＥＣＵ３は、視線、開眼度、顔向きのすべてを検出する旨決定する。また、ステップ１３０でドライバ７がサングラスのみ着用していると判定された場合、３つのうち顔向きのみを検出する旨決定する。また、ステップ１３０でドライバ７がマスクのみ着用していると判定された場合、視線、開眼度、顔向きのすべてを検出する旨決定する。また、ステップ１３０でドライバ７がサングラスおよびマスクを着用していると判定された場合、３つのいずれも検出しない旨決定する。図１２の表に、マスク・サングラス着用状況と、検出するドライバの顔動作状態の種類との対応関係を示す。

また、ステップ１８０においては、画像処理ＥＣＵ３は更に、トラッキングモード２００におけるドライバの顔動作状態の検出において、どの顔特徴点の登録情報を利用するかを決定する。例えば、上記の決定によれば、ドライバ７がサングラスおよびマスクを着用していると判定された場合以外では、顔向きの検出を行う旨が決定される。そこで、顔向きの検出のために使用する顔特徴点を、ドライバ７の着用状況に基づいて変化させる。

具体的には、ステップ１３０でドライバ７が裸顔であると判定された場合、画像処理ＥＣＵ３は、右目頭２２ａ、右目尻２２ｂ、左目頭２３ａ、左目尻２３ｂ、鼻腔中心２４ａ、右口端２５ａ、左口端２５ｂのすべての登録情報を用いてドライバ７の顔向きを算出する旨を決定する。

また、ステップ１３０でドライバ７がサングラスのみ着用していると判定された場合、画像処理ＥＣＵ３は、鼻腔中心２４ａ、右口端２５ａ、左口端２５ｂのみの登録情報を用いてドライバ７の顔向きを算出する旨を決定する。

また、ステップ１３０でドライバ７がマスクのみ着用していると判定された場合、画像処理ＥＣＵ３は、右目頭２２ａ、右目尻２２ｂ、左目頭２３ａ、左目尻２３ｂのみの登録情報を用いてドライバ７の顔向きを算出する旨を決定する。

続いてステップ１９０では、後述するトラッキングモード２００中のマスク・サングラス脱着変化判定（図５のステップ２４０参照）のために用いる情報を記録する。具体的には、脱着判定のために用いる顔領域２１中の範囲（以下、脱着変化判定領域という）、および、その脱着変化判定領域中の各画素における現在の輝度情報を記録する。

画像処理ＥＣＵ３は、脱着変化判定領域を、複数種類採用する。第１種の脱着変化判定領域としては、ドライバ７の眼に相当する領域（以下、眼領域という）と、ドライバ７の口に相当する領域（以下、口領域という）を採用する。また、第２種の脱着変化判定領域としては、ドライバ７の左右いずれかの眼に相当する領域を通り、かつ、上下に延び、顔領域２１の上端から下端までに渡る線状領域を採用する。また、第３種の脱着変化判定領域としては、顔領域２１全体を採用する。

なお、第２種の脱着変化判定領域および第３種の脱着変化判定領域は、ドライバ７の顔８の撮影画像のうち、サングラスまたはマスクの着用時に覆われる部分と覆われない部分とを共に含む領域に相当する。

ここで、第１種の脱着変化判定領域としての眼領域および口領域の特定方法について説明する。

（１）サングラス非着用時の眼領域特定方法
まず、ステップ１３０において、ドライバ７が裸顔であると判定されている場合、または、ステップ１３０において、ドライバ７がマスクのみ着用していると判定されている場合における眼領域の特定方法について説明する。

この場合、画像処理ＥＣＵ３は、ステップ１２０で検出した顔領域２１の中心位置を基準とし、その中心位置からそれぞれ左方向および右方向にＸピクセル、上方向にＹピクセルだけ離れた２つの位置を２つの仮の目中心として、そこを中心とする所定の大きさの矩形を探索領域と設定する。

そして、設定された探索領域の内部を従来手法（例えば、テンプレートマッチング）によって、眼の顔部品の位置を求める。なお、テンプレートマッチングのために用いる比較用の画像（すなわちテンプレート画像）の特徴情報は、ステップ１４０で検出した眼の顔部品の画像の特徴情報を用いる。

なお、ここでいうピクセルとは、撮影画像中の１画素に相当する単位をいう。眼の位置は人によって異なるが、値Ｘおよび値Ｙは、ドライバ７によらず同じものを使用してもよい。その場合、あらかじめ人が統計的に調査して得た顔中心に対する眼の左右方向相対位置および上下方向相対位置を、画像処理ＥＣＵ３のＲＯＭまたはフラッシュメモリに記録しておき、このステップ１４０では、それら記録した値をそれぞれ値Ｘ、値Ｙとして使用する。

あるいは、この場合の別の方法として、ステップ１４０で特定した目部品の位置を、眼領域として特定してもよい。

（２）サングラス着用時の場合の眼領域特定方法
次に、ステップ１３０において、ドライバ７がサングラスのみ着用していると判定されている場合、または、ドライバ７がサングラスおよびマスクを着用していると判定されている場合における眼領域の特定方法について説明する。

この場合、画像処理ＥＣＵ３は、ステップ１２０で検出した顔領域２１の中心位置を基準とし、その中心位置からそれぞれ左方向および右方向に上述のＸピクセル、上方向に上述のＹピクセルだけ離れた２つの位置を２つの目中心として、そこを中心とする所定の大きさの矩形を眼領域に決定する。

ドライバ７がサングラスを着用しているが故に、このようにして決定された眼領域がドライバ７の眼の位置と一致している保証はない。しかし、サングラスは目そのものよりも数倍大きい面積を占めるものである。したがって、眼領域の大きさとしてあらかじめ定められた大きさが、通常の眼の大きさと同程度のものであれば、サングラスの位置を逸脱した領域を眼領域として設定してしまう可能性は小さい。したがって、設定された眼領域においては、後にドライバ７がサングラスを着用しなくなった場合には、当該眼領域の輝度が大きく変化する。したがって、後述するように、眼領域を用いて確実に着用状況の変化を捉えることができる。

（３）マスク非着用時の口領域特定方法
次に、ステップ１３０において、ドライバ７が裸顔であると判定されている場合、または、ステップ１３０において、ドライバ７がサングラスのみ着用していると判定されている場合における口領域の特定方法について説明する。この場合、画像処理ＥＣＵ３は、ステップ１２０で検出した顔領域２１の中心位置を基準とし、その中心位置から下方向にＺピクセルだけ離れた位置を仮の口中心として、そこを中心とする所定の大きさの矩形を探索領域と設定する。

そして、設定された探索領域の内部を従来手法（例えば、テンプレートマッチング）によって、口の顔部品の位置を求める。なお、テンプレートマッチングのために用いる比較用の画像（すなわちテンプレート画像）の特徴情報は、ステップ１４０で検出した口の顔部品の画像の特徴情報を用いる。

口の位置は人によって異なるが、値Ｚは、ドライバ７によらず同じものを使用してもよい。その場合、あらかじめ人が統計的に調査して得た顔中心に対する口の上下方向相対位置を、画像処理ＥＣＵ３のＲＯＭまたはフラッシュメモリに記録しておき、このステップ１４０では、それら記録した値を値Ｚとして使用する。

あるいは、この場合の別の方法として、ステップ１４０で特定した口部品の位置を、口領域として特定してもよい。

（４）マスク着用時の場合の口領域特定方法
次に、ステップ１３０において、ドライバ７がマスクのみ着用していると判定されている場合、または、ドライバ７がサングラスおよびマスクを着用していると判定されている場合における口領域の特定方法について説明する。

この場合、画像処理ＥＣＵ３は、ステップ１２０で検出した顔領域２１の中心位置を基準とし、その中心位置から下方向にＺピクセルだけ離れた位置を口中心として、そこを中心とする所定の大きさの矩形を口領域に決定する。

ドライバ７がマスクを着用しているが故に、このようにして決定された口領域がドライバ７の口の位置と一致している保証はない。しかし、マスクは口そのものよりも数倍大きい面積を占めるものである。したがって、口領域の大きさとしてあらかじめ定められた大きさが、通常の口の大きさと同程度のものであれば、マスクの位置を逸脱した領域を口領域として設定してしまう可能性は小さい。したがって、設定された口領域においては、後にドライバ７がマスクを着用しなくなった場合には、当該口領域の輝度が大きく変化する。したがって、後述するように、口領域を用いて確実に着用状況の変化を捉えることができる。

ステップ１９０に続いては、図３の矢印１１に示すように、トラッキングモード２００に遷移する。

トラッキングモード２００に入ると、画像処理ＥＣＵ３は、初期発見モード１００または再探索モード３００に遷移するまでは、図５のステップ２１０〜２９０の処理を、撮影タイミングと同期して、繰り返し実行する。

まずステップ２１０で、次の撮影画像の撮影タイミングを待ち、撮影タイミングが来ると、ステップ１１０と同様に、カメラ１から撮影画像を取得する。このとき、ステップ２１０と同様に、撮影画像に対して前処理を行うようになっていてもよい。

続いてステップ２２０では、トラッキング（すなわち、追跡）の対象の特徴点の画像および位置情報を読み出す。ここで、トラッキング対象の特徴点とは、初期発見モード１００のステップ１７０で登録した顔領域２１、顔部品２１〜２５、顔特徴点のそれぞれをいう。

読み出し対象の特徴点の画像としては、最後にトラッキングモード２００に遷移してから１回以上ステップ２６０を実行している場合としていない場合とで、用いる情報が異なる。

具体的には、最後にトラッキングモード２００に遷移してから１回以上ステップ２６０を実行している場合は、読み出し対象の特徴点の画像として、前回のステップ２６０の実行において特定した当該特徴点の画像を用いる。したがって、この場合、後述するステップ２３０、２６０で、繰り返し撮影される撮影画像の撮影順に、特徴点の画像が追跡される。

また、最後にトラッキングモード２００に遷移してから１回もステップ２６０を実行していない場合は、読み出し対象の特徴点の画像として、初期発見モード１００のステップ１７０において登録された、特徴点の画像を用いる。したがって、この場合、後述するステップ２３０、２６０で、初期発見モード２００における撮影画像に基づいて、特徴点の画像が探索される。

同様に、読み出し対象の特徴点の位置情報としては、最後にトラッキングモード２００に遷移してから１回以上ステップ２６０を実行している場合としていない場合とで、用いる情報が異なる。

具体的には、最後にトラッキングモード２００に遷移してから１回以上ステップ２６０を実行している場合は、読み出し対象の特徴点の位置情報として、前回のステップ２６０の実行において特定した当該特徴点についての、撮影画像中の位置座標を用いる。したがって、この場合、後述するステップ２３０、２６０で、繰り返し撮影される撮影画像の撮影順に、特徴点の位置が追跡される。

また、最後にトラッキングモード２００に遷移してから１回もステップ２６０を実行していない場合は、読み出し対象の特徴点の位置情報として、初期発見モード１００のステップ１７０において登録された、特徴点の撮影画像中の位置座標を用いる。したがって、この場合、後述するステップ２３０、２６０で、初期発見モード２００における撮影画像に基づいて、特徴点の位置が探索される。

続いてステップ２３０では、顔部のトラッキングを行う。具体的には、ステップ２２０で読み出した顔領域２１の情報を用いて、テンプレートマッチング等の周知の方法により、最新の撮影画像中における顔領域２１の位置および大きさを特定する。なお、テンプレートマッチングを行う場合は、読み出した顔領域２１の画像をテンプレート画像として用い、また、読み出した顔領域２１の位置を中心とする所定の範囲を、探索範囲とする。

この所定の範囲は、カメラ１の撮影周期（具体的には１／３０秒）の間に顔領域２１が移動できる範囲であればよいので、撮影画像全体に比べて非常に小さい範囲となる。したがって、ステップ２３０の顔部のトラッキングは、初期発見モード１００のステップ１２０における顔領域検出に比べて、処理負荷が小さい。

続いてステップ２４０では、マスクおよびサングラスの脱着状況の変化の有無を検出する。この検出のための処理の詳細については後述するが、この処理は、初期発見モード１００のステップ１３０におけるマスク・サングラス着用判定に比べて、処理負荷が小さい。

続いてステップ２５０では、ステップ２４０の検出結果に基づいて、マスクおよびサングラスの脱着状況のいずれかに変化があったか否かを判定する。そして、マスクの脱着状況およびサングラスの脱着状況のいずれかに変化があったと判定した場合、図３の矢印１５に示すように、直ちにトラッキングモード２００から初期発見モード１００モードに遷移する。また、マスクの脱着状況およびサングラスの脱着状況のいずれも変化していないと判定した場合、続いてステップ２６０を実行する。

ステップ２６０では、顔特徴点の撮影画像中の位置の検出を試みる。つまり、顔特徴点のトラッキングを行う。ただし、トラッキングの対象となる顔特徴点は、最後に初期発見モード１００のステップ１５０で検出され、ステップ１７０で登録された顔特徴点のみである。このようにすることで、そもそも検出できず、仮に検出できても誤検出となってしまう顔特徴点を検出しようと試みないので、画像処理ＥＣＵ３における処理負荷が低減される。

顔特徴点の検出において、画像処理ＥＣＵ３は、ステップ２２０で読み出した各顔特徴点の情報を用いて、テンプレートマッチング等の周知の方法により、最新の撮影画像中における当該顔特徴点の位置座標を特定する。なお、テンプレートマッチングを行う場合は、読み出した顔特徴点の画像をテンプレート画像として用い、また、読み出した顔特徴点の位置を中心とする所定の範囲を、探索範囲とする。

この所定の範囲は、カメラ１の撮影周期（具体的には１／３０秒）の間に顔特徴点が移動できる範囲であればよいので、撮影画像全体に比べて非常に小さい範囲となる。したがって、ステップ２６０の顔特徴点のトラッキングは、初期発見モード１００のステップ１５０における顔特徴点の検出に比べて、処理負荷が小さい。

続いてステップ２７０では、ステップ２６０において、顔特徴点のうち、下限個数以上の顔特徴点の検出に成功したか否かを判定する。マスクおよびサングラスの着用状況に変化がなく、かつ、初期発見モード１００で検出できた顔特徴点が検出できない場合としては、例えば、手で眼をこすったり、ジュースを飲むために顔にジュース容器を近づけたり、強い西日が顔の一部を照らしたりした場合が考えられる。

なお、下限個数としては、最後に初期発見モード１００のステップ１３０で判定されたマスク・サングラス着用状況に応じて変化する。例えば、ここで用いる下限個数は、最後に実行された初期発見モード１００のステップ１６０において用いられた下限個数の値と同じように変化してもよい。

下限個数以上の顔特徴点の検出に成功した場合、続いてステップ２８０を実行し、そうでない場合、図３の矢印１２に示すように、直ちにトラッキングモード２００から再探索モード３００に遷移する。

ステップ２８０では、３つのドライバの顔動作状態（すなわち、顔向き、開眼度、視線方向）のうち、ステップ１８０で検出する旨決定した顔動作状態の検出を行う。ドライバの顔動作状態は、ステップ２６０で検出した顔特徴点の位置に基づいて決定する。顔特徴点の位置から顔向き、開眼度、視線方向を検出する技術は周知であり、例えば、特許文献１〜５に詳細に記載されている。

例えば、視線方向は、右目頭２２ａ、右目尻２２ｂの位置と、周知の方法で特定した右眼の瞳部分と、の相対的な位置関係、ならびに、左目頭２３ａ、左目尻２３ｂの位置と、周知の方法で特定した左目の瞳部分との相対的な位置関係に基づいて特定するようになっていてもよい。また例えば、特定の眼の開眼度は、右目頭２２ａ、右目尻２２ｂの位置をもとに、その眼の上瞼から下瞼の位置を検出し、検出結果（例えば、上瞼から下瞼までの距離）に基づいて特定するようになっていてもよい。

また、顔向きは、顔特徴点のうち、初期発見モード１００のステップ１８０で顔向きの検出に用いる旨決定した顔特徴点のみを用いて行う。具体的には、例えば、図１３に示すように、使用する顔特徴点について検出した位置と、あらかじめ画像処理ＥＣＵ３のＲＯＭまたはフラッシュメモリに記録した顔の３次元立体モデル９０中の所定の顔特徴点を平面（具体的には、撮影方向に対して垂直な平面）に投影した位置と、の間の誤差が最小となるように、当該３次元立体モデルの向きを算出し、算出した向きを、ドライバ７の顔向きとして算出するようになっていてもよい。この場合、位置を検出できた顔特徴点の数が２つ以上あれば、顔向きを特定することができるが、顔向きの決定に用いる顔特徴点の数が少なくなればなるほど、顔向きの算出精度は低下する。

このように、画像処理ＥＣＵ３は、初期発見モード１００のステップ１８０で検出する旨決定した顔動作状態のみ検出を試みる。したがって、実際には検出できない、または、誤検出を行ってしまう可能性の高い顔動作状態については、検出を試みないので、無駄な処理のために画像処理ＥＣＵ３のＣＰＵ資源を費してしまう可能性が低下する。

続いてステップ２９０では、ステップ２８０で算出したドライバの顔動作状態の情報を、状態推定ＥＣＵ４に出力する。ステップ２９０に続いては、次のカメラ１の撮影タイミングを待ち、撮影タイミングが訪れると、再度ステップ２１０を実行する。

次に、再探索モード３００について説明する。再探索モード３００に入ると、画像処理ＥＣＵ３は、初期発見モード１００またはトラッキングモード２００に遷移するまでは、図６のステップ３１０〜３９５の処理を、撮影タイミングと同期して、繰り返し実行する。

なお、ステップ３１０、３２０、３３０、３４０、３５０、３６０、３７０、３８０、３９０の処理内容は、それぞれトラッキングモード２００における２１０、２２０、２３０、２４０、２５０、２６０、２７０、２８０、２９０の処理内容と同じである。ただし、ステップ３２０において読み出すトラッキング対象の特徴点の画像および位置情報は、常に、初期発見モード１００のステップ１７０で登録された画像および位置情報となっている。その意味で、再探索モードでは、特徴点の追跡ではなく探索を行うようになっている。

再探索モード３００の実行において画像処理ＥＣＵ３は、ステップ３７０で、下限数以上の特徴点を検出することができなかったと判定すると、続いてステップ３９３において、カウンタ数を１回分インクリメントする。なお、このカウンタ数は、画像処理ＥＣＵ３のＲＡＭ中の変数であり、再探索モード３００の実行開始時にゼロにリセットされるようになっている。

続いてステップ３９５では、このカウンタ数が基準回数（例えば３００回）を超えたか否かを判定し、超えた場合、図３の矢印１４に示すように、再探索モード３００から初期発見モード１００に遷移する。また、超えていない場合、次のカメラ１の撮影タイミングを待ち、撮影タイミングが訪れると、再度ステップ３１０を実行する。

このように、再探索モード３００においては、マスクおよびサングラスの脱着状況に変化があったときに、ステップ３５０を経て初期発見モード１００に遷移する作動（図４の矢印１６の遷移に相当する）のみならず、ステップ３１０〜３９５の処理が基準回数を超えて連続して繰り返された場合にも、ステップ３９５を経て初期発見モード１００に遷移する（図３の矢印１４の遷移に相当する）。

このように、再探索モード３００においては、多くの特徴点を見失ったままでも、基準回数（または基準時間）の間は、追跡の試みを繰り返す。そして、それでも基準回数（または基準時間）経過しても多くの特徴点が見つからない場合は、再探索モード３００から初期発見モード１００に戻る。

また画像処理ＥＣＵ３は、ステップ３７０で、下限数以上の特徴点を検出することができたと判定すると、続いてステップ３７５において、ステップ１８０で算出する旨決定したドライバの顔動作状態を算出し、続いてステップ３９０でその算出結果を状態推定ＥＣＵ４に出力し、その後トラッキングモード２００に戻る（図３の矢印１２の遷移に相当する）。

このように、車両内のドライバ７の顔８の撮影画像に基づいて、ドライバ７の顔動作状態を検出するための画像処理ＥＣＵ３は、初期発見モード１００、トラッキングモード２００、および再探索モード３００の３つの作動モードの間を遷移して作動するようになっている。

そして、画像処理ＥＣＵ３は、初期発見モード１００において、撮影画像中のドライバ７の顔領域２１、顔部品（すなわち顔器官）２２〜２５、および顔特徴点の画像および位置座標を、ニューラルネット、ブースティング等の統計的手法で特定する。

また画像処理ＥＣＵ３は、初期発見モード１００に続いて、トラッキングモード２００において、繰り返し撮影されたドライバの顔の撮影画像のそれぞれに対して、初期発見モード１００において特定した顔の特徴点の画像に類似する画像を当該撮影画像の順番に沿って追跡することで、顔特徴点の位置を繰り返し特定する。

また、画像処理ＥＣＵ３は、トラッキングモード２００で下限数以上の顔特徴点の位置の特定に失敗したことを起因として、再探索モード３００に遷移し、再探索モード３００において、繰り返し撮影されたドライバの顔の撮影画像のそれぞれに対して、初期発見モード１００において特定した顔特徴点の画像に類似する画像を探索することで、顔特徴点の位置を繰り返し特定しようと試み、その繰り返しにおける基準回数以内に顔特徴点の位置の特定に成功した場合、トラッキングモード２００に戻り、その繰り返しにおける基準回数以内に顔特徴点の位置の特定に成功しなかった場合、初期発見モード１００に戻るようになっている。

そして、画像処理ＥＣＵ３は、初期発見モード１００において、カメラ１の撮影画像に基づいて、ドライバ７についてのサングラスおよびマスクの着用状況を判定し、その判定した着用状況に基づいて、ドライバ７の顔動作状態を検出する方法（例えば、３つのドライバの顔動作状態のうちいずれを検出するか）を選択するようになっている（図４のステップ１８０参照）。

このように、サングラスおよびマスクの着用状況に基づいて、ドライバ７の顔動作状態を検出する方法を切り替えることで、ドライバ７によるサングラス、マスクの着用状況に適した方法で、ドライバ７の顔動作状態を検出することができる。

そして、画像処理ＥＣＵ３は、トラッキングモード２００において、ステップ２４０でマスク・サングラスの着用状況のいずれかに変化があったことを検出すると、ステップ２５０を経て再度初期発見モード１００に戻る（図３の矢印１５参照）。また同様に、画像処理ＥＣＵ３は、再探索モード３００において、ステップ３４０でマスク・サングラスの着用状況に変化があったことを検出すると、ステップ３５０を経て再度初期発見モード１００に戻る（図３の矢印１６参照）。

このように、初期発見モード１００からトラッキングモード２００への移行後、トラッキングの途中でドライバ７がマスクやサングラスを着脱した場合においても、簡便な処理でモード間の遷移ができるようにすることで、マスク、サングラスといった着用物（遮蔽物）の着用状況に変化があっても、その変化に対して柔軟に対応可能な顔画像トラッキング手法を提供することができる。

例えば、初期発見モード１００においてドライバ７がサングラスを着用しているため、画像処理ＥＣＵ３が眼を検出できなかった場合、画像処理ＥＣＵ３は、トラッキングモード２００、再探索モード３００における開眼度および視線方向の検知は諦めて、やむを得ず顔向き角度検知機能のみを実行することになる。しかし、ドライバ７が途中でサングラスを外した場合は、自動的に初期発見モード１００に戻り、ドライバがサングラスをしていない旨を判定し（ステップ１３０参照）その上でドライバ７の眼および眼に関する顔特徴点を検出し（ステップ１４０、１５０参照）、その上で開眼度検出機能を実行することができる。

なお、初期発見モード１００における顔領域２１の検出（ステップ１２０参照）、顔部品２２〜２５の検出（ステップ１４０参照）、および顔特徴点の検出（ステップ１５０参照）の処理は、トラッキングモード２００の顔領域２１のトラッキング（ステップ２３０参照）、顔特徴点の位置検出（ステップ２６０）の処理に比べて、処理負荷が高い。

その理由の１つ目は、初期発見モードにおいては、ニューラルネットやブースティングといった統計的手法を用いて、ドライバ７の顔８の撮影画像と、ドライバ７以外の複数の人の顔の画像の特徴情報とを比較することで、顔領域２１、顔部品２２〜２５、顔特徴点を探索しなければならないのに対し、トラッキングモード２００では、すでに探索できたドライバ７自身の顔領域２１、顔部品２２〜２５、顔特徴点の画像を、最新のドライバ７の撮影画像と比較して探索することができるので、ニューラルネットやブースティング等の統計的手法を用いずに済むことである。

理由の２つ目は、初期発見モード１００においては、顔領域２１、顔部品２２〜２５、顔特徴点を、広い探索領域から探さなければならないのに対し、トラッキングモード２００では、直前の顔領域２１、顔特徴点を、前回の撮影画像中の当該顔領域２１、顔特徴点の位置から少し離れた位置のみに絞って探索すればよいことである。

本実施形態においては、トラッキングモード２００、再探索モード３００においてマスク・サングラスの着用状況に変化があった場合には、再度初期発見モード１００に戻って、マスクおよびサングラスの着用状況の判定（ステップ１３０参照）を行っている。

このような初期発見モード１００において、画像処理ＥＣＵ３は、マスクおよびサングラスの着用状況の判定（ステップ１３０参照）を行った後に、その着用状況に応じて、検出可能な顔部品および顔特徴点のみについて、検出を試みている（ステップ１４０、１５０参照）。このようになっているので、そもそも検出できるはずのない顔部品および顔特徴点を検出しようと試みてしまうことに起因する、無駄な処理負荷の増大を抑えることができる。

ここで、トラッキングモード２００のステップ２４０において実行され、また、再探索モード３００のステップ３４０において実行される、マスクおよびサングラスの着用状況の変化の有無の検出について詳細に説明する。

画像処理ＥＣＵ３は、この変化の有無の検出のために、以下に示す方法１〜５のいずれか１つ、または２つ以上の組み合わせを採用する。なお、２つ以上の組み合わせを採用する場合は、それらの方法のうちの１つにおいて、脱着状況に変化があったと判定した場合に、脱着状況に変化があった旨を検出するようになっていてもよい。あるいは、２つ以上の組み合わせを採用する場合は、それらの方法のすべてにおいて、脱着状況に変化があったと判定した場合にのみ、脱着状況に変化があった旨を検出するようになっていてもよい。

（方法１）：
方法１では、最後に実行された初期発見モード１００のステップ１９０によって記録された第１種の脱着変化判定領域の輝度情報を利用する。この第１種の脱着変化判定領域は、既述の通り、ドライバ７の眼に相当する眼領域と、ドライバ７の口に相当する口領域である。

方法１では、口領域中の各画素について初期発見モード１００で記録された輝度を用いて、輝度ヒストグラムＡ０を作成する。また、最新の撮影画像中の、当該口領域に相当する部分中の各画素についての輝度ヒストグラムＡ１を作成する。なお、輝度ヒストグラムとは、輝度別の頻度分布をいう。そして、この輝度ヒストグラムＡ０を用いて、平均輝度Ｍ０および輝度の標準偏差ＳＤ０を算出する。また、この輝度ヒストグラムＡ１を用いて、平均輝度Ｍ１および輝度の標準偏差ＳＤ１を算出する。

図１４および図１５に、それぞれマスクを着けた状態およびマスクを外した状態における、顔領域３５、３８内の口領域３６、３９、および、口領域３６、３９についての輝度ヒストグラム３７、４０の例を示す。この図に典型的に示されているように、マスク着用時の口領域３６、３９中の画素の輝度は、比較的輝度の高く（すなわち明るく）、かつ狭い範囲に集中している一方、マスク非着用時の輝度平均値は、比較的輝度が低く（すなわち暗く）、かつ広い範囲に分布している。

したがって、例えば、平均輝度Ｍ０が所定の第１の輝度閾値より低く、かつ、標準偏差ＳＤ０が所定の閾値Ｔ０より大きい場合に、平均輝度Ｍ１が当該所定の第１の輝度閾値より高く、かつ、標準偏差ＳＤ１が所定の閾値Ｔ１（閾値Ｔ０と同じであってもよいし、閾値Ｔ０よりも小さくてもよい）より小さくなった場合に、マスクの着用状況に変化があったと判定するようになっていてもよい。この場合は、具体的には、マスクを着用していない状況から着用した状況に変化した場合に相当する。ここで、画素の輝度値が０〜２５５までの２５５階調を取ることができる場合は、第１の輝度閾値は２００であってもよい。またこの場合、標準偏差についての閾値Ｔ０、Ｔ１は、２０であってもよい。

また逆に、平均輝度Ｍ０が所定の第１の輝度閾値より高く、かつ、標準偏差ＳＤ０が所定の閾値Ｔ１より低い場合に、平均輝度Ｍ１が当該所定の第１の輝度閾値より低く、かつ、標準偏差ＳＤ１が所定の閾値Ｔ０より大きくなった場合にも、マスクの着用状況に変化があったと判定するようになっていてもよい。この場合は、具体的には、マスクを着用している状況から着用していない状況に変化した場合に相当する。

また、平均輝度Ｍ０と平均輝度Ｍ１との差が基準値以上であり、かつ、標準偏差ＳＤ０と標準偏差ＳＤ１との差が基準値以上である場合に、マスクの着用状況に変化があったと判定するようになっていてもよい。

同様に、方法１では、眼領域中の各画素について初期発見モード１００で記録された輝度を用いて、輝度ヒストグラムＡ２を作成する。また、最新の撮影画像中の、当該眼領域に相当する部分中の各画素についての輝度ヒストグラムＡ３を作成する。そして、この輝度ヒストグラムＡ２を用いて、平均輝度Ｍ２および輝度の標準偏差ＳＤ２を算出する。また、この輝度ヒストグラムＡ３を用いて、平均輝度Ｍ３および輝度の標準偏差ＳＤ３を算出する。

サングラス着用時の眼領域中の画素の輝度は、比較的輝度の低く（すなわち暗く）、かつ狭い範囲に集中している一方、サングラス非着用時の眼領域中の画素の輝度は、比較的輝度が高く（すなわち明るく）、かつ狭い範囲に分布している。

したがって、例えば、平均輝度Ｍ２が所定の第２の輝度閾値より高く、かつ、標準偏差ＳＤ２が所定の閾値Ｔ２より大きい場合に、平均輝度Ｍ３が当該所定の第２の輝度閾値より低く、かつ、標準偏差ＳＤ３が所定の閾値Ｔ３（閾値Ｔ２と同じであってもよいし、閾値Ｔ２よりも小さくてもよい）より小さくなった場合に、サングラスの着用状況に変化があったと判定するようになっていてもよい。この場合は、具体的には、サングラスを着用していない状況から着用した状況に変化した場合に相当する。なお、第２の輝度閾値は、第１の輝度閾値より小さい値を用いる。

また逆に、平均輝度Ｍ２が所定の第２の輝度閾値より低く、かつ、標準偏差ＳＤ２が所定の閾値Ｔ３より低い場合に、平均輝度Ｍ１が当該所定の第２の輝度閾値より高く、かつ、標準偏差ＳＤ２が所定の閾値Ｔ２より大きくなった場合にも、サングラスの着用状況に変化があったと判定するようになっていてもよい。この場合は、具体的には、サングラスを着用している状況から着用していない状況に変化した場合に相当する。

また、平均輝度Ｍ２と平均輝度Ｍ３との差が基準値以上であり、かつ、標準偏差ＳＤ２と標準偏差ＳＤ３との差が基準値以上である場合に、マスクの着用状況に変化があったと判定するようになっていてもよい。

このように、輝度平均値に他の量を加味してマスク、サングラスの着用状況を判定するのは、撮像系（すなわちカメラ１）におけるＡＧＣ、ＡＥＣの作動内容によっては、着用物の着用時と非着用時とで、輝度平均値がほとんど変化しないようになってしまう可能性があるからである。

なお、上記の方法１においては、輝度平均値に変えて、輝度中央値（メジャー）を用いてもよいし、輝度最頻値（モード）を用いてもよいし、輝度自乗平均値｛Σ（輝度）^２×頻度｝／Ｎを用いてもよい。ここで、Σは、輝度値についての総和を示し、Ｎは、口領域または眼領域中の総画素数である。

このように、画像処理ＥＣＵ３は、着用状況の変化の検出において、ドライバ７の顔のうち、サングラスまたはマスクの着用時に覆われる部分に相当する部分画像（すなわち、口領域画像または眼領域の画像）を、ドライバ７の顔の撮影画像中から抽出し、当該部分画像における輝度別の頻度分布の統計的ばらつき度合い（より具体的には、輝度の標準偏差）の変化等に基づいて、着用状況に変化があった旨を検出するようになっている。

このような作動は、人間の目や口に比べればサングラスまたはマスクの輝度は一様であるという一般的な傾向を利用するものである。すなわち、サングラスまたはマスクの着用時に覆われる部分においては、マスクまたはサングラスを着用した状態と、そうでない状態では、輝度別の頻度分布の統計的ばらつき度合いが大きく異なる。

つまり、サングラスまたはマスクを着用している状態から、サングラスまたはマスクを着用していない状態に変化した場合、眼領域または口領域の画像（部分画像に相当する）における輝度別の頻度分布の統計的ばらつき度合いが大きくなる。また、サングラスまたはマスクを着用していない状態から、サングラスまたはマスクを着用している状態に変化した場合、眼領域または口領域の画像（部分画像に相当する）における輝度別の頻度分布の統計的ばらつき度合いが小さくなる。

（方法２）：
方法２では、ヒストグラムＡ０（またはＡ２）において輝度最頻値（モード）となる輝度Ｌ０（またはＬ２）における頻度が閾値より大きく、ヒストグラムＡ１（またはＡ３）において輝度最頻値（モード）となる輝度Ｌ１（またはＬ３）における頻度が閾値より小さい場合に、マスク（またはサングラス）の着用状況に変化があったと判定するようになっていてもよい。また逆に、ヒストグラムＡ０（またはＡ２）において輝度最頻値（モード）となる輝度Ｌ０（またはＬ２）における頻度が閾値より小さく、ヒストグラムＡ１（またはＡ３）において輝度最頻値（モード）となる輝度Ｌ１（またはＬ３）における頻度が閾値より大きい場合にも、同様に、マスク（またはサングラス）の着用状況に変化があったと判定するようになっていてもよい。

このような作動は、マスク（またはサングラス）を着用している場合、多くの面積に渡って同一の輝度値を示す確率が高いことに着目したものである。それに対し、人の肌の場合、陰影ができるため隣り合う画素であっても微妙に輝度値が異なる。このような、「ヒストグラムにおける、輝度最頻値（モード）となる輝度における頻度」も、頻度分布の統計的ばらつき度合いを示す量の一例である。

（方法３）：
方法３では、図１６、図１７に示すように、初期発見モード１００のステップ１９０で輝度情報が記録された第２種の脱着変化判定領域４２、４７における輝度分布４３、４８を用いて、マスクの着用状況の変化の有無を判定する。第２種の脱着変化判定領域４２、４７とは、既述の通り、ドライバ７の左右いずれかの眼に相当する領域を通り、かつ、顔領域４２、４６の上端から下端まで延びる直線状の領域である。

図１６、図１７における、第２種の脱着変化判定領域４２、４７に沿った輝度分布４３、４８に典型的に示されるように、マスク着用時においては、マスクに相当する部分と、マスク以外の部分とで、輝度が大きく異なっている。その一方で、マスク非着用時においては、上下方向（第２種の脱着変化判定領域４７に沿った方向）に関する輝度の変化が、比較的少ない。

その表れとして、マスク着用時においては、輝度分布４３が、参照輝度４５を跨いでいるのに対し、マスク非着用時においては、輝度分布４３が、参照輝度４５を跨いでいない。また、輝度分布４３、４８を平滑化した（すなわち、鈍した）平滑化輝度分布４４、４９も、同様の特性を有している。なお、ここで「輝度分布が参照輝度を跨ぐ」とは、第２種の脱着変化判定領域を３分割したときに、一方の端部の全範囲において輝度が参照輝度より大きく、他方の端部の全範囲において輝度が参照輝度より小さくなっていることをいう。

この点を利用して、方法３では、初期発見モード１００のステップ１９０で取得した第２種の脱着変化判定領域における輝度分布を平滑化した平滑化輝度分布Ｌ４と、最新の撮影画像における第２種の脱着変化判定領域の輝度分布を平滑化した平滑化輝度分布Ｌ５とを用いて、マスクの着用状況の変化の有無を判定する。図１６おうよび図１７においては、実践４４および４９が、平滑化輝度分布に相当する。

例えば、平滑化輝度分布Ｌ４が、ある参照輝度（図１６、図１７の輝度４５に相当する）を跨いでおり、また、平滑化輝度分布Ｌ５が、当該参照輝度を跨いでいない場合には、マスクの着用状況に変化があったと判定する。また逆に、平滑化輝度分布Ｌ４が、当該参照輝度を跨いでおらず、また、平滑化輝度分布Ｌ５が、当該参照輝度を跨いでいる場合には、マスクの着用状況に変化があったと判定する。なお、平滑化した輝度分布を用いるのは、画素ごとのノイズ要因となるアバレを防ぐこと、および顔の微小器官（瞳、睫等）による輝度変化の振れを低減することである。

なお、方法３では、上下に延びる線状の第２の脱着変化判定領域の輝度分布ではなく、顔全体の輝度Ｌ（Ｘ、Ｙ）を、Ｘ方向（すなわち左右方向）に積分した値Ｓ（Ｙ）＝∫Ｌ（Ｘ、Ｙ）ｄＸにおけるＹ方向（すなわち上下方向）の輝度分布（すなわち、顔全体の輝度値投影）を用いてもよい。

このように、方法３では、画像処理ＥＣＵ３は、着用状況の変化の検出において、ドライバ７の顔のうち、マスク（またはサングラス）の着用時に覆われる部分と覆われない部分とを共に含む領域の輝度分布の変化があったことに基づいて、着用状況に変化があった旨を検出するようになっていてもよい。

このような作動は、人の皮膚と、サングラスまたはマスクとでは、輝度に大きな差があるという一般的な傾向を利用するものである。すなわち、サングラスまたはマスクの着用時に覆われる部分と、その外の部分との間の輝度の乖離は、マスクまたはサングラスの着用時には大きくなり、非着用時には小さくなる。

（方法４）：
方法４では、図１８、図１９に示すように、初期発見モード１００のステップ１９０で輝度情報が記録された第３種の脱着変化判定領域（すなわち顔領域全体）５１、５３における輝度ヒストグラム５２、５４を用いて、マスク、サングラスの着用状況の変化の有無を判定する。

この方法は、顔領域全体５２、５４が判定の対象になるので、顔全体に占める着用物（サングラス、マスク）の面積は小さくなる。しかしながら、図１９に典型的に示されるように、ドライバ７が裸顔である場合は、輝度ヒストグラム５４が、１つのピークを持つ正規分布に近い分布となる。そして、図１８に典型的に示されるように、ドライバ７がサングラスのみを着用した場合は、輝度ヒストグラム５２が２つのピークを持つ分布となる。なお、図示しないが、ドライバ７がマスクのみを着用した場合も、輝度ヒストグラムが２つのピークを持つ分布となる。また、ドライバ７がマスクおよびサングラスを着用した場合は、輝度ヒストグラムが３つのピーク（極大値）を持つ分布となる。

方法４では、このような特性を利用して、着用物の着用状況の変化の有無を判定する。具体的には、まず、初期発見モード１００のステップ１９０で輝度情報を取得した第３の脱着変化判定領域内の輝度ヒストグラムと、最新の撮影画像の第３の脱着変化判定領域の輝度ヒストグラムのそれぞれに対して周知の平滑化フィルタをかける。そして平滑化したヒストグラムに対し、一階微分、二回微分等の演算を行うことにより、平滑化したヒストグラムにおけるピークの位置を特定し、特定したピークの位置の個数を算出する。

そして、これら２つのヒストグラムにおいて、ピークの個数が異なっていれば、着用物の着用状況に変化があったと判定する。ただし、２つのピーク間の輝度差が基準差（例えば、輝度値の範囲が０〜２５５である場合には、５０）未満の場合には、それら２つのピークを１つのピークと見なす。

このように、方法４では、画像処理ＥＣＵ３は、ドライバ７の眼、口、鼻を含む顔に相当する部分画像５１、５３（ドライバの顔の撮影画像のうち、サングラスまたはマスクの着用時に覆われる部分と覆われない部分とを共に含む領域の画像に相当する）を、ドライバ７の顔の撮影画像中から抽出し、当該部分画像５１、５３における輝度別の頻度分布中のピークの数の変化に基づいて、着用状況に変化があった旨を検出するようになっていてもよい。

このような作動は、人の皮膚、サングラス、マスクの間とでは、輝度に大きな差があるという一般的な傾向を利用するものである。すなわち、サングラスまたはマスクの着用時には、顔に相当する部分画像についての輝度別の頻度分布は、サングラスまたはマスクの典型的な輝度に対応するピークと、ドライバの皮膚の典型的な輝度に対応するピークを有する分布となる。また、サングラスまたはマスクの非着用時には、ドライバの皮膚の典型的な輝度を１つのピークとする正規分布に近い分布となる。

（方法５）：
方法５では、図２０に示すように、第３種の脱着変化判定領域（すなわち眼、口、鼻を含む顔領域全体）６１を、縦横方向に複数個のブロックに分割し、それら分割した個々のブロック内における平均輝度を用いて、顔領域６１の輝度パターンを作成する。そして、その輝度パターン内の輝度分布の変化に基づいて、着用物の着用状況の変化の有無を判定する。なお、分割されたブロックの個数は、例えば６４個以内であってもよい。さらに詳しくは図２０のように、縦５×横５の２５個であってもよい。また、輝度平均に変えて、輝度最頻値、輝度中央値等を用いてもよい。

より具体的には、方法５では、初期発見モード１００のステップ１９０で記録された顔領域全体の輝度情報に基づいて、顔領域の輝度パターンα０を作成し、また、最新の撮影画像における顔領域中の輝度情報に基づいて、顔領域の輝度パターンα１を作成する。

そして、輝度パターンα０中の（１つまたは複数の）特定の第１のブロックの輝度平均値と、輝度パターンα０中の（１つまたは複数の）他の第２のブロックの輝度平均値（輝度最頻値でも輝度中央値でもよい。以下同じ）と、の比β０を算出する。同様に、輝度パターンα１中の（１つまたは複数の）特定の第３のブロックの輝度平均値と、輝度パターンα１中の（１つまたは複数の）他の第４のブロックの輝度平均値と、の比β１を算出する。そして、比β０と比β１との差が所定の基準値以上であれば、着用物の着用状況に変化があったと判定する。

なお、輝度パターンα０中の第１のブロックの位置と、輝度パターンα１中の第３のブロックの位置とは同じである。また、輝度パターンα０中の第２のブロックの位置と、輝度パターンα１中の第４のブロックの位置とは同じである。

図２１および図２２に、第１のブロックの範囲Ａと、第２のブロックの範囲Ｂの例を、それぞれ１つずつ示す。図２１の例においては、第２のブロックの範囲Ｂは、ドライバ７の口の領域に相当する。

このように、同じ輝度パターン中の異なる位置間の比を用いるのは、外界の照明条件が異なる場合には、輝度パターン全体が暗くなったり明るくなったりしてしまうため、注目すべきブロック（例えばブロックＢ）が、その当該注目すべきブロック以外のブロックであり、かつ当該注目すべきブロックから外れた領域（例えば、明らかにマスクから外れた領域）に対して、どう変化したかに着目する。

また図２２の例においては、第２のブロックの範囲Ｂは、ドライバ７の口の領域およびその周囲の領域に相当する。このように、第２のブロックの範囲Ｂを広げるのは、人によって口の位置および大きさが異なることに対応して、より多くの人の口の範囲を第２のブロックの範囲Ｂにカバーさせるためである。

このように、方法５では、画像処理ＥＣＵ３は、ドライバ７の顔に相当する部分画像を、ドライバの顔の撮影画像中から抽出し、当該部分画像を更に複数の分割画像（ブロック）に分割し、当該複数の分割画像中で、サングラスまたはマスクの着用時に覆われる分割画像（第２のブロックの範囲Ｂの画像）の輝度と、他の分割画像の輝度と、の比較値の変化に基づいて、着用状況に変化があった旨を検出するようになっていてもよい。

このようにすることで、外乱光等の影響で撮影画像全体の明暗に変化があったとしても、顔の所定の部分の間の輝度の比較を用いることで、サングラスまたはマスクの着用状況の変化の検出に対して外乱光等が与える影響を低減することができる。

（他の方法）：
また、外乱光の影響で、マスクやサングラス領域が暗くなったり明るくなったりする場合の誤検知を防ぐために、例えば、方法１〜５における各画素の輝度に変えて、ドライバ７の同じ撮影画像中の、頬の上部、顎部、額部等の、マスクにもサングラスにも隠れず、かつ、顔の特徴点でもない部分の輝度（以下、基準輝度という）に対する、各画素の輝度の比を用いてもよい。

また、第１の方法においては、眼領域を、左右の眼のそれぞれに設け、各眼領域について、第１の方法に示したような判定を行い、両方の眼領域において、サングラスの着用状況に変化があったと暫定的に判定したときに限って、サングラスの着用状況の変化があったと最終的に判定してもよい。その場合、片方の眼領域のみについて、サングラスの着用状況の変化があったと暫定的に判定したときは、その判定結果をノイズとみなして無視し、サングラスの着用状況に変化がなかったと最終的に判定するようになっていてもよい。このようにするのは、サングラスの影響は常に両目で同じであると考えられるからである。

また、第１〜第５の方法において、初期発見モード１００のステップ１９０において輝度情報を記録したときのカメラ１のＡＧＣまたはＡＥＣの作動状態を記録しておき、また、最新の撮影画像の撮影時におけるカメラ１のＡＧＣまたはＡＥＣの作動状態を取得し、それらＡＧＣまたはＡＥＣの変化による影響を打ち消すために、初期発見モード１００時の輝度情報と、最新の撮影画像の輝度情報を補正するようになっていてもよい。このようにすることで、初期発見モード１００時の輝度情報と、最新の撮影画像の輝度情報が、あたかもＡＥＣまたはＡＥＣに関して同じ作動条件で撮影されたかのような状態で、着用物の着用状況の変化の検出を行うことができる。

以上説明した通り、画像処理ＥＣＵ３は、初期発見モード１００で、ドライバ７の撮影画像と、あらかじめ用意して記録されているドライバ７以外の複数の人の画像（すなわち学習データ）の特徴情報との比較に基づいて、着用状況を判定し、その後に、トラッキングモード２００において、ドライバ７の撮影画像間の変化に基づいて、着用状況に変化があったことを検出し、その変化を検出したことを起因として、着用状況を再度判定し、また、着用状況が再度判定されたことを起因として、再度判定された着用状況に基づいて、ドライバの顔動作状態を検出する方法を変化させるようになっている。そしてこの際、着用状況に変化があったことの検出は、あらかじめ用意して記録されているドライバ７以外の人の画像を用いずに、ドライバ７の撮影画像中の輝度の分布の経時変化の情報に基づいて行うようになっている。

このように、ドライバ７の着用状況そのものの判定は、当該ドライバ７の顔の撮影画像の特徴情報と、あらかじめ（すなわち、ドライバモニタリング装置１０の作動開始よりも前に、より詳しくは、ドライバモニタリング装置１０の出荷時に）用意された当該ドライバ以外の複数人の顔の画像の特徴情報との比較に基づいて行う。この方法は、比較対象として複数人の顔の画像の特徴情報を用いているので、精度が高い反面、当該ドライバ以外の人の顔の画像の特徴情報を比較対象に用いるので、処理負荷が比較的高くなる。

他方、着用状況が変化したことの検出は、当該ドライバ７の顔について繰り返し撮影された撮影画像間の経時変化に基づいて行うという、処理負荷の比較的低い方法で簡易に行うことができる。

このようにすることで、着用状況を一度判定してから、着用状況の変化が検出されて再度着用状況を判定するまでの間は、処理負荷の比較的高い着用状況そのものの判定を行わずともよく、簡易な手法で着用状況の変化の検出を行うことが可能となる。したがって、ドライバモニタリング装置の処理速度が向上する。
（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。

例えば、上記の実施形態においては、画像処理ＥＣＵ３は、着用物の着用状況の変化があったことを検出すると、初期発見モードでステップ１１０〜１９０のすべてを再度実行するようになっているが、必ずしもこのようになっておらずともよい。

例えば、ステップ１１０に続いて、ステップ１２０を省略してステップ１３０の着用判定を実行するようになっていてもよい。

また例えば、前回のステップ１３０ではサングラスのみを着用していると判定したにもかかわらず、今回のステップ１３０で裸顔であると判定した場合は、前回既に検出してパターン登録している口および鼻の部品、ならびに、口および鼻に関する顔特徴点（鼻腔中心、口端）については、ステップ１４０、１５０、１７０での検出およびパターン登録を省略してもよい。

また例えば、前回のステップ１３０では裸顔であると判定したにもかかわらず、今回のステップ１３０ではマスクのみを着用していると判定した場合は、前回既に全部品および全顔特徴点を検出およびパターン登録しているので、ステップ１４０、１５０を省略し、ステップ１７０では、口および鼻の部品、ならびに、口および鼻に関する顔特徴点を、パターン登録から削除するようになっていてもよい。

また例えば、前回のステップ１３０では裸顔であると判定したにもかかわらず、今回のステップ１３０ではサングラスのみを着用していると判定した場合は、前回既に全部品および全顔特徴点を検出およびパターン登録しているので、ステップ１４０、１５０を省略し、ステップ１７０では、眼の部品および、眼に関する顔特徴点（目尻、目頭）をパターン登録から削除するようになっていてもよい。

また例えば、前回のステップ１３０ではマスクおよびサングラスを着用していると判定したにもかかわらず、今回のステップ１３０では裸顔であると判定した場合は、ステップ１１０〜１９０を省略することなく実行するようになっていてもよい。

また、上記実施形態においては、ドライバモニタリング装置１０は、近赤外光で撮影した撮影画像を使用しているが、撮影画像の撮影に用いる光は、必ずしも近赤外光でなくともよい。例えば、可視光であってもよい。

また、上記実施形態にいては、画像処理ＥＣＵ３は、マスクおよびサングラスの両方を対象として、着用状況を判定し、着用状況の変化を検出しているが、それらのうちのいずれか一方のみを対象としてもよい。

また、画像処理ＥＣＵ３は、トラッキングモード２００および再探索モード３００において、１枚の撮影画像を用いたステップ２４０、３４０の判定において、着用物の着用状況に変化があったと判定しただけで、初期発見モード１００に遷移するようになっている。しかし、誤判定の可能性を低減するために、撮影順に連続した所定の複数枚以上の撮影画像について、ステップ２４０または３４０で着用物の着用状況に変化があったと判定した場合に限って、初期発見モード１００に遷移するようになっていてもよい。

また、画像処理ＥＣＵ３は、初期発見モード１００において、撮影画像と、あらかじめ用意して記録されている学習データの情報との比較に基づいて、着用状況を判定するようになっているが、学習データに代えて、種々の形のメガネを着用した複数の人の画像、種々の形のマスクを着用した複数の人の画像を、あらかじめ多数備え、それら画像の特徴情報と、撮影画像との比較に基づいて、マスクおよびメガネの着用状況を判定するようになっていてもよい。

また、画像処理ＥＣＵ３は、輝度別の頻度分布のばらつき度合いの尺度として、輝度分布の標準偏差を用いている。しかし、輝度別の頻度分布の統計的ばらつき度合いの尺度としては、輝度分布の標準偏差以外のもの（例えば、四分位偏差、平均絶対偏差）を用いてもよい。

本発明の実施形態に係るドライバモニタリング装置１０の車両への搭載形態を示す図である。 ドライバモニタリング装置１０の構成を示すブロック図である。 画像処理ＥＣＵ３の作動モード１００〜３００およびそれら作動モード１００〜３００間の遷移１１〜１６を示す図である。 初期発見モード１００において実行されるプログラムのフローチャートである。 トラッキングモード２００において実行されるプログラムのフローチャートである。 再探索モード３００において実行されるプログラムのフローチャートである。 撮影画像および撮影画像中の顔領域２１の一例を示す図である。 撮影画像および撮影画像中の顔部品２２〜２５の一例を示す図である。 裸顔時において検出できる顔特徴点を示す図である。 マスクのみ着用時において検出できる顔特徴点を示す図である。 サングラスのみ着用時において検出できる顔特徴点を示す図である。 マスク・サングラス着用状況と、検出するドライバの顔動作状態の種類との対応関係の一例を示す図表である。 ３次元立体顔モデルを用いた顔向き算出の概要を示す概念図である。 マスクを着けた状態における、口領域３６についての輝度ヒストグラム３７の例を示す図である。 マスクを外した状態における、口領域３９についての輝度ヒストグラム４０の例を示す図である。 マスクを着けた状態における、顔領域４１の上端から可鍛までの直線範囲４２における輝度分布４３、４４を示す図である。 マスクを外した状態における、顔領域４６の上端から可鍛までの直線範囲４７における輝度分布４８、４９を示す図である。 サングラスを着けた状態における、顔領域５１全体の輝度ヒストグラム５２を示す図である。 裸顔の状態における、顔領域５３全体の輝度ヒストグラム５４を示す図である。 顔領域６１を縦５×横５の２５個に分割したそれぞれの輝度平均を示す図である。 顔領域６１が分割された部分の比較方法を示す図である。 顔領域６１が分割された部分の比較方法を示す図である。

符号の説明

１ カメラ
２ 投光器
３ 画像処理ＥＣＵ
４ 状態推定ＥＣＵ
５ アクチュエータ
７ ドライバ
８ 顔
１０ ドライバモニタリング装置
１１〜１６ モード間遷移
２１、３５、３８、４１、４６、５１、５３、６１ 顔領域
２２〜２５ 顔部品
２２ａ、２２ｂ、２３ａ、２３ｂ、２４ａ、２５ａ、２５ｂ 顔特徴点
３６、３９ 口領域
３７、４０、５２、５４ 輝度ヒストグラム
４３、４８ 輝度分布
９０ ３次元立体顔モデル
１００ 初期発見モード
２００ トラッキングモード
３００ 再探索モード

Claims (8)

1. 車両内のドライバの顔の撮影画像に基づいて、ドライバの顔の動作の状態（以下、顔動作状態という）を検出するドライバモニタリング装置であって、
   前記撮影画像に基づいて、前記ドライバについてのサングラスまたはマスクの着用状況を判定する着用状況判定手段（１３０）と、
   前記着用状況判定手段（１３０）が判定した前記着用状況に基づいて、前記ドライバの顔動作状態を検出する方法を選択する選択手段（１８０）と、を備えたことを特徴とするドライバモニタリング装置。
2. 前記着用状況判定手段（１３０）は、前記ドライバの顔の撮影画像の特徴情報と、あらかじめ用意されている前記ドライバ以外の複数人の顔の画像の特徴情報との比較に基づいて、前記着用状況を判定し、
   当該ドライバモニタリング装置は、前記着用状況判定手段（１３０）が前記着用状況を判定した後に、前記着用状況に変化があったことを、前記ドライバの顔について繰り返し撮影された撮影画像間の変化に基づいて、検出する変化検出手段（２４０、３４０）を備え、
   前記着用状況判定手段（１３０）は、前記変化検出手段（２４０、３４０）によって前記着用状況に変化があったことが検出されたことを起因として、前記着用状況を再度判定し、
   前記選択手段（１８０）は、前記着用状況判定手段（１３０）によって前記着用状況が再度判定されたことを起因として、再度判定された前記着用状況に基づいて、前記ドライバの顔動作状態を検出する方法を変化させることを特徴とする請求項１に記載のドライバモニタリング装置。
3. 前記変化検出手段（２４０、３４０）は、前記ドライバの顔の撮影画像のうち、前記サングラスまたはマスクの着用時に覆われる部分に相当する部分画像を、前記ドライバの顔の撮影画像中から抽出し、当該部分画像における輝度別の頻度分布の統計的ばらつき度合いの変化に基づいて、前記着用状況に変化があった旨を検出することを特徴とする請求項２に記載のドライバモニタリング装置。
4. 前記変化検出手段（２４０、３４０）は、前記ドライバの顔の撮影画像のうち、前記サングラスまたはマスクの着用時に覆われる部分と覆われない部分とを共に含む領域内における位置別の輝度分布に変化があったことに基づいて、前記着用状況に変化があった旨を検出することを特徴とする請求項２に記載のドライバモニタリング装置。
5. 前記変化検出手段（２４０、３４０）は、前記ドライバの顔の撮影画像のうち、前記サングラスまたはマスクの着用時に覆われる部分と覆われない部分とを共に含む領域に相当する部分画像を、前記ドライバの顔の撮影画像中から抽出し、当該部分画像における輝度別の頻度分布中のピークの数の変化に基づいて、前記着用状況に変化があった旨を検出することを特徴とする請求項２に記載のドライバモニタリング装置。
6. 前記変化検出手段（２４０、３４０）は、前記ドライバの顔に相当する部分画像を、前記ドライバの顔の撮影画像中から抽出し、当該部分画像を更に複数の分割画像に分割し、当該複数の分割画像中で、前記サングラスまたはマスクの着用時に覆われる分割画像の輝度と、他の分割画像の輝度と、の比較値の変化に基づいて、前記着用状況に変化があった旨を検出することを特徴とする請求項２に記載のドライバモニタリング装置。
7. 当該ドライバモニタリング装置は、初期発見モード、トラッキングモード、再探索モードの３つのモードの間を遷移して作動し、
   前記初期発見モードにおいて、前記撮影画像中のドライバの顔特徴点の画像および当該顔特徴点の画像の位置を特定し、
   前記初期発見モードに続いて、前記トラッキングモードにおいて、繰り返し撮影された前記ドライバの顔の撮影画像のそれぞれに対して、前記初期発見モードにおいて特定した前記顔特徴点の画像に類似する画像を当該撮影画像の撮影順に追跡することで、前記顔特徴点の位置を繰り返し特定し、
   前記トラッキングモードで前記顔特徴点の位置の特定に失敗したことを起因として、前記再探索モードに遷移し、前記再探索モードにおいて、繰り返し撮影された前記ドライバの顔の撮影画像のそれぞれに対して、前記初期発見モードにおいて特定した前記顔特徴点の画像に類似する画像を探索することで、前記顔特徴点の位置を繰り返し特定しようと試み、その繰り返しにおける基準回数以内に前記顔特徴点の位置の特定に成功した場合、前記トラッキングモードに戻り、その繰り返しにおける基準回数以内に前記顔特徴点の位置の特定に成功しなかった場合、前記初期発見モードに戻り、
   前記着用状況判定手段（１３０）および前記選択手段（１８０）は、前記初期発見モードにおいて作動し、前記変化検出手段（２４０、３４０）は、前記トラッキングモードおよび前記再探索モードにおいて作動することを特徴とする請求項２ないし６のいずれか１つに記載のドライバモニタリング装置。
8. 車両内のドライバの顔の撮影画像に基づいて、ドライバの顔の動作の状態（以下、顔動作状態という）を検出するドライバモニタリング装置に用いるプログラムであって、
   前記撮影画像に基づいて、前記ドライバについてのサングラスまたはマスクの着用状況を判定する着用状況判定手段（１３０）、および
   前記着用状況判定手段（１３０）が判定した前記着用状況に基づいて、前記ドライバの顔動作状態を検出する方法を選択する選択手段（１８０）として、コンピュータを機能させるプログラム。

Images