JP2020194227A - 顔遮蔽判定装置、顔遮蔽判定方法、顔遮蔽判定プログラム及び乗員監視システム - Google Patents

Abstract

【課題】顔が手などによって遮蔽され顔が見えにくくなっている状態と、着用物や姿勢変化等で顔が見えにくくなっている状態とを識別することができる顔遮蔽判定装置を提供する。【解決手段】乗員監視システム１において、顔遮蔽判定装置１０は、運転時の運転者の第一画像の画素の輝度と第二画像との間における画像変化の大きさを判定する画像変化判定部４２と、器官点信頼度検出部４３と、器官点信頼度の高低を判定する器官点信頼度判定部４４と、顔遮蔽判定部４６とを備える。【選択図】図１

Description

本発明は顔遮蔽判定装置及び乗員監視システムに関する。

従来、車両を運転する運転者を撮像し、撮像された画像を用いて当該運転者の状態を監視する車載装置が開発されている。特許文献１では、運転者の顔情報の取得に失敗した原因をより詳細に特定するため、顔情報の取得に失敗した原因が、車載部品によるものか、運転者の顔の状態によるものか、または、それらとは異なる要因によるものかを分析する発明が提案されている。また、特許文献２では、運転者に装置の状態を適切に報知するために、撮像画像から運転者の顔の特徴部が検出できなかった場合、当該検出できなかった特徴部を運転者に報知する発明が提案されている。

特開２００９−２０１７５６号公報 特開２００９−２９６３５５号公報

しかしながら、上述のような従来技術は何れも運転者の顔が正しく検出できない状態を確認するに留まり、顔が手などによって遮蔽され顔が見えにくくなっている状態と、着用物や姿勢変化等で顔が見えにくくなっている状態とを識別するものではなかった。

本発明の一態様は、顔が手などによって遮蔽され顔が見えにくくなっている状態と、着用物や姿勢変化等で顔が見えにくくなっている状態とを識別することを目的とする。

前記の課題を解決するために、本発明の一態様に係る顔遮蔽判定装置は、運転時の運転者の顔および顔周辺の画像を第一画像として検出する第一画像検出部と、前記第一画像の検出後に、前記運転者の顔および顔周辺の画像を第二画像として検出する第二画像検出部と、前記第一画像の各第一画素の輝度と前記第二画像の前記各第一画素に対応する第二画素の輝度との差分を抽出し、抽出された差分に基づいて、前記第一画像と前記第二画像との間における画像変化の大きさを判定する画像変化判定部と、前記運転者の顔および顔周辺の画像から前記運転者の顔の器官点信頼度を第一器官点信頼度として検出する器官点信頼度検出部と、前記第一器官点信頼度と予め設定された第二器官点信頼度とを比較することにより、前記第一器官点信頼度の高低を判定する器官点信頼度判定部と、前記運転者の顔が遮蔽されているか否かを判定する顔遮蔽判定部と、を備え、前記画像変化判定部により、前記第一画像と前記第二画像との間における画像変化が大きいと判定され、且つ、前記器官点信頼度判定部により、前記第一器官点信頼度が低いと判定された場合、前記顔遮蔽判定部は、前記運転者の顔が顔遮蔽状態であると判定することを特徴として構成されている。

前記の構成によれば、顔画像の変化と器官点信頼度とにより運転者の顔が遮蔽されているか否かを判断することが可能となる。よって、顔が手などによって遮蔽され顔が見えにくくなっている状態と、着用物や姿勢変化等で顔が見えにくくなっている状態とを識別することができる。

また、本発明の態様２に係る顔遮蔽判定装置は、前記態様１において、前記運転者の顔向き角度によって前記運転者の顔画像の顔向きに異常が発生しているか否かを判定する顔向き異常判定部、を備え、前記顔向き異常判定部は、前記運転者の顔向き角度が予め定められた閾値未満である場合、前記運転者の顔画像の顔向きに異常は発生していないと判定し、前記運転者の顔向き角度が前記閾値以上である場合、前記運転者の顔画像の顔向きに異常が発生していると判定し、前記顔向き異常判定部により、前記運転者の顔画像の顔向きに異常が発生していると判定されると、前記顔遮蔽判定部は前記運転者の顔が顔遮蔽状態であると判定することを特徴とする構成である。

前記の構成によれば、運転者の顔向き角度によって運転者の顔画像の顔向きに異常が発生しているか否かを判定することができる。また、画像変化判定と器官点信頼度判定とに加えて、顔向き異常判定を行うことにより、顔遮蔽判定の精度が更に向上する。よって、顔が手などによって遮蔽され顔が見えにくくなっている状態と、着用物や姿勢変化等で顔が見えにくくなっている状態とをより正確に識別することができる。

また、本発明の態様３に係る顔遮蔽判定装置は、前記態様１または２において、前記顔遮蔽判定部は、前記器官点信頼度判定部により、前記信頼度が低いと判定された後、前記信頼度が通常であると判定されるまでの間は、前記運転者の顔が遮蔽状態であるとの判定を継続することを特徴とする構成である。

前記の構成によれば、顔器官点の信頼度が低下してからその信頼度が回復するまでの間は顔遮蔽状態であるとの判定を継続することができる。よって、顔が手などによって遮蔽され顔が見えにくくなっている状態と、着用物や姿勢変化等で顔が見えにくくなっている状態とをより正確に識別することができる。

また、本発明の態様４に係る乗員監視システムは、前記態様１から３の何れか一つに記載の顔遮蔽判定装置と、所定の条件を満たすことにより警報を出力する警報出力部（脇見判定装置、居眠り判定装置）と、を備え、前記顔遮蔽判定部により前記運転者の顔が顔遮蔽状態であると判定された場合、前記警報出力部（脇見判定装置、居眠り判定装置）は、警報を出力せず、前記顔遮蔽判定部により前記運転者の顔が顔遮蔽状態ではないと判定された場合、前記警報出力部（脇見判定装置、居眠り判定装置）は、前記所定の条件を満たすことにより警報を出力することを特徴とする構成である。

前記の構成によれば、顔画像の変化と顔器官点の変化とにより運転者の顔が遮蔽されているか否かを判断することが可能となる。また、顔が手などによって遮蔽され顔が見えにくくなっている状態と、着用物や姿勢変化等で顔が見えにくくなっている状態とを識別することができる。よって、顔が手などによって遮蔽され顔が正しく検出できない状態においては誤警報を抑制し、着用物や姿勢変化等で顔が見えにくくなっている状態においては警報を出力するという、運転者の状態に応じた誤警報の抑制と警報の出力とを両立することができる。

また、本発明の態様５に係る顔遮蔽判定方法は、運転時の運転者の顔および顔周辺の画像を第一画像として検出する第一画像検出ステップと、前記第一画像の検出後に、前記運転者の顔および顔周辺の画像を第二画像として検出する第二画像検出ステップと、前記第一画像の各第一画素の輝度と前記第二画像の前記各第一画素に対応する第二画素の輝度との差分を抽出し、抽出された差分に基づいて、前記第一画像と前記第二画像との間における画像変化の大きさを判定する画像変化判定ステップと、前記運転者の顔および顔周辺の画像から前記運転者の顔の器官点信頼度を第一器官点信頼度として検出する器官点信頼度検出ステップと、前記第一器官点信頼度と予め設定された第二器官点信頼度とを比較することにより、前記第一器官点信頼度の高低を判定する器官点信頼度判定ステップと、前記運転者の顔が遮蔽されているか否かを判定する顔遮蔽判定ステップと、を含み、前記画像変化判定ステップにより、前記第一画像と前記第二画像との間における画像変化が大きいと判定され、且つ、前記器官点信頼度判定ステップにより、前記第一器官点信頼度が低いと判定された場合、前記顔遮蔽判定ステップは、前記運転者の顔が顔遮蔽状態であると判定することを特徴とする構成である。

前記の構成によれば、本発明の態様１に係る顔遮蔽装置と同様の効果を奏する。

また、本発明の態様６に係る顔遮蔽判定プログラムは、態様１から３の何れか一つに記載の顔遮蔽判定装置としてコンピュータを機能させるための顔遮蔽判定プログラムであって、前記第一画像検出部と、前記第二画像検出部と、前記画像変化判定部と、前記器官点信頼度検出部と、前記器官点信頼度判定部、および、前記顔遮蔽判定部としてコンピュータを機能させる。

本発明の一態様によれば、顔が手などによって遮蔽され顔が見えにくくなっている状態と、着用物や姿勢変化等で顔が見えにくくなっている状態とを識別することができる。

本発明の一実施形態に係る顔遮蔽判定装置を含む乗員監視システムの要部を概略的に示したブロック図である。 本発明の一実施形態に係る顔遮蔽判定装置にて撮像した運転者の顔の画像領域について説明するための模式図である。 本発明の一実施形態に係る顔遮蔽判定装置にて撮像した運転者の顔の画像領域について説明するためのイラスト図である。 本発明の一実施形態に係る顔遮蔽判定装置における処理動作を示したフローチャートである。 本発明の一実施形態に係る顔遮蔽判定装置を含む乗員監視システムにおける処理動作を示したフローチャートである。 本発明の一実施形態に係る顔遮蔽判定装置を含む乗員監視システムにおける処理動作を示したフローチャートである。

以下、本発明の一実施形態について、詳細に説明する。

＜全体構成の概要＞
図１は、本発明の一実施形態に係る顔遮蔽判定装置１０を含む乗員監視システム１の要部を概略的に示したブロック図である。

図１に示す乗員監視システム１は、車両に搭載して用いられるシステムであり、車両の座席に着座した人を監視するシステムである。

図１に示すとおり、乗員監視システム１は、顔遮蔽判定装置１０、脇見判定装置２０（警報出力部）、居眠り判定装置２１（警報出力部）とから構成されている。

顔遮蔽判定装置１０は、車両の運転者の顔が手などにより遮蔽されているか否かを判定する装置である。

脇見判定装置２０は、車両に備えるカメラ等によって運転者の画像を撮像し、その撮像した画像に基づいて運転者が車両の運転中に脇見をしているか否かを判定する装置である。運転者が脇見をしている場合は、運転者に対して警告を報知する。なお、脇見を判定する手法は特に限定されないが、高精度に脇見を判定する手法が採用される。

居眠り判定装置２１は、車両に備えるカメラ等によって運転者の画像を撮像し、その撮像した画像に基づいて運転者が車両の運転中に居眠りをしているか否かを判定する装置である。運転者が居眠りをしている場合は、運転者に対して警告を報知する。なお、居眠りを判定する手法は特に限定されないが、高精度に居眠りを判定する手法が採用される。

＜顔遮蔽判定装置の構成概要＞
以下、図１〜３を参照しつつ、顔遮蔽装置について説明する。

図１に示すとおり、顔遮蔽判定装置１０は、ドライバカメラ３０、制御部４０を備えている。

ドライバカメラ３０は、運転者を監視するセンサの一例である。ドライバカメラ３０は、車両の運転席に着座した人の顔を含む画像（以下、「運転者の画像」ともいう。）を定期的に撮像するものである。ドライバカメラ３０は、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサの個体撮像素子を用いた可視光カメラを搭載し、運転者の頭部の動画像又は連続画像を撮像する。ドライバカメラ３０は、可視光カメラに限定されるものではなく、夜間に撮影可能な赤外線カメラの構成を更に備えるものであってもよい。ドライバカメラ３０は、例えば、車両のダッシュボードの上のような運転者の正面となる位置に設置される。

制御部４０は、画像領域決定部４１、画像変化判定部４２、器官点信頼度検出部４３、器官点信頼度判定部４４、顔向き異常判定部４５、顔遮蔽判定部４６、記憶部４７、時間計測部４８、および外部出力部４９を備える。

画像領域決定部４１は、第一画像検出部４１ａと第二画像検出部４１ｂとを備える。第一画像検出部４１ａと第二画像検出部４１ｂとについては後ほど説明する。

画像領域決定部４１は、図２で示すように、ドライバカメラ３０で撮像された画像から運転者の顔を検出し、検出後の画像について、顔領域Ｆ、下領域Ｕ、左領域Ｌ、および右領域Ｒ（以下、顔領域Ｆ、下領域Ｕ、左領域Ｌ、および右領域Ｒを総称して「各領域」と表現する場合がある。）を決定する。下領域Ｕのうち半分程が顔領域Ｆと重なっている。図２でハッチングした部分領域Ｏが、下領域Ｕと顔領域Ｆとの重なる領域である。

なお、画像から顔を検出する手法は特に限定されないが、高速で高精度に顔を検出する手法が採用される。例えば、顔の局所的な領域の明暗差（輝度差）やエッジ強度、これら局所的領域間の関連性を特徴量として捉え、これら多数の特徴量を組み合わせて学習することで検出器を作製し、階層的な構造の検出器を備えることで、顔の領域検出を高速に行なうことが可能となる。また、顔の向きや傾きに対応するために、顔の向きや傾きごとに別々に学習させた複数の検出器を備えるようにしてもよい。

画像領域決定部４１は、ドライバカメラ３０から取得した画像を記憶部４７に記憶する処理を行う。画像領域決定部４１は、記憶部４７に記憶された画像を１フレーム毎に、又は、所定間隔のフレーム毎に読み出し、これら画像から運転者の顔を検出し、各領域を決定する。

第一画像検出部４１ａは、画像領域決定部４１により各領域が決定された画像を第一画像として検出する。

第二画像検出部４１ｂは、画像領域決定部４１により各領域が決定された画像を第二画像として検出する。第二画像は、第一画像との差分を抽出するための画像であるため、第一画像検出部４１ａによる第一画像の検出よりも後に検出される。

＜画像変化量の判定＞
画像変化判定部４２は、第一画像検出部４１ａにより検出された第一画像と第二画像検出部４１ｂにより検出された第二画像とで同じ位置にある画素毎に輝度の差を算出する。また、画像変化判定部４２は、画素毎に輝度の差を算出した後、顔領域Ｆ、下領域Ｕ、左領域Ｌ、および右領域Ｒの領域毎に、算出後の輝度差を累計する。画像変化判定部４２は、該累計された輝度差の総和を各領域の画像変化量として判定に使用する。なお、上述の輝度差の絶対値を累計するものとする。

例えば、第一画像と第二画像とで対応する顔領域Ｆに含まれる或る画素の輝度が２００から１００に変化していた場合、その画素の輝度差は｜１００−２００｜＝１００となる。画像変化判定部４２は、顔領域Ｆに含まれる全画素において、当該各画素の輝度差を算出し、全画素の輝度差を累計する。それら累計された輝度差の総和が顔領域Ｆの画像変化量となる。

画像変化判定部４２は、このようにして求めた画像変化量に基づき、顔領域Ｆの画像変化の大きさを判定する。

なお、図３に示すとおり、画像Ｄの端付近に運転者の顔を検出した場合、輝度の差を算出する領域が画像Ｄの範囲外となる場合がある。例えば、図３においては、下領域Ｕのうち、ハッチングしている部分は画像Ｄの範囲外となっている。このように、輝度の差を算出する領域のうち、画像Ｄの範囲外となる部分については、輝度の差を算出する対象外とする。

＜顔遮蔽動作の有無および顔遮蔽動作検出回数の判定＞
次に、顔遮蔽動作の有無の判定について説明する。まず、「顔遮蔽動作」には頭部周辺を手などによって遮蔽する頭部周辺遮蔽動作と口元周辺を手などによって遮蔽する口周辺遮蔽動作とがある。

頭部周辺遮蔽動作の一例としては、運転者が自身の頭を手で掻く仕草（以下、頭掻きという）が挙げられる。また、口周辺遮蔽動作の一例としては、運転者が自身の口元を手で掻く仕草（以下、口掻きという）が挙げられる。

なお、顔遮蔽動作について、頭部周辺や口周辺を遮蔽する動作について説明をしているが、これらは一例を示したに過ぎず、顔に含まれる部位であれば、例えば、頬、目、鼻、或いは、耳など、他の部位を遮蔽する動作であってもよい。

以下の説明においては、顔遮蔽動作の具体例として、頭掻きと口掻きとを一例に挙げて説明を行う。

また、以下、単に「掻き」と記載する場合は、頭掻きと口掻きとの両方を含むものとする。

画像変化判定部４２において、運転者が頭掻きあるいは口掻きをしていると確定させるためには、掻きの有無と顔遮蔽動作検出回数とを確認することにより行う。

頭掻きは、左領域Ｌまたは右領域Ｒの領域毎に算出される画像変化量に応じて判定を行う。具体的には、顔領域Ｆの画像変化量を基準として、左領域Ｌの画像変化量が顔領域Ｆの画像変化量以上であれば、左領域Ｌにおける頭掻き「有」と判定し、左領域Ｌの画像変化量が顔領域Ｆの画像変化量よりも少なければ、左領域Ｌにおける頭掻き「無」と判定する。

同様に、右領域Ｒについても、顔領域Ｆの画像変化量を基準として、右領域Ｒの画像変化量が顔領域Ｆの画像変化量以上であれば、右領域Ｒにおける頭掻き「有」と判定し、右領域Ｒの画像変化量が顔領域Ｆの画像変化量よりも少なければ、右領域Ｒにおける頭掻き「無」と判定する。

また、口掻きは、下領域Ｕの画像変化量に応じて判定を行う。具体的には、顔領域Ｆの画像変化量を基準として、下領域Ｕの画像変化量が顔領域Ｆの画像変化量の１．５倍以上の変化量であれば、下領域Ｕにおける口掻き「有」と判定し、下領域Ｕの画像変化量が顔領域Ｆの画像変化量の１．５倍の変化量よりも少なければ、左領域Ｌにおける頭掻き「無」と判定する。なお、本実施形態では、顔領域Ｆの画像変化量を基準として、顔領域Ｆの画像変化量と左領域Ｌ、右領域Ｒ或いは下領域Ｕの画像変化量とを比較することにより、領域毎の画像変化を判定することについて説明しているが、ここでは一例を示したに過ぎず、例えば、顔領域Ｆではなく、右領域Ｒを基準としてもよいし、これらに限定されるものではない。

次に、顔遮蔽動作検出回数について説明する。顔遮蔽動作検出回数はドライバカメラ３０により撮像した運転者の顔画像の直近ｎフレーム分の画像のうち、掻き「有」の判定回数の確認を顔領域Ｆ、下領域Ｕ、左領域Ｌ、および右領域Ｒの各領域別に求めることにより行う。

同一領域において、掻き「有」と判定されたフレームがｎフレームの５０％以上である場合、画像変化判定部４２は当該領域において掻きが確定したものとして判定する。

具体的には、例えば、下領域Ｕにおいて、直近１６フレームのうち、９フレーム以上が口掻き「有」と判定されていれば、画像変化判定部４２は口掻き確定と判定する。

器官点信頼度検出部４３は、ドライバカメラ３０が撮像した運転者の顔の器官点信頼度を第一器官点信頼度として検出するものである。

ここで、器官点とは、本実施例においては顔全体、左目、右目および口のことであり、器官点信頼度とは、運転者の顔における顔全体、左目、右目および口のそれぞれについて、運転者の器官として信頼し得る度合いのことをいう。

例えば、信頼し得る度合いは、ドライバカメラ３０により撮像した運転者の顔画像に対する、検出器が持つ辞書パターン等を用いたパターンマッチングから求めることができる。当該パターンマッチングから求められるマッチングスコアに基づき信頼し得る度合いが決定される。

第一器官点信頼度の検出は、運転者の顔全体、左目、右目および口のそれぞれについて行う。器官点信頼度検出部４３により検出された第一器官点信頼度の検出結果は、記憶部４７に記憶される。

器官点信頼度判定部４４は、ドライバカメラ３０によって撮像された運転者の顔画像における器官点の信頼度の高低を判定するものである。具体的には、閾値として予め記憶部４７に記憶された運転者の顔の器官点信頼度を第二器官点信頼度とし、該第二器官点信頼度と器官点信頼度検出部４３により検出された第一器官点信頼度とを比較することにより、運転者の顔の第一器官点信頼度の高低を判定する。

閾値として予め記憶部４７に記憶された運転者の顔の第二器官点信頼度は、例えば、顔信頼度をＴｈ１、左目信頼度をＴｈ２、右目信頼度をＴｈ３、口信頼度をＴｈ４とし、任意に設定することも可能である。例えば、運転者の顔について、器官点信頼度検出部４３により検出された第一器官点信頼度が、第二器官点信頼度であるＴｈ１よりも低ければ、第一器官点信頼度は低いと判定する。

ここで、器官点信頼度判定部４４は、顔画像の顔領域Ｆ、下領域Ｕ、左領域Ｌ、および右領域Ｒの領域毎に、器官点信頼度を判定し、顔領域Ｆ、下領域Ｕ、左領域Ｌ、および右領域Ｒの何れかについて、器官点信頼度が「低」と判定されたフレームがｎフレームの５０％以上ある場合、該当する領域において、掻きが確定したものとして判定してもよい。

具体的には、例えば、下領域Ｕにおいて、直近１６フレームのうち、９フレーム以上が器官点信頼度「低」と判定されていれば、器官点信頼度判定部４４は、口掻きが確定したと判定する。

顔向き異常判定部４５は、ドライバカメラ３０によって撮像された運転者の顔向き角度が予め定められた閾値未満である場合は、運転者の顔向きに異常なしと判定し、運転者の顔向き角度が閾値以上である場合は、運転者の顔向きに異常ありと判定するものである。なお、顔向きは、ロール方向、ピッチ方向、ヨー方向を含む。

具体的には、運転者の顔画像の直近ｎフレーム分の画像から顔向き角度の標準偏差値を算出し、該標準偏差値として算出した顔向き角度が閾値以上の場合、運転者の顔画像の顔向きに異常が発生しているものと判定する。

顔遮蔽判定部４６は、画像変化判定部４２、器官点信頼度判定部４４、顔向き異常判定部４５からの各判定結果に基づいて、運転者の顔が遮蔽されているか否かを判定するものである。

本実施形態において、顔遮蔽判定部４６により運転者の顔が遮蔽されていると判定するのは、（１）画像変化判定部４２により掻き確定と判定された場合、（２）画像変化判定部４２により、画像変化を検出し、且つ、該画像変化のあった画像領域について、器官点信頼度判定部４４により第一器官点信頼度が「低」と判定された場合、（３）顔向き異常判定部４５から運転者の顔画像の顔向きに異常が発生していると判定された場合であるが、これらに限定されるものではなく、発明の示す範囲で種々の変更が可能であり、適宜組み合わせて運転者の顔遮蔽を判定してもよい。

記憶部４７は、例えば半導体メモリであるが、これに限定されない。記憶部４７は、ドライバカメラ３０によって撮像された画像を記憶する。また、記憶部４７は、器官点信頼度を記憶する。

時間計測部４８は、画像領域決定部４１、画像変化判定部４２、器官点信頼度判定部４４および顔向き異常判定部４５とそれぞれつながっており、各種の所定の時間を計測するものである。

外部出力部４９は、脇見判定装置２０および居眠り判定装置２１とつながっており、顔遮蔽判定部４６により顔遮蔽なしと判定されると、該判定結果を顔遮蔽判定部４６より受信する。顔遮蔽判定部４６より顔遮蔽なしとの判定結果信号を受信すると、外出出力部は、脇見判定装置２０および居眠り判定装置２１へそれぞれ判定を開始するための指示信号を送る。

次に、図４のフローチャートを参照して、顔遮蔽判定装置１０における処理動作について説明する。

顔遮蔽判定装置１０は、記憶部４７に記憶されている器官点信頼度の履歴を更新する（Ｓ１）。具体的には、本ステップＳ１において、顔遮蔽判定を開始する時点において、器官点信頼度検出部４３によって検出され、記憶部４７に記憶された第一器官点信頼度を更新する。

次に、画像変化判定部４２は、ドライバカメラ３０から画像領域決定部４１を経て取得した顔画像について、画像変化量の算出を行う（Ｓ２）。画像変化判定部４２による画像変化量の算出の結果、画像変化量が大きいと判定されると（Ｓ３でＹＥＳ）、画像変化判定部４２から器官点信頼度判定部４４へ判定結果信号が送られる。該判定結果信号を受けると、器官点信頼度判定部４４は、器官点信頼度検出部４３により検出された第一器官点信頼度と第二器官点信頼度とを比較する（Ｓ４）。器官点信頼度判定部４４による器官点信頼度の判定の結果、第一器官点信頼度が低いと判定されると（Ｓ４でＹＥＳ）、器官点信頼度判定部４４から顔遮蔽判定部４６へ判定結果信号が送られる。該判定結果信号を受けると、顔遮蔽判定部４６は、運転者の顔が遮蔽されていると判定する（Ｓ５）。

一方、画像変化判定部４２による画像変化量の算出の結果、画像変化量が小さいと判定されると（Ｓ３でＮＯ）、画像変化判定部４２から顔向き異常判定部４５へ判定結果信号が送られる。該判定信号を受けると、顔向き異常判定部４５は、運転者の顔画像の顔向きに異常が発生しているか否かの判定を行う（Ｓ６）。顔向き異常判定部４５により、運転者の顔画像の顔向きに異常が発生していると判定されると（Ｓ６でＹＥＳ）、顔向き異常判定部４５から顔遮蔽判定部４６へ顔向きに異常が発生しているとの判定結果信号が送られる。該判定結果信号を受けると、顔遮蔽判定部４６は、運転者の顔が遮蔽されていると判定する（Ｓ５）。一方、顔向き異常判定部４５により、運転者の顔画像の顔向きに異常が発生していないと判定されると（Ｓ６でＮＯ）、顔遮蔽判定装置１０はその処理を終了する。

また、器官点信頼度判定部４４による器官点信頼度の判定の結果、第一器官点信頼度が高いと判定されると（Ｓ４でＮＯ）、器官点信頼度判定部４４から顔向き異常判定部４５へ第一器官点信頼度が高いとの判定結果信号が送られる。該判定信号を受けると、顔向き異常判定部４５は、運転者の顔画像の顔向きに異常が発生しているか否かの判定を行う（Ｓ６）。顔向き異常判定部４５により、運転者の顔画像の顔向きに異常が発生していると判定されると（Ｓ６でＹＥＳ）、顔向き異常判定部４５から顔遮蔽判定部４６へ顔向きに異常が発生しているとの判定結果信号が送られる。該判定結果信号を受けると、顔遮蔽判定部４６は、運転者の顔が遮蔽されていると判定する（Ｓ５）。一方、顔向き異常判定部４５により、運転者の顔画像の顔向きに異常が発生していないと判定されると（Ｓ６でＮＯ）、顔遮蔽判定装置１０はその処理を終了する。

次に図５のフローチャートを参照して、顔遮蔽判定装置１０による顔遮蔽判定後から、脇見判定装置２０による警報の報知、あるいは、居眠り判定装置２１による警報の報知までの処理動作について説明する。

顔遮蔽判定部４６により顔遮蔽なしと判定されると（Ｓ１０でＹＥＳ）、顔遮蔽判定部４６から外部出力部４９を介して脇見判定装置２０へ顔遮蔽なしの判定結果信号が送られる。該判定結果信号を受けると、脇見判定装置２０は脇見判定を開始する（Ｓ１１）。脇見判定装置２０により、運転者が脇見をしていると判定されると（Ｓ１１でＹＥＳ）脇見判定装置２０は運転者に対して脇見警報を報知する（Ｓ１２）。

一方、脇見判定装置２０により、運転者が脇見をしていないと判定されると（Ｓ１１でＮＯ）、脇見判定装置２０は処理を終了する。

また、顔遮蔽判定部４６により顔遮蔽なしと判定されると（Ｓ１０でＹＥＳ）、顔遮蔽判定部４６から外部出力部４９を介して居眠り判定装置２１へ顔遮蔽なしの判定結果信号が送られる。該判定結果信号を受けると、居眠り判定装置２１は居眠り判定を開始する（Ｓ１１）。居眠り判定装置２１により、運転者が居眠りをしていると判定されると（Ｓ１１でＹＥＳ）居眠り判定装置２１は運転者に対して居眠り警報を報知する（Ｓ１２）。

一方、居眠り判定装置２１により、運転者が居眠りをしていないと判定されると（Ｓ１１でＮＯ）、居眠り判定装置２１は処理を終了する。

また、顔遮蔽判定部４６により顔遮蔽ありと判定されると（Ｓ１０でＮＯ）、顔遮蔽判定部４６から外部出力部４９を介して脇見判定装置２０へ顔遮蔽ありの判定結果信号が送られる。該判定結果信号を受けると、脇見判定装置２０は、脇見判定を保留する（Ｓ１３）。脇見判定装置２０が脇見判定を保留してから一定時間が経過すると（Ｓ１４でＹＥＳ）、顔遮蔽判定部４６による顔遮蔽判定の処理を再び行う（Ｓ１０）。一方、脇見判定装置２０が脇見判定を保留してから一定時間が経過していなければ（Ｓ１４でＮＯ）、脇見判定装置２０は一定時間が経過するまでの間、脇見判定を保留する。

また、顔遮蔽判定部４６により顔遮蔽ありと判定されると（Ｓ１０でＮＯ）、顔遮蔽判定部４６から外部出力部４９を介して居眠り判定装置２１へ顔遮蔽ありの判定結果信号が送られる。該判定結果信号を受けると、居眠り判定装置２１は、居眠り判定を保留する（Ｓ１３）。居眠り判定装置２１が居眠り判定を保留してから一定時間が経過すると（Ｓ１４でＹＥＳ）、顔遮蔽判定部４６による顔遮蔽判定の処理を再び行う（Ｓ１０）。一方、居眠り判定装置２１が居眠り判定を保留してから一定時間が経過していなければ（Ｓ１４でＮＯ）、居眠り判定装置２１は一定時間が経過するまでの間、居眠り判定を保留する。

次に、図６のフローチャートを参照して、顔遮蔽判定装置１０による顔遮蔽判定後から、脇見判定装置２０による脇見判定、あるいは、居眠り判定装置２１による居眠り判定の判定時間を延長する場合の処理動作について説明する。なお、図６のＳ２０〜Ｓ２２の処理は、図５のＳ１０〜Ｓ１２の処理に対応するため、ここでの詳細な説明は省略する。

顔遮蔽判定部４６により顔遮蔽ありと判定されると（Ｓ２０でＮＯ）、顔遮蔽判定部４６から外部出力部４９を介して脇見判定装置２０へ顔遮蔽ありの判定結果信号が送られる。該判定結果信号を受けると、脇見判定装置２０は、判定延長モードに切り替わり、脇見判定にかける時間を延長する（Ｓ２３）。例えば、脇見を認定するための判断時間として通常は５秒間の時間をかけるところ、１０秒間に延長したり、脇見を認定するために１０フレームの画像に基づき判定しているところ、２０フレームの画像に基づき判定したり、などにより脇見判定を行う。なお、脇見判定にかける時間を延長することについて、上述の記載は一例を示したに過ぎず、これらに限られるものではない。

脇見判定にかける時間を延長して脇見判定をした結果、脇見判定ありと判定されると（Ｓ２１でＹＥＳ）、脇見判定装置２０は運転者に対して脇見警報を報知する（Ｓ２２）。一方、脇見判定にかける時間を延長して脇見判定をした結果、脇見判定なしと判定されると（Ｓ２１でＮＯ）、脇見判定装置２０は処理を終了する。

また、顔遮蔽判定部４６により顔遮蔽ありと判定されると（Ｓ２０でＮＯ）、顔遮蔽判定部４６から外部出力部４９を介して居眠り判定装置２１へ顔遮蔽ありの判定結果信号が送られる。該判定結果信号を受けると、居眠り判定装置２１は、判定延長モードに切り替わり、居眠り判定にかける時間を延長する（Ｓ２３）。例えば、居眠りを認定するための判断時間として通常は５秒間の時間をかけるところ、１０秒間に延長したり、居眠りを認定するために１０フレームの画像に基づき判定しているところ、２０フレームの画像に基づき判定したり、などにより居眠り判定を行う。なお、居眠り判定にかける時間を延長することについて、上述の記載は一例を示したに過ぎず、これらに限られるものではない。

居眠り判定にかける時間を延長して居眠り判定をした結果、居眠り判定ありと判定されると（Ｓ２１でＹＥＳ）、居眠り判定装置２１は運転者に対して居眠り警報を報知する（Ｓ２２）。一方、居眠り判定にかける時間を延長して居眠り判定をした結果、居眠り判定なしと判定されると（Ｓ２１でＮＯ）、居眠り判定装置２１は処理を終了する。

〔ソフトウェアによる実現例〕
顔遮蔽判定装置１０の制御ブロック（特に画像領域決定部４１、画像変化判定部４２、器官点信頼度検出部４３、器官点信頼度判定部４４、顔向き異常判定部４５、顔遮蔽判定部４６、記憶部４７、時間計測部４８、および外部出力部４９）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、顔遮蔽判定装置１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

２０ 警報出力部（脇見判定装置）
２１ 警報出力部（居眠り判定装置）
４１ａ 第一画像検出部
４１ｂ 第二画像検出部
４２ 画像変化判定部
４３ 器官点信頼度検出部
４４ 器官点信頼度判定部
４５ 顔向き異常判定部
４６ 顔遮蔽判定部

Claims (6)

1. 運転時の運転者の顔および顔周辺の画像を第一画像として検出する第一画像検出部と、
   前記第一画像の検出後に、前記運転者の顔および顔周辺の画像を第二画像として検出する第二画像検出部と、
   前記第一画像の各第一画素の輝度と前記第二画像の前記各第一画素に対応する第二画素の輝度との差分を抽出し、抽出された差分に基づいて、前記第一画像と前記第二画像との間における画像変化の大きさを判定する画像変化判定部と、
   前記運転者の顔および顔周辺の画像から前記運転者の顔の器官点信頼度を第一器官点信頼度として検出する器官点信頼度検出部と、
   前記第一器官点信頼度と予め設定された第二器官点信頼度とを比較することにより、前記第一器官点信頼度の高低を判定する器官点信頼度判定部と、
   前記運転者の顔が遮蔽されているか否かを判定する顔遮蔽判定部と、
   を備え、
   前記画像変化判定部により、前記第一画像と前記第二画像との間における画像変化が大きいと判定され、
   且つ、
   前記器官点信頼度判定部により、前記第一器官点信頼度が低いと判定された場合、
   前記顔遮蔽判定部は、前記運転者の顔が顔遮蔽状態であると判定する、
   ことを特徴とする顔遮蔽判定装置。
2. 前記運転者の顔向き角度によって前記運転者の顔画像の顔向きに異常が発生しているか否かを判定する顔向き異常判定部、
   を備え、
   前記顔向き異常判定部は、
   前記運転者の顔向き角度が予め定められた閾値未満である場合、前記運転者の顔画像の顔向きに異常は発生していないと判定し、
   前記運転者の顔向き角度が前記閾値以上である場合、前記運転者の顔画像の顔向きに異常が発生していると判定し、
   前記顔向き異常判定部により、前記運転者の顔画像の顔向きに異常が発生していると判定されると、前記顔遮蔽判定部は前記運転者の顔が顔遮蔽状態であると判定する、
   ことを特徴とする請求項１に記載の顔遮蔽判定装置。
3. 前記顔遮蔽判定部は、前記器官点信頼度判定部により、前記第一器官点信頼度が低いと判定された後、前記第一器官点信頼度が高いと判定されるまでの間は、前記運転者の顔が遮蔽状態であるとの判定を継続する、
   ことを特徴とする請求項１または２に記載の顔遮蔽判定装置。
4. 請求項１から３の何れか一項に記載の顔遮蔽判定装置と、
   所定の条件を満たすことにより警報を出力する警報出力部と、
   を備え、
   前記顔遮蔽判定部により前記運転者の顔が顔遮蔽状態であると判定された場合、前記警報出力部は、警報を出力せず、
   前記顔遮蔽判定部により前記運転者の顔が顔遮蔽状態ではないと判定された場合、前記警報出力部は、前記所定の条件を満たすことにより警報を出力する、
   ことを特徴とする乗員監視システム。
5. 運転時の運転者の顔および顔周辺の画像を第一画像として検出する第一画像検出ステップと、
   前記第一画像の検出後に、前記運転者の顔および顔周辺の画像を第二画像として検出する第二画像検出ステップと、
   前記第一画像の各第一画素の輝度と前記第二画像の前記各第一画素に対応する第二画素の輝度との差分を抽出し、抽出された差分に基づいて、前記第一画像と前記第二画像との間における画像変化の大きさを判定する画像変化判定ステップと、
   前記運転者の顔および顔周辺の画像から前記運転者の顔の器官点信頼度を第一器官点信頼度として検出する器官点信頼度検出ステップと、
   前記第一器官点信頼度と予め設定された第二器官点信頼度とを比較することにより、前記第一器官点信頼度の高低を判定する器官点信頼度判定ステップと、
   前記運転者の顔が遮蔽されているか否かを判定する顔遮蔽判定ステップと、
   を含み、
   前記画像変化判定ステップにより、前記第一画像と前記第二画像との間における画像変化が大きいと判定され、
   且つ、
   前記器官点信頼度判定ステップにより、前記第一器官点信頼度が低いと判定された場合、
   前記顔遮蔽判定ステップは、前記運転者の顔が顔遮蔽状態であると判定する、
   ことを特徴とする顔遮蔽判定方法。
6. 請求項１から３の何れか一項に記載の顔遮蔽判定装置としてコンピュータを機能させるための顔遮蔽判定プログラムであって、前記第一画像検出部と、前記第二画像検出部と、前記画像変化判定部と、前記器官点信頼度検出部と、前記器官点信頼度判定部および前記顔遮蔽判定部としてコンピュータを機能させるための顔遮蔽判定プログラム。

Images