JP2009265722A - 顔向き検知装置 - Google Patents

Abstract

【課題】 マスク等を装着している場合であっても運転者に与える違和感を低減した顔向き検出装置を提供する。
【解決手段】 運転者の顔面画像を撮影する撮影手段と、前記顔面画像から前記運転者の顔の向きを求める画像処理手段とを備え、前記画像処理手段は、前記運転者のマスク着用の有無を判定するマスク有無判定手段を有し、前記マスク着用と判定された場合、マスク着用警報を出力することとした。
【選択図】 図２

Description

本発明は、車両に搭載される運転者の顔向き検知装置に関する。

従来、特許文献１に記載される運転者の顔向き検知装置にあっては、カメラにより撮影された運転者の顔面画像に基づき顔の向きと視線方向を判断している。この技術にあっては、顔面画像のうち目、鼻、口等の大まかな特徴点の領域を囲み領域として検出し、この囲み領域内の画像内部から、目の囲み領域内では黒目中心、目頭、目尻等の特徴点を検出し、鼻の囲み領域内では鼻口等の特徴点の位置を検出している。

また、特許文献２の技術にあっては、顔の凹凸や器官等の複数の特徴領域の統計をとり、撮影された画像からこの統計に基づき顔の各部を検出することで、顔を検出している。
特開平９−７６８１５号公報 特開２００５−４９８５４号公報

しかしながら上記従来技術にあっては、マスク等で顔の下半分が覆われている場合は口等の特徴部が検出できないため、顔の向き検出もできずエラーが出力されてしまう。そのため、顔向き検出可能な位置に運転者の顔があるにもかかわらずエラーが出力されてしまい、運転者に違和感を与えるという問題があった。

本発明は上記問題に着目してなされたもので、その目的とするところは、マスク等を装着している場合であっても運転者に与える違和感を低減した顔向き検出装置を提供することにある。

上述の目的を達成するため、本発明では、運転者の顔面画像を撮影する撮影手段と、前記顔面画像から前記運転者の顔の向きを求める画像処理手段とを備え、前記画像処理手段は、前記運転者のマスク着用の有無を判定するマスク有無判定手段を有し、前記マスク着用と判定された場合、マスク着用警報を出力することとした。

よって、マスク等を装着している場合であっても運転者に与える違和感を低減した顔向き検出装置を提供できる。

以下に、本発明の顔向き検知装置の実施の形態を、実施例に基づいて説明する。

［システム構成］
実施例１につき説明する。図１は本願顔向き検知装置１のシステム構成図である。顔向き検知装置１は車両に搭載され、運転者検知カメラ１０に接続する。

運転者検知カメラ１０は車室内のインパネ２の上部に設けられ、運転者の顔面全体を撮影する。運転者検知カメラ１０をインパネ２の上部に設けることで、ステアリングホイール３によって遮られることなく運転者の顔面を撮影可能となっている。

［制御ブロック図］
図２は顔向き検知装置１の制御ブロック図である。顔向き検知装置１は画像処理部１００、運転状態判定ユニット２００を有し、画像処理部１００は顔検出部１１０、マスク有無判定部１２０、顔向き算出部１３０、顔角度／未検出信号出力部１４０を有する。

顔検出部１１０は、運転者検知カメラからの運転者撮影画像に基づき運転者の顔を検出し、検出結果をマスク有無判定部１２０および顔向き算出部１３０へ出力する。なお、車速等の車両情報に基づき、走行中であれば運転者が存在するものとして顔検出を行う。

マスク有無判定部１２０は顔検出部１１０からの検出結果に基づき運転者がマスクを着用しているかどうかを判定し、判定結果を顔角度／未検出信号出力部１４０へ出力する。

顔向き算出部１３０は顔検出部１１０からの検出結果に基づき運転者の顔向き角度である顔角度θを算出し、顔角度／未検出信号出力部１４０へ出力する。

顔角度／未検出信号出力部１４０は顔向きおよびマスク有無の判定結果に基づき、運転者の顔角度θまたは顔角度未検出信号を出力する。
マスク着用と判定された場合は顔角度θを検出できないためマスク着用警報を出力し、マスク着用なしと判定された場合は顔角度θを出力する。マスクの着用がないにもかかわらず顔角度θを検出できない場合、何らかのエラーとして顔角度θの未検出信号を出力する。

運転状態判定ユニット２００は顔角度θに基づき、運転者の運転状態（居眠り、よそ見等）を判断する。

［顔角度検出］
顔検出部１１０では、以下の方法で顔角度θを検出する。検出方法は従来例である特開平９−７６８１５と同様である。

まず、顔面画像中における目・鼻・口等の大まかな顔の特徴点の領域をそれぞれ目・鼻・口等の囲み領域として検出した後、各特徴点領域内の画像情報から黒目中心・目頭・目尻・鼻口等の特徴点位置をそれぞれ検出する。

その後、これらの各特徴点の、例えば車両空間を基準とする３次元空間上における座標位置を計算する。そして更に各特徴点の座標位置の時間的変化や各特徴点の相対的な位置関係等から顔の向きである顔角度θを算出する。

［マスク有無判定］
図３、図４はマスク有無判定を示す図である。図３は運転者検知カメラ１０の映像、図４はマスク有無判定を行うため図３の映像に処理を行った場合の映像である。顔検出部１１０によって顔の範囲Ｄを設定して顔の検出を行う。

顔の検出後、顔角度θを検出可能であればそのまま顔角度θを出力するが、顔の向きを検出できない場合、マスク着用により顔の向きが検出できないのか、それとも他のエラーにより検出できないのかを判定する。

マスク着用の有無の判定はマスク有無判定部１２０で実行される。図３の映像において顔の範囲Ｄを輝度によって分けて２値化し、輝度の高い領域を白、輝度の低い領域を黒で出力する。マスクはおおむね白であるため、２値化を行うとマスクの部分は白く出力される。白い画素の塊の位置や割合、大きさから、白の部分が一定以上であればマスク着用と判定する。

また、マスク有無判定部１２０では目の位置を検出してからマスク有無判定を実施してもよい。運転者検知カメラ１０に明瞳孔撮影用投光器を追加し、顔の検出ができないときはシャッターおよび投光タイミングを変更して明暗瞳孔の差画像を作成する。

その画像を２値化することによって目の瞳孔が白く検出されるため、検出された目の位置よりも下に白い大きな領域が確認されれば、運転者がマスク着用中と判定し、顔角度／未検出信号出力部１４０はマスク着用警報信号を出力する。マスク着用と判定されなければ、その他のエラーによって顔角度θ検出不能として顔角度未検出警報信号を出力する。

［マスク有無判定フロー］
図５はマスク有無判定フローである。

ステップＳ１１では走行中かどうかが判断され、ＹＥＳであればステップＳ１２へ移行し、ＮＯであればステップＳ１１を繰り返す。

ステップＳ１２では顔検知を行い、ステップＳ１３へ移行する。

ステップＳ１３では顔検知がＮＧかどうかが判断され、ＹＥＳであればステップＳ１００へ移行し、ＮＯであればステップＳ１７へ移行する。

ステップＳ１００はステップＳ１０１〜Ｓ１０４から構成されるマスク有無判定ステップである。
ステップＳ１０１では目の位置を検出し、ステップＳ１０２へ移行する。
ステップＳ１０２では顔範囲Ｄを決定し、ステップＳ１０３へ移行する。
ステップＳ１０３では顔範囲Ｄの２値化を行い、画像を生成してステップＳ１０４へ移行する。
ステップＳ１０４では顔範囲Ｄ内で白画像を探索し、ステップＳ１４へ移行する。

ステップＳ１４では運転者のマスク着用有りかどうかが判断され、ＹＥＳであればステップＳ１５へ移行し、ＮＯであればステップＳ１６へ移行する。

ステップＳ１５ではマスク着用警報信号を出力し、制御を終了する。

ステップＳ１６では顔角度θの未検出警報信号を出力し、制御を終了する。

ステップＳ１７では顔角度θを算出し、ステップＳ１８へ移行する。

ステップＳ１８では顔角度θを出力し、制御を終了する。

［実施例１の効果］
（１）運転者の顔面画像を撮影する運転者検知カメラ１０（撮影手段）と、
顔面画像から運転者の顔角度θ（顔の向き）を求める画像処理部１００（画像処理手段）を備え、
画像処理部１００は、運転者のマスク着用の有無を判定するマスク有無判定部１２０（マスク有無判定手段）を有し、マスク着用と判定された場合、マスク着用警報を出力することとした。

これにより、マスクを装着している場合であっても、マスクにより顔が検出できないことを表示して運転者に与える違和感を低減した顔向き検出装置を提供することができる。

（３）マスク有無判定部１２０は、運転者の目の位置を検出する目位置検出手段（ステップＳ１０１）と、顔面画像から運転者の顔の範囲を決定する顔範囲決定手段（ステップＳ１０２）と、顔範囲の画像を２値化する２値化画像生成手段（ステップＳ１０３）と、顔範囲内で白画像を探索する白画像探索手段（ステップＳ１０４）とを有することとした。

これにより、運転者のマスク着用を確実に判定することができる。

実施例２につき説明する。基本構成は実施例１と同様である。実施例１ではマスク着用時には顔角度θの検出は行わなかったが、実施例２ではマスク着用時であっても顔角度θを検出する点で異なる。

［制御ブロック図］
図６は実施例２における制御ブロック図である。実施例１の制御ブロック図にマスク角度算出部１５０、マスク形状記憶部１６０が追加されている。マスク有無判定部１２０においてマスク着用と判定された場合、マスク角度算出部１５０によって車両前方に対するマスクの角度φを算出し（図７〜図１２参照）、このマスク角度φに基づき顔角度θを検出する。

したがって、実施例１の顔角度／未検出信号出力部１４０はマスク着用警報信号を出力していたが、実施例２の顔角度／未検出信号出力部１４０はマスク着用警報信号を出力しない。マスク着用が検出されないにもかかわらず顔角度θが検出されないときのみ、未検出警報信号を出力する。それ以外の場合では顔角度θが検出されるため、顔角度θを運転状態判定ユニット２００へ出力する。

［マスク角度算出］
図７〜図１２はマスク角度φの算出を示す図である。図７、図８は運転者が車両前方正面を向いている場合、図９、図１０は小さくわき見している場合、図１１、図１２は大きくわき見をしている場合を示す。

マスク角度φの算出は、まず、一定時間走行して運転者の映像中におけるマスクの見え方をマスク形状記憶部１６０に記憶する。その後、ステアリング、車速等の情報に基づきマスクが最も左右対称となっている角度をマスク正面形状とし、その位置でのφの値を基準値としてφ＝０とする。

運転者が横を向くと映像内でのマスクの見え方も変化するため、この変化量に基づき逆アフィン変換やパターンマッチング等の方法を用いてマスク角度φを算出し、このφを顔向き角度θとする。これにより、マスクを装着している場合であっても顔角度θを検出することが可能となり、運転者に与える違和感が低減される。

（逆アフィン変換によるマスク角度算出）
基準平面（運転者検知カメラ１０の映像）に投影した対象平面の頂点の移動経路に基づき、対象平面が基準平面からどれだけ平行または回転移動、あるいは拡大／縮小したかを計算する。

（パターンマッチングによるマスク角度算出）
あらかじめ、マスク角度φの変化に対するマスク形状を記憶しておく。このマスク角度φ−マスク形状は複数の種類のマスクについて記憶する。このマスクの正面形状からマスクの種類を選定し、記憶されたマスク形状と映像中のマスク形状とを比較してマスク角度φを算出する。

［マスク角度算出フロー］
図１３はマスク角度φ算出フローである。

ステップＳ１１〜ステップＳ１３、ステップＳ１００、ステップＳ１４、Ｓ１６，Ｓ１７は、図５と同様である。

ステップＳ２１ではマスク角度φを算出し、ステップＳ２２へ移行する。

ステップＳ２２では顔角度θが入力された場合は顔角度θをそのまま出力し、マスク角度φが入力された場合はマスク角度φ＝顔角度θとして出力し、制御を終了する。

［実施例２の効果］
（２）画像処理部１００は、マスク着用と判定された場合、マスク角度φ（マスクの向き）を求め、このマスク角度φを顔角度θとすることとした。

これにより、マスクを装着している場合であっても顔角度θを検出することが可能となり、運転者に与える違和感を低減することができる。

（他の実施例）
以上、実施例に基づいて説明してきたが、本発明の具体的な構成は実施例に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても、本発明に含まれる。

本願は、車両用であるが、その他移動体への利用は容易である。

本願顔向き検知装置のシステム構成図である。 実施例１における制御ブロック図である。 マスク有無判定を示す図である（運転者検知カメラ１０の映像）。 マスク有無判定を示す図である（図３の映像に処理を行った場合）。 マスク有無判定フローである。 実施例２における制御ブロック図である。 マスク角度の算出を示す図である（車両前方正面を向いている場合のカメラ映像）。 マスク角度の算出を示す図である（図７の映像に処理を行った場合）。 マスク角度の算出を示す図である（少しわき見をしている場合のカメラ映像）。 マスク角度の算出を示す図である（図９の映像に処理を行った場合）。 マスク角度の算出を示す図である（大きくわき見をしている場合のカメラ映像）。 マスク角度の算出を示す図である（図１１の映像に処理を行った場合）。 マスク角度算出フローである。

符号の説明

１ 顔向き検知装置
２ インパネ
３ ステアリングホイール
１０ 運転者検知カメラ
１００ 画像処理部
１１０ 顔検出部
１２０ マスク有無判定部
１３０ 算出部
１４０ 未検出信号出力部
１５０ マスク角度算出部
１６０ マスク形状記憶部
２００ 運転状態判定ユニット

Claims (3)

1. 運転者の顔面画像を撮影する撮影手段と、
   前記顔面画像から前記運転者の顔の向きを求める画像処理手段と
   を備え、
   前記画像処理手段は、前記運転者のマスク着用の有無を判定するマスク有無判定手段を有し、前記マスク着用と判定された場合、マスク着用警報を出力すること
   を特徴とする顔向き検知装置。
2. 運転者の顔面画像を撮影する撮影手段と、
   前記顔面画像から前記運転者の顔の向きを求める画像処理手段と
   を備え、
   前記画像処理手段は、前記運転者のマスク着用の有無を判定するマスク有無判定手段を有し、前記マスク着用と判定された場合、前記マスクの向きを求め、このマスクの向きを前記顔の向きとすること
   を特徴とする顔向き検知装置。
3. 請求項１または請求項２に記載の顔向き検知装置において、
   前記マスク有無判定手段は、
   運転者の目の位置を検出する目位置検出手段と、
   前記顔面画像から運転者の顔の範囲を決定する顔範囲決定手段と、
   前記顔範囲の画像を２値化する２値化画像生成手段と、
   前記顔範囲内で白画像を探索する白画像探索手段と
   を有することを特徴とする顔向き検知装置。

Images