JP2017188017A - 顔向き特定装置及び顔向き特定方法 - Google Patents

Abstract

【課題】運転者の顔の向きの特定精度を向上させることができる顔向き特定装置及び特定方法を提供する。【解決手段】顔向き特定装置１は、運転者の顔と、運転者が頭部に装着している装着部材に設けられた発光部とを撮影することにより生成された撮像画像を取得する画像取得部１１１と、撮像画像に基づいて運転者の顔の特徴を特定する特徴特定部１１２と、撮像画像に基づいて発光部の位置を特定する位置特定部１１３と、位置特定部が特定した発光部の位置に基づいて発光部の向きを特定し、特徴特定部が特定した運転者の顔の特徴と発光部の向きとに基づいて運転者の顔の向きを特定する顔向き特定部１１４と、を有する。【選択図】図２

Description

本発明は、車両を運転する運転者の顔の向きを特定する顔向き特定装置及び顔向き特定方法に関する。

従来、車両を運転する運転者の顔をカメラで撮影し、撮影した画像から認識した顔の特徴に基づいて、運転者の顔の向きを特定する技術が知られている。特許文献１には、認識した顔の特徴点に基づいて、運転者が脇見又は居眠りをしていることを検出する運転者監視システムが開示されている。

特開２０１５−１９４８８４号公報

しかし、運転者の顔をカメラで撮影する場合、顔向きの角度が過大である場合、光量が不足している場合、光量が多過ぎる場合、運転者がサングラスをかけている場合等のさまざまな状況下において、運転者の顔を高精度で認識できないという問題が生じていた。そこで、運転者の顔をカメラで良好に撮影できない状況下においても、運転者の顔の向きを高精度で特定する方法が求められていた。

そこで、本発明はこれらの点に鑑みてなされたものであり、運転者の顔の向きの特定精度を向上させることができる顔向き特定装置を提供することを目的とする。

本発明の第１の態様においては、運転者の顔と、運転者が頭部に装着している装着部材に設けられた発光部とを撮影することにより生成された撮像画像を取得する画像取得部と、前記撮像画像に基づいて運転手の顔の特徴を特定する特徴特定部と、前記撮像画像に基づいて前記発光部の位置を特定する位置特定部と、前記位置特定部が特定した前記発光部の位置に基づいて前記発光部の向きを特定し、前記特徴特定部が特定した運転手の顔の特徴と前記発光部の向きとに基づいて前記運転者の顔の向きを特定する顔向き特定部と、を有する、顔向き特定装置を提供する。

前記顔向き特定装置は、前記発光部の向きと前記顔の向きとの関係を示す関係情報を記憶した記憶部をさらに有し、前記顔向き特定部は、前記特徴特定部が前記顔の特徴を特定した結果の精度が所定のレベルより低い場合に、前記発光部の向きに関連付けて前記記憶部に記憶された前記顔の向きを参照することにより、前記顔の向きを特定してもよい。

前記顔向き特定部は、所定のタイミングにおいて、前記特徴特定部が特定した前記顔の特徴に基づく前記顔の向きと前記発光部の向きとの関係を示す関係情報を前記記憶部に記録するか否か判定してもよい。

前記顔向き特定部は、前記特徴特定部が前記顔の特徴を特定した精度が所定の条件を満たす場合に、前記関係情報を前記記憶部に記録してもよい。

前記顔向き特定部は、前記特徴特定部が特定した前記顔の特徴に基づく前記顔の向きと前記発光部の向きとの関係が変化してから所定の時間が経過した後に、前記関係情報の記録を再開してもよい。

前記顔向き特定部は、前記特徴特定部が前記顔の特徴を特定した精度に基づいて、前記顔の向きの特定に用いる前記顔の特徴の重み及び前記発光部の向きの重みを決定してもよい。

本発明の第２の態様においては、コンピュータが実行する、運転者の顔と、運転者が頭部に装着している装着部材に設けられた発光部とを撮影することにより生成された撮像画像を取得するステップと、前記撮像画像に基づいて運転手の顔の特徴を特定するステップと、前記撮像画像に基づいて前記発光部の位置を特定するステップと、前記発光部の位置に基づいて前記発光部の向きを特定し、運転手の顔の特徴を特定した結果と、特定した前記発光部の向きとに基づいて、前記運転者の顔の向きを特定するステップと、を有する、顔向き特定方法を提供する。

本発明によれば、運転者の顔の向きの特定精度を向上させることができるという効果を奏する。

実施形態に係る顔向き特定装置の概要について説明するための図である。 実施形態に係る顔向き特定装置の構成を示す図である。 記憶部の各アドレスに、記録時の時刻、顔の向きおよび発光部の向きが記録された関係情報の例を示した表である。 顔向き特定部が顔の向きを特定する方法について説明するための図である。 顔向き特定部が顔の向きを特定する方法について説明するための図である。 実施形態に係る顔向き特定装置が行う信号処理の流れを示すフローチャートである。

＜実施形態＞
［顔向き特定装置１の概要］
図１は、本実施形態に係る顔向き特定装置１の概要について説明するための図である。顔向き特定装置１は、車両の運転席に設置されたカメラ２が撮影した撮像画像に基づいて、運転者の顔の向きを特定する。運転者の頭部には、発光素子または光を反射するミラー等から構成される発光部３が設けられた装着部材Ａが装着されている。発光素子は、例えば、電源とつながれたＬＥＤ（Light Emitting Diode）素子である。装着部材Ａは、例えば、つば付き帽子又はつば付き帽子型サンバイザであるが、つばがない帽子や鉢巻状の部材であってもよい。

顔向き特定装置１は、撮像画像に基づいて、運転者の顔の特徴を認識することにより顔の向きを特定する。顔向き特定装置１は、強い光が入射した場合または光が不足している場合等のように、顔の特徴を特定できない場合に、装着部材Ａに設けられた発光部３の向きに基づいて、運転者の顔の向きを特定する。

発光部３の向きは、発光部３を構成する１つ以上の発光素子又は光を反射するミラーのそれぞれの位置によって特定される。上記１つ以上の発光素子又は光を反射するミラーのそれぞれの位置を発光部３の位置としたとき、発光部３の位置と発光部３の向きとは１対１に対応する。なお、発光部３の向きと装着部材Ａの向きとは、同一の向きである。

顔向き特定装置１は、運転者の顔の向きが、所定の時間にわたって所定の範囲外である場合に、警報情報を外部に出力する。警報情報は、例えばＥＣＵ（Electronic Control Unit）に通知され、ＥＣＵは、警報音を鳴動させるように制御したり、車両を停止させたりする。なお、図１では、顔向き特定装置１とカメラ２とが有線で接続されているが、顔向き特定装置１とカメラ２とは無線で接続されていてもよい。

［顔向き特定装置１の構成］
以下に、実施形態に係る顔向き特定装置１の構成を具体的に説明する。図２は、実施形態に係る顔向き特定装置１の構成を示す図である。図２に示すように、顔向き特定装置１は、制御部１１と記憶部１２とを有する。記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体である。記憶部１２は、制御部１１が実行するプログラム、及び発光部３の向きと運転者の顔の向きとの関係を示す関係情報等のデータを記憶する。

制御部１１は、例えばＣＰＵ（Central Processing Unit）である。制御部１１は、記憶部１２に記憶されたプログラムを実行することにより、画像取得部１１１、特徴特定部１１２、位置特定部１１３および顔向き特定部１１４として機能する。

画像取得部１１１は、カメラ２によって生成された運転者の撮像画像を取得し、特徴特定部１１２および位置特定部１１３へ撮像画像の信号を送信する。

特徴特定部１１２は、受信した運転者の撮像画像に基づいて運転者の顔の特徴を特定する。特徴特定部１１２は、例えば、運転者の目および鼻の位置を特定する。特徴特定部１１２が特定する対象の数は任意に設定することができる。特徴特定部１１２は、撮像画像における、特定した目および鼻の位置を示す座標を含む特徴情報を顔向き特定部１１４に送信する。

特徴特定部１１２は、運転者の顔の特徴を完全に特定できるとは限らず、強い外光が顔に当たっている状態又は暗過ぎる状態で撮像画像が生成された場合、及び顔の向きが適切でない場合等には、特定の精度が不十分であることもある。そこで、特徴特定部１１２は、顔の特徴の特定精度を示す情報を、特徴情報とともに顔向き特定部１１４に送信する。特徴特定部１１２は、例えば、特定する特徴の数に対する特定できた特徴の数の割合を、精度を示す情報として顔向き特定部１１４に送信する。

位置特定部１１３は、受信した撮像画像に基づいて発光部３の位置を特定し、特定した発光部３の位置を顔向き特定部１１４に送信する。運転者が頭部に装着している装着部材Ａには、発光素子が１つ以上設けられており、位置特定部１１３は、上記1つ以上の発光素子の位置を特定する。外光の照射が強く、特徴特定部１１２が運転者の顔の特徴を特定しづらい場合であっても、位置特定部１１３は、発光部３の位置を特定できる。

なお、運転者が装着部材Ａを装着する位置が不適切であっても、撮像画像に写っている発光素子の数及び位置に基づいて装着部材Ａの向きを特定しやすくするために、装着部材Ａには、複数の発光素子が広い範囲に設けられていることが好ましい。この際、装着部材Ａの向きを特定しやすくするために、装着部材Ａの右側に設けられた発光素子の数と、左側に設けられた発光素子の数とが異なることが好ましい。

顔向き特定部１１４は、特徴特定部１１２が特定した顔の特徴の精度が所定の値よりも高い場合、特徴特定部１１２が特定した運転者の顔の特徴および顔の特徴の位置座標に基づいて運転者の顔の向きを特定する。

また、顔向き特定部１１４は、特徴特定部１１２が特定した顔の特徴の精度が所定の値よりも高い場合、位置特定部１１３が特定した発光部３の位置に基づいて発光部３の向きも特定し、発光部３の向きと運転者の顔の向きとの関係を示す関係情報を記憶部１２に記録することによりキャリブレーションをする。関係情報は、顔向き特定部１１４が同一の撮像画像から特定した顔の向きと発光部３の向きとの関係を含む。

顔の向きは、例えば、車両の進行方向に対する角度で表される。本実施形態においては、運転者が車両の進行方向を向いている場合の顔の向きを０度とし、右側を向いている場合の顔の向きを＋ｎ度（ｎは、１から９０までの自然数）、左側を向いている場合の顔の向きを−ｎ度とする。

発光部３の向きは、例えば、車両の進行方向に対する角度で表される。発光部３が車両の進行方向を向いている場合の発光部３の向きを０度とし、右側を向いている場合の発光部３の向きを＋ｎ度（ｎは、１から９０までの自然数）、左側を向いている場合の発光部３の向きを−ｎ度とする。

ここで、運転者は、装着している装着部材Ａの位置が意図せず大きく変化した場合、すぐに装着部材Ａの向きを正面へ戻す可能性がある。運転者が装着部材Ａの位置が大きく変化してから装着部材Ａを正しい位置へ戻すまでの間に顔向き特定部１１４が記録した関係情報は、顔の向きを特定するのに不適切な情報である可能性が高い。

そこで、顔向き特定部１１４は、運転者の顔の向きに対する発光部３の向きが所定の値から変化した場合、関係情報の記録を停止し、所定の時間が経過した後に、運転者の顔の向きに対する発光部３の向きが同じ値であることを条件として、関係情報の記録を再開（または更新）してもよい。このようにすることで、顔向き特定部１１４は、装着部材Ａの位置が一時的に変化した状態の関係情報が用いられないので、誤判定の確率を下げることができる。

顔向き特定部１１４は、特徴特定部１１２が特定した顔の特徴の精度が所定の値よりも低い場合、発光部３の向きと記憶部１２に記録された関係情報とに基づいて運転者の顔の向きを特定する。

図３は、記憶部１２が記憶している関係情報の例を示す表である。図３に示す表の第１列目Ｃ１にはアドレスが記載され、第２列目Ｃ２には記録時刻が記載され、第３列目Ｃ３には顔の向きが記載され、第４列目Ｃ４には発光部３の向きが記載されている。関係情報は、記憶部１２における書き換え可能なＲＡＭに記憶されている。アドレスは、ＲＡＭのアドレスを示す。記録時刻は、顔向き特定部１１４が顔の向きと発光部３の向きとを記憶部１２に書き込んだ時刻である。

図３では、運転者は経時的に顔の向きを変えていることがわかる。図３では、例えば、アドレス２番において、１０：５６に運転者が真正面を向き、装着部材Ａは正面から左向きに１０度の向きに装着されていたことが記録されている。アドレス３番において、顔の向きと装着部材Ａの向きとの角度が２０度になっていることから、１０：５６から１０：５７の間に、運転者が装着部材Ａの位置を変えたこともわかる。また、図３では、顔向き特定部１１４が１分おきに関係情報を記録しているが、１０：５５の関係情報は、顔の特徴の特定精度が不十分であったために記録されていない。なお、図３において、顔向き特定部１１４は１分おきに関係情報を記録しているが、関係情報の記録間隔は任意の間隔でよい。

［顔の向きを特定する処理の例］
続いて、図４および図５を参照しながら、特徴特定部１１２が顔の特徴を特定した結果の精度が所定のレベルより低い場合に、顔向き特定部１１４が関係情報に基づいて運転者の顔の向きを特定する方法を具体的に説明する。図４及び図５は、顔向き特定部１１４が顔の向きを特定する方法について説明するための図である。ここでは、顔向き特定部１１４が顔の向きを特定するために参照する関係情報を基準情報と称する。基準情報とは、顔向き特定部１１４が顔の向きを特定する時刻に最も近い時刻の関係情報である。

図４は、発光部３の向きと運転者の顔の向きが同時に０度であった場合の関係情報を基準情報（ａ）として、顔向き特定部１１４が運転者の顔の向きを特定した結果（ｂ）、（ｃ）、（ｄ）を示した図である。基準情報（ａ）では、特徴特定部１１２が運転者の顔の特徴を精度よく特定できているため、特定した顔の部位が顔に描かれている。また、特定結果（ｂ）、（ｃ）、（ｄ）では、特徴特定部１１２が運転者の顔の特徴を精度よく特定できていないため、顔の部位が顔に描かれていない。

特定結果（ｂ）では、発光素子３ａ〜３ｆにより構成される発光部３が正面を向いている様子が描かれている。基準情報では、発光部３の向きと運転者の顔の向きとは一致しているため、顔向き特定部１１４は、発光部３の向きに基づいて運転者の顔の向きは０度であると特定している。

特定結果（ｃ）では、発光部３が正面から右に９０度向きを変え、発光素子３ｃ、３ｄが隠れている様子が描かれている。基準情報では、発光部３の向きと運転者の顔の向きとは一致しているため、顔向き特定部１１４は、発光部３の向きに基づいて運転者の顔の向きは９０度であると特定している。

特定結果（ｄ）では、発光部３が正面から左に４５度向きを変え、発光素子３ｅ、３ｆが隠れている様子が描かれている。基準情報では、発光部３の向きと運転者の顔の向きとは一致しているため、顔向き特定部１１４は、発光部３の向きに基づいて運転者の顔の向きは−４５度であると特定している。

図５は、発光部３の向きが４５度であり、運転者の顔向きが０度であった場合の関係情報を基準情報（ａ）として、顔向き特定部１１４が運転者の顔の向きを特定した結果（ｂ）、（ｃ）、（ｄ）を示した図である。基準情報（ａ）では、特徴特定部１１２が運転者の顔の特徴を精度よく特定できているため、特定した顔の部位が顔に描かれている。また、特定結果（ｂ）、（ｃ）、（ｄ）では、特徴特定部１１２が運転者の顔の特徴を精度よく特定できていないため、顔の部位が顔に描かれていない。

特定結果（ｂ）では、発光素子３ａ〜３ｆにより構成される発光部３が正面を向いている様子が描かれている。基準情報では、発光部３の向きと運転者の顔の向きとが互いに４５度ずれているため、顔向き特定部１１４は、発光部３の向きに基づいて運転者の顔の向きは−４５度であると特定している。

特定結果（ｃ）では、発光部３が正面から右に９０度向きを変え、発光素子３ｃ、３ｄが隠れている様子が描かれている。基準情報では、発光部３の向きと運転者の顔向きとは互いに一致しているため、顔向き特定部１１４は、発光部３の向きに基づいて運転者の顔の向きは４５度であると特定している。

特定結果（ｄ）では、発光部３が正面から左に４５度向きを変え、発光素子３ｅ、３ｆが隠れている様子が描かれている。基準情報では、発光部３の向きと運転者の顔向きとは一致しているため、顔向き特定部１１４は、発光部３の向きに基づいて運転者の顔の向きは−９０度であると特定している。

［顔向き特定装置１の動作フローチャート］
図６は、顔向き特定装置１が行う信号処理の流れを示すフローチャートである。先ず、画像取得部１１１はカメラ２から撮像画像を取得する（Ｓ１）。続いて、特徴特定部１１２は、顔向き特定装置１は取得した撮像画像に基づいて、運転者の顔の特徴を精度よく特定できるか否かを判定する（Ｓ２）。

特徴特定部１１２が、運転者の顔の特徴を精度よく特定できると判定し（Ｓ２においてＹＥＳ）、顔向き特定部１１４が、前回の関係情報記録時から所定時間が経過していると判定した場合（Ｓ３においてＹＥＳ）、顔向き特定部１１４は、顔の向きと発光部３の向きとの関係を記憶部１２に記録する（Ｓ４）。特徴特定部１１２が、運転者の顔の特徴を精度よく特定できると判定し（Ｓ２においてＹＥＳ）、顔向き特定部１１４が、前回の関係情報記録時より所定時間が経過していないと判定した場合（Ｓ３においてＮＯ）、制御部１１は、所定時間が経過するまで待機する。

特徴特定部１１２が、運転者の顔の特徴を精度よく特定できないと判定した場合（Ｓ２においてＮＯ）、顔向き特定部１１４は、発光部３の位置を特定し（Ｓ５）、続いて運転者の顔の向きを特定する（Ｓ６）。顔向き特定部１１４は、運転者の顔の向きが所定の正常範囲内であれば（Ｓ７においてＹＥＳ）、運転者が運転する車のエンジンが停止しているか否かを判定する（Ｓ９）。顔向き特定部１１４は、運転者の顔の向きが所定の正常範囲外であれば（Ｓ７においてＮＯ）、警報を出力後（Ｓ８）、運転者が運転する車のエンジンが停止しているか否かを判定する（Ｓ９）。制御部１１は、車のエンジンが停止している場合（Ｓ９においてＹＥＳ）、顔の向きを特定する処理を終了する。制御部１１は、車のエンジンが停止していない場合（Ｓ９においてＮＯ）、ステップＳ１に戻って、ステップＳ１からステップＳ９までの処理を行う。

［変形例１］
顔向き特定装置１において、顔向き特定部１１４は、特徴特定部１１２が顔の特徴を特定できた場合に、顔の特徴から特定する顔の向きと発光部３の位置から特定する顔の向きとを重み付けして顔の向きを特定してもよい。顔向き特定部１１４は、例えば、特徴特定部１１２が顔の特徴を特定した精度に基づいて重み付けを行う。

例えば、顔向き特定部１１４は、特徴特定部１１２が検出すべき項目のうち、実際に検出できた項目の数に基づいて重み付けを決定する。このようにすることで、特徴特定部１１２が顔の特徴を特定した際の精度が十分に高くない場合であっても、発光部３の位置を併用することにより、顔向き特定部１１４が顔の向きを特定する精度を十分なレベルにすることができる。

［変形例２］
上記の説明において、顔向き特定部１１４は、特徴特定部１１２が顔の特徴を特定できた場合に関係情報を記憶部１２に記録するものとした。この際、顔向き特定部１１４は、特徴特定部１１２が顔の特徴を特定できた時の発光部３の向きが、特徴特定部１１２が特定した顔の向きに対して所定の範囲内にあることを条件として、関係情報を記憶部１２に記録してもよい。また、発光部３の向きが、顔の向きに対して所定の範囲内に入っていない場合、顔向き特定部１１４は、装着部材Ａを正しく装着することを促す警告情報を運転者に通知してもよい。このようにすることで、運転者が装着部材Ａを適切に装着していなかったり、装着部材Ａを取り外していたりする状態が長く継続しないようにすることができる。

[本実施形態の効果]
上述した顔向き特定装置１によれば、運転者の顔の特徴と発光部３の位置との双方に基づいて顔の向きを特定できる。例えば、顔向き特定部１１４は、特徴特定部１１２が顔の特徴を特定した結果の精度が所定のレベルより低い場合に、位置特定部１１３が特定した発光部３の向きに関連付けて記憶部１２に記憶された顔の向きを参照することにより、顔の向きを特定する。従って、特徴特定部１１２が運転者の顔の特徴を特定できない状態であっても、発光部３の向きに基づいて運転者の顔の特徴を特定できるので、顔向き特定装置１は、顔の特徴と発光部３の位置のどちらか一方のみに基づいて顔の向きを特定するよりも精度よく顔の向きを特定できる。

また、顔向き特定装置１は、特徴特定部１１２が顔の特徴を特定した精度が所定の条件を満たす場合に、関係情報を記憶部１２に記録する。このように顔の向きに対する相対的な発光部３の向きが記憶部１２に記録されているため、顔向き特定装置１は、発光部３の向きのみしか特定できない場合でも運転者の顔の向きを特定できる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１ 顔向き特定装置
２ カメラ
３ 発光部
１１ 制御部
１１１ 画像取得部
１１２ 特徴特定部
１１３ 位置特定部
１１４ 顔向き特定部
１２ 記憶部
Ａ 装着部材

Claims (7)

1. 運転者の顔と、運転者が頭部に装着している装着部材に設けられた発光部とを撮影することにより生成された撮像画像を取得する画像取得部と、
   前記撮像画像に基づいて運転手の顔の特徴を特定する特徴特定部と、
   前記撮像画像に基づいて前記発光部の位置を特定する位置特定部と、
   前記位置特定部が特定した前記発光部の位置に基づいて前記発光部の向きを特定し、前記特徴特定部が特定した運転手の顔の特徴と前記発光部の向きとに基づいて前記運転者の顔の向きを特定する顔向き特定部と、
   を有することを特徴とする顔向き特定装置。
2. 前記発光部の向きと前記顔の向きとの関係を示す関係情報を記憶した記憶部をさらに有し、
   前記顔向き特定部は、前記特徴特定部が前記顔の特徴を特定した結果の精度が所定のレベルより低い場合に、前記発光部の向きに関連付けて前記記憶部に記憶された前記顔の向きを参照することにより、前記顔の向きを特定する、
   請求項１に記載の顔向き特定装置。
3. 前記顔向き特定部は、所定のタイミングにおいて、前記特徴特定部が特定した前記顔の特徴に基づく前記顔の向きと前記発光部の向きとの関係を示す関係情報を前記記憶部に記録するか否か判定する、
   請求項２に記載の顔向き特定装置。
4. 前記顔向き特定部は、前記特徴特定部が前記顔の特徴を特定した精度が所定の条件を満たす場合に、前記関係情報を前記記憶部に記録することを特徴とする、
   請求項３に記載の顔向き特定装置。
5. 前記顔向き特定部は、前記特徴特定部が特定した前記顔の特徴に基づく前記顔の向きと前記発光部の向きとの関係が変化してから所定の時間が経過した後に、前記関係情報の記録を再開することを特徴とする、
   請求項３又は４に記載の顔向き特定装置。
6. 前記顔向き特定部は、前記特徴特定部が前記顔の特徴を特定した精度に基づいて、前記顔の向きの特定に用いる前記顔の特徴の重み及び前記発光部の向きの重みを決定することを特徴とする、
   請求項１から５のいずれか１項に記載の顔向き特定装置。
7. コンピュータが実行する、
   運転者の顔と、運転者が頭部に装着している装着部材に設けられた発光部とを撮影することにより生成された撮像画像を取得するステップと、
   前記撮像画像に基づいて運転手の顔の特徴を特定するステップと、
   前記撮像画像に基づいて前記発光部の位置を特定するステップと、
   前記発光部の位置に基づいて前記発光部の向きを特定し、運転手の顔の特徴を特定した結果と、特定した前記発光部の向きとに基づいて、前記運転者の顔の向きを特定するステップと、
   を有することを特徴とする顔向き特定方法。

Images