JP2018180623A - 視線方向推定装置及び視線方向推定方法 - Google Patents

Abstract

【課題】車両の運転者の視線方向を高い正確度で推定する視線方向推定装置及び視線方向推定方法を提供する。
【解決手段】視線方向推定装置は、車両を運転中の運転者の顔画像に基づいて、当該運転者の視線方向を推定する視線方向推定部２２と、運転者が正面方向をみているか判定する正面方向判定部２３と、運転者が正面方向をみていると判定された期間に推定された視線方向に基づいて、基準方向を推定する基準方向推定部２６と、基準方向推定部により推定された基準方向に基づいて、視線方向推定部により推定された視線方向を補正する視線方向補正部２４と、を備える。
【選択図】図２

Description

本発明は、視線方向推定装置及び視線方向推定方法に関する。

車両の運転者の視線方向を推定する場合、運転者の個人差による推定誤差を抑制するために、推定結果の補正が行われる。推定結果の補正方法として、運転者に所定の方向をみることを要求し、運転者が当該要求に従って所定の方向をみている期間に得られた推定結果に基づいて、以降の推定結果を補正する方法が知られている。しかしながら、この補正方法は、運転者の作業が必要となるため、運転者にとって面倒であった。そこで、運転者の作業が不要な方法として、車両の走行中に推定された視線方向に基づいて、運転者からみた正面方向を推定し、推定された正面方向に基づいて、以降の推定結果を補正する方法が提案されている。

特開２００８−２１０２３９号公報

しかしながら、上記従来の方法では、車両の旋回中に推定された視線方向に基づいて、正面方向が推定されることがあった。車両の旋回中には、運転者が正面方向をみていないことが多いため、車両の旋回中に推定された視線方向に基づいて正面方向を推定すると、正面方向の推定の正確度が低下し、正面方向に基づいて補正された視線方向の推定の正確度が低下するという問題があった。

本発明は、上記の課題に鑑みてなされたものであり、車両の運転者の視線方向を高い正確度で推定することを目的とする。

一実施形態に係る視線方向推定装置は、車両を運転中の運転者の顔画像に基づいて、当該運転者の視線方向を推定する視線方向推定部と、前記運転者が正面方向をみているか判定する正面方向判定部と、前記運転者が前記正面方向をみていると判定された期間に推定された前記視線方向に基づいて、基準方向を推定する基準方向推定部と、前記基準方向推定部により推定された前記基準方向に基づいて、前記視線方向推定部により推定された前記視線方向を補正する視線方向補正部と、を備える。

本発明の各実施形態によれば、車両の運転者の視線方向を高い正確度で推定できる。

視線方向推定装置のハードウェア構成の一例を示す図。 視線方向推定装置の機能構成の一例を示す図。 加速度の一例を示す図。 視線方向推定装置の処理の一例を示すフローチャート。 顔画像の取得方法の一例を示す図。 視線方向の補正方法を説明する図。 基準方向を推定するために生成された度数分布の一例を示す図。 顔向きの一例を示す図。 顔画像の一例を示す図。 顔画像の一例を示す図。

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重畳した説明を省略する。

＜第１実施形態＞
第１実施形態に係る視線方向推定装置について、図１〜図７を参照して説明する。本実施形態に係る視線方向推定装置は、車両に搭載される装置であり、当該車両の走行中に、運転者の視線方向を推定する。視線方向推定装置が推定した視線方向は、運転者の視線方向に応じて運転者に注意喚起する外部装置や外部アプリケーションで利用される。

まず、視線方向推定装置のハードウェア構成について説明する。図１は、視線方向推定装置のハードウェア構成の一例を示す図である。図１の視線方向推定装置は、撮影装置１と、制御装置２と、を備える。

撮影装置１は、運転者の顔を撮影し、顔画像を取得する装置であり、制御装置２に接続される。撮影装置１は、運転者の顔を撮影可能な位置（運転席の前方）に配置される。図１の撮影装置１は、撮影部１１Ｌ，１１Ｒと、複数の光源１２Ｌ，１２Ｒと、を備える。

撮影部１１Ｌは、運転者の顔を撮影するカメラであり、図１における撮影装置１の左側に配置される。撮影部１１Ｒは、運転者の顔を撮影するカメラであり、図１における撮影装置１の右側に配置される。以下、撮影部１１Ｌ，１１Ｒを区別しない場合、撮影部１１と称する。

光源１２Ｌは、運転者の顔を撮影する際に、運転者の顔に所定のタイミングで光を照射する光源であり、撮影部１１Ｌの近傍に複数配置される。光源１２Ｒは、運転者の顔を撮影する際に、運転者の顔に所定のタイミングで光を照射する光源であり、撮影部１１Ｒの近傍に複数配置される。光源１２Ｌ，１２Ｒは、例えば、近赤外光を照射するＬＥＤ（Light Emitting Diode）であるが、これに限られない。以下、光源１２Ｌ，１２Ｒを区別しない場合、光源１２と称する。

なお、図１の例では、撮影装置１は、２つの撮影部１１を備えるが、１つ又は３つの撮影装置１を備えてもよい。撮影部１１が１つの場合、撮影装置１は、撮影部１１に対して略同軸の光源１２と非同軸の光源１２とをそれぞれ備えれば良い。また、図１の例では、撮影装置１は、それぞれ４つの光源１２Ｌ，１２Ｒを備えるが、光源１２Ｌ，１２Ｒの数は任意に設計可能である。

制御装置２は、撮影装置１を制御する装置であり、撮影装置１に接続される。具体的には、制御装置２は、撮影部１１による撮影及び光源１２の発光を制御する。また、制御装置２は、撮影装置１により取得された顔画像に基づいて、運転者の視線方向を推定する。図１の制御装置２は、ＣＰＵ（Central Processing Unit）２０１と、ＲＯＭ（Read Only Memory）２０２と、ＲＡＭ（Random Access Memory）２０３と、ＨＤＤ（Hard Disk Drive）２０４と、入力装置２０５と、表示装置２０６と、を備える。また、制御装置２は、接続インタフェース２０７と、通信インタフェース２０８と、バス２０９と、を備える。

ＣＰＵ２０１は、プログラムを実行することにより、制御装置２の各ハードウェア構成を制御し、視線方向推定装置の機能を実現する。

ＲＯＭ２０２は、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。

ＲＡＭ２０３は、ＣＰＵ２０１に作業領域を提供する。

ＨＤＤ２０４は、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。

入力装置２０５は、運転者を含むユーザの操作に応じた情報を制御装置２に入力する。入力装置２０５は、例えば、タッチパネル、キーボード、マウス、ハードウェアボタンなどである。

表示装置２０６は、運転者を含むユーザの操作に応じた画面を表示する。表示装置２０６は、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイなどである。

接続インタフェース２０７は、制御装置２を撮影装置１に接続するためのインタフェースである。制御装置２は、接続インタフェース２０７を介して、撮影装置１を制御し、撮影装置１から顔画像（画像データ）を取得する。

通信インタフェース２０８は、制御装置２をＣＡＮ（Controller Area Network）、インターネット、ＬＡＮ（Local Area Network）などのネットワークに接続するためのインタフェースである。制御装置２は、通信インタフェース２０８を介して、ネットワーク上の外部装置（ＥＣＵ（Engine Control Unit）など）と通信する。

バス２０９は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０４、入力装置２０５、表示装置２０６、接続インタフェース２０７、及び通信インタフェース２０８を相互に接続する。

なお、図１の例では、制御装置２が車載のコンピュータにより構成される場合を想定している。しかしながら、制御装置２は、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specified Integrated Circuit）などのＩＣにより、１チップで構成されてもよい。この場合、制御装置２は、ＨＤＤ２０４、入力装置２０５、及び表示装置２０６を備えない。また、制御装置２は、車両に搭載された撮影装置１とネットワークを介して接続されたＰＣ（Personal Computer）、サーバ、タブレット端末、スマートフォンなどのコンピュータにより構成されてもよい。

次に、視線方向推定装置の機能構成について説明する。図２は、視線方向推定装置の機能構成の一例を示す図である。図２の視線方向推定装置は、顔画像取得部２１と、視線方向推定部２２と、正面方向判定部２３と、視線方向補正部２４と、推定結果記憶部２５と、基準方向推定部２６と、を備える。これらの各機能構成は、制御装置２のＣＰＵ２０１がプログラムを実行し、視線方向推定装置の各ハードウェア構成と協働することにより実現される。

顔画像取得部２１は、車両を運転中の運転者の顔を所定の時間間隔で撮影し、当該運転者の顔画像を取得する。撮影間隔は、例えば、１ｍｓｅｃ以上１００ｍｓｅｃ以下である。顔画像取得部２１は、ＣＰＵ２０１が撮影装置１を制御することにより実現される。顔画像取得部２１は、明瞳孔画像、暗瞳孔画像、及び無照明画像の少なくとも１つを取得する。

明瞳孔画像は、運転者の瞳孔が明るく撮影された顔画像である。明瞳孔画像は、光源１２から運転者の顔に光を照射した状態で、当該光源１２と略同軸の撮影部１１により運転者の顔を撮影することにより取得される。このように撮影することにより、光源１２からの光が、運転者の網膜により、撮影部１１の方向に反射するため、運転者の瞳孔が明るく撮影される。図１の撮影装置１では、光源１２Ｌから運転者の顔に光を照射した状態で、撮影部１１Ｌにより運転者の顔を撮影することにより、明瞳孔画像が取得される。また、光源１２Ｒから運転者の顔に光を照射した状態で、撮影部１１Ｒにより運転者の顔を撮影することにより、明瞳孔画像が取得される。

暗瞳孔画像は、運転者の瞳孔が、明瞳孔画像に比べて暗く撮影された顔画像である。暗瞳孔画像は、光源１２から運転者の顔に光を照射した状態で、当該光源１２と非同軸の撮影部１１により運転者の顔を撮影することにより取得される。このように撮影することにより、光源１２からの光が、運転者の網膜により、撮影部１１とは異なる方向に反射するため、運転者の瞳孔が暗く撮影される。図１の撮影装置１では、光源１２Ｌから運転者の顔に光を照射した状態で、撮影部１１Ｒにより運転者の顔を撮影することにより、暗瞳孔画像が取得される。また、光源１２Ｒから運転者の顔に光を照射した状態で、撮影部１１Ｌにより運転者の顔を撮影することにより、暗瞳孔画像が取得される。

無照明画像は、光源１２から運転者の顔に光を照射しない状態で、撮影部１１により運転者の顔を撮影することにより取得される顔画像である。

視線方向推定部２２は、顔画像取得部２１が取得した顔画像に基づいて、運転者の視線方向を推定する。視線方向推定部２２は、運転者の視線方向として、基準方向として設定された方向を基準とした角度、座標、範囲などを出力する。基準方向は、基準方向推定部２６により、運転者からみた正面方向として推定された方向である。正面方向は、運転者の体格や運転中の姿勢、眼の状態（斜視など）により、個人差がある。

視線方向推定部２２は、推定結果記憶部２５に記憶された基準方向を基準として、視線方向を推定する。基準方向の正確度が高いほど、すなわち、基準方向が運転者からみた実際の正面方向に近いほど、視線方向推定部２２による視線方向の推定の正確度は高くなる。

視線方向推定部２２は、周知の任意の方法を利用して視線方向を推定できる。視線方向の推定方法として、例えば、明瞳孔画像及び暗瞳孔画像の少なくとも一方に基づいて、運転者の瞳孔及びプルキニエ像の位置を検出し、瞳孔及びプルキニエ像の位置に基づいて、視線方向を推定する方法が利用できる。また、視線方向の推定方法として、顔画像に基づいて、運転者の顔の特徴点（瞳孔、鼻孔、眉など）の位置を検出し、特徴点の位置に基づいて、視線方向を推定する方法が利用できる。なお、視線方向の推定方法は、上記の例に限られない。

正面方向判定部２３は、運転者が正面方向をみているか判定する。本実施形態において、正面方向判定部２３は、車両が直進しているか判定することにより、運転者が正面方向をみているか判定する。正面方向判定部２３は、車両が直進していると判定した場合、運転者が正面方向をみていると判定し、車両が直進していない（旋回している）と判定した場合、運転者が正面方向をみていないと判定する。これは、一般に、車両が直進している場合、車両が旋回している場合に比べて、運転者が正面方向をみていることが多いためである。

正面方向判定部２３は、例えば、車両の車幅方向の加速度Ｇに基づいて、車両が直進しているか判定する。加速度Ｇは、車両に搭載された加速度センサから入力されてもよいし、視線方向推定装置に搭載された加速度センサから入力されてもよい。

車両が旋回している場合、車幅方向の加速度Ｇが大きくなる。そこで、正面方向判定部２３は、車幅方向の加速度Ｇの大きさ｜Ｇ｜が所定値以下の場合に、車両が直進していると判定する。

図３は、加速度Ｇの一例を示す図である。図３において、縦軸は加速度Ｇを示し、横軸は時間ｔを示す。図３の例では、正面方向判定部２３は、加速度ＧがＧ１以上Ｇ２以下である場合、車両が直進していると判定し、Ｇ１未満又はＧ２より大きい場合、車両は直進していない（旋回している）と判定する。Ｇ１，Ｇ２は、車両が直進しているか判定するために設定された閾値である（｜Ｇ１｜＝｜Ｇ２｜）。図３の例では、期間Ｔ１において、Ｇ２＜Ｇであるため、車両は直進していないと判定され、期間Ｔ２において、Ｇ１≦Ｇ≦Ｇ２であるため、車両は直進している判定される。

なお、加速度Ｇに基づく判定方法は、上記の例に限られない。例えば、正面方向判定部２３は、車幅方向の加速度Ｇの大きさ｜Ｇ｜が所定値以下の期間が所定時間以上継続した場合に、車両が直進していると判定してもよい。また、正面方向判定部２３は、車両の進行方向の加速度を併用して、車両が直進しているか判定してもよい。

また、正面方向判定部２３は、車両に搭載された、車両の旋回に関係する機器の状態に基づいて、車両が直進しているか判定してもよい。正面方向判定部２３は、機器の状態が車両の旋回を示す状態でない場合、車両は直進していると判定し、車両の旋回を示す状態である場合、車両は直進していないと判定すればよい。

例えば、正面方向判定部２３は、ステアリングホイールの回転角度に基づいて、車両が直進しているか判定する。正面方向判定部２３は、車両に搭載されたロータリーセンサから、ステアリングホイールの回転角度を取得できる。正面方向判定部２３は、回転角度が所定値以下である場合、車両は直進していると判定し、所定値より大きい場合、車両は直進していないと判定すればよい。

また、正面方向判定部２３は、方向指示器の点滅状態に基づいて、車両が直進しているか判定してもよい。正面方向判定部２３は、方向指示器の点滅を制御する制御回路（ＥＣＵなど）から、方向指示器の点滅状態を取得できる。正面方向判定部２３は、方向指示器が消灯している場合、車両は直進していると判定し、点滅している場合、車両は直進していないと判定すればよい。

また、正面方向判定部２３は、ウィンカーレバーの位置に基づいて、車両が直進しているか判定してもよい。正面方向判定部２３は、ウィンカーレバーの位置を検出する位置検出センサから、ウィンカーレバーの位置を取得できる。正面方向判定部２３は、ウィンカーレバーが方向指示器の消灯位置に位置している場合、車両は直進していると判定し、点滅位置に位置している場合、車両は直進していないと判定すればよい。

なお、車両の旋回に関係する機器の状態は、上記の例に限られない。また、正面方向判定部２３は、車両の旋回に関係する２つ以上の機器の状態を組み合わせて、車両が直進しているか判定してもよい。また、正面方向判定部２３は、車両の旋回に関係する機器の状態と、加速度Ｇと、を組み合わせて、車両が直進しているか判定してもよい。

視線方向補正部２４は、基準方向推定部２６により推定された基準方向に基づいて、視線方向推定部２２により推定された視線方向を補正する。具体的には、視線方向補正部２４は、視線方向推定部２２により推定された視線方向に、基準方向推定部２６により推定された基準方向を加算することにより、視線方向推定部２２により推定された視線方向を補正する。視線方向補正部２４により補正された視線方向は、視線方向推定装置による視線方向の推定結果に相当する。

推定結果記憶部２５は、視線方向推定部２２により推定された視線方向（推定結果）の履歴データを、正面方向判定部２３による判定結果と対応付けて記憶する。また、推定結果記憶部２５は、基準方向推定部２６により推定された基準方向を記憶する。

基準方向推定部２６は、正面方向判定部２３により車両が直進していると判定された期間に視線方向推定部２２により推定された視線方向に基づいて、基準方向を推定する。具体的には、基準方向推定部２６は、車両が直進していると判定された期間に推定された視線方向の度数（時間又は回数）を、視線方向毎に集計し、視線方向の度数分布を生成する。そして、基準方向推定部２６は、度数が最大、すなわち、運転者の視線方向として推定された時間又は回数が最大の視線方向を、基準方向として推定する。

上述の通り、車両が直進している場合、車両が旋回している場合に比べて、運転者が正面方向をみていることが多くなる。言い換えると、車両が直進している期間に推定された視線方向は、運転者からみた実際の正面方向に集中する。したがって、車両が直進していると判定された期間に推定された視線方向の中から、度数が最大の視線方向を基準方向として推定することにより、正面方向を高い正確度で推定できる。こうして推定された基準方向に基づいて、視線方向補正部２４が視線方向を補正することにより、視線方向推定装置は、運転者の視線方向を高い正確度で推定できる。

基準方向推定部２６は、所定の時間間隔で基準方向を推定してもよいし、所定の条件が満たされた場合に基準方向を推定してもよい。所定の条件として、正面方向判定部２３により車両が直進していると判定された期間が所定時間以上継続することや、車幅方向の加速度Ｇの大きさが所定値以下になることなどが挙げられる。なお、所定の条件は、上記の例に限られない。

次に、本実施形態に係る視線方向推定装置の処理について説明する。図４は、視線方向推定装置の処理の一例を示すフローチャートである。視線方向推定装置は、車両の走行中、図４の処理を所定時間毎に繰り返す。

処理タイミングが到来すると、まず、顔画像取得部２１が、車両を運転中の運転者の顔画像を取得する（ステップＳ１０１）。図５は、顔画像取得部２１（撮影装置１）による顔画像の取得方法の一例を示す図である。図５の例では、撮影部１１Ｌ，１１Ｒは、時刻ｔ１，ｔ２，ｔ３に対象者の顔をそれぞれ撮影する。また、光源１２Ｌは時刻ｔ１に発光し、光源１２Ｒは時刻ｔ２に発光する。このような動作により、撮影部１１Ｌは、時刻ｔ１に明瞳孔画像を取得し、時刻ｔ２に暗瞳孔画像を取得し、時刻ｔ３に無照明画像を取得できる。また、撮影部１１Ｒは、時刻ｔ１に暗瞳孔画像を取得し、時刻ｔ２に明瞳孔画像を取得し、時刻ｔ３に無照明画像を取得できる。時刻ｔ１，ｔ２，ｔ３の間隔は、例えば、１６．６７ｍｓｅｃであるが、これに限られない。

顔画像取得部２１は、こうして取得した顔画像を視線方向推定部２２に入力する。以降の処理は、撮影部１１Ｌ又は撮影部１１Ｒにより取得された顔画像のいずれかを利用して行われてもよいし、撮影部１１Ｌ及び撮影部１１Ｒにより取得された顔画像の両方を利用して行われてもよい。

視線方向推定部２２は、顔画像取得部２１から顔画像を入力されると、入力された顔画像に基づいて、運転者の視線方向を推定する（ステップＳ１０２）。視線方向推定部２２は、推定した視線方向を推定結果記憶部２５に記憶させる。また、視線方向推定部２２は、推定した視線方向を視線方向補正部２４に渡す。

視線方向補正部２４は、推定された視線方向を受け取ると、推定結果記憶部２５から基準方向推定部２６により推定された基準方向を読み出し、読み出した基準方向に基づいて、視線方向を補正する（ステップＳ１０３）。視線方向補正部２４は、補正した視線方向を、視線方向推定装置の推定結果として出力する。出力された推定結果は、外部装置や外部アプリケーションに入力されてもよいし、推定結果記憶部２５に記憶されてもよい。

一方、正面方向判定部２３は、車幅方向の加速度Ｇに基づいて、車両が直進しているか判定する（ステップＳ１０４）。正面方向判定部２３は、判定結果を、視線方向推定部２２による推定結果と共に、推定結果記憶部２５に記憶させる。なお、図４の例では、ステップＳ１０４の処理は、ステップＳ１０３の処理の後に行われているが、ステップＳ１０１〜Ｓ１０３の少なくとも１つの処理と並行して行われてもよい。

この処理タイミングにおいて、基準方向の推定が行われない場合（ステップＳ１０５のＮＯ）、この処理タイミングにおける視線方向推定装置の処理は終了する。

一方、この処理タイミングにおいて、基準方向の推定が行われる場合（ステップＳ１０５のＹＥＳ）、基準方向推定部２６は、推定結果記憶部２５から、運転者が正面方向をみている（車両が直進している）という判定結果と対応付けられた複数の推定結果を読み出す。すなわち、基準方向推定部２６は、運転者が正面方向をみている（車両が直進している）と判定された期間に推定された視線方向を読み出す。

そして、基準方向推定部２６は、読み出した視線方向を集計し、視線方向の度数分布を生成し（ステップ１０６）、度数が最大の視線方向を、基準方向として推定する（ステップＳ１０７）。基準方向推定部２６は、こうして推定した基準方向を推定結果記憶部２５に記憶させる。

以上で、この処理タイミングにおける視線方向推定装置の処理は終了する。以降、視線方向補正部２４は、推定結果記憶部２５に新たに記憶された基準方向に基づいて、視線方向推定部２２により推定された視線方向を補正する。

ここで、視線方向の補正方法について具体的に説明する。図６は、視線方向の補正方法を説明する図である。図６の例では、視線方向として推定可能な複数の方向Ｄ１〜９が、平面上の範囲として表されており、運転者からみた車両前方部分にそれぞれ破線で示されている。

図７は、図６の方向Ｄ１〜Ｄ９の中から基準方向を推定するために生成された度数分布の一例を示す図である。図７の例では、方向Ｄ５が視線方向として推定された度数が最大となっている。したがって、基準方向推定部２６により、基準方向は方向Ｄ５であると推定されている。

ここで、視線方向推定部２２に基準方向として方向Ｄ４が設定され、視線方向推定部２２により視線方向として方向Ｄ５（基準方向の１つ右側の方向）が推定されている場合について考える。この場合、視線方向補正部２４が、基準方向（方向Ｄ４）に基づいて視線方向（方向Ｄ５）を補正すると、基準方向が１つ右側の方向に補正されるため（方向Ｄ４から方向Ｄ５に補正されるため）、視線方向も１つ右側に方向に補正される。すなわち、視線方向は方向Ｄ５から方向Ｄ６に補正される。結果として、図６及び図７の例では、視線方向補正部２４により、運転者の視線方向として、方向Ｄ６が出力される。

以上説明した通り、本実施形態に係る視線方向推定装置は、運転者が正面方向をみていると判定された期間に推定された視線方向に基づいて基準方向を推定することにより、基準方向を高い正確度で推定できる。視線方向推定装置は、この基準方向に基づいて、視線方向を補正することにより、運転者の視線方向を高い正確度で推定できる。

また、本実施形態に係る視線方向推定装置は、車両が直進しているか判定することにより、運転者が正面方向をみているか判定する。車両が直進しているかは、車幅方向の加速度Ｇなどに基づいて容易に判定できるため、視線方向推定装置の処理負荷を低減できる。

＜第２実施形態＞
第２実施形態に係る視線方向推定装置ついて、図８〜図１０を参照して説明する。本実施形態では、顔画像に基づいて、運転者が正面方向をみているか判定する正面方向判定部２３について説明する。なお、本実施形態に係る視線方向推定装置のハードウェア構成及び機能構成は、正面方向判定部２３を除き、第１実施形態と同様である。

本実施形態において、正面方向判定部２３は、例えば、顔画像に基づいて運転者の顔向きＹを推定し、推定された顔向きＹに基づいて、運転者が正面方向をみているか判定する。ここでいう顔向きＹは、運転者の頭部の鉛直軸まわりの回転角度（ｙａｗ）である。正面方向判定部２３は、周知の任意の方法を利用して、運転者の顔向きＹを推定できる。顔向きＹの推定方法として、例えば、顔画像から運転者の顔の特徴点（瞳孔、鼻孔、眉など）の位置を検出し、検出した特徴点の位置関係に基づいて、顔向きＹを検出する方法が利用できる。なお、顔向きＹの推定方法は、上記の例に限られない。

正面方向判定部２３は、顔向きＹが、運転者が正面方向を見ている場合の顔向きＹ０を含む所定範囲内である場合、運転者が正面方向をみていると判定し、所定範囲外である場合、運転者が正面方向をみていないと判定すればよい。

図８は、顔向きＹの一例を示す図である。図８において、縦軸は顔向きＹを示し、横軸は時間ｔを示す。また、運転者が正面方向をみている場合の顔向きＹ０は０である。図８の例では、正面方向判定部２３は、顔向きＹがＹ１以上Ｙ２以下である場合、車両が直進していると判定し、Ｙ１未満又はＹ２より大きい場合、車両は直進していない（旋回している）と判定する。Ｙ１，Ｙ２は、車両が直進しているか判定するため設定された閾値である。図８の例では、期間Ｔ３において、Ｙ１＜Ｙであるため、車両は直進していないと判定され、期間Ｔ４において、Ｙ１≦Ｙ≦Ｙ２であるため、車両は直進している判定される。

なお、顔向きＹに基づく判定方法は、上記の例に限られない。例えば、正面方向判定部２３は、顔向きＹが所定範囲内である期間が所定時間以上継続した場合に、車両が直進していると判定してもよい。

また、正面方向判定部２３は、顔画像に基づいて、運転者の黒目の幅と白目の幅との比を算出し、算出された比に基づいて、運転者が正面方向をみているか判定してもよい。正面方向判定部２３は、周知の任意の方法を利用して、顔画像から運転者の目及び瞳孔を検出できる。正面方向判定部２３は、検出した目及び瞳孔に基づいて、黒目の幅と白目の幅との比を算出すればよい。

正面方向判定部２３は、算出された比が、運転者が正面方向を見ている場合の比を含む所定範囲内である場合、運転者が正面方向をみていると判定し、所定範囲外である場合、運転者が正面方向をみていないと判定すればよい。

また、正面方向判定部２３は、顔画像に基づいて、運転者の鼻梁及び鼻孔を検出し、検出された鼻梁及び鼻孔の位置関係に基づいて、運転者が正面方向をみているか判定してもよい。正面方向判定部２３は、周知の任意の方法を利用して、顔画像から運転者の鼻梁及び鼻孔を検出できる。

正面方向判定部２３は、鼻梁及び鼻孔の位置関係が、運転者が正面方向を見ている場合の条件を含む所定の条件を満たす場合、運転者が正面方向をみていると判定し、所定の条件を満たさない場合、運転者が正面方向をみていないと判定すればよい。

ここで、図９及び図１０は、撮影装置１が運転者の正面に配置された場合に取得される顔画像の一例を示す図である。図９は、運転者が正面方向をみている場合の顔画像の一例を示す図であり、図１０は、運転者が正面方向をみていない場合の顔画像の一例を示す図である。

運転者が正面方向をみている場合、図９に示すように、顔画像は、運転者の顔を正面から撮影した画像となる。また、顔画像における白目の幅Ｗ１と黒目の幅Ｗ２との比Ｗ１／Ｗ２は大きくなる。同様に、顔画像における白目の幅Ｗ３と黒目の幅Ｗ２との比Ｗ３／Ｗ２は大きくなる。また、顔画像における鼻孔Ｎ１，Ｎ３と鼻梁Ｎ２との位置関係は、鼻孔Ｎ１，Ｎ３の中央に鼻梁Ｎ２が位置する関係となる。

これに対して、運転者が正面方向をみていない場合、図１０に示すように、顔画像は、運転者の顔を斜めから撮影した画像となる。また、顔画像における白目の幅Ｗ１と黒目の幅Ｗ２との比Ｗ１／Ｗ２は小さくなる。同様に、顔画像における白目の幅Ｗ３と黒目の幅Ｗ２との比Ｗ３／Ｗ２は小さくなる。また、顔画像における鼻孔Ｎ１，Ｎ３と鼻梁Ｎ２との位置関係は、鼻梁Ｎ２が鼻孔Ｎ１，Ｎ３のいずれかの側に偏った関係となる。

したがって、撮影装置１が運転者の正面に配置された場合、正面方向判定部２３は、比Ｗ１／Ｗ２及び比Ｗ３／Ｗ２が大きい場合、運転者が正面方向をみていると判定すればよい。また、正面方向判定部２３は、鼻孔Ｎ１，Ｎ３の中央付近に鼻梁Ｎ２が位置する場合、運転者が正面方向をみていると判定すればよい。なお、撮影装置１が運転者の正面に配置されていない場合であっても、上記と同様に、正面方向判定部２３は、運転者の黒目の幅と白目の幅との比や、鼻孔と鼻梁との位置関係に基づいて、運転者が正面方向をみているか判定できる。

また、正面方向判定部２３は、上記の判定方法を２つ以上組み合わせて、運転者が正面方向をみているか判定してもよい。例えば、正面方向判定部２３は、顔向きＹが所定の範囲内であり、かつ、黒目の幅と白目の幅の比が所定の範囲内である場合に、運転者が正面方向をみていると判定してもよい。また、正面方向判定部２３は、顔向きＹが所定の範囲内であり、かつ、鼻孔及び鼻梁の位置関係が所定の条件を満たす場合に、運転者が正面方向をみていると判定してもよい。また、正面方向判定部２３は、顔向きＹが所定の範囲内であり、かつ、黒目の幅と白目の幅の比が所定の範囲内であり、鼻孔及び鼻梁の位置関係が所定の条件を満たす場合に、運転者が正面方向をみていると判定してもよい。なお、顔画像に基づく判定方法は、上記の例に限られない。

以上説明した通り、本実施形態に係る視線方向推定装置は、顔画像に基づいて、運転者が正面方向をみているか判定できる。したがって、車両からの情報を利用することなく、正面方向を高い正確度で推定できる。結果として、運転者の視線方向を高い正確度で推定できる。

なお、上記実施形態に挙げた構成等にその他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更可能であり、その応用形態に応じて適切に定めることができる。

１：撮影装置
２：制御装置
１１Ｌ，１１Ｒ：撮影部
１２Ｌ，１２Ｒ：光源
２１：顔画像取得部
２２： 視線方向推定部
２３：正面方向判定部
２４：視線方向補正部
２５：推定結果記憶部
２６：基準方向推定部

Claims (10)

1. 車両を運転中の運転者の顔画像に基づいて、当該運転者の視線方向を推定する視線方向推定部と、
   前記運転者が正面方向をみているか判定する正面方向判定部と、
   前記運転者が前記正面方向をみていると判定された期間に推定された前記視線方向に基づいて、基準方向を推定する基準方向推定部と、
   前記基準方向推定部により推定された前記基準方向に基づいて、前記視線方向推定部により推定された前記視線方向を補正する視線方向補正部と、
   を備える視線方向推定装置。
2. 前記基準方向推定部は、前記運転者が前記正面方向をみていると判定された期間に推定された前記視線方向を集計し、度数が最大の前記視線方向を前記基準方向として推定する
   請求項１に記載の視線方向推定装置。
3. 前記視線方向補正部は、前記視線方向推定部により推定された前記視線方向に、前記基準方向推定部により推定された前記基準方向を加算する
   請求項１又は請求項２に記載の視線方向推定装置。
4. 前記正面方向判定部は、前記車両が直進していると判定した場合、前記運転者が前記正面方向をみていると判定する
   請求項１乃至請求項３のいずれか１項に記載の視線方向推定装置。
5. 前記正面方向判定部は、前記車両の車幅方向の加速度に基づいて、前記車両が直進しているか判定する
   請求項４に記載の視線方向推定装置。
6. 前記正面方向判定部は、ステアリングホイールの回転角度、方向指示器の点灯状態、及びウィンカーレバーの位置の少なくとも１つに基づいて、前記車両が直進しているか判定する
   請求項４に記載の視線方向推定装置。
7. 前記正面方向判定部は、前記顔画像に基づいて、前記運転者が前記正面方向をみているか判定する
   請求項１乃至請求項３のいずれか１項に記載の視線方向推定装置。
8. 前記正面方向判定部は、顔向き、白目の幅と黒目の幅との比、並びに鼻梁及び鼻孔の位置関係の少なくとも１つに基づいて、前記運転者が前記正面方向をみているか判定する
   請求項７に記載の視線方向推定装置。
9. 前記運転者の前記顔画像を取得する顔画像取得部を更に備える
   請求項１乃至請求項８のいずれか１項に記載の視線方向推定装置。
10. 車両を運転中の運転者の顔画像に基づいて、当該運転者の視線方向を推定する視線方向推定工程と、
    前記運転者が正面方向をみているか判定する正面方向判定工程と、
    前記運転者が前記正面方向をみていると判定された期間に推定された前記視線方向に基づいて、基準方向を推定する基準方向推定工程と、
    前記基準方向推定工程により推定された前記基準方向に基づいて、前記視線方向推定工程により推定された前記視線方向を補正する視線方向補正工程と、
    を有する視線方向推定方法。

Images