JP2015102498A

JP2015102498A - 視認領域推定装置

Info

Publication number: JP2015102498A
Application number: JP2013245088A
Authority: JP
Inventors: 大見　拓寛; Takuhiro Omi; 拓寛大見
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2013-11-27
Filing date: 2013-11-27
Publication date: 2015-06-04
Anticipated expiration: 2033-11-27
Also published as: DE112014005389T5; CN105765341A; CN105765341B; US9892333B2; US20170169302A1; JP6090129B2; WO2015079657A1

Abstract

【課題】監視対象者の視認領域を推定する視認領域推定装置において、撮像環境に拘わらず視認領域をより良好に推定できるようにする。【解決手段】安全確認警報装置１においては、時系列に従って監視対象者の顔が撮像された複数の撮像画像を取得し、取得した複数の撮像画像に基づいて、監視対象者の顔の向き、および監視対象者の顔の向きの変化が停止または略停止している時間を表す滞留時間を検出する（Ｓ１０）。そして、監視対象者の顔の向き、および滞留時間を含むパラメータに基づいて、視認領域を推定する（Ｓ１５）。このような安全確認警報装置１によれば、監視対象者の眼球の位置よりもより認識が容易な顔の向きとその滞留時間とから視認領域を推定するので、眼球の位置が認識できない場合であっても視認領域をより安定に推定することができる。【選択図】図２

Description

本発明は、監視対象者の視認領域を推定する視線推定装置に関する。

上記の視認領域推定装置として、カメラを用いて監視対象者の眼球の位置を検出することで監視対象者が視認する視認領域を推定するものが知られている（例えば、特許文献１参照）。

特許第３７８５６６９号公報

しかしながら、上記視認領域推定装置では、太陽光やイルミネーション等の光源やメガネ等の監視対象者の着用物等の影響を受ける撮像環境では、眼球の位置が検出できないことがあり、この場合、視認領域の推定が困難になるという問題点があった。

そこで、このような問題点を鑑み、監視対象者の視認領域を推定する視認領域推定装置において、撮像環境に拘わらず視認領域をより良好に推定できるようにすることを本発明の目的とする。

本発明の視認領域推定装置において、撮像画像取得手段は時系列に従って監視対象者の顔が撮像された複数の撮像画像を取得し、顔方向検出手段は取得した複数の撮像画像に基づいて、監視対象者の顔の向き、および監視対象者の顔の向きの変化度合、また、変化が停止または略停止している時間を表す滞留時間を検出する。そして、方向推定手段は監視対象者の顔の向き、および滞留時間を含むパラメータに基づいて、視認領域を推定する。

このような視認領域推定装置によれば、監視対象者の眼球の位置よりもより認識が容易な顔の向きとその滞留時間とから視認領域を推定するので、眼球の位置が認識できない場合であっても視認領域をより安定に推定することができる。

なお、上記目的を達成するためには、コンピュータを、視認領域推定装置を構成する各手段として実現するための視認領域推定プログラムとしてもよい。また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。

本発明が適用された安全確認警報装置１の概略構成を示すブロック図である。制御部１０（ＣＰＵ１１）が実行する警報処理を示すフローチャートである。警報処理のうちの画像認識処理を示すフローチャートである。顔部品や顔方向を認識する際の具体例を示す説明図である。警報処理のうちの視認領域推定処理を示すフローチャートである。視認領域の概念を示す説明図である。

以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
本発明が適用された安全確認警報装置１は、例えば乗用車等の車両において搭載されており、車両のドライバ（運転者）がミラーや交差点の左右等、安全確認に必要な領域を目視したかどうかを監視するものである。この安全確認警報装置１では、ドライバが目視を行っていないことを認識すると注意喚起を行い、ドライバに安全確認を行うよう促す機能を備えている。

詳細には安全確認警報装置１は、図１に示すように、制御部１０、カメラ２１、照明部２２、車速センサ２５、ウインカ２６、警報部３１、シート振動部３２、空調変更部３３を備えている。

カメラ２１は、車両の内部においてドライバの前方に配置されており、ドライバの顔が撮像範囲内になるよう設定されている。
照明部２２は、カメラ２１のための補助光源として機能し、ドライバの顔に向けて例えば赤外光を照射する。赤外光の照射タイミングについては、常時点灯していてもよいし、カメラ２１による撮像周期と同期するよう、発光タイミングが制御部１０によって制御されるよう構成されていてもよい。

車速センサ２５は、安全確認警報装置１が搭載された車両の速度を検出する周知の車速センサとして構成されている。車速センサ２５が検出する車速は、制御部１０にて認識されるよう設定されている。

ウインカ２６は、車両の左右の複数個所に配置された周知の方向指示器として構成されている。ウインカ２６の作動状態は制御部１０にて認識されるよう設定されている。
警報部３１は、音や光でドライバに注意を促すための構成であり、制御部１０からの指令を受けて作動する。

シート振動部３２は、ドライバのシートに埋め込まれたバイブレータとして構成されており、制御部１０からの指令を受けて作動する。
空調変更部３３は、制御部１０からの指令を受けて、車両における空調装置の風量や風向、或いは設定温度を変更する機能を有する。

制御部１０は、ＣＰＵ１１、およびＲＯＭ、ＲＡＭ等のメモリ１２を備えた周知のコンピュータとして構成されている。ＣＰＵ１１は、メモリ１２に記録されたプログラムに従って後述する各種処理を実施する。

［本実施形態の処理］
このように構成された安全確認警報装置１において、制御部１０は、図２に示す警報処理を実施する。警報処理では、ドライバが視認した視認領域（視線方向を基準とするその周囲の所定角度範囲）を推定し、安全確認をする必要がある際に安全確認に必要な領域をドライバが視認したかどうかを判定し、この領域をドライバが視認していない場合に注意喚起を行う。なお、警報処理は、例えば安全確認警報装置１の電源が投入されると開始される処理である。

詳細には、図２に示すように、まず、画像認識処理を実施する（Ｓ１０）。画像認識処理は、カメラ２１による撮像画像からドライバの状態を認識する処理である。この画像認識処理では、図３に示すように、まず、カメラ２１からの撮像画像を取得する（Ｓ１１０）。

続いて、撮像画像中から顔領域を抽出し（Ｓ１１５）、さらに顔部品を抽出する（Ｓ１２０）。これらの処理は、図４（ａ）に示すように、撮像画像を画像処理することで顔の形状らしい領域を認識し、この領域を含む矩形の領域を顔領域として認識する。そして、この顔領域内においてエッジ（隣接する画素の輝度差が基準値以上の部位）を検出し、形状を認識することで顔部品を特定する。なお、顔部品を特定する際の手法は周知の方法を採用することができ、この方法には限定されない。

続いて、頭部姿勢を推定する（Ｓ１２５）。この処理では、顔部品の位置関係に基づいて図４（ｂ）に示すように顔の方向を推定する。つまり、自車両の進行方向や自車両正面方向等の基準方向に対する顔方向の角度を求める。

また、頭部姿勢を推定する際には、過去において推定された頭部姿勢の情報を利用して、顔方向が変化する際の角速度、顔方向の変化が停止しているか停止とみなせる角速度である（略停止している）時間を表す滞留時間、についても演算する。

次に、開眼度を推定する（Ｓ１３０）。この処理では、顔部品のうちの目の部分に着目し、例えば瞼のカーブ（眼球の上側のエッジ）の曲率半径を求める。なお、この曲率半径が大きくなるほど開眼度が低いと判定される。

続いて、開眼度が閾値（眼球（瞳の位置）が認識できる程度の開眼度であり、例えば２５％程度）以上である場合に顔に対する眼球の方向を推定する（Ｓ１３５）。視線の方向は、顔方向と、目尻目頭位置に対する眼球位置とによって推定可能である。

続いて、顔方向の角度、顔方向の変化の角速度、滞留時間、および顔に対する眼球の方向についての推定結果をメモリに記録させる（Ｓ１４０）。ただし、眼球の方向が抽出できなかった場合または認識結果の尤度（確からしさ）が低い場合には、その旨をメモリ１２に記録させる。なお、眼球の方向が抽出できなかった旨等についてはフラグによって管理してもよい。

このような処理が終了すると画像認識処理を終了する。画像認識処理が終了すると、図２に戻り視認領域推定処理を実施する（Ｓ１５）。視認領域推定処理は、ドライバによる視認領域を推定する処理である。

視認領域推定処理では、図５に示すように、まず、ドライバの顔方向が概ね正面であるか否かを判定する（Ｓ２１０）。顔方向が概ね正面であるか否かについては、顔方向が基準方向から閾値（例えば１０度程度）以内であるかによって判定する。

顔方向が概ね正面であれば（Ｓ２１０：ＹＥＳ）、後述するＳ２８０の処理に移行する。また、顔方向が概ね正面でなければ（Ｓ２１０：ＮＯ）、前回の処理において顔方向が停留していたか、或いは今回の処理において顔方向が停留したか、の何れかの条件を満たすか否かを判定する（Ｓ２１５）。

上記両方の条件を満たしていなければ（Ｓ２１５：ＮＯ）、顔方向の変化が停止している時間を示す滞留時間のカウントを終了し、かつリセットする（Ｓ２８０）。顔方向に対応する位置を注視位置とし、その周囲（例えば３度以内の範囲内）を視認領域とする（Ｓ２８０）。この処理が終了すると、後述するＳ３１０の処理に移行する。

また、Ｓ２１５の処理において、上記何れかの条件を満たしていれば（Ｓ２１５：ＹＥＳ）、滞留時間のカウントを開始または継続する（Ｓ２２０）。そして、顔方向が滞留後に正面の方向（基準方向）に向かって動き出したか否かを判定する（Ｓ２２５）。

顔方向が正面の方向に向かって動き出していなければ（Ｓ２２５：ＮＯ）、前述のＳ２８０の処理に移行する。また、顔方向が正面の方向に向かって動き出していれば（Ｓ２２５：ＹＥＳ）、顔方向の角速度および滞留時間を取得するとともに（Ｓ２３０）、車速を取得し（Ｓ２３５）、顔向きの補正値を演算する（Ｓ２６０）。

ここで、顔向きの補正値は、例えば下記関数によって求めることができる。

また、各項には、以下のような傾向を持たせる。

顔向き角速度レベル：速度が大きいほど補正値は大きい。
顔向き停留時間：時間が短いほど補正値は大きい。
顔向き角度ゾーン：正面から外れるほど補正値は大きい。

車速：車速がゼロの時は小さく、車速が速くなるほど補正値は大きい。
トリップ時間：時間が経過すると補正値は大きくなる。
疲労度：疲労度が増すと補正値は大きくなる。

なお、疲労度については、開眼度や瞬き回数（周期）等から求めることができる。また、上記の関数において、ｋ１〜ｋ６の係数は実験結果で求めた値により重み付けされる値であり、原則としてプラスの値に設定される。ただし、状況に応じてマイナスの値としてもよい。

ここで、補正値は、図６に示すように、顔方向によって特定される方向から扇形に広がる方向を表す。また、この補正値が大きくなると、扇形の領域も広くなる。
続いて、視認領域を推定する（Ｓ２６５）。この処理では、図６に示すように、顔方向によって特定される方向に、顔方向の補正値を加算した新たな方向に対応する位置（扇形の領域）を注視位置とする。そして、この位置を含む領域（例えば、この位置の周囲３度以内の範囲内）を視認領域として推定する。

そして、メモリ１２を参照することによって眼球方向が認識できていたか否かを判定する（Ｓ３１０）。眼球方向が認識できていなければ（Ｓ３１０：ＮＯ）、視認領域推定処理が終了する。

また、眼球方向が認識できていれば（Ｓ３１０：ＹＥＳ）、眼球方向を含む領域を視認領域に設定する（Ｓ３１５）。そして、視認領域を補正する際の補正係数のキャリブレーションを行う（Ｓ３２０）。

この処理では、眼球方向に対応する領域（眼球方向の周囲の領域）を正しい視認領域であるものとして、顔方向によって得られる視認領域が眼球方向によって得られる視認領域と一致するよう補正値を求める際の演算手法を改める。例えば、補正値を求める際に利用する係数（ｋ１〜ｋ６）を再設定する。再設定に際しては、過去値との重みづけ平均化したりヒステリシスを設けるなど俊敏に補正値が変動しないようにすることが好ましい。

このような視認領域推定処理が終了すると、図２に戻り、警報を行うか否かを判定する（Ｓ２０）。ここでは、例えば、ウインカ２６の作動中に、左右何れかのミラーが存在する領域と視認領域とが一致するか否かを監視し、一致することがなければ警報を行うと判定する。また、ウインカ２６の作動開始後、１度でも一致することがあれば警報を行わないと判定する。

また、例えば、交差点に進入することの情報を周知のナビゲーション装置等から取得し、この情報を受けた後、ドライバが左右を確認したか否かによって警報を行ってもよい。例えば、交差点に進入することの情報を受けた後、所定時間内に左右の窓がある領域と視認領域とが一致するか否かを判定し、一致することがなければ警報を行うと判定し、交差点に進入することの情報を受けた後、１度でも左右の窓がある領域と視認領域とが一致することがあれば警報を行わないと判定するようにしてもよい。

警報を行わないと判定されると（Ｓ２０：ＮＯ）、後述するＳ３０の処理に移行する。また、警報を行うと判定されると（Ｓ２０：ＹＥＳ）、警報部３１、シート振動部３２、空調変更部３３等のハードウェアのうちの何れかを用いた注意喚起を実施する（Ｓ２５）。

この処理では警報の継続時間や回数等に応じて警報の種別や警報を行うハードウェアの組み合わせを変更するとよい。
続いて、次のフレームにおける撮像条件（投光器とカメラゲインやシャッタ時間等の制御値）を演算して、次回の認識に好ましい撮像画像が得られるよう設定し（Ｓ３０）、Ｓ１０の処理に戻る。具体的には、撮像対象となる顔面の皮膚部の画素値（明るさ）が規定の値になるように、過去画像をフィードバックして露光条件を変更する。

［本実施形態による効果］
上記安全確認警報装置１において制御部１０は、時系列に従って監視対象者の顔が撮像された複数の撮像画像を取得し、取得した複数の撮像画像に基づいて、監視対象者の顔の向き、および監視対象者の顔の向きの変化が停止または略停止している時間を表す滞留時間を検出する。そして、監視対象者の顔の向き、および滞留時間を含むパラメータに基づいて、視認領域を推定する。

このような安全確認警報装置１によれば、監視対象者の眼球の位置よりもより認識が容易な顔の向きとその滞留時間とから視認領域を推定するので、外乱光などの影響で眼球の位置が認識できない場合であっても視認領域をより良好に推定することができる。

また、上記安全確認警報装置１において制御部１０は、監視対象者の顔の向きに応じた方向を表す暫定方向を設定し、滞留時間を含むパラメータに基づいて、暫定方向を補正するための補正値を設定する。また、この補正値が大きくなるにつれて監視対象者の顔の向きが予め設定された基準方向からより離れる方向になるよう暫定方向を補正し、この補正後の暫定方向に応じた領域を視認領域とする。

このような安全確認警報装置１によれば、顔の方向に応じて暫定方向を設定し、この方向を補正することで視認領域を求めるので、補正値を変更するだけで視認領域の位置の微調整を行うことができる。よって、視認領域を推定する処理を簡素化することができる。

さらに、上記安全確認警報装置１において制御部１０は、滞留時間が短くなるにつれて補正値をより大きな値に設定する
すなわち、一般的な人は、滞留時間が短い場合、顔の方向を停止させた後に視線だけを移動させる傾向があることを利用して、この傾向を視認領域の推定に応用している。

また、上記安全確認警報装置１において制御部１０は、監視対象者が顔の向きを停止または略停止したときの方向が基準方向から離れるにつれて、補正値をより大きな値に設定する。

すなわち、一般的な人は、顔の向きの移動量が大きくなるにつれて視線の移動量も大きくなる傾向があるため、この傾向を視認領域の推定に応用している。
さらに、上記安全確認警報装置１において制御部１０は、監視対象者の顔の向きの回転角速度を取得し、監視対象者が顔の向きを停止または略停止させるまでにおける回転角速度が大きくなるにつれて、補正値をより大きな値に設定する。

すなわち、一般的な人は、顔の向きの回転角速度が大きくなるにつれて視線の移動量も大きくなる傾向があるため、この傾向を視認領域の推定に応用している。
加えて、上記安全確認警報装置１において制御部１０は、車両の走行速度を取得し、監視対象者が顔の向きを停止または略停止させたときの走行速度が大きくなるにつれて、補正値をより大きな値に設定する。

すなわち、運転者は走行速度が大きくなるにつれてなるべく車両の進行方向から顔の向きを変更することなく視線方向だけを移動して安全確認を行う傾向があることを利用している。

これらに述べたような安全確認警報装置１によれば、人の動作の傾向に基づいて視認領域を推定するので、精度よく視認領域を推定することができる。
さらに、上記安全確認警報装置１において制御部１０は、撮像画像に基づいて、監視対象者の眼球の位置を検出し、眼球の位置に応じて視認領域を推定し、この視認領域に従って、顔向きと滞留時間とによって得られた視認領域を推定する際に利用する設定値を補正する。また、運転者が頻繁に視認する場所、すなわち、ミラー、メータ、ナビ・オーディオなど既知の車両情報をもとに、推定した視認領域を補正する。

ここで、設定値とは、前述の補正値（補正値を求めるための係数を含む）や、前述のパラメータの補正量等を意味する。このような安全確認警報装置１によれば、眼球の位置が認識できたときに顔向きおよび滞留時間と視認領域の関係についてのキャリブレーションを行うことができる。よって、眼球の位置が認識できないときの視認領域の推定精度を向上させることができる。

上記安全確認警報装置１において制御部１０は、眼球位置の推定ができた場合、眼球の位置に応じて推定された視認領域を最終的な視認領域として採用し、眼球位置の推定ができなかった場合、顔向きと滞留時間とによって推定された視認領域を最終的な視認領域として採用する。

このような安全確認警報装置１によれば、状況に応じてより精度が高いと推定される手法で視認領域を推定することができる。
［その他の実施形態］
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。

例えば、上記実施形態においては、顔方向の変化の基準方向から離れる方向に変化する際の角速度を監視したが、基準方向に戻る際の角速度を監視してもよい。この際において、顔方向の補正値を求める場合には、基準方向に戻る際の角速度を考慮してもよい。

また、顔方向の補正値を求める際に、基準方向に戻る際の角速度を考慮する際には、基準方向から離れる方向に変化するときと基準方向に戻るときとで別の関数（別の項）を利用して演算してもよい。

［実施形態の構成と本発明の手段との対応関係］
上記実施形態における制御部１０は本発明でいう視認領域推定装置に相当する。また、上記実施形態において制御部１０が実施する処理のうち、Ｓ１５の処理は本発明でいう方向推定手段に相当する。

さらに、上記実施形態のＳ１１０の処理は本発明でいう撮像画像取得手段に相当し、上記実施形態のＳ１２５の処理は本発明でいう顔方向検出手段、角速度取得手段に相当する。また、上記実施形態のＳ１２５、Ｓ１３５の処理は本発明でいう眼球推定手段に相当し、上記実施形態のＳ２３０の処理は本発明でいう暫定方向設定手段に相当する。

さらに、上記実施形態のＳ２３５の処理は本発明でいう走行速度取得手段に相当し、上記実施形態のＳ２６０の処理は本発明でいう補正値設定手段に相当する。また、上記実施形態のＳ２６５の処理は本発明でいう領域設定手段に相当し、上記実施形態のＳ３１０、Ｓ３１５の処理は本発明でいう採用選択手段に相当する。

さらに、上記実施形態のＳ３２０の処理は本発明でいう推定補正手段に相当する。

１…安全確認警報装置、１０…制御部、１１…ＣＰＵ、１２…メモリ、２１…カメラ、２２…照明部、２５…車速センサ、２６…ウインカ、３１…警報部、３２…シート振動部、３３…空調変更部。

Claims

監視対象者が視認する領域を表す視認領域を推定する視認領域推定装置（１０）であって、
時系列に従って監視対象者の顔が撮像された複数の撮像画像を取得する撮像画像取得手段（Ｓ１１０）と、
取得した複数の撮像画像に基づいて、前記監視対象者の顔の向き、および前記監視対象者の顔の向きの変化が停止または略停止している時間を表す滞留時間を検出する顔方向検出手段（Ｓ１２５）と、
前記監視対象者の顔の向き、および前記滞留時間を含むパラメータに基づいて、前記視認領域を推定する方向推定手段（Ｓ１５）と、
を備えたことを特徴とする視認領域推定装置。
請求項１に記載の視認領域推定装置において、
前記方向推定手段は、
前記監視対象者の顔の向きに応じた方向を表す暫定方向を設定する暫定方向設定手段（Ｓ２３０）と、
前記滞留時間を含むパラメータに基づいて、前記暫定方向を補正するための補正値を設定する補正値設定手段（Ｓ２６０）と、
前記補正値が大きくなるにつれて前記監視対象者の顔の向きが予め設定された基準方向からより離れる方向になるよう前記暫定方向を補正し、該補正後の暫定方向に応じた領域を前記視認領域とする領域設定手段（Ｓ２６５）と、
を特徴とする視認領域推定装置。
請求項２に記載の視認領域推定装置において、
前記補正値設定手段は、前記滞留時間が短くなるにつれて前記補正値をより大きな値に設定すること
を特徴とする視認領域推定装置。
請求項２または請求項３に記載の視認領域推定装置において、
前記補正値設定手段は、前記監視対象者が顔の向きを停止または略停止したときの方向が前記基準方向から離れるにつれて、前記補正値をより大きな値に設定すること
を特徴とする視認領域推定装置。
請求項２〜請求項４の何れか１項に記載の視認領域推定装置において、
前記監視対象者の顔の向きの回転角速度を取得する角速度取得手段（Ｓ１２５）、を備え、
前記補正値設定手段は、前記監視対象者が顔の向きを停止または略停止させるまでにおける前記回転角速度が大きくなるにつれて、前記補正値をより大きな値に設定すること
を特徴とする視認領域推定装置。
請求項２〜請求項５の何れか１項に記載の視認領域推定装置において、
当該視認領域推定装置は、車両に搭載されており、該車両の運転者を前記監視対象者とし、
前記車両の走行速度を取得する走行速度取得手段（Ｓ２３５）、を備え、
前記補正値設定手段は、前記監視対象者が顔の向きを停止または略停止させたときの走行速度が大きくなるにつれて、前記補正値をより大きな値に設定すること
を特徴とする視認領域推定装置。
請求項１〜請求項６の何れか１項に記載の視認領域推定装置において、
前記撮像画像に基づいて、前記監視対象者の眼球の位置を検出し、前記眼球の位置に応じて視認領域を推定する眼球推定手段（Ｓ１２５、Ｓ１３５）と、
前記眼球推定手段による視認領域に従って、前記方向推定手段による視認領域を推定する際に利用する設定値を補正する推定補正手段（Ｓ３２０）と、
を備えたことを特徴とする視認領域推定装置。
請求項７に記載の視認領域推定装置において、
前記眼球推定手段により眼球位置の推定ができた場合、前記眼球の位置に応じて推定された視認領域を最終的な視認領域として採用し、前記眼球推定手段により眼球位置の推定ができなかった場合、前記方向推定手段により推定された視認領域を最終的な視認領域として採用する採用選択手段（Ｓ３１０、Ｓ３１５）、を備えたこと
を特徴とする視認領域推定装置。