JP2020087166A - 視線検出処理装置、視線検出処理方法及びプログラム視線検出処理装置、視線検出処理方法及びプログラム - Google Patents

Abstract

【課題】路面状態に起因する視線の誤検出を抑制できる視線検出処理装置、視線検出処理方法及びプログラムを提供する。【解決手段】視線検出処理装置１は、路面状態の良し悪しを判定する路面状態判定部２と、ドライバの視線を検出する視線検出部３と、路面状態判定部２が判定した結果に基づき、視線検出部３による視線検出結果Ｒを出力するか否かを判断する出力判断部４と、を備える。【選択図】図１

Description

本発明は、視線検出処理装置、視線検出処理方法及びプログラムに関する。

ドライバの顔を撮影した動画から、画像処理により、そのドライバの視線を推定して検出する装置が知られている。また、ドライバの視線位置の検出精度を高く保つための技術が提案されている（例えば、特許文献１参照。）。特許文献１は、車両周辺の明るさの変化量が所定量を超えた場合に、視線検出手段によって検出された視線位置を校正する技術を開示する。

特開２０１５−１１８５７９号公報

ドライバの視線を検出する装置は、安定した走行路面、つまり、凹凸が抑えられ比較的滑らかな状態にある走行路面、を走行する車両内で利用されることが望ましい。走行路面が安定していれば、視線検出精度は高い。しかし、凹凸や亀裂等がある路面、土面、または砂利道等の状態の悪い走行路面では、その走行路面を走行する車体の揺れが大きくなり易い。このとき、車体内のドライバと装置も揺れるが、ドライバと装置との揺れの程度の違いから、装置による視線検出の誤りが増加し、視線検出の精度が低下する。よって、ドライバが特段問題のある運転をしていない状態であっても、誤った視線検出の結果に基づいて運転に問題があると判断される可能性がある。

本発明は、上述した事情に鑑みてなされたものであり、その目的は、路面状態に起因する視線の誤検出を抑制できる視線検出処理装置、視線検出処理方法及びプログラムを提供することにある。

前述した目的を達成するために、本発明に係る視線検出処理装置、視線検出処理方法及びプログラム、及びプログラムは、下記（１）〜（５）を特徴としている。
（１）
路面状態の良し悪しを判定する路面状態判定部と、
ドライバの視線を検出する視線検出部と、
前記路面状態判定部が判定した結果に基づき、前記視線検出部による検出結果を出力するか否かを判断する出力判断部と、を備える
ことを特徴とする視線検出処理装置。
（２）
前記路面状態判定部は、前記ドライバの顔を撮影した画像から、１フレーム当たりの瞳孔位置の移動量を算出することにより、前記路面状態の良し悪しを判定する
ことを特徴とする上記（１）に記載の視線検出処理装置。
（３）
前記路面状態判定部は、加速度センサ、ＧＰＳセンサ及び外部撮影カメラの少なくともいずれかの出力から前記路面状態の良し悪しを判定する
ことを特徴とする上記（１）又は（２）に記載の視線検出処理装置。
（４）
コンピュータが、
路面状態の良し悪しを判定し、
ドライバの視線を検出し、
判定した前記路面状態の良し悪しから、前記視線の検出結果を出力するか否かを判断する
ことを特徴とする視線検出処理方法。
（５）
コンピュータに、上記（４）に記載の視線検出処理方法の各手順を実行させるためのプログラム。

上記（１）の構成の視線検出処理装置、上記（４）の構成の視線検出処理方法、及び上記（５）の構成のプログラムによれば、悪路と判断された場合には視線検出結果を出力しないことにより、路面状態に起因する視線の誤検出を抑制できる。

上記（２）の構成の視線検出処理装置によれば、ドライバの揺れ具合を直接的に検出できる。

上記（３）の構成の視線検出処理装置によれば、車両にかかる衝撃、地図データ上の車両の現在位置、及び路面状態の画像の少なくともいずれかから、悪路と判断された場合に、視線検出結果を出力せず、視線の誤検出を抑制できる。

本発明によれば、走行路面の状態によっては視線検出結果を出力しないことにより、路面状態に起因する視線の誤検出を抑制できる。

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。

図１は、本発明の一実施形態における視線検出処理装置１の構成を示すブロック図である。 図２は、視線検出処理装置によるドライバ視線検出処理の流れを示す図である。 図３は、車両が悪路を走行した場合における被験者３名の瞳孔検出率を示すグラフである。 図４は、瞳孔位置の移動量が１フレーム当たり６Ｐｉｘｅｌ以上の場合の画像の例を示す図である。 図５は、瞳孔位置の移動量が０Ｐｉｘｅｌの場合の画像の例を示す図である。

本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。本実施形態の視線検出処理装置は、車両に搭載され、車両のドライバの視線を検出し、視線検出結果を出力する。本実施形態の視線検出処理装置において、視線検出処理装置を構成するコンピュータ（例えばマイクロコンピュータ）がプログラムを実行することにより、視線検出処理方法が実現される。出力された視線検出結果は、例えば、ドライバの視線を利用した自動運転や運転支援を行う車両制御システムに入力され、居眠り検知やわき見検知等に利用される。

図１は、本発明の一実施形態における視線検出処理装置１の構成を示すブロック図である。図１に示す視線検出処理装置１は、路面状態の良し悪しを判定する路面状態判定部２と、ドライバの視線を検出する視線検出部３と、路面状態判定部２が判定した結果に基づき、視線検出部３による視線検出結果を出力するか否かを判断する出力判断部４と、を備える。また、視線検出処理装置１が搭載される車両には、車室内に設けられたドライバモニタ５、並びに、Ｇセンサ６、ＧＰＳセンサ７及び外部撮影カメラ８の各種センサが搭載される。ドライバモニタ５は、ドライバの顔を撮影して映像（画像）を出力する。Ｇセンサ（加速度センサ）６は、加速度（Ｇ値）を検知して出力する。ＧＰＳセンサ７は、ＧＰＳ（Global Positioning System）衛星から送信される電波をＧＰＳアンテナを介して受信し、現在位置の情報（ＧＰＳ位置情報）を計算して取得する。外部撮影カメラ８は、車両の進行方向前方の道路等の車両外部の情景を撮影する。ドライバモニタ５から出力された画像は、路面状態判定部２及び視線検出部３に入力される。Ｇセンサ６、ＧＰＳセンサ７及び外部撮影カメラ８からの出力は、路面状態判定部２に入力される。

路面状態判定部２は、ドライバモニタ５から出力された、ドライバの顔を含むドライバ映像（画像）について、連続するフレームから１フレームを取出し、１フレーム当たりの瞳孔位置の移動量を算出する。また、路面状態判定部２は、算出した移動量が後述する閾値を超えない場合には路面状態が良いと判定し、閾値を超える場合には路面状態が悪いと判定し、判定結果を出力判断部４へ出力する。瞳孔位置の移動量を算出することにより、ドライバの揺れ具合を直接的に検出できる。また、路面状態判定部２は、Ｇセンサ６から出力されたＧ値、ＧＰＳセンサ７から出力されたＧＰＳ位置情報、及び外部撮影カメラ８から出力された車両外部の画像のいずれかから、路面状態の良し悪しを判定して判定結果を出力判断部４へ出力する。

視線検出部３は、ドライバモニタ５から出力されたドライバ映像から、公知の視線検出技術を用いて、ドライバの視線を検出する。視線検出部３は、視線検出結果を出力判断部４へ出力する。

出力判断部４は、路面状態判定部２から入力された判定結果が、良しの場合には、視線検出部３から入力された視線検出結果Ｒを出力する。一方、出力判断部４は、路面状態判定部２から入力された判定結果が、悪しの場合には視線検出結果Ｒを出力しない。

図２は、視線検出処理装置１によるドライバ視線検出処理の流れを示す図である。視線検出処理装置１において、走行路面状態の良し悪しを判定するために、ドライバモニタ５から出力されるドライバの映像または各種センサ（Ｇセンサ６、ＧＰＳセンサ７、及び外部撮影カメラ８）のいずれを用いるかが選択される（ステップＳ１）。各種センサを利用しない場合（ステップＳ１でＹＥＳ）はステップＳ２の処理に移行し、各種センサを利用する場合（ステップＳ１でＮＯ）はステップＳ４の処理に移行する。ステップＳ２において、ドライバモニタ５からドライバ映像が路面状態判定部２及び視線検出部３に入力される。そして、路面状態判定部２が、入力されたドライバ映像から、１フレーム当たりのドライバの瞳孔の位置の移動量を算出して、路面状態の判定結果を出力判断部４へ出力する（ステップＳ３）。また、視線検出部３は、入力されたドライバ映像からドライバの視線を検出し、視線検出結果を出力判断部４へ出力する（ステップＳ７）。次に、出力判断部４は、路面状態判定部２から入力された判定結果が良しか否かを判断し（ステップＳ８）、判定結果が良しの場合（ステップＳ８でＹＥＳ）、出力判断部４は視線検出結果Ｒを出力する（ステップＳ９）。そして、視線検出処理装置１はドライバ視線検出処理を終了するか否かを判断し（ステップＳ１１）、ＹＥＳの場合は処理を終了し、ＮＯの場合はステップＳ１に戻って処理を継続する。一方、判定結果が良しでない場合（ステップＳ８でＮＯ）、出力判断部４は視線検出結果Ｒを出力せず（ステップＳ１０）、ステップＳ１１の処理に移行する。ドライバ映像から、１フレーム当たりの瞳孔位置の移動量を算出することにより、前記路面状態の良し悪しを判定する場合の閾値は、車両が悪路を走行した場合における瞳孔検出率、すなわち、瞳孔の位置が正しく検出された確率、を基に定めた。

図３は、車両が悪路を走行した場合における被験者３名の瞳孔検出率を示すグラフである。図３（ａ）〜（ｃ）の各グラフは、悪路走行時における各ドライバの顔を下記の撮影環境で撮影し、瞳孔検出率を算出した結果を示す。
＜撮影環境＞
・センササイズ：ＶＧＡ（６４０×４８０）
・フレームレート：３０ｆｐｓ
・焦点距離：６．０ｍｍ（水平画角約５０°）
図３（ａ）〜（ｃ）の各グラフにおいて、横軸は瞳孔位置の移動距離（Ｐｉｘｅｌ）を示し、左側の縦軸は瞳孔検出率（正解率）（％）、すなわち、各移動距離における、瞳孔位置が正しく検出できた確率を示し、右側の縦軸は回数、すなわち、各移動距離におけるフレーム枚数を示す。また、図３（ａ）〜（ｃ）の各グラフにおいて、実線は正解率を表し、破線は回数を表し、点線は各グラフの上部に示された多項式に正解率をあてはめた結果を表す。図３（ａ）〜（ｃ）に示されるように、瞳孔位置の移動量が１フレーム当たり６Ｐｉｘｅｌ以上の場合、瞳孔検出率が低下する。図４は、瞳孔位置の移動量が１フレーム当たり６Ｐｉｘｅｌ以上の場合の画像の例を示す。図４において、枠Ｆ内において、瞳孔位置Ｐの移動量が表示される。図５は、瞳孔位置の移動量が０Ｐｉｘｅｌの場合の画像の例を示す。図５において、瞳孔位置Ｐは移動していない。図３に示した通り、瞳孔位置の移動量が１フレーム当たり６Ｐｉｘｅｌ以上の場合には、瞳孔検出率が低下するため、１フレーム当たり６Ｐｉｘｅｌを閾値と定めた。また図３に示す例において、瞳孔位置の１フレーム当たりの移動量６Ｐｉｘｅｌは、移動量０．２ｍ／ｓに相当する。したがって、瞳孔位置の移動量を路面状態の判定基準とする場合の閾値を、６Ｐｉｘｅｌ又は０．２ｍ／ｓと定めた。

路面状態判定部２が各種センサからの出力から路面状態の良し悪しを判定する場合、図２のステップＳ４において、各種センサからのデータが路面状態判定部２に入力される。そして、路面状態判定部２は、各種センサから入力されたデータから、路面状態の良し悪しを判定して判定結果を出力判断部４へ出力する（ステップＳ５）。具体的には、路面状態判定部２は、Ｇセンサ６から出力された加速度（Ｇ値）、ＧＰＳセンサ７から出力されたＧＰＳ位置情報、及び外部撮影カメラ８から出力された車両外部の画像から、路面状態の良し悪しを判定して、判定結果を出力判断部４へ出力する。

ステップＳ５において路面状態の良し悪しを判定する基準を説明する。
Ｇセンサ６から出力されたＧ値を用いて路面状態を判定する場合の閾値は、下記の通り、瞳孔位置の移動量が０．２ｍ／ｓに相当する０．２Ｇとする。Ｇセンサ６が０．１秒毎に検出を行う場合、１Ｇ＝９．８ｍ／ｓ^２であるから９．８ｍ／ｓ^２×０．１ｓ＝０．９８ｍ／ｓとなる。移動量が０．２ｍ／ｓのため、０．２ｍ／ｓ／０．９８ｍ／ｓ＝０．２Ｇとなる。
ＧＰＳセンサ７から出力されたＧＰＳ位置情報を用いて路面状態を判定する場合、路面状態判定部２は、地図データを参照して、ＧＰＳ位置情報の示す現在位置が悪路に該当するか否かを判断する。
外部撮影カメラ８から出力された車両外部の画像を用いて路面状態を判定する場合、路面状態判定部２は、当該画像が、凹凸や亀裂等がある路面、土面、または砂利道等の状態の悪い路面を含む場合、路面状態が悪いと判定する。
路面状態判定部２は、各種センサの出力のうち、いずれか一つを利用して路面状態の良し悪しを判定するが、各種センサの出力のうち複数を利用して判定してもよい。

ステップＳ５で路面状態が判定された後、ドライバモニタ５から視線検出部３にドライバ映像が入力され（ステップＳ６）、ステップＳ７の処理に移行する。ステップＳ７以降の処理は、前述の通りである。路面状態判定部２が、各種センサの出力から路面状態の良し悪しを判定する場合も、判定結果が良しでない場合には、出力判断部４が視線検出結果Ｒを出力しない（ステップＳ１０）ことにより、路面状態に起因する視線の誤検出を抑制できる。

以上説明したように、本実施形態の視線検出処理装置、視線検出処理方法及びプログラムによれば、路面状態を検出して、悪路の場合には視線検出結果を出力しないことにより、ドライバの揺れによる視線の誤検出を抑制できる。このため、視線検出精度を向上できる。また、ドライバの視線を利用した自動運転などの車両制御システムに対し、ドライバの揺れによる視線検出結果の出力を制御することで、視線誤検出による誤制御を抑制できる。さらに、ドライバ視線を利用した居眠り検知やわき見検知などの機能に対し、ドライバの揺れによる視線検出結果の出力を制御することで、誤警報を抑制できる。

尚、本発明の技術的範囲は、上述した実施形態に限定されるものではない。上述した実施形態は、本発明の技術的範囲内で種々の変形や改良等を伴うことができる。例えば、図２において、ステップＳ７の順番をステップＳ８と入れ替えて、ステップＳ８とステップＳ９との間にステップＳ７のドライバ視線検出処理を行ってもよい。路面状態の判定結果が良しでない場合には、ドライバ視線を検出しなくてすむため、ドライバ視線検出に必要なリソースを節約できる。なお、本実施形態では、図２のドライバ視線検出処理（ステップＳ７）を路面状態判定部２による路面状態判定処理（ステップＳ３、ステップＳ５）の後に行ったが、路面状態判定処理と並行して行ってもよい。

また、本実施形態で検知したドライバの揺れ具合（瞳孔位置の移動量）を、アクティブサスペンションの制御値として利用することで、最適なサスペンションの減衰を調整できる。

ここで、上述した本発明の実施形態に係る視線検出処理装置、視線検出処理方法及びプログラムの特徴をそれぞれ以下［１］〜［７］に簡潔に纏めて列記する。
［１］ 路面状態の良し悪しを判定する路面状態判定部（２）と、
ドライバの視線を検出する視線検出部（３）と、
前記路面状態判定部が判定した結果に基づき、前記視線検出部による検出結果を出力するか否かを判断する出力判断部（４）と、を備える
ことを特徴とする視線検出処理装置（１）。
［２］ 前記路面状態判定部は、前記ドライバの顔を撮影した画像から、１フレーム当たりの瞳孔位置の移動量を算出することにより、前記路面状態の良し悪しを判定する
ことを特徴とする上記［１］に記載の視線検出処理装置。
［３］ 前記路面状態判定部は、加速度センサ（Ｇセンサ６）、ＧＰＳセンサ（７）及び外部撮影カメラ（８）の少なくともいずれかの出力から前記路面状態の良し悪しを判定する
ことを特徴とする上記［１］又は［２］に記載の視線検出処理装置。
［４］ コンピュータが、
路面状態の良し悪しを判定し（ステップＳ３、ステップＳ５）、
ドライバの視線を検出し（ステップＳ７）、
判定した前記路面状態の良し悪しから、前記視線の検出結果を出力するか否かを判断する（ステップＳ８）
ことを特徴とする視線検出処理方法。
［５］ 前記ドライバの顔を撮影した画像から、１フレーム当たりの瞳孔位置の移動量を算出することにより、前記路面状態の良し悪しを判定する（ステップＳ３）
ことを特徴とする上記［４］に記載の視線検出処理方法。
［６］ 加速度センサ、ＧＰＳセンサ及び外部撮影カメラの少なくともいずれかの出力から前記路面状態の良し悪しを判定する（ステップＳ５）
ことを特徴とする上記［４］又は［５］に記載の視線検出処理方法。
［７］
コンピュータに、上記［４］から［６］のいずれか１つに記載の視線検出処理方法の各手順を実行させるためのプログラム。

１ 視線検出処理装置
２ 路面状態判定部
３ 視線検出部
４ 出力判断部
５ ドライバモニタ
６ Ｇセンサ（加速度センサ）
７ ＧＰＳセンサ
８ 外部撮影カメラ
Ｐ 瞳孔位置
Ｒ 視線検出結果

Claims (5)

1. 路面状態の良し悪しを判定する路面状態判定部と、
   ドライバの視線を検出する視線検出部と、
   前記路面状態判定部が判定した結果に基づき、前記視線検出部による検出結果を出力するか否かを判断する出力判断部と、を備える
   ことを特徴とする視線検出処理装置。
2. 前記路面状態判定部は、前記ドライバの顔を撮影した画像から、１フレーム当たりの瞳孔位置の移動量を算出することにより、前記路面状態の良し悪しを判定する
   ことを特徴とする請求項１に記載の視線検出処理装置。
3. 前記路面状態判定部は、加速度センサ、ＧＰＳセンサ及び外部撮影カメラの少なくともいずれかの出力から前記路面状態の良し悪しを判定する
   ことを特徴とする請求項１又は２に記載の視線検出処理装置。
4. コンピュータが、
   路面状態の良し悪しを判定し、
   ドライバの視線を検出し、
   判定した前記路面状態の良し悪しから、前記視線の検出結果を出力するか否かを判断する
   ことを特徴とする視線検出処理方法。
5. コンピュータに、請求項４に記載の視線検出処理方法の各手順を実行させるためのプログラム。