JP2010029262A

JP2010029262A - 視線計測装置及びプログラム

Info

Publication number: JP2010029262A
Application number: JP2008192001A
Authority: JP
Inventors: Takashi Naito; 貴志内藤; Kazunori Higuchi; 和則樋口; Yoshiki Ninomiya; 芳樹二宮; Hiroshi Murase; 洋村瀬
Original assignee: Nagoya University NUC; Toyota Central R&D Labs Inc
Current assignee: Nagoya University NUC; Toyota Central R&D Labs Inc
Priority date: 2008-07-25
Filing date: 2008-07-25
Publication date: 2010-02-12
Anticipated expiration: 2028-07-25
Also published as: JP5161685B2

Abstract

【課題】自動較正する場合でも、特定位置を注視していることの信頼度が高い視線データを用いて補正係数を算出することにより、視線計測の精度を向上させること。
【解決手段】カメラ１２で撮影した画像データに基づいて視線データを算出し、操作センサ１４で検出される機器を操作した際の操作データを取得し、算出された視線データと、取得された操作データとを時系列に対応付けて記憶する。記憶された視線データの中から、特定の操作の開始時点ｔ１の所定時間Δｔ前から終了時点ｔ２を記憶された操作データから検索し、（ｔ１−Δｔ）からｔ２までの視線データで、かつ所定領域内に分布する視線データを抽出し、抽出した視線データの分布に基づいて注視位置を算出し、その注視位置が特定の操作に対して予め定めた注視位置に一致するように視線データを補正するための補正係数を算出する。
【選択図】図２

Description

本発明は、視線計測装置及びプログラムに係り、特に、自動較正を行う視線計測装置及びプログラムに関する。

従来、例えば車両に視線計測装置を搭載し、ドライバの視線を計測することにより、脇見運転などに対する警報を発する装置が知られている。このような視線計測装置においては、実際の視線方向と計測された視線方向とが一致するように較正することが必要であり、指定された複数の基準点をドライバに順次注視させ、得られた視線方向と実際の注視位置との関係から補正係数を算出することが行われている。

しかし、このような較正処理ではドライバに与える負担が大きい。そこで、例えば、特許文献１記載の視線方向計測装置では、ウィンカレバーやシフトレバーなどの機器の操作が行われた際に操作信号を発生させ、この操作信号が発生しているときに算出された視線データを用いて算出した補正係数により自動較正を行うことが提案されている。特定の機器の操作を行う際に特定の位置への注視（例えば、右ウィンカを操作したときの右サイドミラーへの注視）が増えることを利用したものである。
特許第３７８５６６９号公報

しかしながら、例えば、右ウィンカをオンしたときに必ずしも右サイドミラーを注視しているとは限らず、特許文献１の視線方向計測装置では、機器の操作が行われてから視線データを蓄積しているため、補正係数を算出するための視線データとして適切でない視線データも多く含まれている可能性がある、という問題があった。

本発明は、上記問題を解決するために成されたものであり、自動較正する場合でも、特定位置を注視していることの信頼度が高い視線データを用いて補正係数を算出することにより、視線計測の精度を向上させることができる視線計測装置及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の視線計測装置は、機器の操作を行う操作者を撮影して得られた眼領域の画像データに基づいて、前記操作者の視線方向を示す視線データを算出する視線データ算出手段と、前記操作者が前記機器を操作した際の操作データを取得する取得手段と、前記視線データ算出手段で算出された視線データと、前記取得手段で取得された操作データとを時系列に対応付けて記憶する記憶手段と、前記記憶手段に記憶された操作データが取得された前記機器に対する特定の操作の開始時点の所定時間前から終了時点までの視線データを、前記記憶手段に記憶された視線データから抽出する抽出手段と、前記抽出手段で抽出された視線データの分布に基づいて得られる前記操作者の注視位置が、前記特定の操作をする際に注視する位置として予め定めた注視位置と一致するように、前記算出手段で算出された視線データを補正するための補正係数を算出する補正係数算出手段と、を含んで構成されている。

また、本発明の視線計測プログラムは、コンピュータを、機器の操作を行う操作者を撮影して得られた眼領域の画像データに基づいて、前記操作者の視線方向を示す視線データを算出する視線データ算出手段と、前記操作者が前記機器を操作した際の操作データを取得する取得手段と、前記視線データ算出手段で算出された視線データと、前記取得手段で取得された操作データとを時系列に対応付けて記憶する記憶手段と、前記記憶手段に記憶された操作データが取得された前記機器に対する特定の操作の開始時点の所定時間前から終了時点までの視線データを、前記記憶手段に記憶された視線データから抽出する抽出手段と、前記抽出手段で抽出された視線データの分布に基づいて得られる前記操作者の注視位置が、前記特定の操作をする際に注視する位置として予め定めた注視位置と一致するように、前記算出手段で算出された視線データを補正するための補正係数を算出する補正係数算出手段として機能させるためのプログラムである。

本発明の視線計測装置及びプログラムによれば、視線データ算出手段が、機器の操作を行う操作者を撮影して得られた眼領域の画像データに基づいて、操作者の視線方向を示す視線データを算出することにより視線計測を行う。この視線計測の較正を行うために、取得手段が、操作者が機器を操作した際の操作データを取得し、視線データ算出手段で算出された視線データと、取得手段で取得された操作データとが時系列に対応付けられて記憶手段に記憶される。

較正のタイミングで、抽出手段が、記憶手段に記憶された操作データが取得された機器に対する特定の操作の開始時点の所定時間前から終了時点までの視線データを、記憶手段に記憶された視線データから抽出し、補正係数算出手段が、抽出手段で抽出された視線データの分布に基づいて得られる操作者の注視位置が、特定の操作をする際に注視する位置として予め定めた注視位置と一致するように、算出手段で算出された視線データを補正するための補正係数を算出する。

このように、特定の操作の開始時点の所定時間前から終了時点までの視線データを抽出することにより、運転行動などの機器の操作に伴った適切な視線データが抽出されることとなるため、自動較正する場合でも、特定位置を注視していることの信頼度が高い視線データを用いて補正係数を算出することができ、視線計測の精度を向上させることができる。

また、本発明の視線計測装置及びプログラムの前記抽出手段は、前記記憶手段に記憶された操作データが取得された前記機器に対する特定の操作の開始時点の所定時間前から終了時点までの視線データで、かつ所定領域内に分布している視線データを前記記憶手段に記憶された視線データから抽出するようにすることができる。

操作者が特定位置を注視すると視線データが停留するため、視線データの所定領域内への分布が集中する。そこで、記憶手段に記憶された操作データが取得された機器に対する特定の操作の開始時点の所定時間前から終了時点までの視線データで、かつ所定領域内に分布している視線データを記憶手段に記憶された視線データから抽出するようにすることにより、視線データに含まれる不安定なデータが除去され、より精度よく補正係数を算出することができる。

以上説明したように、本発明によれば、自動較正する場合でも、特定位置を注視していることの信頼度が高い視線データを用いて補正係数を算出することにより、視線計測の精度を向上させることができるという効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、本発明の視線計測装置を車両に搭載して、ドライバの視線を計測する場合について説明する。

図１に示すように、本実施の形態に係る視線計測装置１０は、ドライバの目領域を含む顔画像を撮影するカメラ１２、ドライバの運転行動を含む機器の操作を検出する操作センサ１４、及びドライバの機器の操作に基づいて視線計測の較正を行う制御を実行するコンピュータ１６を備えている。

カメラ１２は、ドライバの顔画像を撮影し、画像信号を生成する撮影部、撮影部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部、及びＡ／Ｄ変換された画像信号を一時的に格納するための画像メモリを備えている。

操作センサ１４は、ドライバの運転行動を含む機器の操作を検出するもので、例えば、ウィンカ操作を検出するウィンカセンサ、ステアリングの操舵量を検出する操舵角センサ、ブレーキペダルの踏込み量を検出するブレーキセンサ、アクセルペダルの踏込み量を検出するアクセルセンサ、車両の速度を検出する速度センサ、及びシフトレバーの設定を検出するシフトレバーセンサなどの運転行動に伴った機器の操作を検出する各種センサや、カーオーディオ、カーエアコン、及びカーナビゲーションなどの機器が操作されたことを検出する各種センサが含まれる。

コンピュータ１６は、視線計測装置１０全体の制御を司るＣＰＵ２４、後述する補正係数算出処理のプログラム等各種プログラムを記憶した記憶媒体としてのＲＯＭ２６、ワークエリアとしてデータを一時格納するＲＡＭ２８、各種情報が記憶された記憶手段としてのメモリ３０、Ｉ／Ｏ（入出力）ポート３２、及びこれらを接続するバスを含んで構成されている。Ｉ／Ｏポート３２には、カメラ１２、及び操作センサ１４が接続されている。

次に、図２を参照して、本実施の形態における補正係数算出プログラムの処理ルーチンについて説明する。

ステップ１００で、カメラ１２で時刻Ｔに撮影した画像を取り込み、次に、ステップ１０２で、取り込んだ画像の画像データに基づいて、視線データを算出する。ここで、視線データは、ドライバが略正面を注視している場合の視線角度を基準として、水平方向の視線角度φ、及び鉛直方向の視線角度θで表される視線方向を示すデータである。視線方向の計測は、取り込んだ画像の眼領域の画像データから抽出される画像特徴に基づいて計測する。また、１台以上のカメラによって運転者の顔映像を撮影し、画像処理によって目や鼻など顔の特徴部分を検出し、特徴部分の位置情報や変位置などから視線方向を計測するようにしてもよい。

次に、ステップ１０４で、操作センサ１４で検出した時刻Ｔにおけるウィンカの状態、ステアリング操舵角、ブレーキペダルの踏込み量、アクセルペダルの踏込み量、車速、シフトレバーの状態、カーオーディオ、カーステレオ、カーナビゲーションなどの操作状態などを示す操作データを取り込む。

次に、ステップ１０６で、ステップ１０２で算出した時刻Ｔにおける視線データと、ステップ１０４で取り込んだ時刻Ｔにおける操作データとを対応付けて、メモリ３０の所定領域に記憶する。

次に、ステップ１０８で、補正係数を算出して視線計測の較正を行うタイミングか否かを判断する。この判断は、エンジンがかけられてから所定時間以上経過したか否かで判断したり、前回較正を行ってから所定時間以上経過したか否かで判断したりすることができる。また、メモリ３０の所定領域に記憶された操作データのうち、特定の操作データ、例えば、右ウィンカがオフからオンへ変化したことを示す操作データが所定回数以上となった場合に、較正を行うタイミングであると判断するようにしてもよい。較正を行うタイミングの場合には、ステップ１１０へ進み、較正の行うタイミングではない場合には、ステップ１００へ戻って、視線データ及び操作データの蓄積を繰り返す。

ステップ１１０で、特定の操作が行われたときの操作データに対応する視線データを抽出する。特定の操作としては、その特定の操作のためにドライバが一連の動作行う間に、特定位置への注視を伴うものであればよく、例えば、バックミラーや右サイドミラーへの注視を伴う左車線から右車線への車線変更を特定の操作とすることができる。

左車線から右車線への車線変更を行う場合には、右ウィンカをオンし、ステアリングを右回転し、その後ステアリングを左回転して直進状態に戻す、という運転行動がとられる。そこで、メモリ３０に記憶された操作データから、この運転行動に対応する操作データを、右ウィンカの状態や操舵角を示す操作データに基づいて検索し、検索されたこの一連の操作データの中で、右ウィンカがオンされた時点（Ｔ＝ｔ１）、及び操舵角が右回転を示す値となり、その後操舵角が略０（直進状態）となった時点（Ｔ＝ｔ２）を確認し、（ｔ１−Δｔ）からｔ２までの視線データを抽出する。

ここで、視線データの抽出の開始時点を（ｔ１−Δｔ）としたのは、ある特定の操作を行う前から、その特定の操作に関連する特定位置への注視が増える場合も多いため、この間の視線データも抽出できるようにしたものである。例えば、上記の車線変更の場合には、バックミラーやサイドミラーを確認してから、右ウィンカをオンする、という運転行動がとられる場合も多いと考えられるため、右ウィンカをオンした時点ｔ１の所定時間Δｔ前からの視線データを抽出する。これにより、特定位置であるバックミラーやサイドミラーを注視している場合の視線データをより多く抽出することができる。

図３に、横軸に水平方向の視線角度φ、縦軸に鉛直方向の視線角度θをとり、視線データをプロットした図の一例を示す。同図（Ａ）は、ステップ１０８の時点で蓄積されている視線データの全部をプロットしたもので、同図（Ｂ）は、ステップ１１０の処理により、特定の操作（ここでは、左車線から右車線への車線変更）を行ったときの操作データに対応して抽出された視線データをプロットしたものである。このように、視線データの全部をプロットすると、視線データが広い範囲に大きく分布するが、特定の操作データに対応した視線データのみをプロットすると、ある程度局所的に視線データが分布する。

同図（Ｂ）では、大きく分けて３つの領域に視線データが分布しており、φ＝０、及びθ＝０の近傍の所定領域に分布している視線データは、略正面を注視している際の視線データであると考えられる。車線変更の際に、バックミラーやサイドミラーで後方を確認する動作が頻繁に行われることを考慮すると、正面との位置関係から、左上部の所定領域にはバックミラーを注視している視線データが多く分布していると考えられ、また、右下部の所定領域にはサイドミラーを注視している視線データが多く分布していると考えられる。

次に、ステップ１１２で、停留している視線データを抽出する。計測される視線データには、正面と特定の注視位置との間を視線が移動しているときの視線データも含まれる。また、計測装置の精度やドライバの挙動などによっても、視線データの分布ばらつきが生じる。そこで、正面、及び特定の注視位置に視線が停留している視線データのみを抽出することで、所定領域に分布している視線データを抽出する。

具体的には、所定区間内（Ｔ＝ｔ（ｎ）〜Ｔ＝ｔ（ｎ＋Ｍ））のＭ個の視線データに対して、（１）式により、その区間内の２つの視線データ間のユークリッド距離を、すべての視線データの組み合わせについて求め、その最大値が所定値以下の場合に、その区間の視線データを停留している視線データとする。

ただし、ｘ_ｉは、Ｔ＝ｉのときの視線データのベクトル（φ_ｉ，θ_ｉ）、ｘ_ｊは、Ｔ＝ｊのときの視線データのベクトル（φ_ｊ，θ_ｊ）、Ｃは、所定値である。

図３（Ｃ）に、同図（Ｂ）にプロットされた視線データから停留している視線データのみをプロットした状態を示す。同図（Ｂ）に比べ、所定領域への視線データの分布がより明確となっている。

次に、ステップ１１４で、特定の操作データに対応する視線データで、所定領域に分布している視線データの分布の中心位置を、特定の注視位置として算出する。上記車線変更の場合では、バックミラー、及び右サイドミラーの位置が特定の注視位置である。図３（Ｃ）に示す視線データの分布は、正面を含む３つの正規分布の混合により形成されていると仮定して、ＥＭアルゴリズムを用いて、３つの正規分布の各平均ベクトルを求め、それらを注視位置である正面、バックミラー、及び右サイドミラーの位置とする。なお、注視位置の算出は、ＥＭアルゴリズムを用いる場合に限らず、ｋ−ｍｅａｎｓ法などを用いてもよい。

次に、ステップ１１６で、ステップ１１４で算出した注視位置が、予め定めた既知の注視位置と一致するように、補正係数を算出する。

算出される視線データと基準時の視線データとの間には、平行移動、拡大縮小、及び回転によるずれが生じる。平行移動は、頭部位置が基準時の位置より左右、及び上下に移動した場合に、視線データも平行移動することにより生じるずれで、計測された視線を（ｘ，ｙ）、及び水平方向への平行移動成分をｃ、及び鉛直方向への平行移動成分をｄとすると、較正後の視線（ｘ’，ｙ’）は（２）式で表される。

拡大縮小は、頭部位置が基準時の位置より前後に移動した場合に、視線データの分布が拡大縮小することにより生じるずれで、拡大縮小率をαとすると、較正後の視線（ｘ’，ｙ’）は（３）式で表される。

回転は、車両が左右に傾いた場合などに、ドライバとカメラ１２との相対位置の変化により生じるずれで、回転角度をψとすると、較正後の視線（ｘ’，ｙ’）は（４）式で表される。

これら（２）式〜（４）式を組み合わせて、較正用パラメータ（ａ，ｂ，ｃ，ｄ）からなるヘルマート相似変換と呼ばれる（５）式に示す行列Ｈを算出する。

算出されたバックミラーの注視位置を（ｘｂ，ｙｂ）、及び右サイドミラーの注視位置を（ｘｒ，ｙｒ）とすると、基準となるバックミラーの既知の注視位置（ｘ’ｂ，ｙ’ｂ）、及び右サイドミラーの既知の注視位置（ｘ’ｒ，ｙ’ｒ）は、（６）式で表される。

（６）式により、行列Ｈの較正用パラメータ（ａ，ｂ，ｃ，ｄ）を算出して、処理を終了する。なお、計測された視線データ（φ，θ）は、算出され較正パラメータ（行列Ｈ）を用いて、（７）式により較正され、較正後の視線データ（φ’，θ’）が得られる。

なお、上記処理を実行するためのコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図４に示すように、カメラ１２で撮影した画像データを取得する画像取得部３４、画像取得部で取得した画像データに基づいて視線データを算出する視線データ算出部３６、操作センサ１４で検出される操作データを取得する操作データ取得部３８、視線データ算出部で算出された視線データ、及び操作データ取得部で取得された操作データを時系列に対応付けて記憶するデータ蓄積部４０、データ蓄積部に記憶された視線データの中から、特定の操作データに対応し、かつ所定領域に分布する視線データを抽出する視線データ抽出部４２、及び抽出した視線データの分布に基づいて注視位置を算出し、その注視位置が特定の操作に対して予め定めた注視位置に一致するように視線データを補正するための補正係数を算出する補正係数算出部４４を含んだ構成で表すことができる。

このように、本実施の形態では、特定の操作の開始時点の所定時間前から終了時点までの視線データで、かつ所定領域内に分布する視線データを用いるため、信頼度が高い視線データを用いて補正係数を算出することができ、視線計測の精度を向上させることができる。

なお、本実施の形態では、バックミラー及びサイドミラーの位置を用いて較正用パラメータを算出する場合について説明したが、ステップ１１４で算出される正面の注視位置も含めて較正用パラメータを算出するようにしてもよい。

また、本実施の形態では、特定の操作を左車線から右車線への車線変更として、特定の注視位置がバックミラー及び右サイドミラーである場合について説明したが、特定の操作に対して特定の注視位置が推定できる場合であればよく、例えば、特定の操作を右車線から左車線への車線変更として、特定の注視位置をバックミラー及び左サイドミラーとしたり、特定の操作をアクセルペダルを所定値以上踏み込んだときとして、特定の注視位置をスピードメータとしたりしてもよい。

また、本実施の形態では、停留している視線データの抽出方法として、所定区間に含まれる視線データのユークリッド距離の最大値が所定値以下か否かで判断する場合について説明したが、所定領域に分布している視線データを抽出できればよく、例えば、所定区間内に含まれるＭ個の視線データの分散値を算出し、その値が所定値以下であればその区間の視線データを停留している視線データとして判断するようにしてもよい。また、視線計測の際に、視線データの信頼度が付与される方法を用いる場合には、その信頼度が所定置以上の視線データを利用するようにしてもよい。

また、本実施の形態では、本発明の視線計測装置を車両に搭載してドライバの視線を計測する場合について説明したが、例えば、本発明の視線計測装置を飛行機の操縦席に設け、パイロットの視線を計測し、パイロットの操作に対応して注視される操作機器や計器類を既知の注視位置とすることもできる。

また、このような乗り物の操作以外にも、本発明の視線計測装置を適用することができる。他の実施の形態として、ゲーム機器に本発明を適用した場合について説明する。構成は上記の実施の形態と同様である。

ゲームの種類やモードの選択をユーザに促すために、画面にその種類やモードに対応したアイコンを表示する場合、アイコンの表示位置は既知であるため、基準時の注視位置が定まる。また、ユーザがコントローラなどを操作して所望のアイコンを選択する場合、ユーザはそのアイコンを注視する。したがって、アイコンが選択された際に検出される選択信号を操作データとし、アイコンが選択された際の視線データと対応付けて記憶しておく。記憶した視線データと操作データとに基づいて、上記の実施の形態と同様の処理により補正係数を算出することができる。

例えば、ゲーム機器の電源がオンされるなどのタイミングで画像データの取り込みを開始して視線データを算出する。そして、画面右端にレースゲームを選択するアイコン、画面左端にシューティングゲームを選択するためのアイコン、画面中央に野球ゲームを選択するためのアイコンが表示されている場合に、選択結果を示す信号を操作データとして取り込む。較正のタイミングになった場合には、操作データから野球ゲームを選択した操作データを検索し、その操作データを取得した時点ｔ１の所定時間Δｔ前から所定時点ｔ２までの視線データを抽出する。ｔ２は、次の操作データを取得した時点などにすることができる。そして、抽出した視線データから算出される注視位置と、野球ゲームを選択するためのアイコンの既知の注視位置とに基づいて、補正係数を算出する。同様に、レースゲームを選択した操作データとレースゲームを選択するアイコンの既知の注視位置を用いてもよいし、シューティングゲームを選択した操作データとシューティングゲームを選択するアイコンの既知の注視位置を用いてもよい。

このような場合は、特に、特定の操作を行う前に特定の位置を注視している可能性が高いため、特定の操作の開始時点の所定時間前からの視線データを抽出することで、より効果的に適切な視線データを抽出することができる。

本実施の形態に係る視線計測装置１０の概略を示すブロック図である。本実施の形態における補正係数算出プログラムの処理ルーチンを示すフローチャートである。視線データ（水平方向φ、鉛直方向θ）をプロットした図の一例であり、（Ａ）蓄積した視線データの全部をプロットしたもの、（Ｂ）特定の操作データに対応した視線データをプロットしたもの、（Ｃ）特定の操作データに対応した視線データで、かつ所定領域内に分布する視線データをプロットしたものを示す。本実施の形態に係る視線計測装置１０の機能的構成を示すブロック図である。

符号の説明

１０視線計測装置
１２カメラ
１４操作センサ
１６コンピュータ
３４画像取得部
３６視線データ算出部
３８操作データ取得部
４０データ蓄積部
４２視線データ抽出部
４４補正係数算出部

Claims

機器の操作を行う操作者を撮影して得られた眼領域の画像データに基づいて、前記操作者の視線方向を示す視線データを算出する視線データ算出手段と、
前記操作者が前記機器を操作した際の操作データを取得する取得手段と、
前記視線データ算出手段で算出された視線データと、前記取得手段で取得された操作データとを時系列に対応付けて記憶する記憶手段と、
前記記憶手段に記憶された操作データが取得された前記機器に対する特定の操作の開始時点の所定時間前から終了時点までの視線データを、前記記憶手段に記憶された視線データから抽出する抽出手段と、
前記抽出手段で抽出された視線データの分布に基づいて得られる前記操作者の注視位置が、前記特定の操作をする際に注視する位置として予め定めた注視位置と一致するように、前記算出手段で算出された視線データを補正するための補正係数を算出する補正係数算出手段と、
を含む視線計測装置。
前記抽出手段は、前記記憶手段に記憶された操作データが取得された前記機器に対する特定の操作の開始時点の所定時間前から終了時点までの視線データで、かつ所定領域内に分布している視線データを前記記憶手段に記憶された視線データから抽出する請求項１記載の視線計測装置。
コンピュータを、
機器の操作を行う操作者を撮影して得られた眼領域の画像データに基づいて、前記操作者の視線方向を示す視線データを算出する視線データ算出手段と、
前記操作者が前記機器を操作した際の操作データを取得する取得手段と、
前記視線データ算出手段で算出された視線データと、前記取得手段で取得された操作データとを時系列に対応付けて記憶する記憶手段に記憶された操作データが取得された前記機器に対する特定の操作の開始時点の所定時間前から終了時点までの視線データを、前記記憶手段に記憶された視線データから抽出する抽出手段と、
前記抽出手段で抽出された視線データの分布に基づいて得られる前記操作者の注視位置が、前記特定の操作をする際に注視する位置として予め定めた注視位置と一致するように、前記算出手段で算出された視線データを補正するための補正係数を算出する補正係数算出手段と、
して機能させるための視線計測プログラム。
コンピュータを、請求項２記載の視線計測装置を構成する各手段として機能させるための視線計測プログラム。