JP2009288529A - 視野領域抽出装置、映像表示装置、視野領域抽出方法、映像表示方法、視野領域抽出プログラム、及び映像表示プログラム - Google Patents

Abstract

【課題】使用者の視する映像から、使用者の視野領域を高速かつ正確に抽出する視野領域抽出装置、映像表示装置、視野領域抽出方法、映像表示方法、視野領域抽出プログラム、及び映像表示プログラムを提供する。
【解決手段】使用者の視する映像から、使用者の視野領域を抽出する視野領域抽出装置において、前記使用者の眼球運動による眼電から使用者の視線位置を検出する視線位置検出手段と、前記視線位置検出手段により得られた使用者の視線位置を基準に、予め設定された範囲からなる使用者の視野領域を、前記使用者の視する映像から抽出する視野領域抽出手段とを備える。
【選択図】図１

Description

本発明は、使用者の視する映像から、使用者の視野領域を抽出する視野領域抽出装置、映像表示装置、視野領域抽出方法、映像表示方法、視野領域抽出プログラム、及び映像表示プログラムに関する。

従来から、例えばヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）等の装着型ディスプレイに三次元映像を表示してＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）や実写映像等の映像空間を提供する装置が実用化されている。使用者は、頭部にＨＭＤを装着し、それぞれの眼に提供される視差分異なった画像や映像等を見ることにより、あたかも三次元空間にいるような感覚を得る。ここで、使用者に対して、良好な映像空間を提供するためには、使用者が見ている位置や見ている方向を変えた場合に、その位置や方向の変化に応じて、使用者に提供する画像や映像等を変化させる必要がある。

従来の装置においては、ＨＭＤにジャイロセンサを取り付け、使用者の首の動作に伴う顔の向きを測定した上でＨＭＤの方向を検出し画像や映像等の表示をしていた。（例えば、特許文献１及び２参照。）。
特開２０００−３０８０９２号公報 特開２００１−３３７６４５号公報

しかしながら、ジャイロセンサのみによる使用者の視野領域の検出方法は、使用者の高速な眼の動きに対して、使用者の首の動きに伴う顔の向きを検出した後に視野領域を検出するため、検出した使用者の視野領域を表示するのに時間がかかるという問題があった。

また、使用者の顔の向きから検出される視野領域を更に越えた位置にある対象を使用者が見ている場合や、使用者の顔の向きと使用者の実際に見ている視線方向とが異なる場合がある。このような場合には、使用者の意図する注視対象を正確に導出することができず、使用者の見たい画像等と使用者に提供される画像等とにずれが生じる場合があった。

本発明は、上記の点に鑑みてなされたものであり、使用者の視する映像から、使用者の視野領域を高速かつ正確に抽出する視野領域抽出装置、映像表示装置、視野領域抽出方法、映像表示方法、視野領域抽出プログラム、及び映像表示プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、使用者の視する映像から、使用者の視野領域を抽出する視野領域抽出装置において、前記使用者の眼球運動による眼電から使用者の視線位置を検出する視線位置検出手段と、前記視線位置検出手段により得られた使用者の視線位置を基準に、予め設定された範囲からなる使用者の視野領域を、前記使用者の視する映像から抽出する視野領域抽出手段とを備える。

請求項２に記載された発明は、前記使用者の顔の向きにより、予め設定された範囲からなる前記視野領域の方向を検出する視野領域方向検出手段と、前記視線位置検出手段により得られた使用者の視線位置と、前記視野領域方向検出手段により得られた使用者の視野領域とを用いて、前記視線位置を基準に設定される前記視野領域を、前記使用者の視する映像から抽出する視野領域抽出手段とを備える。

請求項３に記載された発明は、前記視線位置の検出に用いられる眼電データに対して、高周波ノイズを除去する高周波ノイズ除去手段を備えることを特徴とする。

請求項４に記載された発明は、前記高周波ノイズ除去手段により高周波ノイズが除去された前記眼電データに対して収束補正をする収束補正手段を備える。

請求項５に記載された発明は、前記請求項１乃至４のいずれか一項に記載の視野領域抽出装置を備えた映像表示装置において、前記使用者が視する映像に対し、前記請求項１乃至４のいずれか一項に記載の視野領域抽出装置から抽出された使用者の視野領域を、前記使用者の視する映像の中心に移動させて表示する表示手段を備える。

請求項６に記載された発明は、使用者の視する映像から、使用者の視野領域を抽出する視野領域抽出方法において、前記使用者の眼球運動による眼電から使用者の視線位置を検出する視線位置検出手順と、前記視線位置検出手順により得られた使用者の視線位置を基準に、予め設定された範囲からなる使用者の視野領域を、前記使用者の視する映像から抽出する視野領域抽出手順とを備える。

請求項７に記載された発明は、前記使用者の顔の向きにより、予め設定された範囲からなる前記視野領域の方向を検出する視野領域方向検出手順と、前記視線位置検出手順により得られた使用者の視線位置と、前記視野領域方向検出手順により得られた使用者の視野領域とを用いて、前記視線位置を基準に設定される前記視野領域を、前記使用者の視する映像から抽出する視野領域抽出手順とを備える。

請求項８に記載された発明は、前記視線位置の検出に用いられる眼電データに対して、高周波ノイズを除去する高周波ノイズ除去手順を備える。

請求項９に記載された発明は、前記高周波ノイズ除去手段により高周波ノイズが除去された前記眼電データに対して収束補正をする収束補正手順を備える。

請求項１０に記載された発明は、前記請求項６乃至８のいずれか一項に記載の視野領域抽出方法を備えた映像表示方法において、前記使用者が視する映像に対し、前記請求項６乃至８のいずれか一項に記載の視野領域抽出方法から抽出された使用者の視野領域を、前記使用者の視する映像の中心に移動させて表示する表示手段を備える。

請求項１１に記載された発明は、請求項６乃至９のいずれか一項に記載の視野領域抽出方法における手順をコンピュータに実行させるための視野領域抽出プログラムである。

請求項１２に記載された発明は、請求項１０に記載の映像表示方法における手順をコンピュータに実行させるための映像表示プログラムである。

本発明によれば、使用者の視する映像から、使用者の視野領域を高速かつ正確に抽出することを可能にする。

次に、本発明を実施するための最良の形態について図面と共に説明する。

＜視野領域抽出装置を備える映像表示装置の概略構成例＞
図１は、視野領域抽出装置を備える映像表示装置の概略構成例を示す図である。図１に示す映像表示装置１００は、視野領域抽出装置１０と、ＥＯＧ（Ｅｌｅｃｔｒｏ−Ｏｃｕｌｏｇｒａｐｈｙ）用電極３０と、表示装置３２と、位置角度センサ３４とを備える。また、視野領域抽出装置１０は、視線位置検出手段１２と、高周波ノイズ除去手段１４と、収束補正手段１６と、視野領域抽出手段１８、視野領域方向検出手段２０とを備える。

図１に示す映像表示装置１００は、視野領域抽出装置１０を用いて、使用者の注視する視線位置を基準とした視野領域を抽出する。また、視野領域抽出装置１０は、例えば皿電極等のＥＯＧ用電極３０を用いて、使用者の眼球運動による眼電の電位データである眼電データ（ＥＯＧ抽出データ）を取得する。

ここで、ＥＯＧ用電極３０は、例えば使用者の単発的な衝動性眼球運動であるサッカード運動等による眼球運動を測定対象とする。なお、ＥＯＧ用電極３０は、使用者の両目尻、右眼の上下付近の所定位置に接触するように、表示装置３２の所定位置に取り付けて使用される。また、ＥＯＧ用電極３０は、更に使用者の眉間と両耳朶に取り付けて使用される。なお、使用者の眼電データを測定する測定位置、及びＥＯＧ用電極３０の表示装置３２への取り付け位置については、後述する。

また、視野領域抽出装置１０は、視線位置検出手段１２を用いて、ＥＯＧ用電極３０より取得した使用者の眼電データより、使用者の視線位置を検出する。使用者の視線位置は、例えばディスプレイ表示画面等における横、縦、斜め等の８方向、又は１６方向に対して検出することができる。

視線位置検出手段１２は、ＥＯＧ用電極３０より取得した使用者の眼電データに対して、後述する高周波ノイズ除去手段１４により高周波ノイズを除去し、収束補正手段１６により収束補正がされた眼電データを用いて、使用者の視線位置を検出する。なお、高周波ノイズの除去及び収束補正については、後述する。

また、視野領域抽出装置１０は、視野領域抽出手段１８を用いて、視線位置検出手段１２により検出された使用者の視線位置を基準として、予め、例えば大きさ、範囲等が設定された視野領域を、使用者の注視する視野領域として、使用者の視する映像から抽出する。

また、視線領域抽出装置１０は、視野領域抽出手段１８により抽出された使用者の視野領域を表示装置３２に出力する。表示装置３２は、出力された使用者の視野領域を、使用者の視する映像の中心を基準として画像、映像等により表示する。なお、表示装置３２は、例えばＨＭＤ等の装着型ディスプレイを用いる。

上述した実施形態により、視野領域抽出装置１０は、ＥＯＧ用電極３０より取得した眼電データより、視線位置検出手段１２を用いて使用者の視線位置を検出し、使用者の視線位置を基準とした視野領域を抽出する。これにより、視野領域抽出装置１０を備えた映像表示装置１００は、使用者の視線位置のみにより視野領域を抽出するため、使用者の高速な眼の動きに応じた、使用者の意図する画像を画面の中央に表示することが可能となる。

また、映像表示装置１００は、使用者の視線位置のみにより視野領域を抽出するため、使用者が首を動かさず、使用者の眼の動きのみにより、使用者の視する映像空間における映像を移動させることが可能となる。

また、上述した手法の他に、映像表示装置１００は、図１に示すように、視野領域抽出装置１０の視野領域方向検出手段２０と、位置角度センサ３４を用いて、上述した使用者の視線位置と、使用者の顔の向きにより検出される視野領域方向とにより、使用者の視野領域を抽出する。

視野領域抽出装置１０は、位置角度センサ３４を用いて、使用者の首の動作に伴う顔の向きを取得する。なお、位置角度センサ３４は、例えばジャイロセンサ、トラッキングセンサ、加速度センサ等の用いることができる。

ここで、位置角度センサ３４としてジャイロセンサを用いる場合には、例えば表示装置３２と一体となるように設置され、使用者の頭部に装着されることにより、使用者の首の動作に伴う顔の向きを検出する。つまり、位置角度センサ３４は、固定座標に対する本体の３軸（ｘｙｚ軸）の軸回りの回動角を検出することで、使用者の首の動作に伴う顔の向きを検出する。

また、視野領域抽出装置１０は、視野領域方向検出手段２０を用いて、位置角度センサ３４より取得した使用者の顔の向きにより、予め設定した範囲からなる使用者の視野領域の方向を検出する。

また、視野領域抽出装置１０は、視野領域抽出手段１８を用いて、上述した視線位置検出手段１２により検出された使用者の注視する視線位置と、視野領域方向検出手段２０により検出された使用者の視野領域方向から、使用者の視線位置を中心とした使用者の視野領域を、使用者の視する映像から抽出する。

また、視野領域抽出装置１０は、上記と同様に、視野領域抽出手段１８により抽出した使用者の視野領域を表示装置３２に出力する。表示装置３２は、出力された使用者の視野領域を、使用者の視する映像の中心を基準として、映像により表示する。なお、表示装置３２は、例えばＨＭＤ等の装着型ディスプレイを用いる。

上述した実施形態により、視野領域抽出装置１０は、ＥＯＧ用電極３０より取得した眼電データより、視線位置検出手段１２を用いて使用者の視線位置を検出し、位置角度センサ３４より取得した使用者の顔の向きにより使用者の視野領域方向を検出し、使用者の視線位置を中心とした使用者の視野領域を抽出する。これにより、視野領域抽出装置１０は、使用者の視野領域をより正確に抽出することが可能となり、視野領域抽出装置１０を備えた映像表示装置１００は、使用者の意図する映像をより正確に画面の中央に表示することが可能となる。

また、視野領域抽出装置１０は、視線位置検出手段１２と、視野領域方向検出手段２０とを用いることにより使用者の視野領域を抽出するため、顔の向きのみにより検出される視野領域に比べて映像空間におけるより広域な範囲を対象にした使用者の視野領域を抽出することが可能となる。

ここで、上述した映像表示装置１００は、上述した専用の装置構成により本発明における視野領域抽出装置１０を制御することもできるが、各構成における処理をコンピュータに実行させるための実行プログラムを生成し、例えば汎用のコンピュータにインストールすることにより、視野領域抽出処理を実現することができる。

＜映像表示装置のハードウェア構成例＞
次に、本実施形態に係る実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図２は、本実施形態に係る視野領域抽出処理が実現可能なハードウェア構成の一例を示す図である。

図２において、視野領域抽出装置１０は、コンピュータ装置であって、入力装置４１と、出力装置４２と、ドライブ装置４３と、補助記憶装置４４と、メモリ装置４５と、各種制御を行う演算処理装置４６と、ネットワーク接続装置４７、及び記録媒体４８とを有するように構成されており、これらはシステムバスＢで相互に接続されている。

入力装置４１は、プログラムの実行等、各種操作信号を入力する。出力装置４２は、本実施形態に係る処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、演算処理装置４６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。入力装置４１及び出力装置４２は、例えば入出力一体としたＨＭＤのディスプレイ等で構成することができる。

ここで、本実施形態において、コンピュータ本体にインストールされる実行プログラムは、例えばＣＤ−ＲＯＭ等の記録媒体４８等により提供される。プログラムを記録した記録媒体４８は、ドライブ装置４３にセット可能であり、記録媒体４８に含まれる実行プログラムが、記録媒体４８からドライブ装置４３を介して補助記憶装置４４にインストールされる。

補助記憶装置４４は、ハードディスク等のストレージ手段であり、本実施形態に係る実行プログラムや、コンピュータに設けられた制御プログラム、各種データ等を蓄積し必要に応じて入出力を行うことができる。

メモリ装置４５は、演算処理装置４６により補助記憶装置４４から読み出された実行プログラム等を格納する。なお、メモリ装置４５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。

演算処理装置４６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、メモリ装置４５により格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。また、プログラムの実行中に必要な各種情報は、補助記憶装置４４から取得することができ、また格納することもできる。

ネットワーク接続装置４７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の装置から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の装置等に提供することができる。

なお、記録媒体４８は、上述したＣＤ−ＲＯＭの他、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで効率的に視野領域抽出処理及び映像表示処理を実現することができる。また、プログラムをインストールすることにより、上述の視野領域抽出処理及び映像表示処理を容易に実現することができる。

＜ＥＯＧ法について＞
次に、上述したＥＯＧ用電極３０を用いて、使用者の眼電を測定するＥＯＧ法について説明する。図３は、使用者の眼電を測定するＥＯＧ法を説明するための図である。

ＥＯＧ法とは、眼の電気的特性を利用した眼球運動計測手法である。具体的には、図３（Ａ）に示すように、眼球の角膜（黒目部分）は、網膜に対して正の電位を有している。この眼電と呼ばれる電位は、眼の周囲の皮膚に電極を貼付すること又は接触させることで検出可能であり、本実施形態では、ＥＯＧ用電極３０を用いて検出する。

また、図３（Ｂ）は、使用者が右を見たときの、使用者の右眼の目尻に貼付した電極から眼電を検出した眼電図の一例を示している。図３（Ｂ）に示す眼電図は、横軸が時間［ｓｅｃ］、縦軸が電圧［Ｖ］を示しており、眼電図上で波形が（+）側に動いていることから、使用者が右側を見たことがわかる。また、このとき、使用者から見て左眼の目尻に貼付した電極から眼電を検出する眼電図は、（−）側に波形が動く。

また、眼電の電位の変化は、眼球の回転角とほぼ比例関係にあるため、使用者の視線がどの方向にどの程度向いているかがわかる。このように、眼電を測定することで、使用者の視線位置及び視線移動を導出することができる。

一方、ＥＯＧ法による測定では、電位を扱うために脳波や顔筋の筋電位等の影響を受けやすく、これらのノイズが眼電図に現れてしまう。また、まばたき時には、まぶたによるノイズや大きな上下方向の眼球運動を検出してしまうため、電位の波形が大きく乱れる。このため、本実施形態では、単発的な衝動性眼球運動であるサッカード運動を視線検出のための測定対象とする。

なお、ＥＯＧ法は、例えば眼の周囲に電極を貼付する又は接触させる等の簡単な構成で測定することが可能であるため、目の周囲に大掛かりな装置を設置する必要がなく、例えば角膜反射法等のようにカメラを眼前に固定する必要がない。このため、眼電測定中に使用者の視野を妨げることがないため、ＥＯＧ法によれば、使用者が顔や首を動かすことが可能であり、継続した眼球運動の測定が可能である。

＜電極貼付位置＞
次に、使用者の眼電を測定するＥＯＧ用電極を貼付する位置の例について説明する。図４は、使用者の眼電を測定するＥＯＧ用電極を貼付する位置を説明する例を示す図である。

図４に示すように、電極（Ａ）は使用者の両目尻に貼付され、電極（Ｂ）は右眼の上下に貼付される。また、電極（Ｃ）は使用者の眉間と両耳朶に貼付される。使用者の両目尻に貼付される電極（Ａ）は、横軸方向（ｘ方向）の視線を測定し、使用者の右目の上下に貼付される電極が縦軸方向（ｙ方向）の視線を測定する。これは、通常、人間の２つの眼が横軸方向、縦軸方向、どちらの方向に対しても同じ方向に動くことを前提としている。

上記のように電極を貼付して使用者の眼電を測定することで、本実施形態においては、使用者の視線位置を、例えばディスプレイ表示画面等における縦、横、斜め等の８方向、又は１６方向において検出する。また、眉間と両耳朶の電極は、アースを取るために貼付される。

＜映像表示装置の例＞
次に、上述の映像表示装置１００の一例としてＥＯＧ用電極３０を設置したＨＭＤ装着例について説明する。図５は、ＥＯＧ用電極を設置したＨＭＤを説明するための図である。

図５は、使用者が装着する側から見たＨＭＤ５０を示しており、頭部装着部５０−１と画像表示部５０−２から構成される。画像表示部５０−２の上部には位置角度センサ３４の一例としてのジャイロセンサが接着固定され、ＨＭＤ５０を使用者が頭部に装着することで、使用者の顔の向きを測定することが可能となる。

また、ＨＭＤ５０の画像表示部５０−２の接眼部には、例えば水泳用ゴーグル等のように眼球の周囲に密着する部材を介してＥＯＧ用電極３０が接着固定される。

水泳用ゴーグル上には、上述した使用者の両目尻の（Ａ）に接する部分に、ＥＯＧ用電極３０（Ａ）が設置され、使用者の右眼上下の（Ｂ）に接する部分に、ＥＯＧ用電極３０（Ｂ）が設置される。ＨＭＤ５０上の使用者の眉間（Ｃ）に接する部分には、ＥＯＧ用電極３０（Ｃ）が設置される。

このように、ＨＭＤ５０に例えば水泳用ゴーグル等を介してＥＯＧ用電極３０を設置することで、使用者がＨＭＤ５０を装着し、ＥＯＧ用電極３０を固定するときの電極のずれを防止し、また適度な加圧を可能とするため、使用者の精度の高い眼電を測定することを可能とする。

また、図６は、図５に示したＨＭＤを使用者が装着した例を示している。図６に示すように、使用者は、ＥＯＧ用電極３０及び位置角度センサ３４の一例としてのジャイロセンサが設置されたＨＭＤ５０を装着する。使用者は、装着したＨＭＤ５０のディスプレイ上に映し出された映像のある位置を、眼の動きや首の動作により移動させることができる。また、この使用者の眼球運動を測定し、顔の向きを検出することで、使用者の視野領域を抽出し、使用者の意図する画像又は映像を的確に表示することができる。

なお、図５及び図６に示す構成は一例であって、本発明における構成、配置、配線等は、特に制限されるものではない。

＜視野領域抽出処理例＞
次に、上述した映像表示装置１００による使用者の視野領域抽出処理について説明する。図７は、視野領域抽出処理の一例を示すフローチャートである。

図７に示すように、視野領域抽出装置１０の視線位置検出手段１２は、ＥＯＧ用電極３０より使用者の眼電データを取得し、検出した使用者の視線位置が、例えば０．１秒以上等、一定時間停止しているか否かを判定する（Ｓ１０）。

ここで視線位置は、ＥＯＧ用電極３０より抽出され、高周波除去手段１４及び収束補正手段１６の処理を経て得られる眼電データ（ＥＯＧ抽出データ）を用いて横軸（ｘ軸方向）及び縦軸（ｙ軸方向）にて決定される、ＨＭＤ５０のディスプレイ画面上の使用者の注視位置である。

視線位置が一定時間停止していない場合（Ｓ１０において、Ｎｏ）、視野領域抽出装置１０の視野領域方向検出手段２０は、位置角度センサ３４より取得した使用者の首の動きに伴う顔の向きに従い、使用者の視野領域方向を検出する（Ｓ１２）。

ここで視野領域は、位置角度センサ３４より取得した使用者の顔の向きにしたがって、ある位置を基準として決定される所定の領域であって、ＨＭＤ５０のディスプレイ画面上における使用者の注視領域である。視野領域は、予め設定された所定の矩形領域又は円形領域とし、この矩形又は円形の領域は、ＨＭＤ５０のディスプレイ画面全体の縦横比に相似していることが好ましい。

次に、視野領域抽出装置１０の視野領域抽出手段１８は、Ｓ１２の処理により検出された視野領域方向に基づき、使用者の視野領域を移動する（Ｓ１４）。

次に、視野領域抽出手段１８は、Ｓ１４の処理にて移動した使用者の視野領域内に、視線位置検出手段１２により検出された視線位置が視野領域内に含まれているか否か判定する（Ｓ１６）。

視線位置が視野領域内に含まれていない場合（Ｓ１６において、Ｎｏ）、視野領域抽出手段１８は、視線位置が視野領域内に含まれるように視野領域を移動する（Ｓ１８）。

また、Ｓ１０の処理において、視線位置が一定時間停止している場合（Ｓ１０において、Ｙｅｓ）、視野領域抽出手段１８は、視線位置検出手段１２により検出された視線位置が、視野領域方向検出手段２０により検出された視野領域の中心に位置しているか否かを判定する（Ｓ２０）。
視野領域の中心に視線位置がない場合（Ｓ２０において、Ｎｏ）、視線位置が視野領域の中心に位置するよう視野領域を移動する（Ｓ２２）。
また、Ｓ２０の処理において、視野領域の中心に視線位置がある場合（Ｓ２０において、Ｙｅｓ）、視野領域抽出手段１８は、視野領域を決定する（Ｓ２４）。次に、視野領域抽出手段１８は、Ｓ２０の処理にて決定した視野領域を表示装置３２の画面中央に表示する（Ｓ２６）。
なお、Ｓ２０の処理において、検出された視線位置が既に視野領域内の中心にある場合には、表示装置３２の画面をそのまま維持して表示することができる。
また、Ｓ１６の処理において、視線位置が視野領域内に含まれている場合（Ｓ１６において、Ｙｅｓ）、Ｓ２４の処理に続く。なお、Ｓ１６の処理において、検出された視線位置が、検出された視野領域内で動き続ける場合には、表示装置３２に表示されている映像を閲覧しているとみなして、そのまま画面に表示しておくことができる。

なお、位置角度センサ３４を用いない場合には、Ｓ１２〜Ｓ１８の処理を除いた処理を行う。Ｓ１０の処理において、視線位置が一定時間停止していない場合（Ｓ１０において、Ｎｏ）、ＳＴＡＲＴに戻り、後続の処理を続ける。また、視線位置が一定時間停止している場合（Ｓ１０において、Ｙｅｓ）、予め所定の矩形領域又は円形領域を視野領域として設定しておき、この視野領域を用いて後続の処理を行う。

また、上述した手順をコンピュータに実行させるプログラムを生成し、コンピュータにインストールすることで同等の効果を得ることができる。

＜視野領域表示例＞
次に、上述した視野領域抽出処理による視野領域表示例について説明する。図８は、視野領域抽出処理による視野領域表示の一例を示す図である。

図８（Ａ）に示す画像７０には、使用者の顔の向きにしたがって移動した視野領域の流れが実線で囲んだ矩形の枠７１〜枠７４で示されている。図８（Ｂ）〜図８（Ｅ）は、それぞれの矩形の枠７１〜枠７４で表示される画像を示したものである。また、図８（Ａ）〜図８（Ｆ）に示す実線及び破線で囲んだ丸枠６０は、使用者の視線位置を示している。

まず、図８（Ａ）に示すような使用者が視する映像から、図８（Ｂ）〜図８（Ｅ）に示すように、顔の向きにしたがって視野領域を移動させると、花の画像が視野領域の画像中に表示されていく。また、図８（Ｅ）に示す画像７４では、花の画像が視野領域で示される画像の左上に表示される。

一方、使用者の視線位置を検出すると、図８（Ｄ）では、視線位置を示す丸枠６０は、画像７３の右下から矢印方向に示す花の画像の中心に移動している。また、図８（Ｅ）では、視線位置を示す丸枠６０は、画像７４の矢印方向に画像の右下から画像左上に移動している。

上述の視野領域抽出処理にしたがって、視線位置を視野領域の中心に位置するように、視野領域を移動すると、図８（Ｆ）に示すように、花の画像が中央にある画像７５を使用者の見ている視野領域としてディスプレイ等の画面上に表示させることができる。

ここで、上述の視野領域抽出処理による視野領域表示例について、従来の視野領域表示例と比較して説明する。図９は、従来の視野領域表示例と視野領域抽出処理による視野領域表示例の一例を示す図である。

図９（Ａ）に示す画像７６には、使用者の見ていた初期位置の視野領域７７から従来の使用者の顔の向きを検出することによって抽出された視野領域７８と上述の視野領域抽出処理によって抽出された視野領域７９が示されている。

また、図９（Ｂ）及び図９（Ｃ）は、従来の視野領域７８及び上述の視野領域抽出処理による視野領域７９で表示される画像を示したものである。また、図９に示す実線で囲んだ丸枠６０が使用者の視線位置を示している。

図９（Ｂ）に示す従来の映像表示手法によれば、使用者の注視する視線位置にある風車は、抽出された視野領域７８の画像の右上に表示されているが、図９（Ｃ）に示す本実施形態の映像表示手法によれば、使用者の注視する視線位置にある風車は、抽出された視野領域７９の画像の中心位置に表示されている。このように、使用者の視線位置を検出することで、従来の使用者の顔の向きのみの検出による、視野領域の移動方向の検出精度を向上させ、より使用者の意図する注視対象を正確に抽出することを可能とする。

＜眼電データの高周波ノイズ除去及び収束補正について＞
次に、上述したＥＯＧ用電極３０より取得し、視線位置を導出する眼電データの高周波ノイズ除去及び収束補正について説明する。図１０は、視線位置を導出する眼電データの高周波ノイズ除去及び収束補正例を示す図である。

図１０に示す眼電図は、横軸が時間［ｓｅｃ］、縦軸が電圧［Ｖ］を示している。例えば、使用者が右側のある一点を注視した場合、図１０（Ａ）に示すように、上述したＥＯＧ用電極３０より検出した眼電データ（ＥＯＧ抽出データ）８０−１には、脳波や筋電等のノイズが含まれてしまうため、理想波形８２と比較すると細かな揺れが現れてしまう。これらのノイズは、眼の動きによる電位変動と比較すると、より小さく、周波数が高いという特徴がある。

そこで、本実施形態では、高周波ノイズ除去手段１４として例えば計算処理が速い一次のＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ等をＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）として用いることにより、眼電データの高周波ノイズを除去し、図１０（Ｂ）に示す眼電データ（ＥＯＧ抽出データ）８０−２を得ることが可能となる。

また、使用者がある一点を注視しているのにも関わらず、図１０（Ｂ）の実線で囲んだ矩形の枠８４に示すように、眼電データ８０−２は、時間の経過とともに、０（ゼロ）へ収束していく。これは、測定装置自体のノイズである低い周波数を除去するために、測定装置に対して設定した時定数の影響によるものである。

そこで、本実施形態では、収束補正手段１６として例えば眼電データを微分し、一定値以下の変動を排除し、図１０（Ｂ）の実線で囲んだ矩形の枠８６に示すように、視線移動における大きな変動のみ残す処理を行う。これにより、眼電データ８０−２の緩やかな傾きを排除し、図１０（Ｃ）に示すような眼電データ（ＥＯＧ抽出データ）８０−３を得ることが可能となる。

なお、上述したノイズの他に、まばたき時に発生するノイズがある。このノイズに対しては、例えば本実施形態における視線位置検出時において一定の休止時間等を設けることで、ノイズを除去することが可能となる。

上述の処理を行うことで、ＥＯＧ法を用いることにより発生する脳波や筋電におけるノイズ、測定装置自体のノイズ等の問題を解決し、使用者の視線位置をより正確に検出することが可能となる。

上述したように、本発明によれば、ＥＯＧ法による眼電データを用いて使用者の視線位置を検出し、この視線位置を中心とした視野領域を抽出することにより、使用者の高速な眼の動きに応じた、使用者の意図する画像又は映像を表示画面の中央に表示することが可能となる。

また、本発明によれば、使用者の視線位置と、使用者の顔の向きから検出される使用者の視野領域方向とを用いて、使用者の視線位置を中心とした視野領域を抽出する。これにより、使用者の視野領域をより正確に抽出し、使用者の意図する画像又は映像をより正確に表示画面の中央に表示することが可能となる。

また、本発明によれば、使用者の視線位置と、使用者の顔の向きから検出される使用者の視野領域方向とを用いて、使用者の視野領域を抽出するため、映像空間におけるより広域な範囲を対象にした使用者の視野領域を抽出することが可能となる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

視野領域抽出装置を備える映像表示装置の概略構成例を示す図である。 本実施形態に係る視野領域抽出処理が実現可能なハードウェア構成の一例を示す図である。 使用者の眼電を測定するＥＯＧ法を説明するための図である。 使用者の眼電を測定するＥＯＧ用電極を貼付する位置を説明する例を示す図である。 ＥＯＧ用電極を設置したＨＭＤを説明するための図である 図５に示したＨＭＤを使用者が装着した例を示す図である。 本実施形態に係る視野領域抽出処理の一例を示すフローチャートである。 視野領域抽出処理による視野領域表示の一例を示す図である。 従来の視野領域表示例と視野領域抽出処理による視野領域表示例の一例を示す図である。 視線位置を導出する眼電データの高周波ノイズ除去及び収束補正例を示す図である。

符号の説明

１０ 視野領域抽出装置
１２ 視線位置検出手段
１４ 高周波ノイズ除去手段
１６ 収束補正手段
１８ 視野領域抽出手段
２０ 視野領域方向検出手段
３０ ＥＯＧ用電極
３２ 表示装置
３４ 位置角度センサ
４１ 入力装置
４２ 出力装置
４３ ドライブ装置
４４ 補助記憶装置
４５ メモリ装置
４６ 演算処理装置
４７ ネットワーク接続装置
４８ 記録媒体
５０ ヘッドマウントディスプレイ（ＨＭＤ）
６０ 視線位置
７０，７５，７６ 画像
７１〜７４，８４，８６ 矩形の枠
７８，７９ 視野領域
８０ 眼電データ（ＥＯＧ抽出データ）
８２ 理想波形
１００ 映像表示装置

Claims (12)

1. 使用者の視する映像から、使用者の視野領域を抽出する視野領域抽出装置において、
   前記使用者の眼球運動による眼電から使用者の視線位置を検出する視線位置検出手段と、
   前記視線位置検出手段により得られた使用者の視線位置を基準に、予め設定された範囲からなる使用者の視野領域を、前記使用者の視する映像から抽出する視野領域抽出手段とを備えることを特徴とする視野領域抽出装置。
2. 前記使用者の顔の向きにより、予め設定された範囲からなる前記視野領域の方向を検出する視野領域方向検出手段と、
   前記視線位置検出手段により得られた使用者の視線位置と、前記視野領域方向検出手段により得られた使用者の視野領域とを用いて、前記視線位置を基準に設定される前記視野領域を、前記使用者の視する映像から抽出する視野領域抽出手段とを備えることを特徴とする請求項１に記載の視野領域抽出装置。
3. 前記視線位置の検出に用いられる眼電データに対して、高周波ノイズを除去する高周波ノイズ除去手段を備えることを特徴とする請求項１又は２に記載の視野領域抽出装置。
4. 前記高周波ノイズ除去手段により高周波ノイズが除去された前記眼電データに対して収束補正をする収束補正手段を備えることを特徴とする請求項３に記載の視野領域抽出装置。
5. 前記請求項１乃至４のいずれか一項に記載の視野領域抽出装置を備えた映像表示装置において、
   前記使用者が視する映像に対し、前記請求項１乃至４のいずれか一項に記載の視野領域抽出装置から抽出された使用者の視野領域を、前記使用者の視する映像の中心に移動させて表示する表示手段を備えることを特徴とする映像表示装置。
6. 使用者の視する映像から、使用者の視野領域を抽出する視野領域抽出方法において、
   前記使用者の眼球運動による眼電から使用者の視線位置を検出する視線位置検出手順と、
   前記視線位置検出手順により得られた使用者の視線位置を基準に、予め設定された範囲からなる使用者の視野領域を、前記使用者の視する映像から抽出する視野領域抽出手順とを備えることを特徴とする視野領域抽出方法。
7. 前記使用者の顔の向きにより、予め設定された範囲からなる前記視野領域の方向を検出する視野領域方向検出手順と、
   前記視線位置検出手順により得られた使用者の視線位置と、前記視野領域方向検出手順により得られた使用者の視野領域とを用いて、前記視線位置を基準に設定される前記視野領域を、前記使用者の視する映像から抽出する視野領域抽出手順とを備えることを特徴とする請求項６に記載の視野領域抽出方法。
8. 前記視線位置の検出に用いられる眼電データに対して、高周波ノイズを除去する高周波ノイズ除去手順を備えることを特徴とする請求項６又は７に記載の視野領域抽出方法。
9. 前記高周波ノイズ除去手段により高周波ノイズが除去された前記眼電データに対して収束補正をする収束補正手順を備えることを特徴とする請求項８に記載の視野領域抽出方法。
10. 前記請求項６乃至８のいずれか一項に記載の視野領域抽出方法を備えた映像表示方法において、
    前記使用者が視する映像に対し、前記請求項６乃至８のいずれか一項に記載の視野領域抽出方法から抽出された使用者の視野領域を、前記使用者の視する映像の中心に移動させて表示する表示手段を備えることを特徴とする映像表示方法。
11. 請求項６乃至９のいずれか一項に記載の視野領域抽出方法における手順をコンピュータに実行させるための視野領域抽出プログラム。
12. 請求項１０に記載の映像表示方法における手順をコンピュータに実行させるための映像表示プログラム。
    

Images