JP2015201161A

JP2015201161A - 電子装置とその操作方法

Info

Publication number: JP2015201161A
Application number: JP2014213572A
Authority: JP
Inventors: 鄒嘉駿; Chia-Chun Tsou; 林伯聰; Bai Cong Lin
Original assignee: Utechzone Co Ltd
Current assignee: Utechzone Co Ltd
Priority date: 2014-04-09
Filing date: 2014-10-20
Publication date: 2015-11-12
Anticipated expiration: 2034-10-20
Also published as: TW201539251A; JP6092173B2

Abstract

【課題】アイトラッキング技術に基づきグラフィカルインターフェースに対して簡便かつ快速な操作を実行できる電子装置とその操作方法を提供する。【解決手段】電子装置とその操作方法に関し、この電子装置は、スキャンモードにおいて、グラフィカルインターフェースの操作エリアを逐一ハイライト表示とするステップと、トリガー信号を受信する時、選定エリアに対応するグループインターフェースを表示ユニットに表示し、その中の選定エリアはトリガー信号を受信する時、前記操作エリアをハイライト表示のエリアとするステップと、さらに、眼球運動検出モジュールによって使用者の眼球運動を検出し、眼球運動に基づいてグループインターフェースの複数の機能オプションから一つ選び操作を実行するステップを有する。【選択図】図１

Description

本発明は電子装置とその操作方法に関するものであり、特にアイトラッキング技術を組み込んだ電子装置とその操作方法に関するものである。

現在アイトラッキング技術は主に侵襲性(invasive)と非侵襲性(non-invasive)の２つに分けられる。侵襲性のアイトラッキング技術は主に眼球へのサーチコイルの設置もしくは眼電図(electrooculogram)の使用である。非侵襲性のアイトラッキング技術はフリーヘッド式もしくはヘッドマウント式に分けられる。科学技術の発達に伴い、アイトラッキング技術は例えば、神経科学，心理学，経営工学，人間工学，マーケティング広告，コンピューター科学など各分野において大幅に応用されている。

アイトラッキング技術は言語障害者や身体障害者のコミュニケーションを実行し必要なものを補助し、運動障害者に更に多大な利便性をもたらす。例えば、筋萎縮性側索硬化症，筋ジストロフィー，脳性麻痺，多発性硬化症，脳血管発作，脊髄損傷を患う運動障害者などにとって，アイトラッキング技術を組み込んだ電子製品の補助により、マウスの代わりに眼を用いてコミュニケーション，インターネット及びメディアの娯楽活動などを可能とする。

しかしながら、上述の侵襲性と非侵襲性の２種類のアイトラッキング技術は高価なハードとソフトの設備が必要であり、さらに複雑な校正プログラムを必要とすることから、実行状態の安定性は良くなく、さらにコストも相当高く、アイトラッキング技術を普及させることができない。

これらの問題を解決するため、本発明の電子装置の操作方法は、複数の操作エリアを有するグラフィカルインターフェースを表示ユニットに表示するステップと、スキャンモードにおいて、スキャン順序に基づいて前記複数の操作エリアを逐一ハイライト表示とし、前記複数の操作エリアの中の一つがハイライト表示である時、その前の操作エリアのハイライト表示を取り消すステップと、スキャンモードにおいてトリガー信号を受信する時、選定エリアに対応するグループインターフェースを表示ユニットに表示し、その中の選定エリアはトリガー信号を受信する時、前記操作エリアをハイライト表示のエリアとするステップと、眼球運動検出モジュールによって使用者の眼球運動を検出するステップと、及び眼球運動に基づいて該グループインターフェースの複数の機能オプションから一つの機能オプションを選び操作を実行するステップとを含む。

本発明の１つの実施形態において、前記操作方法は、スキャンモードにおいてトリガー信号を受信する時、眼球運動検出モジュールを駆動して操作を実行する。

本発明の１つの実施形態において、前記眼球運動検出モジュールによって使用者の眼球運動を検出するステップは、像取得ユニットにより使用者のイメージシーケンスを取得し、イメージシーケンスの分析により眼球運動検出モジュールに使用者の眼球運動を追跡させるステップをさらに含む。

本発明の１つの実施形態において、該イメージシーケンスの分析により使用者の眼球運動を追跡させる前記ステップは、イメージシーケンスにおいて使用者の瞳孔の位置と発光ユニットの放射する光が使用者の目を照らして形成される反射点である輝点の位置を検出するステップと、瞳孔の位置と輝点の位置の両者の位置対応関係によって、現在の眼球運動の注視点を判断するステップとをさらに含む。

本発明の１つの実施形態において、前記眼球運動検出モジュールによって使用者の眼球運動を検出するステップの前に、使用者が見る表示ユニットの指定位置に導くことにより、眼球運動検出モジュールの基準情報を校正するステップをさらに含む。

本発明の１つの実施形態において、前記スキャンモードにおいて、眼球運動検出モジュールによって使用者の眼球運動を検出するステップと、眼球運動に基づいてトリガー信号を受信するかを判断するステップをさらに含む。

本発明の１つの実施形態において、前記トリガー信号は入力ユニットから発生する。

本発明の１つの実施形態において、前記グラフィカルインターフェースが表示される複数の操作エリアの数はグループインターフェースが表示される複数の機能オプションの数より多く、且つ、グループインターフェースはグラフィカルインターフェースの上層に表示され、グループインターフェースとグラフィカルインターフェースの両者のサイズは同じ、もしくはグループインターフェースのサイズはグラフィカルインターフェースのサイズより小さい。

また、本発明はさらに電子装置を提供する。この電子装置は、電子装置の使用者に向けて配置される像取得ユニットと、複数の操作エリアを有するグラフィカルインターフェースを表示する表示ユニットと、表示ユニットと像取得ユニットに接続され、複数のモジュールを実行する処理ユニットとを含む。前記複数のモジュールは、スキャンモジュールとインターフェース切替モジュールと眼球運動検出モジュールとを有する。スキャンモジュールは、スキャンモードにおいて、スキャン順序に基づいて前記複数の操作エリアを逐一ハイライト表示にし、且つ前記複数の操作エリア中の一つがハイライト表示である時、その前の操作エリアのハイライト表示を取り消す。インターフェース切替モジュールは、スキャンモードにおいてトリガー信号を受信する時、選定エリアが対応するグループインターフェースを表示ユニットに表示し、その中の選定エリアはトリガー信号を受信する時、前記複数の操作エリアのハイライト表示のエリアとする。眼球運動検出モジュールは、像取得ユニットを駆動して使用者のイメージシーケンスを取得し、イメージシーケンスの分析により使用者の眼球運動を検出し、且つ眼球運動に基づいて、グループインターフェースの複数の機能オプションから一つの機能オプションを選び、操作を実行する。

以上のように、本発明は電子装置とその操作方法を提供し、アイトラッキング技術に基づきグラフィカルインターフェースに対して簡便かつ快速な操作を実行できる。

本発明の上述した特徴と利点を更に明確化するために、以下、幾つかの実施例を挙げて図面と共に詳細な内容を説明する。

本発明の一実施例による電子装置のブロック図である。本発明の一実施例による電子装置の操作方法のフローチャート図である。本発明の一実施例による電子装置の操作方法のフローチャート図である。本発明の一実施例によるスキャン順序に基づいてグラフィカルインターフェースの操作エリアを逐一ハイライト表示にする部分的なプロセスの概略図である。本発明の一実施例によるスキャン順序に基づいてグラフィカルインターフェースの操作エリアを逐一ハイライト表示にする部分的なプロセスの概略図である。本発明の一実施例によるスキャン順序に基づいてグラフィカルインターフェースの操作エリアを逐一ハイライト表示にする部分的なプロセスの概略図である。本発明の一実施例によるスキャン順序に基づいてグラフィカルインターフェースの操作エリアを逐一ハイライト表示にする部分的なプロセスの概略図である。本発明の一実施例によるグループインターフェースの概略図である。本発明の一実施例によるグループインターフェースの概略図である。本発明の一実施例によるグループインターフェースの概略図である。本発明の一実施例による別の電子装置のブロック図である。本発明の一実施例による瞳孔の位置と輝点の位置の両者の位置対応関係の概略図である。本発明の一実施例による瞳孔の位置と輝点の位置の両者の位置対応関係の概略図である。本発明の一実施例による瞳孔の中心と反射点の両者の距離情報と角度情報の概略図である。本発明の一実施例による瞳孔の中心と反射点の両者の距離情報と角度情報の概略図である。

図１は本発明の一実施例による電子装置のブロック図である。図１を参照すると、電子装置１００は像取得ユニット１１０、表示ユニット１２０、処理ユニット１３０、及び記憶ユニット１４０を備える。像取得ユニット１１０は使用者のイメージシーケンスを取得するために、電子装置１００の使用者に向けて配置される。例えば、像取得ユニット１１０は表示ユニット１２０の上方等に設置しても良く、さらに像取得ユニット１１０は表示ユニット１２０に内蔵もしくは表示ユニット１２０に外付けしても良い。像取得ユニット１１０は例えばＣＣＤレンズ，ＣＭＯＳレンズ或は赤外線レンズを有する撮影機/カメラである。

表示ユニット１２０はグラフィカルインターフェースを表示し、使用者が表示ユニット１２０の画面を見て操作を実行する。表示ユニット１２０はどのような種類の表示装置でも良く、例えば液晶モニター，ＬＥＤモニター或はフレキシブルモニターである。本発明において、グラフィカルインターフェースは複数の操作エリアを有し、さらに各操作エリアは複数の機能オプションの集合であり、各操作エリアに対応するグループインターフェースを備える。

処理ユニット１３０は例えばＣＰＵ，画像処理ユニット（ＧＰＵ），もしくはその他のプログラム可能なマイクロプロセッサ等の装置であり、像取得ユニット１１０、表示ユニット１２０及び記憶ユニット１４０に接続する。

記憶ユニット１４０は例えば任意の固定式もしくはリムーバブルのＲＡＭ，ＲＯＭ，フラッシュメモリ，ハードディスク，その他の類似の装置もしくはこれらの装置の組合せである。本実施例において、記憶ユニット１４０は処理ユニット１３０が実行する複数のモジュールを保存する。これらのモジュールはスキャンモジュール１４１，インターフェース切替モジュール１４３及び眼球運動検出モジュール１４５を含む。さらに別の実施例では、スキャンモジュール１４１，インターフェース切替モジュール１４３、眼球運動検出モジュール１４５は一つもしくは複数のデジタル論理ゲートを組合せたチップでも良い。

また、記憶ユニット１４０はグラフィカルインターフェースのデータ及び複数のグループインターフェースのデータを保存する。グラフィカルインターフェースのデータはグラフィカルインターフェースのサイズ、表示される複数の操作エリアの各サイズ、及び各操作エリアはどこのグループインターフェースのデータに対応するかを定義する。即ち、一つの操作エリアは一つのグループインターフェースのデータに対応する。Ｎ個の操作エリアが設定されたなら、Ｎ個のグループインターフェースのデータに対応して設定される。また、各グループインターフェースのデータは、対応するグループインターフェースのサイズ、表示される機能オプションのサイズ及び各機能オプションに対応する機能が定義される。

スキャンモジュール１４１はスキャンモードにおいて、スキャン順序に基づいてグラフィカルインターフェースの複数の操作エリアをプリセット時間おきに逐一ハイライト表示にし、且つその中の一つの操作エリアをハイライト表示にする時、その前の操作エリアのハイライト表示を取り消す。前記スキャン順序は例えば左から右、それから上から下、しかしながら本発明においてはこれに制限しない。インターフェース切替モジュール１４３はスキャンモードにおいて電子装置１００がトリガー信号を受信する時、前記操作エリアのハイライト表示のエリアを選定エリアとし、選定エリアに対応するグループインターフェースを表示ユニット１２０に表示する。眼球運動検出モジュール１４５は像取得ユニット１１０を駆動し使用者のイメージシーケンスを取得し、且つ眼球運動に基づいて、グループインターフェースの複数の機能オプションから一つ選び操作を実行する。

以下に前記電子装置１００と併せてその操作方法の各ステップを説明する。図２Ａ及び図２Ｂは本発明の一実施例による電子装置の操作方法のフローチャート図である。図１と図２Ａを参照すると、まずステップS２０５において表示ユニット１３０はグラフィカルインターフェースを表示ユニット１２０に表示し、前記グラフィカルインターフェースは複数の操作エリアを有する。例えば、処理ユニット１３０は記憶ユニット１４０からグラフィカルインターフェースのデータを読み取り、グラフィカルインターフェースのデータの定義に基づいてグラフィカルインターフェースを表示する。本発明において、グラフィカルインターフェースは例えば表示ユニット１２０のすべての画面を占めるものであり、画面は４×３，６×４，５×５等の方式で区切られた１２，２４，２５個等の操作エリアとなる。しかしながら、前記複数の操作エリアは例を説明しただけであり、本発明においてはこれに制限しない。

グラフィカルインターフェースを表示した後、処理ユニット１３０はスキャンモジュール１４１を起動し、ステップS２１０に示すように、スキャンモジュール１４１はスキャンモードにおいて、スキャン順序に基づきグラフィカルインターフェースの複数の操作エリアを逐一ハイライト表示にする。例えば、目標とする操作エリアを他の操作エリアとは違う色で現したり、もしくは目標とする操作エリアを立体効果，陰影効果，或いは浮きあがり効果等で現す。さらにスキャンモジュール１４１はその中の一つの操作エリアをハイライト表示とする時、その前の操作エリアのハイライト表示を取り消す。

例を挙げると、図３Ａ〜図３Ｄは本発明の一実施例によるスキャン順序に基づいてグラフィカルインターフェースの複数の操作エリアを逐一ハイライト表示にする部分的なプロセスの概略図である。本実施例において、グラフィカルインターフェース３００は２４個の操作エリアＡ１〜Ａ６，Ｂ１〜Ｂ６，Ｃ１〜Ｃ６，Ｄ１〜Ｄ６を有し、スキャン順序は左から右に、それから上から下である。最初に、図３Ａが示すように、スキャンモジュール１４１は操作エリアＡ１をハイライト表示にする。本発明において、ハイライト表示は目標とする操作エリアの外枠を太い黒枠で表示する。しかしながら、他の実施例においては目標とする操作エリアを立体表示にしても良く、本発明においてはこれに制限しない。

プリセット時間が経過した後、図３Ｂが示すように、スキャンモジュール１４１は操作エリアＡ１の右方の操作エリアＡ２をハイライト表示にし、操作エリアＡ１のハイライト表示を取り消す。次のプリセット時間が経過した後、図３Ｃが示すように、スキャンモジュール１４１は操作エリアＡ３をハイライト表示にし、操作エリアＡ２のハイライト表示を取り消す。さらに次のプリセット時間が経過した後、図３Ｄが示すように、スキャンモジュール１４１は操作エリアＡ４をハイライト表示にし、操作エリアＡ３のハイライト表示を取り消す。ここから類推すると、操作エリアＡ１〜Ａ６を逐一ハイライト表示にした後、スキャンモジュール１４１は下の一列の操作エリアＢ１〜Ｂ６を逐一ハイライト表示にし、続いて、さらに下の一列の操作エリアＣ１〜Ｃ６を逐一ハイライト表示にし、最後に一番下の列の操作エリアＤ１〜Ｄ６を逐一ハイライト表示にする。前記プロセスはスキャンモードにおけるグラフィカルインタフェース３００の表示方式である。また、前記プリセット時間は例えば０．５秒や１秒であり、使用者がプリセット時間の長さを自分で設定できる。

図２Ａを再び参照すると、ステップS２１５では、処理ユニット１３０がスキャンモードにおいてトリガー信号を受信する時、インタフェース切替モジュール１４３によって選定エリアに対応するグループインターフェースを表示ユニット１２０に表示する。前記選定エリアはトリガー信号を受信する時、前記複数の操作エリアのハイライト表示のエリアであることを指す。つまり、各操作エリアは全て対応するグループインターフェースを有し、さらに各グループインターフェースは複数の機能オプションを有する。

具体的には、図２Ｂを参照すると、ステップS２１５はステップS２３１〜S２３３に細かく分けられ、ステップS２３１において、処理ユニット１３０はスキャンモードにおいてトリガー信号を受信するかを判断する。本発明において、トリガー信号はマウス，キーボード或はボタン等入力ユニットにより発生する。もしくは、眼球運動検出モジュール１４５によって該眼球運動を検出し、さらに眼球運動に基づいてトリガー信号を受信するかを判断する。トリガー信号を受信していない場合、スキャンモードを維持し、各操作エリアを逐一ハイライト表示にし、トリガー信号を受信するかを引き続き検出する。

トリガー信号を受信する場合、ステップS２３２のように、インターフェース切替モジュール１４３はトリガー信号を受信する時、ハイライト表示の操作エリアを選定エリアとする。続いて、ステップS２３３において、インターフェース切替モジュール１４３は選定エリアに対応するグループインターフェースを表示する。

図３Ｄの操作エリアＡ４を選定エリアとすることを例にする、即ち、スキャンモードにおいて、操作エリアＡ４がハイライト表示である時トリガー信号を受信すると、操作エリアＡ４を選定エリアとし、さらに、操作エリアＡ４が対応するグループインターフェースを表示ユニット１２０に表示する。本発明において、グラフィカルインターフェースに表示される複数の操作エリアの数はグループインターフェースに表示される複数の機能オプションの数より多い。さらに、グループインターフェースはグラフィカルインターフェースの上層に表示される。また、グループインターフェースとグラフィカルインターフェースの両者のサイズは同じでも良く、もしくはグループインターフェースのサイズはグラフィカルインターフェースのサイズより小さい。

例えば、インターフェース切替モジュール１４３は記憶ユニット１４０から操作エリアＡ４が対応するグループインターフェースのデータを読み取り、グループインターフェースのサイズ、表示される機能オプションのサイズ及び各機能オプションが対応する機能を取得し、それらをグループインターフェースに表示する。下記に３つの例を用いてグループインターフェースの表示を説明する。しかしながら、本発明においてはこれに制限しない。

図４Ａから図４Ｃは本発明の一実施例によるグループインターフェースの概略図である。図４Ａのグループインターフェース４１０は垂直に展開され、グラフィカルインターフェース３００の上層に位置し、そのサイズはグラフィカルインターフェース３００より小さい。グループインターフェース４１０は機能オプションＦ１〜機能オプションＦ３を有する。図４Ｂのグループインターフェース４２０は水平に展開され、グラフィカルインターフェース３００の上層に位置する。グループインターフェース４２０は機能オプションＦ１〜機能オプションＦ３を有し、そのサイズはグラフィカルインターフェース３００より小さい。図４Ａ及び図４Ｂのグループインターフェース４１０及び４２０のように表示される時、使用者は最下層のグラフィカルインターフェース３００の遮られていない操作エリアを見ることができる。本発明において、機能オプションＦ１〜機能オプションＦ３は一つのグループに集積され、且つ操作エリアＡ４に対応する。スキャンモードにおいて操作エリアＡ４を選択する時、それに対応するグループの機能オプションＦ１〜Ｆ３が表示される。

図４Ｃのグループインターフェース４３０はフルスクリーン方式で展開され、そのサイズとグラフィカルインターフェース３００のサイズはほぼ同じである(他の実施例においては完全に同じでも良い)、さらにグループインターフェース４３０はグラフィカルインターフェース３００の上層に位置する。グループインターフェース４３０はフルスクリーン方式で展開されるために、表示できる機能オプションの数は図４Ａ及び図４Ｂのグループインターフェース４１０及び４２０が示す数より多い。ここで、グループインターフェース４３０は機能オプションＦ１〜機能オプションＦ９を有する。

図２Ａを再び参照すると、グループインターフェースを開いた後、ステップS２２０において、眼球運動検出モジュール１４５によって使用者の眼球運動を検出する。具体的には、トリガー信号を受信する時、眼球運動検出モジュール１４５を駆動して操作を実行する。即ち、像取得ユニット１１０により使用者のイメージシーケンスを取得し、イメージシーケンスの分析により眼球運動検出モジュール１４５に使用者の眼球運動を追跡させる。例を挙げると、図２ＢのステップS２４１とS２４２を参照すると、ステップS２４１において、眼球運動検出モジュール１４５はイメージシーケンスにおいて使用者の瞳孔の位置と輝点の位置を検出する。前記輝点の位置とは発光ユニットの放射する光が使用者の目を照らして形成される反射点のことである。続いて、ステップS２４２において、眼球運動検出モジュール１４５は瞳孔の位置と輝点の位置の両者の位置対応関係によって、現在の眼球運動の注視点を判断し、注視点により使用者が選択したい機能オプションが何であるかを判断する。しかしながら、前記注視点の判断は一つの実行方式であり、白目と眼球との間の比率により瞳孔の変位を判断することで注視点を取得しても良く、本発明においてはこれに制限しない。

最後に、ステップS２２５において、眼球運動に基づいて、処理ユニット１３０はグループインターフェースの複数の機能オプションから一つ選び操作を実行する。例えば、図４Ａのグループインターフェース４１０を例とすると、眼球運動検出モジュール１４５は使用者の注視点が機能オプションF１に位置すると検出する時、処理ユニット１３０は機能オプションＦ１が対応する機能を実行する。

また、眼球運動検出モジュール１４５の実行時間はスキャンモードにおいてトリガー信号を受信する時でも良く、処理ユニット１３０は眼球運動検出モジュール１４５を駆動し操作を実行する。つまり、スキャンモードにおいて、眼球運動検出モジュール１４５が眼球運動を検出することはない。また、前記トリガー信号は例えばマウス，キーボード，或いはボタン等の入力ユニットにより発生し、処理ユニット１３０は埋込式制御ユニットによって入力ユニットからトリガー信号を受信するかを判断しても良い。

例えば、図５は本発明の一実施例による別の電子装置のブロック図である。本実施例において、前述した図１の電子装置１００に相当する機能は相当する符号により標示され、関連の説明を省略する。電子装置５００は埋込式制御ユニット５１０及び入力ユニット５２０を含む。

埋込式制御ユニット５１０は処理ユニット１３０及び入力ユニット５２０に接続される。処理ユニット１３０は埋込式制御ユニット５１０によって入力ユニット５２０からトリガー信号を受信するかを判断し、さらに、トリガー信号を受信する時メッセージをスキャンモジュール１４１及びインターフェース切替モジュール１４３に伝送し、スキャンモジュール１４１にスキャンプロセスを一時停止させ、インターフェース切替モジュール１４３により選定エリアに対応するグループインターフェースを表示ユニット１２０に表示する。

また、処理ユニット１３０もスキャンモードにおいて眼球運動検出モジュール１４５を駆動し使用者の眼球運動を検出し、その検出結果に基づいてトリガー信号を受信するかを判断する。さらに、処理ユニット１３０は眼球運動に基づいてトリガー信号を受信したことを判断する時、メッセージをスキャンモジュール１４１及びインターフェース切替モジュール１４３に伝送し、スキャンモジュール１４１にスキャンプロセスを一時停止させ、インターフェース切替モジュール１４３により選定エリアに対応するグループインターフェースを表示ユニット１２０に表示する。例えば、処理ユニット１３０は、眼球運動検出モジュール１４５に検出された眼球運動がウィンクである時、トリガー信号が受信されたと判断する。しかしながら、本発明においてはこれに制限しない。スキャンモードにおけるトリガー信号は入力ユニット５２０から発生する、もしくは使用者の眼球運動に基づいて発生する、または音声制御により発生しても良い。

下記に再度例を用いて眼球運動を検出する実施方法を説明する。

ここで、像取得ユニット１１０によって使用者のイメージシーケンスを取得し、イメージシーケンスの分析により眼球運動検出モジュール１４５に使用者の眼球運動を追跡させる。例えば、眼球運動検出モジュール１４５はイメージシーケンスにおいて使用者の瞳孔の位置と輝点の位置を検出し、さらに瞳孔の位置と輝点の位置の両者の位置対応関係によって、現在の眼球運動の注視点を判断する。前記輝点の位置とは発光ユニットの放射する光が使用者の目を照らして形成される反射点のことである。

具体的には、像取得ユニット１１０は眼のイメージを撮影し、さらに像取得ユニット１１０内は発光ユニットを内蔵し、光を使用者の目に放射し、撮影されるイメージの中に反射点を生じさせる。これにより、眼球運動検出モジュール１４５は光が使用者の目を照らして形成される反射点である輝点の位置と瞳孔の位置の両者の位置対応関係を単純に利用して注視点を判断する。

例えば、使用者の眼球が前方を直視する時、目のイメージにおいて瞳孔の位置と輝点の位置は垂直線上にほぼ位置する、即ち、瞳孔の位置と輝点の位置の水平距離は誤差の範囲内にある。そのため、瞳孔の位置と輝点の位置の水平距離が上述の誤差範囲を超え、かつ瞳孔の位置が輝点の位置の左方に位置する時、使用者の眼球が左方に移動することを示す。また、瞳孔の位置と輝点の位置の水平距離が上述の誤差範囲を超え、かつ瞳孔の位置が輝点の位置の右方に位置する時、使用者の眼球が右方に移動することを示す。また、瞳孔の位置と輝点の位置の垂直距離に基づいて眼球が上方もしくは下方に移動するかを判断する。

例を挙げると、図６Ａと図６Ｂは本発明の一実施例による瞳孔の位置と輝点の位置の両者の位置対応関係の概略図である。本実施例の図６Ａ及び図６Ｂのグループインターフェースはフルスクリーン表示を例としている。しかしながら、グループインターフェースのサイズはフルスクリーンより小さい場合、下記実施方式を適用する。図６Ａは画面を２×２方式で区切られた４個の機能オプションであり、図６Ｂは画面を３×３方式で区切られた９個の機能オプションである。本実施例における各機能オプションの瞳孔の位置と輝点の位置は説明の簡易化のためだけであり、表示画面に上述の位置を表示するのを表しているわけではない。

図６Ａと図６Ｂのように、眼球が左方に移動すると、瞳孔の位置が輝点の位置の左方に位置する、また、眼球が右方に移動すると、瞳孔の位置が輝点の位置の右方に位置する。また、眼球が上方に移動するほど、瞳孔の位置と輝点の位置の垂直距離が大きくなり、逆に眼球が下方に移動するほど、瞳孔の位置と輝点の位置の垂直距離が小さくなる。上述の定義によると、使用者の目のイメージから瞳孔の位置と輝点の位置を探し出した後、使用者の注視点がどの操作エリアにあるか知ることができる。

また、本実施例において、処理ユニット１３０が実行する複数のモジュールは誘導校正モジュール５３０をさらに含む。眼球運動検出モジュール１４５は使用者の眼球運動を検出する前、誘導校正モジュール５３０は使用者が見る表示ユニット１２０の指定位置に導くことにより、眼球運動検出モジュール１４５の基準情報を校正する。例えば、誘導校正モジュール５３０は使用者が見る表示ユニット１２０の中央位置に導くことにより、以降における比較の基準情報とする表示ユニット１２０の中央位置に対応する輝点の位置と瞳孔の位置を取得する。

上述の方式以外にも、眼球運動検出モジュール１４５は瞳孔の位置と輝点の位置を表示ユニット１２０に対応する座標に換算しても良く、これにより注視点を更に正確に識別できる。具体的には、毎回表示ユニット１２０は一つの操作エリアを表示して使用者に見せ、そして瞳孔の中心と輝点の両者の参考距離と参考角度を計算し、それから別の操作エリアを表示して使用者に見せ、予定数の操作エリアを表示し終える。これにより各操作エリアと前記参考距離と前記参考角度の間の関係を取得することができる。

瞳孔の位置と反射点の両者の参考距離と参考角度の定義は以下の通りである。図７Ａ及び図７Ｂは本発明の一実施例による瞳孔の中心と反射点の両者の距離情報と角度情報の概略図である。図７Ａは眼のイメージであり、図７Ｂは図７Ａの範囲７００の拡大図である。図７Ｂにおいて、瞳孔の中心Ｃ１によってｙ軸(垂直軸)及びｘ軸(水平軸)を定義し、瞳孔の中心Ｃ１と反射点Ｃ２両者のｙ軸上の参考距離Ｌを計算し、さらに瞳孔の中心Ｃ１に相対する反射点Ｃ２のベクトルＶとｙ軸との間の参考角度θを計算する。

事前に使用者が各操作エリアを見ることで複数の瞳孔の中心と反射点の両者の参考距離Ｌと参考角度θを取得し、さらに前記の参考距離Ｌ及び参考角度θと表示ユニット１２０の複数の操作エリアは正規分布図を形成する。その後、眼球運動検出モジュール１４５が使用者の眼球運動を検出する時、瞳孔の位置と反射点の両者の参考距離Ｌ及び参考角度θを取得後、対応する前記の正規分布図は一つの座標点を取得でき、該座標点を内挿法によって表示ユニット１２０に対応する位置座標に換算する。これにより更に正確に視線者の注視点を得ることができる。

以上のように、上述の実施例において、最初にスキャンモードを起動し、使用者に最初の選択をさせる(第１段階)。使用者が一つの操作エリア(例えば一つのアイコン)を選定した後、眼球運動検出モードを実行し(第２段階)、第１段階で選定した操作エリアに付属する機能オプションが表示される(例えばアイコン表示)。また、眼球運動検出モジュールを起動し、眼球運動による更に細かな選定の実行を使用者に提供する。第１段階はスキャンモードであるので、比較的多くの操作エリアを表示できる(例えば１６個以上、もしくは２４個以上)。眼球運動検出の正確性を上げるために、第２段階において表示される機能オプションの数は減らし、例えば表示を３〜９個の機能オプションのみとし、上述の２つの段階を経て、画面に毎回現れる使用者に選択させる項目を減らすことができる(操作エリア，機能オプション)。さらに、眼球運動検出モードにおいて提供する項目が減るので、校正プログラムは簡易化され、１点の校正を行うだけでよくなり、従来のアイトラッキング技術の福祉機器が必要とする複雑な校正プログラムを改善した。また、身体に追加の装置を装着する必要は無く、使用者は高価な費用を負担する必要も無く、位置設定機能の正確な効果を得ることができる。

本発明は以上の実施例のように示したが、本発明は、これに限られるものではなく、当業者が本発明の精神の範囲から逸脱しない範囲において、変更又は修正することが可能であるが故に本発明の保護範囲は均等の範囲にまで及ぶものとする。

本発明はスキャン技術とアイトラッキング技術を組み合わせたものであり、スキャンモードにおいて大きな範囲のグループ選択を行い、眼球運動を利用し、機能オプションの選定を行う。スキャン技術とアイトラッキング技術間に技術面とコスト面の優れたバランスを取ることで、アイトラッキング技術は高価なハードの設備を必要とせず、グラフィカルインターフェースに対して簡便且つ快速な操作を可能にさせる。

１００：電子装置
１１０：像取得ユニット
１２０：表示ユニット
１３０：処理ユニット
１４０：記憶ユニット
１４１：スキャンモジュール
１４３：インターフェース切替モジュール
１４５：眼球運動検出モジュール
３００：グラフィカルインターフェース
４１０：グループインターフェース
４２０：グループインターフェース
４３０：グループインターフェース
５１０：埋込式制御ユニット
５２０：入力ユニット
５３０：誘導校正モジュール
７００：範囲

Claims

複数の操作エリアを有するグラフィカルインターフェースを表示ユニットに表示するステップと、
スキャンモードにおいて、スキャン順序に基づいて前記複数の操作エリアを逐一ハイライト表示とし、前記複数の操作エリアの中の一つがハイライト表示である時、その前の操作エリアのハイライト表示を取り消すステップと、
前記スキャンモードにおいてトリガー信号を受信する時、選定エリアに対応するグループインターフェースを表示ユニットに表示し、その中の前記選定エリアは前記トリガー信号を受信する時、前記複数の操作エリアのハイライト表示のエリアとするステップと、
眼球運動検出モジュールによって使用者の眼球運動を検出するステップと、
前記眼球運動に基づいて前記グループインターフェースの複数の機能オプションから一つの機能オプションを選び、操作を実行するステップとを含むことを特徴とする電子装置の操作方法。
前記スキャンモードにおいて前記トリガー信号を受信する時、前記眼球運動検出モジュールを駆動して操作を実行することを特徴とする請求項１に記載の電子装置の操作方法。
前記眼球運動検出モジュールによって前記使用者の前記眼球運動を検出するステップは、
像取得ユニットにより前記使用者のイメージシーケンスを取得し、前記イメージシーケンスの分析により前記眼球運動検出モジュールに前記使用者の前記眼球運動を追跡させるステップをさらに含むことを特徴とする請求項１又は２に記載の電子装置の操作方法。
前記イメージシーケンスの分析により前記使用者の前記眼球運動を追跡させるステップは、前記イメージシーケンスにおいて前記使用者の瞳孔の位置と発光ユニットの放射する光が前記使用者の目を照らして形成される反射点である輝点の位置を検出するステップと、
前記瞳孔の位置と前記輝点の位置の両者の位置対応関係によって、現在の前記眼球運動の注視点を判断するステップとをさらに含むことを特徴とする請求項３に記載の電子装置の操作方法。
前記眼球運動検出モジュールによって前記使用者の前記眼球運動を検出するステップの前に、
前記使用者が見る表示ユニットの指定位置に導くことにより、前記眼球運動検出モジュールの基準情報を校正するステップをさらに含むことを特徴とする請求項１〜４のいずれか一項に記載の電子装置の操作方法。
前記スキャンモードにおいて、
前記眼球運動検出モジュールによって前記使用者の前記眼球運動を検出するステップと、
前記眼球運動に基づいて前記トリガー信号を受信するか判断するステップをさらに含むことを特徴とする請求項１〜５のいずれか一項に記載の電子装置の操作方法。
前記トリガー信号は入力ユニットから発生することを特徴とする請求項１〜６のいずれか一項に記載の電子装置の操作方法。
前記グラフィカルインターフェースが表示される前記複数の操作エリアの数は前記グループインターフェースが表示される前記複数の機能オプションの数より多く、
且つ、前記グループインターフェースは前記グラフィカルインターフェースの上層に表示され、前記グループインターフェースと前記グラフィカルインターフェースの両者のサイズは同じ、もしくは前記グループインターフェースのサイズは前記グラフィカルインターフェースのサイズより小さいことを特徴とする請求項１〜７のいずれか一項に記載の電子装置の操作方法。
電子装置の使用者に向けて配置される像取得ユニットと、
複数の操作エリアを有するグラフィカルインターフェースを表示する表示ユニットと、
前記表示ユニットと前記像取得ユニットに接続され、複数のモジュールを実行する処理ユニットとを含み、
前記複数のモジュールは
スキャンモードにおいて、スキャン順序に基づいて前記複数の操作エリアを逐一ハイライト表示にし、且つ前記複数の操作エリアの一つがハイライト表示である時、その前の操作エリアのハイライト表示を取り消すスキャンモジュールと、
前記スキャンモードにおいてトリガー信号を受信する時、選定エリアに対応するグループインターフェースを前記表示ユニットに表示し、その中の前記選定エリアは前記トリガー信号を受信する時、前記複数の操作エリアのハイライト表示のエリアとするインターフェース切替モジュールと、
像取得ユニットを駆動して使用者のイメージシーケンスを取得し、前記イメージシーケンスの分析により前記使用者の眼球運動を検出し、且つ前記眼球運動に基づいて、前記グループインターフェースの複数の機能オプションから一つの機能オプションを選び、操作を実行する眼球運動検出モジュールとを有することを特徴とする電子装置。
前記スキャンモジュールは、前記スキャンモードにおいて前記トリガー信号を受信する時、前記眼球運動検出モジュールを駆動して操作を実行すること、を特徴とする請求項９に記載の電子装置。
前記眼球運動検出モジュールは前記イメージシーケンスにおいて前記使用者の瞳孔の位置と発光ユニットの放射する光が前記使用者の目を照らして形成される反射点である輝点の位置を検出し、さらに前記瞳孔の位置と前記輝点の位置の両者の位置対応関係によって、現在の前記眼球運動の注視点を判断することを特徴とする請求項９又は１０に記載の電子装置。
前記複数のモジュールは、前記使用者が見る前記表示ユニットの指定位置に導くことにより、前記眼球運動検出モジュールの基準情報を校正する誘導校正モジュールをさらに含むことを特徴とする請求項９〜１１のいずれか一項に記載の電子装置。
前記スキャンモジュールは前記スキャンモードにおいて前記眼球運動検出モジュールを駆動し、前記眼球運動検出モジュールに前記使用者の前記眼球運動を検出させ、さらに前記処理ユニットは前記眼球運動に基づいて前記トリガー信号を受信したことを判断する時、メッセージを前記スキャンモジュール及び前記インターフェース切替モジュールに伝送し、前記スキャンモジュールにスキャンプロセスを一時停止させ、前記インターフェース切替モジュールにより前記選定エリアに対応する前記グループインターフェースを前記表示ユニットに表示させることを特徴とする請求項９〜１２のいずれか一項に記載の電子装置。
入力ユニットと、
前記処理ユニット及び前記入力ユニットに接続され、前記入力ユニットから前記トリガー信号を受信するかを判断し、さらに、前記処理ユニットは前記トリガー信号を受信する時、メッセージを前記スキャンモジュール及び前記インターフェース切替モジュールに伝送し、前記スキャンモジュールにスキャンプロセスを一時停止させ、前記インターフェース切替モジュールにより前記選定エリアに対応する前記グループインターフェースを前記表示ユニットに表示させる埋込式制御ユニットをさらに含むことを特徴とする請求項９〜１３のいずれか一項に記載の電子装置。
前記処理ユニットに接続され、前記モジュール，グラフィカルインターフェースのデータ及び複数のグループインターフェースのデータを保存する記憶ユニットをさらに含み、
前記グラフィカルインターフェースのデータは前記グラフィカルインターフェースのサイズ、表示される前記複数の操作エリアの各サイズ及び各前記複数の操作エリアに対応する前記複数のグループインターフェースのデータの中の一つを定義し、
各前記複数のグループインターフェースのデータは対応する前記複数のグループインターフェースのサイズ、表示される前記複数の機能オプションのサイズ及び各前記複数の機能オプションに対応する機能を定義することを特徴とする請求項９〜１４のいずれか一項に記載の電子装置。