JP2015201161A - 電子装置とその操作方法 - Google Patents

電子装置とその操作方法 Download PDF

Info

Publication number
JP2015201161A
JP2015201161A JP2014213572A JP2014213572A JP2015201161A JP 2015201161 A JP2015201161 A JP 2015201161A JP 2014213572 A JP2014213572 A JP 2014213572A JP 2014213572 A JP2014213572 A JP 2014213572A JP 2015201161 A JP2015201161 A JP 2015201161A
Authority
JP
Japan
Prior art keywords
eye movement
user
electronic device
interface
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014213572A
Other languages
English (en)
Other versions
JP6092173B2 (ja
Inventor
鄒嘉駿
Chia-Chun Tsou
林伯聰
Bai Cong Lin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Utechzone Co Ltd
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Publication of JP2015201161A publication Critical patent/JP2015201161A/ja
Application granted granted Critical
Publication of JP6092173B2 publication Critical patent/JP6092173B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】アイトラッキング技術に基づきグラフィカルインターフェースに対して簡便かつ快速な操作を実行できる電子装置とその操作方法を提供する。【解決手段】電子装置とその操作方法に関し、この電子装置は、スキャンモードにおいて、グラフィカルインターフェースの操作エリアを逐一ハイライト表示とするステップと、トリガー信号を受信する時、選定エリアに対応するグループインターフェースを表示ユニットに表示し、その中の選定エリアはトリガー信号を受信する時、前記操作エリアをハイライト表示のエリアとするステップと、さらに、眼球運動検出モジュールによって使用者の眼球運動を検出し、眼球運動に基づいてグループインターフェースの複数の機能オプションから一つ選び操作を実行するステップを有する。【選択図】図1

Description

本発明は電子装置とその操作方法に関するものであり、特にアイトラッキング技術を組み込んだ電子装置とその操作方法に関するものである。
現在アイトラッキング技術は主に侵襲性(invasive)と非侵襲性(non-invasive)の2つに分けられる。侵襲性のアイトラッキング技術は主に眼球へのサーチコイルの設置もしくは眼電図(electrooculogram)の使用である。非侵襲性のアイトラッキング技術はフリーヘッド式もしくはヘッドマウント式に分けられる。科学技術の発達に伴い、アイトラッキング技術は例えば、神経科学,心理学,経営工学,人間工学,マーケティング広告,コンピューター科学など各分野において大幅に応用されている。
アイトラッキング技術は言語障害者や身体障害者のコミュニケーションを実行し必要なものを補助し、運動障害者に更に多大な利便性をもたらす。例えば、筋萎縮性側索硬化症,筋ジストロフィー,脳性麻痺,多発性硬化症,脳血管発作,脊髄損傷を患う運動障害者などにとって,アイトラッキング技術を組み込んだ電子製品の補助により、マウスの代わりに眼を用いてコミュニケーション,インターネット及びメディアの娯楽活動などを可能とする。
しかしながら、上述の侵襲性と非侵襲性の2種類のアイトラッキング技術は高価なハードとソフトの設備が必要であり、さらに複雑な校正プログラムを必要とすることから、実行状態の安定性は良くなく、さらにコストも相当高く、アイトラッキング技術を普及させることができない。
これらの問題を解決するため、本発明の電子装置の操作方法は、複数の操作エリアを有するグラフィカルインターフェースを表示ユニットに表示するステップと、スキャンモードにおいて、スキャン順序に基づいて前記複数の操作エリアを逐一ハイライト表示とし、前記複数の操作エリアの中の一つがハイライト表示である時、その前の操作エリアのハイライト表示を取り消すステップと、スキャンモードにおいてトリガー信号を受信する時、選定エリアに対応するグループインターフェースを表示ユニットに表示し、その中の選定エリアはトリガー信号を受信する時、前記操作エリアをハイライト表示のエリアとするステップと、眼球運動検出モジュールによって使用者の眼球運動を検出するステップと、及び眼球運動に基づいて該グループインターフェースの複数の機能オプションから一つの機能オプションを選び操作を実行するステップとを含む。
本発明の1つの実施形態において、前記操作方法は、スキャンモードにおいてトリガー信号を受信する時、眼球運動検出モジュールを駆動して操作を実行する。
本発明の1つの実施形態において、前記眼球運動検出モジュールによって使用者の眼球運動を検出するステップは、像取得ユニットにより使用者のイメージシーケンスを取得し、イメージシーケンスの分析により眼球運動検出モジュールに使用者の眼球運動を追跡させるステップをさらに含む。
本発明の1つの実施形態において、該イメージシーケンスの分析により使用者の眼球運動を追跡させる前記ステップは、イメージシーケンスにおいて使用者の瞳孔の位置と発光ユニットの放射する光が使用者の目を照らして形成される反射点である輝点の位置を検出するステップと、瞳孔の位置と輝点の位置の両者の位置対応関係によって、現在の眼球運動の注視点を判断するステップとをさらに含む。
本発明の1つの実施形態において、前記眼球運動検出モジュールによって使用者の眼球運動を検出するステップの前に、使用者が見る表示ユニットの指定位置に導くことにより、眼球運動検出モジュールの基準情報を校正するステップをさらに含む。
本発明の1つの実施形態において、前記スキャンモードにおいて、眼球運動検出モジュールによって使用者の眼球運動を検出するステップと、眼球運動に基づいてトリガー信号を受信するかを判断するステップをさらに含む。
本発明の1つの実施形態において、前記トリガー信号は入力ユニットから発生する。
本発明の1つの実施形態において、前記グラフィカルインターフェースが表示される複数の操作エリアの数はグループインターフェースが表示される複数の機能オプションの数より多く、且つ、グループインターフェースはグラフィカルインターフェースの上層に表示され、グループインターフェースとグラフィカルインターフェースの両者のサイズは同じ、もしくはグループインターフェースのサイズはグラフィカルインターフェースのサイズより小さい。
また、本発明はさらに電子装置を提供する。この電子装置は、電子装置の使用者に向けて配置される像取得ユニットと、複数の操作エリアを有するグラフィカルインターフェースを表示する表示ユニットと、表示ユニットと像取得ユニットに接続され、複数のモジュールを実行する処理ユニットとを含む。前記複数のモジュールは、スキャンモジュールとインターフェース切替モジュールと眼球運動検出モジュールとを有する。スキャンモジュールは、スキャンモードにおいて、スキャン順序に基づいて前記複数の操作エリアを逐一ハイライト表示にし、且つ前記複数の操作エリア中の一つがハイライト表示である時、その前の操作エリアのハイライト表示を取り消す。インターフェース切替モジュールは、スキャンモードにおいてトリガー信号を受信する時、選定エリアが対応するグループインターフェースを表示ユニットに表示し、その中の選定エリアはトリガー信号を受信する時、前記複数の操作エリアのハイライト表示のエリアとする。眼球運動検出モジュールは、像取得ユニットを駆動して使用者のイメージシーケンスを取得し、イメージシーケンスの分析により使用者の眼球運動を検出し、且つ眼球運動に基づいて、グループインターフェースの複数の機能オプションから一つの機能オプションを選び、操作を実行する。
以上のように、本発明は電子装置とその操作方法を提供し、アイトラッキング技術に基づきグラフィカルインターフェースに対して簡便かつ快速な操作を実行できる。
本発明の上述した特徴と利点を更に明確化するために、以下、幾つかの実施例を挙げて図面と共に詳細な内容を説明する。
本発明の一実施例による電子装置のブロック図である。 本発明の一実施例による電子装置の操作方法のフローチャート図である。 本発明の一実施例による電子装置の操作方法のフローチャート図である。 本発明の一実施例によるスキャン順序に基づいてグラフィカルインターフェースの操作エリアを逐一ハイライト表示にする部分的なプロセスの概略図である。 本発明の一実施例によるスキャン順序に基づいてグラフィカルインターフェースの操作エリアを逐一ハイライト表示にする部分的なプロセスの概略図である。 本発明の一実施例によるスキャン順序に基づいてグラフィカルインターフェースの操作エリアを逐一ハイライト表示にする部分的なプロセスの概略図である。 本発明の一実施例によるスキャン順序に基づいてグラフィカルインターフェースの操作エリアを逐一ハイライト表示にする部分的なプロセスの概略図である。 本発明の一実施例によるグループインターフェースの概略図である。 本発明の一実施例によるグループインターフェースの概略図である。 本発明の一実施例によるグループインターフェースの概略図である。 本発明の一実施例による別の電子装置のブロック図である。 本発明の一実施例による瞳孔の位置と輝点の位置の両者の位置対応関係の概略図である。 本発明の一実施例による瞳孔の位置と輝点の位置の両者の位置対応関係の概略図である。 本発明の一実施例による瞳孔の中心と反射点の両者の距離情報と角度情報の概略図である。 本発明の一実施例による瞳孔の中心と反射点の両者の距離情報と角度情報の概略図である。
図1は本発明の一実施例による電子装置のブロック図である。図1を参照すると、電子装置100は像取得ユニット110、表示ユニット120、処理ユニット130、及び記憶ユニット140を備える。像取得ユニット110は使用者のイメージシーケンスを取得するために、電子装置100の使用者に向けて配置される。例えば、像取得ユニット110は表示ユニット120の上方等に設置しても良く、さらに像取得ユニット110は表示ユニット120に内蔵もしくは表示ユニット120に外付けしても良い。像取得ユニット110は例えばCCDレンズ,CMOSレンズ或は赤外線レンズを有する撮影機/カメラである。
表示ユニット120はグラフィカルインターフェースを表示し、使用者が表示ユニット120の画面を見て操作を実行する。表示ユニット120はどのような種類の表示装置でも良く、例えば液晶モニター,LEDモニター或はフレキシブルモニターである。本発明において、グラフィカルインターフェースは複数の操作エリアを有し、さらに各操作エリアは複数の機能オプションの集合であり、各操作エリアに対応するグループインターフェースを備える。
処理ユニット130は例えばCPU,画像処理ユニット(GPU),もしくはその他のプログラム可能なマイクロプロセッサ等の装置であり、像取得ユニット110、表示ユニット120及び記憶ユニット140に接続する。
記憶ユニット140は例えば任意の固定式もしくはリムーバブルのRAM,ROM,フラッシュメモリ,ハードディスク,その他の類似の装置もしくはこれらの装置の組合せである。本実施例において、記憶ユニット140は処理ユニット130が実行する複数のモジュールを保存する。これらのモジュールはスキャンモジュール141,インターフェース切替モジュール143及び眼球運動検出モジュール145を含む。さらに別の実施例では、スキャンモジュール141,インターフェース切替モジュール143、眼球運動検出モジュール145は一つもしくは複数のデジタル論理ゲートを組合せたチップでも良い。
また、記憶ユニット140はグラフィカルインターフェースのデータ及び複数のグループインターフェースのデータを保存する。グラフィカルインターフェースのデータはグラフィカルインターフェースのサイズ、表示される複数の操作エリアの各サイズ、及び各操作エリアはどこのグループインターフェースのデータに対応するかを定義する。即ち、一つの操作エリアは一つのグループインターフェースのデータに対応する。N個の操作エリアが設定されたなら、N個のグループインターフェースのデータに対応して設定される。また、各グループインターフェースのデータは、対応するグループインターフェースのサイズ、表示される機能オプションのサイズ及び各機能オプションに対応する機能が定義される。
スキャンモジュール141はスキャンモードにおいて、スキャン順序に基づいてグラフィカルインターフェースの複数の操作エリアをプリセット時間おきに逐一ハイライト表示にし、且つその中の一つの操作エリアをハイライト表示にする時、その前の操作エリアのハイライト表示を取り消す。前記スキャン順序は例えば左から右、それから上から下、しかしながら本発明においてはこれに制限しない。インターフェース切替モジュール143はスキャンモードにおいて電子装置100がトリガー信号を受信する時、前記操作エリアのハイライト表示のエリアを選定エリアとし、選定エリアに対応するグループインターフェースを表示ユニット120に表示する。眼球運動検出モジュール145は像取得ユニット110を駆動し使用者のイメージシーケンスを取得し、且つ眼球運動に基づいて、グループインターフェースの複数の機能オプションから一つ選び操作を実行する。
以下に前記電子装置100と併せてその操作方法の各ステップを説明する。図2A及び図2Bは本発明の一実施例による電子装置の操作方法のフローチャート図である。図1と図2Aを参照すると、まずステップS205において表示ユニット130はグラフィカルインターフェースを表示ユニット120に表示し、前記グラフィカルインターフェースは複数の操作エリアを有する。例えば、処理ユニット130は記憶ユニット140からグラフィカルインターフェースのデータを読み取り、グラフィカルインターフェースのデータの定義に基づいてグラフィカルインターフェースを表示する。本発明において、グラフィカルインターフェースは例えば表示ユニット120のすべての画面を占めるものであり、画面は4×3,6×4,5×5等の方式で区切られた12,24,25個等の操作エリアとなる。しかしながら、前記複数の操作エリアは例を説明しただけであり、本発明においてはこれに制限しない。
グラフィカルインターフェースを表示した後、処理ユニット130はスキャンモジュール141を起動し、ステップS210に示すように、スキャンモジュール141はスキャンモードにおいて、スキャン順序に基づきグラフィカルインターフェースの複数の操作エリアを逐一ハイライト表示にする。例えば、目標とする操作エリアを他の操作エリアとは違う色で現したり、もしくは目標とする操作エリアを立体効果,陰影効果,或いは浮きあがり効果等で現す。さらにスキャンモジュール141はその中の一つの操作エリアをハイライト表示とする時、その前の操作エリアのハイライト表示を取り消す。
例を挙げると、図3A〜図3Dは本発明の一実施例によるスキャン順序に基づいてグラフィカルインターフェースの複数の操作エリアを逐一ハイライト表示にする部分的なプロセスの概略図である。本実施例において、グラフィカルインターフェース300は24個の操作エリアA1〜A6,B1〜B6,C1〜C6,D1〜D6を有し、スキャン順序は左から右に、それから上から下である。最初に、図3Aが示すように、スキャンモジュール141は操作エリアA1をハイライト表示にする。本発明において、ハイライト表示は目標とする操作エリアの外枠を太い黒枠で表示する。しかしながら、他の実施例においては目標とする操作エリアを立体表示にしても良く、本発明においてはこれに制限しない。
プリセット時間が経過した後、図3Bが示すように、スキャンモジュール141は操作エリアA1の右方の操作エリアA2をハイライト表示にし、操作エリアA1のハイライト表示を取り消す。次のプリセット時間が経過した後、図3Cが示すように、スキャンモジュール141は操作エリアA3をハイライト表示にし、操作エリアA2のハイライト表示を取り消す。さらに次のプリセット時間が経過した後、図3Dが示すように、スキャンモジュール141は操作エリアA4をハイライト表示にし、操作エリアA3のハイライト表示を取り消す。ここから類推すると、操作エリアA1〜A6を逐一ハイライト表示にした後、スキャンモジュール141は下の一列の操作エリアB1〜B6を逐一ハイライト表示にし、続いて、さらに下の一列の操作エリアC1〜C6を逐一ハイライト表示にし、最後に一番下の列の操作エリアD1〜D6を逐一ハイライト表示にする。前記プロセスはスキャンモードにおけるグラフィカルインタフェース300の表示方式である。また、前記プリセット時間は例えば0.5秒や1秒であり、使用者がプリセット時間の長さを自分で設定できる。
図2Aを再び参照すると、ステップS215では、処理ユニット130がスキャンモードにおいてトリガー信号を受信する時、インタフェース切替モジュール143によって選定エリアに対応するグループインターフェースを表示ユニット120に表示する。前記選定エリアはトリガー信号を受信する時、前記複数の操作エリアのハイライト表示のエリアであることを指す。つまり、各操作エリアは全て対応するグループインターフェースを有し、さらに各グループインターフェースは複数の機能オプションを有する。
具体的には、図2Bを参照すると、ステップS215はステップS231〜S233に細かく分けられ、ステップS231において、処理ユニット130はスキャンモードにおいてトリガー信号を受信するかを判断する。本発明において、トリガー信号はマウス,キーボード或はボタン等入力ユニットにより発生する。もしくは、眼球運動検出モジュール145によって該眼球運動を検出し、さらに眼球運動に基づいてトリガー信号を受信するかを判断する。トリガー信号を受信していない場合、スキャンモードを維持し、各操作エリアを逐一ハイライト表示にし、トリガー信号を受信するかを引き続き検出する。
トリガー信号を受信する場合、ステップS232のように、インターフェース切替モジュール143はトリガー信号を受信する時、ハイライト表示の操作エリアを選定エリアとする。続いて、ステップS233において、インターフェース切替モジュール143は選定エリアに対応するグループインターフェースを表示する。
図3Dの操作エリアA4を選定エリアとすることを例にする、即ち、スキャンモードにおいて、操作エリアA4がハイライト表示である時トリガー信号を受信すると、操作エリアA4を選定エリアとし、さらに、操作エリアA4が対応するグループインターフェースを表示ユニット120に表示する。本発明において、グラフィカルインターフェースに表示される複数の操作エリアの数はグループインターフェースに表示される複数の機能オプションの数より多い。さらに、グループインターフェースはグラフィカルインターフェースの上層に表示される。また、グループインターフェースとグラフィカルインターフェースの両者のサイズは同じでも良く、もしくはグループインターフェースのサイズはグラフィカルインターフェースのサイズより小さい。
例えば、インターフェース切替モジュール143は記憶ユニット140から操作エリアA4が対応するグループインターフェースのデータを読み取り、グループインターフェースのサイズ、表示される機能オプションのサイズ及び各機能オプションが対応する機能を取得し、それらをグループインターフェースに表示する。下記に3つの例を用いてグループインターフェースの表示を説明する。しかしながら、本発明においてはこれに制限しない。
図4Aから図4Cは本発明の一実施例によるグループインターフェースの概略図である。図4Aのグループインターフェース410は垂直に展開され、グラフィカルインターフェース300の上層に位置し、そのサイズはグラフィカルインターフェース300より小さい。グループインターフェース410は機能オプションF1〜機能オプションF3を有する。図4Bのグループインターフェース420は水平に展開され、グラフィカルインターフェース300の上層に位置する。グループインターフェース420は機能オプションF1〜機能オプションF3を有し、そのサイズはグラフィカルインターフェース300より小さい。図4A及び図4Bのグループインターフェース410及び420のように表示される時、使用者は最下層のグラフィカルインターフェース300の遮られていない操作エリアを見ることができる。本発明において、機能オプションF1〜機能オプションF3は一つのグループに集積され、且つ操作エリアA4に対応する。スキャンモードにおいて操作エリアA4を選択する時、それに対応するグループの機能オプションF1〜F3が表示される。
図4Cのグループインターフェース430はフルスクリーン方式で展開され、そのサイズとグラフィカルインターフェース300のサイズはほぼ同じである(他の実施例においては完全に同じでも良い)、さらにグループインターフェース430はグラフィカルインターフェース300の上層に位置する。グループインターフェース430はフルスクリーン方式で展開されるために、表示できる機能オプションの数は図4A及び図4Bのグループインターフェース410及び420が示す数より多い。ここで、グループインターフェース430は機能オプションF1〜機能オプションF9を有する。
図2Aを再び参照すると、グループインターフェースを開いた後、ステップS220において、眼球運動検出モジュール145によって使用者の眼球運動を検出する。具体的には、トリガー信号を受信する時、眼球運動検出モジュール145を駆動して操作を実行する。即ち、像取得ユニット110により使用者のイメージシーケンスを取得し、イメージシーケンスの分析により眼球運動検出モジュール145に使用者の眼球運動を追跡させる。例を挙げると、図2BのステップS241とS242を参照すると、ステップS241において、眼球運動検出モジュール145はイメージシーケンスにおいて使用者の瞳孔の位置と輝点の位置を検出する。前記輝点の位置とは発光ユニットの放射する光が使用者の目を照らして形成される反射点のことである。続いて、ステップS242において、眼球運動検出モジュール145は瞳孔の位置と輝点の位置の両者の位置対応関係によって、現在の眼球運動の注視点を判断し、注視点により使用者が選択したい機能オプションが何であるかを判断する。しかしながら、前記注視点の判断は一つの実行方式であり、白目と眼球との間の比率により瞳孔の変位を判断することで注視点を取得しても良く、本発明においてはこれに制限しない。
最後に、ステップS225において、眼球運動に基づいて、処理ユニット130はグループインターフェースの複数の機能オプションから一つ選び操作を実行する。例えば、図4Aのグループインターフェース410を例とすると、眼球運動検出モジュール145は使用者の注視点が機能オプションF1に位置すると検出する時、処理ユニット130は機能オプションF1が対応する機能を実行する。
また、眼球運動検出モジュール145の実行時間はスキャンモードにおいてトリガー信号を受信する時でも良く、処理ユニット130は眼球運動検出モジュール145を駆動し操作を実行する。つまり、スキャンモードにおいて、眼球運動検出モジュール145が眼球運動を検出することはない。また、前記トリガー信号は例えばマウス,キーボード,或いはボタン等の入力ユニットにより発生し、処理ユニット130は埋込式制御ユニットによって入力ユニットからトリガー信号を受信するかを判断しても良い。
例えば、図5は本発明の一実施例による別の電子装置のブロック図である。本実施例において、前述した図1の電子装置100に相当する機能は相当する符号により標示され、関連の説明を省略する。電子装置500は埋込式制御ユニット510及び入力ユニット520を含む。
埋込式制御ユニット510は処理ユニット130及び入力ユニット520に接続される。処理ユニット130は埋込式制御ユニット510によって入力ユニット520からトリガー信号を受信するかを判断し、さらに、トリガー信号を受信する時メッセージをスキャンモジュール141及びインターフェース切替モジュール143に伝送し、スキャンモジュール141にスキャンプロセスを一時停止させ、インターフェース切替モジュール143により選定エリアに対応するグループインターフェースを表示ユニット120に表示する。
また、処理ユニット130もスキャンモードにおいて眼球運動検出モジュール145を駆動し使用者の眼球運動を検出し、その検出結果に基づいてトリガー信号を受信するかを判断する。さらに、処理ユニット130は眼球運動に基づいてトリガー信号を受信したことを判断する時、メッセージをスキャンモジュール141及びインターフェース切替モジュール143に伝送し、スキャンモジュール141にスキャンプロセスを一時停止させ、インターフェース切替モジュール143により選定エリアに対応するグループインターフェースを表示ユニット120に表示する。例えば、処理ユニット130は、眼球運動検出モジュール145に検出された眼球運動がウィンクである時、トリガー信号が受信されたと判断する。しかしながら、本発明においてはこれに制限しない。スキャンモードにおけるトリガー信号は入力ユニット520から発生する、もしくは使用者の眼球運動に基づいて発生する、または音声制御により発生しても良い。
下記に再度例を用いて眼球運動を検出する実施方法を説明する。
ここで、像取得ユニット110によって使用者のイメージシーケンスを取得し、イメージシーケンスの分析により眼球運動検出モジュール145に使用者の眼球運動を追跡させる。例えば、眼球運動検出モジュール145はイメージシーケンスにおいて使用者の瞳孔の位置と輝点の位置を検出し、さらに瞳孔の位置と輝点の位置の両者の位置対応関係によって、現在の眼球運動の注視点を判断する。前記輝点の位置とは発光ユニットの放射する光が使用者の目を照らして形成される反射点のことである。
具体的には、像取得ユニット110は眼のイメージを撮影し、さらに像取得ユニット110内は発光ユニットを内蔵し、光を使用者の目に放射し、撮影されるイメージの中に反射点を生じさせる。これにより、眼球運動検出モジュール145は光が使用者の目を照らして形成される反射点である輝点の位置と瞳孔の位置の両者の位置対応関係を単純に利用して注視点を判断する。
例えば、使用者の眼球が前方を直視する時、目のイメージにおいて瞳孔の位置と輝点の位置は垂直線上にほぼ位置する、即ち、瞳孔の位置と輝点の位置の水平距離は誤差の範囲内にある。そのため、瞳孔の位置と輝点の位置の水平距離が上述の誤差範囲を超え、かつ瞳孔の位置が輝点の位置の左方に位置する時、使用者の眼球が左方に移動することを示す。また、瞳孔の位置と輝点の位置の水平距離が上述の誤差範囲を超え、かつ瞳孔の位置が輝点の位置の右方に位置する時、使用者の眼球が右方に移動することを示す。また、瞳孔の位置と輝点の位置の垂直距離に基づいて眼球が上方もしくは下方に移動するかを判断する。
例を挙げると、図6Aと図6Bは本発明の一実施例による瞳孔の位置と輝点の位置の両者の位置対応関係の概略図である。本実施例の図6A及び図6Bのグループインターフェースはフルスクリーン表示を例としている。しかしながら、グループインターフェースのサイズはフルスクリーンより小さい場合、下記実施方式を適用する。図6Aは画面を2×2方式で区切られた4個の機能オプションであり、図6Bは画面を3×3方式で区切られた9個の機能オプションである。本実施例における各機能オプションの瞳孔の位置と輝点の位置は説明の簡易化のためだけであり、表示画面に上述の位置を表示するのを表しているわけではない。
図6Aと図6Bのように、眼球が左方に移動すると、瞳孔の位置が輝点の位置の左方に位置する、また、眼球が右方に移動すると、瞳孔の位置が輝点の位置の右方に位置する。また、眼球が上方に移動するほど、瞳孔の位置と輝点の位置の垂直距離が大きくなり、逆に眼球が下方に移動するほど、瞳孔の位置と輝点の位置の垂直距離が小さくなる。上述の定義によると、使用者の目のイメージから瞳孔の位置と輝点の位置を探し出した後、使用者の注視点がどの操作エリアにあるか知ることができる。
また、本実施例において、処理ユニット130が実行する複数のモジュールは誘導校正モジュール530をさらに含む。眼球運動検出モジュール145は使用者の眼球運動を検出する前、誘導校正モジュール530は使用者が見る表示ユニット120の指定位置に導くことにより、眼球運動検出モジュール145の基準情報を校正する。例えば、誘導校正モジュール530は使用者が見る表示ユニット120の中央位置に導くことにより、以降における比較の基準情報とする表示ユニット120の中央位置に対応する輝点の位置と瞳孔の位置を取得する。
上述の方式以外にも、眼球運動検出モジュール145は瞳孔の位置と輝点の位置を表示ユニット120に対応する座標に換算しても良く、これにより注視点を更に正確に識別できる。具体的には、毎回表示ユニット120は一つの操作エリアを表示して使用者に見せ、そして瞳孔の中心と輝点の両者の参考距離と参考角度を計算し、それから別の操作エリアを表示して使用者に見せ、予定数の操作エリアを表示し終える。これにより各操作エリアと前記参考距離と前記参考角度の間の関係を取得することができる。
瞳孔の位置と反射点の両者の参考距離と参考角度の定義は以下の通りである。図7A及び図7Bは本発明の一実施例による瞳孔の中心と反射点の両者の距離情報と角度情報の概略図である。図7Aは眼のイメージであり、図7Bは図7Aの範囲700の拡大図である。図7Bにおいて、瞳孔の中心C1によってy軸(垂直軸)及びx軸(水平軸)を定義し、瞳孔の中心C1と反射点C2両者のy軸上の参考距離Lを計算し、さらに瞳孔の中心C1に相対する反射点C2のベクトルVとy軸との間の参考角度θを計算する。
事前に使用者が各操作エリアを見ることで複数の瞳孔の中心と反射点の両者の参考距離Lと参考角度θを取得し、さらに前記の参考距離L及び参考角度θと表示ユニット120の複数の操作エリアは正規分布図を形成する。その後、眼球運動検出モジュール145が使用者の眼球運動を検出する時、瞳孔の位置と反射点の両者の参考距離L及び参考角度θを取得後、対応する前記の正規分布図は一つの座標点を取得でき、該座標点を内挿法によって表示ユニット120に対応する位置座標に換算する。これにより更に正確に視線者の注視点を得ることができる。
以上のように、上述の実施例において、最初にスキャンモードを起動し、使用者に最初の選択をさせる(第1段階)。使用者が一つの操作エリア(例えば一つのアイコン)を選定した後、眼球運動検出モードを実行し(第2段階)、第1段階で選定した操作エリアに付属する機能オプションが表示される(例えばアイコン表示)。また、眼球運動検出モジュールを起動し、眼球運動による更に細かな選定の実行を使用者に提供する。第1段階はスキャンモードであるので、比較的多くの操作エリアを表示できる(例えば16個以上、もしくは24個以上)。眼球運動検出の正確性を上げるために、第2段階において表示される機能オプションの数は減らし、例えば表示を3〜9個の機能オプションのみとし、上述の2つの段階を経て、画面に毎回現れる使用者に選択させる項目を減らすことができる(操作エリア,機能オプション)。さらに、眼球運動検出モードにおいて提供する項目が減るので、校正プログラムは簡易化され、1点の校正を行うだけでよくなり、従来のアイトラッキング技術の福祉機器が必要とする複雑な校正プログラムを改善した。また、身体に追加の装置を装着する必要は無く、使用者は高価な費用を負担する必要も無く、位置設定機能の正確な効果を得ることができる。
本発明は以上の実施例のように示したが、本発明は、これに限られるものではなく、当業者が本発明の精神の範囲から逸脱しない範囲において、変更又は修正することが可能であるが故に本発明の保護範囲は均等の範囲にまで及ぶものとする。
本発明はスキャン技術とアイトラッキング技術を組み合わせたものであり、スキャンモードにおいて大きな範囲のグループ選択を行い、眼球運動を利用し、機能オプションの選定を行う。スキャン技術とアイトラッキング技術間に技術面とコスト面の優れたバランスを取ることで、アイトラッキング技術は高価なハードの設備を必要とせず、グラフィカルインターフェースに対して簡便且つ快速な操作を可能にさせる。
100:電子装置
110:像取得ユニット
120:表示ユニット
130:処理ユニット
140:記憶ユニット
141:スキャンモジュール
143:インターフェース切替モジュール
145:眼球運動検出モジュール
300:グラフィカルインターフェース
410:グループインターフェース
420:グループインターフェース
430:グループインターフェース
510:埋込式制御ユニット
520:入力ユニット
530:誘導校正モジュール
700:範囲

Claims (15)

  1. 複数の操作エリアを有するグラフィカルインターフェースを表示ユニットに表示するステップと、
    スキャンモードにおいて、スキャン順序に基づいて前記複数の操作エリアを逐一ハイライト表示とし、前記複数の操作エリアの中の一つがハイライト表示である時、その前の操作エリアのハイライト表示を取り消すステップと、
    前記スキャンモードにおいてトリガー信号を受信する時、選定エリアに対応するグループインターフェースを表示ユニットに表示し、その中の前記選定エリアは前記トリガー信号を受信する時、前記複数の操作エリアのハイライト表示のエリアとするステップと、
    眼球運動検出モジュールによって使用者の眼球運動を検出するステップと、
    前記眼球運動に基づいて前記グループインターフェースの複数の機能オプションから一つの機能オプションを選び、操作を実行するステップとを含むことを特徴とする電子装置の操作方法。
  2. 前記スキャンモードにおいて前記トリガー信号を受信する時、前記眼球運動検出モジュールを駆動して操作を実行することを特徴とする請求項1に記載の電子装置の操作方法。
  3. 前記眼球運動検出モジュールによって前記使用者の前記眼球運動を検出するステップは、
    像取得ユニットにより前記使用者のイメージシーケンスを取得し、前記イメージシーケンスの分析により前記眼球運動検出モジュールに前記使用者の前記眼球運動を追跡させるステップをさらに含むことを特徴とする請求項1又は2に記載の電子装置の操作方法。
  4. 前記イメージシーケンスの分析により前記使用者の前記眼球運動を追跡させるステップは、前記イメージシーケンスにおいて前記使用者の瞳孔の位置と発光ユニットの放射する光が前記使用者の目を照らして形成される反射点である輝点の位置を検出するステップと、
    前記瞳孔の位置と前記輝点の位置の両者の位置対応関係によって、現在の前記眼球運動の注視点を判断するステップとをさらに含むことを特徴とする請求項3に記載の電子装置の操作方法。
  5. 前記眼球運動検出モジュールによって前記使用者の前記眼球運動を検出するステップの前に、
    前記使用者が見る表示ユニットの指定位置に導くことにより、前記眼球運動検出モジュールの基準情報を校正するステップをさらに含むことを特徴とする請求項1〜4のいずれか一項に記載の電子装置の操作方法。
  6. 前記スキャンモードにおいて、
    前記眼球運動検出モジュールによって前記使用者の前記眼球運動を検出するステップと、
    前記眼球運動に基づいて前記トリガー信号を受信するか判断するステップをさらに含むことを特徴とする請求項1〜5のいずれか一項に記載の電子装置の操作方法。
  7. 前記トリガー信号は入力ユニットから発生することを特徴とする請求項1〜6のいずれか一項に記載の電子装置の操作方法。
  8. 前記グラフィカルインターフェースが表示される前記複数の操作エリアの数は前記グループインターフェースが表示される前記複数の機能オプションの数より多く、
    且つ、前記グループインターフェースは前記グラフィカルインターフェースの上層に表示され、前記グループインターフェースと前記グラフィカルインターフェースの両者のサイズは同じ、もしくは前記グループインターフェースのサイズは前記グラフィカルインターフェースのサイズより小さいことを特徴とする請求項1〜7のいずれか一項に記載の電子装置の操作方法。
  9. 電子装置の使用者に向けて配置される像取得ユニットと、
    複数の操作エリアを有するグラフィカルインターフェースを表示する表示ユニットと、
    前記表示ユニットと前記像取得ユニットに接続され、複数のモジュールを実行する処理ユニットとを含み、
    前記複数のモジュールは
    スキャンモードにおいて、スキャン順序に基づいて前記複数の操作エリアを逐一ハイライト表示にし、且つ前記複数の操作エリアの一つがハイライト表示である時、その前の操作エリアのハイライト表示を取り消すスキャンモジュールと、
    前記スキャンモードにおいてトリガー信号を受信する時、選定エリアに対応するグループインターフェースを前記表示ユニットに表示し、その中の前記選定エリアは前記トリガー信号を受信する時、前記複数の操作エリアのハイライト表示のエリアとするインターフェース切替モジュールと、
    像取得ユニットを駆動して使用者のイメージシーケンスを取得し、前記イメージシーケンスの分析により前記使用者の眼球運動を検出し、且つ前記眼球運動に基づいて、前記グループインターフェースの複数の機能オプションから一つの機能オプションを選び、操作を実行する眼球運動検出モジュールとを有することを特徴とする電子装置。
  10. 前記スキャンモジュールは、前記スキャンモードにおいて前記トリガー信号を受信する時、前記眼球運動検出モジュールを駆動して操作を実行すること、を特徴とする請求項9に記載の電子装置。
  11. 前記眼球運動検出モジュールは前記イメージシーケンスにおいて前記使用者の瞳孔の位置と発光ユニットの放射する光が前記使用者の目を照らして形成される反射点である輝点の位置を検出し、さらに前記瞳孔の位置と前記輝点の位置の両者の位置対応関係によって、現在の前記眼球運動の注視点を判断することを特徴とする請求項9又は10に記載の電子装置。
  12. 前記複数のモジュールは、前記使用者が見る前記表示ユニットの指定位置に導くことにより、前記眼球運動検出モジュールの基準情報を校正する誘導校正モジュールをさらに含むことを特徴とする請求項9〜11のいずれか一項に記載の電子装置。
  13. 前記スキャンモジュールは前記スキャンモードにおいて前記眼球運動検出モジュールを駆動し、前記眼球運動検出モジュールに前記使用者の前記眼球運動を検出させ、さらに前記処理ユニットは前記眼球運動に基づいて前記トリガー信号を受信したことを判断する時、メッセージを前記スキャンモジュール及び前記インターフェース切替モジュールに伝送し、前記スキャンモジュールにスキャンプロセスを一時停止させ、前記インターフェース切替モジュールにより前記選定エリアに対応する前記グループインターフェースを前記表示ユニットに表示させることを特徴とする請求項9〜12のいずれか一項に記載の電子装置。
  14. 入力ユニットと、
    前記処理ユニット及び前記入力ユニットに接続され、前記入力ユニットから前記トリガー信号を受信するかを判断し、さらに、前記処理ユニットは前記トリガー信号を受信する時、メッセージを前記スキャンモジュール及び前記インターフェース切替モジュールに伝送し、前記スキャンモジュールにスキャンプロセスを一時停止させ、前記インターフェース切替モジュールにより前記選定エリアに対応する前記グループインターフェースを前記表示ユニットに表示させる埋込式制御ユニットをさらに含むことを特徴とする請求項9〜13のいずれか一項に記載の電子装置。
  15. 前記処理ユニットに接続され、前記モジュール,グラフィカルインターフェースのデータ及び複数のグループインターフェースのデータを保存する記憶ユニットをさらに含み、
    前記グラフィカルインターフェースのデータは前記グラフィカルインターフェースのサイズ、表示される前記複数の操作エリアの各サイズ及び各前記複数の操作エリアに対応する前記複数のグループインターフェースのデータの中の一つを定義し、
    各前記複数のグループインターフェースのデータは対応する前記複数のグループインターフェースのサイズ、表示される前記複数の機能オプションのサイズ及び各前記複数の機能オプションに対応する機能を定義することを特徴とする請求項9〜14のいずれか一項に記載の電子装置。
JP2014213572A 2014-04-09 2014-10-20 電子装置とその操作方法 Active JP6092173B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW103113043A TW201539251A (zh) 2014-04-09 2014-04-09 電子裝置及其操作方法
TW103113043 2014-04-09

Publications (2)

Publication Number Publication Date
JP2015201161A true JP2015201161A (ja) 2015-11-12
JP6092173B2 JP6092173B2 (ja) 2017-03-08

Family

ID=54552328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014213572A Active JP6092173B2 (ja) 2014-04-09 2014-10-20 電子装置とその操作方法

Country Status (2)

Country Link
JP (1) JP6092173B2 (ja)
TW (1) TW201539251A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018074055A1 (ja) * 2016-10-19 2018-04-26 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN112540084A (zh) * 2019-09-20 2021-03-23 联策科技股份有限公司 外观检查系统与检查方法
CN116069165A (zh) * 2023-02-14 2023-05-05 中国民用航空总局第二研究所 一种远程塔台光学系统的目标界面确定方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI725351B (zh) * 2018-11-02 2021-04-21 宏正自動科技股份有限公司 電子裝置及輸出畫面決定方法
CN112347812B (zh) * 2019-08-07 2024-04-19 群创光电股份有限公司 通过电子装置以侦测指纹的方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05241063A (ja) * 1992-02-28 1993-09-21 Nikon Corp 視線位置検出装置付カメラ
JPH09190325A (ja) * 1996-01-09 1997-07-22 Canon Inc 表示装置
JPH10301743A (ja) * 1997-04-23 1998-11-13 Nec Corp 公共設備装置及び公共設備装置を操作するユーザ端末並びに公共設備装置の操作装置
JPH11259226A (ja) * 1998-03-13 1999-09-24 Canon Inc 視線入力意思伝達装置、視線入力意思伝達方法および記憶媒体
JP2003067804A (ja) * 2001-08-29 2003-03-07 Victor Co Of Japan Ltd 電子投票入力システム及び電子投票入力システムで用いられる電子投票入力装置
JP2007136000A (ja) * 2005-11-21 2007-06-07 Nippon Telegr & Teleph Corp <Ntt> 視線検出装置、視線検出方法、および視線検出プログラム
JP2007296889A (ja) * 2006-04-28 2007-11-15 Honda Motor Co Ltd 車両搭載機器の操作装置
JP2009514090A (ja) * 2005-10-28 2009-04-02 トビイ テクノロジー アーベー 視覚的フィードバックを有するアイトラッカー
JP2009187443A (ja) * 2008-02-08 2009-08-20 Dainippon Printing Co Ltd 現金自動預け払い機、および、現金自動預け払い機における暗証番号の取得方法
JP2011043886A (ja) * 2009-08-19 2011-03-03 Konami Digital Entertainment Co Ltd 選択装置、選択方法、ならびに、プログラム
JP2011159004A (ja) * 2010-01-29 2011-08-18 Kazuyuki Takehara 意思伝達装置
JP2012065781A (ja) * 2010-09-22 2012-04-05 Fujitsu Ltd 視線検出装置および補正係数算出プログラム
JP2012217524A (ja) * 2011-04-05 2012-11-12 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
JP2013143012A (ja) * 2012-01-11 2013-07-22 Tokai Rika Co Ltd 視線入力装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05241063A (ja) * 1992-02-28 1993-09-21 Nikon Corp 視線位置検出装置付カメラ
JPH09190325A (ja) * 1996-01-09 1997-07-22 Canon Inc 表示装置
JPH10301743A (ja) * 1997-04-23 1998-11-13 Nec Corp 公共設備装置及び公共設備装置を操作するユーザ端末並びに公共設備装置の操作装置
JPH11259226A (ja) * 1998-03-13 1999-09-24 Canon Inc 視線入力意思伝達装置、視線入力意思伝達方法および記憶媒体
JP2003067804A (ja) * 2001-08-29 2003-03-07 Victor Co Of Japan Ltd 電子投票入力システム及び電子投票入力システムで用いられる電子投票入力装置
JP2009514090A (ja) * 2005-10-28 2009-04-02 トビイ テクノロジー アーベー 視覚的フィードバックを有するアイトラッカー
JP2007136000A (ja) * 2005-11-21 2007-06-07 Nippon Telegr & Teleph Corp <Ntt> 視線検出装置、視線検出方法、および視線検出プログラム
JP2007296889A (ja) * 2006-04-28 2007-11-15 Honda Motor Co Ltd 車両搭載機器の操作装置
JP2009187443A (ja) * 2008-02-08 2009-08-20 Dainippon Printing Co Ltd 現金自動預け払い機、および、現金自動預け払い機における暗証番号の取得方法
JP2011043886A (ja) * 2009-08-19 2011-03-03 Konami Digital Entertainment Co Ltd 選択装置、選択方法、ならびに、プログラム
JP2011159004A (ja) * 2010-01-29 2011-08-18 Kazuyuki Takehara 意思伝達装置
JP2012065781A (ja) * 2010-09-22 2012-04-05 Fujitsu Ltd 視線検出装置および補正係数算出プログラム
JP2012217524A (ja) * 2011-04-05 2012-11-12 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
JP2013143012A (ja) * 2012-01-11 2013-07-22 Tokai Rika Co Ltd 視線入力装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大矢 哲也: "眼電図によるALSコミュニケーションツールの入力動作の研究", 日本エム・イー学会誌 生体医工学 , vol. 第43巻第1号, JPN6016029002, 10 March 2005 (2005-03-10), JP, pages 172 - 178, ISSN: 0003368251 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018074055A1 (ja) * 2016-10-19 2018-04-26 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN112540084A (zh) * 2019-09-20 2021-03-23 联策科技股份有限公司 外观检查系统与检查方法
CN116069165A (zh) * 2023-02-14 2023-05-05 中国民用航空总局第二研究所 一种远程塔台光学系统的目标界面确定方法
CN116069165B (zh) * 2023-02-14 2024-02-09 中国民用航空总局第二研究所 一种远程塔台光学系统的目标界面确定方法

Also Published As

Publication number Publication date
TW201539251A (zh) 2015-10-16
JP6092173B2 (ja) 2017-03-08

Similar Documents

Publication Publication Date Title
JP7191714B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
JP5949319B2 (ja) 視線検出装置及び視線検出方法
US10429941B2 (en) Control device of head mounted display, operation method and operation program thereof, and image display system
US9473696B2 (en) Gaze detection apparatus, gaze detection computer program, and display apparatus
JP6092173B2 (ja) 電子装置とその操作方法
EP3227760B1 (en) Pointer projection for natural user input
JP2022535316A (ja) スライドメニューを有する人工現実システム
US10456072B2 (en) Image interpretation support apparatus and method
US20200069230A1 (en) Evaluation device, evaluation method, and evaluation program
US20150238087A1 (en) Biological information measurement device and input device utilizing same
WO2016208261A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20200225742A1 (en) Handling multiple eye-gaze tracking (egt) sources in virtual, augmented, or mixed reality (xr) applications
US20200225741A1 (en) Systems and methods for eye-gaze tracking (egt) handoff
US10747308B2 (en) Line-of-sight operation apparatus, method, and medical device
US20210153794A1 (en) Evaluation apparatus, evaluation method, and evaluation program
JP2020106772A (ja) 表示装置、表示方法、およびプログラム
JP6319220B2 (ja) 透過型ウェアラブル端末、データ処理装置、及びデータ処理システム
US11266307B2 (en) Evaluation device, evaluation method, and non-transitory storage medium
JP2016035654A (ja) 視線検出装置および視線入力システム
US20210290133A1 (en) Evaluation device, evaluation method, and non-transitory storage medium
US20210290130A1 (en) Evaluation device, evaluation method, and non-transitory storage medium
JPH09204287A (ja) 処理選択方法及び装置
US20210386283A1 (en) Display apparatus, display method, and display program
Lee et al. A new eye tracking method as a smartphone interface
US11653831B2 (en) Visual performance examination device, visual performance examination method, and computer program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170208

R150 Certificate of patent or registration of utility model

Ref document number: 6092173

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250