JP2015084221A - 電子文書にマーキングするための方法および装置 - Google Patents

Abstract

【課題】電子文書にマーキングするための方法と装置を提供する。【解決手段】画像取得ユニットにより使用者の画像シーケンスが取得しＳ５１０、画像シーケンスを分析する眼球追跡処理、頷き検知処理、瞬き検知処理を実行するＳ５１５。使用者が第１の特定動作を行ったときＳ５２０、使用者の現在の視線が注がれる電子文書上の第１の位置を取得しＳ５２５、使用者の眼球の運動軌跡に伴い第１の位置から電子文書にマーキングするマーキング動作が実行されるＳ５３０。使用者が第２の特定動作を行ったときＳ５３５、使用者の現在の視線が注がれる電子文書上の第２の位置を取得しＳ５４０、マーキング動作を第２の位置で終了するＳ５４５。【選択図】図５

Description

本発明は、電子文書を閲覧するための方法および装置に関するものであり、特に、電子文書にマーキングするための方法および装置に関するものである。

情報のデジタル化に伴い、ますます多くの従来の情報インタフェースが電子製品に置き換えられている。例えば、デジタルフォトフレームとデジタルカメラが従来の写真とフィルムを置き換え、パーソナルデジタルアシスタント（personal digital assistant, ＰＤＡ）、スマートフォン（smart phone）、電子ブックリーダー（electronic book reader）等といった電子製品が、新世代の文書閲覧ブラットフォームとなっている。使用者は、従来の紙の本を複数持ち運ぶ不便さを避けるため、複数の電子書籍といった電子文書を同一の携帯型電子製品に格納することができる。さらに、使用者は携帯型電子製品に格納した電子書籍をいつでも読むことができる。

電子書籍を制御するための複数の方法が開発されている。例えば、米国特許第７，４２９，１０８号は、使用者が前回読んだ段落を探す手助けをする、視線追跡アプリケーション（gaze-tracking application）を用いた電子閲読記録装置を提供している。

ＰＤＡ、スマートフォン、電子ブックリーダーといった一般的な電気製品は手により操作できるのみであり、使用者にとって不便である。

本発明は、頷き動作または瞬き動作を介し使用者の眼球の運動軌跡に伴い電子文書がマーキングされる、電子書類にマーキングするための方法と装置を対象とする。

本発明は以下のステップを含む電子文書にマーキングする方法を提供する。表示ユニットに電子文書が表示される。使用者の画像シーケンスが画像取得ユニットにより取得される。画像シーケンスを分析するため、眼球追跡処理、頷き検知処理、瞬き検知処理が実行され、眼球追跡処理は使用者の眼球の運動軌跡を追跡するために設けられ、頷き検知処理と瞬き検知処理は使用者が第１の特定動作または第２の特定動作を行ったかどうかを検知するために設けられる。使用者の現在の視線が注がれる電子文書上の第１の位置は、使用者が第１の特定動作を行ったことを検知したとき、眼球追跡処理により得られる。第１の位置から開始した使用者の眼球の運動軌跡に伴い電子文書にマーキングするため、マーキング動作が実行される。使用者の現在の視線が注がれる電子文書上の第２の位置は、使用者が第２の特定動作を行ったことを検知したとき、眼球追跡処理により得られ、マーキング動作は第２の位置で終了される。

本発明は、表示ユニット、画像取得ユニット、記憶ユニット、処理ユニットを含む、電子文書にマーキングするための装置を提供する。表示ユニットは電子文書を表示するために設けられる。画像取得ユニットは使用者の画像シーケンスを取得するために設けられる。記憶ユニットは電子文書と画像シーケンスを記憶するために設けられる。処理ユニットは、表示ユニットと、画像取得ユニットと、記憶ユニットとに連結され、画像シーケンスを分析するため、眼球追跡モジュール、頷き検知モジュール、瞬き検知モジュールを実行するために設けられ、眼球追跡モジュールは使用者の眼球の運動軌跡を追跡するために設けられ、頷き検知モジュールと瞬き検知モジュールは使用者が第１の特定動作または第２の特定動作を行ったかどうかを検知するために設けられる。眼球追跡モジュールは使用者が第１の特定動作を行ったことを検知したとき、使用者の現在の視線が注がれる電子文書上の第１の位置を取得し、処理ユニットは第１の位置から開始した使用者の眼球の運動軌跡に伴い電子文書にマーキングするためのマーキング動作を実行するため、マーキングモジュールを起動する。眼球追跡モジュールは使用者が第２の特定動作を行ったことを検知したとき、使用者の現在の視線が注がれる電子文書上の第２の位置を取得し、マーキングモジュールは第２の位置でマーキング動作を終了する。

本発明の１つの実施形態において、前記装置は補正モジュールをさらに含む。補正モジュールは複数の補正画像を連続的に受け取り、この補正画像はそれぞれ、使用者が表示ユニットの複数の補正ポイントを見ることにより得られる。さらに、補正モジュールは各補正画像の眼部領域の２つの輝点位置に基づき基準補正パラメータを取得し、２つの輝点位置は画像取得ユニットが各補正画像を取得するときに形成される。補正モジュールは、補正画像に基づく透視変換法（perspective transformation method）により座標変換行列を生成し、座標変換行列は眼部領域の座標位置を画像ユニットの座標位置へと変換するために用いられる。

本発明の１つの実施形態において、眼球追跡モジュールは、現在の瞳位置を取得するため、画像シーケンスのうちの現在の画像の眼部領域を検知し、現在の画像の眼部領域の２つの輝点位置に基づき比較補正パラメータを取得し、基準補正パラメータと比較補正パラメータとに基づき動的補償パラメータを取得し、現在の画像の瞳位置、動的補償パラメータ、そして２つの輝点位置のうちの１つに基づき眼球運動座標を計算し、座標変換行列を用いて眼球運動座標を表示ユニットに対応する注視点座標へと変換する。

本発明の１つの実施形態において、第１の特定動作と第２の特定動作は少なくとも１つの頷き動作と瞬き動作をそれぞれ含み、第２の特定動作は第１の特定動作と同一であるか、または異なる。マーキング動作は、輝度の調整、下線の追加、および背景色の追加の動作の少なくとも１つを含む。

本発明の１つの実施形態において、電子文書は複数のセグメントを含み、マーキングモジュールは各セグメントの視認頻度に基づき、各セグメントへ対応するマーキング動作を実行する。

上述に基づき、頷き動作または瞬き動作を介し使用者の眼球の運動軌跡に伴い電子文書がマーキングされる。これにより、眼の追跡に基づき、使用者は手を用いることなく対応する操作を行うことができ、大変便利である。

本発明の上述とその他の特徴と利点をさらに理解し易くするため、図面を伴ういくつかの例示的な実施形態が以下にさらに詳細に説明される。

本発明の１つの実施形態による電子文書にマーキングするための装置のブロック図である。 本発明の１つの実施形態による記憶ユニットのブロック図である。 本発明の１つの実施形態による眼部領域の概略図である。 本発明の１つの実施形態による眼部物体の概略図である。 本発明の１つの実施形態による電子文書にマーキングするための方法を表すフロー図である。 本発明の１つの実施形態による電子文書にマーキングするための装置の概略図である。

図１は本発明の１つの実施形態による電子文書にマーキングするための装置のブロック図である。図１を参照し、電子文書にマーキングするための装置１００は、画像取得ユニット１１０と、表示ユニット１２０と、記憶ユニット１３０と、処理ユニット１４０とを含む。処理ユニット１４０は画像取得ユニット１１０、表示ユニット１２０および記憶ユニット１３０と連結される。

画像取得ユニット１１０は、例えば、電荷結合素子（ＣＣＤ）レンズ、相補性金属酸化膜半導体（ＣＭＯＳ）レンズ、または赤外線レンズを有するビデオカメラまたはカメラである。画像取得ユニット１１０は使用者の画像シーケンスを取得するために用いられる。

表示ユニット１２０は、例えば、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（plasma display）、真空蛍光ディスプレイ（vacuum fluorescent display）、ＬＥＤ（light-emitting diode）ディスプレイ、電界放出ディスプレイ（field emission display、ＦＥＤ）と／またはその他の適切なディスプレイであり、本発明はこれに限定されない。

記憶ユニット１３０は、例えば、固定式または着脱可能なＲＡＭ（random access memory）、ＲＯＭ（read-only memory）、フラッシュメモリ、ハードディスク、またはその他の類似の装置または上述の装置の組み合わせである。記憶ユニット１３０は複数の電子文書を含み、画像取得ユニット１１０により取得された画像シーケンスを一時的に記憶することができる。

処理ユニット１４０は、例えば、中央処理装置（ＣＰＵ）、またはその他のプログラマブル汎用または専用マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、プログラマブルコントローラ、特定用途向け集積回路（ＡＩＣＰ）、プログラマブルロジックデバイス（ＰＬＤ）、またはその他の類似の装置または上述の装置の組み合わせである。

電子文書にマーキングするための装置１００は、例えば、スマートフォン、電子ブックリーダー、タブレットＰＣ、パーソナルコンピュータ等といった電子装置である。画像取得ユニット１１０（例えば、フロントカメラ）は、例えば、表示ユニット１２０（例えば、タッチスクリーン）の側方に配置され、表示ユニット１２０が電子文書を表示すると、画像取得ユニット１１０はその電子文書を読む使用者の画像シーケンスを取得する。その後、処理ユニット１４０は、取得された画像シーケンスを分析するため、眼球追跡処理、頷き検知処理、瞬き検知処理を実行する。

例えば、記憶ユニット１３０は電子文書にマーキングするためのコンピュータプログラム製品を含む。コンピュータプログラム製品は複数のプログラム命令（例えば、組織図確立プログラム命令（organization chart establishing program instruction）、テーブル承認プログラム命令、設定プログラム命令、デプロイメントプログラム命令等）を含み、これらブログラム命令は電子文書にマーキングするための装置１００等といった電子装置に読み込まれ、電子文書にマーキングする機能を達成するため電子装置により実行される。

図２は本発明の１つの実施形態による記憶ユニットのブロック図である。図２を参照し、記憶ユニット１３０は、眼球追跡モジュール２０１、頷き検知モジュール２０２、瞬き検知モジュール２０３、マーキングモジュール２０４、補正モジュール２０５を含む。上述のモジュールは、例えば、コンピュータプログラミング言語で記述されたプログラム命令であり、プログラム命令は複数のコマンドを含み、処理ユニット１４０は電子文書にマーキングする機能を達成するためプログラム命令を実行するのに用いられる。その他の実施形態において、前述のモジュールは１つまたは複数のトランジスタまたは論理ゲート等からなるハードウェアであってもよく、処理ユニット１４０に連結され、処理ユニット１４０により駆動される。

眼球追跡モジュール２０１は、使用者の眼球の運動軌跡を追跡するため、画像シーケンスに対する眼球追跡処理を実行する。補正モジュール２０５は、眼球追跡処理を実行する前に補正処理を行うために用いられる。例えば、眼球位置が検知される前に、補正モジュール２０５は複数の補正画像を連続的に受け取り、補正画像に基づき座標変換行列を生成する、補正画像は使用者が表示ユニット１２０の複数の補正ポイントを見ることにより、それぞれ取得される。例えば、表示ユニット１２０の左上点、右上点、左下点、右下点の４つのポイントが補正ポイントとされる。補正処理が行われると、表示ユニット１２０は使用者に前述の４つのポイントを見るよう促すことで、４つの補正画像を得る。補正モジュール２０５は各補正画像内の眼部領域の２つの輝点位置に基づき基準補正パラメータを取得する。

図３は本発明の１つの実施形態による眼部領域の概略図である。図３の眼部領域は２つの輝点位置Ｇ１とＧ２を含む。２つの輝点位置Ｇ１とＧ２は、画像取得ユニット１１０の発光モジュールにより放射された光が眼球により反射されたとき形成される。基準補正パラメータは各補正画像内の眼部領域の２つの輝点位置Ｇ１とＧ２に基づき得られる。基準補正パラメータは、例えば、２つの輝点位置Ｇ１とＧ２に基づくベクター（vector）である。その後、補正モジュール２０５は補正画像に基づき透視変換法により座標変換行列を生成し、座標変換行列は、眼部領域の座標位置を表示ユニット１２０の座標位置へと変換するために用いられる。

眼球追跡モジュール２０１は、画像シーケンスのうちの現在の画像内の瞳孔位置と２つの輝点位置（輝点位置Ｇ１’およびＧ２’と称す）を取得するため、その現在の画像の眼部領域を検知する。さらに、眼球追跡モジュール２０１は現在の画像の２つの輝点位置Ｇ１’およびＧ２’に基づき比較補正パラメータを取得することで、基準補正パラメータ（Ｃ１）と比較補正パラメータ（Ｃ２）に基づき動的補償パラメータ（Ｃ３）を得る。例えば、動的補償パラメータは、基準補正パラメータと比較補正パラメータとの間の比率、つまりＣ３＝Ｃ２／Ｃ１である。その後、眼球追跡モジュール２０１は、現在の画像内の輝点位置Ｇ１’（または輝点位置Ｇ２’）と瞳孔位置（例えば、瞳孔の中心の座標）と動的補償パラメータとに基づき眼球運動座標を計算する。例えば、眼球運動座標は（Ｘ’，Ｙ’）である。眼球追跡モジュール２０１は、座標変換マトリックスを用いて、眼球運動座標（Ｘ’，Ｙ’）を表示ユニット１２０に対応する注視点座標（例えば、注視点座標（Ｘｓ，Ｙｓ））へと変換し、注視点座標（Ｘｓ，Ｙｓ）を記録する。このようにして、複数の記録された注視点座標に基づき、使用者の眼球の運動軌跡が得られる。

頷き検知モジュール２０２は、使用者が頷き動作を行ったかどうかを検知するため画像シーケンスに対し頷き検知処理を実行するために用いられる。瞬き検知モジュール２０３は、使用者が瞬き動作を行ったかどうかを検知するため画像シーケンスに対し瞬き検知処理を実行するために用いられる。頷き検知モジュール２０２と瞬き検知モジュール２０３は使用者が第１の特定動作または第２の特定動作を行ったかどうかを検知できる。第１の特定動作は瞬き動作と頷き動作のうちの１つまたは両方を含む。

例えば、頷き検知モジュール２０２は、鼻孔位置情報を取得するため画像内の使用者の顔の鼻孔領域を検知し、２つの隣接した画像（または３つ以上の画像）の鼻孔位置情報を比較することにより、使用者が頷き動作を行ったかどうか判断する。さらに、瞬き検知モジュール２０３は画像内の眼部物体を検知し、例えば、瞬き検知モジュール２０３は鼻孔位置に基づき眼部物体を上方に向かって探す。眼部物体が得られたのち、瞬き検知モジュール２０３は眼部物体のサイズに基づき使用者の眼が閉じられたかどうか判断する。

例えば、図４は本発明の１つの実施形態による眼部物体の概略図であり、図４は眼部物体の閉じられた状態を表している。例えば、図４に示される眼部物体４１０は、眼部領域の画像のノイズ除去、エッジ鮮鋭化、二値化処理、再度のエッジ鮮鋭化等の処理を介し得られる。もし、眼部物体４１０の高さが高さ閾値（例えば、高さ閾値の範囲は５〜７ピクセルの間）よりも小さく、眼部物体４１０の幅が幅閾値（例えば、幅閾値の範囲は６０〜８０ピクセルの間）よりも大きい場合、眼部物体４１０は閉じられた状態であると判断される。もし、上述の条件に符合しない場合、眼部物体４１０は開いた状態であると判断される。このようにして、瞬き検知モジュール２０３は使用者が瞬き動作を行ったかどうか検知できる。

マーキングモジュール２０４はマーキング動作を実行するために用いられる。マーキング動作は、例えば、輝度の調整、下線の追加、または背景色の追加等である。マーキングモジュール２０４が起動されたのち、マーキングモジュール２０４は眼球の運動軌跡に伴いマーキング動作を実行する。

電子文書にマーキングするための方法の詳細なステップを、電子文書にマーキングするための装置１００を参照し、以下に説明する。

図５は本発明の１つの実施形態による電子文書にマーキングするための方法を表すフロー図である。ステップＳ５０５において、図６に示されるように、電子文書が表示ユニット１２０に表示される。図６は本発明の１つの実施形態による電子文書にマーキングするための装置の概略図である。本実施形態において、電子文書にマーキングするための装置１００はタブレットＰＣであり、画像取得ユニット１１０は表示ユニット１２０の側方に配置される。表示ユニット１２０は電子文書６１０を表示する。

そして、ステップＳ５１０において、使用者の画像シーケンスを取得するため画像取得ユニット１１０が使用される。すなわち、画像取得ユニット１１０は電子文書６１０を見る使用者の画像を取得する。そして、ステップＳ５１５において、画像シーケンスに対し眼球追跡処理、頷き検知処理、瞬き検知処理が実行される。すなわち、眼球追跡モジュール２０１、頷き検知モジュール２０２、瞬き検知モジュール２０３がそれぞれ画像シーケンスを分析するために用いられ、眼球追跡モジュール２０１は使用者の眼球の運動軌跡を追跡するために用いられ、頷き検知モジュール２０２と瞬き検知モジュール２０３は使用者が第１の特定動作または第２の特定動作を行ったかどうか検知するために用いられる。

第１の特定動作は、例えば、頷き動作１回と瞬き動作２回を２秒以内に順に実行することで、第２の特定動作は、例えば、瞬き動作１回と頷き動作１回を２秒以内に順に実行することである。しかし、上述のパターンは単に例であり、本発明はこれに限定されない。さらに、第１の特定動作と第２の特定動作は同一の動作を設定でき、異なる動作に限定されない。

そして、ステップＳ５２０において、処理ユニット１４０は使用者が第１の特定動作を行ったかどうか判断する。もし第１の特定動作が行われていない場合、後続のステップは行われず、もし第１の特定動作が行われた場合、ステップＳ５２５が実行される。

ステップＳ５２５において、眼球追跡モジュールは、使用者の現在の視線が注がれている電子文書６１０上の第１の位置６０１を取得する。すなわち、第１の位置６０１は使用者が第１の特定動作を行ったときの使用者の注視位置である。そして、ステップＳ５３０において、処理ユニット１４０は、第１の位置６０１から開始した使用者の眼球の運動軌跡に伴い電子文書６１０にマーキングする（例えば、図６の斜線で示したマーキング範囲６２０）ためのマーキング動作を実行するため、マーキングモジュール２０４を起動する。

そして、ステップＳ５３５において、処理ユニット１４０は使用者が第２の特定動作を行ったかどうか判断する。もし第２の特定動作が行われていない場合、後続のステップは行われず、マーキングモジュール２０４は使用者の眼球の運動軌跡に伴い電子文書６１０にマーキングするためマーキング動作の実行を継続し、もし第２の特定動作が行われた場合、ステップＳ５４０が実行される。

ステップＳ５４０において、眼球追跡モジュール２０１は、使用者の現在の視線が注がれている電子文書６１０上の第２の位置６０２を取得する。すなわち、第２の位置６０２は使用者が第２の特定動作を行ったときの使用者の注視位置である。最後に、ステップＳ５４５において、マーキングモジュール２０４は第２の位置６０２においてマーキング動作を終了する。図６に示されるように、マーキング範囲６２０は第１の位置６０１から始まり、第２の位置６０２で終わる。

例えば、使用者が特定の興味のある内容を読み終えたとき、電子文書にマーキングするための装置１００がマーキング動作を起動するよう、使用者は画像取得ユニット１１０の前で視線を興味のある内容が開始するポイントへと動かし、頷き動作１回と瞬き動作２回を２秒以内に順に行う（第１の特定動作）ことができる。そして、使用者は興味のある内容を閲覧するため視線を動かし、使用者が最後のポイントまで閲覧したとき、電子文書にマーキングするための装置１００がマーキング動作を終了するよう、使用者は瞬き動作1回と頷き動作１回を２秒以内に行う（第２の特定動作）。このようにして、興味のある内容のマーキングが達成される。

その他の実施形態において、もし第１の特定動作と第２の特定動作が同一、例えば、どちらも素早く瞬き動作２回を行うことである場合、第１回目に検知された２つの瞬き動作が第１の特定動作と解釈され、第２回目に検知された２つの瞬き動作が第２の特定動作と解釈される。

さらに、電子文書６１０の内容は、複数のセグメントに分けられ（例えば、電子文書６１０は章または段落に基づき区分される）、使用者が電子文書６１０を閲覧するとき、各セグメントの視認頻度が記録され、各セグメントの認頻度に基づき、各セグメントへの対応するマーキング動作が実行される。例えば、ある１つのセグメントの視認頻度が第１の所定頻度（３回）を超えると、そのセグメントの背景色が黄色に設定される。ある１つのセグメントの視認頻度が第２の所定頻度（５回）を超えると、そのセグメントの背景色が青色に設定される。上記パターンは単に例であり、本発明はこれに限定されない。

まとめると、電子文書は、頷き動作または瞬き動作に基づく眼球追跡を介し、使用者の眼球の運動軌跡に伴い自動的にマーキングされ、使用者は手を用いることなく対応する処理を行うことができ、興味のある内容にマーキングすることができ、これにより閲覧補助における利便性が向上する。

本発明の技術思想から離れることなく、本発明の構造への多様な改変や変形がされうることは、当業者にとって明白である。上述から、本発明の改変や変形が後述の請求項の範囲およびその同等に含まれるならば、本発明はこれらを包含することを意図する。

本開示を介し、電子文書閲覧の補助における利便性が向上される。

１００：電子文書にマーキングするための装置
１１０：画像取得ユニット
１２０：表示ユニット
１３０：記憶ユニット
１４０：処理ユニット
２０１：眼球追跡モジュール
２０２：頷き検知モジュール
２０３：瞬き検知モジュール
２０４：マーキングモジュール
２０５：補正モジュール
４１０：眼部物体
６０１：第１の位置
６０２：第２の位置
６１０：電子文書
６２０：マーキング範囲
Ｇ１、Ｇ２：輝点位置
Ｓ５０５〜Ｓ５４５：ステップ

Claims (12)

1. 表示ユニットに電子文書を表示するステップと、
   画像取得ユニットにより使用者の画像シーケンスを取得するステップと、
   前記画像シーケンスを分析するため、前記使用者の眼球の運動軌跡を追跡するために設けられた眼球追跡処理と、前記使用者が第１の特定動作または第２の特定動作を行ったかどうか検知するために設けられた頷き検知処理と瞬き検知処理とを実行するステップと、
   前記使用者が前記第１の特定動作を行ったことを検知したとき、前記眼球追跡処理を介し、前記使用者の現在の視線が注がれる前記電子文書上の第１の位置を取得するステップと、
   前記第１の位置から開始した前記使用者の前記眼球の運動軌跡に伴い前記電子文書にマーキングするため、マーキング動作を実行するステップと、
   前記使用者が前記第２の特定動作を行ったことを検知したとき、前記眼球追跡処理を介し、前記使用者の現在の視線が注がれる前記電子文書上の前記第２の位置を取得するステップと、
   前記第２の位置でマーキング動作を終了するステップと
   を含む、電子文書にマーキングするための方法。
2. 前記眼球追跡処理が補正処理を含み、
   前記補正処理が、
   前記使用者が前記表示ユニットの複数の補正ポイントを見るとそれぞれ取得される複数の補正画像を連続して受け取るステップと、
   各前記補正画像内の眼部領域の、前記画像取得ユニットが各前記補正画像を取得するときに形成される２つの輝点位置に基づき、基準補正パラメータを取得するステップと、
   前記補正画像に基づき、前記眼部領域の座標位置を前記表示ユニットの座標位置へと変換するために用いられる座標変換行列を透視変換法により生成するステップと
   を含む、
   請求項１に記載の電子文書にマーキングするための方法。
3. 前記使用者の前記眼球の運動軌跡を追跡するステップが、
   前記画像シーケンスのうちの現在の画像内の瞳孔位置を取得するため、前記現在の画像の前記眼部領域を取得するステップと、
   前記現在の画像の前記眼部領域の前記２つの輝点位置に基づき、比較補正パラメータを取得するステップと、
   前記基準補正パラメータと前記比較補正パラメータに基づき、動的補償パラメータを取得するステップと、
   前記現在の画像内の前記瞳孔位置と、前記動的補償パラメータと、前記２つの輝点位置のうちの１つとに基づき、眼球運動座標を計算するステップと
   を含む
   請求項２に記載の電子文書にマーキングするための方法。
4. 前記第１の特定動作と前記第２の特定動作が、頷き動作と瞬き動作のうち少なくとも１つをそれぞれ含み、前記第２の特定動作が前記第１の特定動作と同一か、または異なる、
   請求項１から３のいずれか１項に記載の電子文書にマーキングするための方法。
5. 前記マーキング動作が、輝度調整、下線追加、背景色追加のうち少なくとも１つの動作を含む、
   請求項１から４のいずれか１項に記載の電子文書にマーキングするための方法。
6. 前記電子文書が複数のセグメントを含み、
   各前記セグメントの視認頻度に基づき、各前記セグメントへ対応する前記マーキング動作を実行することをさらに含む、
   請求項１から５のいずれか１項に記載の電子文書にマーキングするための方法。
7. 電子文書を表示する表示ユニットと、
   使用者の画像シーケンスを取得する画像取得ユニットと
   前記電子文書と前記画像シーケンスを記憶する記憶ユニットと、
   前記表示ユニットと前記画像取得ユニットとに連結され、前記画像シーケンスを分析するため、前記使用者の眼球の運動軌跡を追跡するために設けられた眼球追跡モジュールと、前記使用者が第１の特定動作または第２の特定動作を行ったかどうか検知するために設けられた頷き検知モジュールと瞬き検知モジュールとを実行する処理ユニットと
   を含み、
   前記使用者が前記第１の特定動作を行ったとき、前記眼球追跡モジュールが前記使用者の現在の視線が注がれる前記電子文書上の第１の位置を取得し、前記処理ユニットが前記使用者の前記眼球の運動軌跡に伴い前記第１の位置から前記電子文書にマーキングするためのマーキング動作を実行するためマーキングモジュールを起動し、
   前記使用者が前記第２の特定動作を行ったとき、前記眼球追跡モジュールが前記使用者の現在の視線が注がれる前記電子文書上の第２の位置を取得し、前記マーキングモジュールが前記第２の位置で前記マーキング動作を終了する、
   電子文書にマーキングするための装置。
8. 複数の補正画像を連続して受け取る補正モジュールをさらに含み、
   前記補正画像はそれぞれ前記使用者が前記表示ユニットの複数の補正スポットを見ると取得され、各前記補正画像内の眼部領域の、前記画像取得ユニットが各前記補正画像を取得するとき形成される２つの輝点位置に基づき、前記補正モジュールが基準補正パラメータを取得し、
   前記補正モジュールが前記補正画像に基づき、前記眼部領域の座標位置を前記表示ユニットの座標位置へと変換するために用いられる座標変換行列を、透視変換法により生成する、
   請求項７に記載の電子文書にマーキングするための装置。
9. 前記眼球追跡モジュールが、
   前記画像シーケンスのうちの現在の画像内の瞳孔位置を取得するため前記現在の画像の前記眼部領域を検知し、
   前記現在の画像の前記眼部領域の前記２つの輝点位置に基づき比較補正パラメータを取得し、
   前記基準補正パラメータと前記比較補正パラメータに基づき動的補償パラメータを取得し、
   前記現在の画像内の前記瞳孔位置と、前記動的補償パラメータと、前記２つの輝点位置のうちの１つとに基づき、眼球運動座標を計算し、
   前記座標変換行列を用いることにより前記眼球運動座標を前記表示ユニットに対応する注視点座標へと変換し、
   前記注視点座標を記録する、
   請求項８に記載の電子文書にマーキングするための装置。
10. 前記第１の特定動作と前記第２の特定動作が、頷き動作と瞬き動作のうち少なくとも１つをそれぞれ含み、前記第２の特定動作が前記第１の特定動作と同一か、または異なる、
    請求項７から９のうちいずれか１項に記載の電子文書にマーキングするための装置。
11. 前記マーキング動作が、輝度調整、下線追加、背景色追加のうち少なくとも１つの動作を含む、
    請求項７から１０のうちいずれか１項に記載の電子文書にマーキングするための装置。
12. 前記電子文書が複数のセグメントを含み、
    各前記セグメントの視認頻度に基づき、前記マーキングモジュールが各前記セグメントへ対応する前記マーキング動作を実行する、
    請求項７から１１のうちいずれか１項に記載の電子文書にマーキングするための装置。
    

Images