JP2002062863A - Method and device for displaying document, and recording medium in which document display program is recorded - Google Patents
Method and device for displaying document, and recording medium in which document display program is recordedInfo
- Publication number
- JP2002062863A JP2002062863A JP2000248526A JP2000248526A JP2002062863A JP 2002062863 A JP2002062863 A JP 2002062863A JP 2000248526 A JP2000248526 A JP 2000248526A JP 2000248526 A JP2000248526 A JP 2000248526A JP 2002062863 A JP2002062863 A JP 2002062863A
- Authority
- JP
- Japan
- Prior art keywords
- display
- additional information
- document
- display position
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は文書表示方法および
装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and an apparatus for displaying a document.
【０００２】[0002]
【従来の技術】従来の文書表示装置では、文書に付加情
報が存在する場合、基本的に以下の方法を利用して付加
情報の表示を行っていた。2. Description of the Related Art In a conventional document display device, when additional information exists in a document, the additional information is basically displayed using the following method.
【０００３】１）画面に常に表示しておく。利用者はキ
ーボード、マウス、タッチパネルなどの文書表示装置操
作手段を利用して、付加情報の表示位置や種類を変更す
ることができる場合もある。[0003] 1) It is always displayed on the screen. In some cases, the user can change the display position and type of the additional information by using a document display device operation unit such as a keyboard, a mouse, and a touch panel.
【０００４】２）利用者が文書表示装置に備え付けられ
たキーボード、マウス、タッチパネルなどの入力デバイ
スを操作して、明示的に付加情報の表示／非表示を制御
する。この場合も上記１）と同様、付加情報の表示位置
や種類を変更することができる場合もある。[0004] 2) The user operates input devices such as a keyboard, a mouse, and a touch panel provided on the document display device to explicitly control display / non-display of additional information. In this case, as in the case of 1), the display position and type of the additional information may be changed in some cases.
【０００５】３）上記２）を拡張し、追加情報を文書に
重ね合わせて半透明に表示する。[0005] 3) The above 2) is extended, and additional information is displayed translucently superimposed on a document.
【０００６】[0006]
【発明が解決しようとする課題】上記の方法は次のよう
な問題点がある。The above method has the following problems.
【０００７】１）の方法は、付加情報が文書を覆い隠し
てしまうため、利用者は必要に応じて付加情報の表示位
置を移動させる必要がある。[0007] In the method 1), since the additional information obscures the document, the user needs to move the display position of the additional information as necessary.
【０００８】２）の方法では、付加情報の表示／非表示
が利用者にとって煩わしい操作であり、また利用者が付
加情報の表示／非表示を切り替えるための操作方法を知
らない場合には付加情報の表示を行うことができない。In the method 2), the display / non-display of the additional information is a troublesome operation for the user. If the user does not know the operation method for switching the display / non-display of the additional information, the additional information Cannot be displayed.
【０００９】３）の方法は、付加情報が文書を覆い隠す
という問題を解決するが、文書と追加情報の色、文字な
どの関係によって非常に見にくくなる場合があり、常に
表示しておくと使いにくい場合があった。また、明示的
に表示／非表示を切り替える手段を追加した場合、上記
２）と同一の問題が発生した。The method 3) solves the problem that the additional information obscures the document. However, the method may be very difficult to see due to the relationship between the color of the document and the additional information, characters, and the like. Sometimes it was difficult. Further, when a means for explicitly switching between display and non-display is added, the same problem as in the above 2) occurs.
【００１０】上述した従来の方法は、追加情報の表示／
非表示の切り替え、および追加情報の表示位置の決定を
利用者がマウス、キーボード、タッチパネルなどの入力
デバイスを操作して明示的に行わなければならないとい
う問題がある。[0010] The above-described conventional method involves displaying / displaying additional information.
There is a problem that the user has to explicitly switch the non-display and determine the display position of the additional information by operating an input device such as a mouse, a keyboard, and a touch panel.
【００１１】本発明の目的は、これらの入力デバイスを
操作せず、追加情報の表示に関する諸操作を簡単に行う
ことができる文書表示方法、装置、および文書表示プロ
グラムを記録した記録媒体を提供することにある。An object of the present invention is to provide a document display method and apparatus which can easily perform various operations related to display of additional information without operating these input devices, and a recording medium recording a document display program. It is in.
【００１２】[0012]
【課題を解決するための手段】本発明の文書表示方法
は、利用者のディスプレイを見ているときの視線を連続
的に測定し、測定された視線位置を利用して、現在ディ
スプレイ上に表示されていない情報である付加情報の、
ディスプレイ上の表示位置を決定し、ディスプレイ画面
から利用者の頭部までの距離を連続的に測定し、測定さ
れた距離に応じて、前記付加情報の種類を決定し、ディ
スプレイに表示する文書の種類を決定し、種類が決定さ
れた文書をディスプレイに表示するとともに、前記付加
情報をディスプレイの前記表示位置に表示する。SUMMARY OF THE INVENTION A document display method according to the present invention continuously measures a user's line of sight while looking at a display, and displays the current line of sight on the display using the measured line of sight. Of additional information that is not
Determine the display position on the display, continuously measure the distance from the display screen to the user's head, according to the measured distance, determine the type of the additional information, the document to be displayed on the display The type is determined, the determined document is displayed on the display, and the additional information is displayed at the display position on the display.
【００１３】ここで、文書はテキストは勿論、画像、ア
イコン等も含む。Here, the document includes not only text but also images, icons and the like.
【００１４】本発明では、利用者がキーボード、マウ
ス、タッチパネルなどを利用して付加情報の表示／非表
示の切り替え、表示する情報および表示位置の変更など
を明示的に行うことを不要とするために、連続的に測定
された視線および頭部位置の情報を利用して追加情報の
表示／非表示の切り替え、表示する情報の変更、表示位
置の変更などを行う。According to the present invention, it is not necessary for the user to explicitly switch the display / non-display of the additional information and change the information to be displayed and the display position using a keyboard, a mouse, a touch panel or the like. Then, display / non-display switching of additional information, change of information to be displayed, change of a display position, and the like are performed by using information on the line of sight and the head position measured continuously.
【００１５】また、付加情報を表示した際に文書が隠れ
て見えなくなる問題を解決するために、付加情報を文書
上に半透明に合成表示する。このとき、文書および付加
情報の色やフォントの関係で文書が見にくくなった場合
でも、頭部位置を利用してすぐに付加情報の表示を中断
できるので、半透明に合成表示した場合の問題は発生し
ない。Further, in order to solve the problem that the document is hidden and becomes invisible when the additional information is displayed, the additional information is translucently displayed on the document. At this time, even if the document becomes difficult to read due to the colors and fonts of the document and the additional information, the display of the additional information can be interrupted immediately by using the head position. Does not occur.
【００１６】[0016]
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。Embodiments of the present invention will be described below with reference to the drawings.
【００１７】図１は本発明の一実施形態の文書表示装置
の構成図である。本実施形態では、利用者はディスプレ
イの前方に着席して、制御装置を操作して文書を見るも
のとする。FIG. 1 is a configuration diagram of a document display device according to an embodiment of the present invention. In the present embodiment, it is assumed that the user sits in front of the display and operates the control device to view a document.
【００１８】本実施形態の文書表示装置は、視線測定装
置１とディスプレイ２と頭部位置測定装置３と制御装置
４と文書記憶装置５とから構成される。The document display device of the present embodiment comprises a visual line measurement device 1, a display 2, a head position measurement device 3, a control device 4, and a document storage device 5.
【００１９】視線測定装置１は利用者がディスプレイ２
を見ているときの視線Eを測定する。このとき利用者の
視線Eをディスプレイ２上に射影した点を注視点P0と呼
ぶ。The eye-gaze measuring device 1 allows a user to display
The line of sight E when watching is measured. The point at which this time was projecting the user's line of sight E on the display 2 is referred to as the gaze point P 0.
【００２０】頭部位置測定装置３は、利用者の頭部位置
（画面から頭部までの距離Ｌ）を測定する。The head position measuring device 3 measures the position of the user's head (the distance L from the screen to the head).
【００２１】制御装置４は利用者の注視点および頭部位
置の測定、およびディスプレイ２に表示する文書の種類
および表示位置の制御を行う。The control device 4 measures the gaze point and head position of the user, and controls the type and display position of the document displayed on the display 2.
【００２２】制御装置４が表示する文書の種類は、書
類、文章、カタログなど印刷物として一般的な文書の
他、WWW画面、ファイルブラウザ、画像ブラウザ、ヘル
プブラウザ、ディレクトリブラウザ、アプリケーション
画面などコンピュータで表示可能なデータを含む。The types of documents displayed by the control device 4 are displayed on a computer such as a WWW screen, a file browser, an image browser, a help browser, a directory browser, and an application screen, in addition to general printed documents such as documents, texts, and catalogs. Contains possible data.
【００２３】文書記憶装置５は表示する文書を記憶して
いる。The document storage device 5 stores a document to be displayed.
【００２４】図２は制御装置４の構成を示すブロック図
である。FIG. 2 is a block diagram showing the configuration of the control device 4.
【００２５】文書表示決定部１８は、表示する文書の種
類を決定する。表示する文書の種類は利用者の操作、時
間の経過などの情報に基づいて決定すればよい。The document display determining section 18 determines the type of the document to be displayed. The type of the document to be displayed may be determined based on information such as the operation of the user and the passage of time.
【００２６】表示位置モード決定部１２は、頭部位置測
定装置３によって測定された、画面から頭部までの距離
Lを利用して、現在の表示位置モード（後述する表示位
置固定モード、表示位置グリッドモード、表示位置自由
モードかのいずれか）を決定する。The display position mode determining unit 12 calculates the distance from the screen to the head measured by the head position measuring device 3.
A current display position mode (any of a display position fixed mode, a display position grid mode, and a display position free mode described later) is determined using L.
【００２７】付加情報表示位置決定部１１は、視線測定
装置１で測定された視線情報、および表示位置モード決
定部１２で決定された表示位置モードを利用して、付加
情報の表示位置座標PEを決定する。The additional information display position determining unit 11 uses the line-of-sight information measured by the line-of-sight measuring device 1 and the display position mode determined by the display position mode determining unit 12 to display position coordinates P E of the additional information. To determine.
【００２８】付加情報種類決定部１３は、頭部位置測定
装置３で測定された、利用者の頭部位置（距離Ｌ）を利
用して、表示する付加情報の種類を決定する。The additional information type determining unit 13 determines the type of additional information to be displayed using the user's head position (distance L) measured by the head position measuring device 3.
【００２９】付加情報表示属性決定部１４は、頭部位置
測定装置３で測定された、利用者の頭部位置（距離Ｌ）
を利用して、表示する付加情報の大きさ、色、フォント
などを決定する。The additional information display attribute determining unit 14 determines the user's head position (distance L) measured by the head position measuring device 3.
Is used to determine the size, color, font, and the like of the additional information to be displayed.
【００３０】付加情報種類決定部１３および付加情報表
示属性決定部１４の一例として、頭部を画面に近づけた
場合に付加情報の種類を増加させ、また付加情報の表示
サイズを大きくする方法が考えられる。この方法は利用
者が画面の中を詳しく覗き込む動作において発生する。
利用者が頭を近づける動作と、覗き込んだ結果情報がよ
り詳細に表示される結果が対応づけられており、利用者
にとって自然な動作であるために、利用者は利用方法を
直感的に理解することが可能である。As an example of the additional information type determining section 13 and the additional information display attribute determining section 14, a method of increasing the type of additional information and increasing the display size of the additional information when the head is brought close to the screen is considered. Can be This method occurs when the user looks into the screen in detail.
The user's approaching the head and the result of viewing the result information in a more detailed manner are associated with each other. This is a natural operation for the user, so the user intuitively understands the usage method It is possible to
【００３１】透明度決定部１５は、頭部位置測定装置３
で測定された、利用者の頭部位置Hを利用して、表示す
る付加情報の透明度を決定する。The transparency determining unit 15 includes the head position measuring device 3
The transparency of the additional information to be displayed is determined using the position H of the user's head measured in step (1).
【００３２】表示用付加情報生成部１６は、付加情報種
類決定部１３で決定された付加情報の種類、および付加
情報属性決定部１４で決定された付加情報の属性を利用
して、付加情報の画像データを作成する。The display additional information generation unit 16 uses the type of the additional information determined by the additional information type determination unit 13 and the attribute of the additional information determined by the additional information attribute determination unit 14 to generate the additional information. Create image data.
【００３３】文書合成表示部１７は、文書表示決定部１
８で決定された文書に対して、表示用付加情報生成部１
６で生成された付加情報を、付加情報表示位置決定部１
１で決定された付加情報の表示位置に、透明度決定部１
５で決定された透明度で合成表示し、その結果をディス
プレイ２に出力する。The document synthesizing and displaying unit 17 is a document display determining unit 1
8 for the document determined in step 8
6, the additional information generated by the additional information display position determination unit 1
In the display position of the additional information determined in step 1, the transparency determining unit 1
The composite display is performed with the transparency determined in step 5, and the result is output to the display 2.
【００３４】図３は表示位置モード決定部１２が表示位
置モードを決定する処理および付加情報表示位置決定部
１１が付加情報の画面上における表示位置を決定する処
理の一例を示すフローチャートである。FIG. 3 is a flowchart showing an example of a process in which the display position mode determining section 12 determines the display position mode and an example in which the additional information display position determining section 11 determines the display position of the additional information on the screen.
【００３５】まず、ステップ１０１で視線位置座標P0を
視線測定装置１から取得し、ステップ１０２で平滑化、
測定エラーの除去などを行い、視線位置座標Pを決定す
る。次に、ステップ１０３で頭部位置測定装置３から頭
部位置座標H0を取得し、ステップ１０４で画面から頭部
までの距離Lを算出する。次に、ステップ１０５におい
て、ステップ１０４で得られた距離Lを利用して、表示
位置モードを決定する。ステップ１０６で、決定された
表示位置モードおよび距離Lおよび視線位置座標Pを利用
して、付加情報表示位置PEを決定する。最後に、ステッ
プ１０７において、次回の視線位置測定に備えてステッ
プ１０６で決定した表示位置PEをＰ′に保存する。First, in step 101, the line-of-sight position coordinates P 0 are obtained from the line-of-sight measuring device 1, and in step 102,
The gaze position coordinates P are determined by removing a measurement error or the like. Then, from the head position measuring device 3 acquires the head position coordinates H 0 in step 103, calculates a distance L from the screen to the head at step 104. Next, in step 105, the display position mode is determined using the distance L obtained in step 104. In step 106, the additional information display position PE is determined using the determined display position mode, distance L, and line-of-sight position coordinate P. Finally, in step 107, it stores the display position P E determined in step 106 in preparation for the next viewpoint position measurements P '.
【００３６】図４は、上記ステップ１０５において付加
情報の表示位置モードを決定する方法の一例を示すフロ
ーチャートである。本例では、距離Lが短くなることで
表示位置固定モードになり、一旦表示固定モードになる
と、それ以上視線を動かしても表示は変化せず、表示さ
れた付加情報の位置はそのままである。ステップ１２０
において、頭部距離Lが一定距離L0以下であれば、ステ
ップ１２１において表示位置固定モードであると定め
る。ステップ１２２においてLが一定距離L1（＞Ｌ0）以
下であれば、ステップ１２３において表示位置グリッド
モードであると定める。いずれにも該当したい場合は、
ステップ１２４において表示位置自由モードであると定
める。FIG. 4 is a flowchart showing an example of a method for determining the display position mode of the additional information in step 105. In the present example, the display position is fixed when the distance L is reduced, and once the display is fixed, the display does not change even if the user moves the line of sight further, and the position of the displayed additional information remains unchanged. Step 120
In, if the head distance L is less than a certain distance L 0, defined as a display position fixed mode in step 121. If L is equal to or less than the fixed distance L 1 (> L 0 ) in step 122, it is determined in step 123 that the display position is in the grid mode. If you want to do either,
In step 124, it is determined that the mode is the display position free mode.
【００３７】表示位置自由モードでは、付加情報の表示
位置としてステップ１０６で決定された付加情報表示位
置PEをそのまま利用する。表示位置グリッドモードで
は、付加情報の表示位置として、画面上における離散的
な座標値を利用する。例えば、アイコンが画面に複数並
んでいる場合、各アイコンの位置している座標上に付加
情報を表示するという方法が考えられる。この場合、表
示位置PEは視線位置に最も近いアイコンの座標値とな
る。表示位置固定モードでは、前回の処理において付加
情報が画面に表示されたときの表示位置P′をそのまま
利用する。表示位置固定モードにおいて表示位置を固定
することで、利用者が付加情報を見ている間に視線が変
化しても、それに合わせて付加情報の表示位置が変化す
るということはない。[0037] In the display position free mode, it uses the additional information display position P E determined in step 106 as the display position of the additional information. In the display position grid mode, discrete coordinate values on the screen are used as the display position of the additional information. For example, when a plurality of icons are arranged on the screen, a method of displaying additional information on coordinates where each icon is located can be considered. In this case, the display position PE is the coordinate value of the icon closest to the line-of-sight position. In the fixed display position mode, the display position P 'at the time when the additional information was displayed on the screen in the previous processing is used as it is. By fixing the display position in the display position fixing mode, even if the user changes his / her line of sight while viewing the additional information, the display position of the additional information does not change accordingly.
【００３８】図５および図６は、付加情報の表示方法の
一例を示した画面構成図である。付加情報表示位置決定
部１１における表示位置の決定方法は、本文書表示装置
が表示する文書の種類、および付加情報の種類によって
異なる。FIGS. 5 and 6 are screen configuration diagrams showing an example of a method for displaying additional information. The method of determining the display position in the additional information display position determining unit 11 differs depending on the type of the document displayed by the document display device and the type of the additional information.
【００３９】図５は文書表示装置で表示する文書が複数
の領域に分かれており、それらが離散的に分布する場合
の表示方法の一例を示した画面構成図である。例えば、
ファイルブラウザ、画像ブラウザがこの文書に該当す
る。画面２０１上に同時に表示されている文書がn個の
とき、各領域２０２の中心座標をPi(x, y)（ｉ＝１，
２，・・・，ｎ）で表す。このとき、付加情報表示位置決
定部１１では視線座標２０４（E (x, y)）に最も近い領
域Ｐsを選択し、選択した領域Ｐsの周囲に付加情報を表
示する。FIG. 5 is a screen configuration diagram showing an example of a display method in a case where a document to be displayed on the document display device is divided into a plurality of areas and these are distributed discretely. For example,
File browser and image browser correspond to this document. When the number of documents simultaneously displayed on the screen 201 is n, the center coordinates of each area 202 are set to P i (x, y) (i = 1,
2,..., N). At this time, the additional information display position determination unit 11 selects the area P s closest to the line-of-sight coordinates 204 (E (x, y)), and displays the additional information around the selected area P s .
【００４０】表示位置グリッドモード（図５(a)）にお
いては、領域Ｐs上に半透明マスク２０３を表示してい
る。半透明マスク２０３は利用者が自分の注視している
領域がどの範囲であるかを確認できるようにするととも
に、付加情報として表示する情報２０５の可読性を向上
させるのに有効である。The display position grid mode in (FIG. 5 (a)), displaying a translucent mask 203 over region P s. The translucent mask 203 is effective for enabling the user to check the range of the area that he / she is watching, and for improving the readability of the information 205 displayed as additional information.
【００４１】さらに、表示位置固定モード（図５(b)）
においては、半透明マスク２０６の表示位置を固定する
とともに、半透明マスク２０６の形状を変化させること
で、利用者に現在いずれの状態にあるのかを容易に理解
させる働きを持つ。このとき、表示位置は固定されてい
るので、付加情報２０７が他の領域上にまで分布して、
利用者がその位置上に表示されている情報を見ていて
も、付加情報の表示位置が他の領域位置へ移動すること
はない。Further, a display position fixing mode (FIG. 5B)
In this case, the display position of the translucent mask 206 is fixed, and the shape of the translucent mask 206 is changed, so that the user can easily understand the current state. At this time, since the display position is fixed, the additional information 207 is distributed over other areas,
Even if the user looks at the information displayed on that position, the display position of the additional information does not move to another area position.
【００４２】図６は文書表示装置で表示する文書の類が
複数領域に分かれており、それらが集合的に分布する場
合の表示方法の一例を示した画面構成図である。例え
ば、アイコンが連続的に配置されている場合がこの文書
に該当する。FIG. 6 is a screen configuration diagram showing an example of a display method in a case where the types of documents displayed on the document display device are divided into a plurality of areas and they are collectively distributed. For example, a case where icons are continuously arranged corresponds to this document.
【００４３】表示位置グリッドモード（図６(a)）にお
いては、画面２１０上に位置した複数の文書群２１１に
対して、視線座標２１３を中心に半透明マスク２１２を
表示し、利用者が自分の注視している領域がどの範囲に
あるかを確認できるようにする働きを持つ。In the display position grid mode (FIG. 6A), a translucent mask 212 is displayed centering on the line-of-sight coordinates 213 with respect to a plurality of document groups 211 located on the screen 210, and the user can select his / her own. It has the function of enabling the user to confirm the range of the area being watched.
【００４４】さらに、表示位置固定モード（図６(b)）
においては、画面２１０上に表示された文書群２１５に
対し、表示位置グリッドモードにおける視線位置２１３
を中心に半透明マスク２１６を表示し、その上に文書群
２１５に対応した付加情報２１７および付加情報２１７
と文書群２１５の対応を示す補助線２１４が表示され
る。その結果、文書群のそれぞれに対応した付加情報を
まとめて見ることが可能であり、文書群全てに対して付
加情報を表示するのではなく、利用者が注目している領
域周辺の文書群に限定しているため、付加情報の量が多
くなりすぎて表示が困難になるということはない。Further, the display position fixing mode (FIG. 6B)
In, the line-of-sight position 213 in the display position grid mode is added to the document group 215 displayed on the screen 210.
Is displayed, and additional information 217 and additional information 217 corresponding to the document group 215 are displayed thereon.
And an auxiliary line 214 indicating the correspondence between and the document group 215 are displayed. As a result, the additional information corresponding to each of the document groups can be viewed at a time. Instead of displaying the additional information for all of the document groups, the additional information around the region of interest of the user is displayed. Because of the limitation, the amount of additional information does not become too large and display is not difficult.
【００４５】図７は、画面から頭部までの距離Lを算出
する頭部位置測定装置３の一例の構成図である。ディス
プレイ２の両側に設置されたカメラ１０は３次元空間に
おける利用者の眼球位置H′をステレオ計測の手法を利
用して測定する。３次元空間上におけるディスプレイ２
の画面の位置をあらかじめ定めておくことで、眼球位置
H′から画面までの距離L′が算出される。この場合、画
面から頭部までの距離Lは利用者の眼球位置Ｈ′から画
面までの距離L′を利用することができる。FIG. 7 is a block diagram of an example of the head position measuring device 3 for calculating the distance L from the screen to the head. The cameras 10 installed on both sides of the display 2 measure the user's eyeball position H 'in a three-dimensional space using a stereo measurement technique. Display 2 in 3D space
By determining the screen position in advance, the eyeball position
The distance L 'from H' to the screen is calculated. In this case, the distance L from the user's eyeball position H 'to the screen can be used as the distance L from the screen to the head.
【００４６】図８は本発明の他の実施形態の文書表示装
置の構成図である。図２中と同じ参照番号は同じ構成要
素を指す。キーボード６は、文書、付加情報の入力など
に用いられる。記憶装置５は図２中の文書記憶装置５に
相当する。記憶装置７はハードディスクである。記録媒
体８は図２中の制御装置４の内部の処理からなる文書表
示プログラムを記録した、フロッピィ・ディスク、CD-R
OM、光磁気ディスクなどの記録媒体である。データ処理
装置９はCPU、各種インタフェースを含み、記録媒体８
から文書表示プログラムをを読み出して、これを実行す
る。FIG. 8 is a block diagram of a document display device according to another embodiment of the present invention. The same reference numerals in FIG. 2 refer to the same components. The keyboard 6 is used for inputting a document, additional information, and the like. The storage device 5 corresponds to the document storage device 5 in FIG. The storage device 7 is a hard disk. The recording medium 8 is a floppy disk, CD-R or the like on which a document display program consisting of the processing inside the control device 4 in FIG.
It is a recording medium such as an OM and a magneto-optical disk. The data processing device 9 includes a CPU and various interfaces,
And reads and executes the document display program.
【００４７】[0047]
【発明の効果】以上説明したように、本発明は、利用者
の視線を連続的に測定して付加情報の表示位置を決定
し、同時に利用者の頭部位置を連続的に測定し、測定さ
れた頭部位置を基に表示する付加情報の種類を決定し、
決定された表示位置に、決定された種類の付加情報を表
示することにより、付加情報を表示する状態と表示しな
い状態を、頭部位置を僅かに移動させるだけで切り替え
ることが可能であり、マウス、キーボードなどの入力デ
バイスを操作する必要はない。As described above, according to the present invention, the display position of the additional information is determined by continuously measuring the user's line of sight, and at the same time, the user's head position is continuously measured. Determine the type of additional information to be displayed based on the head position
By displaying the determined type of additional information at the determined display position, it is possible to switch between a state in which the additional information is displayed and a state in which the additional information is not displayed by slightly moving the head position. There is no need to operate an input device such as a keyboard.
【００４８】また、視線位置に付加情報を表示した場合
には利用者が付加情報を見ている間に視線位置の移動が
発生した場合に付加情報の表示位置が変化するため、極
めて付加情報が読みにくくなるという問題を、利用者が
頭部位置を変化させて表示位置固定モードにすること
で、回避することができる。When the additional information is displayed at the line of sight, the display position of the additional information changes when the user moves the line of sight while viewing the additional information. The problem of difficulty in reading can be avoided by the user changing the head position to set the display position fixed mode.
【００４９】さらに、付加情報を表示する対象を変更し
たい場合には、頭部位置を変化させて表示位置自由モー
ドにした上で、視線を対象に移動させればよく、マウ
ス、キーボードなどの入力デバイスを操作する必要はな
い。Further, when it is desired to change the object for displaying the additional information, the head position may be changed to the display position free mode, and the line of sight may be moved to the object. There is no need to operate the device.
【図１】本発明の一実施形態の文書表示装置の全体構成
図である。FIG. 1 is an overall configuration diagram of a document display device according to an embodiment of the present invention.
【図２】図１中の制御装置の構成図である。FIG. 2 is a configuration diagram of a control device in FIG. 1;
【図３】表示位置モード付加情報表示位置決定処理のフ
ローチャートである。FIG. 3 is a flowchart of a display position mode additional information display position determination process.
【図４】表示位置モード決定処理および付加情報表示位
置決定処理のフローチャートである。FIG. 4 is a flowchart of a display position mode determination process and an additional information display position determination process.
【図５】離散文書表示時の付加情報表示方法を示す図で
ある。FIG. 5 is a diagram illustrating a method of displaying additional information when displaying a discrete document.
【図６】連続文書表示時の付加情報表示方法を示す図で
ある。FIG. 6 is a diagram illustrating a method of displaying additional information when displaying a continuous document.
【図７】頭部位置測定装置の一例を示す図である。FIG. 7 is a diagram illustrating an example of a head position measuring device.
【図８】本発明の他の実施形態の文書表示装置の構成図
である。FIG. 8 is a configuration diagram of a document display device according to another embodiment of the present invention.
１ 視線測定装置 ２ ディスプレイ ３ 頭部位置測定装置 ４ 制御装置 ５ 文書記憶装置 ６ キーボード ７ 記憶装置 ８ 記録媒体 ９ データ処理装置 １０ カメラ １１ 付加情報表示位置決定部 １２ 表示位置モード決定部 １３ 付加情報種類決定部 １４ 付加情報属性決定部 １５ 透明度決定部 １６ 表示用付加情報生成部 １７ 文書合成表示部 １８ 文書表示決定部 １０１〜１０７，１２０〜１２４ ステップ ２０１ 画面 ２０２ 領域 ２０３、２０６ 半透明マスク ２０４ 視線座標 ２０５ 情報 ２０７ 付加情報 ２１０ 画面 ２１１、２１５ 文書 ２１２、２１６ 半透明マスク ２１３ 視線座標 ２１４ 補助線 ２１７ 付加情報 DESCRIPTION OF SYMBOLS 1 Eye gaze measuring device 2 Display 3 Head position measuring device 4 Control device 5 Document storage device 6 Keyboard 7 Storage device 8 Recording medium 9 Data processing device 10 Camera 11 Additional information display position determining unit 12 Display position mode determining unit 13 Additional information type Determination unit 14 Additional information attribute determination unit 15 Transparency determination unit 16 Display additional information generation unit 17 Document synthesis display unit 18 Document display determination unit 101 to 107, 120 to 124 Step 201 Screen 202 Area 203, 206 Translucent mask 204 Line of sight coordinates 205 information 207 additional information 210 screen 211, 215 document 212, 216 translucent mask 213 line-of-sight coordinates 214 auxiliary line 217 additional information
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｇ 5/00 ５３０ Ｇ０９Ｇ 5/00 ５３０Ｍ ５５０ ５５０Ｃ 5/38 5/38 Ａ ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G09G 5/00 530 G09G 5/00 530M 550 550C 5/38 5/38 A
Claims (11)
視線を連続的に測定し、測定された視線位置を利用し
て、現在ディスプレイ上に表示されていない情報である
付加情報の、ディスプレイ上の表示位置を決定し、 ディスプレイ画面から利用者の頭部までの距離を連続的
に測定し、測定された距離に応じて、前記付加情報の種
類を決定し、 ディスプレイに表示する文書の種類を決定し、 種類が決定された文書をディスプレイに表示するととも
に、前記付加情報をディスプレイの前記表示位置に表示
する文書表示方法。1. A method for continuously measuring a line of sight of a user while looking at a display, and using the measured line of sight to add, on the display, additional information that is information not currently displayed on the display. Is determined, the distance from the display screen to the user's head is continuously measured, the type of the additional information is determined according to the measured distance, and the type of the document to be displayed on the display is determined. A document display method for displaying the determined and typed document on a display and displaying the additional information at the display position on the display.
状に合成して表示する、請求項１記載の方法。2. The method according to claim 1, wherein the additional information is combined with the document in a translucent manner and displayed.
透明度で前記付加情報を表示する、請求項２記載の方
法。3. The method according to claim 2, wherein the additional information is displayed with a transparency determined according to the measured distance.
れば、前記決定された表示位置の代りに、前回の処理に
おける表示位置を用いる、請求項１から３のいずれか１
項に記載の方法。4. The display device according to claim 1, wherein if the measured distance is equal to or less than a predetermined distance, a display position in a previous process is used instead of the determined display position.
The method described in the section.
離によって決定する、請求項１から４のいずれか１項に
記載の方法。5. The method according to claim 1, wherein a format of the additional information is determined by the measured distance.
示手段と、 利用者の視線を連続的に測定し、測定結果を連続的に出
力する視線位置測定手段と、 前記視線位置測定手段によって測定された視線位置を利
用して、現在ディスプレイ上に表示されていない情報で
ある付加情報の、ディスプレイ上の表示位置を決定する
付加情報表示位置決定手段と、 前記付加情報表示位置決定手段によって決定された表示
位置に付加情報を表示する付加情報表示手段と、 ディスプレイ画像から利用者の頭部までの距離を連続的
に測定し、測定結果を連続的に出力する頭部位置測定手
段と、 前記頭部位置測定手段によって測定された距離に応じ
て、前記付加情報表示手段によって表示される付加情報
の種類を決定する付加情報種類決定手段とを有する文書
表示装置。6. A document display unit for displaying a document on a display, a line-of-sight position measuring unit for continuously measuring a user's line of sight, and continuously outputting a measurement result; Utilizing the gaze position, additional information display position determining means for determining the display position on the display of the additional information that is not currently displayed on the display, and the additional information display position determining means Additional information display means for displaying additional information at a display position; head position measurement means for continuously measuring a distance from a display image to a user's head; and continuously outputting a measurement result; A document table having additional information type determining means for determining the type of additional information displayed by the additional information displaying means according to the distance measured by the position measuring means. Apparatus.
書に対して、前記付加情報表示手段によって表示される
付加情報を、半透明状に合成して表示する文書合成表示
手段をさらに有する、請求項６記載の文書表示装置。7. A document synthesizing and displaying means for synthesizing and displaying additional information displayed by the additional information displaying means in a semi-transparent manner with respect to a document displayed by the document displaying means. 6. The document display device according to 6.
位置測定手段によって測定された距離に応じて決定する
透明度決定手段をさらに有する、請求項７記載の文書表
示装置。8. The document display device according to claim 7, further comprising a transparency determining means for determining the transparency of the display of the additional information according to the distance measured by the head position measuring means.
た距離に応じて、付加情報の表示位置として、前記付加
情報表示位置決定手段によって決定された表示位置をそ
のまま用いる表示位置自由モード、あるいは前回の処理
において付加情報が表示されたときの表示位置を用いる
表示位置固定モードのいずれかの表示位置モードを決定
する表示位置モード決定手段をさらに有し、前記付加情
報表示位置決定手段は、前記視線位置に加えて前記表示
位置モードを利用して付加情報の表示位置を決定する、
請求項６記載の文書表示装置。9. A display position free mode in which a display position determined by the additional information display position determining means is used as a display position of the additional information according to the distance measured by the head position measuring means, Further comprising a display position mode determining means for determining one of the display position modes of the display position fixed mode using the display position when the additional information is displayed in the processing of the above, wherein the additional information display position determining means comprises: Determining the display position of the additional information using the display position mode in addition to the position,
The document display device according to claim 6.
れる付加情報の書式を前記頭部位置測定手段によって測
定された距離に応じて決定する付加情報表示決定手段を
さらに有する、請求項６記載の文書表示装置。10. The document according to claim 6, further comprising additional information display determining means for determining a format of the additional information displayed by said additional information display means according to the distance measured by said head position measuring means. Display device.
の視線を連続的に測定して得られた視線位置を利用し
て、現在ディスプレイ上に表示されていない情報である
付加情報の、ディスプレイ上の表示位置を決定する手順
と、 連続的に測定されたディスプレイ画面から利用者の頭部
までの距離に応じて、前記付加情報の種類を決定する手
順と、 ディスプレイに表示する文書の種類を決定する手順と、 種類が決定された文書をディスプレイに表示するととも
に、前記付加情報をディスプレイの前記表示位置に表示
する手順をコンピュータに実行させるための文書表示プ
ログラムを記録した記録媒体。11. Using a line-of-sight position obtained by continuously measuring a line of sight of a user while looking at a display, additional information, which is information not currently displayed on the display, is displayed on the display. Determining the type of the additional information according to the distance from the continuously measured display screen to the user's head; and determining the type of the document to be displayed on the display. And a document display program for causing a computer to execute a procedure of displaying a document whose type is determined on a display and displaying the additional information at the display position of the display.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000248526A JP3407298B2 (en) | 2000-08-18 | 2000-08-18 | Document display method and apparatus, and recording medium recording document display program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000248526A JP3407298B2 (en) | 2000-08-18 | 2000-08-18 | Document display method and apparatus, and recording medium recording document display program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002062863A true JP2002062863A (en) | 2002-02-28 |
| JP3407298B2 JP3407298B2 (en) | 2003-05-19 |
Family
ID=18738417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000248526A Expired - Fee Related JP3407298B2 (en) | 2000-08-18 | 2000-08-18 | Document display method and apparatus, and recording medium recording document display program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3407298B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003250812A (en) * | 2002-02-28 | 2003-09-09 | Olympus Optical Co Ltd | Stereoscopic display device for medical treatment |
| JP2007183924A (en) * | 2005-02-10 | 2007-07-19 | Fujitsu Ltd | Information providing device and information providing system |
| JP2009251303A (en) * | 2008-04-07 | 2009-10-29 | Sony Corp | Image signal generating apparatus, image signal generation method, program, and storage medium |
| JP2011134113A (en) * | 2009-12-24 | 2011-07-07 | Shinya Fukumoto | Apparatus and method for presenting information and program |
| JP2012205191A (en) * | 2011-03-28 | 2012-10-22 | Nippon Telegr & Teleph Corp <Ntt> | Video additional information display controller and operation method therefor |
| JP2014085779A (en) * | 2012-10-23 | 2014-05-12 | Konica Minolta Inc | Thumbnail display device, thumbnail display method, and computer program |
| WO2015029554A1 (en) * | 2013-09-02 | 2015-03-05 | ソニー株式会社 | Information processing device, information processing method, and program |
| WO2015187294A1 (en) * | 2014-06-06 | 2015-12-10 | Intel Corporation | Technologies for viewer attention area estimation |
| JP2017224140A (en) * | 2016-06-15 | 2017-12-21 | 株式会社Ｎｔｔドコモ | Information display device |
-
2000
- 2000-08-18 JP JP2000248526A patent/JP3407298B2/en not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003250812A (en) * | 2002-02-28 | 2003-09-09 | Olympus Optical Co Ltd | Stereoscopic display device for medical treatment |
| JP2007183924A (en) * | 2005-02-10 | 2007-07-19 | Fujitsu Ltd | Information providing device and information providing system |
| JP2009251303A (en) * | 2008-04-07 | 2009-10-29 | Sony Corp | Image signal generating apparatus, image signal generation method, program, and storage medium |
| JP2011134113A (en) * | 2009-12-24 | 2011-07-07 | Shinya Fukumoto | Apparatus and method for presenting information and program |
| JP2012205191A (en) * | 2011-03-28 | 2012-10-22 | Nippon Telegr & Teleph Corp <Ntt> | Video additional information display controller and operation method therefor |
| JP2014085779A (en) * | 2012-10-23 | 2014-05-12 | Konica Minolta Inc | Thumbnail display device, thumbnail display method, and computer program |
| WO2015029554A1 (en) * | 2013-09-02 | 2015-03-05 | ソニー株式会社 | Information processing device, information processing method, and program |
| US10379610B2 (en) | 2013-09-02 | 2019-08-13 | Sony Corporation | Information processing device and information processing method |
| WO2015187294A1 (en) * | 2014-06-06 | 2015-12-10 | Intel Corporation | Technologies for viewer attention area estimation |
| JP2017224140A (en) * | 2016-06-15 | 2017-12-21 | 株式会社Ｎｔｔドコモ | Information display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3407298B2 (en) | 2003-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9619104B2 (en) | Interactive input system having a 3D input space | |
| JP4533087B2 (en) | Image processing method and image processing apparatus | |
| US9778836B2 (en) | User interface systems and methods for manipulating and viewing digital documents | |
| CN109643212B (en) | 3D document editing system | |
| US6882337B2 (en) | Virtual keyboard for touch-typing using audio feedback | |
| US8542253B2 (en) | Magnification engine | |
| US8577762B2 (en) | Detail-in-context lenses for interacting with objects in digital image presentations | |
| EP2284682B1 (en) | User interface systems and methods for manipulating and viewing digital documents | |
| US20060082901A1 (en) | Interacting with detail-in-context presentations | |
| JP2000056896A (en) | Pointing device | |
| WO2012133272A1 (en) | Electronic device | |
| KR20120012698A (en) | Apparatus and method for synthesizing additional information during rendering object in 3d graphic terminal | |
| US20040177325A1 (en) | Edit location indicator | |
| WO2018198703A1 (en) | Display device | |
| CN113082696A (en) | Display control method and device and electronic equipment | |
| JP2002062863A (en) | Method and device for displaying document, and recording medium in which document display program is recorded | |
| JP2016038728A (en) | Image display device, control method of image display device and program thereof | |
| JP2005149175A (en) | Display controller and program | |
| JP4333309B2 (en) | Multi-screen image display system, multi-image display device relative position detection method, multi-image display device relative position detection program, and multi-image display device relative position detection program | |
| JP2010205105A (en) | Electronic board system, mouse-event pseudo-generating method, and input coordinate correction method | |
| JP4907156B2 (en) | Three-dimensional pointing method, three-dimensional pointing device, and three-dimensional pointing program | |
| KR20040087425A (en) | A Method, Apparatus For E-book Service And Storage Media Thereof | |
| JP2018194801A (en) | Display, display method, and program | |
| KR20190043854A (en) | Method for simulation displaying 3D user interface | |
| JP2004078726A (en) | Character string indicating program and character string indicating device in three-dimensional space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080314 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090314 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090314 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100314 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120314 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130314 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |