JP2012216123A - Head-mounted display and program used therefor - Google Patents

Head-mounted display and program used therefor Download PDF

Info

Publication number
JP2012216123A
JP2012216123A JP2011081764A JP2011081764A JP2012216123A JP 2012216123 A JP2012216123 A JP 2012216123A JP 2011081764 A JP2011081764 A JP 2011081764A JP 2011081764 A JP2011081764 A JP 2011081764A JP 2012216123 A JP2012216123 A JP 2012216123A
Authority
JP
Japan
Prior art keywords
line
sight
movement
marker
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011081764A
Other languages
Japanese (ja)
Other versions
JP5655674B2 (en
Inventor
Tomohiro Sato
知裕 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2011081764A priority Critical patent/JP5655674B2/en
Publication of JP2012216123A publication Critical patent/JP2012216123A/en
Application granted granted Critical
Publication of JP5655674B2 publication Critical patent/JP5655674B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a technology for preventing the occurrence of erroneous detection in an eye-controllable head-mounted display.SOLUTION: A head-mounted display includes: a head-mounted part 10 that is mounted on a head of a user; an image display part 30 that is attached to the head-mounted part 10 and causes the user to visually recognize an image; a line-of-sight detection part 60 for detecting a direction of a line of sight of the user; marker display means for displaying a moving marker on the image display part 30; line-of-sight movement analysis means that detects an eye control of the user by analyzing the result of detection by the line-of-sight detection part and detecting the movement of the line of sight associated with the movement of the marker; and operation execution means for executing an operation corresponding to the eye control detected by the line-of-sight movement analysis means.

Description

本発明は、視線入力可能なヘッドマウントディスプレイの改良に関する。   The present invention relates to an improvement of a head mounted display capable of visual line input.

特許文献１には、視線入力により操作を行うことができるヘッドマウントディスプレイが提案されている。このようなヘッドマウントディスプレイは、操作内容に対応するマーカーが表示され、マーカーに対するユーザの一定時間以上の注視が検出された場合に、マーカーに対応する操作が実行されるようになっている。   Patent Document 1 proposes a head-mounted display that can be operated by line-of-sight input. In such a head mounted display, a marker corresponding to the operation content is displayed, and an operation corresponding to the marker is executed when a user's gaze for a certain period of time or more is detected.

特開２００４−１８０２０８号公報JP 2004-180208 A

ところが、ユーザがマーカーを注視しても、眼球は固定されているわけでなく、自律的な動き等により眼球が移動してしまうことから、誤検出されてしまうという問題があった。また、多くの場合、このようなヘッドマウントディスプレイでは、マーカーが表示される表示領域上におけるユーザの視線の座標を検出し、ユーザの視線の座標とマーカーの座標とが一致した場合に、ユーザの視線入力が検出されるようになっていた。このため、ユーザの視線座標とマーカー座標を一致させる必要があり、個人ごとにユーザの視線の座標の原点を定義するためのキャリブレーションが必要であった。
本発明は、上記問題を解決し、視線入力可能なヘッドマウントディスプレイにおいて、誤検出の発生を防止する技術を提供することを目的とする。 However, even if the user gazes at the marker, the eyeball is not fixed, and the eyeball moves due to an autonomous movement or the like, which causes a problem of erroneous detection. In many cases, such a head mounted display detects the coordinates of the user's line of sight on the display area where the marker is displayed, and when the coordinates of the user's line of sight match the coordinates of the marker, Eye-gaze input was detected. For this reason, it is necessary to match the user's line-of-sight coordinates with the marker coordinates, and calibration is required to define the origin of the user's line-of-sight coordinates for each individual.
An object of the present invention is to solve the above-described problems and provide a technique for preventing occurrence of erroneous detection in a head-mounted display capable of line-of-sight input.

上記課題を解決するためになされた請求項１に記載の発明は、
ユーザの頭部に装着される頭部装着部と、
前記頭部装着部に取り付けられ、ユーザに画像を視認させる画像表示部と、
ユーザの視線の向きを検出する視線検出部と、
前記画像表示部に、動くマーカーを表示させるマーカー表示手段と、
前記視線検出部の検出結果を解析し、マーカーの動きと関連している視線の動きを検出することにより、ユーザの視線入力を検出する視線動解析手段と、
前記視線動解析手段が検出した前記視線入力に対応する操作を実行させる操作実行手段を有することを特徴とする。 The invention according to claim 1, which has been made to solve the above problems,
A head mounting part to be mounted on the user's head;
An image display unit attached to the head-mounted unit and allowing the user to visually recognize an image;
A line-of-sight detector that detects the direction of the user's line of sight;
Marker display means for displaying a moving marker on the image display unit;
Analyzing the detection result of the line-of-sight detection unit, and detecting the movement of the line of sight associated with the movement of the marker, thereby detecting the line-of-sight movement analysis means for detecting the user's line-of-sight input;
It has an operation execution means for executing an operation corresponding to the line-of-sight input detected by the line-of-sight movement analysis means.

請求項２に記載の発明は、請求項１に記載の発明において、
前記マーカー表示手段は、前記画像表示部に、一方向に動くマーカーを表示させることを特徴とする。
これにより、ユーザに負担を与えず、視線入力を検出することが可能となる。 The invention according to claim 2 is the invention according to claim 1,
The marker display means displays a marker moving in one direction on the image display unit.
Thereby, it becomes possible to detect a line-of-sight input without imposing a burden on the user.

請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、
前記マーカー表示手段は、前記画像表示部に、異なる方向に動く複数のマーカーを表示させることを特徴とする。
これにより、複数の操作を選択的に実行させることが可能となる。 The invention according to claim 3 is the invention according to claim 1 or 2,
The marker display means displays a plurality of markers moving in different directions on the image display unit.
As a result, a plurality of operations can be selectively executed.

請求項４に記載の発明は、請求項１〜請求項３に記載の発明において、
前記マーカー表示手段は、前記画像表示部に、移動方向が途中で変化するマーカーを表示させることを特徴とする。
これにより、ユーザが、移動方向が途中で変化する前後のマーカーを目で追い続けなければ、ユーザの視線入力が検出されないので、視線入力の誤検出がより確実に防止される。 The invention according to claim 4 is the invention according to claims 1 to 3,
The marker display means causes the image display unit to display a marker whose movement direction changes midway.
Accordingly, since the user's line-of-sight input is not detected unless the user continues to follow the markers before and after the movement direction changes in the middle, erroneous detection of the line-of-sight input is more reliably prevented.

請求項５に記載の発明は、請求項１〜請求項４に記載の発明において、
前記視線動解析手段は、視線の相対的な動きを検出することにより、ユーザの視線入力を検出することを特徴とする。
これにより、視線の絶対位置により視線入力を検出する方法と異なり、視線の相対的な動きを検出するので、個人ごとに視線座標の原点を定義するためのキャリブレーションが不要となる。 The invention according to claim 5 is the invention according to claims 1 to 4,
The line-of-sight motion analysis means detects a user's line-of-sight input by detecting a relative movement of the line of sight.
Thus, unlike the method of detecting the gaze input based on the absolute position of the gaze, since the relative movement of the gaze is detected, calibration for defining the origin of the gaze coordinates for each individual becomes unnecessary.

請求項６に記載の発明は、請求項５に記載の発明において、
前記視線動解析手段は、マーカーの動きと相似的な視線の動きを検出することにより、ユーザの視線入力を検出することを特徴とする。
これにより、視線の動きがマーカーの動きに対して相似的であれば、その移動量に関らずユーザの視線入力が検出される。これによって、同一のマーカーの動きに対して、視線の移動量に個人差がある場合であっても、ユーザの視線入力が検出されないという誤検出を防止することが可能となる。 The invention according to claim 6 is the invention according to claim 5,
The line-of-sight motion analyzing means detects a user's line-of-sight input by detecting a line-of-sight movement similar to the movement of the marker.
Thereby, if the movement of the line of sight is similar to the movement of the marker, the line of sight input of the user is detected regardless of the movement amount. Thereby, even if there is an individual difference in the movement amount of the line of sight with respect to the movement of the same marker, it is possible to prevent a false detection that the line of sight input of the user is not detected.

請求項７に記載の発明は、請求項１〜請求項６に記載の発明において、
アプリケーションへの視線入力を受け付けないロック状態にある場合において、前記視線動解析手段が、マーカーの動きと関連している視線の動きを検出した場合に、前記操作実行手段は、前記ロック状態から、前記アプリケーションソフトへの視線入力を受け付けるロック解除状態に変更し、
ロック解除状態にある場合において、前記視線動解析手段が、マーカーの動きと関連している視線の動きを検出した場合に、前記操作実行手段は、前記アプリケーションソフトの操作を実行させることを特徴とする。
これにより、ロック状態に有る場合には、アプリケーションソフトへの不用意な操作が防止される一方で、ユーザの視線入力により、ロック解除状態に変更することができ、ユーザの意図に沿った操作を視線入力により実現することが可能となる。 The invention according to claim 7 is the invention according to claims 1 to 6,
When the line-of-sight movement analyzing means detects the movement of the line of sight associated with the movement of the marker, when the line-of-sight movement analysis means detects the movement of the line of sight associated with the movement of the marker, Change to the unlocked state to accept line-of-sight input to the application software,
In the unlocked state, the operation execution unit causes the application software to execute an operation when the line-of-sight movement analysis unit detects a movement of the line of sight related to the movement of the marker. To do.
As a result, inadvertent operation to the application software can be prevented when in the locked state, while it can be changed to the unlocked state by the user's line-of-sight input, and the operation according to the user's intention can be performed. This can be realized by line-of-sight input.

請求項８に記載の発明は、
ユーザの頭部に装着される頭部装着部と、
前記頭部装着部に取り付けられ、ユーザに画像を視認させる画像表示部と、
ユーザの視線の向きを検出する視線検出部を有するヘッドマウントディスプレイで実行されるプログラムであって、
前記画像表示部に、動くマーカーを表示させるマーカー表示ステップと、
前記視線検出部の検出結果を解析し、マーカーの動きと関連している視線の動きを検出することにより、ユーザの視線入力を検出する視線動解析ステップと、
前記視線解析ステップで検出された前記視線入力に対応する操作を実行させる操作実行ステップを有することを特徴とする。 The invention according to claim 8 provides:
A head mounting part to be mounted on the user's head;
An image display unit attached to the head-mounted unit and allowing the user to visually recognize an image;
A program executed on a head-mounted display having a line-of-sight detection unit for detecting the direction of the user's line of sight,
A marker display step for displaying a moving marker on the image display unit;
Analyzing the detection result of the line-of-sight detection unit, and detecting a line-of-sight input related to the movement of the marker, thereby detecting a line-of-sight input of the user,
It has an operation execution step of executing an operation corresponding to the line-of-sight input detected in the line-of-sight analysis step.

本発明によれば、マーカー表示手段が画像表示部に動くマーカーを表示させ、視線動解析手段が、マーカーの動きと関連している視線の動きを検出することにより、ユーザの視線入力を検出する。このため、ユーザが一方向に動くマーカーを目で追うと、ユーザの視線入力が検出されるので、眼球の自律的な動きに起因する誤検出を防止することが可能となる。   According to the present invention, the marker display unit displays a moving marker on the image display unit, and the line-of-sight movement analysis unit detects the line-of-sight movement related to the movement of the marker, thereby detecting the user's line-of-sight input. . For this reason, when the user follows a marker that moves in one direction, the user's line-of-sight input is detected, so that it is possible to prevent erroneous detection caused by the autonomous movement of the eyeball.

本発明の実施の形態を示すヘッドマウントディスプレイの斜視図である。It is a perspective view of a head mount display showing an embodiment of the invention. 図１の上面図である。FIG. 2 is a top view of FIG. 1. 第１の実施形態の視線入力画面の説明図である。It is explanatory drawing of the eyes | visual_axis input screen of 1st Embodiment. ヘッドマウントディスプレイのブロック図である。It is a block diagram of a head mounted display. 第１の実施形態の視線入力検出処理のフロー図である。It is a flowchart of the gaze input detection process of 1st Embodiment. 視線の運動特徴を表した説明図である。It is explanatory drawing showing the motion characteristic of the eyes | visual_axis. 第２の実施形態の視線入力検出処理のフロー図である。It is a flowchart of the gaze input detection process of 2nd Embodiment. 第２の実施形態の視線入力画面の説明図である。It is explanatory drawing of the eyes | visual_axis input screen of 2nd Embodiment. 移動方向が途中で変化するマーカーが表示される視線入力画面の説明図である。It is explanatory drawing of the gaze input screen on which the marker from which a moving direction changes is displayed. パターンデータの説明図である。It is explanatory drawing of pattern data. マーカーに対する視線の相似的な動きを上方から見た説明図である。It is explanatory drawing which looked at similar movement of the eyes | visual_axis with respect to a marker from upper direction.

（本発明の概要）
図３を用いて、本発明の概要について説明する。図３の（Ａ）に示されるように、本発明のヘッドマウントディスプレイ１００の画像表示部３０（図１、図２に示す）は、一方向に動くマーカー８０１を繰り返し表示する。なお、図３の（Ｂ）〜（Ｆ）は、マーカー８０１の移動の遷移状態を表した図である。ユーザが動くマーカー８０１を目で追うと、視線検出部６０（図１、図２に示す）でユーザの視線の動きが検出される。そして、マーカー８０１の動きと、視線検出部６０で検出された視線の動きとが関連していると判断された場合に、ユーザの視線による入力操作（視線入力）が検出される。このように、本発明では、ユーザが一方向に動くマーカー８０１を目で追うと、ユーザの視線入力が検出されるように構成されているので、眼球９９９の自律的な動きに起因する誤検出を防止することが可能となる。従来では、表示領域８００上のユーザの視線の絶対位置によりユーザの視線入力が検出されていたため、使用前に、マーカー８０１の座標とユーザの視線の座標を一致させる必要があり、個人ごとに視線座標の原点を定義するためのキャリブレーションが必要であった。本発明では、ユーザの視線の視線座標上の絶対位置で無く、ユーザの視線の相対的な動きにより、ユーザの視線入力が検出されるように構成したので、前記キャリブレーションが不要となる。以下に、本発明の視線入力を可能とする具体的な構成について説明する。 (Outline of the present invention)
The outline of the present invention will be described with reference to FIG. As shown in FIG. 3A, the image display unit 30 (shown in FIGS. 1 and 2) of the head mounted display 100 of the present invention repeatedly displays a marker 801 that moves in one direction. 3B to 3F are diagrams showing transition states of movement of the marker 801. FIG. When the user follows the moving marker 801 with his / her eyes, the line-of-sight detection unit 60 (shown in FIGS. 1 and 2) detects the movement of the user's line of sight. When it is determined that the movement of the marker 801 and the movement of the line of sight detected by the line-of-sight detection unit 60 are related, an input operation (line-of-sight input) by the user's line of sight is detected. As described above, according to the present invention, when the user follows the marker 801 moving in one direction, the user's line-of-sight input is detected, so that the false detection caused by the autonomous movement of the eyeball 999 is detected. Can be prevented. Conventionally, since the user's line-of-sight input is detected based on the absolute position of the user's line of sight on the display area 800, it is necessary to match the coordinates of the marker 801 with the coordinates of the user's line of sight before use. Calibration was needed to define the origin of the coordinates. In the present invention, since the user's line-of-sight input is detected not by the absolute position of the user's line-of-sight on the line-of-sight coordinate but by the relative movement of the user's line of sight, the calibration becomes unnecessary. Below, the concrete structure which enables the eyes | visual_axis input of this invention is demonstrated.

（本発明のヘッドマウントディスプレイの構造）
本発明のヘッドマウントディスプレイ１００は、図１や図２に示されるように、頭部装着部１０、取付部材２０、画像表示部３０とから構成されている。図１や図２に示される実施形態では、頭部装着部１０は、横長の前フレーム１２と、前フレーム１２の両端から後方に延出するテンプル１３とから構成された眼鏡のフレーム形状であり、ユーザの頭部に装着される。前フレーム１２の中央には、ノーズパッド１１が設けられている。なお、頭部装着部１０は、眼鏡のフレーム形状に限定されず、例えば、ヘルメット形状等であっても差し支え無い。なお、図１、図２において、９９９はユーザの眼球位置を仮想的に表したものである。 (Structure of the head-mounted display of the present invention)
As shown in FIGS. 1 and 2, the head-mounted display 100 of the present invention includes a head mounting part 10, an attachment member 20, and an image display part 30. In the embodiment shown in FIGS. 1 and 2, the head mounting portion 10 has a frame shape of eyeglasses composed of a horizontally long front frame 12 and temples 13 extending rearward from both ends of the front frame 12. , Worn on the user's head. A nose pad 11 is provided at the center of the front frame 12. In addition, the head mounting part 10 is not limited to the frame shape of spectacles, For example, a helmet shape etc. may be sufficient. In FIG. 1 and FIG. 2, 999 is a virtual representation of the user's eyeball position.

画像表示部３０は、頭部装着部１０に、取付部材２０を介して取り付けられている。画像表示部３０は、画像をユーザに視認させるものである。図１や図２に示されるように、画像表示部３０は、内部に表示部３３（図４に示す）と接眼レンズを有している。また、画像表示部３０の先端部には、ハーフミラー３５が取り付けられている。なお、ハーフミラー３５は、接眼レンズと対面する位置に配設され、ハーフミラー３５の反射面は、接眼レンズの光軸に対して傾斜している。また、ヘッドマウントディスプレイ１００がユーザの頭部に装着された状態では、ハーフミラー３５はユーザの眼球９９９の直前に位置している。   The image display unit 30 is attached to the head mounting unit 10 via the attachment member 20. The image display unit 30 makes the user visually recognize the image. As shown in FIGS. 1 and 2, the image display unit 30 includes a display unit 33 (shown in FIG. 4) and an eyepiece. A half mirror 35 is attached to the tip of the image display unit 30. The half mirror 35 is disposed at a position facing the eyepiece lens, and the reflection surface of the half mirror 35 is inclined with respect to the optical axis of the eyepiece lens. When the head mounted display 100 is mounted on the user's head, the half mirror 35 is positioned immediately before the user's eyeball 999.

表示部３３が画像光を照射すると、画像光が接眼レンズで集光又は平行化され、この画像光がハーフミラー３５で反射されてユーザの眼球９９９に到達する。ユーザには、所定の距離先に、所定サイズの虚像が提示されているように見える。ユーザは、ハーフミラー３５を通して外界も視認することができる。   When the display unit 33 irradiates the image light, the image light is collected or collimated by the eyepiece lens, and the image light is reflected by the half mirror 35 and reaches the user's eyeball 999. It seems to the user that a virtual image of a predetermined size is presented at a predetermined distance away. The user can also visually recognize the outside world through the half mirror 35.

図１や図２に示されるように、頭部装着部１０の両側部（本実施形態では、両テンプル１３の前端）には、視線検出部６０が取り付けられている。図２に示されるように、ヘッドマウントディスプレイ１００がユーザの頭部に装着された状態では、ユーザの眼球９９９の外側に、一対の視線検出部６０が位置している。図２に示されるように、眼球９９９は網膜９９９ａと角膜９９９ｂを有しているが、網膜９９９ａはマイナスに帯電している一方で、角膜９９９ｂはプラスに帯電している。そして、角膜９９９ｂから網膜９９９ａに向かって電場が生じている。眼球９９９の動きに伴って、電場の向きも変わる。視線検出部６０は、眼球９９９の電場の向き（つまり、眼球９９９の向き）を検出する電極を有している。眼球９９９の向きが視線検出部６０で検出されることにより、ユーザの視線方向が検出されるようになっている。   As shown in FIGS. 1 and 2, a line-of-sight detection unit 60 is attached to both side portions of the head mounting portion 10 (in this embodiment, the front ends of both temples 13). As shown in FIG. 2, when the head mounted display 100 is mounted on the user's head, the pair of line-of-sight detection units 60 is located outside the user's eyeball 999. As shown in FIG. 2, the eyeball 999 has a retina 999a and a cornea 999b. The retina 999a is negatively charged while the cornea 999b is positively charged. An electric field is generated from the cornea 999b toward the retina 999a. As the eyeball 999 moves, the direction of the electric field also changes. The line-of-sight detection unit 60 includes an electrode that detects the direction of the electric field of the eyeball 999 (that is, the direction of the eyeball 999). When the direction of the eyeball 999 is detected by the line-of-sight detection unit 60, the user's line-of-sight direction is detected.

（ヘッドマウントディスプレイのブロック図の説明）
図４を用いて、ヘッドマウントディスプレイ１００のブロック図について説明する。ヘッドマウントディスプレイ１００は、制御部５０を有している。制御部５０は、画像表示部３０内、或いは、画像表示部３０とは別体に設けられている。
制御部５０は、ＣＰＵ５１、ＲＡＭ５２、記憶装置５３、インターフェース５４、画像処理部５５を有していて、これらの構成要素は相互にバス５９で接続されている。インターフェース５４には、視線検出部６０が接続されている。また、画像処理部５５には、表示部３３が接続されている。 (Explanation of block diagram of head mounted display)
A block diagram of the head mounted display 100 will be described with reference to FIG. The head mounted display 100 has a control unit 50. The control unit 50 is provided in the image display unit 30 or separately from the image display unit 30.
The control unit 50 includes a CPU 51, a RAM 52, a storage device 53, an interface 54, and an image processing unit 55, and these components are connected to each other via a bus 59. A line-of-sight detection unit 60 is connected to the interface 54. The display unit 33 is connected to the image processing unit 55.

ＣＰＵ５１は、ＲＡＭ５２、記憶装置５３と協動して、各種演算、処理を行う。
ＲＡＭ５２は、ＣＰＵ５１で処理されるプログラムや、ＣＰＵ５１が処理するデータを、そのアドレス空間に一時的に記憶する。
ＲＡＭ５２は、視線座標ログ記憶領域５２ａと運動特徴記憶領域５２ｂを有している。
視線座標ログ記憶領域５２ａには、視線座標算出プログラム５３ａにより算出された視線座標のログが記憶される。
運動特徴記憶領域５２ｂには、視線動解析プログラム５３ｃにより算出された視線の運動特徴が記憶される。 The CPU 51 performs various calculations and processes in cooperation with the RAM 52 and the storage device 53.
The RAM 52 temporarily stores a program processed by the CPU 51 and data processed by the CPU 51 in its address space.
The RAM 52 has a line-of-sight coordinate log storage area 52a and a motion feature storage area 52b.
A line-of-sight coordinate log calculated by the line-of-sight coordinate calculation program 53a is stored in the line-of-sight coordinate log storage area 52a.
The movement feature storage area 52b stores the movement feature of the line of sight calculated by the line-of-sight movement analysis program 53c.

記憶装置５３には、不揮発性メモリー、ハードディスク等の補助記憶装置が含まれる。記憶装置５３には、本体部５０を制御する各種プログラムやパラメータが記憶されている。当該各種プログラムが、ＣＰＵ５１で処理されることにより、各種機能が実現される。
記憶装置５３には、視線座標算出プログラム５３ａ、マーカー表示プログラム５３ｂ、視線動解析プログラム５３ｃ、操作実行プログラム５３ｄ、各種アプリケーションソフト５３ｅが記憶されている。
視線座標算出プログラム５３ａは、視線検出部６０からインターフェース５４を介してバス５９に入力された視線情報に基づき、視線座標を算出するプログラムである。マーカー表示プログラム５３ｂは、画像処理部５５に描画命令を出力し、表示領域８００（図３に示す）に、動くマーカー８０１を表示させるプログラムである。
視線動解析プログラム５３ｃは、マーカー８０１の動きと関連している視線の動きを検出することにより、ユーザの視線入力を検出するプログラムである。
操作実行プログラム５３ｄは、視線動解析プログラム５３ｃが検出した視線入力に対応する操作を実行させるプログラムである。
アプリケーションソフト５３ｅは、制御部５０で実行され、画像表示部３０で表示される。アプリケーションソフト５３ｅには、作業の確認項目についてハンズフリーでチェック入力する作業確認入力ソフトや、状況に応じてユーザが必要とすると推測される情報を、キャラクターを通して提供したり、ユーザが質問を行ったりすることができるコンシェルジュソフトが含まれる。なお、後述する第２の形態の視線入力検出処理において、ユーザは視線入力によりアプリケーションソフト５３ｅを操作することができる。 The storage device 53 includes an auxiliary storage device such as a nonvolatile memory or a hard disk. The storage device 53 stores various programs and parameters for controlling the main body 50. Various functions are realized by the CPU 51 processing the various programs.
The storage device 53 stores a gaze coordinate calculation program 53a, a marker display program 53b, a gaze motion analysis program 53c, an operation execution program 53d, and various application software 53e.
The line-of-sight coordinate calculation program 53 a is a program for calculating line-of-sight coordinates based on line-of-sight information input from the line-of-sight detection unit 60 to the bus 59 via the interface 54. The marker display program 53b is a program that outputs a drawing command to the image processing unit 55 and displays a moving marker 801 in the display area 800 (shown in FIG. 3).
The line-of-sight analysis program 53c is a program that detects the line-of-sight input of the user by detecting the movement of the line of sight associated with the movement of the marker 801.
The operation execution program 53d is a program for executing an operation corresponding to the line-of-sight input detected by the line-of-sight motion analysis program 53c.
The application software 53e is executed by the control unit 50 and displayed on the image display unit 30. The application software 53e provides work confirmation input software for hands-free check input of work confirmation items, information provided by the user that is estimated to be necessary depending on the situation through the character, and the user asks a question. Concierge software that can be included. It should be noted that the user can operate the application software 53e by a line-of-sight input in a line-of-sight input detection process of a second form to be described later.

インターフェース５４は、視線検出部６０が検出した信号の物理的・論理的な形式を変換し、視線情報として、バス５９に出力するものである
画像処理部５５は、画像処理回路及びビデオメモリを有し、表示部３３に出力する画像信号を生成するものである。
表示部３３は、画像処理部５５から出力された画像信号に基づいて、画像光を生成するものである。表示部３３には、液晶ディスプレイ、有機ＥＬディスプレイ、デジタルミラーデバイス(Digital Mirror Device)などの空間光変調素子や、網膜走査ディスプレイなどが含まれる。 The interface 54 converts the physical / logical format of the signal detected by the line-of-sight detection unit 60 and outputs the line-of-sight information to the bus 59. The image processing unit 55 includes an image processing circuit and a video memory. Then, an image signal to be output to the display unit 33 is generated.
The display unit 33 generates image light based on the image signal output from the image processing unit 55. The display unit 33 includes a spatial light modulation element such as a liquid crystal display, an organic EL display, and a digital mirror device, a retinal scanning display, and the like.

（第１の実施形態の視線入力検出処理の説明）
以下に、図５及び図６を用いて、第１の実施形態の視線入力検出処理について説明する。
なお、第１の実施形態の視線入力検出処理は、初期状態では視線入力を受け付けないロック状態にあるアプリケーションソフトを、視線入力を受け付けるロック解除状態にする実施形態である。
第１の実施形態の視線入力検出処理が開始すると、Ｓ１１の処理に進む。 (Description of eye-gaze input detection processing of the first embodiment)
The line-of-sight input detection processing according to the first embodiment will be described below with reference to FIGS. 5 and 6.
Note that the line-of-sight input detection processing of the first embodiment is an embodiment in which application software that is in a locked state that does not accept line-of-sight input in the initial state is put into a lock-released state that accepts line-of-sight input.
When the line-of-sight input detection process of the first embodiment starts, the process proceeds to S11.

Ｓ１１「マーカー更新表示」の処理において、マーカー表示プログラム５３ｂは、描画命令を画像処理部５５に出力し、表示領域８００（図３に示す）に、マーカー８０１を更新表示させる。最初にＳ１１の処理が実行される場合には、図３の（Ｂ）に示されるように、表示領域８００の一端（始点）にマーカー８０１が表示される。次に、Ｓ１１の処理が実行される場合には、図３の（Ｃ）に示されるように、表示領域８００の他端側に僅かに移動した位置に、マーカー８０１が更新表示される。このように、Ｓ１１の処理が実行される度に、表示領域８００の他端側に僅かに移動した位置にマーカー８０１が更新表示される。そして、表示領域８００の他端（終点）にマーカー８０１が到達した場合には（図３の（Ｅ））、再び、始点にマーカー８０１が表示される（図３の（Ｆ））。本実施形態では、マーカー８０１は、表示領域８００を、等速度直線運動する。なお、このＳ１１の処理は、所定時間（例えば、数十ミリ秒）毎に実行される。
Ｓ１１の処理が終了すると、Ｓ１２の処理に進む。 In the processing of S11 “Marker update display”, the marker display program 53b outputs a drawing command to the image processing unit 55, and updates and displays the marker 801 in the display area 800 (shown in FIG. 3). When the process of S11 is first executed, a marker 801 is displayed at one end (starting point) of the display area 800, as shown in FIG. Next, when the process of S11 is executed, the marker 801 is updated and displayed at a position slightly moved to the other end side of the display area 800, as shown in FIG. Thus, whenever the process of S11 is executed, the marker 801 is updated and displayed at a position slightly moved to the other end side of the display area 800. When the marker 801 reaches the other end (end point) of the display area 800 ((E) in FIG. 3), the marker 801 is displayed again at the start point ((F) in FIG. 3). In the present embodiment, the marker 801 moves at a constant linear velocity in the display area 800. The process of S11 is executed every predetermined time (for example, several tens of milliseconds).
When the process of S11 ends, the process proceeds to S12.

Ｓ１２「視線検出」の処理において、視線座標算出プログラム５３ａは、バス５９に入力された、視線情報に基づき、視線座標を算出する。このＳ１２の処理もまた、所定時間（例えば、数十ミリ秒）毎に実行される。Ｓ１２の処理が終了すると、Ｓ１３の処理に進む。   In the process of S12 “line-of-sight detection”, the line-of-sight coordinate calculation program 53a calculates line-of-sight coordinates based on line-of-sight information input to the bus 59. The process of S12 is also executed every predetermined time (for example, several tens of milliseconds). When the process of S12 ends, the process proceeds to S13.

Ｓ１３「視線座標をログに追加」の処理において、視線座標算出プログラム５３ａは、Ｓ１２の処理で算出された視線座標を、視線座標ログ記憶領域５２ａに追加記憶させる。Ｓ１３の処理が終了すると、Ｓ１４の判断処理に進む。   In the process of S13 “Add Gaze Coordinates to Log”, the gaze coordinate calculation program 53a additionally stores the gaze coordinates calculated in the process of S12 in the gaze coordinate log storage area 52a. When the process of S13 ends, the process proceeds to the determination process of S14.

Ｓ１４「マーカーが終点で表示」の判断処理において、ＣＰＵ５１は、マーカー８０１が終点に表示されたか否かを判断する。ＣＰＵ５１が、マーカー８０１が終点に表示されたと判断した場合には（Ｓ１４の判断処理がＹＥＳ）、Ｓ１５の処理に進む。一方で、ＣＰＵ５１が、マーカー８０１が終点に表示されたと判断しない場合には（Ｓ１４の判断処理がＮＯ）、Ｓ１１の処理に戻る。   In the determination process of S14 “Marker is displayed at end point”, CPU 51 determines whether marker 801 is displayed at the end point. When the CPU 51 determines that the marker 801 is displayed at the end point (YES in S14), the process proceeds to S15. On the other hand, when the CPU 51 does not determine that the marker 801 is displayed at the end point (NO in S14), the process returns to S11.

Ｓ１５「視線の運動特徴を算出」の処理において、視線動解析プログラム５３ｃは、視線座標ログ記憶領域５２ａに記憶されている視線座標のログから、ユーザの視線の運動特徴を算出する。
具体的には、図６に示されるように、視線動解析プログラム５３ｃは、視線座標のＸ座標とＹ座標のそれぞれについて、時間微分をして視線速度ｖを算出する。なお、視線座標のＸ座標とは、ユーザから見て水平方向の座標をいう。また、視線座標のＹ座標とは、ユーザから見て垂直方向の座標をいう。
更に、視線運動解析プログラム５３ｃは、視線座標のＸ座標とＹ座標のそれぞれについて、時間微分を２回して視線加速度ａを算出する。
算出された運動特徴は、ＲＡＭ１２の運動特徴記憶領域５２ｂに記憶される。
Ｓ１５の処理が終了すると、Ｓ１６の判断処理に進む。 In the process of S15 “Calculate eye movement characteristics”, the eye movement analysis program 53c calculates the eye movement characteristics of the user from the line-of-sight coordinate log stored in the line-of-sight coordinate log storage area 52a.
Specifically, as shown in FIG. 6, the line-of-sight motion analysis program 53 c calculates the line-of-sight velocity v by performing time differentiation for each of the X and Y coordinates of the line-of-sight coordinates. Note that the X coordinate of the line-of-sight coordinate is a coordinate in the horizontal direction when viewed from the user. Further, the Y coordinate of the line-of-sight coordinate means a coordinate in the vertical direction as viewed from the user.
Further, the line-of-sight motion analysis program 53c calculates the line-of-sight acceleration a by performing time differentiation twice for each of the X and Y coordinates of the line-of-sight coordinates.
The calculated movement feature is stored in the movement feature storage area 52b of the RAM 12.
When the process of S15 ends, the process proceeds to the determination process of S16.

Ｓ１６「視線の運動特徴とマーカーの運動特徴と関連有り」の判断処理において、視線動解析プログラム５３ｃは、運動特徴記憶領域５２ｂに記憶されている視線の運動特徴とマーカー８０１の運動特徴とが関連があるか否かを判断する。
具体的には、視線動解析プログラム５３ｃは、以下の（１）〜（５）の条件に合致しているか否かを判断することにより、視線の運動特徴とマーカー８０１の運動特徴とが関連があるか否かを判断する。
（１）マーカー８０１が動き出してから所定時間Ａ以内に、視線速度ｖや視線加速度ａが所定値以上に達したか。
（２）マーカー８０１が動き出してから所定時間Ｂ経過後のＸ座標方向の視線速度ｖが、マーカー８０１の速度に対して、所定の誤差Ｃの範囲内にある時間が、所定時間Ｌｔ１以上か。
（３）マーカー８０１が動き出してから所定時間Ｂ経過後のＸ座標方向の視線加速度ａが、０から所定値Ｄの誤差の範囲内にあるか。
（４）Ｙ座標方向の視線速度ｖが、０から所定の誤差Ｅの範囲内にある時間が、時間が、所定時間Ｌｔ２以上か。
（５）Ｙ座標方向の視線加速度ａが、０から所定の誤差Ｆの範囲内にあるか。
なお、視線速度が安定するまでの時間である前記所定時間Ｂが、視線加速度ａの値から動的に算出される実施形態であっても差し支え無い。具体的には、視線加速度ａが所定の誤差の範囲内で0となった時点で、視線速度が安定したと判断され、前記所定時間Ｂが経過したと判断される。
視線動解析プログラム５３ｃは、上記（１）〜（５）の条件に全て合致する場合に、視線の運動特徴とマーカー８０１の運動特徴とが関連があると判断する。
視線動解析プログラム５３ｃが、視線の運動特徴とマーカー８０１の運動特徴とが関連があると判断した場合には（Ｓ１６の判断処理がＹＥＳ）、Ｓ１７の処理に進む。一方で、視線動解析プログラム５３ｃが、視線の運動特徴とマーカー８０１の運動特徴とが関連が無いと判断した場合には（Ｓ１６の判断処理がＮＯ）、Ｓ１１の処理に戻る。 In the determination processing of S16 “There is a relation between the movement characteristic of the line of sight and the movement characteristic of the marker”, the line-of-sight movement analysis program 53c relates the movement characteristic of the line of sight stored in the movement characteristic storage area 52b to the movement characteristic of the marker 801. Judge whether there is.
Specifically, the line-of-sight movement analysis program 53c determines whether or not the following conditions (1) to (5) are satisfied, whereby the movement characteristic of the line of sight and the movement characteristic of the marker 801 are related to each other. Judge whether there is.
(1) Has the line-of-sight velocity v and the line-of-sight acceleration a reached a predetermined value or more within a predetermined time A after the marker 801 starts moving?
(2) Whether the line-of-sight velocity v in the X-coordinate direction after the elapse of the predetermined time B after the marker 801 starts to move is within the predetermined error C with respect to the velocity of the marker 801 is the predetermined time Lt1 or more.
(3) Whether the line-of-sight acceleration a in the X-coordinate direction after the elapse of the predetermined time B after the marker 801 starts to move is within an error range of 0 to the predetermined value D.
(4) Whether the time during which the line-of-sight velocity v in the Y-coordinate direction is within the range of 0 to a predetermined error E is the predetermined time Lt2 or more
(5) Is the line-of-sight acceleration a in the Y-coordinate direction within a range of 0 to a predetermined error F?
The predetermined time B, which is the time until the line-of-sight speed is stabilized, may be an embodiment in which the predetermined time B is dynamically calculated from the value of the line-of-sight acceleration a. Specifically, when the line-of-sight acceleration a becomes 0 within a predetermined error range, it is determined that the line-of-sight speed is stable, and it is determined that the predetermined time B has elapsed.
The line-of-sight movement analysis program 53c determines that the movement characteristic of the line of sight and the movement characteristic of the marker 801 are related when all of the conditions (1) to (5) are met.
When the line-of-sight movement analysis program 53c determines that the movement characteristic of the line of sight and the movement characteristic of the marker 801 are related (YES in the determination process in S16), the process proceeds to S17. On the other hand, when the line-of-sight movement analysis program 53c determines that the movement characteristic of the line of sight and the movement characteristic of the marker 801 are not related (NO in S16), the process returns to S11.

Ｓ１７「ロックを解除」の処理において、操作実行プログラム５３ｄは、ロック状態にあるアプリケーションソフトを、視線入力可能なロック解除状態にする。
Ｓ１７の処理が終了すると。視線入力処理が終了する。 In the processing of S17 “Unlock”, the operation execution program 53d puts the application software in the locked state into the unlocked state in which the line of sight can be input.
When the process of S17 ends. The line-of-sight input process ends.

このように本発明では、S１５の処理において、視線の座標から時間微分により運動特徴が算出され、S１６の判断処理において、算出された運動特徴とマーカー８０１の運動特徴とが関連があるか否かが判断されることにより、ユーザの視線入力が検出されるようになっている。つまり、ユーザの視線の絶対的な位置で無く、ユーザの視線の相対的な動きにより、ユーザの視線入力が検出されるので、キャリブレーションが不要となる。
このように、第１の実施形態の視線入力検出処理では、ユーザの視線入力が検出されない限り、ロック状態が維持されるので、アプリケーションソフトへの不用意な操作が防止される一方で、ユーザは視線入力により、アプリケーションソフトへの視線入力を受け付けるロック解除状態に変更することができ、ユーザの意図に沿った操作を視線入力により実現することが可能となる。 As described above, in the present invention, in the process of S15, the motion feature is calculated by time differentiation from the coordinates of the line of sight. In the determination process of S16, whether or not the calculated motion feature and the motion feature of the marker 801 are related. As a result, the user's line-of-sight input is detected. That is, since the user's line-of-sight input is detected not by the absolute position of the user's line-of-sight but by the relative movement of the user's line of sight, calibration is not necessary.
As described above, in the line-of-sight input detection process according to the first embodiment, the locked state is maintained unless the user's line-of-sight input is detected. The line-of-sight input can be changed to an unlocked state in which the line-of-sight input to the application software is accepted, and an operation according to the user's intention can be realized by the line-of-sight input.

（第２の実施形態の視線入力検出処理の説明）
以下に、図７及び図８を用いて、第２の実施形態の視線入力検出処理について説明する。
なお、第２の実施形態の視線入力検出処理は、前記した第１の実施形態において、アプリケ−ションソフトが視線入力可能なロック解除状態になった場合（Ｓ１７の処理）に、視線入力によりアプリケ−ションを操作する実施形態であり、図８に示されるように、複数の動くマーカー８０２〜８０５が表示画面８００に表示される。そして、ユーザが、ある特定のマーカー８０２〜８０５を目で追った場合に、ユーザの視線の動きが検出され、特定のマーカー８０２〜８０５に対応する操作（図８に示されるＡ〜Ｄのいずれか）が実行される実施形態である。
第２の実施形態の視線入力検出処理が開始すると、Ｓ２１の処理に進む。 (Description of eye-gaze input detection processing of the second embodiment)
Hereinafter, the line-of-sight input detection processing according to the second embodiment will be described with reference to FIGS. 7 and 8.
Note that the line-of-sight input detection processing of the second embodiment is based on the application of line-of-sight input in the first embodiment described above when the application software enters an unlocked state in which line-of-sight input is possible (step S17). -An embodiment of manipulating the screen, a plurality of moving markers 802-805 are displayed on the display screen 800, as shown in FIG. When the user follows a specific marker 802 to 805 with his / her eyes, the movement of the user's line of sight is detected, and an operation corresponding to the specific marker 802 to 805 (any of A to D shown in FIG. 8) is detected. Is the embodiment in which is performed.
When the line-of-sight input detection process of the second embodiment starts, the process proceeds to S21.

Ｓ２１「マーカー更新表示」の処理において、マーカー表示プログラム５３ｂは、描画命令を画像処理部５５に出力し、表示領域８００に、複数のマーカー８０２〜８０５を更新表示させる。
本実施形態では、表示領域８００の４辺の内側に、この４辺に沿って、それぞれのマーカー８０２〜８０５が移動する。それぞれのマーカー８０２〜８０５は、表示領域８００の４辺の一端（始点）から他端（終点）に向けて移動する。そして、それぞれのマーカー８０２〜８０５がそれぞれの終点に到達した場合には、それぞれのマーカー８０２〜８０５はそれぞれの始点に戻り、再びそれぞれの終点に向けて移動するという動作を繰り返す。
最初にＳ２１の処理が実行される場合には、図８に示されるように、それぞれの始点にマーカー８０２〜８０５がそれぞれ表示される。次に、Ｓ２１の処理が実行される場合には、それぞれの終点側に僅かに移動した位置に、マーカー８０２〜８０５が更新表示される。このように、Ｓ２１の処理が実行される度に、それぞれの終点側に僅かに移動した位置にマーカー８０２〜８０５が更新表示される。本実施形態では、それぞれのマーカー８０２〜８０５は、表示領域８００を、等速度直線運動する。なお、このＳ２１の処理は、所定時間（例えば、数十ミリ秒）毎に実行される。
Ｓ２１の処理が終了すると、Ｓ２２の処理に進む。 In the process of S21 “marker update display”, the marker display program 53b outputs a drawing command to the image processing unit 55 and causes the display area 800 to update and display a plurality of markers 802 to 805.
In the present embodiment, the respective markers 802 to 805 move inside the four sides of the display area 800 along the four sides. Each of the markers 802 to 805 moves from one end (start point) of the four sides of the display region 800 toward the other end (end point). When the respective markers 802 to 805 reach the respective end points, the respective markers 802 to 805 return to the respective start points and repeat the operation of moving toward the respective end points again.
When the process of S21 is executed first, markers 802 to 805 are displayed at the respective start points as shown in FIG. Next, when the process of S21 is executed, the markers 802 to 805 are updated and displayed at the positions slightly moved toward the end points. Thus, whenever the process of S21 is executed, the markers 802 to 805 are updated and displayed at the positions slightly moved toward the end points. In the present embodiment, each of the markers 802 to 805 moves at a constant velocity in the display area 800. Note that the process of S21 is executed every predetermined time (for example, several tens of milliseconds).
When the process of S21 ends, the process proceeds to S22.

Ｓ２２〜Ｓ２５の処理は、それぞれ、第１の実施形態のＳ１２〜Ｓ１５の処理と同一である。   The processes of S22 to S25 are the same as the processes of S12 to S15 of the first embodiment, respectively.

Ｓ２６の判断処理も、第１の実施形態のＳ１６の判断処理と同様である。第２の実施形態では、視線動解析プログラム５３ｃは、運動特徴記憶領域５２ｂに記憶されている視線の運動特徴と関連がある運動特徴のマーカー８０２〜８０５が有るか否かを判断する。視線動解析プログラム５３ｃが、視線の運動特徴と関連がある運動特徴のマーカー８０２〜８０５が有ると判断した場合には（Ｓ２６の判断処理がＹＥＳ）、Ｓ２７の処理に進む。一方で、視線動解析プログラム５３ｃが、視線の運動特徴と関連がある運動特徴のマーカー８０２〜８０５が無いと判断した場合には（Ｓ２６の判断処理がＮＯ）、Ｓ２１の処理に戻る。   The determination process in S26 is the same as the determination process in S16 of the first embodiment. In the second embodiment, the line-of-sight movement analysis program 53c determines whether there are movement feature markers 802 to 805 related to the movement characteristic of the line of sight stored in the movement feature storage area 52b. If the line-of-sight movement analysis program 53c determines that there are movement feature markers 802 to 805 related to the movement characteristic of the line of sight (YES in S26), the process proceeds to S27. On the other hand, when the line-of-sight motion analysis program 53c determines that there are no motion feature markers 802 to 805 related to the motion feature of the line of sight (NO in S26), the process returns to S21.

Ｓ２７「操作実行」の処理において、操作実行プログラム５３ｄは、Ｓ２６の判断処理で、視線の運動特徴と関連があると判断された運動特徴のマーカー８０２〜８０５に対応するアプリケーションの操作（図８に示されるＡ〜Ｄのいずれか）を実行する。Ｓ２７の処理が終了すると、Ｓ２１の処理に戻る。   In the process of S27 “execute operation”, the operation execution program 53d operates the application corresponding to the motion feature markers 802 to 805 determined in S26 to be related to the motion characteristic of the line of sight (FIG. 8). (A to D shown) are executed. When the process of S27 ends, the process returns to S21.

（総括）
なお、Ｓ１１やＳ２１の処理において、図９に示されるように、マーカー表示プログラム５３ｂが、移動方向が途中で変化するマーカー８０６を表示領域８００に表示させる実施形態であっても差し支え無い。図９で示される実施形態では、マーカー８０６は水平方向に移動した後に、垂直方向に向きを変えて移動する。このような実施形態であっても、Ｓ１６やＳ２６の判断処理において、視線動解析プログラム５３ｃは、視線の運動特徴とマーカー８０６の運動特徴とが関連があるか否かを判断し、関連があると判断された場合には、Ｓ１７やＳ２７の処理において、関連があると判断されたマーカーに対応する視線入力が実行される。この実施形態の場合には、ユーザが、移動方向が途中で変化する前後のマーカー８０６を目で追い続けなければ、視線の運動特徴とマーカー８０６の運動特徴とが関連があると判断されず、ユーザの視線入力が検出されないので、視線入力の誤検出がより確実に防止される。 (Summary)
In the processing of S11 and S21, as shown in FIG. 9, the marker display program 53b may be an embodiment in which the marker 806 whose movement direction changes midway is displayed on the display area 800. In the embodiment shown in FIG. 9, the marker 806 moves in the horizontal direction and then moves in the vertical direction. Even in such an embodiment, in the determination processing of S16 and S26, the line-of-sight movement analysis program 53c determines whether the line-of-sight movement characteristic and the movement characteristic of the marker 806 are related, and is related. If it is determined, the line-of-sight input corresponding to the marker determined to be related is executed in the processes of S17 and S27. In the case of this embodiment, unless the user continues to follow the marker 806 before and after the movement direction changes in the middle, it is not determined that the movement characteristic of the line of sight and the movement characteristic of the marker 806 are related, Since the user's line-of-sight input is not detected, erroneous detection of the line-of-sight input is more reliably prevented.

以上説明した実施形態では、マーカー８０１〜８０６は、直線運動で表示領域８００内を移動しているが、マーカーが曲線運動や円運動をする実施形態であっても差し支え無い。また、マーカーが、表示領域８００内を、等速運動でなく、等加速運動や、不規則な速度変化をする実施形態であっても差し支え無い。これらの実施であっても、視線動解析プログラム５３ｃは、視線の運動特徴とマーカーの運動特徴とが関連があるか否かを判断し、関連があると判断された場合には、Ｓ１７やＳ２７の処理において、関連があると判断されたマーカーに対応する視線入力が実行される。   In the embodiment described above, the markers 801 to 806 move in the display region 800 by linear motion, but the marker may be curved or circular. In addition, the marker may be an embodiment in which the display area 800 does not move at a constant speed, but moves at a constant speed, or changes in an irregular speed. Even in these implementations, the line-of-sight motion analysis program 53c determines whether or not the line-of-sight motion characteristics and the marker motion characteristics are related, and if it is determined that they are related, S17 and S27 In this process, the line-of-sight input corresponding to the marker determined to be related is executed.

なお、Ｓ１６の判断処理において、視線動解析プログラム５３ｃは、上記（１）〜（５）の条件のいずれかを選択して、視線の運動特徴とマーカー８０１の運動特徴とが関連があるか否かを判断することにしても差し支え無い。
或いは、視線動解析プログラム５３ｃは、視線速度ｖ及び視線加速度ａの経時変化が、図１０の（Ａ）や（Ｂ）に示されるような所定の範囲をもったパターン（図１０に示される一点鎖線）の範囲内であるか否かを判断することにより、視線の運動特徴とマーカー８０１（８０２〜８０５）の運動特徴とが関連があるか否かを判断することにしても差し支え無い。この実施形態の場合には、記憶装置５３には、図１０に示されるようなパターンデータが記憶されている。 In the determination process of S16, the line-of-sight movement analysis program 53c selects any one of the above conditions (1) to (5), and whether or not the line-of-sight movement characteristic and the movement characteristic of the marker 801 are related. It does not matter if it is judged.
Alternatively, the line-of-sight motion analysis program 53c may have a pattern in which the temporal change in the line-of-sight velocity v and the line-of-sight acceleration a has a predetermined range as shown in FIGS. 10A and 10B (one point shown in FIG. 10). It is possible to determine whether or not the movement characteristics of the line of sight and the movement characteristics of the markers 801 (802 to 805) are related by determining whether or not they are within the range of the chain line). In the case of this embodiment, the storage device 53 stores pattern data as shown in FIG.

なお、図１１に示されるように、マーカーの動きはじめに対して、視線の動きはじめが遅れ、視線の移動開始位置がマーカーの移動開始位置に対してずれてしまう場合がある。或いは、マーカーが終点に達する前に、視線の動きが停止してしまう場合がある。このような場合であっても、ユーザの視線入力が検出されるように、Ｓ１６やＳ２６の判断処理において、視線動解析プログラム５３ｃは、マーカーの動きと視線の動きが相似的か否かを判断することにより、視線の運動特徴とマーカーの運動特徴とが関連があるか否かを判断することにしても差し支え無い。具体的には、視線動解析プログラム５３ｃは、図１０の（Ｃ）や（Ｄ）に示されるように、前記したパターンを時間座標方向（ｔ）にシフトさせた場合に、視線速度ｖ及び視線加速度ａの経時変化が、前記シフトさせたパターンの範囲内であるか否かを判断する。この実施形態であれば、視線の動きがマーカーの動きに対して相似的であれば、ユーザの視線入力が検出され、ユーザの視線入力が検出されないという誤検出を防止することが可能となる。
また、図１１に示されるような、ユーザの視線の動きの場合には、ユーザの視線の速度もまた、マーカーの速度に比べて小さくなってしまう場合がある。この場合であっても、ユーザの視線入力が検出されるように、視線動解析プログラム５３ｃは、図１０の（Ａ）や（Ｃ）に示されるパターンを速度座標方向（ｖ）方向にシフトさせ、視線速度ｖの経時変化が、シフトされた前記パターンの範囲内にあると判断した場合に、ユーザの視線入力を検出することにしても差し支え無い。 Note that, as shown in FIG. 11, the start of the movement of the line of sight is delayed with respect to the start of the movement of the marker, and the movement start position of the line of sight may be shifted from the movement start position of the marker. Alternatively, the movement of the line of sight may stop before the marker reaches the end point. Even in such a case, in the determination process of S16 and S26, the visual line motion analysis program 53c determines whether the movement of the marker and the movement of the visual line are similar so that the user's visual line input is detected. Thus, it may be determined whether or not the movement characteristic of the line of sight and the movement characteristic of the marker are related. Specifically, the line-of-sight motion analysis program 53c, as shown in (C) and (D) of FIG. 10, shifts the line-of-sight velocity v and the line-of-sight when the above-described pattern is shifted in the time coordinate direction (t). It is determined whether or not the change with time of acceleration a is within the range of the shifted pattern. In this embodiment, if the movement of the line of sight is similar to the movement of the marker, it is possible to prevent erroneous detection that the user's line of sight input is detected and the user's line of sight input is not detected.
Further, in the case of the movement of the user's line of sight as shown in FIG. 11, the speed of the user's line of sight may also be smaller than the speed of the marker. Even in this case, the line-of-sight motion analysis program 53c shifts the patterns shown in (A) and (C) of FIG. 10 in the velocity coordinate direction (v) direction so that the user's line-of-sight input is detected. When it is determined that the temporal change in the line-of-sight velocity v is within the shifted range of the pattern, the user's line-of-sight input may be detected.

以上説明した実施形態の視線検出部６０は、眼球９９９の電場の向きを検出して、ユーザの視線の向きを検出する構造のものであるが、視線検出部はこれに限定されず、例えば、ユーザの眼球を正面から撮像し、撮像された画像から、ユーザの視線の向きが検出される視線検出部であっても差し支え無い。   The line-of-sight detection unit 60 of the embodiment described above has a structure that detects the direction of the user's line of sight by detecting the direction of the electric field of the eyeball 999, but the line-of-sight detection unit is not limited to this, for example, It may be a line-of-sight detection unit that images the user's eyeball from the front and detects the direction of the user's line of sight from the captured image.

以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うヘッドマウントディスプレイもまた技術的範囲に包含されるものとして理解されなければならない。   Although the present invention has been described above in connection with the most practical and preferred embodiments at the present time, the present invention is not limited to the embodiments disclosed herein. However, the present invention can be appropriately changed without departing from the gist or concept of the invention that can be read from the claims and the entire specification, and a head-mounted display accompanying such a change should also be understood as being included in the technical scope. I must.

１０ 頭部装着部
２０ 取付部材
３０ 画像表示部
５０ 制御部
６０ 視線検出部
１００ ヘッドマウントディスプレイ
８００ 表示領域
８０１ マーカー
９００ ユーザ
９９９ 眼球 DESCRIPTION OF SYMBOLS 10 Head mounting part 20 Mounting member 30 Image display part 50 Control part 60 Eye-gaze detection part 100 Head mounted display 800 Display area 801 Marker 900 User 999 Eyeball

Claims (8)

ユーザの頭部に装着される頭部装着部と、
前記頭部装着部に取り付けられ、ユーザに画像を視認させる画像表示部と、
ユーザの視線の向きを検出する視線検出部と、
前記画像表示部に、動くマーカーを表示させるマーカー表示手段と、
前記視線検出部の検出結果を解析し、マーカーの動きと関連している視線の動きを検出することにより、ユーザの視線入力を検出する視線動解析手段と、
前記視線動解析手段が検出した前記視線入力に対応する操作を実行させる操作実行手段を有することを特徴とするヘッドマウントディスプレイ。 A head mounting part to be mounted on the user's head;
An image display unit attached to the head-mounted unit and allowing the user to visually recognize an image;
A line-of-sight detector that detects the direction of the user's line of sight;
Marker display means for displaying a moving marker on the image display unit;
Analyzing the detection result of the line-of-sight detection unit, and detecting the movement of the line of sight associated with the movement of the marker, thereby detecting the line-of-sight movement analysis means for detecting the user's line-of-sight input;
A head-mounted display comprising operation execution means for executing an operation corresponding to the line-of-sight input detected by the line-of-sight movement analysis means. 前記マーカー表示手段は、前記画像表示部に、一方向に動くマーカーを表示させることを特徴とする請求項１に記載のヘッドマウントディスプレイ。   The head mounted display according to claim 1, wherein the marker display unit displays a marker moving in one direction on the image display unit. 前記マーカー表示手段は、前記画像表示部に、異なる方向に動く複数のマーカーを表示させることを特徴とする請求項１又は請求項２に記載のヘッドマウントディスプレイ。   The head mounted display according to claim 1, wherein the marker display unit displays a plurality of markers moving in different directions on the image display unit. 前記マーカー表示手段は、前記画像表示部に、移動方向が途中で変化するマーカーを表示させることを特徴とする請求項１〜請求項３のいずれかに記載のヘッドマウントディスプレイ。   The head-mounted display according to any one of claims 1 to 3, wherein the marker display means displays a marker whose movement direction changes in the middle on the image display unit. 前記視線動解析手段は、視線の相対的な動きを検出することにより、ユーザの視線入力を検出することを特徴とする請求項１〜請求項４のいずれかに記載のヘッドマウントディスプレイ。   The head-mounted display according to any one of claims 1 to 4, wherein the line-of-sight movement analysis means detects a user's line-of-sight input by detecting a relative movement of the line of sight. 前記視線動解析手段は、マーカーの動きと相似的な視線の動きを検出することにより、ユーザの視線入力を検出することを特徴とする請求項５に記載のヘッドマウントディスプレイ。   6. The head mounted display according to claim 5, wherein the line-of-sight movement analyzing unit detects a line-of-sight input of the user by detecting a movement of the line of sight similar to the movement of the marker. アプリケーションへの視線入力を受け付けないロック状態にある場合において、前記視線動解析手段が、マーカーの動きと関連している視線の動きを検出した場合に、前記操作実行手段は、前記ロック状態から、前記アプリケーションソフトへの視線入力を受け付けるロック解除状態に変更し、
ロック解除状態にある場合において、前記視線動解析手段が、マーカーの動きと関連している視線の動きを検出した場合に、前記操作実行手段は、前記アプリケーションソフトの操作を実行させることを特徴とする請求項１〜６のいずれかに記載のヘッドマウントディスプレイ。 When the line-of-sight movement analyzing means detects the movement of the line of sight associated with the movement of the marker, when the line-of-sight movement analysis means detects the movement of the line of sight associated with the movement of the marker, Change to the unlocked state to accept line-of-sight input to the application software,
In the unlocked state, the operation execution unit causes the application software to execute an operation when the line-of-sight movement analysis unit detects a movement of the line of sight related to the movement of the marker. The head mounted display according to any one of claims 1 to 6. ユーザの頭部に装着される頭部装着部と、
前記頭部装着部に取り付けられ、ユーザに画像を視認させる画像表示部と、
ユーザの視線の向きを検出する視線検出部を有するヘッドマウントディスプレイで実行されるプログラムであって、
前記画像表示部に、動くマーカーを表示させるマーカー表示ステップと、
前記視線検出部の検出結果を解析し、マーカーの動きと関連している視線の動きを検出することにより、ユーザの視線入力を検出する視線動解析ステップと、
前記視線解析ステップで検出された前記視線入力に対応する操作を実行させる操作実行ステップを有することを特徴とするプログラム。 A head mounting part to be mounted on the user's head;
An image display unit attached to the head-mounted unit and allowing the user to visually recognize an image;
A program executed on a head-mounted display having a line-of-sight detection unit for detecting the direction of the user's line of sight,
A marker display step for displaying a moving marker on the image display unit;
Analyzing the detection result of the line-of-sight detection unit, and detecting a line-of-sight input related to the movement of the marker, thereby detecting a line-of-sight input of the user,
The program which has the operation execution step which performs operation corresponding to the said gaze input detected at the said gaze analysis step.
JP2011081764A 2011-04-01 2011-04-01 Head mounted display and program used therefor Active JP5655674B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011081764A JP5655674B2 (en) 2011-04-01 2011-04-01 Head mounted display and program used therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011081764A JP5655674B2 (en) 2011-04-01 2011-04-01 Head mounted display and program used therefor

Publications (2)

Publication Number Publication Date
JP2012216123A true JP2012216123A (en) 2012-11-08
JP5655674B2 JP5655674B2 (en) 2015-01-21

Family

ID=47268822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011081764A Active JP5655674B2 (en) 2011-04-01 2011-04-01 Head mounted display and program used therefor

Country Status (1)

Country Link
JP (1) JP5655674B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014124113A1 (en) * 2013-02-07 2014-08-14 Google Inc. Modular frame construction for head mountable dispaly
JP2015049346A (en) * 2013-08-30 2015-03-16 Kddi株式会社 Control device, electronic control system, control method, and program
US9091852B2 (en) 2012-03-21 2015-07-28 Google Inc. Wearable device with input and output structures
US9277334B1 (en) 2012-03-21 2016-03-01 Google Inc. Wearable computing device authentication using bone conduction
JP2016207042A (en) * 2015-04-24 2016-12-08 株式会社コーエーテクモゲームス Program and storage medium
US9729747B2 (en) 2015-04-28 2017-08-08 Kyocera Document Solutions Inc. Information processing device, and method for instructing job to image processing apparatus
CN107450720A (en) * 2016-05-31 2017-12-08 Fove股份有限公司 Line-of-sight detection systems
KR20170135762A (en) * 2016-05-31 2017-12-08 포브, 아이엔씨. Gaze detection system
US9894226B2 (en) 2015-06-30 2018-02-13 Kyocera Document Solutions Inc. Information processing apparatus, setting condition specification method for image forming apparatus
WO2020026574A1 (en) * 2018-07-31 2020-02-06 株式会社Ｊｖｃケンウッド Device, method, and program for detecting line of sight

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009150747A1 (en) * 2008-06-13 2009-12-17 パイオニア株式会社 Sight line input user interface unit, user interface method, user interface program, and recording medium with user interface program recorded
JP2010102215A (en) * 2008-10-27 2010-05-06 Sony Computer Entertainment Inc Display device, image processing method and computer program
JP2010146481A (en) * 2008-12-22 2010-07-01 Brother Ind Ltd Head-mounted display
JP2010199789A (en) * 2009-02-24 2010-09-09 Brother Ind Ltd Head-mounted display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009150747A1 (en) * 2008-06-13 2009-12-17 パイオニア株式会社 Sight line input user interface unit, user interface method, user interface program, and recording medium with user interface program recorded
JP2010102215A (en) * 2008-10-27 2010-05-06 Sony Computer Entertainment Inc Display device, image processing method and computer program
JP2010146481A (en) * 2008-12-22 2010-07-01 Brother Ind Ltd Head-mounted display
JP2010199789A (en) * 2009-02-24 2010-09-09 Brother Ind Ltd Head-mounted display

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9316836B2 (en) 2012-03-21 2016-04-19 Google Inc. Wearable device with input and output structures
US9740842B1 (en) 2012-03-21 2017-08-22 Google Inc. Wearable computing device authentication using bone conduction
US9091852B2 (en) 2012-03-21 2015-07-28 Google Inc. Wearable device with input and output structures
US9529197B2 (en) 2012-03-21 2016-12-27 Google Inc. Wearable device with input and output structures
US9277334B1 (en) 2012-03-21 2016-03-01 Google Inc. Wearable computing device authentication using bone conduction
CN104969115A (en) * 2013-02-07 2015-10-07 谷歌公司 Modular frame construction for head mountable dispaly
WO2014124113A1 (en) * 2013-02-07 2014-08-14 Google Inc. Modular frame construction for head mountable dispaly
JP2015049346A (en) * 2013-08-30 2015-03-16 Kddi株式会社 Control device, electronic control system, control method, and program
JP2016207042A (en) * 2015-04-24 2016-12-08 株式会社コーエーテクモゲームス Program and storage medium
US9729747B2 (en) 2015-04-28 2017-08-08 Kyocera Document Solutions Inc. Information processing device, and method for instructing job to image processing apparatus
US9894226B2 (en) 2015-06-30 2018-02-13 Kyocera Document Solutions Inc. Information processing apparatus, setting condition specification method for image forming apparatus
CN107450720A (en) * 2016-05-31 2017-12-08 Fove股份有限公司 Line-of-sight detection systems
KR20170135762A (en) * 2016-05-31 2017-12-08 포브, 아이엔씨. Gaze detection system
WO2020026574A1 (en) * 2018-07-31 2020-02-06 株式会社Ｊｖｃケンウッド Device, method, and program for detecting line of sight
JP2020018470A (en) * 2018-07-31 2020-02-06 株式会社Ｊｖｃケンウッド Visual line detection device, visual line detection method, and visual line detection program

Also Published As

Publication number Publication date
JP5655674B2 (en) 2015-01-21

Similar Documents

Publication Publication Date Title
JP5655674B2 (en) Head mounted display and program used therefor
AU2015320043B2 (en) Display visibility based on eye convergence
KR101663452B1 (en) Screen Operation Apparatus and Screen Operation Method
US9043042B2 (en) Method to map gaze position to information display in vehicle
EP3092546B1 (en) Target positioning with gaze tracking
JP2019083033A (en) Method, system and device for navigating in virtual reality environment
US20130241805A1 (en) Using Convergence Angle to Select Among Different UI Elements
WO2016144622A1 (en) User-based context sensitive virtual display reaction
US20170176748A1 (en) Text enhancements for head-mounted displays
US20190385372A1 (en) Positioning a virtual reality passthrough region at a known distance
KR20220120649A (en) Artificial Reality System with Varifocal Display of Artificial Reality Content
JP6399692B2 (en) Head mounted display, image display method and program
KR101709611B1 (en) Smart glasses with displayer/camera and space touch input/ correction thereof
JP2019025195A (en) Visual line detection device and visual line detection method
CN112445339A (en) Gaze and glance based graphical manipulation
US20190019308A1 (en) Image display device
KR102233481B1 (en) Method of controlling screen and display device having the same
CN108604015B (en) Image display method and head-mounted display device
KR20200135352A (en) Information processing device, information processing method and program
JP2021051564A (en) Line-of-sight data correction device, evaluation device, line-of-sight data correction method, evaluation method, line-of-sight data correction program, and evaluation program
KR102108962B1 (en) Interraction device and method for navigating in virtual reality using walking in place
CN115598842A (en) Optical system and related method for improving user experience and gaze interaction accuracy
JP2017138645A (en) Sight-line detection device
JPH09204287A (en) Method and device for selecting processing
JP6670965B2 (en) Display system and display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141110

R150 Certificate of patent or registration of utility model

Ref document number: 5655674

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150