JPH10187334A - Information inputting method, information inputting device and information inputting recording medium - Google Patents
Information inputting method, information inputting device and information inputting recording mediumInfo
- Publication number
- JPH10187334A JPH10187334A JP8356505A JP35650596A JPH10187334A JP H10187334 A JPH10187334 A JP H10187334A JP 8356505 A JP8356505 A JP 8356505A JP 35650596 A JP35650596 A JP 35650596A JP H10187334 A JPH10187334 A JP H10187334A
- Authority
- JP
- Japan
- Prior art keywords
- information
- input
- user
- selection
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION
【０００１】[0001]
【発明の属する技術分野】本発明は、計算機に情報を入
力する手法および装置等に関するものであり、特に情報
入力における入力確定処理に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and an apparatus for inputting information to a computer, and more particularly to an input determination process for inputting information.
【０００２】[0002]
【従来の技術】従来より、ディスプレイ上にボタンやメ
ニュー（以下、選択要素と記す）を描画し、マウス等の
ポインティングデバイスを用いて、それらを選択するこ
とにより、選択要素に予め割当てられたデータを計算機
に入力したり、予め設定された処理を計算機に開始させ
るなどの情報入力方法が考案されている。このような情
報入力方法は、ＧＵＩ（グラフィカル・ユーザ・インタ
ーフェース）と呼ばれる技術の一部を構成するものであ
る。2. Description of the Related Art Conventionally, buttons and menus (hereinafter, referred to as selection elements) are drawn on a display, and selected by using a pointing device such as a mouse, thereby obtaining data previously assigned to the selection elements. Has been devised, for example, by inputting the information to a computer or causing a computer to start a preset process. Such an information input method constitutes a part of a technique called GUI (Graphical User Interface).
【０００３】また、特に音符を入力する方法としては、
楽器と同様の形状・機能を持つＭＩＤＩ（ＭＵＳＩＣＡ
Ｌ ＩＮＳＴＲＵＭＥＮＴ ＤＩＧＩＴＡＬ ＩＮＴＥ
ＲＦＡＣＥ：電子楽器間のデジタル・インターフェー
ス）インターフェースを備えた入力デバイスを手や足で
操作して、音符を順次選択するもの等があった。[0003] In particular, as a method of inputting a note,
MIDI (MUSICA) with the same shape and function as musical instruments
L INSTRUMENT DIGITAL INTE
(RFACE: Digital Interface between Electronic Musical Instruments) There has been a device in which an input device having an interface is operated with hands or feet to sequentially select notes.
【０００４】一方、従来より、視線方向を計測する視線
検出方法および視線検出装置といったものがあり、視線
検出方法としては、例えば、眼球に向けて照射した赤外
光が角膜表面で反射した反射光（プルキニエ像）の位置
を測定するもの等が提案されている。On the other hand, conventionally, there are a gaze detection method and a gaze detection device for measuring a gaze direction. For example, the gaze detection method includes, for example, a reflection light in which infrared light irradiated to an eyeball is reflected on a corneal surface. A device for measuring the position of a (Purkinje image) has been proposed.
【０００５】更に、瞼が閉じている状態すなわち瞬きを
検出する方法も考案されていて、瞬き検出の１つの方法
としては、プルキニエ像の有無を検出するものがあり、
情報入力に用いられている。Further, a method of detecting a state in which the eyelids are closed, that is, blinking has been devised. One method of detecting blinking is to detect the presence or absence of a Purkinje image.
Used for information input.
【０００６】[0006]
【発明が解決しようとする課題】しかしながら、上記従
来例では、ＧＵＩ技術を用いた情報入力装置で使用する
ポインティングデバイス（例えば、マウス）は、手足の
動作が不自由な使用者にとって操作が不可能であるか、
あるいは操作が非常に困難であるという問題点があっ
た。更に、装置使用者が健常者であっても、手や足で他
の機器を操作するなどの理由によりポインティングデバ
イスを使用できない場合には、情報入力を行うことがで
きないという問題があった。However, in the above conventional example, a pointing device (for example, a mouse) used in an information input device using the GUI technique cannot be operated by a user who has difficulty in limb movement. Or
Another problem is that the operation is very difficult. Furthermore, even if the user of the apparatus is a healthy person, there is a problem that information cannot be input if the pointing device cannot be used due to reasons such as operating another apparatus with his / her hand or foot.
【０００７】これらの問題を解決するには、視線検出装
置を用いた視線入力による情報入力装置が有効である
が、この種の装置として、例えば、眼前に配置したディ
スプレイ画面に選択要素を表示し、選択要素が存在する
領域（以下、選択領域と呼ぶ）内に装置使用者の視線が
向いているかどうかを検出して、選択領域内に視線が持
続して向いている時間が予め設定したしきい値を超えた
場合に、装置使用者が選択要素を注視したと判定して、
注視した選択領域の情報が選択され、計算機に確定入力
される情報入力装置を構成することが可能である。To solve these problems, it is effective to use an information input device based on a line-of-sight input using a line-of-sight detection device. As this type of device, for example, a selection element is displayed on a display screen arranged in front of the eyes. It is determined whether or not the line of sight of the user of the apparatus is in a region where the selected element is present (hereinafter, referred to as a selected region), and a time period in which the line of sight of the device user is continuously in the selected region is set in advance. If the threshold is exceeded, it is determined that the device user has watched the selected element,
It is possible to constitute an information input device in which the information of the gazed selection area is selected and is fixedly input to the computer.
【０００８】但し、この場合は、装置使用者の注視して
いる時間を計る注視時間しきい値を小さな値に設定する
と、例えば、無意識に選択要素を眺めた場合でも選択要
素を注視したと装置が誤認識し、装置使用者が意図しな
い情報入力が行われる可能性があるという問題がある。However, in this case, if the gaze time threshold value for measuring the time during which the device user is gazing is set to a small value, for example, even if the user watches the selected element unconsciously, the apparatus may determine that the selected element is watched. However, there is a problem that information may be erroneously recognized and information input that is not intended by the device user may be performed.
【０００９】一方、注視時間のしきい値を大きな値に設
定すれば、注視に関する誤判定の可能性は減少するもの
の、情報を入力するために選択領域を長時間凝視する必
要があり、装置使用者に苦痛を与えるという問題があ
る。On the other hand, if the gaze time threshold is set to a large value, the possibility of misjudgment regarding gaze is reduced, but it is necessary to stare at the selected area for a long time to input information. There is a problem of giving pain to the elderly.
【００１０】また、人間の眼球は常に微動しているた
め、装置使用者が選択領域を意識的に注視した場合で
も、短時間の間に視線位置が選択領域外部に移動する可
能性が高い。この場合、持続して選択要素を注視してい
る時間が注視時間しきい値を超えないため、装置使用者
の意図に反して情報入力が行われない可能性がある。か
といって、注視時間しきい値を単に増加したのでは、情
報入力にかかる時間が増加してしまうという問題があ
る。[0010] Further, since the human eyeball is always slightly moving, even if the apparatus user consciously gazes at the selected area, there is a high possibility that the line of sight moves to the outside of the selected area in a short time. In this case, there is a possibility that the information input may not be performed against the intention of the device user, because the time of continuously watching the selected element does not exceed the watching time threshold value. However, if the gaze time threshold is simply increased, there is a problem that the time required for inputting information increases.
【００１１】依って、請求項１又は２に記載の発明の目
的は、情報入力のため視線をポインティングデバイスと
して用いる場合に、一定の領域を長時間凝視する苦痛を
受けること無く、装置使用者の意図を確実に反映して情
報入力を行い、且つ情報入力にかかる時間を少なくする
ことができる情報入力方法を提供することにある。Therefore, an object of the invention described in claim 1 or 2 is to use a line of sight as a pointing device for inputting information without suffering the pain of staring at a certain area for a long time, and without giving the user of the apparatus a pain. It is an object of the present invention to provide an information input method capable of inputting information while reliably reflecting an intention and reducing the time required for inputting information.
【００１２】更に、請求項３，４および請求項７，８，
９に記載の発明の目的は、情報入力のため視線をポイン
ティングデバイスとして用いる場合に、一定の領域を長
時間凝視する苦痛を受けること無く、装置使用者の意図
を確実に反映して情報入力を行い、且つ情報入力にかか
る時間も少なくすることができる情報入力装置を提供す
ることにある。Further, claims 3 and 4 and claims 7, 8 and
The object of the invention described in 9 is that when the line of sight is used as a pointing device for information input, the information input is reliably reflected in the intention of the device user without suffering the pain of staring at a certain area for a long time. An object of the present invention is to provide an information input device that can perform the information input and reduce the time required for inputting the information.
【００１３】更に、請求項５又は６に記載の発明の目的
は、情報入力のため視線をポインティングデバイスとし
て用いる場合に、一定の領域を長時間凝視する苦痛を受
けること無く、装置使用者の意図を確実に反映して情報
入力を行い、且つ情報入力にかかる時間も少なくするこ
とができるプログラムコードを格納した情報入力用記憶
媒体を提供することにある。[0013] A further object of the present invention is to use a line of sight as a pointing device for inputting information without suffering the pain of staring at a certain area for a long time, and without the intention of the user of the apparatus. It is an object of the present invention to provide an information input storage medium storing a program code capable of performing information input while reliably reflecting the information and reducing the time required for the information input.
【００１４】更に、請求項１０又は１１に記載の発明の
目的は、手足の動作が不自由な装置使用者の場合、ある
いは健常者でも手又は足で他の機器を操作する等の理由
で、キーボード等の手足の動作を必要とする入力デバイ
スを使用できない場合にも、手軽に情報入力を行うこと
ができる情報入力方法を提供することにある。Further, an object of the invention described in claim 10 or 11 is that, in the case of a device user who is incapable of moving their limbs, or even a healthy person can operate another device with his / her hand or foot. An object of the present invention is to provide an information input method capable of easily inputting information even when an input device that requires limb operation such as a keyboard cannot be used.
【００１５】更に、請求項１２又は１３および１６に記
載の発明の目的は、手足の動作が不自由な装置使用者の
場合、あるいは健常者でも手又は足で他の機器を操作す
る等の理由で、キーボード等の手足の動作を必要とする
入力デバイスを使用できない場合にも、手軽に情報入力
を行うことができる情報入力装置を提供することにあ
る。[0015] Further, the object of the invention described in claims 12 or 13 and 16 is for the reason that the user of the device is unable to move the limbs, or that even a healthy person can operate other equipment with his or her hands or feet. Therefore, an object of the present invention is to provide an information input device that can easily input information even when an input device that requires limb operation such as a keyboard cannot be used.
【００１６】更に、請求項１４又は１５に記載の発明の
目的は、手足の動作が不自由な装置使用者の場合、ある
いは健常者でも手又は足で他の機器を操作する等の理由
で、キーボード等の手足の動作を必要とする入力デバイ
スを使用できない場合にも、情報入力を行うことができ
るプログラムコードを格納した情報入力用記憶媒体を提
供することにある。Further, an object of the invention described in claim 14 or 15 is that, in the case of a user of a device in which limb movement is inconvenient, or even a healthy person operates another device with his / her hand or foot, An object of the present invention is to provide an information input storage medium storing a program code capable of inputting information even when an input device such as a keyboard which requires limb operation cannot be used.
【００１７】[0017]
【課題を解決するための手段】本出願に係る発明の目的
を実現する構成は、請求項１に記載のように、選択要素
の画像を表示装置に表示する選択要素表示機能と、前記
選択要素に一意に割り当てられた画面上の領域を装置使
用者が注視したか判定する注視検出機能と、前記装置使
用者の閉瞼動作を検出する閉瞼検出機能と、情報の入力
を確定するための信号を出力する入力確定機能とを有し
て、装置使用者が注視した画面上の選択要素の選択を、
前記装置使用者の閉瞼動作を検出したら情報入力を確定
するための信号を出力して確定することを特徴とする情
報入力方法にある。According to a first aspect of the present invention, a selection element display function for displaying an image of a selection element on a display device, and A gaze detection function for determining whether the device user gazes at an area on the screen uniquely assigned to the device, a eyelid detection function for detecting the eyelid closing motion of the device user, and a Having an input confirmation function of outputting a signal, selecting a selection element on the screen watched by the device user,
An information input method is characterized in that upon detecting the eyelid closing movement of the device user, a signal for determining information input is output and determined.
【００１８】この構成によれば、画面上に表示した選択
要素を装置使用者が注視したと判定した後、装置使用者
の閉瞼動作を検出したら選択実行が行われたものとし
て、情報入力を確定する信号を出力し選択を確定するこ
とができる。According to this configuration, after it is determined that the device user gazes at the selected element displayed on the screen, when the eyelid closing operation of the device user is detected, it is determined that the selection has been performed and the information input is performed. A signal to be determined can be output to determine the selection.
【００１９】本出願に係る発明の目的を実現する他の構
成は、請求項２に記載のように、請求項１記載の情報入
力方法において、選択要素の属性を設定する属性設定機
能を有し、選択要素の選択および情報の入力の確定を視
覚的に確認できることを特徴とする情報入力方法にあ
る。According to another aspect of the invention for realizing the object of the present invention, the information input method according to the first aspect has an attribute setting function for setting an attribute of a selected element. The information input method is characterized in that the selection of the selected element and the confirmation of the input of the information can be visually confirmed.
【００２０】この構成によれば、画面上に表示する選択
要素を、非選択、選択、確定等の状態に応じて属性を変
えて表示するようにして、選択要素の選択および情報の
入力の確定を視覚的に確認することで、より明確に実行
することができる。According to this configuration, the selected elements to be displayed on the screen are displayed with their attributes changed according to the state of non-selection, selection, determination, etc., so that the selection of the selection elements and the input of information are determined. Can be executed more clearly by visually confirming.
【００２１】本出願に係る発明の目的を実現する他の構
成は、請求項３に記載のように、選択要素の画像を表示
装置に表示する選択要素表示手段と、前記選択要素に一
意に割り当てられた画面上の領域を装置使用者が注視し
たか判定する注視検出手段と、装置使用者の閉瞼動作を
検出する閉瞼検出手段と、情報の入力を確定するための
信号を出力する入力確定手段とを備えたことを特徴とす
る情報入力装置にある。According to another aspect of the invention for achieving the object of the present invention, a selection element display means for displaying an image of a selection element on a display device, and a unique assignment to the selection element Gaze detection means for determining whether or not the device user gazes at the region on the screen, eyelid detection means for detecting the eyelid movement of the user, and an input for outputting a signal for confirming input of information An information input device comprising: a determination unit.
【００２２】この構成によれば、画面上に表示した選択
要素を装置使用者が注視したと判定した後、装置使用者
の閉瞼動作を検出したら選択実行が行われたものとし
て、情報入力を確定する信号を出力し選択を確定するこ
とができる。According to this configuration, after it is determined that the device user gazes at the selected element displayed on the screen, when the eyelid closing operation of the device user is detected, the selection execution is performed, and the information input is performed. A signal to be determined can be output to determine the selection.
【００２３】本出願に係る発明の目的を実現する他の構
成は、請求項４に記載のように、請求項３記載の情報入
力装置において、選択要素の属性を設定する属性設定手
段を備えたことを特徴とする情報入力装置にある。According to another aspect of the invention for realizing the object of the present invention, the information input device according to the third aspect is provided with an attribute setting means for setting an attribute of a selected element. An information input device characterized in that:
【００２４】この構成によれば、画面上に表示する選択
要素を、非選択、選択、確定などのような状態に応じて
属性を変えて表示するようにして、選択要素の選択およ
び情報の入力の確定を視覚的に確認することで、より明
確に実行することができる。According to this configuration, the selected elements to be displayed on the screen are displayed with their attributes changed according to states such as non-selection, selection, and confirmation, so that the selection of the selection elements and the input of information are performed. By visually confirming the determination of, the execution can be performed more clearly.
【００２５】本出願に係る発明の目的を実現する他の構
成は、請求項５に記載のように、計算機で読むことので
きるプログラムコード手段を格納し情報入力を行うこと
が可能な記憶媒体において、選択要素の画像を表示装置
に表示する機能と、前記選択要素に一意に割り当てられ
た画面上の領域を装置使用者が注視したか判定する機能
と、装置使用者の閉瞼動作を検出する機能と、情報の入
力を確定するための信号を出力する機能を含むプログラ
ムコード手段を格納することを特徴とする情報入力用記
憶媒体にある。Another configuration for realizing the object of the present invention according to the present invention is a computer-readable storage medium storing program code means readable by a computer and capable of inputting information. A function of displaying an image of a selected element on a display device, a function of determining whether the apparatus user has gazed at an area on the screen uniquely assigned to the selected element, and detecting an eyelid closing operation of the apparatus user An information input storage medium characterized by storing program code means including a function and a function of outputting a signal for determining input of information.
【００２６】この構成によれば、画面上に表示した選択
要素を装置使用者が注視したと判定した後、装置使用者
の閉瞼動作を検出したら選択実行が行われたものとし
て、情報入力を確定する信号を出力し選択を確定させる
ことができる。According to this configuration, after it is determined that the device user gazes at the selected element displayed on the screen, when the eyelid closing operation of the device user is detected, it is determined that the selection execution has been performed, and the information input is performed. A signal to be determined can be output to determine the selection.
【００２７】本出願に係る発明の目的を実現する他の構
成は、請求項６に記載のように、計算機で読むことので
きるプログラムコード手段を格納し、情報入力を行うこ
とが可能な記憶媒体において、選択要素の画像を表示装
置に表示させる機能と、前記選択要素に一意に割り当て
られた画面上の領域を装置使用者が注視したか判定する
機能と、装置使用者の閉瞼動作を検出する機能と、情報
の入力を確定するための信号を出力する機能と、前記選
択要素の属性を設定する機能を含むプログラムコード手
段を格納することを特徴とする情報入力用記憶媒体にあ
る。According to another aspect of the invention for realizing the object of the present invention, a storage medium capable of storing program code means readable by a computer and capable of inputting information is provided. A function of displaying an image of the selected element on a display device, a function of determining whether the apparatus user has gazed at an area on the screen uniquely assigned to the selected element, and detecting an eyelid closing movement of the apparatus user. And a program code unit including a function of outputting a signal for deciding input of information and a function of setting an attribute of the selected element.
【００２８】この構成によれば、画面上に表示する選択
要素を、非選択、選択、確定などの状態に応じて属性を
変えて表示するようにして、選択要素の選択および情報
の入力の確定を視覚的に確認することで、より明確に実
行させることができる。According to this configuration, the selected element to be displayed on the screen is displayed with its attribute changed according to the state of non-selection, selection, determination, etc., so that the selection of the selection element and the input of information are determined. Can be executed more clearly by visually confirming.
【００２９】本出願に係る発明の目的を実現する具体的
な構成は、請求項７に記載のように、前記注視検出手段
は、赤外光の角膜反射像の位置を計測することにより視
線方向を検出する視線検出装置であることを特徴とする
請求項３記載の情報入力装置にある。According to a specific configuration for realizing the object of the invention according to the present application, the gaze detecting means measures a position of a corneal reflection image of infrared light to thereby determine a gaze direction. 4. The information input device according to claim 3, wherein the information input device is a gaze detection device that detects an image.
【００３０】この構成によれば、視線検出装置による装
置使用者の視線方向の検出によって、選択要素を注視し
たことを判定できる。According to this configuration, it is possible to determine that the selected element has been watched by detecting the direction of the line of sight of the device user by the line of sight detection device.
【００３１】本出願に係る発明の目的を実現する他の具
体的な構成は、請求項８に記載のように、前記閉瞼検出
手段は、赤外光の角膜反射像の有無より装置使用者の閉
瞼を検知する瞬き検出装置であることを特徴とする請求
項３記載の情報入力装置にある。In another specific configuration for realizing the object of the present invention according to the present invention, the closed eyelid detecting means determines the presence or absence of a corneal reflection image of infrared light based on the presence or absence of an infrared light corneal reflection image. 4. The information input device according to claim 3, wherein the blink detection device detects a closed eyelid.
【００３２】この構成によれば、瞬き検出装置により閉
瞼動作を検出して、閉瞼動作を選択要素を選択する入力
と見做すことができる。According to this configuration, the eyelid closing operation is detected by the blink detecting device, and the eyelid closing operation can be regarded as an input for selecting the selected element.
【００３３】本出願に係る発明の目的を実現する他の具
体的な構成は、請求項９に記載のように、前記属性設定
手段は、選択要素の非選択状態、選択状態および確定状
態に応じて前記選択要素の色又は形等の属性を変更する
ことを特徴とする請求項３記載の情報入力装置にある。[0033] In another specific configuration for realizing the object of the invention according to the present application, the attribute setting means according to claim 9, wherein the attribute setting means responds to a non-selected state, a selected state, and a fixed state of the selected element. 4. The information input device according to claim 3, wherein attributes of the selected element such as color or shape are changed.
【００３４】この構成によれば、選択要素の状態によっ
て色分け表示すること等で視認性を高めて、選択要素の
選択、情報入力の確定操作をより明確に行うことができ
る。According to this configuration, the visibility can be enhanced by, for example, displaying the colors of the selected elements in different colors, so that the selection of the selected elements and the operation of confirming the information input can be performed more clearly.
【００３５】本出願に係る発明の目的を実現する他の構
成は、請求項１０に記載のように、入力の対象となる複
数の情報を装置使用者に順次提示する機能と、眼球の動
作を用いた装置使用者の情報選択操作を検出する機能
と、被選択情報を判別する信号を出力する被選択情報出
力機能とを有して、順次提示される複数の情報からの選
択を、眼球動作による装置使用者の情報選択操作を検出
したら、被選択情報を判別する信号を出力して確定する
ことを特徴とする情報入力方法にある。According to another aspect of the present invention, a function of sequentially presenting a plurality of pieces of information to be input to a device user and an operation of an eyeball are provided. It has a function of detecting an information selection operation of the user using the device, and a selected information output function of outputting a signal for determining the selected information. The information input method is characterized in that, when an information selection operation of the user of the apparatus is detected, a signal for determining the selected information is output and confirmed.
【００３６】この構成によれば、順次画面上に提示され
る音符等の複数の情報を見て、装置使用者の意識的な眼
球動作による視線の激しい動きを検出したら情報選択操
作が行われたものとして、被選択情報の選択を確定する
ことができる。According to this configuration, when a plurality of pieces of information such as musical notes presented on the screen are sequentially viewed, and a sharp gaze movement due to a conscious eyeball movement of the apparatus user is detected, an information selection operation is performed. As a matter of fact, the selection of the selected information can be determined.
【００３７】本出願に係る発明の目的を実現する他の構
成は、請求項１１に記載のように、入力の対象となる複
数の情報を装置使用者に順次提示する機能と、閉瞼動作
を用いた装置使用者の情報選択操作を検出する機能と、
被選択情報を判別する信号を出力する被選択情報出力機
能とを有して、順次提示される複数の情報からの選択
を、閉瞼動作による装置使用者の情報選択操作を検出し
たら、被選択情報を判別する信号を出力して確定するこ
とを特徴とする情報入力方法にある。According to another configuration for realizing the object of the invention according to the present application, a function of sequentially presenting a plurality of pieces of information to be input to an apparatus user and a function of closing an eyelid movement are provided. A function of detecting an information selection operation of a user of the device used;
Having a selected information output function of outputting a signal for determining the selected information, and selecting a selection from a plurality of pieces of information to be sequentially presented, detecting the information selection operation of the device user by the eyelid closing operation, An information input method is characterized in that a signal for determining information is output and determined.
【００３８】この構成によれば、順次画面上に提示され
る音符などの複数の情報を見て、装置使用者が意識的に
行った閉瞼動作を検出したら情報選択操作が行われたも
のとして、被選択情報の選択を確定することができる。According to this configuration, it is assumed that the information selecting operation is performed when the user sees a plurality of pieces of information such as notes sequentially displayed on the screen and detects the eyelid closing operation intentionally performed by the apparatus user. , The selection of the selected information can be determined.
【００３９】本出願に係る発明の目的を実現する他の構
成は、請求項１２に記載のように、入力の対象となる複
数の情報を装置使用者に順次提示する手段と、眼球の動
作を用いた装置使用者の情報選択操作を検出する手段
と、被選択情報を判別する信号を出力する被選択情報出
力手段とを備えたことを特徴とする情報入力装置にあ
る。Another structure for realizing the object of the invention according to the present application is a means for sequentially presenting a plurality of information to be input to a user of the apparatus, and an operation of an eyeball. An information input device comprising: means for detecting an information selection operation performed by a user of a used apparatus; and selected information output means for outputting a signal for determining selected information.
【００４０】この構成によれば、順次画面上に提示され
る音符等の複数の情報を見て、装置使用者の意識的な眼
球動作による視線の激しい動きを検出したら情報選択操
作が行われたものとして、被選択情報の選択を確定する
ことができる。According to this configuration, when a plurality of pieces of information such as musical notes presented on the screen are sequentially viewed, and a sharp gaze movement due to a conscious eyeball movement of the apparatus user is detected, an information selection operation is performed. As a matter of fact, the selection of the selected information can be determined.
【００４１】本出願に係る発明の目的を実現する他の構
成は、請求項１３に記載のように、入力の対象となる複
数の情報を装置使用者に順次提示する手段と、閉瞼動作
を用いた装置使用者の情報選択操作を検出する手段と、
被選択情報を判別する信号を出力する被選択情報出力手
段とを備えたことを特徴とする情報入力装置にある。Another structure for realizing the object of the invention according to the present application is a means for sequentially presenting a plurality of pieces of information to be input to an apparatus user as described in claim 13; Means for detecting an information selection operation of a user of the used apparatus;
Selected information output means for outputting a signal for determining the selected information.
【００４２】この構成によれば、順次画面上に提示され
る音符などの複数の情報を見て、装置使用者が意識的に
行った閉瞼動作を検出したら情報選択操作が行われたも
のとして、被選択情報の選択を確定することができる。According to this configuration, when a plurality of information such as musical notes presented on the screen are sequentially viewed, and the eyelid closing operation intentionally performed by the apparatus user is detected, the information selecting operation is performed. , The selection of the selected information can be determined.
【００４３】本出願に係る発明の目的を実現する他の構
成は、請求項１４に記載のように、計算機で読むことの
できるプログラムコード手段を格納し音符等の情報入力
を行うことが可能な記憶媒体において、入力の対象とな
る複数の情報を装置使用者に順次提示する機能と、眼球
の動作を用いた装置使用者の情報選択操作を検出する機
能と、被選択情報を判別する信号を出力する機能とを含
むプログラムコード手段を格納することを特徴とする情
報入力用記憶媒体にある。According to another aspect of the invention for realizing the object of the present invention, it is possible to store program code means readable by a computer and input information such as musical notes. In the storage medium, a function of sequentially presenting a plurality of pieces of information to be input to the device user, a function of detecting an information selection operation of the device user using the movement of the eyeball, and a signal for determining the selected information are provided. An information input storage medium characterized by storing program code means including an output function.
【００４４】この構成によれば、順次画面上に提示され
る音符等の複数の情報を見て、装置使用者の意識的な眼
球動作による視線の激しい動きを検出したら情報選択操
作が行われたものとして、被選択情報の選択を確定させ
ることができる。According to this configuration, when a plurality of pieces of information such as musical notes presented on the screen are sequentially viewed, and a sharp gaze movement due to a conscious eyeball movement of the apparatus user is detected, an information selection operation is performed. As a matter of fact, the selection of the selected information can be determined.
【００４５】本出願に係る発明の目的を実現する他の構
成は、請求項１５に記載のように、計算機で読むことの
できるプログラムコード手段を格納し音符等の情報入力
を行うことが可能な記憶媒体において、入力の対象とな
る複数の情報を装置使用者に順次提示する機能と、閉瞼
動作を用いた装置使用者の情報選択操作を検出する機能
と、被選択情報を判別する信号を出力する機能とを含む
プログラムコード手段を格納することを特徴とする情報
入力用記憶媒体にある。Another configuration for realizing the object of the present invention according to the present invention is capable of storing a computer readable program code means and inputting information such as musical notes. In the storage medium, a function of sequentially presenting a plurality of pieces of information to be input to the apparatus user, a function of detecting an information selection operation of the apparatus user using the eyelid closing operation, and a signal for determining the selected information are provided. An information input storage medium characterized by storing program code means including an output function.
【００４６】この構成によれば、順次画面上に提示され
た音符などの複数の情報を見て、装置使用者が意識的に
行った閉瞼動作を検出したら情報選択操作が行われたも
のとして、被選択情報の選択を確定させることができ
る。According to this configuration, when a plurality of information such as musical notes presented on the screen are sequentially viewed and the eyelid closing operation performed by the apparatus user is detected, the information selecting operation is performed. , The selection of the selected information can be determined.
【００４７】本出願に係る発明の目的を実現する具体的
な構成は、請求項１６に記載のように、前記装置使用者
の情報選択操作を検出する手段は、赤外光の角膜反射像
の位置計測より装置使用者の眼球回転角を検出する視線
検出装置であることを特徴とする請求項１２又は１３記
載の情報入力装置にある。A specific configuration for realizing the object of the invention according to the present application is as described in claim 16, wherein the means for detecting the information selection operation of the user of the apparatus comprises the steps of: 14. The information input device according to claim 12, wherein the information input device is a gaze detection device that detects an eyeball rotation angle of the device user from position measurement.
【００４８】この構成によれば、視線検出装置による装
置使用者の視線検出によって、装置使用者が意識的に行
う眼による情報選択操作を検知することができる。According to this configuration, the information selection operation performed by the eyes of the device user can be detected by the device user's line of sight detection by the line of sight detection device.
【００４９】[0049]
（第１の実施の形態）以下、本発明の第１の実施の形態
について図を参照して説明する。図１〜図４は本発明の
第１の実施の形態に係る図である。図１は本発明の第１
の実施の形態に係る情報入力装置のブロック図である。
図２は図１に示す装置の情報入力方法のフローチャート
である。図３は図２に示す注視検出処理のサブルーチン
である。図４は図２に示す閉瞼検出処理のサブルーチン
である。(First Embodiment) Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. 1 to 4 are views according to a first embodiment of the present invention. FIG. 1 shows the first embodiment of the present invention.
It is a block diagram of an information input device concerning an embodiment.
FIG. 2 is a flowchart of an information input method of the apparatus shown in FIG. FIG. 3 is a subroutine of the gaze detection process shown in FIG. FIG. 4 is a subroutine of the closed eyelid detection process shown in FIG.
【００５０】本発明の第１の実施の形態は、装置使用者
の前方に配置されたディスプレイ画面上に描画された１
つの選択要素を選択して、この選択要素に割当てられた
情報や指令を計算機やその他の機器に入力するためのも
のであり、装置使用者は視線方向を検出する視線検出装
置および瞬きを検出する瞬き検出装置を装着する。ここ
で用いられる視線検出装置と瞬き検出装置は装置使用者
の前方視界を妨げない構造であって、装置使用者はこれ
らの装置を装着したまま前方のディスプレイ画面を見る
ことが可能である。According to the first embodiment of the present invention, one image drawn on a display screen arranged in front of the user of the apparatus.
For selecting one of the selection elements and inputting information and commands assigned to the selection element to a computer or other equipment. The user of the apparatus detects a gaze detection device for detecting a gaze direction and detecting a blink. Attach the blink detection device. The line-of-sight detection device and the blink detection device used here have a structure that does not hinder the front view of the device user, and the device user can view the display screen in front while wearing these devices.
【００５１】ディスプレイ画面上では選択領域が他の領
域と区別し得るように表示され、装置使用者がその選択
領域を注視するとそこの選択要素は被選択状態になり、
続けて装置使用者が意識的に十分長い時間のあいだ瞼を
閉じると、その選択要素による情報の入力が確定される
という情報入力方式である。On the display screen, the selected area is displayed so as to be distinguishable from other areas, and when the apparatus user gazes at the selected area, the selected element becomes selected.
Subsequently, when the device user intentionally closes the eyelids for a sufficiently long time, the input of information by the selected element is confirmed.
【００５２】なお、以下の説明では、瞬きよりも十分長
い時間のあいだ瞼を閉じる動作を、特に「閉瞼」と呼ん
で区別する。In the following description, the operation of closing the eyelid for a time sufficiently longer than the blinking is particularly called “closed eyelid” to make a distinction.
【００５３】図１において、１０１は視線検出装置、１
０２は瞬き検出装置、１０３は装置使用者の意図を入力
するための選択要素を表示するためのディスプレイ、１
０４は当該装置と外部機器との入出力部、１０５は当該
装置を制御するプログラムを格納するための記憶装置、
１０６は当プログラムに基づいた処理に必要な情報およ
び処理の結果得られる情報を格納するための記憶装置で
ある。１０７は記憶装置１０５に蓄積されたプログラム
を実行することによって当装置の動作を制御するＣＰＵ
である。なお、当プログラムはフロッピーディスク、Ｃ
Ｄ−ＲＯＭ、ＲＯＭ、磁気テープ等の記憶媒体に記憶さ
れていて、外部機器との入出力部１０４から当装置に入
力して、記憶装置１０５に記憶させる方式であってもよ
い。In FIG. 1, reference numeral 101 denotes a gaze detecting device, 1
02 is a blink detection device, 103 is a display for displaying selection elements for inputting the intention of the device user, 1
04 is an input / output unit between the device and an external device, 105 is a storage device for storing a program for controlling the device,
Reference numeral 106 denotes a storage device for storing information necessary for processing based on the program and information obtained as a result of the processing. 107, a CPU that controls the operation of the apparatus by executing a program stored in the storage device 105
It is. This program is a floppy disk, C
A method in which the data is stored in a storage medium such as a D-ROM, a ROM, a magnetic tape, or the like, input to the device from the input / output unit 104 with an external device, and stored in the storage device 105 may be used.
【００５４】この場合の、視線検出装置１０１は、赤外
光の角膜反射像の位置を計測することにより視線方向を
検出するもので、この視線検出装置１０１は装置使用者
の視線のディスプレイ上での位置を一定の時間毎に検出
する機能を持っている（以下ディスプレイ上での視線の
位置を視線位置と呼ぶ）。瞬き検出装置１０２は、赤外
光の角膜反射像の有無を検出することにより、装置使用
者の瞼が閉じているかどうかを検知するものである。こ
の瞬き検出装置１０２は、一定の時間毎に装置使用者の
瞼の開閉状態を判別するようになっている。In this case, the line-of-sight detection device 101 detects the line-of-sight direction by measuring the position of the corneal reflection image of the infrared light, and the line-of-sight detection device 101 displays the line of sight of the user of the device on the display. Has the function of detecting the position of the line of sight at regular intervals (hereinafter, the position of the line of sight on the display is referred to as the line of sight position). The blink detection device 102 detects whether the eyelid of the device user is closed by detecting the presence or absence of a corneal reflection image of infrared light. The blink detection device 102 determines the open / closed state of the eyelid of the device user at regular intervals.
【００５５】つぎに図２のフローチャート他を参照して
動作について説明する。先ず、ディスプレイ１０３上に
選択要素を表示する（Ｓ２０１）。次に装置使用者が装
着している視線検出装置１０１による選択要素の注視検
出処理を行う（Ｓ２０２）。なお、このＳ２０２の注視
検出処理の詳細についてはサブルーチンにより後述す
る。Ｓ２０２における注視検出処理の結果に基づき、装
置使用者が選択要素を注視したかどうかを判別する（Ｓ
２０３）。選択要素を注視していない場合はＳ２０２へ
戻る。判別結果が選択要素を注視したと判別した場合
は、閉瞼検出処理を行う（Ｓ２０４）。なお閉瞼検出処
理の詳細についてはサブルーチンで後述する。Next, the operation will be described with reference to the flowchart of FIG. First, the selected element is displayed on the display 103 (S201). Next, gaze detection processing of the selected element is performed by the gaze detection device 101 worn by the device user (S202). The details of the gaze detection process in S202 will be described later using a subroutine. Based on the result of the gaze detection process in S202, it is determined whether or not the device user has gazed at the selected element (S202).
203). If the user is not watching the selected element, the process returns to S202. If it is determined that the selected element has been gazing at the selected element, a closed eyelid detection process is performed (S204). The details of the closed eyelid detection process will be described later in a subroutine.
【００５６】続いて、Ｓ２０４の閉瞼検出処理の結果に
基づいて、装置使用者が閉瞼動作を行ったかどうかを判
別する（Ｓ２０５）。閉瞼動作を行っていない場合はＳ
２０２へ戻る。閉瞼動作を行ったと判別した場合は、選
択要素を装置使用者が選択し、選択要素に対応する情報
の入力が確定したことを示す入力確定信号を外部機器と
の入出力部１０４を通じて発信して処理を終了する（Ｓ
２０６）。Subsequently, it is determined whether or not the apparatus user has performed the eyelid closing operation based on the result of the eyelid closing detection process of S204 (S205). S when the eyelid closing motion is not performed
Return to 202. If it is determined that the eyelid closing operation has been performed, the device user selects the selected element, and transmits an input determination signal indicating that input of information corresponding to the selected element has been determined via the input / output unit 104 with the external device. To end the process (S
206).
【００５７】次に、Ｓ２０２の注視検出処理について、
図３のサブルーチンを参照して詳述する。先ず、装置使
用者が選択要素を表示する画面上の選択領域を注視して
いるかどうかを示すフラグ“注視フラグ”を“オフ”に
セットする、すなわち選択領域が注視されていない状態
を示すようにフラグを設定する（Ｓ３０１）。続いて、
装置使用者が選択要素を持続して注視している時間を示
すカウンタＩgを０に設定する（Ｓ３０２）。Next, the gaze detection process in S202 will be described.
This will be described in detail with reference to the subroutine of FIG. First, a flag “gaze flag” indicating whether or not the device user is gazing at the selected area on the screen displaying the selected element is set to “off”, that is, to indicate a state where the selected area is not gazed. The flag is set (S301). continue,
The counter I g indicating the time at which a device user is gazing sustained the selection element is set to 0 (S302).
【００５８】次に、視線位置を検出する。検出結果は装
置使用者の視線方向とディスプレイ画面との交点Ｇの座
標として得られる。この座標値の単位は画素であっても
よいし、長さを表す他の単位（例えば、ｃｍ）であって
もよい（Ｓ３０３）。Ｓ３０３で検出した視線位置Ｇが
選択領域内の点かどうかを判別する（Ｓ３０４）。点Ｇ
が選択領域外の点の場合は注視検出処理を終了し、、点
Ｇが選択領域内の場合はカウンタＩgをインクリメント
する（Ｓ３０５）。Next, the line-of-sight position is detected. The detection result is obtained as the coordinates of the intersection G between the viewing direction of the device user and the display screen. The unit of the coordinate value may be a pixel or another unit (for example, cm) representing the length (S303). It is determined whether or not the line-of-sight position G detected in S303 is a point in the selected area (S304). Point G
If is a point outside the selected area, the gaze detection process is terminated, and if point G is within the selected area, the counter Ig is incremented (S305).
【００５９】カウンタＩgと予め設定されたしきい値Ｔ
ｈgとを比較し（Ｓ３０６）、Ｉgが大である場合は装置
使用者が注視したと判断されるに十分な時間間隔のあい
だ選択要素の方向に視線を向けていたと判断して、注視
フラグを“オン”（選択領域が注視された状態）に設定
する（Ｓ３０７）。一方、Ｉgがしきい値Ｔｈg以下の場
合は、十分な時間選択要素を注視していないと判断して
Ｓ３０３に戻る。The counter Ig and a preset threshold T
is compared with h g (S306). If I g is large, it is determined that the user has turned his / her gaze in the direction of the selected element for a time interval sufficient to determine that the device user has gazed, and gazes The flag is set to "ON" (a state in which the selected area is watched) (S307). On the other hand, if I g is equal to or smaller than the threshold value Th g , it is determined that sufficient time selection elements have not been watched, and the process returns to S303.
【００６０】次に、図４のサブルーチンを参照してＳ２
０４の閉瞼検出処理について詳述する。先ず、装置使用
者が閉瞼しているかどうかを示すフラグ“閉瞼フラグ”
を“オフ”にセットする。すなわち閉瞼していない状態
を示すようにフラグをセットする（Ｓ４０１）。続い
て、装置使用者が持続して瞼を閉じている時間を示すカ
ウンタＩpを０に設定する（Ｓ４０２）。Next, referring to the subroutine of FIG.
04 is described in detail. First, a flag “closed eyelid flag” indicating whether or not the device user has closed the eyelid
To “off”. That is, a flag is set to indicate a state where the eyelids are not closed (S401). Subsequently, a counter Ip indicating the time during which the device user has continuously closed the eyelids is set to 0 (S402).
【００６１】次に、瞬きの有無を検出し（Ｓ４０３）、
Ｓ４０３の処理で瞬きが検出されたかどうかを判別する
（Ｓ４０４）。瞬きが検出されない場合は閉瞼検出処理
を終了、瞬きが検出された場合はカウンタＩpをインク
リメントする（Ｓ４０５）。Next, the presence or absence of blinking is detected (S403).
It is determined whether a blink has been detected in the process of S403 (S404). If no blink is detected, the closed eyelid detection process ends, and if a blink is detected, the counter Ip is incremented (S405).
【００６２】カウンタＩpの値と予め設定されたしきい
値Ｔｈpとを比較し（Ｓ４０６）、Ｉpの方が大の場合は
装置使用者が閉瞼したと判断されるに十分な時間間隔の
あいだ瞼を閉じていたと判断して、閉瞼フラグを“オ
ン”（閉瞼を行っていた状態を表す）に設定する（Ｓ４
０７）。一方、Ｓ４０６でＩpがしきい値Ｔｈp以下だっ
た場合は、十分な時間間隔のあいだ瞼を閉じていないと
判断してＳ４０３へ戻る。The value of the counter I p is compared with a preset threshold value Th p (S406). If the value of I p is larger, a sufficient time is determined for determining that the user of the apparatus has closed the eyelid. It is determined that the eyelids are closed during the interval, and the eyelid closing flag is set to “ON” (representing a state in which the eyelids are closed) (S4)
07). On the other hand, if I p is equal to or smaller than the threshold value Th p in S406, it is determined that the eyelids have not been closed for a sufficient time interval, and the process returns to S403.
【００６３】このように、第１の実施の形態によれば、
選択要素が選択されたと判断されるための注視持続時間
のしきい値Ｔｈgの値を小さくしても、無意識的な視線
の動きによって誤って入力が確定されてしまう可能性は
小さい。なぜならば、入力の確定は「閉瞼」という通常
の身体の動きとは異なる意識的な動作によって行ってい
るからである。この場合のようにしきい値Ｔｈgの値を
小さくすれば、眼球の微動によって視線位置が選択要素
から外れて、選択要素が選択されないという不都合が生
ずる可能性を小さくすることができる。As described above, according to the first embodiment,
Even reduce the value of the threshold Th g of gaze duration to be determined and selected elements are selected, the possibility of incorrectly entered by unconscious gaze movements from being finalized is small. This is because the input is determined by a conscious movement different from the normal movement of the body called "closed eyelids". If the value of the threshold value Th g is reduced as in this case, it is possible to reduce the possibility that the line-of-sight position deviates from the selected element due to slight movement of the eyeball, and the inconvenience that the selected element is not selected occurs.
【００６４】また、長時間一定の箇所を注視しつづける
必要のないことから、装置使用者の苦痛を緩和すること
が可能である。更に、閉瞼検出は視線検出処理だけの情
報入力より精度が高いので、入力確定が確実に行われる
という利点がある。Further, since it is not necessary to keep an eye on a fixed portion for a long time, it is possible to reduce the pain of the user of the apparatus. Further, since the detection of closed eyelids is more accurate than the information input of only the eye gaze detection processing, there is an advantage that the input is surely determined.
【００６５】（請求項と実施の形態の対応）以上、請求
項１あるいは請求項３などに表記する「閉瞼」により入
力を確定する方式の、情報入力方法および情報入力装置
について説明したが、本実施の形態は、システムあるい
は装置にプログラムを供給することによって実施される
形態にも適用されることはいうまでもない。この場合、
請求項５にも表示したように、本実施の形態に係る「閉
瞼」による入力確定方式のプログラムを格納した記憶媒
体も本発明の構成要素となる。その際、当記憶媒体か
ら、そのプログラムをシステムあるいは装置に読み出す
ことによって、そのシステムあるいは装置が予め決めら
れた（プログラムで規定する）方法で動作することにな
る。(Correspondence between Claims and Embodiments) The information input method and the information input device of the method of determining the input by the "closed eyelid" described in claim 1 or claim 3 have been described above. It is needless to say that the present embodiment is also applied to an embodiment that is implemented by supplying a program to a system or an apparatus. in this case,
As also shown in claim 5, a storage medium storing a program of the input confirmation method by "closed eyelids" according to the present embodiment is also a component of the present invention. At that time, by reading the program from the storage medium to the system or the device, the system or the device operates in a predetermined (defined by the program) method.
【００６６】（他の実施の形態）なお、ここまでは入力
確定操作を簡単に説明するために、選択要素が１つの場
合について説明したが、選択要素が複数の場合も本発明
が適用されることは言うまでもない。この場合、どの選
択要素が選択されたかを検出するには、それぞれの選択
要素に対して注視持続時間を計数すればよい。また、本
実施の形態は、複数の機器から構成されるシステムに適
用しても、１つの機器から成る装置に適用することも可
能である。(Other Embodiments) In the above, the case where there is one selection element has been described for the purpose of briefly describing the input confirmation operation. However, the present invention is also applied to the case where there are a plurality of selection elements. Needless to say. In this case, in order to detect which selection element has been selected, the gaze duration may be counted for each selection element. In addition, the present embodiment can be applied to a system including a plurality of devices or to an apparatus including a single device.
【００６７】これによって、本実施の形態は、例えば、
手足の不自由な人が目の動作だけでワープロを操作して
文章が作成できるようなことにも貢献できる。Thus, the present embodiment is, for example,
It also contributes to the ability for people with disabilities to operate a word processor and create sentences using only eye movements.
【００６８】（第２の実施の形態）次に、本発明の第２
の実施の形態について説明する。図５は本発明の第２の
実施の形態に係る情報入力方法のフローチャートであ
る。図６は図５に示す選択要素の属性表示例を示す図で
ある。(Second Embodiment) Next, a second embodiment of the present invention will be described.
An embodiment will be described. FIG. 5 is a flowchart of the information input method according to the second embodiment of the present invention. FIG. 6 is a diagram showing an example of attribute display of the selected element shown in FIG.
【００６９】第２の実施の形態は、第１の実施の形態に
加えて選択要素の選択および入力の確定を視覚的に確認
する手段を付加したものである。すなわち、選択要素の
状態（非選択状態、選択状態および確定状態）に応じ
て、選択要素の色や形等の属性を変更するものである。In the second embodiment, in addition to the first embodiment, means for visually confirming selection of a selection element and determination of an input is added. That is, attributes such as the color and shape of the selected element are changed according to the state of the selected element (non-selected state, selected state, and fixed state).
【００７０】なお、図１に示した装置の構成は、本実施
の形態でも共通なので構成に関する重複する説明は省略
する。Since the configuration of the apparatus shown in FIG. 1 is common to the present embodiment, duplicate description of the configuration will be omitted.
【００７１】つぎに動作について説明する。図５に示す
フローチャートにおいて、図２のフローチャートと異な
る処理は、Ｓ５０１とＳ５０５とＳ５１０の属性に関す
る部分である。その他のＳ５０２，５０３，５０４と、
Ｓ５０６，５０７，５０８，５０９と、Ｓ５１１の処理
は、図２の前実施の形態のＳ２０１，２０２，２０３，
２０１，２０４，２０５，２０６，２０１順の処理と同
一なので、以下では重複する部分の説明は省略し、異な
る属性部分の処理のみについて説明する。Next, the operation will be described. In the flowchart shown in FIG. 5, the processes different from those in the flowchart of FIG. 2 are related to the attributes of S501, S505, and S510. Other S502, 503, 504,
The processing of S506, 507, 508, 509 and S511 is the same as that of S201, 202, 203,
Since the processing is the same as the processing in the order of 201, 204, 205, 206, and 201, the description of the overlapping part is omitted below, and only the processing of the different attribute part will be described.
【００７２】先ず、Ｓ５０１では、選択要素の属性を初
期状態（Ｐ0）に設定する。図６は選択要素の属性表示
例であり、図６（ａ）はＳ５０１の状態における「非選
択」を表す選択要素のイメージの表示例である。図６
（ｂ）は「選択」状態の属性表示であり、図６（ｃ）は
「確定」状態の表示である。First, in step S501, the attribute of the selected element is set to the initial state (P 0 ). FIG. 6 shows an example of the attribute display of the selected element. FIG. 6A shows an example of the display of the image of the selected element indicating “non-selection” in the state of S501. FIG.
FIG. 6B shows the attribute display in the “selected” state, and FIG. 6C shows the attribute display in the “determined” state.
【００７３】次に、Ｓ５０５では選択要素の属性をＰ0
とは異なるＰ1（「選択」）に設定する。Next, in S505, the attribute of the selected element is set to P 0
Is set to P 1 (“selection”) different from.
【００７４】Ｓ５１０の処理では、選択要素の属性をＰ
0、Ｐ1とは異なるＰ2（「確定」）に設定する。In the process of S510, the attribute of the selected element is set to P
0, set to different P 2 ( "fixed") and P 1.
【００７５】このように、第２の実施の形態によれば、
前実施の形態に加えて、選択要素が選択された場合に、
その選択要素が選択状態に（Ｐ1：「選択」時）あるこ
とを装置使用者に視覚的に通知することにより、装置使
用者が選択状態（Ｐ1：「選択」時）から直ちに入力を
確定するための動作（閉瞼）を開始することも可能にな
り、これによって情報入力をすばやく行うことが可能に
なる。As described above, according to the second embodiment,
In addition to the previous embodiment, when a selection element is selected,
By visually notifying the device user that the selected element is in the selected state (P 1 : at the time of “selection”), the device user can immediately input from the selected state (P 1 : at the time of “selection”). It is also possible to start an operation for confirming (closed eyelids), thereby making it possible to quickly input information.
【００７６】また、選択要素による情報入力が確定（Ｐ
2：「確定」）したことを装置使用者に視覚的に報知す
ることにより、確定動作が行われたかかどうかを確認す
ることが可能になる。Further, the information input by the selected element is confirmed (P
2 : "Fixed") is visually notified to the user of the device, so that it is possible to confirm whether or not the confirmed operation has been performed.
【００７７】なお、第２の実施の形態においては、属性
Ｐ1の設定処理および属性Ｐ2の設定処理は、必ずしも両
方を具備している必要がないことはいうまでもない。In the second embodiment, it is needless to say that the setting processing of the attribute P 1 and the setting processing of the attribute P 2 do not necessarily need to have both.
【００７８】（請求項と実施の形態の対応）以上、請求
項２および請求項４等に表記した、属性表示によって状
態を視覚的に確認しながら、「閉瞼」により入力を確定
する方式の、情報入力方法および情報入力装置について
説明したが、更に、システムあるいは装置に同様なプロ
グラムを供給することによって、実施される形態にも適
用されるものであることは言うまでもない。(Correspondence between Claims and Embodiments) As described above, the method of confirming the input by "closed eyelids" while visually confirming the state by attribute display described in claims 2 and 4 and the like. Although the information input method and the information input device have been described, it goes without saying that the present invention is also applied to the embodiment by supplying a similar program to a system or an apparatus.
【００７９】従って、請求項６に表記したような、第２
の実施の形態の属性確認による「閉瞼」入力確定方式の
プログラムを格納した記憶媒体は、当然本発明の構成要
素となるものである。Therefore, as described in claim 6, the second
The storage medium storing the program of the “closed eyelid” input confirmation method by the attribute confirmation according to the embodiment is naturally a component of the present invention.
【００８０】（他の実施の形態）第２の実施の形態で
は、属性表示として色等を変える表示例について説明し
たが、更に、Ｓ５１０，Ｓ５１１の処理に置換えるか、
あるいはＳ５１１の処理の後に加えて、入力が確定した
ことを装置使用者に報知する警告音を発するようにする
ことも可能である。その場合、装置使用者が入力を確定
するために閉瞼動作を行っている最中に、警告音によっ
て入力確定済みが分かるので、警告音が発生すれば直ち
に閉瞼動作を中止することができるので、入力確定操作
をすばやく行うことができるという利点が生ずる。(Other Embodiments) In the second embodiment, a description has been given of a display example in which a color or the like is changed as the attribute display. However, the processing may be replaced with the processing of S510 and S511.
Alternatively, in addition to after the process of S511, it is also possible to emit a warning sound for notifying the device user that the input has been confirmed. In this case, while the device user is performing the eyelid closing operation to determine the input, the input sound is confirmed by the warning sound, so that the eyelid closing operation can be stopped immediately when the warning sound is generated. Therefore, there is an advantage that the input confirmation operation can be performed quickly.
【００８１】（第３の実施の形態）次に、第３の実施の
形態について説明する。(Third Embodiment) Next, a third embodiment will be described.
【００８２】以上の実施の形態では、注視検出処理にお
いて、視線位置が選択範囲に含まれる持続時間がしきい
値を超えたことを注視の判別条件に用いているが、眼球
の微動による注視検出の誤動作は避けられない。すなわ
ち、装置使用者が意識的に選択要素に視線を向けている
にも関わらず、無意識の眼球運動によって視線位置が選
択範囲外に移動するため、注視の持続時間がしきい値以
下と判断されて、注視していないと検知される場合があ
る。In the above embodiment, in the gaze detection process, the condition that the duration of the line of sight included in the selection range exceeds the threshold value is used as the condition for gaze determination. Malfunction is inevitable. In other words, the gaze position is determined to be equal to or less than the threshold value because the gaze position moves out of the selection range due to unconscious eye movement even though the device user intentionally looks at the selected element. Therefore, it may be detected that the user is not watching.
【００８３】これを避けるための方式として、ある一定
時間の間に繰返し検出した視線位置のうち、予め決めら
れた割合以上の検出時点において視線位置が選択領域内
に入っていることを注視の判別条件とする。この注視の
判別条件の改善を、本発明の第３の実施の形態とするも
のである。As a method for avoiding this, it is determined that the gaze position is within the selected area at a detection time point equal to or more than a predetermined ratio among the gaze positions repeatedly detected during a certain period of time. Conditions. This improvement of the gaze determination condition is a third embodiment of the present invention.
【００８４】このように改善すれば、眼球の微動による
注視検出の誤動作の可能性が減少する。With this improvement, the possibility of a malfunction in gaze detection due to slight movement of the eyeball is reduced.
【００８５】（第４の実施の形態）次に第４の実施の形
態について説明する。(Fourth Embodiment) Next, a fourth embodiment will be described.
【００８６】以上の実施の形態では、視線検出装置およ
び瞬き検出装置としてプルキニエ像の位置検出に基づい
た装置を用いているが、他の原理（例えば、筋電位の測
定、あるいは顔面像の画像処理）に基づく装置を用いて
同等の検出を行うことも可能であり、これら別装置によ
る構成を第４の実施の形態とするものである。In the above embodiment, the apparatus based on the position detection of the Purkinje image is used as the line-of-sight detection apparatus and the blink detection apparatus. However, other principles (for example, measurement of myoelectric potential, image processing of the face image, etc.) The same detection can be performed using a device based on the above-described method, and the configuration using these other devices is the fourth embodiment.
【００８７】また、視線検出装置と瞬き検出装置は別個
の装置として実現されているが、視線検出処理の過程で
瞬きを検出することが可能な装置を用いてもかまわな
い。Although the gaze detection device and the blink detection device are realized as separate devices, a device capable of detecting a blink in the course of the gaze detection process may be used.
【００８８】更に、視線検出装置と瞬き検出装置と、デ
ィスプレイ装置は別個の装置として実現されているが、
例えば頭部装着型ディスプレイ（ＨＭＤ）などに視線検
出機能および瞬き検出機能が付加された装置を用いても
よい。Further, the gaze detecting device, the blink detecting device, and the display device are realized as separate devices.
For example, a device in which a gaze detection function and a blink detection function are added to a head mounted display (HMD) or the like may be used.
【００８９】（第５の実施の形態）次に第５の実施の形
態について説明する。図７〜図９は本発明の第５の実施
の形態に係る図である。図７は本発明の第５の実施の形
態に係る情報入力装置のブロック図である。図８は図７
に示す装置の情報入力方法のフローチャートである。図
９は図８に示す選択検知処理のサブルーチンである。(Fifth Embodiment) Next, a fifth embodiment will be described. 7 to 9 are diagrams according to a fifth embodiment of the present invention. FIG. 7 is a block diagram of an information input device according to a fifth embodiment of the present invention. FIG. 8 shows FIG.
6 is a flowchart of an information input method of the device shown in FIG. FIG. 9 is a subroutine of the selection detecting process shown in FIG.
【００９０】本第５の実施の形態は、複数の音符の中か
ら任意の音符を選択して入力するための方式である。こ
の情報入力装置は装置使用者に対して各音符に対応する
音程を持つ音声を順次提示し、装置使用者は所望の音符
の音声が発せられた時点で視線を激しく運動させること
によって、対応する音符を選択し情報入力を行うもので
ある。The fifth embodiment is a method for selecting and inputting an arbitrary note from a plurality of notes. This information input device sequentially presents a voice having a pitch corresponding to each note to the device user, and the device user responds by intensely moving his / her gaze when the sound of the desired note is emitted. This is for selecting notes and inputting information.
【００９１】図７において、７０１は視線検出装置、７
０２は音声信号発生装置、７０３は音声信号発生装置７
０２より出力される電気信号を音声に変換するスピーカ
あるいはヘッドフォン等の発音装置、７０４は本情報入
力装置と外部機器との入出力部、７０５は本装置を制御
するプログラムを格納するための記憶装置、７０６は当
プログラムに基づいた処理に必要な情報および処理の結
果得られる情報を格納するための記憶装置である。７０
７は記憶装置７０５に蓄積されたプログラムを実行する
ことによって本装置の動作を制御するＣＰＵである。な
お、本プログラムはフロッピーディスク、ＣＤ−ＲＯ
Ｍ、ＲＯＭ、磁気テープ等の記憶媒体に記憶されてい
て、外部機器との入出力部７０４から本装置に入力して
記憶装置７０５に記憶させるものであってもよい。In FIG. 7, reference numeral 701 denotes a visual line detection device;
02 is an audio signal generator, 703 is an audio signal generator 7
02, a sound-producing device such as a speaker or a headphone for converting an electric signal output from the device 02 into a sound; 704, an input / output unit between the information input device and an external device; , 706 are storage devices for storing information necessary for processing based on the program and information obtained as a result of the processing. 70
Reference numeral 7 denotes a CPU that controls the operation of the apparatus by executing a program stored in the storage device 705. This program is a floppy disk, CD-RO
The information may be stored in a storage medium such as an M, a ROM, a magnetic tape, or the like, and may be input to the apparatus from an input / output unit 704 for external equipment and stored in the storage device 705.
【００９２】視線検出装置７０１は赤外光の角膜反射像
の位置を計測することにより視線方向を検出するもので
あり、本視線検出装置７０１は装置使用者の眼球回転角
を一定の時刻毎に検出する機能を持つ。The line-of-sight detection device 701 detects the direction of the line of sight by measuring the position of the corneal reflection image of infrared light. The line-of-sight detection device 701 determines the rotation angle of the eyeball of the user of the device at regular time intervals. Has a function to detect.
【００９３】つぎに動作について図８のフローチャート
を参照して説明する。図８に示すフローチャート中、
“Ｉ”は装置使用者に提示する音符を識別するための変
数、“Ｎ”は装置使用者に提示する音符の総数を表す定
数であり、それぞれの音符には一意に番号が割り振られ
ているものとする。Next, the operation will be described with reference to the flowchart of FIG. In the flowchart shown in FIG.
“I” is a variable for identifying a note to be presented to the device user, “N” is a constant indicating the total number of notes to be presented to the device user, and each note is uniquely assigned a number. Shall be.
【００９４】先ず、変数Ｉを１に設定する（Ｓ６０
１）。次に、第Ｉ番目の音符に対応する音程を持つ音声
を、音声信号発生装置７０２と発音装置７０３を用いて
発生させる（Ｓ６０２）。装置使用者の眼球動作によっ
て行う音符の選択動作を検知する（Ｓ６０３）。なお、
この選択動作検知については後でサブルーチンにより詳
述する。First, the variable I is set to 1 (S60).
1). Next, a voice having a pitch corresponding to the I-th note is generated using the voice signal generator 702 and the sound generator 703 (S602). A note selecting operation performed by the eye movement of the device user is detected (S603). In addition,
This selection operation detection will be described later in detail with a subroutine.
【００９５】Ｓ６０３の検知処理の結果を基に装置使用
者が選択動作を行ったかどうか判定する（Ｓ６０４）。
選択動作を行ったと判定された場合は、変数Ｉの値を外
部機器との入出力部７０４から出力して処理を終了する
（Ｓ６０５）。一方、Ｓ６０４の処理で第Ｉ番目の音符
が選択されていないと判断した場合は、変数Ｉをインク
リメントし（Ｓ６０６）、変数Ｉが総音符数Ｎより大き
いかどうか判定する（Ｓ６０７）。変数Ｉが総音符数Ｎ
より大きいと判断した場合は、Ｓ６０５の処理を行って
終了し、変数Ｉが総音符数Ｎ以下の場合はＳ６０２へ戻
る。以上の処理によって、いずれかの音符が選択された
場合は各音符に割当てられた１以上Ｎ以下の数が装置か
ら出力され、いずれの音符も選択されない場合はＮ＋１
が出力される。It is determined whether or not the apparatus user has performed a selection operation based on the result of the detection processing in S603 (S604).
If it is determined that the selection operation has been performed, the value of the variable I is output from the input / output unit 704 with the external device, and the process ends (S605). On the other hand, if it is determined in step S604 that the I-th note has not been selected, the variable I is incremented (S606), and it is determined whether or not the variable I is greater than the total number of notes N (S607). Variable I is the total number of notes N
If it is determined that the number is greater than the total number of notes N, the process returns to S602. According to the above processing, if any note is selected, the number from 1 to N assigned to each note is output from the apparatus, and if no note is selected, N + 1
Is output.
【００９６】ここで、Ｓ６０３の選択検知処理について
図９のサブルーチンを参照して詳述する。Here, the selection detecting process in S603 will be described in detail with reference to the subroutine of FIG.
【００９７】眼球回転角の測定回数を計数するカウンタ
変数ｔを１に設定する（Ｓ８０１）。次に、眼球回転角
の測定値θｔを視線検出装置７０１より読み出す（Ｓ８
０２）。続いて、θｔを記憶装置７０６に格納する（Ｓ
８０３）。A counter variable t for counting the number of times the eyeball rotation angle is measured is set to 1 (S801). Next, the measurement value θt of the eyeball rotation angle is read out from the visual line detection device 701 (S8).
02). Subsequently, θt is stored in the storage device 706 (S
803).
【００９８】変数ｔをインクリメントし（Ｓ８０４）、
予め設定された定数Ｔと変数ｔの値を比較する（Ｓ８０
５）。変数ｔがＴ以下の場合はＳ８０２へ戻るが、変数
ｔがＴより大の場合は、視線移動量ｍを次式より算出す
る（Ｓ８０６）。The variable t is incremented (S804),
The predetermined constant T is compared with the value of the variable t (S80).
5). If the variable t is equal to or smaller than T, the process returns to S802. If the variable t is larger than T, the gaze movement amount m is calculated by the following equation (S806).
【００９９】[0099]
【数１】 算出した視線移動量ｍと予め設定されたしきい値Ｍとの
値を比較する（Ｓ８０７）。視線移動量ｍがしきい値Ｍ
より大きいと判定された場合は、選択動作の有無を示す
選択フラグをオン（選択が行われた状態）に設定して終
了する（Ｓ８０８）。一方、視線移動量ｍがしきい値Ｍ
以下と判定された場合は、選択フラグをオフに設定して
処理を終了する（Ｓ８０９）。なお、選択フラグは記憶
装置７０６に格納されている。(Equation 1) The calculated eye movement amount m is compared with a preset threshold value M (S807). Eye movement amount m is threshold value M
If it is determined that the value is greater than the threshold value, the selection flag indicating the presence or absence of the selection operation is set to ON (in a state where the selection is performed), and the process ends (S808). On the other hand, the gaze movement amount m is equal to the threshold M
If it is determined that it is below, the selection flag is set to off, and the process ends (S809). The selection flag is stored in the storage device 706.
【０１００】このように、第５の実施の形態によれば、
キーボード等のデバイスを介さずに視線移動という手段
によって音符入力が可能になる。As described above, according to the fifth embodiment,
It is possible to input musical notes by means of line-of-sight movement without using a device such as a keyboard.
【０１０１】（請求項と実施の形態の対応）本実施の形
態は、請求項１０および請求項１２に表記した眼球動作
による音符入力方式が、システム又は装置にプログラム
を供給することによって実施される場合にも当然適用さ
れるものであり、請求項１４に表記したように、眼球動
作による音符入力方式のプログラムを格納した記憶媒体
も本発明の構成要素である。(Correspondence between Claims and Embodiments) In this embodiment, the note input method by eye movement described in claims 10 and 12 is implemented by supplying a program to a system or an apparatus. Naturally, the present invention is also applied to the case, and as described in claim 14, a storage medium storing a program of a note input method by eye movement is also a component of the present invention.
【０１０２】従って、記憶媒体から該当プログラムを読
み出すことによって、システム又は装置がプログラムで
予め決められた情報入力方式で動作することになる。Therefore, by reading out the relevant program from the storage medium, the system or apparatus operates according to the information input method predetermined by the program.
【０１０３】（他の実施の形態）以上、１つの音符の入
力方法について述べたが、続けて同様な処理を繰り返し
行うことで、音符の列すなわち楽譜を入力することが可
能なことは言うまでもない。(Other Embodiments) The method of inputting a single note has been described above. Needless to say, a sequence of notes, ie, a score, can be input by repeatedly performing the same processing. .
【０１０４】また、本実施の形態は、複数の機器から構
成されるシステムへの適用も、１つの機器から成る装置
に適用することも可能である。The present embodiment can be applied to a system composed of a plurality of devices and to an apparatus composed of a single device.
【０１０５】（第６の実施の形態）第５の実施の形態で
は、情報の選択を視線を激しく動作させることによって
行っていた。これに対して、視線検出装置の代わりに瞼
の開閉状態を検出する瞬き検出装置（例えば、図１の瞬
き検出装置１０２）を設けて、装置使用者が予め設定さ
れた時間間隔のあいだ瞼を閉じることによって情報選択
を行う方式を第６の実施の形態とする。(Sixth Embodiment) In the fifth embodiment, information is selected by violently moving the line of sight. In contrast, a blink detection device (for example, the blink detection device 102 in FIG. 1) that detects the open / closed state of the eyelids is provided instead of the gaze detection device, and the user of the device removes the eyelids for a preset time interval. A method of selecting information by closing is referred to as a sixth embodiment.
【０１０６】このような、第６の実施の形態によれば、
無意識的な視線の動きによって誤って入力が確定してし
まう可能性が小さくなり、音符入力の確実性が増す。According to the sixth embodiment,
The possibility that the input is erroneously determined by the unconscious movement of the gaze is reduced, and the certainty of the note input is increased.
【０１０７】（請求項と実施の形態との対応）請求項１
１および１３に表記した閉瞼動作による音符入力方式に
関しては、請求項１５に表記したような、閉瞼動作によ
る音符入力方式のプログラムを格納した記録媒体も本発
明の構成要素となる。従って、この記録媒体から当該プ
ログラムを読み出すことによって、システム又は装置が
予め決められた方式で動作することになる。(Correspondence between Claims and Embodiments) Claim 1
Regarding the note input method based on the eyelid closing operation described in 1 and 13, a recording medium storing a program of the note input method based on the eyelid closing operation as described in claim 15 is also a constituent element of the present invention. Therefore, by reading the program from the recording medium, the system or apparatus operates in a predetermined manner.
【０１０８】（第７の実施の形態）第５，第６の実施の
形態では、装置使用者が選択すべき情報を音声として提
示していた。これに対して、音符を記号を用いて表現し
装置使用者に提示することも可能である。(Seventh Embodiment) In the fifth and sixth embodiments, information to be selected by the device user is presented as a voice. On the other hand, a musical note can be expressed using a symbol and presented to the device user.
【０１０９】例えば、“ド”、“レ”、“ミ”など音符
に一意に割り当てられた文字をディスプレイ画面上に順
次表示して、所望の音符を表す記号が表示された時に装
置使用者が選択動作を行うことによって、情報の入力を
行うことも可能である。For example, characters uniquely assigned to notes, such as "do", "re", and "mi", are sequentially displayed on a display screen, and when a symbol representing a desired note is displayed, the user of the apparatus can display the character. By performing the selection operation, it is also possible to input information.
【０１１０】更に、記号だけではなく、他の情報提示媒
体（例えば、色）を用いてもよい。また、情報提示には
記号と音声の併用というように複数の媒体を併用した
り、単独媒体というように使い分けることも可能であ
り、このような情報媒体の表示拡張方式を第７の実施の
形態とする。Further, other information presentation media (for example, colors) may be used instead of the symbols. In addition, a plurality of media such as a combination of a symbol and a voice can be used for information presentation, or a single medium can be selectively used. Such a display expansion method of the information medium is described in the seventh embodiment. And
【０１１１】（第８の実施の形態）第５〜第７の実施の
形態では、音符の入力が目的であったが、別の種類の情
報を入力することも可能である。(Eighth Embodiment) In the fifth to seventh embodiments, the purpose is to input musical notes, but it is also possible to input other types of information.
【０１１２】例えば、音符に対応する音声を提示する代
わりにアルファベット文字をそれぞれ読み上げた音声を
順次提示することにより、アルファベット文字の入力を
行う事が可能になる。このような他種情報の入力方式を
第８の実施の形態とする。For example, instead of presenting voices corresponding to musical notes, voices obtained by reading out alphabetic characters are sequentially presented, thereby making it possible to input alphabetic characters. An input method of such other kind information is referred to as an eighth embodiment.
【０１１３】[0113]
【発明の効果】以上、説明したように、請求項１又は２
に記載の発明によれば、画面上に属性の変更も含めて表
示し装置使用者が注視する選択要素の選択を、装置使用
者の閉瞼を検出したら、情報入力を確定する信号を出力
して確定するように構成したので、情報入力に視線をポ
インティングデバイスとして用いる場合、一定の領域を
長時間凝視する苦痛を受けること無く装置使用者の意図
を確実に反映して情報入力を行い、入力に要する時間も
少なくすることが可能になった。As described above, claim 1 or claim 2
According to the invention described in the above, the selection of the selected element to be displayed on the screen including the change of the attribute and watched by the device user, and when the eyelid of the device user is detected, a signal for confirming the information input is output. When using the line of sight as a pointing device for information input, the information input is performed by reliably reflecting the intention of the device user without suffering the pain of staring at a certain area for a long time. It is possible to reduce the time required.
【０１１４】更に、請求項３，４および請求項７，８，
９に記載の発明によれば、選択要素を表示する選択要素
表示手段と、視線検出装置により選択要素の表示領域を
注視したかを判定する注視検出手段と、瞬き検出装置に
より閉瞼を検出する閉瞼検出手段と、入力確定手段と、
選択要素の属性を色、形等で変更設定する属性設定手段
を備えたので、視線をポインティングデバイスとして用
いる際に、一定の領域を長時間凝視する苦痛を受けるこ
と無く装置使用者の意図を確実に反映して情報入力を行
い、入力に要する時間も少なくなる情報入力装置を構成
できる。Further, claims 3 and 4 and claims 7, 8 and
According to the invention described in Item 9, the selection element display means for displaying the selection element, the gaze detection means for judging whether or not the gaze detection device gazes at the display area of the selection element, and the blink detection device detects the closed eyelid Eyelid closing detection means, input confirmation means,
Attribute setting means for changing the attribute of the selected element by color, shape, etc. is provided, so that when using the line of sight as a pointing device, the intention of the device user is ensured without suffering the pain of staring at a certain area for a long time. The information input device can be configured such that information input is performed by reflecting the information on the input device, and the time required for the input is reduced.
【０１１５】更に、請求項５又は６に記載の発明によれ
ば、画面上に属性の変更も含めて表示し装置使用者が注
視する選択要素の選択を、装置使用者の閉瞼を検出した
ら、情報入力を確定する信号を出力して確定するプログ
ラムを格納しているので、情報入力に視線をポインティ
ングデバイスとして用いる際に、一定の領域を長時間凝
視する苦痛を受けること無く装置使用者の意図を確実に
反映して情報入力を行い、入力に要する時間も少なくす
ることが可能なプログラムを格納した情報入力用の記憶
媒体を構成できる。Further, according to the fifth or sixth aspect of the present invention, selection of a selection element to be displayed on the screen including changes in attributes and to be watched by the device user is performed when the closed eyelid of the device user is detected. Since a program for outputting a signal for confirming the information input and storing the program is stored, when using the line of sight for the information input as a pointing device, the user of the device does not suffer from the pain of staring at a certain area for a long time. It is possible to configure a storage medium for information input that stores a program capable of inputting information while reliably reflecting the intention and reducing the time required for input.
【０１１６】更に、請求項１０又は１１に記載の発明に
よれば、順次提示される入力の対象となる複数の情報か
らの選択を、眼球動作あるいは閉瞼動作による装置使用
者の情報選択操作を検出したら、被選択情報を判別する
信号を出力して確定するように構成したので、手足の不
自由な装置使用者あるいは健常者でも手足で他の機器を
操作する等の理由によって、キーボード等の手足の動作
を必要とする入力デバイスが使用できない場合でも、手
軽に情報入力を行うことが可能になる。Further, according to the tenth or eleventh aspect of the present invention, a selection from a plurality of pieces of information to be sequentially presented to be input is performed by an information selection operation of the apparatus user by an eyeball operation or an eyelid operation. When it is detected, a signal for determining the selected information is output and determined, so that a user of a device or a healthy person with limited limbs can operate other devices with his / her limbs, etc. Even when an input device that requires limb movement cannot be used, information can be easily input.
【０１１７】更に、請求項１２又は１３および１６に記
載の発明によれば、入力の対象となる複数の情報を順次
提示する手段と、視線検出装置を用いて眼球の動作ある
いは閉瞼動作による情報選択操作を検出する手段と、被
選択情報を判別する信号を出力する被選択情報出力手段
を備えたので、手足が不自由な装置使用者あるいは健常
者でも手足で他の機器を操作する等の理由によって、キ
ーボード等の入力デバイスが使用できない場合でも、手
軽に情報入力が可能な情報入力装置を構成できる。Furthermore, according to the twelfth, thirteenth, and sixteenth aspects of the present invention, means for sequentially presenting a plurality of pieces of information to be input, and information based on eyeball movement or eyelid movement using a gaze detection device. Since there is provided a means for detecting the selection operation and a selected information output means for outputting a signal for determining the selected information, even a device user or a healthy person who has limited limbs can operate other devices with his / her limbs. Even if an input device such as a keyboard cannot be used for some reason, an information input device capable of easily inputting information can be configured.
【０１１８】更に、請求項１４又は１５に記載の発明に
よれば、順次提示される音符等の複数の情報からの選択
を、眼球動作あるいは閉瞼動作による情報選択操作を検
出したら、被選択情報を判別する信号を出力して確定す
るプログラムを格納しているので、手足の動作が不自由
な装置使用者あるいは健常者でも手足で他の機器を操作
する等の理由によって、キーボード等の手足の動作を必
要とする入力デバイスを使用できない場合でも手軽に情
報入力を行うことができるプログラムを格納した、情報
入力用記憶媒体を構成できる。Further, according to the invention as set forth in claim 14 or 15, when a selection from a plurality of pieces of information such as notes sequentially presented is detected by an information selection operation based on an eyeball movement or an eyelid movement, the selected information is selected. A program that outputs a signal to determine the limb is stored, so even a device user or a healthy person who is not able to operate the limbs can operate other devices with the limbs, etc. An information input storage medium that stores a program that can easily input information even when an input device that requires an operation cannot be used can be configured.
【図１】本発明の第１の実施の形態に係る情報入力装置
のブロック図であるFIG. 1 is a block diagram of an information input device according to a first embodiment of the present invention.
【図２】図１に示す装置の情報入力方法のフローチャー
トである。FIG. 2 is a flowchart of an information input method of the apparatus shown in FIG.
【図３】図２に示す注視検出処理のサブルーチンであ
る。FIG. 3 is a subroutine of a gaze detection process shown in FIG. 2;
【図４】図２に示す閉瞼検出処理のサブルーチンであ
る。FIG. 4 is a subroutine of a closed eyelid detection process shown in FIG. 2;
【図５】本発明の第２の実施の形態に係る情報入力方法
のフローチャートである。FIG. 5 is a flowchart of an information input method according to a second embodiment of the present invention.
【図６】図５に示す選択要素の属性表示例を示す図であ
る。FIG. 6 is a diagram showing an example of attribute display of a selection element shown in FIG. 5;
【図７】本発明の第５の実施の形態に係る情報入力装置
のブロック図である。FIG. 7 is a block diagram of an information input device according to a fifth embodiment of the present invention.
【図８】図７に示す装置の情報入力方法のフローチャー
トである。8 is a flowchart of an information input method of the device shown in FIG.
【図９】図８に示す選択検知処理のサブルーチンであ
る。FIG. 9 is a subroutine of a selection detection process shown in FIG. 8;
１０１，７０１ 視線検出装置 １０２ 瞬き検出装置 １０３ ディスプレイ １０４，７０４ 入出力部 １０５，１０６，７０５，７０６ 記憶装置 １０７，７０７ ＣＰＵ ７０２ 音声信号発生装置 ７０３ 発音装置 101, 701 Eye gaze detecting device 102 Blink detecting device 103 Display 104, 704 Input / output unit 105, 106, 705, 706 Storage device 107, 707 CPU 702 Audio signal generating device 703 Sound generating device
Claims (16)
択要素表示機能と、前記選択要素に一意に割当てられた
画面上の領域を装置使用者が注視したか判定する注視検
出機能と、前記装置使用者の閉瞼動作を検出する閉瞼検
出機能と、情報の入力を確定するための信号を出力する
入力確定機能とを有して、装置使用者が注視した画面上
の選択要素の選択を、前記装置使用者の閉瞼動作を検出
したら情報入力を確定するための信号を出力して確定す
ることを特徴とする情報入力方法。A selection element display function of displaying an image of the selection element on a display device; a gaze detection function of determining whether a device user has gazed at an area on a screen uniquely assigned to the selection element; Selection of the selected element on the screen that the device user gazes at, having a closed eyelid detection function of detecting the eyelid closing motion of the device user and an input confirmation function of outputting a signal for confirming the input of the information An information input method comprising: outputting a signal for confirming information input upon detecting the eyelid closing movement of the device user;
選択要素の属性を設定する属性設定機能を有し、選択要
素の選択および情報の入力の確定を視覚的に確認できる
ことを特徴とする情報入力方法。2. The information input method according to claim 1, wherein
An information input method having an attribute setting function of setting an attribute of a selected element, wherein selection of the selected element and confirmation of input of information can be visually confirmed.
択要素表示手段と、前記選択要素に一意に割り当てられ
た画面上の領域を装置使用者が注視したか判定する注視
検出手段と、装置使用者の閉瞼動作を検出する閉瞼検出
手段と、情報の入力を確定するための信号を出力する入
力確定手段とを備えたことを特徴とする情報入力装置。3. A selection element display unit for displaying an image of a selection element on a display device, a gaze detection unit for determining whether an apparatus user gazes at an area on a screen uniquely assigned to the selection element, and an apparatus. An information input device, comprising: a closed eyelid detecting unit that detects a user's closed eyelid movement; and an input determining unit that outputs a signal for determining input of information.
選択要素の属性を設定する属性設定手段を備えたことを
特徴とする情報入力装置。4. The information input device according to claim 3, wherein
An information input device comprising an attribute setting means for setting an attribute of a selected element.
ード手段を格納し情報入力を行うことが可能な情報入力
用記憶媒体において、 選択要素の画像を表示装置に表示する手段と、前記選択
要素に一意に割当てられた画面上の領域を装置使用者が
注視したか判定する手段と、装置使用者の閉瞼動作を検
出する手段と、情報の入力を確定するための信号を出力
する手段を含むプログラムコード手段を格納することを
特徴とする情報入力用記憶媒体。5. An information input storage medium storing a computer readable program code means and capable of inputting information, comprising: means for displaying an image of a selected element on a display device; A program for determining whether or not the device user gazes at the area on the screen allocated to the device, a device for detecting the eyelid closing motion of the device user, and a device for outputting a signal for confirming input of information An information input storage medium storing code means.
ード手段を格納し、情報入力を行うことが可能な情報入
力用記憶媒体において、 選択要素の画像を表示装置に表示させる手段と、前記選
択要素に一意に割当てられた画面上の領域を装置使用者
が注視したか判定する手段と、装置使用者の閉瞼動作を
検出する手段と、情報の入力を確定するための信号を出
力する手段と、前記選択要素の属性を設定する手段を含
むプログラムコード手段を格納することを特徴とする情
報入力用記憶媒体。6. An information input storage medium storing program code means readable by a computer and capable of inputting information, comprising: means for displaying an image of a selected element on a display device; Means for determining whether the device user gazes at the uniquely allocated area on the screen, means for detecting the eyelid closing motion of the device user, and means for outputting a signal for confirming input of information, An information input storage medium storing program code means including means for setting an attribute of the selected element.
像の位置を計測することにより視線方向を検出する視線
検出装置であることを特徴とする請求項３記載の情報入
力装置。7. The information input device according to claim 3, wherein the gaze detection unit is a gaze detection device that detects a gaze direction by measuring a position of a corneal reflection image of infrared light.
像の有無より装置使用者の閉瞼を検知する瞬き検出装置
であることを特徴とする請求項３記載の情報入力装置。8. The information input device according to claim 3, wherein the eyelid detection unit is a blink detection device that detects an eyelid of a user of the device based on the presence or absence of a corneal reflection image of infrared light.
状態、選択状態および確定状態に応じて前記選択要素の
色又は形等の属性を変更することを特徴とする請求項４
記載の情報入力装置。9. The method according to claim 4, wherein the attribute setting unit changes an attribute such as a color or a shape of the selected element according to a selected state, a selected state, and a fixed state of the selected element.
Information input device as described.
用者に順次提示する機能と、眼球の動作を用いた装置使
用者の情報選択操作を検出する機能と、被選択情報を判
別する信号を出力する被選択情報出力機能とを有して、
順次提示される複数の情報からの選択を、眼球動作によ
る装置使用者の情報選択操作を検出したら、被選択情報
を判別する信号を出力して確定することを特徴とする情
報入力方法。10. A function of sequentially presenting a plurality of pieces of information to be input to the apparatus user, a function of detecting an information selection operation of the apparatus user using eye movements, and a signal for determining selected information. And a selected information output function of outputting
An information input method, wherein a selection from a plurality of pieces of information sequentially presented is determined by detecting a selection operation of an apparatus user by eye movement and outputting a signal for determining selected information.
用者に順次提示する機能と、閉瞼動作を用いた装置使用
者の情報選択操作を検出する機能と、被選択情報を判別
する信号を出力する被選択情報出力機能とを有して、順
次提示される情報からの選択を、閉瞼動作による装置使
用者の情報選択操作を検出したら、被選択情報を判別す
る信号を出力して確定することを特徴とする情報入力方
法。11. A function of sequentially presenting a plurality of pieces of information to be input to the apparatus user, a function of detecting an information selection operation of the apparatus user using the eyelid closing operation, and a signal for determining selected information. A selected information output function of outputting the selected information from the sequentially presented information, and when detecting an information selection operation of the device user by the eyelid closing operation, outputs a signal for determining the selected information. An information input method characterized by determining.
用者に順次提示する手段と、眼球の動作を用いた装置使
用者の情報選択操作を検出する手段と、被選択情報を判
別する信号を出力する被選択情報出力手段とを備えたこ
とを特徴とする情報入力装置。12. A means for sequentially presenting a plurality of pieces of information to be input to the device user, a means for detecting an information selection operation of the device user using eye movements, and a signal for determining selected information. And a selected information output means for outputting the selected information.
用者に順次提示する手段と、閉瞼動作を用いた装置使用
者の情報選択操作を検出する手段と、被選択情報を判別
する信号を出力する被選択情報出力手段とを備えたこと
を特徴とする情報入力装置。13. A means for sequentially presenting a plurality of pieces of information to be input to an apparatus user, a means for detecting an information selection operation of the apparatus user using a closed eyelid movement, and a signal for determining selected information. And a selected information output means for outputting the selected information.
コード手段を格納し音符等の情報入力を行うことが可能
な情報入力用記憶媒体において、 入力の対象となる複数の情報を装置使用者に順次提示す
る手段と、眼球の動作を用いた装置使用者の情報選択操
作を検出する手段と、被選択情報を判別する信号を出力
する手段とを含むプログラムコード手段を格納すること
を特徴とする情報入力用記憶媒体。14. An information input storage medium storing a computer readable program code means and capable of inputting information such as musical notes, and sequentially presenting a plurality of information to be input to an apparatus user. Means for detecting an information selection operation of the device user using the movement of the eyeball, and means for outputting a signal for determining the selected information. Storage media.
コードを格納し音符等の情報入力を行うことが可能な情
報入力用記憶媒体において、 入力の対象となる複数の情報を装置使用者に順次提示す
る手段と、閉瞼動作を用いた装置使用者の情報選択操作
を検出する手段と、被選択情報を判別する信号を出力す
る手段とを含むプログラムコード手段を格納することを
特徴とする情報入力用記憶媒体。15. A plurality of pieces of information to be input are sequentially presented to an apparatus user in an information input storage medium storing a program code readable by a computer and capable of inputting information such as musical notes. Means for detecting an information selection operation of the apparatus user using the eyelid closing operation, and a means for outputting a signal for determining the selected information. Storage medium.
する手段は、赤外光の角膜反射像の位置計測より装置使
用者の眼球回転角を検出する視線検出装置であることを
特徴とする請求項１２又は１３記載の情報入力装置。16. The apparatus according to claim 1, wherein the means for detecting the information selection operation of the device user is a line-of-sight detection device for detecting an angle of rotation of an eyeball of the device user from position measurement of a corneal reflection image of infrared light. The information input device according to claim 12 or 13.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8356505A JPH10187334A (en) | 1996-12-26 | 1996-12-26 | Information inputting method, information inputting device and information inputting recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8356505A JPH10187334A (en) | 1996-12-26 | 1996-12-26 | Information inputting method, information inputting device and information inputting recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10187334A true JPH10187334A (en) | 1998-07-14 |
Family
ID=18449360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8356505A Pending JPH10187334A (en) | 1996-12-26 | 1996-12-26 | Information inputting method, information inputting device and information inputting recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10187334A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100749033B1 (en) | 2004-03-03 | 2007-08-13 | 학교법인 한국정보통신학원 | A method for manipulating a terminal using user's glint, and an apparatus |
| KR100846210B1 (en) * | 2006-12-05 | 2008-07-15 | 한국전자통신연구원 | System and method for actively inputting |
| JP2009015592A (en) * | 2007-07-04 | 2009-01-22 | Sharp Corp | Noncontact input device for mobile communication terminal, mobile communication terminal, and mail creation system |
| JP2012137970A (en) * | 2010-12-27 | 2012-07-19 | Casio Comput Co Ltd | Information processing device and method, and program |
| US8466875B2 (en) | 2008-01-25 | 2013-06-18 | Panasonic Corporation | Electroencephalogram interface system, electroencephalogram interface apparatus, method, and computer program |
| JP2014021565A (en) * | 2012-07-12 | 2014-02-03 | Canon Inc | Electronic device, and control method therefor |
| JP2015049721A (en) * | 2013-09-02 | 2015-03-16 | ソニー株式会社 | Information processor, information processing method and program |
| JP2021506052A (en) * | 2017-12-07 | 2021-02-18 | アイフリー アシスティング コミュニケ−ション リミテッドＥｙｅＦｒｅｅ Ａｓｓｉｓｔｉｎｇ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｌｔｄ． | Communication methods and systems |
| US11854502B2 (en) | 2021-10-15 | 2023-12-26 | Seiko Epson Corporation | Display method, display system, and recording medium storing display program |
-
1996
- 1996-12-26 JP JP8356505A patent/JPH10187334A/en active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100749033B1 (en) | 2004-03-03 | 2007-08-13 | 학교법인 한국정보통신학원 | A method for manipulating a terminal using user's glint, and an apparatus |
| KR100846210B1 (en) * | 2006-12-05 | 2008-07-15 | 한국전자통신연구원 | System and method for actively inputting |
| JP2009015592A (en) * | 2007-07-04 | 2009-01-22 | Sharp Corp | Noncontact input device for mobile communication terminal, mobile communication terminal, and mail creation system |
| US8466875B2 (en) | 2008-01-25 | 2013-06-18 | Panasonic Corporation | Electroencephalogram interface system, electroencephalogram interface apparatus, method, and computer program |
| JP2012137970A (en) * | 2010-12-27 | 2012-07-19 | Casio Comput Co Ltd | Information processing device and method, and program |
| JP2014021565A (en) * | 2012-07-12 | 2014-02-03 | Canon Inc | Electronic device, and control method therefor |
| JP2015049721A (en) * | 2013-09-02 | 2015-03-16 | ソニー株式会社 | Information processor, information processing method and program |
| US9939894B2 (en) | 2013-09-02 | 2018-04-10 | Sony Corporation | Information processing to operate a display object based on gaze information |
| US10180718B2 (en) | 2013-09-02 | 2019-01-15 | Sony Corporation | Information processing apparatus and information processing method |
| JP2021506052A (en) * | 2017-12-07 | 2021-02-18 | アイフリー アシスティング コミュニケ−ション リミテッドＥｙｅＦｒｅｅ Ａｓｓｉｓｔｉｎｇ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｌｔｄ． | Communication methods and systems |
| US11612342B2 (en) | 2017-12-07 | 2023-03-28 | Eyefree Assisting Communication Ltd. | Eye-tracking communication methods and systems |
| US11854502B2 (en) | 2021-10-15 | 2023-12-26 | Seiko Epson Corporation | Display method, display system, and recording medium storing display program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6160536A (en) | Dwell time indication method and apparatus | |
| US6903723B1 (en) | Data entry method and apparatus | |
| US6005549A (en) | User interface method and apparatus | |
| US5999895A (en) | Sound operated menu method and apparatus | |
| US9823744B2 (en) | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects | |
| Drewes | Eye gaze tracking for human computer interaction | |
| US7128577B2 (en) | Method for providing data to be used by a therapist for analyzing a patient behavior in a virtual environment | |
| Majaranta et al. | Twenty years of eye typing: systems and design issues | |
| US20110218953A1 (en) | Design of systems for improved human interaction | |
| US20110262887A1 (en) | Systems and methods for gaze based attention training | |
| KR20180083252A (en) | System and method for biomechanically based eye signals for interacting with real and virtual objects | |
| Toet | Gaze directed displays as an enabling technology for attention aware systems | |
| JPH10187334A (en) | Information inputting method, information inputting device and information inputting recording medium | |
| WO2020152779A1 (en) | Rehabilitation system and image processing device for higher brain dysfunction | |
| WO1996030822A1 (en) | Method of and apparatus for data entry | |
| Hawthorn | Psychophysical aging and human computer interface design | |
| Qvarfordt | Gaze-informed multimodal interaction | |
| KR102160669B1 (en) | Medical communication virtual training simulation system and method | |
| Tan et al. | Haptic cueing of a visual change-detection task: Implications for multimodal interfaces | |
| Morrison et al. | Collaborating with computer vision systems: An exploration of audio feedback | |
| GB2332972A (en) | Dwell time indicator in interactive display terminal | |
| KR101943206B1 (en) | Method and apparatus for inputting command using illusion user interface | |
| Raudsandmoen et al. | Empirically based design guidelines for gaze interaction in Windows 7 | |
| KR102407393B1 (en) | System and method for diagnosis hemineglect | |
| JP6938696B2 (en) | Virtual image display program, virtual image display system and virtual image display method |