JP2009054101A - Device, method and program for eye-gaze input - Google Patents
Device, method and program for eye-gaze input Download PDFInfo
- Publication number
- JP2009054101A JP2009054101A JP2007222667A JP2007222667A JP2009054101A JP 2009054101 A JP2009054101 A JP 2009054101A JP 2007222667 A JP2007222667 A JP 2007222667A JP 2007222667 A JP2007222667 A JP 2007222667A JP 2009054101 A JP2009054101 A JP 2009054101A
- Authority
- JP
- Japan
- Prior art keywords
- input
- line
- sight
- blink
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、入力操作者の視線方向の検出により入力操作を行う視線入力装置に関し、特に校正を短時間で簡潔に行うことができる視線入力装置等に関する。 The present invention relates to a line-of-sight input apparatus that performs an input operation by detecting the line-of-sight direction of an input operator, and more particularly to a line-of-sight input apparatus that can perform calibration in a short time.
コンピュータの操作を行う場合に、通常はキーボードやマウスを使った操作を行うのが一般的である。しかし、肢体が不自由なために、キーボードやマウスの操作を行うことができない人々は少なくなく、音声認識や視線入力によるコンピュータの操作が行われている。視線入力を利用した技術として、特許文献１に示す技術がある。 When operating a computer, it is common to use a keyboard or mouse. However, there are many people who cannot operate the keyboard and mouse because their limbs are inconvenient, and computers are operated by voice recognition and line-of-sight input. As a technique using line-of-sight input, there is a technique shown in Patent Document 1.
特許文献１に示す技術は、被験者の顔全体をとらえた画像より被験者に目の開閉をさせて差画像を取得し、次いで目と眉のテンプレートを登録し、キャリブレーション時に得たデータと入力画像により得られたデータを比較して視線方向を検出する技術である。それにより、表示画面上の意図する項目を選択するとともに、眼球運動と瞼の開閉動作による眼球機能のみで入力し、スイッチング操作で仮想ボードによる操作を行うことができる。
しかしながら、特許文献１に示す技術では、視線方向を検出するためにディスプレイ全体に対して項目ごとに視線を合わせたテンプレートを用意しなければいけないため、処理に時間と手間が掛かるという課題を有する。 However, the technique disclosed in Patent Document 1 has a problem that it takes time and effort to process because it is necessary to prepare a template in which the line of sight is aligned for each item in order to detect the line-of-sight direction.
また、視線方向の検出の誤差を少なくするために、眼球運動に対して変化の少ない眉左上を基準点にして、基準点と黒目との相対距離を求め、その距離に応じて視線方向を検出しているが、眼球の動きに合わせて眉が動いてしまった場合は基準がずれて誤差が発生してしまう。また、頭部の微妙な動きに対して位置補正を行っているが、処理が複雑になってしまうという課題を有する。 In addition, in order to reduce the detection error of the gaze direction, the relative distance between the reference point and the black eye is obtained using the upper left eyebrow with little change with respect to the eye movement as the reference point, and the gaze direction is detected according to the distance. However, if the eyebrows move in accordance with the movement of the eyeball, the reference is shifted and an error occurs. Moreover, although position correction is performed for subtle movements of the head, there is a problem that the processing becomes complicated.
さらに、表示画面には利用者にとって重要とされる項目を出来る限り多く表示する必要がある。しかし、表示画面に表示される項目が多くなると、その分多くのテンプレートの登録が必要となり、キャリブレーションに多くの時間が費やされ、利用者の精神的、肉体的な負担を大きくしてしまう。また、表示画面に表示される項目が多くなる程、項目間の視線の差が小さくなり、誤差を生み出す原因となってしまうという課題を有する。 Further, it is necessary to display as many items as important to the user as possible on the display screen. However, if the number of items displayed on the display screen increases, it is necessary to register more templates, and much time is spent for calibration, which increases the mental and physical burden on the user. . In addition, as the number of items displayed on the display screen increases, the line-of-sight difference between the items decreases, which causes a problem of causing an error.
さらにまた、操作環境が変化した場合には、視線方向の検出に誤差が生じてくるため再キャリブレーションを行う必要が出てくる。特に表示画面に表示される項目数が多い場合はちょっとした位置のずれや環境の違いで誤差が生じるために、頻繁に再キャリブレーションを行う必要がある。しかし、キャリブレーションには上記のように多くの時間を費やすため、利用者の負担が増大してしまうという課題を有する。 Furthermore, when the operating environment changes, an error occurs in the detection of the line-of-sight direction, so that recalibration needs to be performed. In particular, when the number of items displayed on the display screen is large, an error occurs due to a slight positional deviation or environmental difference, and therefore recalibration must be performed frequently. However, since the calibration requires a lot of time as described above, there is a problem that the burden on the user increases.
本発明は前記課題を解決するためになされたものであり、校正に必要な処理を減らすと共に、高い精度で視線入力処理を行うことができる視線入力装置、視線入力方法、及び、視線入力プログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and has a gaze input device, a gaze input method, and a gaze input program capable of reducing gaze input processing with high accuracy while reducing processing necessary for calibration. The purpose is to provide.
（１．スキャニングによる瞬き入力）
本発明に係る視線入力装置は、入力操作者の眼球周辺画像を取得し、当該眼球周辺画像から視線方向を検出して表示画面に表示された入力要素を入力する視線入力装置において、前記入力操作者の瞬きを検出する瞬き検出手段と、前記瞬き検出手段が検出した結果に基づいて、前記表示画面に表示された前記入力要素を切り替えて表示する切替表示手段と、前記切替表示手段により切り替えて表示された複数の入力要素のうち、任意の１または複数の入力要素を特定する指標を順次移動制御する指標移動制御手段と、前記指標移動制御手段により移動制御された指標で特定される入力要素を、前記瞬き検出手段が検出した瞬きを確定情報として入力することで決定する入力要素決定手段とを備えることを特徴とする。
(1. Blink input by scanning)
The line-of-sight input device according to the present invention is a line-of-sight input device that acquires an eyeball peripheral image of an input operator, detects a line-of-sight direction from the eyeball peripheral image, and inputs an input element displayed on a display screen. A blink detection means for detecting a blink of a person, a switching display means for switching and displaying the input element displayed on the display screen based on a result detected by the blink detection means, and a switching display means for switching. Among the plurality of displayed input elements, an index movement control means for sequentially moving and controlling an index for specifying any one or a plurality of input elements, and an input element specified by the index whose movement is controlled by the index movement control means And an input element determination unit that determines the blink detected by the blink detection unit by inputting the blink as deterministic information.
このように、本発明においては、入力操作者の瞬きを検出するだけで表示画面に表示された入力要素を入力することができるため、入力操作者の眼球のみを認識できるように視線入力装置に登録しておけばよい。つまり、入力要素に応じた様々な角度の視線方向のテンプレートを複数用意する必要がなく、処理を簡単で効率的に行うことができる。 As described above, in the present invention, since the input element displayed on the display screen can be input simply by detecting the blink of the input operator, the line-of-sight input device can recognize only the eyeball of the input operator. Just register. In other words, it is not necessary to prepare a plurality of templates in the line-of-sight direction at various angles according to the input elements, and the processing can be performed easily and efficiently.
また、操作環境の変化（例えば、部屋に入る自然光や入力操作者の移動）により瞬きの認識精度が低くなってしまった場合であっても、瞬き検出のみを校正すればよいため、短時間で簡単に校正を行うことができる。
さらに、入力操作者は瞬きをするだけで、様々な入力処理を行うことができるため操作を簡単で楽に行うことができ、入力操作者の負担を軽減することができる。
Also, even if the blink recognition accuracy is low due to changes in the operating environment (for example, natural light entering the room or movement of the input operator), only blink detection needs to be calibrated. Calibration can be performed easily.
Furthermore, since the input operator can perform various input processes only by blinking, the operation can be performed easily and easily, and the burden on the input operator can be reduced.
さらにまた、指標移動制御手段を備えているため、指標の移動を制御することができる。例えば、切替表示手段により画面表示が切り替わった場合に、自動的に指標を移動させるようにしてもよいし、瞬き（２回以上の瞬き）の検出をトリガーにして指標の移動を開始させるようにしてもよい。また、瞬き（２回以上の瞬き）の検出により指標の移動を停止させるような制御を行ってもよい。つまり、指標の移動の制御については瞬きの検出と組み合わせることで自由に行うことができ、入力操作者が自分に合った制御に設定することも可能である。 Furthermore, since the indicator movement control means is provided, the movement of the indicator can be controlled. For example, when the screen display is switched by the switching display means, the index may be automatically moved, or the movement of the index is started with the detection of blink (two or more blinks) as a trigger. May be. Further, control may be performed to stop the movement of the index by detecting blinks (two or more blinks). That is, the control of the movement of the index can be freely performed by combining it with the blink detection, and the input operator can also set the control to suit his / her own.
（２．左右の視線を検出）
本発明に係る視線入力装置は、前記入力操作者の左右の少なくとも一方の視線を検出する視線検出手段と、前記視線検出手段が検出した結果に基づいて画面表示の制御を行う表示制御手段とを備えることを特徴とする。
(2. Detecting left and right eyes)
The line-of-sight input device according to the present invention includes line-of-sight detection means for detecting at least one of the left and right lines of sight of the input operator, and display control means for controlling screen display based on a result detected by the line-of-sight detection means. It is characterized by providing.
このように、本発明においては、入力操作者の左右の少なくとも一方の視線を検出し、その結果に基づいて画面表示の制御を行うため、多くても左右２つの視線方向を視線入力装置に登録しておけばよい。つまり、入力要素に応じた様々な角度の視線方向のテンプレートを多数用意する必要がなく、処理を簡単で効率的に行うことができる。 As described above, in the present invention, at least one of the left and right gazes of the input operator is detected, and the screen display is controlled based on the result, so at most two gaze directions are registered in the gaze input device. You just have to. That is, it is not necessary to prepare a large number of templates in the line-of-sight direction at various angles according to the input elements, and the processing can be performed easily and efficiently.
また、視線方向と瞬きを組み合わせた画面表示の制御を行うことができるため、様々な操作を実現することができる。例えば、視線が右を向いた場合は、画面上の指標を入力要素に対して右方向に順送りに移動させ、視線が左を向いた場合は、画面上の指標を入力要素に対して左方向に逆送りに移動させるようにし、瞬きにより確定入力を行うことで、あらゆる操作を簡単な制御で行うことができるようになる。 Further, since it is possible to control the screen display that combines the line-of-sight direction and the blink, various operations can be realized. For example, when the line of sight is directed to the right, the index on the screen is moved forward with respect to the input element, and when the line of sight is directed to the left, the index on the screen is moved to the left with respect to the input element. By moving to the reverse direction and performing a definite input by blinking, all operations can be performed with simple control.
さらに、多くても左右２方向の視線を認識できればよいため、視線方向の検出の誤差を極端に減らすことができ、入力操作者は高精度で確実に視線入力操作を行うことができる。
さらにまた、前記同様に操作環境の変化により瞬き、または、視線方向の認識精度が低くなってしまった場合であっても、瞬き検出と多くても２方向の視線方向の検出の校正を行えばよいため、短時間で簡単に校正を行うことができる。
Furthermore, since it is sufficient to recognize the line of sight in the left and right directions at most, errors in detection of the line of sight direction can be extremely reduced, and the input operator can perform the line-of-sight input operation with high accuracy and reliability.
Furthermore, even if blinking occurs due to changes in the operating environment as described above, or the recognition accuracy of the line-of-sight direction is low, calibration of blink detection and detection of the line-of-sight direction in at most two directions can be performed. Therefore, calibration can be performed easily in a short time.
なお、指標の移動は、視線が右（または、左）を向いている間は順送り（または、逆送り）の移動を維持し、視線が右（または、左）以外を向いたら指標の移動を止めるような制御にしてもよい。 In addition, the movement of the index is to keep the forward (or reverse) movement while the line of sight is facing right (or left), and the movement of the index is when the line of sight is other than right (or left). You may make it control which stops.
また、上記の場合、所定の方向を凝視する時間に応じて指標の移動速度を変化させるようにしてもよい。例えば、右を見続けると、その時間に応じて指標の移動速度が速くなるように制御する。
さらに、視線方向の検出は、左右のいずれか一方のみの視線を検出するようにしてもよい。
In the above case, the moving speed of the indicator may be changed according to the time for staring in a predetermined direction. For example, if the user keeps looking to the right, control is performed so that the moving speed of the index increases according to the time.
Furthermore, the line-of-sight direction may be detected by detecting only the right or left line of sight.
（３．上下の視線を検出）
本発明に係る視線入力装置は、前記入力操作者の上下の少なくとも一方の視線を検出する視線検出手段と、前記視線検出手段が検出した結果に基づいて画面表示の制御を行う表示制御手段とを備えることを特徴とする。
(3. Upper and lower line of sight detected)
A line-of-sight input device according to the present invention includes line-of-sight detection means for detecting at least one line of sight of the input operator, and display control means for controlling screen display based on a result detected by the line-of-sight detection means. It is characterized by providing.
このように、本発明においては、前記と同様に多くても２つの視線方向を視線入力装置に登録しておけばよいため、入力要素に応じた様々な角度の視線方向のテンプレートを多数用意する必要がなく、処理を簡単で効率的に行うことができる。
また、前記と同様に視線方向と瞬きを組み合わせた画面表示の制御を行うことができるため、様々な操作を実現することができる。
As described above, in the present invention, it is sufficient to register at most two line-of-sight directions in the line-of-sight input device as described above, and therefore, a large number of templates of line-of-sight directions of various angles according to input elements are prepared. There is no need, and processing can be performed easily and efficiently.
In addition, since the screen display can be controlled by combining the line-of-sight direction and the blink as described above, various operations can be realized.
さらに、前記と同様に多くても上下２方向の視線を認識できればよいため、視線方向の検出の誤差を極端に減らすことができ、入力操作者は高精度で確実に視線入力操作を行うことができる。
さらにまた、前記同様に操作環境の変化により瞬き、または、視線方向の認識ができなくなってしまった場合でも、瞬き検出と、多くても２方向の視線方向の検出の校正を行えばよいため、短時間で簡単に校正を行うことができる。
Furthermore, since it is sufficient that the line of sight in the upper and lower directions can be recognized as much as the above, the detection error of the line of sight can be extremely reduced, and the input operator can perform the line of sight input operation with high accuracy and reliability. it can.
Furthermore, even when blinking or recognition of the line-of-sight direction cannot be recognized due to a change in the operating environment as described above, it is sufficient to perform calibration for blink detection and detection of the line-of-sight direction in at most two directions. Calibration can be performed easily in a short time.
なお、指標の移動は、視線が上（または、下）を向いている間は順送り（または、逆送り）の移動を維持し、視線が上（または、下）以外を向いたら指標の移動を止めるような制御にしてもよい。 As for the movement of the index, the forward (or reverse) movement is maintained while the line of sight is facing up (or down), and the movement of the index is moved when the line of sight is facing other than up (or down). You may make it control which stops.
また、上記の場合、所定の方向を凝視する時間に応じて指標の移動速度を変化させるようにしてもよい。
さらに、視線方向の検出は、上下のいずれか一方のみの視線を検出するようにしてもよい。
In the above case, the moving speed of the indicator may be changed according to the time for staring in a predetermined direction.
Furthermore, the line-of-sight direction may be detected by detecting only one of the upper and lower lines of sight.
（４．上下左右の視線を検出）
本発明に係る視線入力装置は、前記視線検出手段が、前記入力操作者の上下左右の少なくとも４方向の視線を検出し、当該視線検出手段が検出した結果に基づいて、前記表示制御手段が画面表示の制御を行うことを特徴とする。
(4. Detect vertical, horizontal, and gaze)
In the line-of-sight input device according to the present invention, the line-of-sight detection means detects the line of sight of at least four directions of the input operator in the upper, lower, left, and right directions, and the display control means is a screen based on a result detected by the line-of-sight detection means. The display is controlled.
このように、本発明においては、入力操作者の上下左右の少なくとも４方向の視線を検出し、視線検出手段が検出した結果に基づいて、表示制御手段が画面表示の制御を行うため、指標を十字キーのように入力操作者の上下左右に自由に移動させることができ、入力操作の時間と手間を省くことで、入力操作者の精神的、肉体的な負担を軽減することができる。
また、登録する視線方向は４方向であるため、登録や校正に掛かる時間や手間を従来に比べて格段に減らすことができると共に、上下左右という極端な位置を検出するため、検出精度も高く、確実に視線入力操作を行うことができる。
As described above, in the present invention, the display operator detects the line of sight of at least four directions of the input operator in the vertical and horizontal directions, and the display controller controls the screen display based on the result detected by the line of sight detector. Like the cross key, the input operator can freely move up, down, left, and right, and the input operator's mental and physical burden can be reduced by saving the time and labor of the input operation.
In addition, since the line-of-sight directions to be registered are four directions, the time and labor required for registration and calibration can be significantly reduced as compared with the conventional case, and the extreme position of up, down, left and right is detected, so the detection accuracy is high, A line-of-sight input operation can be performed reliably.
（５．瞬きの検出）
本発明に係る視線入力装置は、前記眼球周辺画像における肌色部分を検出する肌色検出手段と、前記肌色検出手段が検出した肌色部分、並びに前記眼球周辺画像における白目部分、及び黒目部分から、当該眼球周辺画像の画素値の平均を算出する画素値平均算出手段と、前記眼球周辺画像から当該眼球周辺画像の輝度を算出する輝度算出手段と、前記画素値平均算出手段が算出した画素値の平均と前記輝度算出手段が算出した輝度から画素値の平均が黒色かどうかを判定するための最適な閾値を算出する閾値算出手段とを備え、前記瞬き検出手段は、前記閾値算出手段が算出した閾値に基づいて、前記入力操作者の瞬きを検出することを特徴とする。
(5. Detection of blinking)
The line-of-sight input device according to the present invention includes: a skin color detection unit that detects a skin color part in the eyeball peripheral image; a skin color part detected by the skin color detection unit; and a white eye part and a black eye part in the eyeball peripheral image. A pixel value average calculating means for calculating an average of pixel values of peripheral images, a luminance calculating means for calculating the brightness of the eyeball peripheral image from the eyeball peripheral image, and an average of pixel values calculated by the pixel value average calculating means. Threshold calculating means for calculating an optimum threshold value for determining whether the average of the pixel values is black or not from the luminance calculated by the luminance calculating means, and the blink detecting means sets the threshold value calculated by the threshold calculating means to Based on this, the blink of the input operator is detected.
このように、本発明においては、入力操作者の皮膚の肌色部分と黒目部分と白目部分から眼球周辺画像の画素値の平均を算出し、その画素値の平均と、操作環境における照明等の環境から算出した輝度に基づいて、瞬きの判定を行うための最適な閾値を算出するため、従来のように画像データの比較等を行わなくて済み、簡潔な処理で確実に瞬きを検出することができる。
また、輝度の大きさを考慮して瞬きを検出しているため、窓から差し込む自然光や照明等の環境が変わった場合でも対応することができる。
As described above, in the present invention, the average pixel value of the peripheral image of the eyeball is calculated from the skin color portion, the black eye portion, and the white eye portion of the skin of the input operator, and the average of the pixel value and the environment such as illumination in the operation environment Based on the luminance calculated from the above, it is not necessary to compare the image data as in the conventional case, and it is possible to detect the blink reliably with simple processing. it can.
In addition, since blinking is detected in consideration of the magnitude of luminance, it is possible to cope with changes in the environment such as natural light or illumination inserted through the window.
さらに、眼球周辺画像における画素値の平均から最適な閾値を算出するため、眼球周辺画像は可視光により撮影された画像で十分であり、装置を安価でコンパクトなものにすることができる。 Furthermore, since an optimal threshold value is calculated from the average of the pixel values in the eyeball peripheral image, an image captured by visible light is sufficient for the eyeball peripheral image, and the apparatus can be made inexpensive and compact.
（６．意図的な瞬きと自然の瞬きとの区別）
本発明に係る視線入力装置は、前記瞬き検出手段が、前記入力操作者により自然に行われた瞬きと意図的に行われた瞬きとを区別して、意図的に行われた瞬きのみを検出することを特徴とする。
(6. Discrimination between intentional blink and natural blink)
In the line-of-sight input device according to the present invention, the blink detection unit distinguishes between blinks naturally performed by the input operator and intentionally performed blinks, and detects only intentionally performed blinks. It is characterized by that.
このように、本発明においては、発明者らが知見した瞬き時間から、意図的に行われた瞬きと自然に行われた瞬きを区別するため、自然に行われた瞬きは無視して、意図的に行われた瞬きのみを検出して入力操作を行うことができる。 Thus, in the present invention, from the blink time found by the inventors, in order to distinguish between the intentionally performed blink and the naturally performed blink, the naturally performed blink is ignored. Thus, it is possible to perform an input operation by detecting only the blinks made automatically.
（７．パラメータの設定）
本発明に係る視線入力装置は、前記入力操作者が、前記各処理手段における処理パラメータを自由に設定できることを特徴とする。
このように、本発明においては、入力操作者が処理パラメータを設定することができるため、入力操作者に対応して視線入力装置をカスタマイズすることができ、様々な入力操作者が快適に利用することができる。
なお、各パラメータの設定は、予めパラメータファイルに設定を登録しておいてもよいし、入力操作者が入力操作を行いながら、随時変更できるようにしてもよい。
(7. Parameter setting)
The line-of-sight input device according to the present invention is characterized in that the input operator can freely set processing parameters in each processing means.
Thus, in the present invention, since the input operator can set the processing parameters, the line-of-sight input device can be customized corresponding to the input operator, and various input operators can use it comfortably. be able to.
Each parameter setting may be registered in advance in a parameter file, or may be changed at any time while an input operator performs an input operation.
（８．仮想キーボード入力）
本発明に係る視線入力装置は、前記入力要素がパソコンのキーボードと同じ構成であることを特徴とする。
このように、本発明においては、入力要素がパソコンのキーボードと同じ構成であるため、キーボードを利用した操作と全く同じ操作を視線入力で行うことができる。
なお、複数キーを同時に押下する操作については、例えば、瞬きを２回行った場合はホールド状態とすることで実現することができる。
(8. Virtual keyboard input)
The line-of-sight input device according to the present invention is characterized in that the input element has the same configuration as a keyboard of a personal computer.
Thus, in the present invention, since the input elements have the same configuration as the keyboard of a personal computer, the same operation as that using the keyboard can be performed by line-of-sight input.
Note that the operation of simultaneously pressing a plurality of keys can be realized by setting a hold state when blinking is performed twice, for example.
また、例えば右目のみの瞬きを右クリック、左目のみの瞬きを左クリックとすることでマウス操作も行うことができる。
さらに、上記で示したマウス操作以外の全ての操作は左右いずれか一方の眼球周辺画像を取得できれば実現することができる。
Further, for example, a mouse operation can also be performed by right-clicking only the blink of the right eye and left-clicking of the blink of only the left eye.
Furthermore, all the operations other than the mouse operation described above can be realized if one of the left and right eyeball peripheral images can be acquired.
これまで、本発明を装置として示したが、所謂当業者であれば明らかであるように本発明をシステム、方法、及び、プログラムとして捉えることもできる。これら前記の発明の概要は、本発明に必須となる特徴を列挙したものではなく、これら複数の特徴のサブコンビネーションも発明となり得る。 Although the present invention has been described as an apparatus, the present invention can be understood as a system, method, and program as will be apparent to those skilled in the art. These outlines of the invention do not enumerate the features essential to the present invention, and a sub-combination of these features can also be an invention.
以下、本発明の実施の形態を説明する。本発明は多くの異なる形態で実施可能である。従って、本実施形態の記載内容のみで本発明を解釈すべきではない。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。 Embodiments of the present invention will be described below. The present invention can be implemented in many different forms. Therefore, the present invention should not be construed based only on the description of the present embodiment. Also, the same reference numerals are given to the same elements throughout the present embodiment.
本実施の形態では、主に装置について説明するが、所謂当業者であれば明らかな通り、本発明はシステム、方法、及び、コンピュータを動作させるためのプログラムとしても実施できる。また、本発明はハードウェア、ソフトウェア、または、ハードウェア及びソフトウェアの実施形態で実施可能である。プログラムは、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光記憶装置、または、磁気記憶装置等の任意のコンピュータ可読媒体に記録できる。さらに、プログラムはネットワークを介した他のコンピュータに記録することができる。 In this embodiment, the apparatus will be mainly described. However, as will be apparent to those skilled in the art, the present invention can be implemented as a system, a method, and a program for operating a computer. In addition, the present invention can be implemented in hardware, software, or hardware and software embodiments. The program can be recorded on any computer-readable medium such as a hard disk, CD-ROM, DVD-ROM, optical storage device, or magnetic storage device. Furthermore, the program can be recorded on another computer via a network.
（本発明の第１の実施形態）
（１．構成）
（１−１ 視線入力装置のハードウェア構成）
図１は、本実施形態に係る視線入力装置１００のハードウェア構成を示した模式図である。
本実施形態に係る視線入力装置１００は、視線入力装置本体１１０と、カメラ１０６と、ディスプレイ１０７と、スピーカー１０８とを備える。視線入力装置本体１１０は、ＣＰＵ（Central Processing Unit）１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、ＨＤＤ（Hard Disk Drive）１０４と、ＣＤ−ＲＯＭ１２０からデータを読み出すＣＤ−ＲＯＭドライブ１０５と、ネットワークに接続するためのＬＡＮインターフェース１０９とを備える。
なお、図１は本実施形態に係る視線入力処理装置１００のハードウェア構成を模式的に示した一例に過ぎず、本実施形態を適用可能であれば、他の様々な構成を採ることができる。
(First embodiment of the present invention)
(1. Configuration)
(1-1 Hardware configuration of line-of-sight input device)
FIG. 1 is a schematic diagram illustrating a hardware configuration of the line-of-sight input device 100 according to the present embodiment.
The line-of-sight input device 100 according to the present embodiment includes a line-of-sight input device main body 110, a camera 106, a display 107, and a speaker 108. The line-of-sight input device main body 110 is connected to a CPU (Central Processing Unit) 101, a RAM 102, a ROM 103, an HDD (Hard Disk Drive) 104, a CD-ROM drive 105 for reading data from a CD-ROM 120, and a network. LAN interface 109.
FIG. 1 is only an example schematically showing the hardware configuration of the line-of-sight input processing apparatus 100 according to the present embodiment, and various other configurations can be adopted as long as the present embodiment is applicable. .
視線入力装置１００は、視線入力プログラムをＨＤＤ１１１に複製して、複製した視線入力プログラムがロード可能に構成する所謂インストール（ここで示したインストールは例示に過ぎない）を行うことで構築することができ、コンピュータを制御するＯＳ（Operating System）へ利用者が視線入力装置１００の起動を命令することで、視線入力プログラムがロードされて起動する。
なお、視線入力装置プログラムは、ＣＤ−ＲＯＭ等の記録媒体から提供されるようにしてもよいし、ＬＡＮインターフェース１０９を介してネットワークに接続された他のコンピュータから提供されるようにしてもよい。
The line-of-sight input device 100 can be constructed by copying the line-of-sight input program to the HDD 111 and performing so-called installation (installation shown here is merely an example) in which the copied line-of-sight input program can be loaded. Then, when the user instructs the OS (Operating System) that controls the computer to start the line-of-sight input device 100, the line-of-sight input program is loaded and started.
The line-of-sight input device program may be provided from a recording medium such as a CD-ROM, or may be provided from another computer connected to the network via the LAN interface 109.
（１−２ 視線入力装置の全体のモジュール構成）
図２は、本実施形態に係る視線入力装置１００全体のモジュール構成図、図３は、前処理部２１０のモジュール構成図、図４は、瞬き登録処理部３２３のモジュール構成図である。
(1-2 Overall module configuration of line-of-sight input device)
2 is a module configuration diagram of the entire line-of-sight input device 100 according to the present embodiment, FIG. 3 is a module configuration diagram of the preprocessing unit 210, and FIG. 4 is a module configuration diagram of the blink registration processing unit 323.
（１−２−１ 視線入力装置本体１１０の構成と機能）
図２において、視線入力装置本体１１０は、前処理部２１０と、瞬き検出処理部２２０と、視線検出処理部２３０と、表示制御処理部２４０と、画面表示処理部２５０とを備える。表示制御処理部２４０は、切替表示処理部２４１と、入力要素決定処理部２４２と、カーソル移動制御部２４３と、カーソル速度制御部２４４とを備える。
(1-2-1 Configuration and Function of the Line-of-Sight Input Device Main Body 110)
2, the line-of-sight input device main body 110 includes a preprocessing unit 210, a blink detection processing unit 220, a line-of-sight detection processing unit 230, a display control processing unit 240, and a screen display processing unit 250. The display control processing unit 240 includes a switching display processing unit 241, an input element determination processing unit 242, a cursor movement control unit 243, and a cursor speed control unit 244.
各処理部の機能について以下に説明する。
前処理部２１０は、視線入力処理を行う前の処理を行う。起動時の前処理や校正時の処理は、この前処理部２１０により行われる。前処理部２１０の詳細な構成は後述する。
瞬き検出処理部２２０は、瞬きの検出を行う。ここでは、前処理部２１０で登録した瞬き情報から、入力操作者Ｍが瞬きを行ったかどうかを判定する処理が行われる。
The function of each processing unit will be described below.
The preprocessing unit 210 performs a process before performing the line-of-sight input process. Pre-processing at start-up and processing at calibration are performed by the pre-processing unit 210. The detailed configuration of the preprocessing unit 210 will be described later.
The blink detection processing unit 220 detects blinks. Here, processing for determining whether or not the input operator M has blinked from the blink information registered in the preprocessing unit 210 is performed.
視線検出処理部２３０は、入力操作者Ｍの注視点から入力操作者の視線方向を特定し、登録された視線方向と合致するかどうかを判定する処理を行う。合致していれば入力操作者が右または左を見ていると判断し、どちらにも合致していなければ、右または左以外の方向に視線が向いていると判断する。 The line-of-sight detection processing unit 230 performs a process of specifying the line-of-sight direction of the input operator from the gazing point of the input operator M and determining whether the line-of-sight direction matches the registered line-of-sight direction. If they match, it is determined that the input operator is looking to the right or left, and if they do not match either, it is determined that the line of sight is pointing in a direction other than right or left.
切替表示処理部２４１は、画面に表示されている入力要素の表示を、入力操作者Ｍの瞬きに応じて切り替える処理を行う。例えば、画面上に「あ、か、さ、た、な・・・」のように行が表示されている場合に、「さ」を選択して瞬きを行うと、画面に表示される入力要素が「さ、し、す、せ、そ」に切り替わる処理を行う。 The switching display processing unit 241 performs a process of switching the display of the input elements displayed on the screen according to the blink of the input operator M. For example, if a line is displayed on the screen such as “A, K, S, T, N ...”, selecting “S” and blinking will cause the input elements to be displayed on the screen. Is switched to “sa, shi, shi, se, so”.
入力要素決定処理部２４２は、選択されている入力要素を瞬きにより入力することで決定する処理を行う。例えば、上記の例では「し」が選択された状態で瞬きを行うと、「し」が決定され、入力文字が「し」となる。 The input element determination processing unit 242 performs a process of determining by inputting the selected input element by blinking. For example, in the above example, if blinking is performed with “shi” selected, “shi” is determined, and the input character is “shi”.
カーソル移動制御部２４３は、カーソルの移動を制御する。例えば、入力操作者Ｍが右を見た場合は、画面に表示されている入力要素を特定するカーソルを１つ順送りで移動し、入力操作者Ｍが左を見た場合は、画面に表示されている入力要素を特定するカーソルを１つ逆送りで移動するような制御を行う。 The cursor movement control unit 243 controls the movement of the cursor. For example, when the input operator M looks to the right, the cursor that identifies the input element displayed on the screen is moved forward by one, and when the input operator M looks to the left, it is displayed on the screen. Control is performed such that one cursor that identifies the input element is moved backward.
カーソル速度制御部２４４は、カーソルの移動速度を制御する。例えば、入力操作者Ｍが右を見ている間はカーソルの移動速度早くなるような制御や、瞬きの回数により移動速度を変更するような制御を行う。
画面表示処理部２５０は、入力要素やカーソルを画面に表示する処理を行う。
The cursor speed control unit 244 controls the moving speed of the cursor. For example, while the input operator M is looking to the right, control is performed to increase the moving speed of the cursor, or control to change the moving speed according to the number of blinks.
The screen display processing unit 250 performs processing for displaying input elements and a cursor on the screen.
（１−２−２ 前処理部２１０の構成と機能）
図３において、前処理部２１０は、眼球周辺画像取得処理部３１０と、登録処理部３２０とを備える。登録処理部３２０は、右視線方向登録処理部３２１と、左視線方向登録処理部３２２と、瞬き登録処理部３２３とを備える。
(1-2-2 Configuration and Function of Pre-Processing Unit 210)
In FIG. 3, the preprocessing unit 210 includes an eyeball peripheral image acquisition processing unit 310 and a registration processing unit 320. The registration processing unit 320 includes a right gaze direction registration processing unit 321, a left gaze direction registration processing unit 322, and a blink registration processing unit 323.
以下に各処理部の機能について説明する。
眼球周辺画像取得処理部３１０は、カメラ１０６で撮影された入力操作者Ｍの顔画像から眼球の周辺の画像を取得する処理を行う。この画像を基にして、視線方向や瞬きの検出を行う。
The function of each processing unit will be described below.
The eyeball peripheral image acquisition processing unit 310 performs processing for acquiring an image around the eyeball from the face image of the input operator M captured by the camera 106. Based on this image, the line-of-sight direction and blinking are detected.
右視線方向登録処理部３２１は、入力操作者Ｍの注視点から右の視線方向を検出し、その場合の眼球の黒目の状態（位置）を登録する処理を行う。
左視線方向登録処理部３２２は、入力操作者Ｍの注視点から左の視線方向を検出し、その場合の眼球の黒目の状態（位置）を登録する処理を行う。
瞬き登録処理部３２３は、瞼を閉じた場合の画像の画素値と、瞼を閉じていない場合の画像の画素値を判別するための閾値を算出し登録する処理を行う。瞬き登録処理部３２３の詳細な構成は後述する。
The right gaze direction registration processing unit 321 detects the right gaze direction from the gazing point of the input operator M, and performs processing for registering the state (position) of the eyeball in that case.
The left gaze direction registration processing unit 322 detects the left gaze direction from the gazing point of the input operator M, and performs processing for registering the state (position) of the eyeball in that case.
The blink registration processing unit 323 calculates and registers a threshold value for determining the pixel value of the image when the eyelid is closed and the pixel value of the image when the eyelid is not closed. The detailed configuration of the blink registration processing unit 323 will be described later.
（１−２−３ 瞬き登録処理部３２３の構成と機能）
図４において、瞬き登録処理部３２３は、肌色検出処理部４１０と、画素値平均算出処理部４２０と、輝度算出処理部４３０と、閾値決定処理部４４０とを備える。
(1-2-3 Configuration and Function of Blink Registration Processing Unit 323)
In FIG. 4, the blink registration processing unit 323 includes a skin color detection processing unit 410, a pixel value average calculation processing unit 420, a luminance calculation processing unit 430, and a threshold value determination processing unit 440.
以下に、各処理部の機能について説明する。
肌色検出処理部４１０は、眼球周辺画像ｍにおける肌色の部分を検出する処理を行う。ここでは色相の角度（６度から３８度）から、一般的な肌色の画素値を示す画素を肌色の部分であるとする。
Below, the function of each processing unit will be described.
The skin color detection processing unit 410 performs processing for detecting a skin color portion in the eyeball peripheral image m. Here, it is assumed that a pixel indicating a general skin color pixel value from the hue angle (from 6 degrees to 38 degrees) is a skin color portion.
画素値平均算出処理部４２０は、眼球周辺画像ｍの画素値の平均を算出する処理を行う。この時、肌色検出処理部４１０が検出した肌色部は黒として抽出し、眼球周辺画像ｍを２値化して画素値の平均を算出する。つまり、瞼を開いている場合は、白目部分の存在により画素値の平均が高くなる。逆に、瞼を閉じている場合は、白目部分の存在がなくなるため、画素値の平均が低くなる。 The pixel value average calculation processing unit 420 performs processing for calculating the average of the pixel values of the eyeball peripheral image m. At this time, the skin color portion detected by the skin color detection processing unit 410 is extracted as black, the eyeball peripheral image m is binarized, and the average of the pixel values is calculated. That is, when the eyelid is opened, the average pixel value is increased due to the presence of the white eye portion. On the other hand, when the eyelid is closed, there is no white eye portion, so the average pixel value is low.
輝度算出処理部４３０は、眼球周辺画像ｍの輝度を算出する。眼球周辺画像ｍの輝度により画素値の平均が変わってくる。つまり、瞼を閉じているか開いているかを判定するには、輝度を考慮して判定する必要がある。 The luminance calculation processing unit 430 calculates the luminance of the eyeball peripheral image m. The average pixel value varies depending on the luminance of the eyeball peripheral image m. That is, in order to determine whether the heel is closed or open, it is necessary to determine in consideration of luminance.
閾値決定処理部４４０は、瞼を閉じているか開いているかを判定する最適な閾値を決定する処理を行う。ここでは、画素値平均算出処理部４２０が算出した画素値の平均と輝度算出処理部４３０が算出した輝度から近似式を求め、閾値を決定する。 The threshold value determination processing unit 440 performs processing for determining an optimum threshold value for determining whether the heel is closed or open. Here, an approximate expression is obtained from the average of the pixel values calculated by the pixel value average calculation processing unit 420 and the luminance calculated by the luminance calculation processing unit 430, and the threshold value is determined.
なお、上記構成において視線方向の検出による操作に関する処理は省略してもよい。すなわち、例えば、カーソルの移動開始の合図を瞬きで行い、所定の間隔で入力要素ごとにカーソルを順次移動するようにし、入力操作者Ｍが、選択したい入力要素が選択状態になった場合（カーソルが当たった場合）に瞬きにより決定を行うことで、視線方向を検出しなくても、装置の操作を行うことが可能となる。 In the above configuration, the processing related to the operation by detecting the line of sight may be omitted. That is, for example, when the cursor movement start signal is blinked, the cursor is sequentially moved for each input element at a predetermined interval, and the input operator M enters the selected input element (cursor When the determination is made by blinking, it is possible to operate the apparatus without detecting the gaze direction.
（２ 視線入力装置の動作）
図５は、本実施形態に係る視線入力装置１００の処理を示すフローチャートである。まず、装置を起動したら、前処理が行われる（ステップＳ５０１）。前処理について詳細に説明する。前処理に関する詳細なフローチャートを図６に示す。まず、入力操作者Ｍの正面側からカメラ１０６により入力操作者Ｍの顔画像を撮像する（ステップＳ６０１）。
(2 Operation of line-of-sight input device)
FIG. 5 is a flowchart showing processing of the line-of-sight input device 100 according to the present embodiment. First, when the apparatus is activated, preprocessing is performed (step S501). The preprocessing will be described in detail. A detailed flowchart regarding the preprocessing is shown in FIG. First, a face image of the input operator M is captured by the camera 106 from the front side of the input operator M (step S601).
ステップＳ６０１の入力操作者Ｍの顔画像の撮像について、以下に詳細に説明する。図８は、入力操作者Ｍの顔画像である。ここでは、安価で入手することができる可視波長領域のカメラ（６４０×４８０）で撮影を行っている。安価なカメラを用いることで装置全体のコストを抑えることができる。撮影した画像は既存のソフトウェア（DirectShow）を用いて視線入力装置本体１１０に取り込まれる。 The imaging of the face image of the input operator M in step S601 will be described in detail below. FIG. 8 is a face image of the input operator M. Here, photographing is performed with a camera (640 × 480) in the visible wavelength region, which can be obtained at low cost. By using an inexpensive camera, the cost of the entire apparatus can be suppressed. The captured image is taken into the line-of-sight input device main body 110 using existing software (DirectShow).
なお、カメラ１０６は可視波長領域のカメラに限定せずに赤外線を利用したカメラ等、入力操作者の顔を撮影できるものであれば何でもよい。
また、撮影された顔画像を視線入力装置本体１１０に取り込むソフトウェアも上記DirectShowに限定せず、何でもよい。
The camera 106 is not limited to a camera in the visible wavelength region, and may be anything that can capture the face of the input operator, such as a camera using infrared rays.
Also, the software for taking the captured face image into the line-of-sight input device main body 110 is not limited to the DirectShow, and any software may be used.
図６に戻って、顔画像が取り込まれたら、顔画像の中から眼球周辺の画像を抽出し取得される（ステップＳ６０２）。眼球周辺の画像の取得には、パターン認識手法であるPaul Viola氏及びRainer Lienhart氏の物体検知アルゴリズム（Paul Viola and Michael J.Jones."Rapid Object Detection using a Boosted Cascade of Simple Features".IEEE CVPR,2001）（Rainer Lienhart and Jochen Maydt."An Extended Set of Haar-like Features for Rapid Object Detection".IEEE ICIP 2002,Vol.1,pp.900-903,Sep,2002）を用いる。このプログラムの実装にはOpenCVを用いる。OpenCV（Intel Open.Computer Vision Library）とはIntel研究所が開発、公開を行っているオープンソースライブラリーである。Intel CPU に最適化され、様々な画像処理を行うことが可能である。２００６年１１月に正式リリース版が公開され、Ｗｉｎｄｏｗｓ（登録商標）、Ｌｉｎｕｘ、ＭａｃＯＳなどのコンピュータで利用することが可能である。これにより取得された眼球周辺画像ｍの黒目の位置から、右視線方向と左視線方向の黒目の位置を登録する（ステップＳ６０３、ステップＳ６０４）。 Returning to FIG. 6, when the face image is captured, an image around the eyeball is extracted and acquired from the face image (step S602). To obtain the image around the eyeball, Paul Viola and Rainer Lienhart's object detection algorithm (Paul Viola and Michael J. Jones. “Rapid Object Detection using a Boosted Cascade of Simple Features”. IEEE CVPR, 2001) (Rainer Lienhart and Jochen Maydt. “An Extended Set of Haar-like Features for Rapid Object Detection”. IEEE ICIP 2002, Vol. 1, pp. 900-903, Sep, 2002). Use OpenCV to implement this program. OpenCV (Intel Open Computer Vision Library) is an open source library developed and released by Intel Research Laboratories. It is optimized for Intel CPU and can perform various image processing. The official release version was released in November 2006 and can be used on computers such as Windows (registered trademark), Linux, and MacOS. From the position of the black eye in the eyeball peripheral image m acquired in this way, the position of the black eye in the right gaze direction and the left gaze direction is registered (steps S603 and S604).
ステップＳ６０３、ステップＳ６０４の視線方向の登録処理について、以下に詳細に説明する。図９は視線方向の登録を行う様子を示した模式図である。入力操作者Ｍが注視している点の座標を（ｐ，ｑ）とすると、以下の式によりｐ、ｑの値を求めることができる。 The line-of-sight direction registration processing in steps S603 and S604 will be described in detail below. FIG. 9 is a schematic diagram showing a state in which the line-of-sight direction is registered. If the coordinates of the point that the input operator M is gazing at are (p, q), the values of p and q can be obtained by the following equations.
入力操作者Ｍが注視している点の座標（ｐ，ｑ）がディスプレイ１０７の右側の所定領域にある場合は、入力操作者Ｍが右を見ていると判定し、入力操作者Ｍが注視している点の座標（ｐ，ｑ）がディスプレイ１０７の左側の所定領域にある場合は、入力操作者Ｍが左を見ていると判定する。前処理においては、右を見た場合と左を見た場合の黒目の位置を特定し、その状態を登録しておく。そして、左右の視線方向を検出する時は、ここで登録した状態の黒目の位置を利用して視線方向が検出される。 If the coordinates (p, q) of the point being watched by the input operator M are in a predetermined area on the right side of the display 107, it is determined that the input operator M is looking right and the input operator M is watching. When the coordinates (p, q) of the current point are in a predetermined area on the left side of the display 107, it is determined that the input operator M is looking left. In the preprocessing, the position of the black eye when the right side is viewed and the left side is specified, and the state is registered. When the left and right gaze directions are detected, the gaze direction is detected using the position of the black eye registered here.
図９（ｂ）は右を見た場合の実際の眼球周辺画像ｍと左を見た場合の実際の眼球周辺画像ｍである。本実施形態では、視線方向として検出するのは左右の２つのみで、他の視線方向に関しては必要ない。そのため、前処理段階では２つの視線方向のみを登録すればよいため、従来に比べて、格段に処理が簡潔になり処理効率を上げることができる。
なお、ここでは、左右の２つの視線方向を登録しているが、左右のどちらか一方だけでもよい。そうすることで、さらに処理を簡潔にし、効率を上げることができる。
FIG. 9B shows an actual eyeball peripheral image m when the right is viewed and an actual eyeball peripheral image m when the left is viewed. In the present embodiment, only the left and right are detected as the line-of-sight directions, and the other line-of-sight directions are not necessary. For this reason, since only two line-of-sight directions need be registered in the preprocessing stage, the processing becomes much simpler and processing efficiency can be improved as compared with the prior art.
Here, the two left and right gaze directions are registered here, but only one of the left and right directions may be registered. By doing so, the processing can be further simplified and the efficiency can be increased.
図６に戻って、視線方向の登録が完了すると、瞬きの登録を行う（ステップＳ６０５）。
ステップＳ６０５の瞬きの登録処理について、以下に詳細に説明する。図７は、瞬きの登録処理に関する詳細なフローチャートである。まず、眼球周辺画像ｍの肌色部分を検出する（ステップＳ７０１）。
Returning to FIG. 6, when the registration of the line-of-sight direction is completed, blink registration is performed (step S605).
The blink registration process in step S605 will be described in detail below. FIG. 7 is a detailed flowchart regarding blink registration processing. First, the skin color portion of the eyeball peripheral image m is detected (step S701).
肌色部分の検出について、図１０を用いて説明する。図１０は、肌色の色相分布を示したグラフである。グラフからわかる通り、肌色の色相角度はほぼ６度から３８度の間である。イギリスのエジンバラ大学の情報学部のJamie Sherrah氏とShaogang Gong氏のSkin Colour Analysisによると、様々な人種の肌の色を調査した結果、ほとんどの人の肌の色の色相が６°から３８°に収まることが分かっている。つまり、眼球周辺画像ｍにおいて、画素値が６度から３８度の間にある画素については、肌色の部分（瞼や周囲の皮膚）に該当していると判断することができる。肌色の部分が抽出されることで、肌色を黒として眼球周辺画像ｍを白と黒で２値化することができる。 The detection of the skin color portion will be described with reference to FIG. FIG. 10 is a graph showing the hue distribution of the skin color. As can be seen from the graph, the hue angle of the flesh color is approximately between 6 degrees and 38 degrees. According to Jamie Sherrah and Shaogang Gong's Skin Color Analysis of the University of Edinburgh's Department of Informatics, the results of investigating the skin color of various races showed that most people's skin color hues were between 6 ° and 38 °. I know it fits in. That is, in the eyeball peripheral image m, it can be determined that a pixel having a pixel value between 6 degrees and 38 degrees corresponds to a skin color portion (an eyelid or surrounding skin). By extracting the skin color portion, it is possible to binarize the eyeball peripheral image m with white and black by setting the skin color to black.
図７に戻って、肌色部分が検出されると、それを元に画素値の平均が算出される（ステップＳ７０２）。眼球周辺画像ｍは、装置の使用環境により輝度が異なっているため、眼球周辺画像ｍの輝度を算出する（ステップＳ７０３）。ステップＳ７０２で算出された画素値の平均とステップＳ７０３で算出された輝度に基づいて、瞬きかどうかの判定を行う閾値を決定して（ステップＳ７０４）、瞬き登録処理を終了する。 Returning to FIG. 7, when the skin color portion is detected, the average of the pixel values is calculated based on the detected skin color portion (step S702). Since the brightness of the eyeball peripheral image m varies depending on the use environment of the apparatus, the brightness of the eyeball peripheral image m is calculated (step S703). Based on the average of the pixel values calculated in step S702 and the luminance calculated in step S703, a threshold for determining whether or not to blink is determined (step S704), and the blink registration process is terminated.
以下に、瞬きの登録の処理についてさらに詳細に説明する。図１１は、瞬きの登録を行う様子を示す図である。図１１（ａ）は様々な値の輝度（図中のＬで示される値）において、瞬きをした場合としていない場合の眼球周辺画像ｍの画素値の平均を算出した結果である。図からわかるように、瞬きをしていない場合は白目部分の画素値が高いため、眼球周辺画像ｍの画素値の平均が高くなり、瞬きをしていない場合は白目部分がないため、眼球周辺画像ｍの画素値の平均が低くなる。図１１（ｂ）のグラフにおいて、画素値が低くなっている箇所が瞬きをした瞬間である。瞬きをした瞬間は急激に画素値の平均が下がっているため、その画素値の平均に対する閾値を設定して登録しておけば、入力操作者Ｍの瞬きを確実に検出することができる。図１１（ｃ）は、眼球周辺画像の輝度と閾値との関係を示したグラフである。このグラフから、眼球周辺画像ｍの画素値が輝度×０．３＋４．７以下である場合に、瞬きを行ったと判断できることが導出できた。従って、輝度×０．３＋４．７が閾値として登録され、瞬きの検出を行う際にはこの値が利用される。 Hereinafter, the blink registration process will be described in more detail. FIG. 11 is a diagram illustrating a state in which blink registration is performed. FIG. 11A shows the result of calculating the average of the pixel values of the peripheral image m of the eyeball when there is no blinking at various values of luminance (value indicated by L in the figure). As can be seen from the figure, the pixel value of the white eye portion is high when there is no blink, so the average pixel value of the eyeball peripheral image m is high, and when there is no blink, there is no white eye portion, The average pixel value of the image m is lowered. In the graph of FIG. 11B, the portion where the pixel value is low is the moment when blinking occurs. Since the average of the pixel values suddenly decreases at the moment of blinking, the blink of the input operator M can be reliably detected by setting and registering a threshold for the average of the pixel values. FIG. 11C is a graph showing the relationship between the luminance of the eyeball peripheral image and the threshold value. From this graph, it can be derived that blinking can be determined when the pixel value of the eyeball peripheral image m is luminance × 0.3 + 4.7 or less. Therefore, luminance × 0.3 + 4.7 is registered as a threshold value, and this value is used when blink detection is performed.
図６に戻って、瞬きの登録が完了したら、前処理を終了する。
図５に戻って、上記前処理が終了すると、カメラ１０６により入力操作者Ｍの顔画像が撮像され（ステップＳ５０２）、撮像された顔画像から眼球周辺画像ｍを取得する（ステップＳ５０３）。取得された眼球周辺画像ｍから、入力操作者Ｍの視線方向を検出する（ステップＳ５０４）。検出の際には、前処理にて登録された右視線方向の情報と左視線方向の情報から、視線方向の検出を行う。右視線方向または左視線方向が検出されたかどうかを判定し（ステップＳ５０５）、検出されなかった場合は、検出されるまでステップＳ５０４の処理が繰り返して行われる。検出された場合は、カーソルの移動を行う（ステップＳ５０６）。選択されている入力要素が、入力操作者が入力したい要素かどうかを判定し（ステップＳ５０７）、入力したくない要素であれば、入力したい要素が選択されるまで、ステップＳ５０６の処理が繰り返して行われる。入力したい要素が選択されている場合は、眼球周辺画像ｍの肌色部分が検出される（ステップＳ５０８）。検出された肌色部分は「黒色」として画像全体を２値化し、画素値の平均を算出する（ステップＳ５０９）。算出した画素値の平均が、前処理で登録した、瞬きを判定するための閾値以下かどうかを判定し（ステップＳ５１０）、画素値の平均が閾値より大きければ、瞬きと判断されずにステップＳ５０８に戻って、瞬きが検出されるまで処理が繰り返して行われる。画素値の平均が閾値以下であれば、瞬きと判断され、ステップＳ５１１の処理に進む。ステップＳ５１１では、画素値の平均が閾値以下であるフレームの数から、自然の瞬きか意図的な瞬きかどうかが判定され、自然の瞬きであればステップＳ５０８に戻る。意図的な瞬きであれば、選択されている入力要素が決定され（ステップＳ５１２）、入力内容がディスプレイ１０７に表示されて（ステップＳ５１３）処理を終了する。
Returning to FIG. 6, when the blink registration is completed, the preprocessing is terminated.
Returning to FIG. 5, when the preprocessing is completed, a face image of the input operator M is captured by the camera 106 (step S502), and an eyeball peripheral image m is acquired from the captured face image (step S503). The line-of-sight direction of the input operator M is detected from the acquired eyeball peripheral image m (step S504). At the time of detection, the gaze direction is detected from the information on the right gaze direction and the information on the left gaze direction registered in the preprocessing. It is determined whether the right gaze direction or the left gaze direction is detected (step S505). If not detected, the process of step S504 is repeated until it is detected. If it is detected, the cursor is moved (step S506). It is determined whether or not the selected input element is an element that the input operator wants to input (step S507). If the input element is not an input element, the process of step S506 is repeated until the element to be input is selected. Done. When the element to be input is selected, the skin color portion of the eyeball peripheral image m is detected (step S508). The detected skin color portion is “black” and the entire image is binarized, and the average of the pixel values is calculated (step S509). It is determined whether or not the calculated average of pixel values is equal to or less than a threshold value for determining blinking registered in the preprocessing (step S510). If the average of pixel values is greater than the threshold value, it is not determined that blinking is performed, and step S508 is performed. The process is repeated until the blink is detected. If the average pixel value is less than or equal to the threshold value, it is determined that blinking has occurred, and the process proceeds to step S511. In step S511, whether the blink is natural or intentional is determined from the number of frames whose pixel values are equal to or less than the threshold. If natural blink, the process returns to step S508. If it is an intentional blink, the selected input element is determined (step S512), the input content is displayed on the display 107 (step S513), and the process is terminated.
意図的な瞬きかどうかの判定はカメラのフレーム数により判定することができる。画素の平均値が閾値以下であるフレームの数が連続していくつ続いたかで、意図的な瞬き（ゆっくりとした瞬き）と自然の瞬き（速い瞬き）を判別することができる。
なお、瞬きを判定するためのフレーム数については、入力操作者毎に設定することができる。
Whether the blink is intentional can be determined by the number of frames of the camera. An intentional blink (slow blink) and a natural blink (fast blink) can be discriminated by the number of frames in which the average value of pixels is equal to or less than the threshold value.
Note that the number of frames for determining blinking can be set for each input operator.
また、左右の視線方向の検出や瞬きの検出の際に、所定の時間が経過しても何も検出できない場合は、前処理で登録した情報が古くなり、校正が必要となる場合がある。そのため、このように未入力の状態で所定の時間が経過した場合は、校正を促すようにしてもよい。
さらに、左右の視線方向の検出は必ずしも必要ではない。すなわち、前記にも示した通り、カーソルの移動開始の合図を瞬きで行い、所定の間隔で入力要素ごとにカーソルを順次移動するようにし、入力操作者Ｍが、選択したい入力要素が選択状態になった場合（カーソルが当たった場合）に瞬きにより決定を行うことで、視線方向を検出しなくても、装置の操作を行うことが可能となる。
In addition, when detecting the left and right gaze directions or detecting blinks, if nothing can be detected even after a predetermined time has passed, the information registered in the preprocessing may become old and calibration may be necessary. For this reason, calibration may be prompted when a predetermined time elapses in a state of no input in this way.
Furthermore, detection of the left and right gaze directions is not always necessary. That is, as described above, the signal for starting the movement of the cursor is blinked, the cursor is sequentially moved for each input element at a predetermined interval, and the input operator M enters the selected input element in the selected state. When it becomes (when the cursor hits), the determination by blinking makes it possible to operate the apparatus without detecting the line-of-sight direction.
（３ 視線入力装置の動作の詳細）
視線入力装置１００の動作について、さらに詳細に説明する。図１２は、視線入力装置１００のディスプレイ１０７に表示された表示画面の一例である。画面の上下には５０音の１行目（あ、か、さ、た、な、は、ま、や、ら、わ）の文字キーが表示され、真ん中には処理を実行するためのキーが表示されている。画面の右端には「右」の文字と、左端には「左」の文字が表示されている。
(3 Details of operation of the line-of-sight input device)
The operation of the line-of-sight input device 100 will be described in more detail. FIG. 12 is an example of a display screen displayed on the display 107 of the line-of-sight input device 100. On the top and bottom of the screen, the character key of the first line of 50 sounds (Ah, Ka, Sa, Ta, Na, Hama, La, Wa) is displayed, and in the middle there is a key for executing the process. It is displayed. The “right” character is displayed at the right end of the screen, and the “left” character is displayed at the left end.
まずは前処理を行う必要があるため、入力操作者Ｍが「右」の文字を見るようにメッセージで促し、「右」の文字を見た状態を登録する。次に「左」の文字を見るようにメッセージで促し、「左」の文字を見た状態を登録する。そして、瞬きをするようにメッセージで促し、瞬きした状態を登録する。以上で前処理は終了である。 First, since it is necessary to perform preprocessing, the input operator M is prompted by a message to see the “right” character, and the state in which the “right” character is seen is registered. Next, a message prompts the user to see the “left” character, and registers the state in which the “left” character is seen. Then, it prompts with a message to blink, and registers the blinked state. This is the end of the preprocessing.
前処理が終了すると、画面は入力モードになり、入力操作者Ｍが自由に入力を行える状態となる。ここで、例えば、カーソルが現在「た」キーに当たっているとする。また、入力操作者Ｍは「うまい」という文字を入力したいとする。この場合、まず「う」を入力するために、カーソルを「あ」キーに移動させる必要がある。カーソルを「あ」キーに移動させるために、入力操作者Ｍは「左」の文字を見る。そうすると、視線検出処理部２３０が左の視線方向を検出し、それに基づいてカーソル移動制御部２４３がカーソルを１つ左の「さ」キーに移動させる。この処理を２回繰り返すことで、カーソルは「あ」キーに移動させることができる。カーソルが「あ」キーに当たっている状態で、入力操作者Ｍが瞬きを行うと、瞬き検出処理部２２０が瞬きを検出して、切替表示処理部２４１により画面に表示された入力要素が切り替えられる。切り替えられた入力要素の画面表示が図１３である。 When the preprocessing is completed, the screen enters the input mode, and the input operator M can freely input. Here, for example, it is assumed that the cursor is currently on the “ta” key. Further, it is assumed that the input operator M wants to input the character “delicious”. In this case, in order to input “U”, it is necessary to move the cursor to the “A” key. In order to move the cursor to the “A” key, the input operator M looks at the character “Left”. Then, the gaze detection processing unit 230 detects the left gaze direction, and the cursor movement control unit 243 moves the cursor to the left “sa” key based on the detected gaze direction. By repeating this process twice, the cursor can be moved to the “A” key. When the input operator M blinks while the cursor is on the “A” key, the blink detection processing unit 220 detects blinking, and the switching display processing unit 241 switches the input elements displayed on the screen. FIG. 13 shows a screen display of the switched input element.
図１３においては、画面の上部には、あ行（あ、い、う、え、お）が表示され、画面下部には、あ行の拗音（ぁ、ぃ、ぅ、ぇ、ぉ）が表示されている。真ん中には「戻る」処理の実行キーが表示されている。今、切替表示処理部２４１により表示が切り替わったため、カーソルは最初の「あ」キーを選択している。「う」文字を入力するためには、カーソルを「う」キーに移動させ、そこで瞬きをすればよい。カーソルを「う」キーに移動させるために、入力操作者Ｍは「右」の文字を見る。そうすると、視線検出処理部２３０が右の視線方向を検出し、それに基づいてカーソル移動制御部２４３がカーソルを１つ右の「い」キーに移動させる。この処理をもう１回繰り返すことで、カーソルは「う」キーに移動させることができる。カーソルが「う」キーに当たっている状態で、入力操作者Ｍが瞬きを行うと、瞬き検出処理部２２０が瞬きを検出して、入力要素決定処理部２４２により入力要素が決定され、画面表示処理部２５０によりディスプレイ１０７に入力文字が表示される。同様にして「ま」文字と「い」文字を入力することで、「うまい」という文字をディスプレイ１０７に表示することができる。 In FIG. 13, A row (A, I, U, E, O) is displayed at the top of the screen, and a roar of that row is displayed at the bottom of the screen. Has been. An execution key for “return” processing is displayed in the middle. Now, since the display is switched by the switching display processing unit 241, the cursor selects the first “A” key. In order to input the “u” character, the cursor can be moved to the “u” key and blinked there. In order to move the cursor to the “u” key, the input operator M looks at the character “right”. Then, the gaze detection processing unit 230 detects the right gaze direction, and based on that, the cursor movement control unit 243 moves the cursor to the right “I” key. By repeating this process once more, the cursor can be moved to the “U” key. When the input operator M blinks while the cursor is hitting the “u” key, the blink detection processing unit 220 detects the blink, the input element determination processing unit 242 determines the input element, and the screen display processing unit By 250, the input character is displayed on the display 107. Similarly, by inputting “MA” and “I” characters, the character “delicious” can be displayed on the display 107.
なお、ここでは、１度右または左を見たらカーソルが１つ移動するようにしたが、入力操作者Ｍの視線が右または左を見ている間は移動を維持するようにしてもよい。そうすることで、何度も右または左を見る必要がなくなり、入力操作者Ｍの負担を軽減することができる。 In this example, the cursor is moved by one when the right or left is viewed once. However, the movement may be maintained while the line of sight of the input operator M is looking at the right or left. By doing so, it is not necessary to look right or left many times, and the burden on the input operator M can be reduced.
次に、上記処理において、視線方向の検出を行わない場合の操作について説明する。視線方向の検出を行わないことから、前処理にて登録するのは瞬きのみである。この場合、図１２の画面が表示されると、カーソルが所定の時間間隔（例えば、１秒）で「あ、か、さ、た、な・・・」のように移動している。入力操作者Ｍは上記同様に「うまい」の文字を入力したいとすると、カーソルが「あ」キーを選択した瞬間に瞬きを行う。そうすると、瞬き検出処理部２２０が瞬きを検出して、切替表示処理部２４１により画面上の入力要素が図１３のように切り替えられる。そして、ここでも同様にカーソルは所定の時間間隔（例えば、１秒）で「あ、い、う、え、お・・・」のように移動しているため、カーソルが「う」キーを選択した瞬間に瞬きを行う。そうすると、瞬き検出処理部２２０が瞬きを検出して、入力要素決定処理部２４２により入力文字が決定され、画面表示処理部２５０によりディスプレイ１０７に表示される。「ま」文字と「い」文字についても同様の操作を行って入力することができる。 Next, an operation when the line-of-sight direction is not detected in the above process will be described. Since the gaze direction is not detected, only blinking is registered in the preprocessing. In this case, when the screen of FIG. 12 is displayed, the cursor is moved at a predetermined time interval (for example, 1 second) such as “Ah, Sat, Ta ...”. If the input operator M wants to input the character “delicious” as described above, the input operator M blinks at the moment when the cursor selects the “A” key. Then, the blink detection processing unit 220 detects blinks, and the switching display processing unit 241 switches the input elements on the screen as shown in FIG. And here again, the cursor moves like “Oh, U, U, E ...” at a predetermined time interval (for example, 1 second), so the cursor selects the “U” key. Blink at the moment you do. Then, the blink detection processing unit 220 detects blinks, the input element determination processing unit 242 determines an input character, and the screen display processing unit 250 displays it on the display 107. The “ma” and “i” characters can be entered by performing the same operation.
図１４は、キーボードの図である。図１２及び図１３の代わりにこのように仮想キーボードを表示して仮想キーボード上をカーソルが移動するようにしてもよい。そうすることで画面を切り替えずに文字や命令を入力することができる。また、図１４には示されていないが、ＨＯＬＤボタンを追加することで、例えば、Ｃｔｒｌ＋Ａｌｔ＋Ｄｅｌｅｔｅを同時に入力するようなこともできる。この時の入力は、Ｃｔｒｌ→ＨＯＬＤ→Ａｌｔ→ＨＯＬＤ→Ｄｅｌｅｔｅ→ＨＯＬＤ→瞬きとすればよい。 FIG. 14 is a diagram of a keyboard. Instead of FIGS. 12 and 13, the virtual keyboard may be displayed in this way so that the cursor moves on the virtual keyboard. By doing so, it is possible to input characters and commands without switching the screen. Further, although not shown in FIG. 14, by adding a HOLD button, for example, Ctrl + Alt + Delete can be input simultaneously. The input at this time may be Ctrl-> HOLD-> Alt-> HOLD-> Delete-> HOLD-> blink.
なお、それぞれの処理において、カーソルの移動速度を変更することができる。視線方向を検出する場合は、例えば、右を見ている間はカーソルの移動速度が除々に早くなり、入力操作者Ｍにとって適切な速度になった場合に、視線をそらすことで、カーソルの移動速度の加速が止まるようにすることができる。これは、視線検出処理部２３０が視線を検出し、その結果、カーソル速度制御部２４４がカーソルの移動速度を制御することで容易に実現することができる。視線方向を検出しない場合であっても、瞬きの回数に応じてカーソルの速度を変化させることができる。例えば、２回瞬きをしたら速度が１段階上がるようにし、３回瞬きをしたら速度が１段階下がるようにすれば、瞬きの検出のみでカーソルの移動速度を制御することができる。 In each process, the moving speed of the cursor can be changed. When detecting the gaze direction, for example, while looking right, the movement speed of the cursor gradually increases, and when the speed becomes appropriate for the input operator M, the movement of the cursor is diverted. Speed acceleration can be stopped. This can be easily realized by the line-of-sight detection processing unit 230 detecting the line of sight, and as a result, the cursor speed control unit 244 controls the moving speed of the cursor. Even when the line-of-sight direction is not detected, the cursor speed can be changed according to the number of blinks. For example, if the speed is increased by one step when blinking twice and the speed is decreased by one step after blinking three times, the moving speed of the cursor can be controlled only by detecting the blink.
また、それぞれの処理において、切替表示処理部２４１の処理を省略することができる。例えば、「う」の文字を入力したい場合は、図１２の「あ」キーが選択された状態で瞬きを３回行う。「ま」の文字を入力したい場合は、「ま」キーが選択された状態で瞬きを１回行う。「い」の文字を入力したい場合は、「あ」キーが選択された状態で瞬きを２回行う。つまり、行番号（「う」の場合は３行目、「ま」の場合は１行目、「い」の場合は２行目）の数だけ瞬きを行うことで文字を入力するようにしてもよい。 In each process, the process of the switching display processing unit 241 can be omitted. For example, to input the character “U”, blinking is performed three times with the “A” key in FIG. 12 selected. To input the character “MA”, blink once with the “MA” key selected. To input the character “I”, blinking is performed twice with the “A” key selected. In other words, characters are input by blinking the number of line numbers (the third line for "U", the first line for "MA", the second line for "I"). Also good.
さらに、視線方向を検出しない場合には、カーソルの移動を瞬きにより制御することが可能である。切替表示処理部２４１により画面表示が切り替わったら自動的にカーソルを移動させるようにしてもよいし、例えば２回以上の瞬きの検出をトリガーにしてカーソルの移動を開始させるようにしてもよい。また、逆に停止させるようにしてもよい。カーソルの移動制御や速度制御は瞬きと組み合わせることで、自由に設定することができ、入力操作者Ｍの好みに合わせてカスタマイズすることも可能である。 Furthermore, when the line-of-sight direction is not detected, the movement of the cursor can be controlled by blinking. When the screen display is switched by the switching display processing unit 241, the cursor may be automatically moved, or for example, the movement of the cursor may be started with the detection of two or more blinks as a trigger. Moreover, you may make it stop conversely. Cursor movement control and speed control can be freely set by combining with blinking, and can be customized according to the preference of the input operator M.
さらにまた、本実施形態では視線方向の検出を左右方向としたが、上下方向にしてもよい。その場合は、例えば、上を見た時はカーソルを左から右（上から下）に順送りにし、下を見た時はカーソルを右から左（下から上）に逆送りにすれば、左右方向の場合と同じ機能を実現することができる。 Furthermore, in this embodiment, the detection of the line-of-sight direction is the left-right direction, but it may be the vertical direction. In that case, for example, if you look up, you can move the cursor forward from left to right (top to bottom), and if you look down, you can reverse the cursor from right to left (bottom to top) The same function as the direction can be realized.
さらにまた、上下左右の４方向の視線方向を検出できるようにすることで、カーソルを４方向に移動することが可能となる。例えば、上方向の視線を検出したらカーソルが上に移動し、下方向の視線を検出したらカーソルが下に移動する。このようにして上下左右にカーソルを動かすことができるようにすると、入力操作者は入力要素の選択が楽になり、負担を減らすことができる。また、特に、図１４に示すような仮想キーボードで入力処理を行う場合は、入力要素が多いことからも、カーソルが上下左右に動くことで、入力効率を格段に上げることができる。 Furthermore, it becomes possible to move the cursor in four directions by making it possible to detect four gaze directions in the vertical and horizontal directions. For example, when an upward line of sight is detected, the cursor moves up, and when a downward line of sight is detected, the cursor moves down. If the cursor can be moved up, down, left, and right in this manner, the input operator can easily select an input element and the burden can be reduced. In particular, when input processing is performed using a virtual keyboard as shown in FIG. 14, the input efficiency can be significantly increased by moving the cursor up, down, left, and right because there are many input elements.
さらにまた、上下左右以外にも、視線方向の違いを明確に検出できる方向であればよい。例えば、斜め方向の検出や上と右方向の組み合わせでもよい。
さらにまた、図中には示していないが、モードを変更するキーを追加することで、入力モードと編集モードを切り替えることができる。入力モードは、上記のように文字をテキストに入力する。編集モードは、入力したテキストに対して文字の追加、削除、変更等の編集処理を行うことができる。
さらにまた、図１２及び図１３において、「右」、「左」の文字は必須の表示ではない。文字を見なくても右方向と左方向さえ検出できれば、上記操作は可能である。
Furthermore, any direction other than up, down, left, and right may be used as long as it can clearly detect the difference in the line-of-sight direction. For example, detection in an oblique direction or a combination of upper and right directions may be used.
Furthermore, although not shown in the figure, the input mode and the edit mode can be switched by adding a key for changing the mode. In the input mode, characters are input into text as described above. In the edit mode, edit processing such as addition, deletion, and change of characters can be performed on the input text.
Furthermore, in FIG. 12 and FIG. 13, the characters “right” and “left” are not essential displays. The above operation is possible if only the right and left directions can be detected without looking at the characters.
（４ パラメータの設定）
本実施形態においては、入力操作者Ｍは自分に適した操作を行うために、処理パラメータを自由に設定することができる。以下にパラメータの設定の一部を例示する。
（１）瞬きによる入力要素の決定において、瞬きの回数を設定することができる。例えば、決定の場合は瞬き検出を２回に設定する。
（２）定期的に校正を行う場合に、その時間を設定することができる。例えば、環境が変化しやすい場合は精度が下がりやすくなる可能性があるため、時間を短めに設定して校正を多くする。本発明の場合は、最小で瞬きのみ、最大でも瞬きと上下左右の４方向の視線方向の校正だけで処理できるため、校正を多めに行っても入力操作者の負担はそれほど大きいものにならない。
（３）未操作の時間が所定の時間を越えた場合に、校正を行うように入力操作者Ｍに促すが、その未操作の時間を設定することができる。
（４）眼球周辺画像ｍを取得する際の枠のサイズと位置を設定することができる。例えば、入力操作者の顔は人それぞれで異なっており、人によっては目の位置が上方にあったり下方にあったりして、眼球周辺画像が正確に取得できない場合があるが、枠のサイズと位置を調整することで、正確に眼球周辺画像を取得することができる。
（５）校正が終了したら自動で入力モードにするか、モード変更のキーによりモードの設定を行うかどうかを設定することができる。
（６）校正が終了したら自動でテキストファイル（ＮＯＴＥＰＡＤ等）を起動するかしないかを設定することができる。
（７）カメラのキャプチャサイズを設定することができる。通常は６４０×４８０に設定しておくが、処理が遅い場合は３２０×２４０に設定することができる。
（８）カメラのキャプチャインターバルを設定することができる。
（９）頻繁に起動するアプリケーションをショットカットで設定することができる。
(4 Parameter setting)
In the present embodiment, the input operator M can freely set processing parameters in order to perform an operation suitable for him. Some examples of parameter settings are shown below.
(1) In determining the input element by blinking, the number of blinks can be set. For example, in the case of determination, blink detection is set to twice.
(2) When calibration is performed periodically, the time can be set. For example, if the environment is likely to change, the accuracy may be easily lowered, so the time is set short and the calibration is increased. In the case of the present invention, processing can be performed only by blinking at the minimum, and only blinking and calibration in the four gaze directions (up, down, left, and right) at the maximum. Therefore, the burden on the input operator does not become so great even if the calibration is performed excessively.
(3) When the non-operating time exceeds a predetermined time, the input operator M is prompted to perform calibration, but the non-operating time can be set.
(4) The size and position of the frame when acquiring the eyeball peripheral image m can be set. For example, the input operator's face is different for each person, and depending on the person, the eye position may be above or below, and an eyeball peripheral image may not be obtained accurately. By adjusting the position, an eyeball peripheral image can be obtained accurately.
(5) When calibration is completed, it is possible to set whether to automatically enter the input mode or to set the mode with the mode change key.
(6) It is possible to set whether or not to automatically start a text file (NOTEPAD or the like) when calibration is completed.
(7) The capture size of the camera can be set. Normally, it is set to 640 × 480, but can be set to 320 × 240 when processing is slow.
(8) The capture interval of the camera can be set.
(9) It is possible to set an application that is frequently started by shot cut.
以上は、パラメータの設定の一部を例示したものである。
なお、パラメータの設定は上記のみならず、様々な操作環境に対応して設定することができる。つまり、入力操作者や操作環境に対応して装置をカスタマイズすることができ、入力操作者の負担を大きく軽減することができる。
The above is an example of a part of parameter settings.
The parameter can be set not only for the above but also for various operating environments. That is, the apparatus can be customized according to the input operator and the operating environment, and the burden on the input operator can be greatly reduced.
（本発明の第２の実施形態）
（１ 構成と機能）
図１５は、本実施形態に係る視線入力装置１００全体のモジュール構成図である。第１の実施形態と異なる点は、音声出力処理部２６０を新たに備えた点である。
音声出力処理部２６０は、入力操作者Ｍが入力した文字を音声として出力する処理を行う。重度の筋萎縮性側策硬化症患者（ＡＬＳという）には、肢体不自由なだけではなく、言語を発することができない患者が多い。そのため、人とのコミュニケーションにおいては上記のように文字を入力して行うが、本実施形態では、その文字が音声として出力されるため、音によるコミュニケーションを図ることができる。音でコミュニケーションが図れることで、入力操作者Ｍは安心感と得ることができ、また、コミュニケーションにおいて解読する行為を行わなくてよいため、楽に行うことができる。
(Second embodiment of the present invention)
(1 Configuration and function)
FIG. 15 is a module configuration diagram of the entire line-of-sight input device 100 according to the present embodiment. The difference from the first embodiment is that an audio output processing unit 260 is newly provided.
The voice output processing unit 260 performs a process of outputting a character input by the input operator M as a voice. Many patients with severe amyotrophic side sclerosis (referred to as ALS) are not only physically disabled but also unable to speak language. Therefore, communication with a person is performed by inputting characters as described above. However, in the present embodiment, since the characters are output as speech, communication by sound can be achieved. Since communication can be achieved with sound, the input operator M can feel secure, and since it is not necessary to perform an act of decoding in communication, it can be performed easily.
このように、本発明によれば、視線方向を検出する処理を極端に簡素化することで、校正に必要な処理と時間を削減し、入力操作者の肉体的、精神的な負担を軽減することができると共に、高い精度で視線入力処理を行うことができるため、校正自体の回数も削減することが可能となる。 Thus, according to the present invention, the processing and time required for calibration are reduced by extremely simplifying the processing for detecting the line-of-sight direction, and the physical and mental burden of the input operator is reduced. In addition, since the line-of-sight input process can be performed with high accuracy, the number of calibrations can be reduced.
以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。そして、かような変更又は改良を加えた実施の形態も本発明の技術的範囲に含まれる。このことは、特許請求の範囲及び課題を解決する手段からも明らかなことである。 Although the present invention has been described with the above embodiments, the technical scope of the present invention is not limited to the scope described in the embodiments, and various modifications or improvements can be added to these embodiments. . And embodiment which added such a change or improvement is also contained in the technical scope of the present invention. This is apparent from the claims and the means for solving the problems.
１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ ＨＤＤ
１０５ ＣＤ−Ｒドライブ
１０６ カメラ
１０７ ディスプレイ
１０８ スピーカー
１０９ ＬＡＮ Ｉ／Ｆ
１００ 視線入力装置
１１０ 視線入力装置本体
１２０ ＣＤ−ＲＯＭ
２１０ 前処理部
２２０ 瞬き検出処理部
２３０ 視線検出処理部
２４０ 表示制御処理部
２４１ 切替表示処理部
２４２ 入力要素決定処理部
２４３ カーソル移動制御部
２４４ カーソル速度制御部
２５０ 画面表示処理部
２６０ 音声出力処理部
２６５ スピーカー
３１０ 眼球周辺画像取得処理部
３２０ 登録処理部
３２１ 右視線方向登録処理部
３２２ 左視線方向登録処理部
３２３ 瞬き登録処理部
４１０ 肌色検出処理部
４２０ 画素値平均算出処理部
４３０ 輝度算出処理部
４４０ 閾値決定処理部
101 CPU
102 RAM
103 ROM
104 HDD
105 CD-R drive 106 Camera 107 Display 108 Speaker 109 LAN I / F
100 Gaze input device 110 Gaze input device main body 120 CD-ROM
210 Pre-processing unit 220 Blink detection processing unit 230 Gaze detection processing unit 240 Display control processing unit 241 Switching display processing unit 242 Input element determination processing unit 243 Cursor movement control unit 244 Cursor speed control unit 250 Screen display processing unit 260 Audio output processing unit 265 Speaker 310 Eyeball peripheral image acquisition processing unit 320 Registration processing unit 321 Right gaze direction registration processing unit 322 Left gaze direction registration processing unit 323 Blink registration processing unit 410 Skin color detection processing unit 420 Pixel value average calculation processing unit 430 Luminance calculation processing unit 440 Threshold determination processing unit
Claims (10)
前記入力操作者の瞬きを検出する瞬き検出手段と、
前記瞬き検出手段が検出した結果に基づいて、前記表示画面に表示された前記入力要素を切り替えて表示する切替表示手段と、
前記切替表示手段により切り替えて表示された複数の入力要素のうち、任意の１または複数の入力要素を特定する指標を順次移動制御する指標移動制御手段と、
前記指標移動制御手段により移動制御された指標で特定される入力要素を、前記瞬き検出手段が検出した瞬きを確定情報として入力することで決定する入力要素決定手段と、を備えることを特徴とする、視線入力装置。 In a line-of-sight input device that acquires an eyeball peripheral image of an input operator, detects a line-of-sight direction from the eyeball peripheral image, and inputs an input element displayed on a display screen.
Blink detection means for detecting blink of the input operator;
Switching display means for switching and displaying the input element displayed on the display screen based on the result detected by the blink detection means;
Index movement control means for sequentially moving and controlling an index for specifying any one or a plurality of input elements among the plurality of input elements switched and displayed by the switching display means;
Input element determination means for determining an input element identified by the index movement-controlled by the index movement control means by inputting the blink detected by the blink detection means as definite information. Gaze input device.
前記入力操作者の左右の少なくとも一方の視線を検出する視線検出手段と、
前記視線検出手段が検出した結果に基づいて画面表示の制御を行う表示制御手段と、
を備えることを特徴とする、視線入力装置。 The line-of-sight input device according to claim 1,
Eye gaze detection means for detecting at least one eye gaze of the input operator;
Display control means for controlling screen display based on a result detected by the line-of-sight detection means;
A line-of-sight input device comprising:
前記入力操作者の上下の少なくとも一方の視線を検出する視線検出手段と、
前記視線検出手段が検出した結果に基づいて画面表示の制御を行う表示制御手段と、
を備えることを特徴とする、視線入力装置。 The line-of-sight input device according to claim 1,
A line-of-sight detection means for detecting at least one line of sight of the input operator;
Display control means for controlling screen display based on a result detected by the line-of-sight detection means;
A line-of-sight input device comprising:
前記視線検出手段が、前記入力操作者の上下左右の少なくとも４方向の視線を検出し、当該視線検出手段が検出した結果に基づいて、前記表示制御手段が画面表示の制御を行うことを特徴とする、視線入力装置。 The line-of-sight input device according to claim 2 or 3,
The line-of-sight detection unit detects line-of-sight in at least four directions of up, down, left and right of the input operator, and the display control unit controls screen display based on a result detected by the line-of-sight detection unit. A line-of-sight input device.
前記眼球周辺画像における肌色部分を検出する肌色検出手段と、
前記肌色検出手段が検出した肌色部分、並びに前記眼球周辺画像における白目部分、及び黒目部分から、当該眼球周辺画像の画素値の平均を算出する画素値平均算出手段と、
前記眼球周辺画像から当該眼球周辺画像の輝度を算出する輝度算出手段と、
前記画素値平均算出手段が算出した画素値の平均と前記輝度算出手段が算出した輝度から画素値の平均が黒色かどうかを判定するための最適な閾値を算出する閾値算出手段と、を備え、
前記瞬き検出手段は、前記閾値算出手段が算出した閾値に基づいて、前記入力操作者の瞬きを検出することを特徴とする、視線入力装置。 The line-of-sight input device according to any one of claims 1 to 4,
Skin color detection means for detecting a skin color part in the eyeball peripheral image;
Pixel value average calculating means for calculating the average of the pixel values of the eyeball peripheral image from the skin color part detected by the skin color detecting means, and the white eye part and the black eye part in the eyeball peripheral image;
Luminance calculating means for calculating the luminance of the eyeball peripheral image from the eyeball peripheral image;
Threshold value calculating means for calculating an optimum threshold value for determining whether the average of the pixel values is black from the average of the pixel values calculated by the pixel value average calculating means and the luminance calculated by the luminance calculating means,
The line-of-sight input device, wherein the blink detection unit detects blinks of the input operator based on the threshold value calculated by the threshold value calculation unit.
前記瞬き検出手段が、前記入力操作者により自然に行われた瞬きと意図的に行われた瞬きとを、所定時間における画像のフレーム数により区別して、意図的に行われた瞬きのみを検出することを特徴とする、視線入力装置。 In the line-of-sight input device according to any one of claims 1 to 5,
The blink detection means detects only blinks intentionally performed by distinguishing between blinks naturally performed by the input operator and intentionally performed blinks based on the number of frames of the image in a predetermined time. A line-of-sight input device.
前記入力操作者が、前記各処理手段における処理パラメータを自由に設定できることを特徴とする、視線入力装置。 The line-of-sight input device according to any one of claims 1 to 6,
The line-of-sight input device characterized in that the input operator can freely set processing parameters in each processing means.
前記入力要素がパソコンのキーボードと同じ構成であることを特徴とする、視線入力装置。 The line-of-sight input device according to any one of claims 1 to 7,
The line-of-sight input device, wherein the input element has the same configuration as a keyboard of a personal computer.
前記入力操作者の瞬きを検出する瞬き検出ステップと、
前記瞬き検出ステップで検出した結果に基づいて、表示画面に表示された前記入力要素を切替入力要素に切り替えて表示する切替表示ステップと、
前記入力要素、又は、前記切替入力要素を特定する指標を移動させ、当該指標が特定する任意の当該入力要素、又は、当該切替入力要素において、前記瞬き検出手段が検出した瞬きを確定情報として入力することで、当該指標が特定する当該入力要素、又は、当該切替入力要素を決定する入力要素決定ステップとを含むことを特徴とする、視線入力方法。 In a line-of-sight input method of acquiring an input operator's eyeball peripheral image, detecting a line-of-sight direction from the eyeball peripheral image, and inputting input elements such as characters and symbols displayed on the display screen,
Blink detection step for detecting blink of the input operator;
On the basis of the result detected in the blink detection step, a switching display step for switching the input element displayed on the display screen to a switching input element for display,
The input element or an index that specifies the switching input element is moved, and the blink detected by the blink detection means is input as deterministic information in any of the input element or the switching input element specified by the index. Then, the line-of-sight input method characterized by including the input element which the said parameter | index specifies, or the input element determination step which determines the said switching input element.
前記入力操作者の瞬きを検出する瞬き検出手段と、
前記瞬き検出手段が検出した結果に基づいて、表示画面に表示された前記入力要素を切替入力要素に切り替えて表示する切替表示手段と、
前記入力要素、又は、前記切替入力要素を特定する指標を移動させ、当該指標が特定する任意の当該入力要素、又は、当該切替入力要素において、前記瞬き検出手段が検出した瞬きを確定情報として入力することで、当該指標が特定する当該入力要素、又は、当該切替入力要素を決定する入力要素決定手段としてコンピュータを動作させるための、視線入力プログラム。 In a line-of-sight input program for operating a computer to acquire an eyeball peripheral image of an input operator, detect a line-of-sight direction from the eyeball peripheral image, and input input elements such as characters and symbols displayed on a display screen ,
Blink detection means for detecting blink of the input operator;
Switching display means for switching the input element displayed on the display screen to a switching input element based on the result detected by the blink detection means;
The input element or an index that specifies the switching input element is moved, and the blink detected by the blink detection means is input as deterministic information in any of the input element or the switching input element specified by the index. By doing so, a line-of-sight input program for causing a computer to operate as input element determination means for determining the input element specified by the index or the switching input element.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007222667A JP5077879B2 (en) | 2007-08-29 | 2007-08-29 | Gaze input device, gaze input method, and gaze input program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007222667A JP5077879B2 (en) | 2007-08-29 | 2007-08-29 | Gaze input device, gaze input method, and gaze input program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009054101A true JP2009054101A (en) | 2009-03-12 |
| JP5077879B2 JP5077879B2 (en) | 2012-11-21 |
Family
ID=40505100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007222667A Expired - Fee Related JP5077879B2 (en) | 2007-08-29 | 2007-08-29 | Gaze input device, gaze input method, and gaze input program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5077879B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102290494A (en) * | 2011-09-14 | 2011-12-21 | 江阴鑫辉太阳能有限公司 | Dry etching technology for solar cell |
| CN103605422A (en) * | 2013-10-23 | 2014-02-26 | 苏州安可信通信技术有限公司 | Touch screen operation method and device |
| US20150124069A1 (en) * | 2013-11-06 | 2015-05-07 | Sony Corporation | Information processing device and information processing method |
| US9946338B2 (en) | 2013-02-15 | 2018-04-17 | Sony Corporation | Information processing to vary screen display based on a gaze point of the user |
| JP2018107823A (en) * | 2018-03-05 | 2018-07-05 | セイコーエプソン株式会社 | Head-mounted display device and control method for head-mounted display device |
| CN113891002A (en) * | 2021-11-12 | 2022-01-04 | 维沃移动通信有限公司 | Shooting method and device |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160071242A (en) | 2014-12-11 | 2016-06-21 | 삼성전자주식회사 | Apparatus and method for computer aided diagnosis based on eye movement |
| CN108139813A (en) | 2015-10-19 | 2018-06-08 | 鸥利研究所股份有限公司 | Sight input unit, sight input method and sight input program |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09167049A (en) * | 1995-12-15 | 1997-06-24 | Nissan Motor Co Ltd | Line of sight input device for console |
| JPH10207615A (en) * | 1997-01-22 | 1998-08-07 | Tec Corp | Network system |
| JP2002236957A (en) * | 2001-02-09 | 2002-08-23 | Victor Co Of Japan Ltd | Electronic voting device, and electronic voting system |
| JP2003196017A (en) * | 2001-12-25 | 2003-07-11 | Gen Tec:Kk | Data input method and device |
| JP2006285715A (en) * | 2005-04-01 | 2006-10-19 | Konica Minolta Holdings Inc | Sight line detection system |
| JP2006323769A (en) * | 2005-05-20 | 2006-11-30 | Tokai Univ | Facing input device |
| JP2007312824A (en) * | 2006-05-23 | 2007-12-06 | Asahi Kasei Corp | Instrument for classifying blinking data, arousal evaluation instrument and arousal interpretation instrument |
-
2007
- 2007-08-29 JP JP2007222667A patent/JP5077879B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09167049A (en) * | 1995-12-15 | 1997-06-24 | Nissan Motor Co Ltd | Line of sight input device for console |
| JPH10207615A (en) * | 1997-01-22 | 1998-08-07 | Tec Corp | Network system |
| JP2002236957A (en) * | 2001-02-09 | 2002-08-23 | Victor Co Of Japan Ltd | Electronic voting device, and electronic voting system |
| JP2003196017A (en) * | 2001-12-25 | 2003-07-11 | Gen Tec:Kk | Data input method and device |
| JP2006285715A (en) * | 2005-04-01 | 2006-10-19 | Konica Minolta Holdings Inc | Sight line detection system |
| JP2006323769A (en) * | 2005-05-20 | 2006-11-30 | Tokai Univ | Facing input device |
| JP2007312824A (en) * | 2006-05-23 | 2007-12-06 | Asahi Kasei Corp | Instrument for classifying blinking data, arousal evaluation instrument and arousal interpretation instrument |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102290494A (en) * | 2011-09-14 | 2011-12-21 | 江阴鑫辉太阳能有限公司 | Dry etching technology for solar cell |
| US9946338B2 (en) | 2013-02-15 | 2018-04-17 | Sony Corporation | Information processing to vary screen display based on a gaze point of the user |
| CN103605422A (en) * | 2013-10-23 | 2014-02-26 | 苏州安可信通信技术有限公司 | Touch screen operation method and device |
| US20150124069A1 (en) * | 2013-11-06 | 2015-05-07 | Sony Corporation | Information processing device and information processing method |
| JP2018107823A (en) * | 2018-03-05 | 2018-07-05 | セイコーエプソン株式会社 | Head-mounted display device and control method for head-mounted display device |
| CN113891002A (en) * | 2021-11-12 | 2022-01-04 | 维沃移动通信有限公司 | Shooting method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5077879B2 (en) | 2012-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5077879B2 (en) | Gaze input device, gaze input method, and gaze input program | |
| US10255690B2 (en) | System and method to modify display of augmented reality content | |
| KR100692526B1 (en) | Gesture recognition apparatus and methods for automatic control of systems | |
| CN105518657B (en) | Information processing equipment, information processing method and computer readable recording medium | |
| JP3272906B2 (en) | Gaze direction detecting method and apparatus and man-machine interface apparatus including the same | |
| TWI617994B (en) | Method used in interactive device and for recognizing user behavior operating on the interactive device, and associated interactive device and computer readable medium | |
| JP2016208370A (en) | Head mounted display and control method for head mounted display | |
| JP2006350705A (en) | Information providing device, method, and program | |
| JP2017208638A (en) | Iris authentication device, iris authentication method, and program | |
| JP2007163864A (en) | Display control apparatus, display control method, display control program, and display control program recording medium | |
| WO2020244160A1 (en) | Terminal device control method and apparatus, computer device, and readable storage medium | |
| WO2020105349A1 (en) | Information processing device and information processing method | |
| JP4708835B2 (en) | Face detection device, face detection method, and face detection program | |
| JP6914724B2 (en) | Information processing equipment, information processing methods and programs | |
| KR101835531B1 (en) | A display device for providing augmented reality image based on face recognition and method for controlling the display device thereof | |
| KR20180074124A (en) | Method of controlling electronic device with face recognition and electronic device using the same | |
| JP4088282B2 (en) | Computer input method and apparatus | |
| KR20200081529A (en) | HMD based User Interface Method and Device for Social Acceptability | |
| Ahmed et al. | Controlling multimedia player with eye gaze using webcam | |
| CN107241548A (en) | A kind of cursor control method, device, terminal and storage medium | |
| CN101446859A (en) | Machine vision based input method and system thereof | |
| KR101720607B1 (en) | Image photographing apparuatus and operating method thereof | |
| WO2018150757A1 (en) | Information processing system, information processing method, and program | |
| US11893161B2 (en) | Gesture recognition based on user proximity to a camera | |
| Bilal et al. | Design a Real-Time Eye Tracker |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100806 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110920 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111004 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120807 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120821 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |