JP2003196017A - Data input method and device - Google Patents
Data input method and deviceInfo
- Publication number
- JP2003196017A JP2003196017A JP2001391010A JP2001391010A JP2003196017A JP 2003196017 A JP2003196017 A JP 2003196017A JP 2001391010 A JP2001391010 A JP 2001391010A JP 2001391010 A JP2001391010 A JP 2001391010A JP 2003196017 A JP2003196017 A JP 2003196017A
- Authority
- JP
- Japan
- Prior art keywords
- data
- eye
- user
- camera
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、計算機や通信機
等にデータを入力する装置及びその方法の技術分野に属
する。更に、具体的には手足の不自由者等が眼によるデ
ータ入力の技術分野に属する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention belongs to the technical field of a device and method for inputting data to a computer, a communication device or the like. Further, specifically, persons with limbs and the like belong to the technical field of data input by eyes.
【０００２】[0002]
【従来の技術】従来の計算機や通信機等にデータを入力
する手段としてはキーボードやマウス等のポインティン
グ・デバイスが使用されてきた。しかし、これらの入力
手段は手足の不自由な人には使い勝手が悪いという問題
点があった。このために、複数の入力データ（以下、入
力データ群という）をディスプレイに表示し、計算機等
を使用する使用者の視線の動きを利用したデータ入力技
術が最近開発されている。このようなデータ入力装置と
しては、例えば公開特許公報、平１０−１８７３３４号
に視線による入力装置、入力方法が開示されている。2. Description of the Related Art A pointing device such as a keyboard or a mouse has been used as a means for inputting data into a conventional computer or communication device. However, there is a problem that these input means are not easy to use for people with limited limbs. For this reason, a data input technique has recently been developed in which a plurality of input data (hereinafter referred to as input data group) are displayed on a display and the movement of the line of sight of a user who uses a computer or the like is utilized. As such a data input device, for example, Japanese Patent Laid-Open Publication No. 10-187334 discloses a line-of-sight input device and an input method.
【０００３】以下に上記従来装置について概略を説明す
る。図１１はこの従来装置を示し、図１２はこの装置の
アルゴリズムのフローチャートを示す。図１１におい
て、使用者は視線検出装置（１０１）と瞬き検出装置
（１０２）を装着して、ディスプレイ（１０３）を見
る。視線検出装置（１０１）は赤外光の角膜反写像の位
置を計測することにより視線方向を検出する装置であ
り、この視線方向により、ディスプレイ（１０３）に表
示された入力データ群から使用者の意図する入力データ
を特定する装置である。視線方向の検出は一定時間毎に
行われる。An outline of the conventional device will be described below. FIG. 11 shows this conventional device, and FIG. 12 shows a flow chart of the algorithm of this device. In FIG. 11, the user wears the line-of-sight detection device (101) and the blink detection device (102) and looks at the display (103). The line-of-sight detection device (101) is a device that detects the direction of the line of sight by measuring the position of the corneal anti-mapping of infrared light, and the line-of-sight direction is used to detect the direction of the user from the input data group displayed on the display (103). This is a device that specifies the intended input data. The detection of the line-of-sight direction is performed at regular intervals.
【０００４】また、瞬き検出装置（１０２）は赤外光の
角膜反射像の有無を検出することにより装置使用者が瞼
を閉じているかどうかを検知する。この検知は一定時間
毎に行う。記憶装置１（１０５）には装置を制御するプ
ログラムが記憶されており、記憶装置２（１０６）には
プログラムに基づいた処理に必要な情報及び処理の結果
得られた情報を記憶する。入出力部（１０４）は外部機
器との接続を行う。Further, the blink detection device (102) detects whether or not the user of the device has closed the eyelid by detecting the presence or absence of a corneal reflection image of infrared light. This detection is performed at regular intervals. The storage device 1 (105) stores a program for controlling the device, and the storage device 2 (106) stores information necessary for processing based on the program and information obtained as a result of the processing. The input / output unit (104) connects to an external device.
【０００５】この従来装置は、図１２に示すように、ま
ずディスプレイ（１０３）に入力データ群を表示し（Ｓ
２０１）、装置使用者が意図している入力データを注視
している状態を処理し（Ｓ２０２）、注視検出処理の結
果により装置使用者が入力データを注視したかどうかを
判別する（Ｓ２０３）。入力データを注視したと判別し
た場合は閉瞼処理を行う（Ｓ２０４）。閉瞼処理により
十分に長い時間の間瞼を閉じていた場合は入力データを
確定し（Ｓ２０５）、計算機へ入力する（Ｓ２０６）。As shown in FIG. 12, this conventional apparatus first displays an input data group on a display (103) (S
201), the state in which the device user is gazing at the intended input data is processed (S202), and it is determined whether the device user is gazing at the input data based on the result of the gaze detection process (S203). When it is determined that the input data is gazed at, the eyelid processing is performed (S204). When the eyelids have been closed for a sufficiently long time by the eyelid closing process, the input data is confirmed (S205) and input to the computer (S206).
【０００６】[0006]
【発明が解決しようとする課題】以上に説明したよう
に、上記従来装置（その他の従来装置においても同様）
においては、装置使用者は視線検出装置（１０１）、瞬
き検出装置（１０２）等の装置を頭部に装着してデータ
の入力作業を行うために煩わしという欠点がある。さら
に、長時間使用するとストレスが溜まりやすいという欠
点があった。この発明は、上述のような背景の下になさ
れたもので、手足の不自由な者でも装置の装着なしに簡
単にデータを入力できるデータ入力手段及び方法を提供
することを目的としている。As described above, the above conventional device (same for other conventional devices).
In the above, there is a drawback that the device user is troublesome because he or she wears a device such as the line-of-sight detection device (101) and the blink detection device (102) on the head to input data. Further, there is a drawback that stress tends to accumulate when used for a long time. The present invention has been made under the background as described above, and an object of the present invention is to provide a data input means and method by which a person with limited limbs can easily input data without wearing the apparatus.
【０００７】[0007]
【課題を解決するための手段】人間の眼は一点を注視す
るときは顔がその方向に向くと共に眼の虹彩（又は瞳
孔）も相対的位置が変化する。特に注視点が前回の注視
点の近くにあるときは視線の方向が大きく変化する。本
発明はこれらの関係を実験的に確かめ、その結果を利用
して上記課題を解決している。上記課題を解決するため
に本発明は以下の手段を採用している。即ち、請求項１
記載の発明は、メニュー又はキーボード等の入力データ
群を表示装置で表示し、該装置使用者の眼の部分をカメ
ラで撮影し、該撮影画像から該使用者の視線方向を決定
し、該視線方向に位置する入力データを決定し、決定さ
れた入力データを外部機器等に出力することを特徴とし
ている。When a human eye gazes at a point, the face of the human eye faces in that direction and the relative position of the iris (or pupil) of the eye also changes. Especially when the gazing point is near the previous gazing point, the direction of the line of sight changes greatly. The present invention experimentally confirms these relationships and utilizes the results to solve the above problems. In order to solve the above problems, the present invention employs the following means. That is, claim 1
The described invention displays an input data group such as a menu or a keyboard on a display device, photographs the eye part of the user of the device with a camera, determines the visual line direction of the user from the photographed image, and determines the visual line of the user. It is characterized in that the input data positioned in the direction is determined and the determined input data is output to an external device or the like.
【０００８】請求項２記載の発明は、請求項１に記載の
発明において、装置使用者の顔の向き、撮影画像中の眼
の位置及び虹彩の位置から求めることを特徴としてい
る。また、請求項３記載の発明は、請求項１又は請求項
２に記載の発明において、前記視線方向に位置する入力
データは、装置使用者の顔と表示装置との間の距離と視
線方向から求めることを特徴としている。また、請求項
４記載の発明は、請求項２に記載の発明において、装置
使用者の顔を固定して、顔の向きを一定にしたことを特
徴としている。The invention described in claim 2 is characterized in that, in the invention described in claim 1, it is obtained from the orientation of the face of the device user, the position of the eyes in the photographed image, and the position of the iris. According to a third aspect of the invention, in the invention according to the first or second aspect, the input data located in the line-of-sight direction is based on the distance between the face of the device user and the display device and the line-of-sight direction. It is characterized by seeking. Further, the invention according to claim 4 is characterized in that, in the invention according to claim 2, the face of the device user is fixed and the face direction is fixed.
【０００９】請求項５記載の発明は、請求項１〜請求項
４に記載の発明において、前記顔の向きは、前記カメラ
のレンズ方向が前記使用者の顔に向くように制御して、
該制御量から求めることを特徴としている。According to a fifth aspect of the present invention, in the first to fourth aspects of the invention, the direction of the face is controlled so that the lens direction of the camera faces the face of the user,
The feature is that it is obtained from the control amount.
【００１０】請求項６記載の発明は、請求項１〜請求項
５に記載の発明において、前記入力データの決定は、求
められた位置に該当する入力データをカーソル等の手段
により表示して指定し、該表示位置が一定時間以上同一
入力データ上に留まっていた場合に該入力データが選択
されたものとして決定することを特徴としている。According to a sixth aspect of the invention, in the inventions of the first to fifth aspects, the input data is determined by displaying the input data corresponding to the obtained position by means of a cursor or the like. However, when the display position remains on the same input data for a certain period of time or more, it is determined that the input data is selected.
【００１１】請求項７記載の発明は、請求項１〜請求項
６に記載の発明において、前記眼又は虹彩の位置決定
は、その位置を予測し、予測点の周囲からマッチング走
査を開始し、最良のマッチング位置を選択することを特
徴としている。また、請求項８記載の発明は、請求項７
に記載の発明において、前記位置の予測点は、撮影画像
のフレーム間のデータから線形予測を行うことを特徴と
している。According to a seventh aspect of the present invention, in the first to sixth aspects of the invention, the position determination of the eye or iris predicts its position, and starts matching scanning from around the prediction point, It is characterized by selecting the best matching position. The invention according to claim 8 is the same as claim 7
In the invention described in (1), the predicted point of the position is characterized by performing linear prediction from data between frames of a captured image.
【００１２】請求項９記載の発明は、請求項１〜請求項
８に記載の発明において、前記カメラ制御は、カメラの
パン制御、チルト制御、又はズーム制御を含むことを特
徴としている。また、請求項１０記載の発明は、請求項
１〜請求項９に記載の発明において、前記眼の撮影は、
最初にズームしない状態で顔を検出し、該撮影画像から
眼を検出し、眼の画像が画面全体となるようにカメラを
制御して撮影することを特徴としている。According to a ninth aspect of the invention, in the first to eighth aspects of the invention, the camera control includes pan control, tilt control, or zoom control of the camera. The invention according to claim 10 is the invention according to any one of claims 1 to 9, wherein:
First, a face is detected without zooming, an eye is detected from the captured image, and the camera is controlled so that the image of the eye is the entire screen and the image is captured.
【００１３】請求項１１記載の発明は、請求項１〜請求
項１０に記載の発明において、前記眼の位置検出は、顔
の特徴及びサイズ、眼の位置及び特徴に関する一般人の
データを予めメモリに記録しておいて、当該入力装置使
用者独自のデータをメモリに記録されたデータと比較し
て、差異の大きなデータを当該使用者のデータとしてパ
ラメータ化し、これら等の一般人データ、パラメータ化
された個別データを利用してマッチング探索を行うこと
を特徴としている。According to an eleventh aspect of the present invention, in the first to tenth aspects of the present invention, the eye position detection is performed by storing in advance a memory of general person data relating to facial features and sizes, eye positions and features. After recording, the data unique to the user of the input device was compared with the data recorded in the memory, and the data with a large difference was parameterized as the data of the user. The feature is that a matching search is performed using individual data.
【００１４】請求項１２記載の発明は、請求項１〜請求
項１１に記載の発明において、前記眼の撮影は片眼を撮
影し、該片眼における眼の位置、虹彩の位置、カメラの
向き等から視線方向を決定することを特徴としている。According to a twelfth aspect of the present invention, in the first to eleventh aspects of the present invention, the eye is photographed by photographing one eye, and the position of the eye in the one eye, the position of the iris, and the orientation of the camera. The feature is that the line-of-sight direction is determined from the above.
【００１５】請求項１３記載の発明は、請求項１〜請求
項１２に記載の発明において、前記表示装置におけるデ
ータ入力の表示は、予め表示範囲と表示間隔を定め、装
置使用者に注視実験を行って、その結果に基づくキャリ
ブレーションにより修正可能にしたことを特徴としてい
る。According to a thirteenth aspect of the present invention, in the first to the twelfth aspect of the present invention, a display range and a display interval are set in advance for display of data input on the display device, and a gaze experiment is performed on the device user. It is characterized in that it can be corrected by calibration based on the result.
【００１６】請求項１４記載の発明は、請求項１〜請求
項１３に記載の発明において、前記カメラ撮影は、１台
のビデオカメラを利用したことを特徴としている。ま
た、 請求項１５記載の発明は、請求項１〜請求項１３
に記載の発明において、前記カメラ撮影は、２台のビデ
オカメラを利用して一方のビデオカメラで顔の撮影を
し、他方のビデオカメラで眼を撮影し、両者の撮影画像
による相互のカメラ制御を可能にしたことを特徴として
いる。The fourteenth aspect of the present invention is characterized in that, in the first to thirteenth aspects of the present invention, one video camera is used for photographing with the camera. Further, the invention of claim 15 relates to claim 1 to claim 13.
In the invention described in [3], the camera shooting uses two video cameras, one of the video cameras shoots a face, the other video camera shoots an eye, and the two cameras control the mutual camera control. It is characterized by making it possible.
【００１７】請求項１６記載の発明は、請求項１〜請求
項１５に記載の発明において、前記入力データ群の表示
は、該入力データ群の一部を中央に表示し、左右両側に
スクロールバーを表示して、全入力データの表示を可能
にしたことを特徴としている。According to a sixteenth aspect of the present invention, in the inventions of the first to fifteenth aspects, the input data group is displayed by displaying a part of the input data group in the center and scroll bars on the left and right sides. Is displayed and all input data can be displayed.
【００１８】請求項１７記載の発明は、請求項１〜請求
項１６に記載の発明において、前記データ入力方法は、
複数種類の入力データ群を記憶しておいて、装置使用者
の目的に応じて入力データ群を選択可能にしたことを特
徴としている。また、請求項１８記載の発明は、請求項
１７に記載の発明において、前記複数の種類には電話、
Ｅメールを含むことを特徴とする。The invention according to claim 17 is the invention according to any one of claims 1 to 16, wherein the data input method is
It is characterized in that a plurality of kinds of input data groups are stored and the input data groups can be selected according to the purpose of the device user. The invention according to claim 18 is the invention according to claim 17, wherein the plurality of types are telephones,
It is characterized by including an email.
【００１９】請求項１９に記載の発明は、メニュー又は
キーボード等の入力データ群を表示する表示装置と、該
装置使用者の顔及び眼の部分を撮影するビデオカメラ
と、該撮影画像から該使用者の視線方向を決定し、該視
線方向に位置する入力データを決定する機能を有するパ
ソコンとを具備したことを特徴としている。請求項２０
記載の発明は、請求項１９に記載の発明において、前記
ビデオカメラは小型カメラで構成し、該カメラを前記パ
ソコンの上側又は下側に設けたことを特徴とする。According to a nineteenth aspect of the present invention, a display device for displaying an input data group such as a menu or a keyboard, a video camera for photographing the face and eyes of the user of the device, and the used image from the photographed image are used. And a personal computer having a function of determining the line-of-sight direction of the person and determining the input data located in the line-of-sight direction. Claim 20
According to a nineteenth aspect of the present invention, in the nineteenth aspect of the present invention, the video camera is a small camera, and the camera is provided above or below the personal computer.
【００２０】[0020]
【発明の実施形態】図１は本発明を利用した実施形態の
ブロック図を示す。図２は実施形態の装置を使用してい
る状態を示す。図３はパソコンの機能ブロック図を示
す。以下、図面を参照してこの発明の実施形態について
説明する。DETAILED DESCRIPTION OF THE INVENTION FIG. 1 shows a block diagram of an embodiment utilizing the present invention. FIG. 2 shows a state in which the apparatus of the embodiment is used. FIG. 3 shows a functional block diagram of a personal computer. Embodiments of the present invention will be described below with reference to the drawings.
【００２１】図１において、ビデオカメラ１０は装置使
用者の顔、眼等を撮影する。なお、ビデオカメラ１０は
小型カメラを利用することが望ましい。撮影した画像は
パソコン２０に送出される。パソコン２０から様々な表
示信号がディスプレイ４０に送られ、メニュー群（又は
入力データ群）が表示される。装置使用者４５はディス
プレイ４０に表示されたメニュー画像を見ながら特定の
メニューを注視することによりメニューを選択する。な
お、メニューとしては数値、文字等を表示したキーボー
ドや種々の操作を表した簡潔な図等が含まれる。以下、
これらをまとめて入力データ（又は入力データ群）とい
うことにする。装置使用者４５がメニューを注視してい
る状態の画像がビデオカメラ１０によって撮影され、パ
ソコン２０はこの撮影画像を解析して注視されたメニュ
ー内容（入力データ）を決定し、計算機や送信機器等の
外部機器４３の入力端末に出力する。In FIG. 1, a video camera 10 photographs the face, eyes, etc. of the user of the apparatus. The video camera 10 is preferably a small camera. The photographed image is sent to the personal computer 20. Various display signals are sent from the personal computer 20 to the display 40, and a menu group (or input data group) is displayed. The device user 45 selects a menu by gazing at a specific menu while looking at the menu image displayed on the display 40. It should be noted that the menu includes a keyboard displaying numerical values, characters, etc., and simple diagrams showing various operations. Less than,
These are collectively referred to as input data (or input data group). An image of a state in which the device user 45 is gazing at a menu is photographed by the video camera 10, and the personal computer 20 analyzes the photographed image to determine the gazed menu content (input data), and a computer, a transmitting device, etc. Output to the input terminal of the external device 43.
【００２２】図２は装置使用者４５がディスプレイ４０
を注視して入力データを選択している状況を示してい
る。図２では、ディスプレイ４０にキーボード４１が表
示されている。ビデオカメラ１０はディスプレイ４０の
頂部に取り付けられている。ビデオカメラ１０は装置使
用者４５の顔を撮影している。装置使用者４５はキーボ
ード４１の入力したいキーを次々に注視する。パソコン
２０が選択されているキーを決定する。なお、パソコン
２０は専用計算機で構成してもよいが、市販のパソコン
で構成することも可能である。In FIG. 2, the device user 45 displays the display 40.
Shows the situation where the user is gazing at and selecting the input data. In FIG. 2, a keyboard 41 is displayed on the display 40. The video camera 10 is attached to the top of the display 40. The video camera 10 photographs the face of the device user 45. The device user 45 gazes at the keys to be input on the keyboard 41 one after another. The personal computer 20 determines the selected key. The personal computer 20 may be a dedicated computer, but may be a commercially available personal computer.
【００２３】図３において、パソコン２０は主制御部２
１、バスライン２２、顔や眼の検出部２３、眼の追跡部
２５、カメラ制御部２７、画像処理部２８、視線方向決
定部３０，表示制御部３１、パラメータ部３３、キャリ
ブレーション部３４、出力制御部３５、判断部３７、記
憶部３８（恒久的記憶用）、３９（一時的記憶用）から
構成されている。なお、上記の各機能部はハードウエア
で構成することも一部は可能であるが、ソフトウエア
（プログラム）でも構成可能であり、ソフトウエアによ
って構成されている。また、パソコン２０は上記の機能
ブロックによって左端に示した外部機器と接続されてい
る。以下に、各機能部について説明する。In FIG. 3, the personal computer 20 is a main controller 2
1, bus line 22, face / eye detection unit 23, eye tracking unit 25, camera control unit 27, image processing unit 28, line-of-sight direction determination unit 30, display control unit 31, parameter unit 33, calibration unit 34, The output control unit 35, the determination unit 37, the storage unit 38 (for permanent storage), and 39 (for temporary storage). Note that each of the above functional units can be partially configured by hardware, but can also be configured by software (program) and is configured by software. The personal computer 20 is connected to the external device shown at the left end by the above functional blocks. Each functional unit will be described below.
【００２４】検出部２３は、装置使用者４５の顔をビデ
オカメラ１０の撮影画像から検出する。顔を検出する際
にはビデオカメラ１０のズーム拡大率を小さくしておい
て、顔全体を撮影し、撮影画像の背景から顔の部分を抽
出する。この際に、顔の特徴をデータベース化しておい
て、装置使用者の顔と比較し、マッチング計算により顔
の部分を検出する。マッチング計算では統計的学習法に
よる認識技術を利用することもできる。顔の検出はリア
ルタイムで行われる。また、装置使用者４５の顔を検出
する際に、ビデオカメラ１０のレンズ方向が正面を向い
た顔の撮影画像を利用する。これによって、顔の特徴が
明確に現れているために目の検出が容易になる。なお、
データベースは記憶装置３８に記憶されている。The detection unit 23 detects the face of the device user 45 from the image captured by the video camera 10. When a face is detected, the zoom magnification of the video camera 10 is set small, the entire face is photographed, and the face portion is extracted from the background of the photographed image. At this time, the features of the face are stored in a database, compared with the face of the device user, and the face portion is detected by matching calculation. In the matching calculation, a recognition technique based on a statistical learning method can be used. Face detection is done in real time. Further, when detecting the face of the device user 45, a photographed image of the face in which the lens direction of the video camera 10 faces the front is used. This facilitates eye detection because the facial features are clearly visible. In addition,
The database is stored in the storage device 38.
【００２５】次に、検出された顔から眼を検出する。眼
を検出する際には顔の特徴を示す一般的な顔データ（例
えば、眼、鼻、唇の形状と位置関係のデータ等）と眼デ
ータ（例えば、眼の両端の長さ、中央が広く両端が狭い
等の形状のデータ等）並びに装置使用者４５に特有な個
人的顔データ、眼データを予めデータベースとして記憶
しておく。顔のデータベースを利用して、眼の中心位置
を推定し、眼データベースとのマッチングにより眼を検
出する。Next, the eyes are detected from the detected face. When detecting an eye, general face data (for example, data on the shape and positional relationship of the eyes, nose, and lips) indicating facial features and eye data (for example, the length of both ends of the eye and the center are wide Data having a shape such as both ends being narrow) and personal face data and eye data peculiar to the device user 45 are stored in advance as a database. Using the face database, the center position of the eye is estimated, and the eye is detected by matching with the eye database.
【００２６】図４は眼（片眼）を表した図で、眼４６の
内側に虹彩４７があり、虹彩４７の内側に瞳孔（又は
瞳）４８がある。なお、瞳孔４８の中心は虹彩４７の中
心と一致している。眼４６の上側に眉４９がある。ま
た、眼４６の両端４６ａ、４６ｂの座標位置をＡ、Ｂと
し、虹彩４７の両端点４７ａ、４７ｂの座標位置をＰ、
Ｑとし、虹彩４７の上下端点４７ｃ、４７ｄの座標位置
をＲ、Ｓとする。眼の中心位置は点４６ａ、４６ｂの中
間点である。FIG. 4 is a diagram showing an eye (one eye). An iris 47 is inside the eye 46, and a pupil (or pupil) 48 is inside the iris 47. The center of the pupil 48 coincides with the center of the iris 47. Above the eyes 46 are eyebrows 49. Further, the coordinate positions of both ends 46a and 46b of the eye 46 are A and B, and the coordinate positions of both end points 47a and 47b of the iris 47 are P and
Let Q, and let R and S be the coordinate positions of the upper and lower end points 47c and 47d of the iris 47. The center position of the eye is the midpoint between the points 46a and 46b.
【００２７】追跡部２５は眼４６と虹彩４７の動きをリ
アルタイムで求める。マッチングの探索時間を短縮する
ために、現在の撮影画像を利用して次の撮影画像におけ
る眼４６の位置と虹彩４７の位置を求める。このため
に、眼４６又は虹彩４７の移動方向を推定し、推定点の
周りでのマッチングを求め、マッチングが最良となる点
を眼４６、虹彩４７の位置として決定する。眼の移動方
向の予測には線形予測、その他の予測方法を利用する。
マッチングは眼４６を表す領域のテクスチャのマッチン
グ（領域追跡法）、或いは特徴点のマッチング（点追跡
法）を利用して行う。The tracking unit 25 obtains the movements of the eye 46 and the iris 47 in real time. In order to shorten the matching search time, the position of the eye 46 and the position of the iris 47 in the next captured image are obtained using the current captured image. For this purpose, the moving direction of the eye 46 or the iris 47 is estimated, the matching around the estimated point is obtained, and the point where the matching is the best is determined as the position of the eye 46 or the iris 47. Linear prediction and other prediction methods are used to predict the moving direction of the eye.
The matching is performed by using the texture matching (region tracking method) of the region representing the eye 46 or the feature point matching (point tracking method).
【００２８】具体的には図５（Ａ）に示す手順によって
マッチング探索行う。即ち、次の画像は同一のズームで
推定点の周りのマッチングで最適なマッチングを求める
（Ｓ３１）。もし、眼の両端点が得られない場合は、図
５（Ｂ）に示すように、ズームを小さくして撮影範囲を
広げ、広げられた範囲の撮影画像に対して推定点の周り
のマッチング探索をする（Ｓ３２）。最適なマッチング
が得られたら、ビデオカメラ１０をパン、チルト制御し
て中心を移動すると共にズームを拡大して眼４６が画面
の中心で、しかも眼が画面全体となるようにズームを元
に戻す（Ｓ３３）。眼４６が得られたら、虹彩４７の位
置を求める（Ｓ３４）。Specifically, a matching search is performed according to the procedure shown in FIG. That is, for the next image, the optimum zoom is obtained by matching around the estimated point with the same zoom (S31). If both end points of the eye cannot be obtained, as shown in FIG. 5 (B), the zoom is reduced to widen the shooting range, and the matching search around the estimated point is performed for the shot image in the expanded range. (S32). When the optimum matching is obtained, the video camera 10 is panned and tilted to move the center and the zoom is expanded to restore the zoom so that the eyes 46 are in the center of the screen and the eyes are the entire screen. (S33). When the eye 46 is obtained, the position of the iris 47 is obtained (S34).
【００２９】カメラ制御部２７はカメラのパン（左右の
回転）、チルト（前後の回転）、ズーム（拡大率）の制
御を行う。カメラ制御部２７は眼４６（又は顔）がカメ
ラレンズの正面を向くようにパン、チルトの制御を行
う。また、眼４６の画像が撮影画像の画面全体となるよ
うに、パン、チルト、ズーム制御して眼４６を画面の中
心に来るように制御すると共に拡大率を制御する。The camera control section 27 controls the pan (rotation to the left and right), tilt (rotation to the front and back), and zoom (enlargement ratio) of the camera. The camera control unit 27 controls pan and tilt so that the eyes 46 (or face) face the front of the camera lens. Further, the pan, tilt, and zoom controls are performed so that the image of the eye 46 becomes the entire screen of the captured image, and the eye 46 is controlled to come to the center of the screen and the enlargement ratio is controlled.
【００３０】画像処理部２８は撮影画像の不要なノイズ
を消去し、照明の変化に対して補正などの処理を行う。
例えば、照明の変化に対してはＱ−イメージ法などを利
用してロバストな画像を得ることができる。The image processing unit 28 eliminates unnecessary noise in the photographed image and performs processing such as correction for changes in illumination.
For example, a robust image can be obtained by using the Q-image method or the like for changes in illumination.
【００３１】視線方向決定部３０は装置使用者が注視し
ているディスプレイ４０に表示された入力データ群の入
力データを決定するための演算を行う。この演算は眼４
６の点の位置座表Ａ、Ｂと虹彩の点の位置座表Ｐ、Ｑ、
Ｒ、Ｓを利用して視線方向を求め、カメラ制御部２７の
パン、チルト、ズーム等のデータに基づいて視線方向を
補正することにより行う。この視線方向と位置座標（Ａ
〜Ｓ）とビデオカメラの制御データとの関係は数式又は
テーブルを記憶装置３８にして記録しておく。更に、装
置使用者４５の特徴的な個人データに基づいた補正を行
ってもよい。視線方向決定の手順のフローチャートを図
６に示す。The line-of-sight direction determining unit 30 performs a calculation for determining the input data of the input data group displayed on the display 40 which the user of the apparatus is gazing at. This operation is eye 4
Position charts A and B of 6 points and position charts P and Q of iris points
This is performed by obtaining the line-of-sight direction using R and S, and correcting the line-of-sight direction based on the pan, tilt, and zoom data of the camera control unit 27. This line-of-sight direction and position coordinates (A
~ S) and the relation between the control data of the video camera and the formula or table are recorded in the storage device 38. Further, the correction may be performed based on the characteristic personal data of the device user 45. FIG. 6 shows a flowchart of the procedure for determining the line-of-sight direction.
【００３２】図６において、ステップＳ１１でズームを
最小にして装置使用者４５の顔を撮影する。ステップＳ
１２ではカメラ制御部２７によって、ビデオカメラ１０
をパン、チルト、ズーム等の制御をして眼の画像が画面
全体となるように制御する。ステップＳ１３では眼の撮
影する。ステップＳ１４では画像処理部２８で、照明の
明るさによる影響やノイズ等を除去する処理を行う。ス
テップＳ１５では眼の位置を検出する。ステップＳ１６
では虹彩４７の位置を検出する。ステップＳ１７では視
線方向決定部３０により、眼４６の位置データ、虹彩４
７の位置データ、ビデオカメラ１０の制御量から求めら
れる方向データに基づいて演算又は関係テーブルを利用
して視線方向を求める。ステップＳ１８では視線方向に
位置している文字、数字、絵等の入力データをカーソル
で点滅する。ステップＳ１９では判断部３７により、選
択条件が満たされているかどうかを検討する。満たされ
ている場合はステップＳ２０でその入力データが選択さ
れたとして確定し、そのデータを出力する。選択条件が
満たされていない場合及び要素の選択を継続する場合は
ステップＳ２２では眼の追跡部２５により、眼４６の動
きを予測し、探索して眼４６の位置を定める。以下ステ
ップＳ１２以降の手順を繰り返す。In FIG. 6, in step S11, the zoom is minimized and the face of the device user 45 is photographed. Step S
In 12, the video camera 10 is controlled by the camera control unit 27.
Is controlled by panning, tilting, zooming, and the like so that the eye image is displayed on the entire screen. In step S13, the eye is photographed. In step S14, the image processing unit 28 performs a process of removing the influence of illumination brightness, noise, and the like. In step S15, the position of the eye is detected. Step S16
Then, the position of the iris 47 is detected. In step S17, the line-of-sight direction determination unit 30 determines the position data of the eye 46, the iris 4
Based on the position data of No. 7 and the direction data obtained from the control amount of the video camera 10, the line-of-sight direction is obtained using calculation or a relation table. In step S18, the cursor blinks the input data such as characters, numbers and pictures located in the line-of-sight direction. In step S19, the determination unit 37 examines whether the selection condition is satisfied. If it is satisfied, the input data is determined as selected in step S20, and the data is output. If the selection condition is not satisfied or if the element selection is to be continued, in step S22, the eye tracking unit 25 predicts the movement of the eye 46 and searches to determine the position of the eye 46. The procedure after step S12 is repeated.
【００３３】表示制御部３１は主制御部２１からの指令
に基づいてディスプレイ４０に表示を行う。例えば、所
定の入力データ群（又はメニュー群）を表示し、選択さ
れた部分にカーソルの点滅表示等をする。また、キャリ
ブレーションを行うための表示も行う。出力制御部３５
は主制御部２１からの指令に基づいて他の計算機又は通
信機等の外部機器４３に入力データを出力する。The display control unit 31 displays on the display 40 based on a command from the main control unit 21. For example, a predetermined input data group (or menu group) is displayed, and a blinking display of the cursor or the like is performed on the selected portion. Also, a display for performing calibration is displayed. Output control unit 35
Outputs input data to an external device 43 such as another computer or a communication device based on a command from the main control unit 21.
【００３４】判断部３７は所定の条件が満足されている
かどうかを判断し、満たされている場合は決定を行う。
例えば、装置使用者４５が注視している入力データ（キ
ー、メニュー等）をディスプレイ４０にカーソルで点滅
表示し、注視が一定の時間を越えて同一であればその入
力データが選択されたとの決定を行う。The judging section 37 judges whether or not a predetermined condition is satisfied, and if it is satisfied, makes a decision.
For example, the input data (key, menu, etc.) that the device user 45 is gazing at is displayed by blinking with a cursor on the display 40, and if the gazing is the same over a certain time, it is determined that the input data has been selected. I do.
【００３５】パラメータ部３３は一般人のパラメータ登
録に加えて、装置使用者の特徴パラメータの検知し、登
録する。一般人の形状パラメータ、速度パラメータは予
め記憶装置３８に記録しておく。例えば、形状パラメー
タとして顔の大きさ、顔における眼の位置、眼の大きさ
等撮影画像から容易に眼４６の位置を検出可能にするパ
ラメータを選択する。速度パラメータとしては眼の移動
速度、入力データの選択、決定に関する速度パラメータ
を選択する。これらのパラメータは標準パラメータとし
て記憶装置３８に記憶する。次に、パラメータ部３３は
図７に示す手順で装置使用者４６の特徴パラメータとＩ
Ｄ番号を登録する。The parameter section 33 detects and registers the characteristic parameter of the user of the apparatus in addition to the parameter registration of the general public. The shape parameter and the speed parameter of the general person are recorded in the storage device 38 in advance. For example, as the shape parameter, parameters such as the size of the face, the position of the eyes on the face, the size of the eyes, and the like that can easily detect the position of the eyes 46 from the captured image are selected. As the speed parameter, the moving speed of the eye, the selection of input data, and the speed parameter regarding determination are selected. These parameters are stored in the storage device 38 as standard parameters. Next, the parameter unit 33 uses the procedure shown in FIG.
Register the D number.
【００３６】以下、図７に示す手順を説明する。まず、
ディスプレイ４０に新規使用であるか、２回目以降の使
用であるかを表示し、装置使用者に選択させる（Ｓ５
１）。２回目以降の使用者である場合はＩＤ番号を次々
と表示し、自分のＩＤ番号を選択させ、そのＩＤ番号を
記憶装置３９の作業域に入力する（Ｓ５２）。新規使用
である場合は、装置使用者の顔をビデオカメラ１０で撮
影し、その撮影画像から顔の大きさ等の形状パラメータ
を求め（Ｓ５３）、標準データと比較して（Ｓ５６）、
同一許容範囲にない場合はＩＤ番号と共にそのパラメー
タを記憶装置３８に記憶させる（Ｓ５７）。以下、眼の
移動速度、キーの選択速度を求め（Ｓ５４、Ｓ５５）、
こら等についても同様に行う。同一許容範囲にある場合
は登録番号を付して、その番号を記憶装置３８に登録
し、記憶装置３９の作業域に入力する（Ｓ５８）。The procedure shown in FIG. 7 will be described below. First,
It is displayed on the display 40 whether it is a new use or a second or later use, and the device user is allowed to select (S5).
1). If the user is the second or subsequent user, the ID numbers are displayed one after another, the user selects his or her own ID number, and the ID number is input to the work area of the storage device 39 (S52). If it is a new use, the face of the user of the apparatus is photographed by the video camera 10, shape parameters such as the size of the face are obtained from the photographed image (S53), and compared with standard data (S56).
If they are not within the same allowable range, the parameters are stored in the storage device 38 together with the ID number (S57). Hereinafter, the eye moving speed and the key selecting speed are calculated (S54, S55),
The same applies to these. If they are within the same allowable range, a registration number is attached, the number is registered in the storage device 38, and is input to the work area of the storage device 39 (S58).
【００３７】キャリブレーション部３４は装置使用者に
対して、注視位置関係を校正するための手順である。装
置使用者がディスプレイ上の注視している点は視線方向
等から決定されるが、装置使用者によっては利用する関
係式又はデータテーブルがそのまま適用できない場合が
ある。また、データの選定がスムースに行われるように
するために注視範囲や表示される要素間の距離を確認す
る必要がある。このために装置使用者毎に修正が必要な
場合も起こる。The calibration unit 34 is a procedure for calibrating the relationship of the gaze position for the user of the apparatus. The point the device user is gazing on the display is determined from the direction of the line of sight, etc., but depending on the device user, the relational expression or data table to be used may not be applied as it is. In addition, it is necessary to confirm the gaze range and the distance between displayed elements so that the data can be selected smoothly. For this reason, it may occur that a correction is required for each device user.
【００３８】キャリブレーションの具体例の手順を図８
に示す。図８において、ステップ６１では表示範囲の４
隅の点を順番に表示する。ステップＳ６２で眼の撮影画
像、カメラ制御データから視線方向を決定し、ディスプ
レイ画面上の点を決定する（ステップＳ６３）。ステッ
プＳ６４で両者の点が許容誤差の範囲にあるかどうかを
検討する。許容範囲にない場合は視線方向を定める関数
又はテーブルを補正する（ステップＳ６５）。許容範囲
にある場合は４隅の点から表示範囲を定める（ステップ
Ｓ６６）。ステップＳ６７では文字、数字、絵からなる
パターンで、それらの間隔の距離を異ならせた複数のサ
ンプルパターンを順番に表示する。表示されているパタ
ーンの個々の要素に対して視線方向を決定し、各要素を
識別する。識別が間違っている場合は決定条件又は視線
方向決定関数（又はテーブル）を補正する（ステップＳ
７０）。The procedure of a specific example of calibration is shown in FIG.
Shown in. In FIG. 8, in step 61, the display range is 4
Display the corner points in order. In step S62, the line-of-sight direction is determined from the captured image of the eye and the camera control data, and the point on the display screen is determined (step S63). In step S64, it is examined whether both points are within the allowable error range. If it is not within the allowable range, the function or table that determines the line-of-sight direction is corrected (step S65). If it is within the allowable range, the display range is determined from the four corner points (step S66). In step S67, a plurality of sample patterns, which are patterns composed of letters, numbers, and pictures, and have different distances between them are sequentially displayed. The gaze direction is determined for each element of the displayed pattern and each element is identified. If the identification is wrong, the decision condition or the gaze direction decision function (or table) is corrected (step S).
70).
【００３９】主制御部２１は上述した各部の機能を制御
すると共に主プログラムを実行する。プログラムは記憶
部３８に記憶されている。主プログラム例を図９、図１
０を参照して説明する。図９において、ステップＳ８１
では初期設定（ステップＳ８２）、キャリブレーション
（ステップＳ８３）を行う必要があるかどうかを判断す
る。必要がない場合はステップＳ８２、Ｓ８３を飛ばし
て作業（使用）目的のメニュー群を表示する（ステップ
Ｓ８４）。ステップＳ８４〜Ｓ８６はパソコン２０と使
用者のコミュニケーションを容易にするためのＧＵＩ
（グラフィカル・ユーザ・インタフェース）の機能を果
たす。The main control section 21 controls the functions of the above-mentioned sections and executes the main program. The program is stored in the storage unit 38. Example of main program
This will be described with reference to 0. In FIG. 9, step S81
Then, it is determined whether it is necessary to perform the initial setting (step S82) and the calibration (step S83). If it is not necessary, steps S82 and S83 are skipped and a menu group for work (use) is displayed (step S84). Steps S84 to S86 are GUIs for facilitating communication between the personal computer 20 and the user.
Performs the function of (graphical user interface).
【００４０】このメニュー表示は、例えば、電話、ＦＡ
Ｘ、Ｅメール、ワープロ等を表した絵（又は文字）を表
示する。ステップＳ８５では装置使用者が使用するメニ
ューを指定する。ステップＳ８６では選択されたメニュ
ーのテストパターン（ＴＰ）を表示する。テストパター
ンの１例を図１０（Ａ）に示す。装置使用者は表示サイ
ズを拡大、縮小の変更をすることができる（ステップＳ
８６）。ステップＳ８７では個別メニューの内容が表示
される。例えば、図１０（Ｂ）はワープロ（又はＥメー
ル）を選んだ場合の例である。画面中央にワープロの文
字（数字も含む）５１が表示され、両側にスクロール５
２、５３が表示される。ワープロの終了マーク５４が右
下に常時表示される。図１０（Ｃ）は個別メニューとし
て電話を選択した場合の表示例である。なお、表示する
言語の種類を選択するステップを設けてもよい。This menu is displayed, for example, by telephone or FA.
Display pictures (or characters) representing X, E-mail, word processor, etc. In step S85, the menu used by the device user is designated. In step S86, the test pattern (TP) of the selected menu is displayed. An example of the test pattern is shown in FIG. The device user can increase or decrease the display size (step S).
86). In step S87, the contents of the individual menu are displayed. For example, FIG. 10B is an example in the case where a word processor (or E-mail) is selected. A word processor character (including numbers) 51 is displayed in the center of the screen, and scrolls to both sides.
2, 53 are displayed. The word processor end mark 54 is always displayed in the lower right corner. FIG. 10C is a display example when a telephone is selected as an individual menu. A step of selecting the type of language to be displayed may be provided.
【００４１】以上に説明した実施形態においては、左右
の眼は左右対称であるとの仮定に基づいて、片眼の撮影
画像、顔の向きから視線方向を求めている。両方の眼の
撮影画像を利用することもできる。また、１台のビデオ
カメラを利用して制御しているが、２台のビデオカメラ
を利用して、１台は顔の撮影専用にし、他の１台を眼の
撮影専用に使用して双方を関連させて制御することも可
能である。In the embodiment described above, the line-of-sight direction is obtained from the photographed image of one eye and the direction of the face based on the assumption that the left and right eyes are bilaterally symmetrical. It is also possible to use captured images of both eyes. In addition, although one video camera is used for control, two video cameras are used, one is dedicated to face shooting and the other is dedicated to eye shooting. It is also possible to control in association with.
【００４２】以上に説明したように、本実施形態によれ
ば装置使用者は頭部に特別な機器や装置を装着する必要
がないので、装置の使用で煩わしさがなくなるという効
果が得られる。この結果、長時間の使用に対してストレ
スが溜まりにくいという効果が得られる。As described above, according to the present embodiment, the user of the apparatus does not need to wear any special equipment or device on his head, and therefore, there is an advantage that the user does not have to worry about using the apparatus. As a result, it is possible to obtain an effect that stress is unlikely to be accumulated in long-term use.
【００４３】以上、この発明の実施形態、実施例を図面
により詳述してきたが、具体的な構成はこの実施例に限
られるものではなく、この発明の要旨を逸脱しない範囲
の設計の変更等があってもこの発明に含まれる。Although the embodiments and examples of the present invention have been described in detail above with reference to the drawings, the specific configuration is not limited to the examples, and changes in design within the scope not departing from the gist of the present invention. Even this is included in this invention.
【００４４】[0044]
【発明の効果】以上説明したように、この発明の構成に
よれば、装置使用者は頭部に特別な機器や装置を装着す
る必要がないので、装置の使用で煩わしさがなくなると
いう効果が得られる。この結果、長時間の使用に対して
ストレスが溜まりにくいという効果が得られる。As described above, according to the configuration of the present invention, the user of the apparatus does not need to wear any special equipment or device on his / her head, so that there is no need to worry about using the apparatus. can get. As a result, it is possible to obtain an effect that stress is unlikely to be accumulated in long-term use.
【図１】 本発明の実施形態の構成を示す。FIG. 1 shows a configuration of an embodiment of the present invention.
【図２】 本実施形態の装置を使用している状態を示
す。FIG. 2 shows a state in which the device of this embodiment is used.
【図３】 上記装置の機能的ブロック図を示す。FIG. 3 shows a functional block diagram of the above device.
【図４】 眼の構成を示す。FIG. 4 shows the configuration of the eye.
【図５】 眼の位置等を予測する手続きを示すフローチ
ャートである。FIG. 5 is a flowchart showing a procedure for predicting the position of an eye and the like.
【図６】 入力データを決定する手順示すフローチャー
トである。FIG. 6 is a flowchart showing a procedure for determining input data.
【図７】 視線方向決定の手順示すフローチャートであ
る。FIG. 7 is a flowchart showing a procedure for determining a line-of-sight direction.
【図８】 キャリブレーションの手順示すフローチャー
トである。FIG. 8 is a flowchart showing a procedure of calibration.
【図９】 主制御部の手続きを示すフローチャートであ
る。FIG. 9 is a flowchart showing a procedure of a main control unit.
【図１０】 （Ａ）はテストパターンの表示例を示し、
（Ｂ）及び（Ｃ）は入力データ群の表示例を示す。FIG. 10A shows a display example of a test pattern,
(B) and (C) show display examples of the input data group.
【図１１】 従来装置を示す。FIG. 11 shows a conventional device.
【図１２】 従来の方法のアルゴリズムを示す。FIG. 12 shows an algorithm of a conventional method.
１０ ビデオカメラ ２０ パソコン ２１ 主制御部 ２２ バスライン ２３ 顔・眼の検出部 ２５ 眼の追跡部 ２７ カメラ制御部 ２８ 画像処理部 ３０ 視線方向決定部 ３１ 表示制御部 ３３ パラメータ部 ３４ キャリブレーション部 ３７ 判断部 ３８、３９ 記憶装置 ４０ ディスプレイ（表示装置） ４５ 装置使用者 ４６ 眼 ４７ 虹彩 10 video cameras 20 personal computers 21 Main controller 22 bus line 23 Face / eye detector 25 eye tracking part 27 Camera control unit 28 Image processing unit 30 Gaze direction determining unit 31 Display control unit 33 Parameter part 34 Calibration section 37 Judgment Department 38, 39 storage device 40 Display (display device) 45 Device user 46 eyes 47 Iris
───────────────────────────────────────────────────── フロントページの続き (72)発明者 鈴木 一史 東京都渋谷区広尾５−19−９広尾ＯＮビル 株式会社ゲン・テック内 (72)発明者 市橋 敬男 東京都渋谷区広尾５−19−９広尾ＯＮビル 株式会社ゲン・テック内 Ｆターム(参考） 5B057 BA02 DA07 DA08 DA16 DB02 DB09 DC05 DC08 DC09 DC36 5B087 AA09 CC26 DD03 5L096 CA02 FA69 JA11 ─────────────────────────────────────────────────── ─── Continued front page (72) Inventor Kazushi Suzuki Hiroo ON Building 5-19-9 Hiroo, Shibuya-ku, Tokyo Gen Tech Co., Ltd. (72) Inventor Takao Ichihashi Hiroo ON Building 5-19-9 Hiroo, Shibuya-ku, Tokyo Gen Tech Co., Ltd. F-term (reference) 5B057 BA02 DA07 DA08 DA16 DB02 DB09 DC05 DC08 DC09 DC36 5B087 AA09 CC26 DD03 5L096 CA02 FA69 JA11
Claims (20)
群を表示装置で表示し、該装置使用者の眼の部分をカメ
ラで撮影し、該撮影画像から該使用者の視線方向を決定
し、該視線方向に位置する入力データを決定し、決定さ
れた入力データを外部機器等に出力することを特徴とす
るデータ入力方法。1. An input data group such as a menu or a keyboard is displayed on a display device, a part of the eyes of the user of the device is photographed by a camera, and the line-of-sight direction of the user is determined from the photographed image. A method for inputting data, comprising determining input data positioned in a direction and outputting the determined input data to an external device or the like.
き、撮影画像中の眼の位置及び虹彩の位置から求めるこ
とを特徴とする請求項１に記載のデータ入力方法2. The data input method according to claim 1, wherein the line-of-sight direction is obtained from the orientation of the face of the device user, the position of the eyes and the position of the iris in the captured image.
装置使用者の顔と表示装置との間の距離と視線方向から
求めることを特徴とする請求項１又は請求項２の何れか
１に記載のデータ入力方法。3. The input data located in the line-of-sight direction is
The data input method according to claim 1, wherein the data input method is obtained from the distance between the face of the device user and the display device and the line-of-sight direction.
して、顔の向きを一定にしたことを特徴とする請求項２
に記載のデータ入力方法。4. The gaze direction is such that the face of the device user is fixed and the face direction is fixed.
Data entry method described in.
向が前記使用者の顔に向くように制御して、該制御量か
ら求めることを特徴とする請求項１〜請求項４の何れか
１に記載のデータ入力方法。5. The face orientation is determined from the control amount by controlling the lens direction of the camera so as to face the user's face. The data input method described in 1.
置に該当する入力データをカーソル等の手段により表示
して指定し、該表示位置が一定時間以上同一入力データ
上に留まっていた場合に該入力データが選択されたもの
として決定することを特徴とする請求項１〜請求項５の
何れか１に記載のデータ入力方法。6. The input data is determined when the input data corresponding to the obtained position is displayed and designated by means such as a cursor, and the display position remains on the same input data for a certain time or longer. The data input method according to any one of claims 1 to 5, wherein the input data is determined as selected.
を予測し、予測点の周囲からマッチング走査を開始し、
最良のマッチング位置を選択することを特徴とする請求
項１〜請求項６の何れか１に記載のデータ入力方法。7. The position of the eye or iris is predicted by predicting the position of the eye or iris, starting a matching scan from around the prediction point,
The data input method according to any one of claims 1 to 6, wherein the best matching position is selected.
ム間のデータから線形予測を行うことを特徴とする請求
項７に記載のデータ入力方法。8. The data input method according to claim 7, wherein the predicted point of the position is linearly predicted from data between frames of a captured image.
チルト制御、又はズーム制御を含むことを特徴とする請
求項１〜請求項８の何れか１に記載のデータ入力方法。9. The camera control is pan control of a camera,
9. The data input method according to claim 1, further comprising tilt control or zoom control.
状態で顔を検出し、該撮影画像から眼を検出し、眼の画
像が画面全体となるようにカメラを制御して撮影するこ
とを特徴とする請求項１〜請求項９の何れか１に記載の
データ入力方法。10. The photographing of the eye is performed by first detecting a face without zooming, detecting the eye from the photographed image, and controlling the camera so that the image of the eye is the entire screen. The data input method according to any one of claims 1 to 9, which is characterized.
イズ、眼の位置及び特徴に関する一般人のデータを予め
メモリに記録しておいて、当該入力装置使用者独自のデ
ータをメモリに記録されたデータと比較して、差異の大
きなデータを当該使用者のデータとしてパラメータ化
し、これら等の一般人データ、パラメータ化された個別
データを利用してマッチング探索を行うことを特徴とす
る請求項１〜請求項１０の何れか１に記載のデータ入力
方法。11. In the eye position detection, data of an ordinary person regarding a face feature and size, an eye position and feature is recorded in a memory in advance, and data unique to the input device user is recorded in the memory. The data having a large difference as compared with the data obtained as described above is parameterized as the data of the user, and the matching search is performed using the general user data and the parameterized individual data. The data input method according to claim 1.
における眼の位置、虹彩の位置、カメラの向き等から視
線方向を決定することを特徴とする請求項１〜請求項１
１の何れか１に記載のデータ入力方法。12. The photographing of the eye is performed by photographing one eye, and determining the line-of-sight direction from the position of the eye in the one eye, the position of the iris, the orientation of the camera, and the like.
1. The data input method according to any one of 1.
示は、予め表示範囲と表示間隔を定め、装置使用者に注
視実験を行って、その結果に基づくキャリブレーション
により修正可能にしたことを特徴とする請求項１〜請求
項１２の何れか１に記載のデータ入力方法。13. The display for data input on the display device is characterized in that a display range and a display interval are determined in advance, a gaze experiment is performed on the user of the device, and the data can be corrected by calibration based on the result. The data input method according to any one of claims 1 to 12.
ラを利用したことを特徴とする請求項１〜請求項１３の
何れか１に記載のデータ入力方法。14. The data input method according to claim 1, wherein one video camera is used for photographing with the camera.
ラを利用して一方のビデオカメラで顔の撮影をし、他方
のビデオカメラで眼を撮影し、両者の撮影画像による相
互のカメラ制御を可能にしたことを特徴とする請求項１
〜請求項１３の何れか１に記載のデータ入力方法。15. In the camera photographing, two video cameras are used to photograph a face by one of the video cameras and an eye is photographed by the other video camera, and mutual camera control is performed by the photographed images of both cameras. Claim 1 characterized by enabling
~ The data input method according to claim 13.
ータ群の一部を中央に表示し、左右両側にスクロールバ
ーを表示して、全入力データの表示を可能にしたことを
特徴とする請求項１１〜請求項１３の何れか１に記載の
データ入力方法。16. The display of the input data group is characterized in that a part of the input data group is displayed in the center and scroll bars are displayed on both left and right sides to enable display of all input data. The data input method according to any one of claims 11 to 13.
力データ群を記憶しておいて、装置使用者の目的に応じ
て入力データ群を選択可能にしたことを特徴とする請求
項１に記載のデータ入力方法。17. The data input method according to claim 1, wherein a plurality of types of input data groups are stored, and the input data groups can be selected according to the purpose of the device user. Data input method.
含むことを特徴とする請求項１７に記載のデータ入力方
法。18. The data input method according to claim 17, wherein the plurality of types include telephone and email.
タ群を表示する表示装置と、該装置使用者の顔及び眼の
部分を撮影するビデオカメラと、該撮影画像から該使用
者の視線方向を決定し、該視線方向に位置する入力デー
タを決定する機能を有するパソコンとを具備したことを
特徴とするデータ入力装置。19. A display device for displaying a group of input data such as a menu or a keyboard, a video camera for photographing the face and eyes of the user of the device, and a gaze direction of the user is determined from the photographed image. And a personal computer having a function of determining input data located in the line-of-sight direction.
し、該カメラを前記パソコンの上側又は下側に設けたこ
とを特徴とする請求項１９に記載のデータ入力装置。20. The data input device according to claim 19, wherein the video camera is a small camera, and the camera is provided above or below the personal computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001391010A JP2003196017A (en) | 2001-12-25 | 2001-12-25 | Data input method and device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001391010A JP2003196017A (en) | 2001-12-25 | 2001-12-25 | Data input method and device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003196017A true JP2003196017A (en) | 2003-07-11 |
Family
ID=27598725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001391010A Pending JP2003196017A (en) | 2001-12-25 | 2001-12-25 | Data input method and device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003196017A (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005100366A (en) * | 2003-08-18 | 2005-04-14 | Yamaguchi Univ | Visual line input communication method using eyeball motion |
| JP2006095208A (en) * | 2004-09-30 | 2006-04-13 | Sophia Co Ltd | Game machine |
| JP2006141862A (en) * | 2004-11-24 | 2006-06-08 | Saga Univ | Visual-axis direction specification system |
| JP2006338493A (en) * | 2005-06-03 | 2006-12-14 | Nippon Telegr & Teleph Corp <Ntt> | Method, device, and program for detecting next speaker |
| JP2007121489A (en) * | 2005-10-26 | 2007-05-17 | Nec Corp | Portable display device |
| WO2007058325A1 (en) * | 2005-11-17 | 2007-05-24 | Aisin Seiki Kabushiki Kaisha | Parking assisting device and parking assisting method |
| JP2007219578A (en) * | 2006-02-14 | 2007-08-30 | Omron Corp | Abnormality detection device and method, recording medium and program |
| JP2008015800A (en) * | 2006-07-06 | 2008-01-24 | Omron Corp | Device for detecting impersonation |
| KR100846210B1 (en) | 2006-12-05 | 2008-07-15 | 한국전자통신연구원 | System and method for actively inputting |
| CN100452837C (en) * | 2005-06-03 | 2009-01-14 | 乐金电子(中国)研究开发中心有限公司 | Display device and method using iris recognition photo position |
| JP2009015592A (en) * | 2007-07-04 | 2009-01-22 | Sharp Corp | Noncontact input device for mobile communication terminal, mobile communication terminal, and mail creation system |
| JP2009054101A (en) * | 2007-08-29 | 2009-03-12 | Saga Univ | Device, method and program for eye-gaze input |
| JP2009271851A (en) * | 2008-05-09 | 2009-11-19 | Lenovo Singapore Pte Ltd | Information processor, pointer display method thereof, and program executable by computer |
| WO2017104579A1 (en) * | 2015-12-17 | 2017-06-22 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device and operation reception method |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6476218A (en) * | 1987-09-18 | 1989-03-22 | Fujitsu Ltd | Menu selection and display control system |
| JPH02183811A (en) * | 1989-01-11 | 1990-07-18 | Aisin Seiki Co Ltd | Energization controller for electrical equipment |
| JPH0546309A (en) * | 1991-08-19 | 1993-02-26 | Fuji Xerox Co Ltd | Sight line recognizing device |
| JPH05298015A (en) * | 1992-04-23 | 1993-11-12 | Matsushita Electric Ind Co Ltd | Glance detecting system and information processing system |
| JPH06187091A (en) * | 1992-12-21 | 1994-07-08 | Kokusai Electric Co Ltd | Coordinate input device |
| JPH07191796A (en) * | 1993-12-27 | 1995-07-28 | Canon Inc | Sight line input system |
| JPH09204260A (en) * | 1996-01-24 | 1997-08-05 | Canon Inc | Method and device for inputting data and image pickup method using them and device therefor |
| JPH09251342A (en) * | 1996-03-15 | 1997-09-22 | Toshiba Corp | Device and method for estimating closely watched part and device, information display device/method using the same |
| JPH1020998A (en) * | 1996-06-28 | 1998-01-23 | Osaka Kagaku Gijutsu Center | Position indication device |
| JPH10133809A (en) * | 1996-06-25 | 1998-05-22 | Sun Microsyst Inc | Method and device for giving target trace driving caption |
| JPH10214344A (en) * | 1997-01-31 | 1998-08-11 | Fujitsu Ltd | Interactive display device |
| JPH10275237A (en) * | 1997-03-31 | 1998-10-13 | Denso Corp | Image recognition method and image information encoding method |
| JPH11175246A (en) * | 1997-12-12 | 1999-07-02 | Toshiba Corp | Sight line detector and method therefor |
| JPH11296304A (en) * | 1998-04-10 | 1999-10-29 | Ricoh Co Ltd | Screen display inputting device and parallax correcting method |
| JP2000030065A (en) * | 1998-07-14 | 2000-01-28 | Toshiba Corp | Pattern recognizing device and its method |
| JP2000113186A (en) * | 1998-10-01 | 2000-04-21 | Mitsubishi Electric Inf Technol Center America Inc | System and method for classifying gazing direction |
| JP2001005973A (en) * | 1999-04-20 | 2001-01-12 | Atr Media Integration & Communications Res Lab | Method and device for estimating three-dimensional posture of person by color image |
| JP2001043387A (en) * | 1999-05-26 | 2001-02-16 | Matsushita Electric Works Ltd | Device and method for processing image |
| JP2001222352A (en) * | 2000-02-10 | 2001-08-17 | Sharp Corp | Data display device, data display method and machine readable recording medium in which program to realize the method is recorded |
-
2001
- 2001-12-25 JP JP2001391010A patent/JP2003196017A/en active Pending
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6476218A (en) * | 1987-09-18 | 1989-03-22 | Fujitsu Ltd | Menu selection and display control system |
| JPH02183811A (en) * | 1989-01-11 | 1990-07-18 | Aisin Seiki Co Ltd | Energization controller for electrical equipment |
| JPH0546309A (en) * | 1991-08-19 | 1993-02-26 | Fuji Xerox Co Ltd | Sight line recognizing device |
| JPH05298015A (en) * | 1992-04-23 | 1993-11-12 | Matsushita Electric Ind Co Ltd | Glance detecting system and information processing system |
| JPH06187091A (en) * | 1992-12-21 | 1994-07-08 | Kokusai Electric Co Ltd | Coordinate input device |
| JPH07191796A (en) * | 1993-12-27 | 1995-07-28 | Canon Inc | Sight line input system |
| JPH09204260A (en) * | 1996-01-24 | 1997-08-05 | Canon Inc | Method and device for inputting data and image pickup method using them and device therefor |
| JPH09251342A (en) * | 1996-03-15 | 1997-09-22 | Toshiba Corp | Device and method for estimating closely watched part and device, information display device/method using the same |
| JPH10133809A (en) * | 1996-06-25 | 1998-05-22 | Sun Microsyst Inc | Method and device for giving target trace driving caption |
| JPH1020998A (en) * | 1996-06-28 | 1998-01-23 | Osaka Kagaku Gijutsu Center | Position indication device |
| JPH10214344A (en) * | 1997-01-31 | 1998-08-11 | Fujitsu Ltd | Interactive display device |
| JPH10275237A (en) * | 1997-03-31 | 1998-10-13 | Denso Corp | Image recognition method and image information encoding method |
| JPH11175246A (en) * | 1997-12-12 | 1999-07-02 | Toshiba Corp | Sight line detector and method therefor |
| JPH11296304A (en) * | 1998-04-10 | 1999-10-29 | Ricoh Co Ltd | Screen display inputting device and parallax correcting method |
| JP2000030065A (en) * | 1998-07-14 | 2000-01-28 | Toshiba Corp | Pattern recognizing device and its method |
| JP2000113186A (en) * | 1998-10-01 | 2000-04-21 | Mitsubishi Electric Inf Technol Center America Inc | System and method for classifying gazing direction |
| JP2001005973A (en) * | 1999-04-20 | 2001-01-12 | Atr Media Integration & Communications Res Lab | Method and device for estimating three-dimensional posture of person by color image |
| JP2001043387A (en) * | 1999-05-26 | 2001-02-16 | Matsushita Electric Works Ltd | Device and method for processing image |
| JP2001222352A (en) * | 2000-02-10 | 2001-08-17 | Sharp Corp | Data display device, data display method and machine readable recording medium in which program to realize the method is recorded |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005100366A (en) * | 2003-08-18 | 2005-04-14 | Yamaguchi Univ | Visual line input communication method using eyeball motion |
| JP2006095208A (en) * | 2004-09-30 | 2006-04-13 | Sophia Co Ltd | Game machine |
| JP4640926B2 (en) * | 2004-09-30 | 2011-03-02 | 株式会社ソフイア | Game machine |
| JP2006141862A (en) * | 2004-11-24 | 2006-06-08 | Saga Univ | Visual-axis direction specification system |
| JP4654434B2 (en) * | 2004-11-24 | 2011-03-23 | 国立大学法人佐賀大学 | Gaze direction identification system |
| CN100452837C (en) * | 2005-06-03 | 2009-01-14 | 乐金电子(中国)研究开发中心有限公司 | Display device and method using iris recognition photo position |
| JP2006338493A (en) * | 2005-06-03 | 2006-12-14 | Nippon Telegr & Teleph Corp <Ntt> | Method, device, and program for detecting next speaker |
| JP4585380B2 (en) * | 2005-06-03 | 2010-11-24 | 日本電信電話株式会社 | Next speaker detection method, apparatus, and program |
| JP2007121489A (en) * | 2005-10-26 | 2007-05-17 | Nec Corp | Portable display device |
| WO2007058325A1 (en) * | 2005-11-17 | 2007-05-24 | Aisin Seiki Kabushiki Kaisha | Parking assisting device and parking assisting method |
| JPWO2007058325A1 (en) * | 2005-11-17 | 2009-05-07 | アイシン精機株式会社 | Parking assistance device and parking assistance method |
| JP4697230B2 (en) * | 2005-11-17 | 2011-06-08 | アイシン精機株式会社 | Parking assistance device and parking assistance method |
| US8140209B2 (en) | 2005-11-17 | 2012-03-20 | Aisin Seiki Kabushiki Kaisha | Parking assisting device and parking assisting method |
| JP2007219578A (en) * | 2006-02-14 | 2007-08-30 | Omron Corp | Abnormality detection device and method, recording medium and program |
| JP2008015800A (en) * | 2006-07-06 | 2008-01-24 | Omron Corp | Device for detecting impersonation |
| KR100846210B1 (en) | 2006-12-05 | 2008-07-15 | 한국전자통신연구원 | System and method for actively inputting |
| JP2009015592A (en) * | 2007-07-04 | 2009-01-22 | Sharp Corp | Noncontact input device for mobile communication terminal, mobile communication terminal, and mail creation system |
| JP2009054101A (en) * | 2007-08-29 | 2009-03-12 | Saga Univ | Device, method and program for eye-gaze input |
| JP2009271851A (en) * | 2008-05-09 | 2009-11-19 | Lenovo Singapore Pte Ltd | Information processor, pointer display method thereof, and program executable by computer |
| WO2017104579A1 (en) * | 2015-12-17 | 2017-06-22 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device and operation reception method |
| JP2017111669A (en) * | 2015-12-17 | 2017-06-22 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing apparatus and operation reception method |
| US10620791B2 (en) | 2015-12-17 | 2020-04-14 | Sony Interactive Entertainment Inc. | Information processing apparatus and operation reception method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104331168B (en) | Display adjusting method and electronic equipment | |
| JP6809226B2 (en) | Biometric device, biometric detection method, and biometric detection program | |
| JP4377472B2 (en) | Face image processing device | |
| US8831282B2 (en) | Imaging device including a face detector | |
| JP4877762B2 (en) | Facial expression guidance device, facial expression guidance method, and facial expression guidance system | |
| EP2336949B1 (en) | Apparatus and method for registering plurality of facial images for face recognition | |
| JP2003196017A (en) | Data input method and device | |
| KR20050085583A (en) | Expression invariant face recognition | |
| JP2002351603A (en) | Portable information processor | |
| JP2004220376A (en) | Security management method and system, program, and recording medium | |
| JP2007265125A (en) | Content display | |
| CN109782913A (en) | A kind of method and device that control screen content is shown | |
| CN109600555A (en) | A kind of focusing control method, system and photographing device | |
| JP4206053B2 (en) | User interface device and user interface program | |
| JP3657463B2 (en) | Motion recognition system and recording medium on which motion recognition program is recorded | |
| CN110868538A (en) | Method and electronic equipment for recommending shooting posture | |
| JP2005149370A (en) | Imaging device, personal authentication device and imaging method | |
| CN109328355A (en) | Method and system for intelligent group portrait | |
| JP2009063636A (en) | Display device | |
| TWI397024B (en) | Method for image auto-selection and computer system | |
| JP4487247B2 (en) | Human image search device | |
| JP5242827B2 (en) | Face image processing apparatus, face image processing method, electronic still camera, digital image processing apparatus, and digital image processing method | |
| JP2004021870A (en) | Mobile telephone with line-of-sight input function | |
| JP5044664B2 (en) | Human image search device | |
| KR101247780B1 (en) | mobile phone with eyeball sensing function and display processing method there of |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041020 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050228 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20060922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070724 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071204 |