JP2003280805A - Data inputting device - Google Patents
Data inputting deviceInfo
- Publication number
- JP2003280805A JP2003280805A JP2002086521A JP2002086521A JP2003280805A JP 2003280805 A JP2003280805 A JP 2003280805A JP 2002086521 A JP2002086521 A JP 2002086521A JP 2002086521 A JP2002086521 A JP 2002086521A JP 2003280805 A JP2003280805 A JP 2003280805A
- Authority
- JP
- Japan
- Prior art keywords
- data
- input device
- pointer
- data input
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、計算機又は通信
機等のデータ処理機械へのデータ入力装置の技術分野に
属する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention belongs to the technical field of a data input device for a data processing machine such as a computer or a communication device.
【０００２】[0002]
【従来の技術】従来からデータを入力する入力装置とし
てはマウス、トラックボール又はキーボードなどが一般
的に使用されている。しかし、これらの入力装置は指先
を使用するために手の不自由な人には使用が困難であ
る。そこで、特殊な眼鏡を装着してデータを入力する入
力装置も提案されたが、特殊な装置を装着する必要があ
るために利用者には煩わしいという問題点が指摘されて
いる。近年、新しい技術としてディスプレイ上のポイン
タを利用者の体の一部を移動することによって操作でき
る装置が開発されている。2. Description of the Related Art Conventionally, a mouse, a trackball or a keyboard has been generally used as an input device for inputting data. However, these input devices are difficult to use for people with handicap because they use their fingertips. Therefore, an input device for inputting data by wearing special glasses has been proposed, but it has been pointed out that the user is troublesome because the special device needs to be mounted. In recent years, as a new technology, a device has been developed that can operate a pointer on a display by moving a part of a user's body.
【０００３】このような装置としては、例えば公開特許
公報、平７―９３０８９号に開示されている画像編集装
置の技術がある。図５はこの装置の概略の説明図で、利
用者の鼻の移動とポインタの移動の対比を示している。
即ち、図（Ａ）はビデオカメラ１０２に撮影された撮影
画像上における利用者の鼻の現在位置４０１から移動先
の位置４０２（座標Ｘ１，Ｙ１）への移動を示し、図
（Ｂ）はディスプレイ１０３上のポインタの現在位置４
０４から移動先の位置４０５（座標ａｘ１、ａｙ１）へ
の移動を示す。この装置では、利用者の顔の一部（例え
ば鼻）や利用者が身に付けた物をポインティングデバイ
スとして予め登録しておき、ディスプレイ上に表示され
たポインタを移動させる場合には、利用者がポインタを
移動させたい方向に鼻を移動させると、ビデオカメラで
撮影した鼻の動きからその移動方向と距離が検出され、
これに対応してディスプレイの画面上のポインタが移動
するように構成されている。As such an apparatus, for example, there is an image editing apparatus technology disclosed in Japanese Patent Laid-Open No. 7-93089. FIG. 5 is a schematic explanatory view of this device, showing a comparison between the movement of the user's nose and the movement of the pointer.
That is, FIG. 6A shows the movement of the user's nose from the current position 401 to the destination position 402 (coordinates X1, Y1) on the captured image captured by the video camera 102, and FIG. Current position 4 of the pointer on 103
The movement from 04 to the movement destination position 405 (coordinates ax1, ay1) is shown. In this device, when a part of the user's face (for example, nose) or an object worn by the user is registered in advance as a pointing device and the pointer displayed on the display is moved, Moves the pointer in the direction you want to move the pointer, the direction and distance of the movement is detected from the movement of the nose taken by the video camera,
In response to this, the pointer on the screen of the display is configured to move.
【０００４】[0004]
【発明が解決しようとする課題】しかし、上記従来装置
においては、ポインティングデバイスとして、例えば鼻
の動きを利用しているが、鼻の形状は個人差があり、し
かも見る角度によって著しく形状（見え方）が変化する
ために、パターンマッチングするために予め登録が必要
であるだけでなく、あらゆる角度からのデータを登録し
ておく必要がある。しかし、たくさんのパターンを登録
するとマッチングに長時間を要するという課題が生じ
る。更に、データ入力装置として使用する場合は、ディ
スプレイに表示された文字等を追跡し、文字等を選択
し、決定する必要がある。しかし、文字等を追跡する場
合は目の虹彩を動かすだけで十分な場合もあり、また、
鼻を意識して動かした場合にそこでポインタを一定時間
にわたって維持する等の動作を繰り返し行うと苦痛が伴
う。従って、選択された文字を決定するには他の手段を
利用しなければならないという不都合が生じる。However, in the above-mentioned conventional device, the movement of the nose, for example, is utilized as the pointing device, but the shape of the nose varies from person to person, and the shape is significantly different depending on the viewing angle. ) Changes, it is necessary not only to register in advance for pattern matching, but also to register data from all angles. However, if a lot of patterns are registered, there is a problem that matching takes a long time. Further, when used as a data input device, it is necessary to trace the characters and the like displayed on the display and select and determine the characters and the like. However, it may be sufficient to move the iris of the eye when tracking characters, etc.
When moving the nose consciously, it is painful to repeatedly perform operations such as maintaining the pointer for a certain period of time. Therefore, there is the inconvenience that another means must be used to determine the selected character.
【０００５】この発明は、上述のような背景の下になさ
れたもので、手（特に指）の不自由な利用者に対するデ
ータ等の入力装置として利用者に不自然な動きを強制し
ないで、しかも簡単な装置でデータ等の選択が容易且つ
確実にできるデータ入力装置を提供することを目的とし
ている。The present invention has been made under the background as described above, and does not force the user to perform an unnatural movement as an input device for data or the like for a user having a hand (particularly fingers). Moreover, it is an object of the present invention to provide a data input device capable of easily and surely selecting data and the like with a simple device.
【０００６】[0006]
【課題を解決するための手段】上記課題を解決するため
に本発明は以下の手段を採用している。即ち、請求項１
記載の発明は、ディスプレイ上にメニュウ群又はデータ
群を表示し、選択されたメニュウを実行し、選択された
データを計算機又は通信機等のデータ処理機械に入力す
る装置において、該ディスプレイ上に表示されているメ
ニュウ又はデータを追跡する利用者の目を撮影するビデ
オカメラと、該ビデオカメラにより撮影された撮影画像
から目の虹彩の位置を検出する画像処理部と、前記虹彩
の位置の動きに応じてポインタを移動させるポインタ制
御部と、前記ポインタの移動を追跡し、選択されるメニ
ュウ又はデータを決定する決定部と、該選択されたメニ
ュウを実行し、或いは選択されたデータを前記データ処
理機械に出力する実行部と、これら各部を制御するコン
トローラとを具備したことを特徴としている。To solve the above problems, the present invention employs the following means. That is, claim 1
The described invention is a device for displaying a menu group or data group on a display, executing a selected menu, and inputting the selected data to a data processing machine such as a computer or a communication device. A video camera that captures the user's eyes that track the displayed menus or data, an image processing unit that detects the position of the iris of the eye from the image captured by the video camera, and the movement of the position of the iris. A pointer control unit for moving the pointer in response to the movement of the pointer, a determination unit for tracking the movement of the pointer and determining a menu or data to be selected, and executing the selected menu, or processing the selected data by the data processing. It is characterized by including an execution unit for outputting to a machine and a controller for controlling these units.
【０００７】請求項２記載の発明は、請求項１に記載の
発明において、前記決定部は、選択されるメニュウ又は
データ上に前記ポインタが所定時間以上留まっていた場
合は該メニュウ又は該データを選択されたとみなし、確
認表示をすると共に、一定時間内に確認が取り消されな
い場合は該メニュウ又はデータを選択されたものと決定
することを特徴としている。According to a second aspect of the present invention, in the first aspect of the present invention, when the pointer remains on the selected menu or data for a predetermined period of time or more, the determination section stores the menu or the data. It is characterized in that it is regarded as selected, a confirmation display is made, and if the confirmation is not canceled within a predetermined time, the menu or data is determined as selected.
【０００８】請求項３に記載の発明は、請求項２に記載
の発明において、前記確認表示はポインタの点滅、ポイ
ンタの表示色の変更、或いは所定の文字又は図形等の表
示であることを特徴としている。According to a third aspect of the present invention, in the invention according to the second aspect, the confirmation display is blinking of the pointer, change of display color of the pointer, or display of a predetermined character or figure. I am trying.
【０００９】請求項４に記載の発明は、請求項３に記載
の発明において、前記確認の取り消しは、利用者が一定
早さ以上に一定回数以上の瞬きをすること、或いは、一
定早さ以上に虹彩を上下又は左右に往復移動させる行為
等であることを特徴としている。According to a fourth aspect of the present invention, in the invention according to the third aspect, the confirmation is canceled by the user blinking a predetermined number of times or more, or a certain number of times or more. It is characterized by the act of moving the iris up and down or left and right.
【００１０】請求項５に記載の発明は、請求項１〜請求
項４に記載の発明において、前記データが出力された場
合は、出力されたデータと過去の最も新しいデータの所
定個数を表示し、表示データを追加する場合は最初に表
示されたデータを消去し、表示データを取り消す場合は
最後に消去されたデータを復元して表示することを特徴
としている。According to a fifth aspect of the present invention, in the invention according to the first to fourth aspects, when the data is output, a predetermined number of the output data and the newest past data is displayed. When adding display data, the first displayed data is erased, and when the display data is canceled, the last erased data is restored and displayed.
【００１１】請求項６に記載の発明は、請求項１〜請求
項５に記載の発明において、前記ポインタ制御部は、前
記利用者の虹彩の移動方向並びに該方向の移動距離に従
って該ポインタを移動させることを特徴としている。According to a sixth aspect of the present invention, in the first to fifth aspects of the invention, the pointer control unit moves the pointer according to a moving direction of the iris of the user and a moving distance in the direction. The feature is to let.
【００１２】請求項７に記載の発明は、請求項１〜請求
項６に記載の発明において、前記ポインタ制御部は、前
記利用者の虹彩が撮影範囲から外れたとき警告を表示す
るようにしたことを特徴としている。According to a seventh aspect of the present invention, in the first to sixth aspects of the invention, the pointer control unit displays a warning when the iris of the user is out of the photographing range. It is characterized by that.
【００１３】請求項８に記載の発明は、請求項１〜請求
項７に記載の発明において、前記画像処理部は連続する
撮影画像から虹彩の位置を予測して、パターン或いは特
徴点のマッチングにより虹彩の位置を決定することを特
徴としている。According to an eighth aspect of the present invention, in the first to seventh aspects of the present invention, the image processing unit predicts the position of the iris from consecutive photographed images and performs pattern or feature point matching. It is characterized by determining the position of the iris.
【００１４】請求項９に記載の発明は、請求項１〜請求
項８に記載の発明において、前記データ入力装置は利用
者の顔が前記ディスプレイから所定の距離範囲に入った
ときに電源をオンにするように検出センサを設けたこと
を特徴としている。According to a ninth aspect of the present invention, in the first to eighth aspects of the invention, the data input device is turned on when the user's face enters a predetermined distance range from the display. It is characterized in that a detection sensor is provided as described above.
【００１５】請求項１０に記載の発明は、請求項１〜請
求項９に記載の発明において、前記メニュウ群はメール
の送受信、文書の作成等の使用目的、使用したい言語の
選択を含み、前記データ群は使用目的に応じた必要なデ
ータとスクロール機能を含むことを特徴としている。According to a tenth aspect of the present invention, in the inventions of the first to ninth aspects, the menu group includes the purpose of use such as sending and receiving mails, creating documents, and selection of a desired language. The data group is characterized by including necessary data according to the purpose of use and a scroll function.
【００１６】請求項１１に記載の発明は、請求項１〜請
求項１０に記載の発明において、前記データ入力装置は
該装置利用者の顔を支持する支持台を設けたことを特徴
としている。An eleventh aspect of the invention is characterized in that, in the first to tenth aspects of the invention, the data input device is provided with a support base for supporting the face of the user of the device.
【００１７】請求項１２に記載の発明は、請求項１〜請
求項１１に記載の発明において、前記撮影画像はカラー
画像であることを特徴としている。The twelfth aspect of the invention is characterized in that, in the first to eleventh aspects of the invention, the photographed image is a color image.
【００１８】請求項１３に記載の発明は、請求項１〜請
求項１２に記載の発明において、前記データ入力装置
は、出力データを記憶メモリに出力しておき、記憶メモ
リに記憶されたデータを編集した後に前記データ処理機
械に出力するようにしたことを特徴としている。According to a thirteenth aspect of the present invention, in the invention according to the first to twelfth aspects, the data input device outputs the output data to a storage memory and stores the data stored in the storage memory. It is characterized in that the data is output to the data processing machine after being edited.
【００１９】請求項１４に記載の発明は、請求項１〜請
求項１３に記載の発明において、前記データ入力装置
は、利用者が所定の動作をしたときに、前記ポインタを
前記ディスプレイの中心位置に戻すためのキャリブレー
ションモードを設けたことを特徴としている。これによ
ってポインタがディスプレイの表示範囲の端にある場合
や表示範囲から外れた場合も容易に中央に戻すことがで
き，ポインタの移動操作が容易になる。In a fourteenth aspect of the present invention based on the first to thirteenth aspects, the data input device causes the pointer to move the pointer to the center position of the display when the user performs a predetermined operation. It is characterized by the provision of a calibration mode for returning to. This makes it possible to easily return the pointer to the center even when the pointer is at the edge of the display range of the display or when the pointer is out of the display range, and the movement operation of the pointer becomes easy.
【００２０】請求項１５に記載の発明は、請求項１〜請
求項１４に記載の発明において、前記データ入力装置
は、前記選択されたデータを出力したときは該データに
対応する読み音又はその擬音を発音するようにしたこと
を特徴としている。According to a fifteenth aspect of the present invention, in the invention according to the first to fourteenth aspects, when the data input device outputs the selected data, a reading sound corresponding to the data or its reading sound is output. The feature is that it produces onomatopoeia.
【００２１】[0021]
【発明の実施形態】以下に図面を参照してこの発明の実
施形態について説明する。図１は本発明を実施した実施
形態の装置の全体的構成を示す図である。図１におい
て、ビデをカメラ１１は利用者１３の顔、特に目の部分
を撮影するビデオカメラである。利用者１３はディスプ
レイ１５に表示されているメニュウ又はデータを注視し
ながら追跡する。ディスプレイ１５にはポインタ１７が
表示されると共に、ポインタ１７は利用者１３が目の虹
彩を移動することによって、コンピュータ１９によって
移動するように制御されている。機械２１は利用者１３
が使用する計算機又は通信機等のデータ処理機械で、利
用者１３が決定したデータがコンピュータ１９を介して
出力される。文字１８はポインタ１７を利用して決定さ
れたデータ例を示す。支持台１６は利用者の顔の位置又
は姿勢を安定させるために顔を載せる台である。DETAILED DESCRIPTION OF THE INVENTION Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a diagram showing the overall configuration of an apparatus according to an embodiment of the present invention. In FIG. 1, the bidet camera 11 is a video camera for photographing the face of the user 13, especially the eye. The user 13 tracks while watching the menu or data displayed on the display 15. A pointer 17 is displayed on the display 15, and the pointer 17 is controlled by the computer 19 when the user 13 moves the iris of the eye. Machine 21 is user 13
The data determined by the user 13 is output via the computer 19 by a data processing machine such as a computer or a communication device used by the user. A character 18 indicates an example of data determined by using the pointer 17. The support stand 16 is a stand on which a user's face is placed in order to stabilize its position or posture.
【００２２】図２はコンピュータ１９の機能ブロック図
を示した図である。図２において、画像処理部３１は画
像補正ブロック３２と虹彩検出ブロック３３から構成さ
れている。ポインタ制御部３５は虹彩検出ブロック３３
によって決定された虹彩の位置（座標）からポインタ１
７の移動する位置を求めて、ポインタ１７を移動する。
決定部３６はポインタ１７が指示しているメニュウ又は
データが利用者の意図しているものかどうかを決定す
る。表示部３７はメニュウ又はデータの画面とポインタ
の画面及びその他のコントローラ３０によって決定され
た画面を重ね合わせて表示画面のデータを合成し、ディ
スプレイ１５に出力し、表示する。実行部３８は決定さ
れたメニュウを実行し、或いは決定されたデータをデー
タ処理機械２１（又はメモリ４０）に出力する。編集部
４２は出力データをメモリ４０に記憶しておいて、訂正
等をした後に、一括して処理装置２１に出力する。な
お、表示するメニュウ又はデータとしては、例えば、以
下のように定める。メニュウ群はメールの送受信、文書
の作成等の使用目的、使用したい言語の選択を含み、デ
ータ群は使用目的に応じた必要なデータとスクロール機
能を含むものとする。FIG. 2 is a diagram showing a functional block diagram of the computer 19. In FIG. 2, the image processing unit 31 is composed of an image correction block 32 and an iris detection block 33. The pointer control unit 35 uses the iris detection block 33.
Pointer 1 from the position (coordinates) of the iris determined by
The pointer 17 is moved to obtain the moving position of 7.
The determination unit 36 determines whether the menu or data pointed by the pointer 17 is intended by the user. The display unit 37 superimposes the menu or data screen, the pointer screen, and other screens determined by the controller 30, synthesizes the data on the display screen, and outputs the data to the display 15 for display. The execution unit 38 executes the determined menu or outputs the determined data to the data processing machine 21 (or the memory 40). The editing unit 42 stores the output data in the memory 40, corrects the output data, and then collectively outputs the output data to the processing device 21. The menu or data to be displayed is defined as follows, for example. The menu group includes the purpose of use such as sending and receiving mails, creating documents, and selection of the language to be used, and the data group includes necessary data and a scroll function according to the purpose of use.
【００２３】コントローラ３０は以上に述べたブロック
間の制御を行うと共に、後述するような種々の機能を行
う。また、コントローラ３０には利用者が接近したこと
を検出するセンサ２５を接続して、利用者が一定範囲内
に来たときに電源をオンにするようにしてもよい。な
お、コントローラ３０には記憶装置４０，４１が接続さ
れており、後述するように、種々の機能を実行し、判断
するためのプログラムやデータが記憶されている。以下
に各ブロックの機能を詳細に説明する。The controller 30 controls the blocks described above and also performs various functions as described later. Further, the controller 30 may be connected with a sensor 25 that detects that the user is approaching, and the power may be turned on when the user comes within a certain range. Storage devices 40 and 41 are connected to the controller 30 and store programs and data for executing and determining various functions as will be described later. The function of each block will be described in detail below.
【００２４】画像補正ブロック３２はビデオカメラ１１
により撮影した利用者１３の目を撮影した画像の補正処
理を行う。画像補正処理としては、例えば、明るさ及び
コントラストを一定レベルに揃えるとか、画像のブレを
修正して明確な画像にするとか、カラー画像の場合は特
定色（例えば肌色）のフィルタを使用して目の部分の抽
出を容易にする等の処理を行う。The image correction block 32 is used by the video camera 11
The correction process of the captured image of the eye of the user 13 is performed. Examples of image correction processing include adjusting brightness and contrast to a certain level, correcting blurring of an image to make a clear image, and using a filter of a specific color (for example, skin color) in the case of a color image. Processing such as facilitating extraction of the eye portion is performed.
【００２５】虹彩検出ブロック３３は、画像補正ブロッ
ク３２によって補正された画像から、パターンマッチン
グ等の手段によって虹彩を求め、その中心位置を計算に
より算出する。虹彩を求めるためのパターンマッチング
は、予め虹彩の移動する位置を予測しておいて、その予
測点を中心にしてパターンマッチングをおこなう。移動
位置の予測は、例えば、前の画像における位置とその前
の画像の位置から速度を求めて、これを利用した線形予
測をしてもよい。また、パターンマッチングの代わりに
複数の特徴点を利用したマッチングでもよい。The iris detection block 33 obtains an iris from the image corrected by the image correction block 32 by means such as pattern matching and calculates the center position of the iris. In the pattern matching for obtaining the iris, the position where the iris moves is predicted in advance, and the pattern matching is performed with the predicted point as the center. For the prediction of the moving position, for example, the velocity may be obtained from the position in the previous image and the position of the previous image, and linear prediction may be performed using this. Also, instead of pattern matching, matching using a plurality of feature points may be used.
【００２６】図３は本実施形態における実行プログラム
の手順を示すフローチャート図を示す。図３において、
ステップＳ１０は検出センサ２５が利用者の顔がディス
プレイ１５の設置場所に対して、所定範囲内に入ったこ
とを検出したときに電源をオンにする。本装置は、利用
者として手又は指先が不自由の者を予定しているので、
体の一部を所定位置に近接させたときに電源スイッチを
オンにするようにしている。ステップＳ２０では、メニ
ュウ又はデータの画面表示をする。最初の画面表示は、
例えば、使用目的を図示したメニュウ画面で、次々と指
示（選択）に従って異なるメニュウ画面画表示され、最
後に必要なデータ画面が表示される。これらのメニュウ
画面及びデータ画面の画面データはメモリ４０に記憶さ
れている。FIG. 3 is a flow chart showing the procedure of the execution program in this embodiment. In FIG.
In step S10, the power is turned on when the detection sensor 25 detects that the user's face is within the predetermined range with respect to the installation location of the display 15. This device is intended for users with hand or fingertip inconvenience, so
The power switch is turned on when a part of the body is brought close to a predetermined position. In step S20, a menu or data screen is displayed. The first screen display is
For example, on a menu screen showing the purpose of use, different menu screen images are displayed one after another according to instructions (selections), and finally, a necessary data screen is displayed. The screen data of these menu screens and data screens are stored in the memory 40.
【００２７】ステップＳ３０は次に指示するポインタ１
７の位置を決定するために、利用者の虹彩の移動位置を
求める。この手順を図４のフローチャートで示す。図４
において、ステップＳ３１はキャリブレーションで、メ
ニュウやデータ等をディスプレイ１５のどの位置まで
（例えば、画面隅のどの辺まで）使用できるか、又は各
メニュウ等の表示サイズ、及び表示されるメニュウ等の
間隔等やその他の使用条件を設定するためのキャリブレ
ーション（校正及び使用環境の設定）を行う。Step S30 is the pointer 1 to be designated next.
In order to determine the position of 7, the moving position of the user's iris is obtained. This procedure is shown in the flowchart of FIG. Figure 4
In step S31, the calibration is performed up to which position on the display 15 can be used (for example, to which side of the screen corner), or the display size of each menu and the interval between the displayed menus. Calibration (setting of calibration and use environment) for setting etc. and other use conditions.
【００２８】なお、キャリブレーションの１例として利
用者がディスプレイ１５の中心点を見ているときのポイ
ンタ１７の位置をディスプレイ１５の中心点に戻すよう
にしてもよい。即ち，利用者が所定動作、例えば所定時
間以上瞼（まぶた）を閉じたときに、これを検出し、図
示されていないスピーカが発音してキャリブレーション
モードに入り（ステップＳ３１に戻り）、同時にディス
プレイ１５の中心に注意を喚起する点（例えば、赤色の
点）を表示する。利用者が瞼を開けた後にこの喚起点を
見つめると（一定時間以上見ていると）ポインタ１７が
ディスプレイ１５の中心点に戻り、利用者の目を動かせ
る範囲が広がるようにしてもよい。これによって，ポイ
ンタ１７の位置がディスプレイ１５の端にある場合も容
易に中央に戻すことができ，ポインタ１７の移動が容易
となる。As an example of calibration, the position of the pointer 17 when the user is looking at the center point of the display 15 may be returned to the center point of the display 15. That is, when the user has closed the eyelid for a predetermined operation, for example, for a predetermined time or longer, this is detected, a speaker (not shown) produces a sound and enters the calibration mode (return to step S31), and the display is simultaneously displayed. A point that calls attention (for example, a red point) is displayed at the center of 15. The pointer 17 may return to the center point of the display 15 when the user looks at this arousing point after opening the eyelid (when looking at the point for a certain period of time or more), and the range in which the user's eyes can be moved may be expanded. Accordingly, even when the position of the pointer 17 is at the edge of the display 15, the pointer 17 can be easily returned to the center, and the movement of the pointer 17 is facilitated.
【００２９】ステップＳ３２はビデオカメラ１１によっ
て利用者の目を中心にした部分を撮影し、その撮影画像
の取り込みを行う。ステップＳ３３は画像補正ブロック
３２で前述したような画像の補正処理を行う。ステップ
Ｓ３４では虹彩検出ブロック３３で前述したような手順
又は処理によって虹彩の中心位置を求める。ステップＳ
３５では直前の撮影画像における虹彩の中心位置と、現
時点の虹彩の中心位置との座標変位（距離、方向）を求
める。座標変位に基づいてポインタ１７の移動位置を決
定する。例えば、ポインタ１７の移動位置としては座標
変位に比例させて移動位置を決定するようにしてもよ
い。ステップＳ３６では、求めたポインタ１７の移動位
置がディスプレイ１５の表示範囲にあるかどうかを判断
する。表示範囲にない場合は警告を表示する。表示範囲
にある場合はポインタの表示位置を移動する（ステップ
Ｓ３８）。なお、座標変位とポインタの移動位置との関
係、例えば比例係数等をキャリブレーションの使用環境
の設定で調整できるようにしておくと便利である。In step S32, the video camera 11 shoots a portion centering on the user's eyes and the captured image is captured. In step S33, the image correction block 32 performs the above-described image correction processing. In step S34, the iris detection block 33 determines the center position of the iris by the procedure or processing described above. Step S
At 35, the coordinate displacement (distance, direction) between the iris center position in the immediately preceding captured image and the current iris center position is obtained. The moving position of the pointer 17 is determined based on the coordinate displacement. For example, the moving position of the pointer 17 may be determined in proportion to the coordinate displacement. In step S36, it is determined whether the obtained moving position of the pointer 17 is within the display range of the display 15. If it is not within the display range, a warning is displayed. If it is within the display range, the display position of the pointer is moved (step S38). Note that it is convenient to be able to adjust the relationship between the coordinate displacement and the moving position of the pointer, for example, the proportionality coefficient by setting the environment for use of calibration.
【００３０】再び、図３において、ステップＳ４０は利
用者がこの装置の使用を終了するか否かを判断する。判
断方法としては、例えば、ディスプレイ１５に「終了」
等のメニュウ（又はデータ）を表示しておき、利用者が
これを指定して、決定された場合、或いは利用者が検出
センサ２５の検出範囲外に出た場合等でもよい。ステッ
プＳ５０ではディスプレイ中のポインタ１７の位置を移
動する。即ち、ポインタ制御部３５がポインタ１７の移
動位置を求め、表示部３７は現在のメニュウ（又はデー
タ）画面とポインタ１７を移動させた画像とを合成して
表示する。Referring again to FIG. 3, step S40 determines whether the user has finished using the device. As a determination method, for example, “End” is displayed on the display 15.
It is also possible to display a menu (or data) such as, and specify it by the user, or to decide, or when the user goes out of the detection range of the detection sensor 25. In step S50, the position of the pointer 17 on the display is moved. That is, the pointer control unit 35 obtains the moving position of the pointer 17, and the display unit 37 synthesizes and displays the current menu (or data) screen and the image to which the pointer 17 is moved.
【００３１】ステップＳ６０では、条件が充足されたか
どうかを検討する。条件としては、例えば、ポインタ１
７がメニュウ（又はデータ）を一定時間以上指示したま
まそこに留まっていた場合はそのメニュウ（又は文字）
が選択されたものとして確認表示をするようにしてもよ
い。確認表示としては、選択された文字を別の場所に表
示するとか、ポインタ１７の点滅、又は表示色の変更
（例えば、選択された文字又はポインタ１７を黒色から
緑色に変更して表示する）等であってもよい。確認表示
がなされた場合はその後の所定時間内に取り消しが行わ
れたときは上記の選択は取り消され、取り消しが行われ
なかった場合はそのメニュウ（又はデータ）を確定す
る。なお、確認表示は省略してもよい。また、確認表示
のための所定時間は調節できるようにしてもよい。確認
表示のための動作としては、例えば、確認の取り消し
は、利用者が一定早さ以上に一定回数以上の瞬きをする
こと、或いは、一定早さ以上に虹彩を上下又は左右に往
復移動させる行為等であってもよい。In step S60, it is examined whether or not the condition is satisfied. The condition is, for example, pointer 1
If 7 remains in the menu (or data) for a certain period of time and remains there, that menu (or character)
The confirmation display may be performed as if the was selected. As the confirmation display, the selected character is displayed in another place, the pointer 17 blinks, or the display color is changed (for example, the selected character or the pointer 17 is changed from black to green and displayed), etc. May be When the confirmation display is made, the above selection is canceled when the cancellation is made within a predetermined time thereafter, and when the cancellation is not made, the menu (or data) is confirmed. The confirmation display may be omitted. Further, the predetermined time for confirmation display may be adjustable. As an operation for confirmation display, for example, cancellation of confirmation is that the user blinks a certain number of times at a certain speed or more, or moves the iris up and down or left and right at a certain speed or more. And so on.
【００３２】条件が満たされていない場合（及び、確認
が取り消された場合）はステップＳ３０に戻り、条件が
満たされた場合（同時に確認の取り消しなしに所定時間
が経過した場合）はステップＳ７０を実行する。ステッ
プＳ７０では、メニュウが指定された場合は指定された
メニュウ内容によって、次のメニュウの表示又はデータ
テーブルの表示を行う。また、データテーブルが表示さ
れている場合にある文字が指定された場合は、指定され
た文字をデータ処理機械２１に出力すると共に、指定さ
れた文字データをディスプレイ上に表示する。なお、デ
ータ処理機械２１に直接出力する代わりに、メモリ４０
に記憶しておいて、最後に（又は適当な時期に）編集
（訂正等）をしてからまとめてデータ処理機械２１に出
力してもよい。また、データ（特に文字，数字等のデー
タ）を処理機械２１又はメモリ４０に出力した場合はそ
の文字等に対応する読み音又はその擬音を図示省略のス
ピカーから出力するようにしてもよい。If the condition is not satisfied (and the confirmation is canceled), the process returns to step S30, and if the condition is satisfied (at the same time, a predetermined time elapses without canceling the confirmation), the process proceeds to step S70. Run. In step S70, if a menu is specified, the next menu or data table is displayed according to the specified menu contents. When a certain character is designated when the data table is displayed, the designated character is output to the data processing machine 21 and the designated character data is displayed on the display. Instead of outputting directly to the data processing machine 21, the memory 40
Alternatively, the data may be edited (corrected, etc.) at the end (or at an appropriate time) and then collectively output to the data processing machine 21. When data (particularly data such as characters and numbers) is output to the processing machine 21 or the memory 40, a reading sound or its onomatopoeia corresponding to the character or the like may be output from a speaker (not shown).
【００３３】指定された文字データをディスプレイ上に
表示する場合は、例えば以下のように行ってもよい。即
ち、図１に示すように、ディスプレイ１５に表示されて
いるデータテーブル｛ＡＢＣＤＦＧＨ｝の中からデータ
「Ｇ」が指示された場合には確定された文字データ
｛Ｂ、Ｃ｝の最後に文字データ「Ｇ」を点滅して追加
し、文字データ「Ｇ」が確定された場合は文字データ
「Ｇ」を点灯表示する。なお、ディスプレイ１５には無
限に多くの文字データを表示することができないので、
最後尾に文字データ「Ｇ」が追加された場合は先頭に表
示されていた文字データ「Ｂ」を表示データ｛ＢＣＧ｝
から削除して常に所定数の文字データを表示するように
してもよい。また、点滅中の文字データ「Ｇ」が取り消
された場合は削除したデータを復元させて｛ＢＣ｝を点
灯表示する。When the designated character data is displayed on the display, it may be performed as follows, for example. That is, as shown in FIG. 1, when the data “G” is designated from the data table {ABCDFGH} displayed on the display 15, the final character data of the confirmed character data {B, C} is displayed. "G" is added by blinking, and when the character data "G" is confirmed, the character data "G" is lit up and displayed. Since the display 15 cannot display an infinite amount of character data,
When the character data “G” is added to the end, the character data “B” displayed at the beginning is displayed as the display data {BCG}.
Alternatively, the character data may be always displayed by deleting a predetermined number. When the blinking character data "G" is canceled, the deleted data is restored and {BC} is lit and displayed.
【００３４】以上、この発明の実施形態、実施例を図面
により詳述してきたが、具体的な構成はこの実施例に限
られるものではなく、この発明の要旨を逸脱しない範囲
の設計の変更等があってもこの発明に含まれる。Although the embodiments and examples of the present invention have been described in detail above with reference to the drawings, the specific configuration is not limited to these examples, and changes in design within the scope not departing from the gist of the present invention. Even this is included in this invention.
【００３５】[0035]
【発明の効果】以上説明したように、この発明の構成に
よれば、利用者の虹彩の動きによってデータの選択、入
力等を可能にしているので不自然な動きが要求されない
ので、比較的長い時間にわたって、円滑に操作が可能に
なるという効果が得られる。また、手、指先を使用しな
くても済み、手の不自由な人にも容易に利用できるとい
う効果が得られる。また、データの指定が容易であると
共に、間違えた場合も容易に訂正又は取り消しが可能な
ので、気楽に操作ができるという効果も得られる。As described above, according to the configuration of the present invention, since it is possible to select and input data by the movement of the iris of the user, unnatural movement is not required, so that it is relatively long. The effect that the operation can be smoothly performed over time is obtained. Further, it is not necessary to use hands and fingertips, and it is possible to obtain an effect that it can be easily used by a person with a handicap. In addition, the data can be easily specified, and even if the user makes a mistake, the data can be easily corrected or canceled, so that the operation can be performed comfortably.
【図１】 本発明を実施した入力装置（実施形態）の概
略図を示す。FIG. 1 shows a schematic diagram of an input device (embodiment) embodying the present invention.
【図２】 実施形態におけるコンピュータの機能ブロッ
ク図を示す。FIG. 2 shows a functional block diagram of a computer in the embodiment.
【図３】 メインのフローチャート図を示す。FIG. 3 shows a main flowchart.
【図４】 虹彩の位置を決定するフローチャート図を示
す。FIG. 4 shows a flow chart diagram for determining the position of the iris.
【図５】 従来装置の概略説明図を示す。FIG. 5 shows a schematic explanatory view of a conventional device.
１１ ビデオカメラ １３ 利用者 １５ ディスプレイ １７ ポインタ １９ コンピュータ ２１ データ処理機械（計算機、通信機等） ２５ 検出センサ ３０ コントローラ ３１ 画像処理部 ３５ ポインタ制御部 ３６ 決定部 ３８ 実行部 ４０，４１ メモリ 11 video camera 13 users 15 display 17 pointers 19 computers 21 Data processing machines (computers, communication devices, etc.) 25 detection sensor 30 controller 31 Image processing unit 35 Pointer control unit 36 Decision Department 38 Execution Department 40, 41 memory
───────────────────────────────────────────────────── フロントページの続き (72)発明者 アルノ ブレジョン 東京都渋谷区広尾５−19−９広尾ＯＮビル 株式会社ゲン・テック内 (72)発明者 鈴木 一史 東京都渋谷区広尾５−19−９広尾ＯＮビル 株式会社ゲン・テック内 (72)発明者 市橋 敬男 東京都渋谷区広尾５−19−９広尾ＯＮビル 株式会社ゲン・テック内 Ｆターム(参考） 5B057 DA07 DA16 DB02 DB06 DC05 DC08 DC25 DC33 DC36 5B087 AA09 AB02 AB14 BC05 BC32 DD06 5E501 AA01 BA05 BA09 BA11 CC08 5L096 AA02 CA04 EA12 FA62 FA66 FA67 FA69 GA38 GA55 HA04 HA08 JA11 ─────────────────────────────────────────────────── ─── Continued front page (72) Inventor Arno Brejon Hiroo ON Building 5-19-9 Hiroo, Shibuya-ku, Tokyo Gen Tech Co., Ltd. (72) Inventor Kazushi Suzuki Hiroo ON Building 5-19-9 Hiroo, Shibuya-ku, Tokyo Gen Tech Co., Ltd. (72) Inventor Takao Ichihashi Hiroo ON Building 5-19-9 Hiroo, Shibuya-ku, Tokyo Gen Tech Co., Ltd. F term (reference) 5B057 DA07 DA16 DB02 DB06 DC05 DC08 DC25 DC33 DC36 5B087 AA09 AB02 AB14 BC05 BC32 DD06 5E501 AA01 BA05 BA09 BA11 CC08 5L096 AA02 CA04 EA12 FA62 FA66 FA67 FA69 GA38 GA55 HA04 HA08 JA11
Claims (15)
群を表示し、選択されたメニュウを実行し、選択された
データを計算機又は通信機等のデータ処理機械に入力す
る装置において、該ディスプレイ上に表示されているメ
ニュウ又はデータを追跡する利用者の目を撮影するビデ
オカメラと、該ビデオカメラにより撮影された撮影画像
から目の虹彩の位置を検出する画像処理部と、前記虹彩
の位置の動きに応じてポインタを移動させるポインタ制
御部と、前記ポインタの移動を追跡し、選択されるメニ
ュウ又はデータを決定する決定部と、該選択されたメニ
ュウを実行し、或いは選択されたデータを前記データ処
理機械に出力する実行部と、これら各部を制御するコン
トローラとを具備したことを特徴とするデータ入力装
置。1. A device for displaying a menu group or a data group on a display, executing the selected menu, and inputting the selected data to a data processing machine such as a computer or a communication device. A video camera that captures the user's eyes that track the displayed menus or data, an image processing unit that detects the position of the iris of the eye from the captured image captured by the video camera, and the movement of the position of the iris. A pointer control unit for moving a pointer in response to the pointer, a determination unit for tracking the movement of the pointer and deciding a menu or data to be selected, and executing the selected menu, or processing the selected data by the data processing. A data input device comprising: an execution unit for outputting to a machine; and a controller for controlling these units.
データ上に前記ポインタが所定時間以上留まっていた場
合は該メニュウ又は該データを選択されたとみなし、確
認表示をすると共に、一定時間内に確認が取り消されな
い場合は該メニュウ又はデータを選択されたものと決定
することを特徴とする請求項１に記載のデータ入力装
置。2. The determining unit considers that the menu or the data has been selected when the pointer remains on the selected menu or the data for a predetermined time or more, displays a confirmation display, and displays within a certain time. The data input device according to claim 1, wherein if the confirmation is not canceled, the menu or data is determined to be selected.
タの表示色の変更、或いは所定の文字又は図形等の表示
であることを特徴とする請求項２に記載のデータ入力装
置。3. The data input device according to claim 2, wherein the confirmation display is blinking of a pointer, change of display color of the pointer, or display of a predetermined character or figure.
さ以上に一定回数以上の瞬きをすること、或いは、一定
早さ以上に虹彩を上下又は左右に往復移動させる行為等
であることを特徴とする請求項３に記載のデータ入力装
置。4. The cancellation of the confirmation means that the user blinks a certain number of times at a certain speed or more or moves the iris up and down or left and right at a certain speed or more. The data input device according to claim 3, which is characterized in that.
れたデータと過去の最も新しいデータの所定個数を表示
し、表示データを追加する場合は最初に表示されたデー
タを消去し、表示データを取り消す場合は最後に消去さ
れたデータを復元して表示することを特徴とする請求項
１〜請求項４の何れか１に記載のデータ入力装置。5. When the data is output, a predetermined number of the output data and the latest data in the past is displayed, and when the display data is added, the first displayed data is erased and the display data is displayed. The data input device according to any one of claims 1 to 4, wherein the last erased data is restored and displayed when canceling.
彩の移動方向並びに該方向の移動距離に従って該ポイン
タを移動させることを特徴とする請求項１〜請求項５の
何れか１に記載のデータ入力装置。6. The pointer control unit moves the pointer according to a moving direction of the user's iris and a moving distance in the direction, and the pointer control unit moves the pointer according to any one of claims 1 to 5. Data input device.
彩が撮影範囲から外れたとき警告を表示するようにした
ことを特徴とする請求項１〜請求項６に記載のデータ入
力装置。7. The data input device according to claim 1, wherein the pointer control unit displays a warning when the iris of the user is out of the photographing range.
虹彩の位置を予測して、パターン或いは特徴点のマッチ
ングにより虹彩の位置を決定することを特徴とする請求
項１〜請求項７に記載のデータ入力装置。8. The image processing unit according to claim 1, wherein the image processing unit predicts the position of the iris from consecutive captured images, and determines the position of the iris by matching patterns or feature points. Data input device.
ディスプレイから所定の距離範囲に入ったときに電源を
オンにするように検出センサを設けたことを特徴とする
請求項１〜請求項８の何れか１に記載のデータ入力装
置。9. The data input device according to claim 1, further comprising a detection sensor for turning on a power supply when a user's face enters a predetermined distance range from the display. 8. The data input device according to any one of 8.
書の作成等の使用目的、使用したい言語の選択を含み、
前記データ群は使用目的に応じた必要なデータとスクロ
ール機能を含むことを特徴とする請求項１〜請求項９の
何れか１に記載のデータ入力装置。10. The menu group includes a purpose of use such as sending and receiving an email, creating a document, selection of a desired language,
The data input device according to any one of claims 1 to 9, wherein the data group includes necessary data according to a purpose of use and a scroll function.
顔を支持する支持台を設けたことを特徴とする請求項１
〜請求項１０の何れか１に記載のデータ入力装置。11. The data input device is provided with a support base for supporting the face of the user of the device.
~ The data input device according to claim 10.
を特徴とする請求項１〜請求項１１の何れか１に記載の
データ入力装置。12. The data input device according to claim 1, wherein the captured image is a color image.
記憶メモリに出力しておき、記憶メモリに記憶されたデ
ータを編集した後に前記データ処理機械に出力するよう
にしたことを特徴とする請求項１〜請求項１２の何れか
１に記載のデータ入力装置。13. The data input device outputs output data to a storage memory, edits the data stored in the storage memory, and then outputs the edited data to the data processing machine. The data input device according to any one of claims 1 to 12.
の動作をしたときに、前記ポインタを前記ディスプレイ
の中心位置に戻すためのキャリブレーションモードを設
けたことを特徴とする請求項１〜請求項１３の何れか１
に記載のデータ入力装置。14. The data input device is provided with a calibration mode for returning the pointer to the center position of the display when the user performs a predetermined operation. Any one of item 13
The data input device described in.
たデータを出力したときは該データに対応する読み音又
はその擬音を発音するようにしたことを特徴とする請求
項１〜請求項１４の何れか１に記載のデータ入力装置。15. The data input device according to claim 1, wherein when the selected data is output, a reading sound or its onomatopoeia corresponding to the data is generated. The data input device according to any one of claims 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002086521A JP2003280805A (en) | 2002-03-26 | 2002-03-26 | Data inputting device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002086521A JP2003280805A (en) | 2002-03-26 | 2002-03-26 | Data inputting device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003280805A true JP2003280805A (en) | 2003-10-02 |
Family
ID=29233095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002086521A Pending JP2003280805A (en) | 2002-03-26 | 2002-03-26 | Data inputting device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003280805A (en) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006055388A (en) * | 2004-08-20 | 2006-03-02 | Toyama Prefecture | Remote support system for nursing care |
| JP2006309291A (en) * | 2005-04-26 | 2006-11-09 | National Univ Corp Shizuoka Univ | Pointing device and method based on pupil detection |
| KR100749481B1 (en) | 2006-04-28 | 2007-08-14 | 엠텍비젼 주식회사 | Device capable of non-contact function selection and method thereof |
| JP2007280287A (en) * | 2006-04-11 | 2007-10-25 | Sony Corp | Display controller, display control method, and program |
| JP2008523517A (en) * | 2004-12-22 | 2008-07-03 | 聯想（北京）有限公司 | Display device cursor control system and method |
| CN100452837C (en) * | 2005-06-03 | 2009-01-14 | 乐金电子(中国)研究开发中心有限公司 | Display device and method using iris recognition photo position |
| JP2010267071A (en) * | 2009-05-14 | 2010-11-25 | Ntt Docomo Inc | Input device and input method |
| KR101410667B1 (en) * | 2007-04-09 | 2014-06-24 | 삼성전자주식회사 | Terminal and method for input character using look and pick thereof |
| JP2015049721A (en) * | 2013-09-02 | 2015-03-16 | ソニー株式会社 | Information processor, information processing method and program |
| JP2015511044A (en) * | 2012-04-12 | 2015-04-13 | インテル コーポレイション | Selective backlight of display based on eye tracking |
| WO2015194123A1 (en) * | 2014-06-20 | 2015-12-23 | 株式会社デンソー | Line-of-sight input device |
| JP2016099959A (en) * | 2014-11-26 | 2016-05-30 | 公立大学法人広島市立大学 | Direction indication device and direction indication method |
| JP2017510877A (en) * | 2014-01-25 | 2017-04-13 | ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | Menu navigation on head mounted display |
| US9818230B2 (en) | 2014-01-25 | 2017-11-14 | Sony Interactive Entertainment America Llc | Environmental interrupt in a head-mounted display and utilization of non field of view real estate |
| JP2017207890A (en) * | 2016-05-18 | 2017-11-24 | ソニーモバイルコミュニケーションズ株式会社 | Information processor, information processing system, information processing method |
| US9838506B1 (en) | 2013-03-15 | 2017-12-05 | Sony Interactive Entertainment America Llc | Virtual reality universe representation changes viewing based upon client side parameters |
| JP2018010702A (en) * | 2017-10-25 | 2018-01-18 | 株式会社コナミデジタルエンタテインメント | Terminal device and program |
| US9986207B2 (en) | 2013-03-15 | 2018-05-29 | Sony Interactive Entertainment America Llc | Real time virtual reality leveraging web cams and IP cams and web cam and IP cam networks |
| JP2018194284A (en) * | 2017-05-22 | 2018-12-06 | リンナイ株式会社 | Operation system of heating cooker |
| US10216738B1 (en) | 2013-03-15 | 2019-02-26 | Sony Interactive Entertainment America Llc | Virtual reality interaction with 3D printing |
| US10356215B1 (en) | 2013-03-15 | 2019-07-16 | Sony Interactive Entertainment America Llc | Crowd and cloud enabled virtual reality distributed location network |
| US10474711B1 (en) | 2013-03-15 | 2019-11-12 | Sony Interactive Entertainment America Llc | System and methods for effective virtual reality visitor interface |
| US10565249B1 (en) | 2013-03-15 | 2020-02-18 | Sony Interactive Entertainment America Llc | Real time unified communications interaction of a predefined location in a virtual reality location |
| US10599707B1 (en) | 2013-03-15 | 2020-03-24 | Sony Interactive Entertainment America Llc | Virtual reality enhanced through browser connections |
| WO2020158218A1 (en) * | 2019-01-28 | 2020-08-06 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2021073427A (en) * | 2021-01-26 | 2021-05-13 | リンナイ株式会社 | Heating cooker operation system |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04255015A (en) * | 1991-02-06 | 1992-09-10 | Ricoh Co Ltd | Information input device |
| JPH05298015A (en) * | 1992-04-23 | 1993-11-12 | Matsushita Electric Ind Co Ltd | Glance detecting system and information processing system |
| JPH06231252A (en) * | 1993-02-04 | 1994-08-19 | Toshiba Corp | Method for tracking moving object on monitoring picture |
| JPH06326912A (en) * | 1993-05-11 | 1994-11-25 | Hitachi Ltd | Image pickup device |
| JPH0749744A (en) * | 1993-08-04 | 1995-02-21 | Pioneer Electron Corp | Head mounting type display input device |
| JPH07191796A (en) * | 1993-12-27 | 1995-07-28 | Canon Inc | Sight line input system |
| JPH0844488A (en) * | 1994-07-29 | 1996-02-16 | Toshiba Corp | Voting terminal option device |
| JPH1039994A (en) * | 1996-07-29 | 1998-02-13 | Hokkaido Nippon Denki Software Kk | Pointing device for large screen presentation system |
| JPH11175246A (en) * | 1997-12-12 | 1999-07-02 | Toshiba Corp | Sight line detector and method therefor |
| JP2000010723A (en) * | 1998-06-18 | 2000-01-14 | Mr System Kenkyusho:Kk | Calibration method for sight sensor, sight input device, and program storage medium |
| JP2000138872A (en) * | 1998-10-30 | 2000-05-16 | Sony Corp | Information processor, its method and supplying medium |
| JP2000209520A (en) * | 1999-01-08 | 2000-07-28 | Lg Electronics Inc | Method for user interface for video display device |
| JP2000250699A (en) * | 1999-03-04 | 2000-09-14 | Shimadzu Corp | Visual line input device |
| JP2000278626A (en) * | 1999-03-29 | 2000-10-06 | Sanyo Electric Co Ltd | Multiple screens sound output controller |
-
2002
- 2002-03-26 JP JP2002086521A patent/JP2003280805A/en active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04255015A (en) * | 1991-02-06 | 1992-09-10 | Ricoh Co Ltd | Information input device |
| JPH05298015A (en) * | 1992-04-23 | 1993-11-12 | Matsushita Electric Ind Co Ltd | Glance detecting system and information processing system |
| JPH06231252A (en) * | 1993-02-04 | 1994-08-19 | Toshiba Corp | Method for tracking moving object on monitoring picture |
| JPH06326912A (en) * | 1993-05-11 | 1994-11-25 | Hitachi Ltd | Image pickup device |
| JPH0749744A (en) * | 1993-08-04 | 1995-02-21 | Pioneer Electron Corp | Head mounting type display input device |
| JPH07191796A (en) * | 1993-12-27 | 1995-07-28 | Canon Inc | Sight line input system |
| JPH0844488A (en) * | 1994-07-29 | 1996-02-16 | Toshiba Corp | Voting terminal option device |
| JPH1039994A (en) * | 1996-07-29 | 1998-02-13 | Hokkaido Nippon Denki Software Kk | Pointing device for large screen presentation system |
| JPH11175246A (en) * | 1997-12-12 | 1999-07-02 | Toshiba Corp | Sight line detector and method therefor |
| JP2000010723A (en) * | 1998-06-18 | 2000-01-14 | Mr System Kenkyusho:Kk | Calibration method for sight sensor, sight input device, and program storage medium |
| JP2000138872A (en) * | 1998-10-30 | 2000-05-16 | Sony Corp | Information processor, its method and supplying medium |
| JP2000209520A (en) * | 1999-01-08 | 2000-07-28 | Lg Electronics Inc | Method for user interface for video display device |
| JP2000250699A (en) * | 1999-03-04 | 2000-09-14 | Shimadzu Corp | Visual line input device |
| JP2000278626A (en) * | 1999-03-29 | 2000-10-06 | Sanyo Electric Co Ltd | Multiple screens sound output controller |
Cited By (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006055388A (en) * | 2004-08-20 | 2006-03-02 | Toyama Prefecture | Remote support system for nursing care |
| JP2008523517A (en) * | 2004-12-22 | 2008-07-03 | 聯想（北京）有限公司 | Display device cursor control system and method |
| JP2006309291A (en) * | 2005-04-26 | 2006-11-09 | National Univ Corp Shizuoka Univ | Pointing device and method based on pupil detection |
| CN100452837C (en) * | 2005-06-03 | 2009-01-14 | 乐金电子(中国)研究开发中心有限公司 | Display device and method using iris recognition photo position |
| JP2007280287A (en) * | 2006-04-11 | 2007-10-25 | Sony Corp | Display controller, display control method, and program |
| JP4716120B2 (en) * | 2006-04-11 | 2011-07-06 | ソニー株式会社 | Display control apparatus, display control method, and program |
| KR100749481B1 (en) | 2006-04-28 | 2007-08-14 | 엠텍비젼 주식회사 | Device capable of non-contact function selection and method thereof |
| KR101410667B1 (en) * | 2007-04-09 | 2014-06-24 | 삼성전자주식회사 | Terminal and method for input character using look and pick thereof |
| JP2010267071A (en) * | 2009-05-14 | 2010-11-25 | Ntt Docomo Inc | Input device and input method |
| US9361833B2 (en) | 2012-04-12 | 2016-06-07 | Intel Corporation | Eye tracking based selectively backlighting a display |
| JP2015511044A (en) * | 2012-04-12 | 2015-04-13 | インテル コーポレイション | Selective backlight of display based on eye tracking |
| US10565249B1 (en) | 2013-03-15 | 2020-02-18 | Sony Interactive Entertainment America Llc | Real time unified communications interaction of a predefined location in a virtual reality location |
| US9838506B1 (en) | 2013-03-15 | 2017-12-05 | Sony Interactive Entertainment America Llc | Virtual reality universe representation changes viewing based upon client side parameters |
| US11809679B2 (en) | 2013-03-15 | 2023-11-07 | Sony Interactive Entertainment LLC | Personal digital assistance and virtual reality |
| US11272039B2 (en) | 2013-03-15 | 2022-03-08 | Sony Interactive Entertainment LLC | Real time unified communications interaction of a predefined location in a virtual reality location |
| US11064050B2 (en) | 2013-03-15 | 2021-07-13 | Sony Interactive Entertainment LLC | Crowd and cloud enabled virtual reality distributed location network |
| US10949054B1 (en) | 2013-03-15 | 2021-03-16 | Sony Interactive Entertainment America Llc | Personal digital assistance and virtual reality |
| US10938958B2 (en) | 2013-03-15 | 2021-03-02 | Sony Interactive Entertainment LLC | Virtual reality universe representation changes viewing based upon client side parameters |
| US10320946B2 (en) | 2013-03-15 | 2019-06-11 | Sony Interactive Entertainment America Llc | Virtual reality universe representation changes viewing based upon client side parameters |
| US10599707B1 (en) | 2013-03-15 | 2020-03-24 | Sony Interactive Entertainment America Llc | Virtual reality enhanced through browser connections |
| US10216738B1 (en) | 2013-03-15 | 2019-02-26 | Sony Interactive Entertainment America Llc | Virtual reality interaction with 3D printing |
| US9986207B2 (en) | 2013-03-15 | 2018-05-29 | Sony Interactive Entertainment America Llc | Real time virtual reality leveraging web cams and IP cams and web cam and IP cam networks |
| US10356215B1 (en) | 2013-03-15 | 2019-07-16 | Sony Interactive Entertainment America Llc | Crowd and cloud enabled virtual reality distributed location network |
| US10474711B1 (en) | 2013-03-15 | 2019-11-12 | Sony Interactive Entertainment America Llc | System and methods for effective virtual reality visitor interface |
| JP2015049721A (en) * | 2013-09-02 | 2015-03-16 | ソニー株式会社 | Information processor, information processing method and program |
| US10180718B2 (en) | 2013-09-02 | 2019-01-15 | Sony Corporation | Information processing apparatus and information processing method |
| US9939894B2 (en) | 2013-09-02 | 2018-04-10 | Sony Corporation | Information processing to operate a display object based on gaze information |
| US10809798B2 (en) | 2014-01-25 | 2020-10-20 | Sony Interactive Entertainment LLC | Menu navigation in a head-mounted display |
| US11036292B2 (en) | 2014-01-25 | 2021-06-15 | Sony Interactive Entertainment LLC | Menu navigation in a head-mounted display |
| JP2018190429A (en) * | 2014-01-25 | 2018-11-29 | ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | Menu navigation in head-mounted display |
| US10096167B2 (en) | 2014-01-25 | 2018-10-09 | Sony Interactive Entertainment America Llc | Method for executing functions in a VR environment |
| US11693476B2 (en) | 2014-01-25 | 2023-07-04 | Sony Interactive Entertainment LLC | Menu navigation in a head-mounted display |
| US9818230B2 (en) | 2014-01-25 | 2017-11-14 | Sony Interactive Entertainment America Llc | Environmental interrupt in a head-mounted display and utilization of non field of view real estate |
| JP2017510877A (en) * | 2014-01-25 | 2017-04-13 | ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | Menu navigation on head mounted display |
| JP2016006601A (en) * | 2014-06-20 | 2016-01-14 | 株式会社デンソー | Sight line input device |
| WO2015194123A1 (en) * | 2014-06-20 | 2015-12-23 | 株式会社デンソー | Line-of-sight input device |
| JP2016099959A (en) * | 2014-11-26 | 2016-05-30 | 公立大学法人広島市立大学 | Direction indication device and direction indication method |
| JP2017207890A (en) * | 2016-05-18 | 2017-11-24 | ソニーモバイルコミュニケーションズ株式会社 | Information processor, information processing system, information processing method |
| JP2018194284A (en) * | 2017-05-22 | 2018-12-06 | リンナイ株式会社 | Operation system of heating cooker |
| JP2018010702A (en) * | 2017-10-25 | 2018-01-18 | 株式会社コナミデジタルエンタテインメント | Terminal device and program |
| WO2020158218A1 (en) * | 2019-01-28 | 2020-08-06 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2021073427A (en) * | 2021-01-26 | 2021-05-13 | リンナイ株式会社 | Heating cooker operation system |
| JP7072092B2 (en) | 2021-01-26 | 2022-05-19 | リンナイ株式会社 | Cooking machine operation system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003280805A (en) | Data inputting device | |
| CN114415906B (en) | User interface camera effects | |
| KR102628335B1 (en) | Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments | |
| US11227446B2 (en) | Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality | |
| KR102540163B1 (en) | Systems, methods, and graphical user interfaces for interacting with augmented and virtual reality environments | |
| US20220261066A1 (en) | Systems, Methods, and Graphical User Interfaces for Automatic Measurement in Augmented Reality Environments | |
| EP4254147A2 (en) | Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments | |
| WO2022173561A1 (en) | Systems, methods, and graphical user interfaces for automatic measurement in augmented reality environments | |
| CN117120956A (en) | System, method, and graphical user interface for automated measurement in an augmented reality environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050228 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20060922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071009 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080226 |