JP2002269544A - Character input device using shape recognition of eye movement and mouth - Google Patents
Character input device using shape recognition of eye movement and mouthInfo
- Publication number
- JP2002269544A JP2002269544A JP2001065853A JP2001065853A JP2002269544A JP 2002269544 A JP2002269544 A JP 2002269544A JP 2001065853 A JP2001065853 A JP 2001065853A JP 2001065853 A JP2001065853 A JP 2001065853A JP 2002269544 A JP2002269544 A JP 2002269544A
- Authority
- JP
- Japan
- Prior art keywords
- monitor
- user
- image
- character input
- mouth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、プログラムされた
コンピュータとモニターとカメラによって、目の動きと
口の形状を認識し文字入力する装置及び制御するための
制御プログラムを記録した記録媒体に関するものであ
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus for recognizing eye movements and mouth shapes by using a programmed computer, monitor, and camera and inputting characters, and a recording medium on which a control program for controlling the apparatus is recorded. is there.
【０００２】[0002]
【従来の技術】我が国では、平均寿命の伸びに少子化が
拍車をかけ、人口の高齢化がかなりの速度で進んでい
る。この傾向は今後も進むと推察され、平成３２年には
６５歳以上人口の割合が２５．５％と国民の４人に１人
の割合が高齢者という超高齢社会が到来すると予測され
ている。寝たきりの高齢者については、５３％が３年以
上寝たきりの状態にあり、長期化と重度の傾向にある。
この要介護者を支援する家族・看護婦等は肉体的・精神
的に、家族は更に、経済的な負担を抱えることになる。2. Description of the Related Art In Japan, the declining birthrate is increasing the average life expectancy and the population is aging at a considerable speed. It is presumed that this trend will continue in the future, and it is predicted that a super-aged society will arrive in 2020, where the ratio of the population aged 65 and over is 25.5% and one in four people is the elderly. . Among bedridden elderly people, 53% have been bedridden for more than 3 years, which is prolonged and severe.
The family and nurses who support the care recipient need to be physically and mentally, and the family has an additional financial burden.
【０００３】要介護者の中でも、難病である筋萎縮性側
索硬化症（ＡＬＳ）の患者や言語障害等で言葉の発声に
障害のある人は、看護婦、介護者等のコミュニケーショ
ンがうまくいかない場合がよく見られ、双方に不快感・
ストレスが残ってしまうのが現状である。特に、末期の
ＡＬＳ患者は、一般的に目の近辺が一番遅くまで動くと
されている。[0003] Among care recipients, patients with intractable disease, such as amyotrophic lateral sclerosis (ALS) and those who have speech dysfunction due to language disorder, etc., have difficulty communicating with nurses and caregivers. Is often seen,
At present, stress remains. In particular, ALS patients at the end of life are generally said to move the area near their eyes until the latest.
【０００４】従来より、視線を利用して表示モニター上
の制御をする際には、介護・福祉分野のみならず工業分
野の一般機器においても使用されている。従来は赤外線
等の光を照射することで眼球を撮影し、使用者の眼球の
注視位置を検出し操作をかのうとしていた（特開平１１
−３３８６１５）。しかし、この方法は操作している間
に、顔が動くことによって、眼球の注視位置を検出でき
ないことがあり、装置を制御できないため、装置が誤操
作するといった問題がある。また、従来の装置は比較的
大型で機材が多いため、設置スペースが必要となる。更
に、装置が高価となるために、介護分野からすると経済
的に利用し難いという問題がある。Conventionally, when controlling the display monitor using the line of sight, it has been used not only in the field of care and welfare but also in general equipment in the industrial field. Conventionally, an eyeball is photographed by irradiating light such as infrared rays, and a gaze position of the user's eyeball is detected to operate the camera (Japanese Patent Laid-Open No.
-338615). However, this method has a problem that the gaze position of the eyeball may not be detected due to the movement of the face during operation, and the device cannot be controlled. Further, since the conventional device is relatively large and has many equipments, an installation space is required. Furthermore, since the device is expensive, there is a problem that it is difficult to use it economically in the field of nursing care.
【０００５】精度の面からは、５０音を視線のみで認識
する方法がある。しかしながら、分解能をあげるために
使用者の顔を固定する、もしくは動かないように装置を
使用してもらう必要があった。これは使用者の動きを拘
束することに意味し、使用者から好まれるものではな
い。また、モニター上で５０音を配列し、リモコンでシ
フトさせる方法は何回もシフトキーを押さなければなら
ず、この方法も使用者の不快感・ストレスを蓄積するも
のとなる。[0005] From the viewpoint of accuracy, there is a method of recognizing 50 sounds only with the line of sight. However, in order to increase the resolution, it is necessary to fix the user's face or use the device so as not to move. This means constraining the movement of the user and is not preferred by the user. Also, the method of arranging the 50 sounds on the monitor and shifting with the remote control requires pressing the shift key many times, and this method also accumulates user discomfort and stress.
【０００６】[0006]
【発明が解決しようとする課題】本発明は、視線を利用
して文字入力操作を制御する装置を使用する際、顔が動
くことによって、眼球の注視位置が検出できない状況を
なくし、該装置が誤操作しないようにする。また、顔を
固定させる不自由さをなくし、更に、前記装置の小型化
を計り、尚且つ経済性の優れたものとする。SUMMARY OF THE INVENTION The present invention eliminates a situation in which a gaze position cannot be detected due to the movement of a face when using a device for controlling a character input operation using a line of sight. Avoid misoperation. In addition, the inconvenience of fixing the face is eliminated, and the size of the apparatus is reduced, and the apparatus is more economical.
【０００７】[0007]
【課題を解決するための手段】そこで、本発明では、視
線を利用してコンピュータ及びその他機器への入力操作
を制御する装置を使用する際には誤操作せず、容易且つ
正確に制御できる装置とした。また、前記装置は従来の
ものと比べて、装置の構成、アルゴリズム等を新しいも
のとし、小型で経済性の優れたものとした。SUMMARY OF THE INVENTION Accordingly, the present invention provides an apparatus which can easily and accurately control an input operation to a computer and other devices by using a line of sight without erroneous operation. did. Further, the device has a new configuration, algorithm, etc., as compared with the conventional device, and has a small size and excellent economy.
【０００８】具体的には、汎用性のあるカメラを使用す
る。また、画像データは口の形状、音声などを増やし、
新しい組合せにを取り入れることでデータ量を増やし、
精度の向上を図る。更に、予めモニターの任意の点ごと
に見つめた使用者の映像（顔の位置、向き、目の方向な
ど）及び母音を発声した時の映像（口形状）の画像デー
タを辞書として保存し、使用者が文字入力するために、
文字の行を選択するボタンが配列された表示モニターを
見つめた時の映像及び母音を発声した時の映像（口の形
状）と任意の点ごとに辞書として保存された情報を比較
して、その情報の中から類似した画像データを選出指せ
ることで装置の誤操作をなくし、使用者の顔を固定させ
る不自由さをなくし、更に、装置の小型化を実現し、尚
且つ経済性の優れたものとする。Specifically, a versatile camera is used. In addition, image data increases the shape of the mouth, sound, etc.,
Increasing the amount of data by incorporating new combinations,
Improve accuracy. Furthermore, image data of the user's image (face position, orientation, eye direction, etc.), which is previously observed at any point on the monitor, and the image data (mouth shape) when vowels are uttered are saved as a dictionary and used. To enter characters
The image when looking at the display monitor on which the button for selecting the line of characters is arranged and the image when the vowel is uttered (the shape of the mouth) are compared with the information stored as a dictionary for each point. Eliminates erroneous operation of the device by selecting similar image data from information, eliminates the inconvenience of fixing the user's face, furthermore, realizes miniaturization of the device, and is also excellent in economical efficiency And
【０００９】[0009]
【発明の実施の形態】発明の実施の形態を実施例に基づ
き説明する。図１に本発明における視線による入力制御
装置の概略を示す。１はカメラ、２は制御部、３はモニ
ター、４は表示モニターである。DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of the present invention will be described based on examples. FIG. 1 schematically shows an input control device based on a line of sight in the present invention. 1 is a camera, 2 is a control unit, 3 is a monitor, and 4 is a display monitor.
【００１０】目の動きと口の形状を認識し文字入力操作
する際には、モニター３に配列表示されている行を選択
するボタンを見てもらう。図１には行を選択するボタン
の配列表示状況を示す。この時の使用者の顔や目の動き
をカメラ１で読み取り、読み取った画像を制御部２によ
って演算処理する。この処理で、使用者が入力しようと
見つめている行の文字を選定することができる。When recognizing the movement of the eyes and the shape of the mouth and performing a character input operation, the user is asked to see a button for selecting a row arranged and displayed on the monitor 3. FIG. 1 shows an arrangement display state of buttons for selecting a row. The movement of the user's face and eyes at this time is read by the camera 1, and the read image is subjected to arithmetic processing by the control unit 2. In this process, the character on the line that the user is looking at can be selected.
【００１１】次いで、入力したい文字の母音（ａ、ｉ、
ｕ、ｅ、ｏ）の口の動きをする。その口の形状をカメラ
１で読み取り、読み取った画像を制御部２によって演算
処理する。このことで使用者は入力したい文字を決定す
ることができる。更に、この動作を続けることで文章を
作成することができ、この文章を読み上げることもでき
る。Next, the vowels (a, i,
u, e, o) move the mouth. The shape of the mouth is read by the camera 1, and the read image is processed by the control unit 2. Thus, the user can determine the character to be input. Further, by continuing this operation, a sentence can be created, and the sentence can be read aloud.
【００１２】モニター３で決定した文字を該モニター３
に表示できることは勿論であるが、入力した文字を表示
モニター４にも表示させることができるようになってい
る。The character determined on the monitor 3 is
The input characters can of course be displayed on the display monitor 4 as well.
【００１３】図２には目の動きと口の形状を認識し文字
入力操作する時のアルゴリズムの流れを示す。以下、ア
ルゴリズムの流れを具体的に説明する。FIG. 2 shows a flow of an algorithm for recognizing the movement of the eyes and the shape of the mouth and performing a character input operation. Hereinafter, the flow of the algorithm will be specifically described.
【００１４】予め文字入力装置を使用する人の辞書を作
成する。詳細な手順として、予めモニター３の任意の点
ごとに使用者に見つめてもらい、その度にカメラ１によ
って使用者の映像（顔、目の位置、向き、視線方向、口
の形状など）を読み込み、制御部２に画像データを辞書
（辞書画）として保存する。A dictionary of a person who uses the character input device is created in advance. As a detailed procedure, the user gazes in advance at any point on the monitor 3, and each time the camera 1 reads the user's image (face, eye position, direction, gaze direction, mouth shape, etc.). The image data is stored in the control unit 2 as a dictionary (dictionary image).
【００１５】次いで、辞書の作成方法と読み取り方法を
詳しく説明する。モニター３上の任意の点を数秒間、使
用者に順次見てもらい、その都度、使用者が任意の点を
見た時の映像（顔の位置、向き、視線方向などの情報）
をカメラ１によって読み取り、制御部２に認識させて、
使用者の画像データを予め辞書として該制御部２に保存
する。図３には辞書を作成する際に使用する前記モニタ
ー３の任意の点を示したものである。前記カメラ３から
の読み取り方法の詳細は、次の通りである。前記モニタ
ー３を分割させ、使用者がＸ方向、Ｙ方向に分けた任意
の点（２７×１７、任意の点の数は変更することが可能
となっている）を見た際の映像を読み取る。Next, a method for creating and reading a dictionary will be described in detail. An arbitrary point on the monitor 3 is sequentially viewed by the user for several seconds, and each time the user views the arbitrary point (information such as the face position, direction, and gaze direction).
Is read by the camera 1 and the control unit 2 recognizes the
The image data of the user is stored in the control unit 2 as a dictionary in advance. FIG. 3 shows an arbitrary point of the monitor 3 used when creating a dictionary. The details of the method of reading from the camera 3 are as follows. The image is read when the monitor 3 is divided and the user sees an arbitrary point (27 × 17, the number of arbitrary points can be changed) divided in the X direction and the Y direction. .
【００１６】文字入力装置を操作する際、使用している
人の映像と類似した画像データを、辞書として保存され
た画像データから選出する。詳細な手順として、使用者
がコンピュータ及びその他機器を操作するためにモニタ
ー３の例えば、Ａ箇所を見つめた時の映像と該モニター
３の任意の点ごとに辞書として保存された情報を比較し
て、その情報の中からＡ箇所を見つめた時の使用者の映
像と類似した画像データを選出する。画像データを選出
するときには、使用者の映像と辞書画を比較する。この
特定した画像データから、前記モニター３での文字の行
が特定される。When operating the character input device, image data similar to the image of the person using the image is selected from the image data stored as a dictionary. As a detailed procedure, in order for the user to operate a computer and other devices, for example, an image of the monitor 3 when looking at the location A is compared with information stored as a dictionary for each point on the monitor 3. Then, image data similar to the video of the user when the user looks at the location A is selected from the information. When selecting image data, the user's video is compared with the dictionary image. The character line on the monitor 3 is specified from the specified image data.
【００１７】次いで、文字の行が決定すれば、使用者は
入力したい文字の母音（ａ、ｉ、ｕ、ｅ、ｏ）の口の動
きをする。その口の形状をカメラ１で読み取り、読み取
った映像と辞書画を比較する。この比較によって、使用
者は母音の特定をすることができ、入力したい文字を決
定することができる。更に、この動作を続けることで文
章を作成することができ、この文章を読み上げることも
できる。Next, when the character line is determined, the user moves the mouth of the vowel (a, i, u, e, o) of the character to be input. The shape of the mouth is read by the camera 1, and the read image is compared with the dictionary image. By this comparison, the user can specify the vowel and determine the character to be input. Further, by continuing this operation, a sentence can be created, and the sentence can be read aloud.
【００１８】また、本発明は辞書を作成しなくても、直
接カメラによって読み取った使用者の映像（顔の位置、
向き、目の方向、口の形状など）から、使用者が操作す
るためにモニターのどのボタンを見つめているかを判定
し、また、どの母音を発声しているかを判定することが
可能となっている。Further, according to the present invention, a user's image (face position, face position,
Direction, eye direction, mouth shape, etc.), it is possible to determine which button on the monitor the user is staring at to operate, and which vowel is uttering. I have.
【００１９】モニター３上の操作は、該モニター３を見
つめることで移動の動作、ホールドもしくは瞬きをする
ことで確定の動作となっている。The operation on the monitor 3 is a moving operation by staring at the monitor 3 and a definite operation by holding or blinking.
【００２０】モニターは、操作をするためのモニター３
の他に、該モニター３で入力した文字を表示することが
できるモニター４がある。The monitor is a monitor 3 for operation.
In addition to the above, there is a monitor 4 capable of displaying characters input on the monitor 3.
【００２１】また、この装置は使用者の顔が動いて眼球
の注視位置が検出できない状況から生じる誤操作を防ぐ
ために、カメラ１によって対象物（顔）の追跡ができる
ようになっている。これは前記カメラ１によって顔等の
情報を読み取る過程で、対象物（顔）付近に毎回、使用
者の映像を読み取る際に顔や目の判別をする工程を設け
たことで、使用者の顔が動いても誤操作しないようにし
たものである。In addition, this apparatus is designed so that an object (face) can be tracked by the camera 1 in order to prevent an erroneous operation caused by a situation in which the user's face moves and the gaze position of the eye cannot be detected. This is because in the process of reading information such as a face by the camera 1, a step of discriminating a face or an eye when reading an image of a user is provided every time near an object (face). It is designed to prevent erroneous operation even if moves.
【００２２】目の動きと口の形状を認識し文字入力する
方法と組合せ、使用者が発声する声の周波数スペクトラ
ムから母音を音声認識して文字を判定することも制御部
２で処理することができる。In combination with the method of recognizing the movement of the eyes and the shape of the mouth and inputting characters, the control unit 2 can also determine the character by recognizing vowels from the frequency spectrum of the voice uttered by the user. it can.
【００２３】この装置は使用者の顔位置が予め設定され
ている許容範囲内に位置しているかの良否をモニター上
で表示することができるようになっている。具体的に
は、許容範囲内であれば青の表示、許容範囲外であれば
赤の表示で使用者等に知らせることができ、誰でも的確
に顔の位置を設定することができる。This device can display on a monitor whether or not the user's face position is within a preset allowable range. Specifically, the user can be informed of the face by a blue display if it is within the allowable range and a red display if it is out of the allowable range, and anyone can set the position of the face accurately.
【００２４】更に、この装置に利用している目の動きと
口の形状を認識するアルゴリズムをカメラ付携帯電話に
活かす。具体的には携帯の文字を入力する時、文字の行
は手によってキー入力し、母音は付属のカメラによって
口の形状を認識し文字を決定する。このことで携帯電話
の手による入力操作が簡略化され、特に高齢者にとって
は使用し易い携帯電話となり得る。Further, an algorithm for recognizing the eye movement and the shape of the mouth used in this device is applied to a mobile phone with a camera. Specifically, when inputting a character on a mobile phone, the line of the character is key-input by hand, and the vowel is recognized by a camera attached to recognize the shape of the mouth to determine the character. This simplifies the input operation by hand of the mobile phone, and can be a mobile phone that is easy to use, especially for the elderly.
【００２５】以上、本発明であるプログラムされたコン
ピュータとモニターとカメラによって、目の動きと口の
形状を認識し文字入力する装置及び制御するための制御
プログラムを記録した記録媒体について述べたが、ハー
ド構成を新しくして、介護・看護用のベッドスペースを
従来に比較して、有効に活用できることは勿論である。The apparatus for recognizing the movement of the eyes and the shape of the mouth by the programmed computer, the monitor, and the camera according to the present invention and inputting characters, and the recording medium on which the control program for controlling the apparatus has been described. It is a matter of course that the bed configuration for nursing care and nursing can be used more effectively than in the past by using a new hardware configuration.
【００２６】[0026]
【発明の効果】本発明は上述の方法及び装置とすること
で、以下に記載されるような効果を奏する。The present invention has the following effects by using the above-described method and apparatus.
【００２７】使用者の顔をデータとして読み込む際に汎
用性のカメラにすることで、目の動きと口の形状認識を
利用した文字入力装置の小型化を実現した。更に、従来
は高価で購入し難かった前記装置を使用者にとって使用
し易く、また、購入のし易い経済性の優れたものとなっ
た。By using a versatile camera when reading the user's face as data, the size of the character input device utilizing eye movement and mouth shape recognition has been reduced. Further, the above-mentioned device which was conventionally expensive and difficult to purchase is now easy to use for the user, and is excellent in economical efficiency and easy to purchase.
【００２８】顔や目の画像データ量（眼球の位置だけで
はなく顔の位置、向き、目の動き、口の形状などとし
た）を増やしたことで、正確に誤操作せず制御できる装
置となった。このことは、健常者ばかりでなく、ＡＬＳ
患者を含む重度障害者が、目の動きと口の形状認識を利
用して障害者用意思伝達装置を容易且つ正確に制御する
ことを意味する。更に、カメラ付携帯電話に本発明の装
置のアルゴリズムを応用することで、次世代の携帯電
話、特に高齢者にとって扱い易いものになる効果も奏す
る。By increasing the image data amount of the face and eyes (not only the position of the eyeball but also the position of the face, the direction, the movement of the eyes, the shape of the mouth, etc.), the device can be controlled accurately without erroneous operation. Was. This is not only for healthy people, but also for ALS
It means that a severely handicapped person including a patient can easily and accurately control a handicapped person's communication device using eye movements and mouth shape recognition. Further, by applying the algorithm of the apparatus of the present invention to a camera-equipped mobile phone, there is also an effect that the next-generation mobile phone, particularly an elderly person, becomes easy to handle.
【００２９】また、従来は顔が動いて眼球の注視位置が
検出できない状況であったが、カメラによって対象物
（顔等の情報）の追跡をする機能を付加させることで、
誤操作をなくすことができる。更に、装置を操作する
際、使用者の顔の位置をモニター３で知らせることで、
誰でも的確に顔の位置を設定することができるConventionally, the face moved and the gaze position of the eyeball could not be detected. However, by adding a function of tracking an object (information such as a face) by a camera,
Erroneous operation can be eliminated. Furthermore, when operating the device, the position of the user's face is notified on the monitor 3,
Anyone can set the position of the face accurately
【００３０】モニターを入力操作用と表示用に分けるこ
とによって、画面を有効に利用することができる効果も
ある。例えば、入力操作用モニターを文字入力のキーボ
ードとして使い、表示用モニターに入力した文字を表示
させることができる。By dividing the monitor for input operation and display, the screen can be used effectively. For example, the input operation monitor can be used as a keyboard for character input, and the input characters can be displayed on the display monitor.
【図１】本発明の目の動きと口の形状認識を利用した文
字入力装置を示す概略図である。FIG. 1 is a schematic diagram showing a character input device using eye movement and mouth shape recognition according to the present invention.
【図２】本発明の目の動きと口の形状認識を利用した文
字入力装置の入力操作する時のアルゴリズムの流れを示
した説明図である。FIG. 2 is an explanatory diagram showing a flow of an algorithm when performing an input operation of a character input device utilizing eye movement and mouth shape recognition according to the present invention.
【図３】本発明の目の動きと口の形状認識を利用した文
字入力装置の辞書を作成する際に使用する画面の任意の
点を示した説明図である。FIG. 3 is an explanatory diagram showing arbitrary points on a screen used when creating a dictionary of a character input device using eye movement and mouth shape recognition according to the present invention.
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA07 BA02 CC03 DA07 DA08 DB02 DB09 DC33 5L096 AA06 BA06 BA18 CA02 DA02 FA81 HA08 JA03 JA09 KA13 KA15 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5B057 AA07 BA02 CC03 DA07 DA08 DB02 DB09 DC33 5L096 AA06 BA06 BA18 CA02 DA02 FA81 HA08 JA03 JA09 KA13 KA15
Claims (11)
ーとカメラによって、目の動きと口の形状を認識し文字
入力する装置であって、使用者の目の動きと口の形状を
カメラによって読み取る手段と、モニターの任意の点ご
とに見つめた使用者の映像（顔の位置、向き、目の方向
など）及び母音（ａ、ｉ、ｕ、ｅ、ｏ）を発声した時の
映像（口形状）の画像データを辞書として保存する手段
と、モニターに文字入力するための行を選択するボタン
を配列した表示手段と、使用者が操作するために前記モ
ニターのボタンを見つめた時の映像及び母音を発声した
時の映像（口の形状）と予め辞書として保存された情報
を比較して、その情報の中から類似した画像データを選
出する手段と、選出した画像データと対応するモニター
上のボタンが示す指示内容の操作を実行させる手段とを
備えたことを特徴とする目の動きと口の形状認識を利用
した文字入力装置。1. An apparatus for recognizing eye movement and mouth shape by a programmed computer, monitor and camera and inputting characters, means for reading a user's eye movement and mouth shape by a camera; Image of user's image (face position, orientation, eye direction, etc.) and vowel (a, i, u, e, o) uttered at each point on the monitor Means for storing data as a dictionary, display means for arranging buttons for selecting lines for inputting characters on the monitor, and uttering an image and vowel when the user stares at the buttons on the monitor for operation. Means for comparing the image at the time (shape of the mouth) with information stored as a dictionary in advance and selecting similar image data from the information, and a finger indicated by a button on the monitor corresponding to the selected image data A character input device using eye movement and mouth shape recognition, characterized by comprising means for executing the operation of the indicated content.
カメラによって読み取った使用者の映像（顔の位置、向
き、目の方向、口の形状など）から、使用者が操作する
ためにモニターのどのボタンを見つめているかを判定
し、また、どの母音を発声しているかを判定することを
特徴とする文字入力装置。2. The character input device according to claim 1, wherein
From the user's image (face position, orientation, eye direction, mouth shape, etc.) read by the camera, it is possible to determine which button on the monitor the user is looking at to operate, and which vowels A character input device for determining whether or not a user is speaking.
使用者が発声する声の周波数スペクトラムから母音を音
声認識し、目の動きと口の形状認識とを組み合わせて文
字を判定することを特徴とする文字入力装置。3. The character input device according to claim 1, wherein
A character input device comprising: voice recognition of a vowel from a frequency spectrum of a voice uttered by a user; and determination of characters by combining eye movement and mouth shape recognition.
使用者の顔位置が予め設定されている許容範囲内に位置
しているかの良否をモニター上で表示することができる
ことを特徴とする文字入力装置。4. The character input device according to claim 1, wherein
A character input device capable of displaying on a monitor whether or not a user's face position is located within a preset allowable range.
使用者の映像（顔の位置、向き、目の方向、口の形状な
ど）を読み取るカメラ１と、読み取った映像を画像デー
タとして処理する制御部２と、目と口によって装置の入
力及び入力した項目などを表示させることができるモニ
ター３によって構成されることを特徴とする文字入力装
置。5. The character input device according to claim 1, wherein
A camera 1 for reading user images (face position, orientation, eye direction, mouth shape, etc.); a control unit 2 for processing the read images as image data; A character input device comprising a monitor 3 capable of displaying items and the like.
使用者の映像（顔の位置、向き、目の方向、口の形状な
ど）を読み取るカメラ１と、読み取った映像を画像デー
タとして処理する制御部２と、目と口によって装置の入
力操作をするモニター３と、該モニター３で入力した項
目などを表示させることができる表示モニター４によっ
て構成されることを特徴とする文字入力装置。6. The character input device according to claim 1, wherein
A camera 1 for reading a user's image (face position, orientation, eye direction, mouth shape, etc.), a control unit 2 for processing the read image as image data, and an input operation of the apparatus using the eyes and mouth. A character input device comprising: a monitor 3; and a display monitor 4 capable of displaying items and the like input on the monitor 3.
キーで選択し、それに続く母音は口の形状から文字認識
することによって携帯電話の文字入力をする方法。7. In a camera-equipped mobile phone, a method of inputting characters of a mobile phone by selecting a line of characters with a key and recognizing characters following the vowel from the shape of the mouth.
者の映像（顔の位置、向き、目の方向など）及び母音を
発声した時の映像（口の形状）の画像データを辞書とし
て保存する工程と、モニターに文字入力するための行を
選択するボタンを配列した表示工程と、使用者が操作す
るために前記モニターのボタンを見つめた時の映像及び
母音を発声した時の映像（口の形状）と予め辞書として
保存された情報を比較して、その情報の中から類似した
画像データを選出する工程と、選出した画像データと対
応するモニター上のボタンが示す指示内容の操作を実行
させる工程とを備えたことを特徴とする目の動きと口の
形状認識を利用して文字を入力する方法。8. Image data of a user's image (face position, orientation, eye direction, etc.) and an image (mouth shape) when a vowel is uttered are stored as a dictionary. And a display step of arranging buttons for selecting lines for inputting characters on a monitor, and an image when a user looks at the buttons on the monitor and an image when a vowel is uttered (mouth). (A) and information stored in advance as a dictionary, and selecting similar image data from the information, and performing the operation of the instruction content indicated by the button on the monitor corresponding to the selected image data A method of inputting characters using eye movements and mouth shape recognition.
いて、カメラによって読み取った使用者の映像（顔の位
置、向き、目の方向、口の形状など）から、使用者が操
作するためにモニターのどのボタンを見つめているかを
判定し、また、どの母音を発声しているかを判定するこ
とを特徴とする文字を入力する方法。9. The method for inputting characters according to claim 8, wherein the user operates the camera based on an image of the user (face position, direction, eye direction, mouth shape, etc.) read by a camera. A method for inputting a character, comprising determining which button on a monitor is being stared and determining which vowel is being uttered.
操作を制御するための制御プログラムを記録した記録媒
体であって、該制御プログラムは、予めモニターの任意
の点ごとに見つめた使用者の映像（顔の位置、向き、目
の方向など）及び母音を発声した時の映像（口形状）の
画像データを辞書として保存しておく。次いで、使用者
が文字入力するために、文字の行を選択するボタンが配
列された表示モニターを見つめた時の映像及び母音を発
声した時の映像（口の形状）と任意の点ごとに辞書とし
て保存された情報を比較して、その情報の中から類似し
た画像データを選出し、選出した画像データと対応する
モニター上のボタンが示す指示内容の操作を実行させる
ことを特徴とする目の動きと口の形状認識を利用して文
字の入力操作を制御するための制御プログラムを記録し
た記録媒体。10. A recording medium on which a control program for recognizing eye movements and mouth shapes and controlling a character input operation is recorded, wherein the control program is used in advance at any point on a monitor. The image data of the person's image (face position, orientation, eye direction, etc.) and the image (mouth shape) when the vowel is uttered are stored as a dictionary. Next, in order for the user to input characters, an image when the user looks at the display monitor on which buttons for selecting character lines are arranged and an image when the vowel is uttered (the shape of the mouth) and a dictionary for each point. Comparing the information stored as, selecting similar image data from the information, and executing the operation of the instruction content indicated by the button on the monitor corresponding to the selected image data. A recording medium on which a control program for controlling a character input operation using movement and mouth shape recognition is recorded.
するための制御プログラムを記録した記録媒体におい
て、カメラによって読み取った使用者の映像（顔の位
置、向き、目の方向、口の形状など）から、使用者が操
作するためにモニターのどのボタンを見つめているかを
判定し、また、どの母音を発声しているかを判定するこ
とを特徴とする文字の入力操作を制御するための制御プ
ログラムを記録した記録媒体。11. A recording medium in which a control program for controlling a character input operation according to claim 10 is recorded, wherein a video (a face position, a direction, an eye direction, a mouth shape, etc.) of a user read by a camera is provided. ), A control program for controlling a character input operation characterized by determining which button of the monitor the user is looking at to operate, and determining which vowel is uttering. Recording medium on which is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001065853A JP2002269544A (en) | 2001-03-09 | 2001-03-09 | Character input device using shape recognition of eye movement and mouth |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001065853A JP2002269544A (en) | 2001-03-09 | 2001-03-09 | Character input device using shape recognition of eye movement and mouth |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002269544A true JP2002269544A (en) | 2002-09-20 |
Family
ID=18924434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001065853A Pending JP2002269544A (en) | 2001-03-09 | 2001-03-09 | Character input device using shape recognition of eye movement and mouth |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002269544A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007249595A (en) * | 2006-03-15 | 2007-09-27 | Omron Corp | Display, projector, display system, display method, display program, and recording medium |
| JP2015172848A (en) * | 2014-03-12 | 2015-10-01 | 株式会社ゼンリンデータコム | lip reading input device, lip reading input method and lip reading input program |
| US10114463B2 (en) | 2014-10-01 | 2018-10-30 | Samsung Electronics Co., Ltd | Display apparatus and method for controlling the same according to an eye gaze and a gesture of a user |
| KR20230090968A (en) * | 2021-12-14 | 2023-06-22 | 주식회사 웨이센 | Method for collecting cough sound, breathing sound, and voice sound data using a smartphone |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS52112205A (en) * | 1976-03-17 | 1977-09-20 | Kuniaki Miyazawa | Method of identifying audio or language |
| JPH0667688A (en) * | 1992-08-21 | 1994-03-11 | Toshiba Corp | Input device |
| JPH09305743A (en) * | 1996-05-20 | 1997-11-28 | Toshiba Corp | Human face motion detecting system |
| JP2000020196A (en) * | 1998-07-01 | 2000-01-21 | Shimadzu Corp | Sight line inputting device |
| JP2000068882A (en) * | 1998-08-17 | 2000-03-03 | Matsushita Electric Ind Co Ltd | Radio communication equipment |
-
2001
- 2001-03-09 JP JP2001065853A patent/JP2002269544A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS52112205A (en) * | 1976-03-17 | 1977-09-20 | Kuniaki Miyazawa | Method of identifying audio or language |
| JPH0667688A (en) * | 1992-08-21 | 1994-03-11 | Toshiba Corp | Input device |
| JPH09305743A (en) * | 1996-05-20 | 1997-11-28 | Toshiba Corp | Human face motion detecting system |
| JP2000020196A (en) * | 1998-07-01 | 2000-01-21 | Shimadzu Corp | Sight line inputting device |
| JP2000068882A (en) * | 1998-08-17 | 2000-03-03 | Matsushita Electric Ind Co Ltd | Radio communication equipment |
Non-Patent Citations (1)
| Title |
|---|
| CSNG199800681027, 呉 簡▲▼ Ｊｉａｎ−Ｔｏｎｇ ＷＵ, "音声・口形特徴量を併用するニューラルネットを用いた母音認識 Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｖｏｗｅｌ−Ｒｅｃｏｇｎｉｔｉｏｎ Ｊｏｉｎｔｌｙ", 電子情報通信学会論文誌 （Ｊ７３−Ｄ−ＩＩ） 第８号 ＴＨＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＦ ＴＨＥ ＩＮＳＴＩＴＵＴＥ ＯＦ ＥＬＥＣＴＲＯＮＩ, 第Ｊ７３−Ｄ−ＩＩ巻, JP, 社団法人電子情報通信学会 ＴＨＥ ＩＮＳＴＩＴＵＴＥ ＯＦ ＥＬＥＣＴＲＯ * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007249595A (en) * | 2006-03-15 | 2007-09-27 | Omron Corp | Display, projector, display system, display method, display program, and recording medium |
| JP2015172848A (en) * | 2014-03-12 | 2015-10-01 | 株式会社ゼンリンデータコム | lip reading input device, lip reading input method and lip reading input program |
| US10114463B2 (en) | 2014-10-01 | 2018-10-30 | Samsung Electronics Co., Ltd | Display apparatus and method for controlling the same according to an eye gaze and a gesture of a user |
| KR20230090968A (en) * | 2021-12-14 | 2023-06-22 | 주식회사 웨이센 | Method for collecting cough sound, breathing sound, and voice sound data using a smartphone |
| KR102619295B1 (en) * | 2021-12-14 | 2024-01-02 | 주식회사 웨이센 | Method for collecting cough sound, breathing sound, and voice sound data using a smartphone |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10747315B2 (en) | Communication and control system and method | |
| EP3809241B1 (en) | System and method for enabling communication through eye feedback | |
| Betke et al. | The camera mouse: visual tracking of body features to provide computer access for people with severe disabilities | |
| EP3133471B1 (en) | Play control method, apparatus, terminal, and recording medium | |
| KR20190102060A (en) | Medical brace | |
| Kane et al. | Sense and accessibility: Understanding people with physical disabilities’ experiences with sensing systems | |
| JP6291303B2 (en) | Communication support robot system | |
| JP3272906B2 (en) | Gaze direction detecting method and apparatus and man-machine interface apparatus including the same | |
| JP2016177658A (en) | Virtual input device, input method, and program | |
| CN114600031A (en) | Sight tracking system and method of intelligent glasses | |
| JP5771998B2 (en) | Electronic device and electronic device control program | |
| Niu et al. | Tongue-able interfaces: Prototyping and evaluating camera based tongue gesture input system | |
| JP2015103183A (en) | Medical examination support system | |
| Cecotti et al. | A multimodal virtual keyboard using eye-tracking and hand gesture detection | |
| JP2001350578A (en) | Device and method for input control by visual line and recording medium with control program to be inputted by visual line recorded thereon | |
| JP2002269544A (en) | Character input device using shape recognition of eye movement and mouth | |
| JP2016021259A (en) | Electronic apparatus and control program for electronic apparatus | |
| WO2023189313A1 (en) | Program, information processing device, and information processing method | |
| JP2012146216A (en) | Electronic device and program for controlling the same | |
| JP5811537B2 (en) | Electronics | |
| Roe et al. | A voice-controlled network for universal control of devices in the OR | |
| Donegan et al. | D3. 1 User requirements report with observations of difficulties users are experiencing | |
| JP2002169652A (en) | Input controlling device making use of eyes | |
| JPH1173273A (en) | Inputting device for physically handicapped person | |
| KR20210028370A (en) | Intelligent standardized patient training and evaluation system. based on virtual reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101014 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101109 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110308 |