JP2011243108A - Electronic book device and electronic book operation method - Google Patents

Electronic book device and electronic book operation method Download PDF

Info

Publication number
JP2011243108A
JP2011243108A JP2010116399A JP2010116399A JP2011243108A JP 2011243108 A JP2011243108 A JP 2011243108A JP 2010116399 A JP2010116399 A JP 2010116399A JP 2010116399 A JP2010116399 A JP 2010116399A JP 2011243108 A JP2011243108 A JP 2011243108A
Authority
JP
Japan
Prior art keywords
user
line
icon
facial expression
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010116399A
Other languages
Japanese (ja)
Inventor
Takahito Furumoto
隆人 古本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2010116399A priority Critical patent/JP2011243108A/en
Publication of JP2011243108A publication Critical patent/JP2011243108A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an electronic book device and an electronic book operation method in which a user's line of sight can be used to perform icon operation without disturbing reading.SOLUTION: An electronic book device 10 of this invention comprises: a display section 11 to display an electronic document and icons indicating operation content for the electronic document; a line-of-sight position specification section 12 to specify the position of a user's line of sight toward the display section 11; a display control section 13 to display a cursor indicating the position of the user's line of sight on the display section 11 when the position of the user's line of sight toward a specific area on the display section 11 is detected by the line-of-sight position specification section 12; and an expression recognition section 14 to recognize, with the cursor selecting an icon, a facial expression of the user and execute the icon operation on the basis of the recognized user's facial expression.

Description

本発明は電子ブック装置及び電子ブック操作方法に関し、特にユーザの視線位置を用いて操作を行う電子ブック装置及び電子ブック操作方法に関する。   The present invention relates to an electronic book apparatus and an electronic book operation method, and more particularly to an electronic book apparatus and an electronic book operation method for performing an operation using a user's line-of-sight position.

一般的に、電子ブック等の情報端末において電子文書を閲覧する場合、主にキーもしくはマウス等を用いて、手動操作によりページめくり操作を行う必要がある。ここで、近年研究されている手動操作以外の操作方式として、視線入力方式がある。視線入力方式とは、ユーザの視線方向及び座標を読み取り、カーソル等を移動させることにより、手動によりキーやマウスを操作するのと同等の操作を可能とする操作方式である。視線入力方式における情報入力方法として、アイコンを一定時間注視する、もしくはユーザの瞬きを検出する等の方法が用いられている。   Generally, when an electronic document is browsed on an information terminal such as an electronic book, it is necessary to perform a page turning operation by a manual operation mainly using a key or a mouse. Here, there is a line-of-sight input method as an operation method other than the manual operation studied recently. The line-of-sight input method is an operation method that enables an operation equivalent to manually operating a key or a mouse by reading a user's line-of-sight direction and coordinates and moving a cursor or the like. As an information input method in the line-of-sight input method, a method of gazing at an icon for a certain time or detecting a blink of a user is used.

一定時間の注視を、マウスを用いた場合のダブルクリックのような入力確定動作とした場合、ユーザが操作を実行することを要求してから、実際に電子ブックが対応動作を行うまでに、ユーザが一箇所を注視していることを認識する時間が必要となる。また、ユーザの瞬きを入力確定動作とした場合、角膜保護や眼の潤いを維持するために平均２〜３秒に１回の頻度で無意識に行っている瞬きと、入力確定動作を意図したときの瞬きとを電子ブック装置が判別することができない。そのため、瞬きによる入力確定動作は、誤入力を引き起こす可能性が高い。   When gaze for a certain period of time is an input confirmation operation such as a double click when using a mouse, the user must perform an operation before the electronic book actually performs the corresponding operation. It takes time to recognize that is watching one place. In addition, when the user's blink is set as the input confirmation operation, when the blink is performed unconsciously at an average frequency of once every 2 to 3 seconds in order to maintain the cornea and keep the eyes moist, and when the input confirmation operation is intended The electronic book device cannot discriminate between blinks. Therefore, the input confirmation operation by blinking is highly likely to cause an erroneous input.

そこで、上述したような操作を実行するためにかかる遅延時間や、ユーザの意図しない誤入力に関する問題を解決するために、特許文献１には、ユーザの表情に基づいて、入力確定動作を実行する方法が開示されている。具体的には、ユーザの視線位置を特定し、ユーザが視線を移動させることによりアイコンを選択し、ユーザの表情の変化に基づいて、入力確定動作を実行する。電子ブックを用いて読書を行っている間に、ユーザが無意識に表情変化をする頻度は、ユーザが瞬きを行う頻度と比較すると十分に少ないと考えられる。また、アイコンを一定時間注視して入力確定動作を行う場合に必要な、ユーザが一箇所を注視していることを認識する時間は必要とされない。これより、上述した問題を解決することができる。   Therefore, in order to solve the problem related to the delay time required for executing the operation as described above and the erroneous input unintended by the user, Japanese Patent Application Laid-Open No. 2005-133867 discloses an input confirmation operation based on the user's facial expression. A method is disclosed. Specifically, the user's line-of-sight position is specified, the user selects the icon by moving the line of sight, and the input confirmation operation is executed based on the change in the user's facial expression. It is considered that the frequency with which the user unconsciously changes facial expressions while reading using an electronic book is sufficiently lower than the frequency with which the user blinks. Further, it is not necessary to have a time for recognizing that the user is gazing at one place, which is necessary when the input confirmation operation is performed while gazing at the icon for a certain period of time. Thereby, the above-described problem can be solved.

特開２００４−２５２８４９号公報JP 2004-252849 A

しかし、特許文献１に開示されているユーザの表情に基づく入力確定動作を実行した場合、次のような問題が生じる。電子ブック装置がユーザの視線位置を検出し、その視線を移動させることによりアイコンを選択する場合に、ユーザは、視線位置が移動する軌跡が電子ブック装置に表示されなければ、操作を希望するアイコンを選択することが困難であるという問題が生じる。このような問題を解決するために、ユーザの視線位置を示すカーソルを表示し、ユーザの視線の動きに応じて、カーソルを視線方向に移動させることが考えられる。しかし、この場合、ユーザが読書中に、ユーザの視線の近傍をカーソルが移動していることにより、読書の妨げとなる問題が生じる。   However, when the input confirmation operation based on the facial expression of the user disclosed in Patent Document 1 is executed, the following problem occurs. When the electronic book device detects the user's line-of-sight position and selects an icon by moving the line of sight, the user wishes to operate if the locus of movement of the line-of-sight position is not displayed on the electronic book apparatus. The problem arises that it is difficult to select. In order to solve such a problem, it is conceivable to display a cursor indicating the user's line-of-sight position and move the cursor in the line-of-sight direction according to the movement of the user's line of sight. However, in this case, there is a problem that reading is hindered because the cursor is moving in the vicinity of the user's line of sight while the user is reading.

本発明はこのような問題を解決するためになされたものであり、読書を妨げることなくユーザの視線を用いてアイコン操作を実行することができる電子ブック装置及び電子ブック操作方法を提供することを目的とする。   The present invention has been made to solve such a problem, and provides an electronic book apparatus and an electronic book operation method capable of executing an icon operation using a user's line of sight without disturbing reading. Objective.

本発明の第１の態様にかかる電子ブック装置は、電子文書と、当該電子文書に対する操作内容を示すアイコンとを表示する表示部と、前記表示部に向けられたユーザの視線位置を特定する視線位置特定部と、前記ユーザの視線位置が、前記視線位置特定部により前記表示部内の特定の領域に向けられたことを検出された場合に、前記表示部に前記ユーザの視線位置を示すカーソルを表示させる表示制御部と、前記カーソルが前記アイコンを選択している状態において、前記ユーザの表情を認識し、当該認識したユーザの表情に基づいてアイコンの操作を実行させる表情認識部と、を備えるものである。   An electronic book device according to a first aspect of the present invention includes a display unit that displays an electronic document and an icon that indicates an operation content for the electronic document, and a line of sight that identifies a user's line-of-sight position toward the display unit. When the position specifying unit and the user's line-of-sight position are detected by the line-of-sight position specifying unit to be directed to a specific area in the display unit, a cursor indicating the user's line-of-sight position is displayed on the display unit. A display control unit to be displayed; and a facial expression recognition unit that recognizes the facial expression of the user and executes an icon operation based on the recognized facial expression of the user in a state where the cursor selects the icon. Is.

本発明の第２の態様にかかる電子ブック操作方法は、電子文書と、当該電子文書に対する操作内容を表示するアイコンとを表示する表示部に向けられたユーザの視線位置を特定するステップと、前記ユーザの視線位置が、前記視線位置特定部により前記表示部内の特定の領域に向けられたことを検出するステップと、前記ユーザの視線位置が、前記表示部内の所定の位置に向けられたことが検出された場合に、前記表示部に前記ユーザの視線位置を示すカーソルを表示するステップと、前記カーソルが前記アイコンを選択している状態において、前記ユーザの表情の変化を認識し、当該アイコンの操作を実行するステップと、を備えるものである。   The electronic book operation method according to the second aspect of the present invention includes a step of specifying a user's line-of-sight position that is directed to a display unit that displays an electronic document and an icon for displaying an operation content for the electronic document, Detecting that the user's line-of-sight position is directed to a specific area in the display unit by the line-of-sight position specifying unit; and that the user's line-of-sight position is directed to a predetermined position in the display unit. If detected, a step of displaying a cursor indicating the user's line-of-sight position on the display unit, and when the cursor is selecting the icon, recognizing a change in the facial expression of the user, And a step of executing an operation.

本発明により、読書を妨げることなくユーザの視線を用いてアイコン操作を実行することができる電子ブック装置及び電子ブック操作方法を提供することができる。   According to the present invention, it is possible to provide an electronic book device and an electronic book operation method capable of executing an icon operation using a user's line of sight without disturbing reading.

実施の形態１にかかる電子ブック装置の構成図である。1 is a configuration diagram of an electronic book device according to a first embodiment; 実施の形態１にかかる電子ブック装置の構成図である。1 is a configuration diagram of an electronic book device according to a first embodiment; 実施の形態１にかかる表示部に表示される画像の図である。FIG. 3 is a diagram of an image displayed on the display unit according to the first embodiment. 実施の形態１にかかる電子ブック装置におけるアイコン操作を実行するフローチャートである。3 is a flowchart for executing an icon operation in the electronic book device according to the first embodiment;

（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。図１を用いて本発明の実施の形態１にかかる電子ブック装置の構成例について説明する。電子ブック装置１０は、表示部１１と、視線位置特定部１２と、表示制御部１３と、表情認識部１４と、を備えている。 (Embodiment 1)
Embodiments of the present invention will be described below with reference to the drawings. A configuration example of the electronic book device according to the first exemplary embodiment of the present invention will be described with reference to FIG. The electronic book device 10 includes a display unit 11, a line-of-sight position specifying unit 12, a display control unit 13, and a facial expression recognition unit 14.

表示部１１は、電子文書と、この電子文書に対する操作内容を示すアイコンとを表示する。表示部１１は、電子ブック装置１０に設けられている表示画面であり、例えば液晶ディスプレイ等である。電子文書は、電子ブック装置１０に設けられているメモリ（図示せず）に保持されている書物、新聞又は雑誌等におけるテキスト文書や、図面データ、写真データ等を含むデータである。また、電子ブック装置１０は、外部記憶媒体に保存されている電子文書を表示部１１に表示してもよい。アイコンは、例えば、電子文書の閲覧において、頁をめくる操作、現在閲覧中の頁にしおりを付する操作等を実行するものがある。アイコンは、選択され、ダブルクリック等の入力確定動作が実行されることにより、操作が実行される。   The display unit 11 displays an electronic document and an icon indicating an operation content for the electronic document. The display unit 11 is a display screen provided in the electronic book device 10 and is, for example, a liquid crystal display. The electronic document is data including a text document in a book, a newspaper, a magazine, or the like held in a memory (not shown) provided in the electronic book device 10, drawing data, photo data, and the like. In addition, the electronic book device 10 may display an electronic document stored in an external storage medium on the display unit 11. For example, there are icons that perform an operation of turning a page, an operation of attaching a bookmark to a currently browsed page, and the like when browsing an electronic document. An icon is selected, and an operation is executed by performing an input confirmation operation such as double-clicking.

視線位置特定部１２は、表示部１１に向けられたユーザの視線位置を特定する。視線位置特定部１２は、一定時間間隔毎に、表示部１１におけるユーザの視線位置を特定する。視線位置特定部１２は、ユーザの視線位置を特定する一定時間間隔を変更することができる。例えば、視線位置を示すためにカーソルを用いた場合、一定時間間隔を十分に短くすることにより、カーソルの軌跡が連続動作をしているように表示部１１に表示することができる。   The line-of-sight position specifying unit 12 specifies the line-of-sight position of the user directed to the display unit 11. The line-of-sight position specifying unit 12 specifies the line-of-sight position of the user on the display unit 11 at regular time intervals. The line-of-sight position specifying unit 12 can change a certain time interval for specifying the line-of-sight position of the user. For example, when a cursor is used to indicate the line-of-sight position, it can be displayed on the display unit 11 as if the locus of the cursor is continuously operating by sufficiently shortening the predetermined time interval.

表示制御部１３は、視線位置特定部１２によってユーザの視線位置が、表示部１１内の特定の領域に向けられたことを検出された場合に、表示部１１にユーザの視線位置を示すカーソルを表示させる。以下、表示部１１内の特定の領域を、カーソル表示領域と称する。ユーザの視線位置がカーソル表示領域に向けられたことにより表示されるカーソルは、一定時間、表示部１１内に表示される。表示部１１内に表示されたカーソルは、一定時間経過後に表示されなくなるようにしてもよい。表示部１１内のカーソル表示領域は、表示部１１内の一定面積を有する領域であればよい。また、表示部１１内のカーソル表示領域は、表示部１１内に複数個所あってもよく、１箇所に限定されない。カーソルは、ユーザの視線位置を示し、さらにユーザの視線位置の動き、つまり視線位置の軌跡を示すために用いられる。一般的に、カーソルは、表示部１１の大きさと比較して十分に小さい矢印等を用いて示される。矢印は、カーソル表示の一例であり、カーソルの表示は、矢印以外の記号等を用いて表現されてもよい。   When the line-of-sight position specifying unit 12 detects that the user's line-of-sight position is directed to a specific area in the display unit 11, the display control unit 13 displays a cursor indicating the user's line-of-sight position on the display unit 11. Display. Hereinafter, the specific area in the display unit 11 is referred to as a cursor display area. A cursor displayed when the user's line-of-sight position is directed to the cursor display area is displayed in the display unit 11 for a certain period of time. The cursor displayed in the display unit 11 may not be displayed after a predetermined time has elapsed. The cursor display area in the display unit 11 may be an area having a certain area in the display unit 11. In addition, the cursor display area in the display unit 11 may be plural in the display unit 11 and is not limited to one place. The cursor indicates the user's line-of-sight position, and is used to indicate the movement of the user's line-of-sight position, that is, the locus of the line-of-sight position. In general, the cursor is indicated using an arrow or the like that is sufficiently smaller than the size of the display unit 11. An arrow is an example of a cursor display, and the cursor display may be expressed using a symbol other than the arrow.

表情認識部１４は、カーソルがアイコンを選択している状態において、ユーザの表情を認識し、認識したユーザの表情に基づいてアイコンの操作を実行させる。カーソルは、ユーザの視線方向に沿って表示部１１内を移動する。そのため、ユーザは、希望する操作内容を示すアイコンにカーソルを移動させ、アイコンにカーソルを重ねることによって、アイコンを選択することができる。表情認識部１４は、アイコンが選択された状態において、アイコン操作を実行するために、ユーザの表情を認識する。アイコン操作の実行に用いられるユーザの表情は、予めカメラ等を用いて撮影され、電子ブック装置１０内のメモリに保存されていてもよい。このようにすることにより、表情認識部１４が認識したユーザの表情と、電子ブック装置１０内のメモリに保存されているユーザの表情とを比較し、実質的に同一の表情である場合には、表情認識部１４は、アイコンの操作を実行させる。表情認識部１４は、アイコン操作の実行を表示制御部１３へ通知し、表示制御部１３は、アイコン操作実行時の画像データを生成し、表示部１１へ出力する。   The facial expression recognition unit 14 recognizes the user's facial expression while the cursor is selecting the icon, and causes the icon to be operated based on the recognized facial expression of the user. The cursor moves in the display unit 11 along the direction of the user's line of sight. Therefore, the user can select an icon by moving the cursor to an icon indicating the desired operation content and overlaying the cursor on the icon. The facial expression recognition unit 14 recognizes the user's facial expression in order to execute the icon operation in a state where the icon is selected. The user's facial expression used for executing the icon operation may be captured in advance using a camera or the like and stored in a memory in the electronic book apparatus 10. By doing so, the facial expression of the user recognized by the facial expression recognition unit 14 is compared with the facial expression of the user stored in the memory in the electronic book apparatus 10, and when the facial expressions are substantially the same, The facial expression recognition unit 14 causes an icon operation to be executed. The facial expression recognition unit 14 notifies the display control unit 13 of execution of the icon operation, and the display control unit 13 generates image data when the icon operation is executed and outputs the image data to the display unit 11.

以上説明したように、図１にかかる電子ブック装置１０を用いることにより、ユーザの視線位置がカーソル表示領域に向けられた場合に、ユーザの視線位置を示すカーソルを表示することができる。カーソル表示領域を設けることにより、表示部１１におけるユーザの視線位置を示すカーソルの表示及び非表示を制御することができる。例えば、ユーザの視線位置を検出するカーソル表示領域を、文書の最後の文字の近傍に配置することにより、文書を閲覧中は、カーソルを非表示とすることができる。さらに、文書を読み終えた場合に、カーソルが表示され、頁をめくるためのアイコン等の選択を容易にすることができる。   As described above, by using the electronic book device 10 according to FIG. 1, when the user's line-of-sight position is directed to the cursor display area, the cursor indicating the user's line-of-sight position can be displayed. By providing the cursor display area, it is possible to control the display and non-display of the cursor indicating the user's line-of-sight position on the display unit 11. For example, by arranging a cursor display area for detecting the user's line-of-sight position in the vicinity of the last character of the document, the cursor can be hidden while the document is being browsed. Further, when the document has been read, a cursor is displayed, and it is possible to easily select an icon or the like for turning the page.

続いて、図２を用いて本発明の実施の形態１にかかる電子ブック装置１０の詳細な構成例について説明する。電子ブック装置１０は、表示部１１と、視線位置特定部１２と、表示制御部１３と、表情認識部１４と、撮影部１５と、アイコン操作部１６と、外部記憶媒体１７と、記憶部１８と、を備えている。なお、表示部１１と、視線位置特定部１２と、表示制御部１３と、表情認識部１４とは、図１と同様の機能を有するため、図１と重複する機能の説明は省略する。   Next, a detailed configuration example of the electronic book device 10 according to the first exemplary embodiment of the present invention will be described with reference to FIG. The electronic book apparatus 10 includes a display unit 11, a line-of-sight position specifying unit 12, a display control unit 13, a facial expression recognition unit 14, a photographing unit 15, an icon operation unit 16, an external storage medium 17, and a storage unit 18. And. The display unit 11, the line-of-sight position specifying unit 12, the display control unit 13, and the facial expression recognition unit 14 have the same functions as those in FIG.

撮影部１５は、ユーザの視線位置を特定するために用いられるユーザの瞳孔の向きを撮影する。さらに、ユーザの表情を認識するために、ユーザの表情を撮影する。撮影部１５は、例えばＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ等が用いられる小型カメラである。撮影部１５は、撮影した画像データを、視線位置特定部１２及び表情認識部１４へ出力する。   The imaging unit 15 captures the orientation of the user's pupil used to specify the user's line-of-sight position. Furthermore, in order to recognize the user's facial expression, the user's facial expression is photographed. The photographing unit 15 is a small camera using, for example, a CMOS image sensor or a CCD image sensor. The imaging unit 15 outputs the captured image data to the line-of-sight position specifying unit 12 and the facial expression recognition unit 14.

視線位置特定部１２は、撮影部１５から出力された画像データを用いて、ユーザの瞳孔が向いている方向を特定する。さらに、ユーザの瞳孔が向いている方向から、表示部１１におけるユーザの視線位置を示す座標位置を特定する。視線位置特定部１２は、ユーザの視線位置を示す座標位置が、カーソルを表示するために用いられるカーソル表示領域に属するか否かに関する情報を表示制御部１３へ通知する。さらに、視線位置特定部１２は、ユーザの視線位置が、表示部１１内のアイコンと重なり、アイコンを選択しているか否かに関する情報を表情認識部１４へ出力する。   The line-of-sight position specifying unit 12 uses the image data output from the photographing unit 15 to specify the direction in which the user's pupil is facing. Furthermore, the coordinate position which shows the user's eyes | visual_axis position in the display part 11 is specified from the direction which a user's pupil has faced. The line-of-sight position specifying unit 12 notifies the display control unit 13 of information regarding whether or not the coordinate position indicating the user's line-of-sight position belongs to a cursor display area used for displaying a cursor. Further, the line-of-sight position specifying unit 12 outputs information regarding whether or not the user's line-of-sight position overlaps the icon in the display unit 11 and whether or not the icon is selected to the facial expression recognition unit 14.

表情認識部１４は、ユーザの視線位置が、アイコンを選択しているとの情報を視線位置特定部１２から取得した場合、撮影部１５から出力された画像データを用いて、ユーザの表情を認識する。表情認識部１４は、眉の位置及び口角等のうち少なくとも１つを用いて、ユーザの表情を認識する。例えば、ユーザの入力確定動作に用いられる表情を予め撮影し保存していた場合、保存されているユーザの表情における眉の位置と、撮影部１５から出力された画像データのユーザの表情における眉の位置とを比較し、実質的に一致する場合は、表情認識部１４は、撮影部１５から出力された画像データにおけるユーザの表情と、入力確定動作に用いられるユーザの表情とは一致するとの情報をアイコン操作部１６へ出力する。もしくは、眉の位置のみではなく、口角についても、保存されているユーザの表情と比較してもよい。比較する部位が多いほど、ユーザの表情を識別する精度が向上し、誤入力を行う可能性が低減される。また、比較する部位が少ないほど、ユーザの表情を識別する精度は低下するが、入力確定動作におけるユーザの表情の変化を許容する範囲が拡大し、操作性におけるユーザへのストレス負荷が軽減される。   The facial expression recognition unit 14 recognizes the facial expression of the user by using the image data output from the photographing unit 15 when information indicating that the user's line of sight position has selected the icon is acquired from the line of sight position specifying unit 12. To do. The facial expression recognition unit 14 recognizes the user's facial expression using at least one of the position of the eyebrows and the corner of the mouth. For example, when the facial expression used for the user's input confirmation operation is captured and stored in advance, the position of the eyebrow in the stored user's facial expression and the eyebrow of the user's facial expression in the image data output from the imaging unit 15 When the positions are compared and substantially match, the expression recognizing unit 14 indicates that the user's expression in the image data output from the imaging unit 15 matches the user's expression used for the input confirming operation. Is output to the icon operation unit 16. Alternatively, not only the position of the eyebrow but also the mouth corner may be compared with the stored facial expression of the user. As the number of parts to be compared increases, the accuracy of identifying the user's facial expression is improved, and the possibility of erroneous input is reduced. In addition, the smaller the number of parts to be compared, the lower the accuracy of identifying the user's facial expression, but the range allowing the change of the user's facial expression in the input confirmation operation is expanded and the stress load on the user in operability is reduced .

また、表情認識部１４は、ユーザの表情を識別する精度を向上するために、ユーザの読書時における通常の表情をあらかじめ撮影し保存しておいてもよい。通常の表情と入力確定動作用の表情における特徴差分の中間に境界（閾値）を設けることにより、通常時と入力確定動作時とにおける表情を明確に分けることができる。特徴差分とは、例えば、通常の表情と入力確定動作用の表情とにおける眉の位置の違いである。通常の表情における眉の位置が眼の位置よりも０．５ｃｍ上方にあり、入力確定動作用の表情における眉の位置が眼の位置よりも１ｃｍ上方にある場合、閾値を０．７５ｃｍとする。この場合、表情認識部１４は、撮影部１５から出力された画像データにおいて、眉の位置が眼の位置よりも０．７５ｃｍを超えて上方にある場合、入力確定動作に用いられるユーザの表情と一致すると判定してもよい。閾値は、中間値に制限されず、任意に設定することができる。また、通常時の表情と、入力確定動作時における表情との特徴差分が、閾値を超えない場合、つまり通常時の表情と入力確定動作時における表情との差分が少ない場合、撮影された入力確定動作時における表情のデータを破棄し、再度入力確定動作用の表情を撮影して登録するようにしてもよい。   Further, the facial expression recognition unit 14 may capture and store in advance a normal facial expression at the time of reading by the user in order to improve the accuracy of identifying the facial expression of the user. By providing a boundary (threshold) in the middle of the feature difference between the normal facial expression and the facial expression for the input confirmation operation, the facial expression at the normal time and the input confirmation operation can be clearly separated. The feature difference is, for example, a difference in the position of the eyebrows between a normal expression and an expression for an input confirmation operation. When the eyebrow position in the normal facial expression is 0.5 cm above the eye position and the eyebrow position in the facial expression for the input confirmation operation is 1 cm above the eye position, the threshold is set to 0.75 cm. In this case, in the image data output from the photographing unit 15, the facial expression recognition unit 14 determines the facial expression of the user used for the input confirmation operation when the position of the eyebrows is above 0.75 cm above the position of the eyes. It may be determined that they match. The threshold value is not limited to the intermediate value and can be set arbitrarily. Also, if the feature difference between the normal facial expression and the facial expression during the input confirmation operation does not exceed the threshold, that is, if the difference between the normal facial expression and the facial expression during the input confirmation operation is small, the captured input confirmation The facial expression data at the time of operation may be discarded, and the facial expression for the input confirmation operation may be photographed and registered again.

アイコン操作部１６は、表情認識部１４から、撮影部１５から出力された画像データにおけるユーザの表情と、保存されているユーザの表情とが一致するとの情報を取得した場合、アイコン操作を実行する。アイコン操作部１６は、アイコンの操作内容に関する情報を表示制御部１３へ出力する。アイコン操作部１６は、表情認識部１４から、撮影部１５から出力された画像データにおけるユーザの表情と、保存されているユーザの表情とは一致しないとの情報を取得した場合、アイコン操作を実行しない。   The icon operation unit 16 executes the icon operation when acquiring from the facial expression recognition unit 14 information that the facial expression of the user in the image data output from the photographing unit 15 matches the stored facial expression of the user. . The icon operation unit 16 outputs information regarding the operation content of the icon to the display control unit 13. The icon operation unit 16 executes the icon operation when acquiring from the facial expression recognition unit 14 information that the user's facial expression in the image data output from the photographing unit 15 does not match the stored user's facial expression. do not do.

表示制御部１３は、ユーザの視線位置を示す座標位置が、カーソルを表示するために用いられるカーソル表示領域に属するとの情報を視線位置特定部１２から通知された場合、ユーザの視線位置を示すカーソルを表示する画像データを生成し、記憶部１８へ出力する。また、表示制御部１３は、アイコン操作部１６からアイコン操作の実行に関する情報が出力された場合、頁めくり等の、アイコン操作の実行内容を示す画像データを生成し、記憶部１８へ出力する。さらに、表示制御部１３は、外部記憶媒体１７から電子文書を取得し、テキストデータ及び画像データ等を、表示部１１に表示する頁単位に分割する。表示制御部１３は、分割したデータを記憶部１８へ出力する。   When the information indicating that the coordinate position indicating the user's line-of-sight position belongs to the cursor display area used for displaying the cursor is notified from the line-of-sight position specifying unit 12, the display control unit 13 indicates the user's line-of-sight position. Image data for displaying the cursor is generated and output to the storage unit 18. Further, when the information related to the execution of the icon operation is output from the icon operation unit 16, the display control unit 13 generates image data indicating the execution content of the icon operation such as page turning and outputs the image data to the storage unit 18. Further, the display control unit 13 acquires an electronic document from the external storage medium 17 and divides text data, image data, and the like into page units to be displayed on the display unit 11. The display control unit 13 outputs the divided data to the storage unit 18.

表示部１１は、記憶部１８に記憶された画像データを取得し、表示する。   The display unit 11 acquires and displays the image data stored in the storage unit 18.

続いて、図３を用いて本発明の実施の形態１にかかる表示部１１における表示例について説明する。表示部１１には、操作内容を示すアイコンとして、前頁に頁をめくるアイコン２１と、次頁に頁をめくるアイコン２２とが配置されている。また、表示部１１には、カーソル表示領域２３及び２４が配置されている。ユーザの視線位置がカーソル表示領域２３又は２４にあることが検出された場合に、表示部１１にカーソル２５が表示される。カーソル表示領域２３及び２４は、表示部１１に表示されなくてもよく、明確にカーソル表示領域を示すために、表示部１１に表示されてもよい。図３においては、文章が区切られる位置に、２箇所カーソル表示領域が配置されている。これにより、ユーザが文章を読み進み、１つの文章を読み終え、視線がカーソル表示領域２３又は２４に向けられた場合に、カーソル２５が表示される。ユーザは視線を動かすことにより、表示されたカーソル２５をアイコン２１又は２２へ移動させる。なお、図３に示されている点線の矢印は、カーソル２５が移動した軌跡を説明するために示しており、実際には表示部１１に表示されない。   Then, the example of a display in the display part 11 concerning Embodiment 1 of this invention is demonstrated using FIG. On the display unit 11, an icon 21 for turning a page on the previous page and an icon 22 for turning a page on the next page are arranged as icons indicating operation contents. In addition, cursor display areas 23 and 24 are arranged on the display unit 11. When it is detected that the user's line-of-sight position is in the cursor display area 23 or 24, the cursor 25 is displayed on the display unit 11. The cursor display areas 23 and 24 may not be displayed on the display unit 11 and may be displayed on the display unit 11 in order to clearly show the cursor display area. In FIG. 3, two cursor display areas are arranged at positions where sentences are divided. As a result, when the user reads the sentence and finishes reading one sentence and the line of sight is directed to the cursor display area 23 or 24, the cursor 25 is displayed. The user moves the displayed cursor 25 to the icon 21 or 22 by moving the line of sight. Note that the dotted arrow shown in FIG. 3 is shown for explaining the locus of movement of the cursor 25 and is not actually displayed on the display unit 11.

また、表示制御部１３は、カーソル２５が、所定の時間経過してもアイコン２１又は２２を示す領域に移動しない場合に、カーソル２５の表示を中止するように制御してもよい。また、表示制御部１３は、カーソル２５がアイコン２１又は２２を示す領域に移動した場合に、ユーザに対して入力確定動作を実行する表情への変化を促すために、アイコン２１又は２２の表示色又はサイズ等を変更するように制御してもよい。これにより、ユーザは、入力確定動作を実行するための表情へ変化するタイミングを得られるため、円滑な操作を実行することができる。   In addition, the display control unit 13 may control the display of the cursor 25 to be stopped when the cursor 25 does not move to the area indicating the icon 21 or 22 even after a predetermined time has elapsed. In addition, when the cursor 25 moves to the area indicating the icon 21 or 22, the display control unit 13 displays the color of the icon 21 or 22 in order to prompt the user to change to a facial expression that performs the input confirmation operation. Or you may control to change a size etc. Accordingly, the user can obtain a timing for changing to a facial expression for executing the input confirmation operation, and thus can perform a smooth operation.

また、表情認識部１４は、アイコン２１又は２２の表示色又はサイズ等が変化した後に、ユーザの表情を認識する制御を実行し、認識したユーザの表情に基づいて、入力確定動作を実行してもよい。これにより、表情認識部１４は、アイコン２１又は２２の表示色等が変化するまで、ユーザの表情認識を実行する必要がないため、表情認識部１４における処理負荷を軽減することができる。   The facial expression recognition unit 14 executes control for recognizing the user's facial expression after the display color or size of the icon 21 or 22 has changed, and executes an input confirmation operation based on the recognized facial expression of the user. Also good. As a result, the facial expression recognition unit 14 does not need to execute facial expression recognition until the display color or the like of the icon 21 or 22 changes, so that the processing load on the facial expression recognition unit 14 can be reduced.

また、図３においては、カーソル表示領域を、文章が区切られる位置に２箇所配置している例について説明しているが、カーソル表示領域が配置される場所は、文章が区切られる位置に制限されず、また、配置箇所も２箇所に制限されるものではない。   Further, FIG. 3 illustrates an example in which two cursor display areas are arranged at positions where sentences are delimited, but the place where the cursor display area is arranged is limited to positions where sentences are delimited. Further, the arrangement location is not limited to two.

続いて、図４を用いて本発明の実施の形態１の電子ブック装置１０におけるアイコン操作を実行するための処理の流れについて説明する。初めに、視線位置特定部１２は、ユーザの視線位置を特定する（Ｓ１１）。   Next, a flow of processing for executing an icon operation in the electronic book device 10 according to the first embodiment of the present invention will be described with reference to FIG. First, the line-of-sight position specifying unit 12 specifies the line-of-sight position of the user (S11).

次に、視線位置特定部１２は、ユーザの視線位置が、カーソルを表示するために設けられたカーソル表示領域に向けられているか否かを検出する（Ｓ１２）。視線位置特定部１２は、ユーザの視線位置が、カーソル表示領域に向けられていないと判定した場合、再度ユーザの視線位置を特定するステップＳ１１の処理を実行する。視線位置特定部１２によってユーザの視線位置が、カーソル表示領域に向けられていると判定された場合、表示制御部１３は、表示部１１にユーザの視線位置を示すカーソルを表示する（Ｓ１３）。   Next, the line-of-sight position specifying unit 12 detects whether or not the user's line-of-sight position is directed to a cursor display area provided for displaying a cursor (S12). When it is determined that the user's line-of-sight position is not directed to the cursor display area, the line-of-sight position specifying unit 12 executes the process of step S11 for specifying the user's line-of-sight position again. When the line-of-sight position specifying unit 12 determines that the user's line-of-sight position is directed to the cursor display area, the display control unit 13 displays a cursor indicating the user's line-of-sight position on the display unit 11 (S13).

次に、視線位置特定部１２は、カーソルの位置を特定する（Ｓ１４）。視線位置特定部１２は、カーソルが表示部１１に表示されているアイコンを選択しているか否かを判定する（Ｓ１５）。視線位置特定部１２は、カーソルがアイコンを選択していないと判定した場合、再度カーソル位置を特定するステップＳ１４の処理を実行する。視線位置特定部１２によってカーソルがアイコンを選択していると判定された場合、表情認識部１４は、ユーザの表情を認識し、ユーザの表情が、入力確定動作を実行する際に用いられる表情であるか否かを判定する（Ｓ１６）。表情認識部１４は、ユーザの表情が、入力確定動作を実行する際に用いられる表情ではないと判定した場合、処理を終了する。表情認識部１４によって、ユーザの表情が、入力確定動作を実行する際に用いられる表情であると判定した場合、アイコン操作部１６は、アイコン操作を実行する（Ｓ１７）。表示制御部１３は、アイコン操作を実行する画像データを生成し、記憶部１８へ出力する。   Next, the line-of-sight position specifying unit 12 specifies the position of the cursor (S14). The line-of-sight position specifying unit 12 determines whether or not the cursor has selected the icon displayed on the display unit 11 (S15). When it is determined that the cursor has not selected an icon, the line-of-sight position specifying unit 12 executes the process of step S14 for specifying the cursor position again. When it is determined by the gaze position specifying unit 12 that the cursor has selected the icon, the facial expression recognition unit 14 recognizes the user's facial expression, and the user's facial expression is an expression used when executing the input confirmation operation. It is determined whether or not there is (S16). If the facial expression recognition unit 14 determines that the facial expression of the user is not the facial expression used when executing the input confirmation operation, the process ends. When the facial expression recognition unit 14 determines that the facial expression of the user is a facial expression used when executing the input confirmation operation, the icon operation unit 16 performs an icon operation (S17). The display control unit 13 generates image data for executing the icon operation and outputs the image data to the storage unit 18.

以上説明したように、本発明の実施の形態１にかかる電子ブック装置を用いることにより、読書を妨げることなくユーザの視線位置を特定するカーソルを用いて、アイコンを容易に操作することができる。つまり、表示部１１内に１又は複数のカーソル表示領域を設け、視線位置特定部１２が、ユーザの視線がカーソル表示領域内にあるか否かを判定することにより、ユーザが頁内の文章を読んでいる最中には、カーソルを表示させず、ユーザが文章を読み終えた後に、カーソルを表示させアイコンを選択させるように制御することができる。   As described above, by using the electronic book device according to the first exemplary embodiment of the present invention, it is possible to easily operate an icon using a cursor that specifies a user's line-of-sight position without disturbing reading. That is, one or a plurality of cursor display areas are provided in the display unit 11, and the line-of-sight position specifying unit 12 determines whether or not the user's line of sight is in the cursor display area. During reading, the cursor is not displayed, and after the user has finished reading the text, the cursor can be displayed and an icon can be selected.

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。   Note that the present invention is not limited to the above-described embodiment, and can be changed as appropriate without departing from the spirit of the present invention.

１０ 電子ブック装置
１１ 表示部
１２ 視線位置特定部
１３ 表示制御部
１４ 表情認識部
１５ 撮影部
１６ アイコン操作部
１７ 外部記憶媒体
１８ 記憶部
２１、２２ アイコン
２３、２４ カーソル表示領域
２５ カーソル DESCRIPTION OF SYMBOLS 10 Electronic book apparatus 11 Display part 12 Gaze position specific | specification part 13 Display control part 14 Expression recognition part 15 Imaging | photography part 16 Icon operation part 17 External storage medium 18 Storage part 21, 22 Icon 23, 24 Cursor display area 25 Cursor

Claims (7)

電子文書と、当該電子文書に対する操作内容を示すアイコンとを表示する表示部と、
前記表示部に向けられたユーザの視線位置を特定する視線位置特定部と、
前記ユーザの視線位置が、前記視線位置特定部により前記表示部内の特定の領域に向けられたことを検出された場合に、前記表示部に前記ユーザの視線位置を示すカーソルを表示させる表示制御部と、
前記カーソルが前記アイコンを選択している状態において、前記ユーザの表情を認識し、当該認識したユーザの表情に基づいてアイコンの操作を実行させる表情認識部と、を備える電子ブック装置。 A display unit for displaying an electronic document and an icon indicating an operation content for the electronic document;
A line-of-sight position identifying unit that identifies the line-of-sight position of the user directed to the display unit;
A display control unit that displays a cursor indicating the user's line-of-sight position on the display unit when it is detected by the line-of-sight position specifying unit that the user's line-of-sight position is directed to a specific area in the display unit When,
An electronic book device, comprising: a facial expression recognition unit that recognizes the user's facial expression and executes an icon operation based on the recognized facial expression of the user when the cursor selects the icon. 前記表情認識部は、
前記ユーザの眉の位置及び口角の少なくとも１つを用いて、前記ユーザの表情を認識する、請求項１に記載の電子ブック装置。 The facial expression recognition unit
The electronic book device according to claim 1, wherein the user's facial expression is recognized using at least one of a position and a mouth corner of the user's eyebrows. 前記視線位置特定部は、
前記ユーザの瞳孔が向いている方向を特定することにより、前記ユーザの視線位置を示す座標位置を特定する、請求項１又は２に記載の電子ブック装置。 The line-of-sight position specifying unit is
The electronic book device according to claim 1 or 2, wherein a coordinate position indicating the visual line position of the user is specified by specifying a direction in which the user's pupil is facing. 前記カーソルを表示させるために、前記視線位置特定部によって前記ユーザの視線位置が検出される前記特定の領域は、前記表示部内に複数設けられる、請求項１乃至３のいずれか１項に記載の電子ブック装置。   The said specific area | region where the said user's gaze position is detected by the said gaze position specific | specification part in order to display the said cursor is provided with two or more in the said display part. Electronic book device. 前記表示制御部は、
前記カーソルが前記アイコンを選択している場合に、前記表示部での当該アイコンの表示を変更して表示する、請求項１乃至４のいずれか１項に記載の電子ブック装置。 The display control unit
5. The electronic book device according to claim 1, wherein when the cursor selects the icon, the display of the icon on the display unit is changed and displayed. 前記表情認識部は、
前記カーソルによって前記アイコンが選択され、当該アイコンの表示が変更された後に認識した前記ユーザの表情に基づいて、当該アイコンの操作を実行させる、請求項５に記載の電子ブック装置。 The facial expression recognition unit
The electronic book device according to claim 5, wherein the icon is selected based on the facial expression of the user recognized after the icon is selected by the cursor and the display of the icon is changed. 電子文書と、当該電子文書に対する操作内容を表示するアイコンとを表示する表示部に向けられたユーザの視線位置を特定するステップと、
前記ユーザの視線位置が、前記視線位置特定部により前記表示部内の特定の領域に向けられたことを検出するステップと、
前記ユーザの視線位置が、前記表示部内の所定の位置に向けられたことが検出された場合に、前記表示部に前記ユーザの視線位置を示すカーソルを表示するステップと、
前記カーソルが前記アイコンを選択している状態において、前記ユーザの表情の変化を認識し、当該アイコンの操作を実行するステップと、を備える電子ブック操作方法。 Identifying a user's line-of-sight position that is directed to a display unit that displays an electronic document and an icon that displays operation details for the electronic document;
Detecting that the line-of-sight position of the user is directed to a specific area in the display unit by the line-of-sight position specifying unit;
Displaying a cursor indicating the user's line-of-sight position on the display unit when it is detected that the user's line-of-sight position is directed to a predetermined position in the display unit;
And a step of recognizing a change in the facial expression of the user and executing an operation of the icon in a state where the cursor is selecting the icon.
JP2010116399A 2010-05-20 2010-05-20 Electronic book device and electronic book operation method Pending JP2011243108A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010116399A JP2011243108A (en) 2010-05-20 2010-05-20 Electronic book device and electronic book operation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010116399A JP2011243108A (en) 2010-05-20 2010-05-20 Electronic book device and electronic book operation method

Publications (1)

Publication Number Publication Date
JP2011243108A true JP2011243108A (en) 2011-12-01

Family

ID=45409669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010116399A Pending JP2011243108A (en) 2010-05-20 2010-05-20 Electronic book device and electronic book operation method

Country Status (1)

Country Link
JP (1) JP2011243108A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103309450A (en) * 2013-06-09 2013-09-18 张家港市鸿嘉数字科技有限公司 Method for identifying facial expression of user to operate tablet personal computer
WO2014103217A1 (en) * 2012-12-26 2014-07-03 株式会社デンソー Operation device and operation detection method
WO2016110947A1 (en) * 2015-01-06 2016-07-14 パイオニア株式会社 Terminal device, content output method, computer program, and system
US9696889B2 (en) 2014-01-30 2017-07-04 Kyocera Document Solutions Inc. Electronic device that displays an operation screen including an object
JP2018073145A (en) * 2016-10-31 2018-05-10 アイシン・エィ・ダブリュ株式会社 Display control system and display control program
WO2019003387A1 (en) * 2017-06-29 2019-01-03 マクセル株式会社 Portable terminal
JP7433810B2 (en) 2019-08-21 2024-02-20 キヤノン株式会社 Electronic devices, control methods for electronic devices, programs and storage media

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014103217A1 (en) * 2012-12-26 2014-07-03 株式会社デンソー Operation device and operation detection method
JP2014126997A (en) * 2012-12-26 2014-07-07 Denso Corp Operation device, and operation detection method
CN103309450A (en) * 2013-06-09 2013-09-18 张家港市鸿嘉数字科技有限公司 Method for identifying facial expression of user to operate tablet personal computer
US9696889B2 (en) 2014-01-30 2017-07-04 Kyocera Document Solutions Inc. Electronic device that displays an operation screen including an object
WO2016110947A1 (en) * 2015-01-06 2016-07-14 パイオニア株式会社 Terminal device, content output method, computer program, and system
JP2018073145A (en) * 2016-10-31 2018-05-10 アイシン・エィ・ダブリュ株式会社 Display control system and display control program
WO2019003387A1 (en) * 2017-06-29 2019-01-03 マクセル株式会社 Portable terminal
JPWO2019003387A1 (en) * 2017-06-29 2019-12-26 マクセル株式会社 Mobile terminal
CN110799932A (en) * 2017-06-29 2020-02-14 麦克赛尔株式会社 Portable terminal
JP7433810B2 (en) 2019-08-21 2024-02-20 キヤノン株式会社 Electronic devices, control methods for electronic devices, programs and storage media

Similar Documents

Publication Publication Date Title
US11706521B2 (en) User interfaces for capturing and managing visual media
US20230319394A1 (en) User interfaces for capturing and managing visual media
US9946338B2 (en) Information processing to vary screen display based on a gaze point of the user
US9933850B2 (en) Information processing apparatus and program
JP6131540B2 (en) Tablet terminal, operation reception method and operation reception program
US8532346B2 (en) Device, method and computer program product
JP4275151B2 (en) Red-eye correction method and apparatus using user-adjustable threshold
US9672421B2 (en) Method and apparatus for recording reading behavior
JP2011243108A (en) Electronic book device and electronic book operation method
CN107479691B (en) Interaction method, intelligent glasses and storage device thereof
CN110546601B (en) Information processing device, information processing method, and program
US10477090B2 (en) Wearable device, control method and non-transitory storage medium
US20210055821A1 (en) Touchscreen Device and Method Thereof
WO2010020889A1 (en) Discreet feature highlighting
JP2006107048A (en) Controller and control method associated with line-of-sight
US20140009395A1 (en) Method and system for controlling eye tracking
JP2016177658A (en) Virtual input device, input method, and program
JP5601142B2 (en) Image display device, image display method, and program
US10048829B2 (en) Method for displaying icons and electronic apparatus
TW201403386A (en) Eye controlling method and system
US9148537B1 (en) Facial cues as commands
WO2015136952A1 (en) Gesture recognition device, head-mounted display, and portable terminal
JP2012014455A (en) Information display device, and information display method
CN109960405A (en) Mouse operation method, device and storage medium
US20160085736A1 (en) Document browsing device and method of controlling document browsing device