JP2019135600A - Display control device, display control method, and program - Google Patents

Display control device, display control method, and program Download PDF

Info

Publication number
JP2019135600A
JP2019135600A JP2018018228A JP2018018228A JP2019135600A JP 2019135600 A JP2019135600 A JP 2019135600A JP 2018018228 A JP2018018228 A JP 2018018228A JP 2018018228 A JP2018018228 A JP 2018018228A JP 2019135600 A JP2019135600 A JP 2019135600A
Authority
JP
Japan
Prior art keywords
display
head
user
line
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018018228A
Other languages
Japanese (ja)
Other versions
JP6876639B2 (en
Inventor
田淵 純一
Junichi Tabuchi
純一 田淵
良樹 柳
Yoshiki Yanagi
良樹 柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2018018228A priority Critical patent/JP6876639B2/en
Publication of JP2019135600A publication Critical patent/JP2019135600A/en
Application granted granted Critical
Publication of JP6876639B2 publication Critical patent/JP6876639B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

To allow a display device to accurately display things thereon in accordance with a viewpoint location.SOLUTION: A control device 6 comprises: a gaze information acquisition unit 142 configured to acquire gaze information representing a gaze direction of a user (U); a head information acquisition unit 143 configured to acquire head information representing an orientation of the head of the user (U); a viewpoint location estimation unit 144 configured to estimate a viewpoint location of the user (U) on a display device 2 using the acquired gaze information and head information; and a display control unit 145 configured to control display of the display device 2 according to the estimated viewpoint location.SELECTED DRAWING: Figure 5

Description

本発明は、表示制御装置、表示制御方法及びプログラムに関する。   The present invention relates to a display control device, a display control method, and a program.

近年、ユーザが手を使わずにパーソナルコンピュータの入力操作を実現する技術が提案されている。例えば、下記の特許文献1には、CCDセンサを用いてユーザの眼球位置から推定される視点位置に基づいて、表示装置上のカーソル等の表示を操作する技術が開示されている。   In recent years, a technique has been proposed in which a user can perform an input operation of a personal computer without using a hand. For example, Patent Document 1 below discloses a technique for operating a display such as a cursor on a display device based on a viewpoint position estimated from a user's eyeball position using a CCD sensor.

特開2000−23065号公報JP 200023065 A

しかし、ユーザの表示装置に対する視点位置を眼球位置のみから推定した場合には、視点位置の推定精度が低いため、視点位置に対応した表示装置上の表示を高精度に行うことができない。   However, when the viewpoint position of the user with respect to the display device is estimated only from the eyeball position, since the estimation accuracy of the viewpoint position is low, display on the display device corresponding to the viewpoint position cannot be performed with high accuracy.

そこで、本発明はこれらの点に鑑みてなされたものであり、視点位置に対応した表示装置上の表示を高精度に行うことを目的とする。   Accordingly, the present invention has been made in view of these points, and an object thereof is to perform display on a display device corresponding to a viewpoint position with high accuracy.

本発明の第1の態様においては、ユーザの視線の向きを示す視線情報を取得する視線情報取得部と、前記ユーザの頭部の向きを示す頭部情報を取得する頭部情報取得部と、取得された前記視線情報及び前記頭部情報に基づいて、表示装置に対する前記ユーザの視点位置を推定する視点位置推定部と、推定された前記視点位置に基づいて、前記表示装置の表示を制御する表示制御部と、を備える、表示制御装置を提供する。   In the first aspect of the present invention, a line-of-sight information acquisition unit that acquires line-of-sight information indicating the direction of the user's line of sight, a head information acquisition unit that acquires head information indicating the direction of the user's head, Based on the acquired line-of-sight information and head information, a viewpoint position estimation unit that estimates the viewpoint position of the user with respect to the display apparatus, and controls display of the display apparatus based on the estimated viewpoint position And a display control unit.

また、前記表示制御部は、前記視点位置が前記表示装置の所定領域内に位置すると推定された場合には、前記表示装置の表示画面に付加情報を重畳して表示させることとしてもよい。   The display control unit may display additional information superimposed on the display screen of the display device when the viewpoint position is estimated to be located within a predetermined area of the display device.

また、前記表示制御部は、前記視点位置が前記所定領域内から前記所定領域外へ移動したと推定された場合には、前記付加情報を非表示にすることとしてもよい。   The display control unit may hide the additional information when the viewpoint position is estimated to have moved from the predetermined area to the outside of the predetermined area.

また、前記表示制御部は、前記付加情報として、前記視点位置で表示されている表示内容に関する情報を表示させることとしてもよい。   In addition, the display control unit may display information related to display contents displayed at the viewpoint position as the additional information.

また、前記表示制御装置は、前記表示画面の中心から所定範囲よりも外側の領域に前記所定領域を設定する領域設定部を更に備えることとしてもよい。   The display control device may further include a region setting unit that sets the predetermined region in a region outside a predetermined range from the center of the display screen.

また、前記表示制御装置は、前記表示画面の隅の領域に前記所定領域を設定する領域設定部を更に備えることとしてもよい。   The display control device may further include an area setting unit that sets the predetermined area in a corner area of the display screen.

また、前記領域設定部は、前記所定領域の位置及び大きさの少なくとも一方を、前記表示装置の表示内容に応じて変化させることとしてもよい。   Further, the area setting unit may change at least one of the position and the size of the predetermined area according to the display content of the display device.

また、前記表示制御部は、前記表示装置の所定の位置にマークを表示させ、前記領域設定部は、前記ユーザが視認したマークに応じて、前記所定領域を設定することとしてもよい。   The display control unit may display a mark at a predetermined position of the display device, and the region setting unit may set the predetermined region according to the mark visually recognized by the user.

また、前記領域設定部は、前記表示装置と前記ユーザの間の距離、及び前記表示装置の大きさに応じて、前記所定領域を設定することとしてもよい。   The area setting unit may set the predetermined area according to a distance between the display device and the user and a size of the display device.

また、前記領域設定部は、異なる設置位置に設置された複数の前記表示装置の各々に対して、前記設置位置に応じた前記所定領域を設定することとしてもよい。   The area setting unit may set the predetermined area according to the installation position for each of the plurality of display devices installed at different installation positions.

また、前記視線情報取得部は、前記ユーザの眼電位を検出する眼電位計から、前記視線情報を取得し、前記頭部情報取得部は、前記頭部の動きを検出する6軸センサから、前記頭部情報を取得することとしてもよい。   The line-of-sight information acquisition unit acquires the line-of-sight information from an electrooculometer that detects the electrooculogram of the user, and the head information acquisition unit includes a six-axis sensor that detects the movement of the head. The head information may be acquired.

また、前記視線情報取得部は、前記ユーザの頭部に装着された頭部装着機器に設けられた前記眼電位計から、前記視線情報を取得し、前記頭部情報取得部は、前記頭部装着機器に設けられた前記6軸センサから、前記頭部情報を取得することとしてもよい。   The line-of-sight information acquisition unit acquires the line-of-sight information from the electrooculometer provided in a head-mounted device mounted on the head of the user, and the head information acquisition unit The head information may be acquired from the 6-axis sensor provided in the wearing device.

本発明の第2の態様においては、ユーザの視線の向きを示す視線情報を取得するステップと、前記ユーザの頭部の向きを示す頭部情報を取得するステップと、取得された前記視線情報及び前記頭部情報に基づいて、表示装置に対する前記ユーザの視点位置を推定するステップと、推定された前記視点位置に基づいて、前記表示装置の表示を制御するステップと、を備える、表示制御方法を提供する。   In the second aspect of the present invention, the step of acquiring line-of-sight information indicating the direction of the user's line of sight, the step of acquiring head information indicating the direction of the user's head, the acquired line-of-sight information, and A display control method comprising: estimating a viewpoint position of the user with respect to a display device based on the head information; and controlling a display of the display device based on the estimated viewpoint position. provide.

本発明の第3の態様においては、コンピュータに、ユーザの視線の向きを示す視線情報を取得するステップと、前記ユーザの頭部の向きを示す頭部情報を取得するステップと、取得された前記視線情報及び前記頭部情報に基づいて、表示装置に対する前記ユーザの視点位置を推定するステップと、推定された前記視点位置に基づいて、前記表示装置の表示を制御するステップと、を実行させるためのプログラムを提供する。   In the third aspect of the present invention, the step of acquiring line-of-sight information indicating the direction of the user's line of sight in the computer, the step of acquiring head information indicating the direction of the head of the user, and the acquired In order to execute the step of estimating the viewpoint position of the user with respect to the display device based on the line-of-sight information and the head information, and the step of controlling the display of the display device based on the estimated viewpoint position Provide a program.

本発明によれば、視点位置に対応した表示装置上の表示を高精度に行うことができるという効果を奏する。   According to the present invention, there is an effect that display on a display device corresponding to a viewpoint position can be performed with high accuracy.

本発明の一の実施形態に係る表示システムSの構成を説明するための模式図である。It is a schematic diagram for demonstrating the structure of the display system S which concerns on one Embodiment of this invention. 表示装置2の表示画面の一例を示す模式図である。4 is a schematic diagram illustrating an example of a display screen of the display device 2. FIG. ユーザUの頭部及び視線の向きを説明するための模式図である。It is a schematic diagram for demonstrating the direction of a user's U head and eyes | visual_axis. ユーザUが図3(a)に示す状態にある際の表示装置2の表示例を示す模式図である。It is a schematic diagram which shows the example of a display of the display apparatus 2 when the user U exists in the state shown to Fig.3 (a). 制御装置6の詳細構成を説明するためのブロック図である。3 is a block diagram for explaining a detailed configuration of a control device 6. FIG. 設定領域を説明するための模式図である。It is a schematic diagram for demonstrating a setting area | region. 表示装置2に表示される設定画面の一例を説明するための模式図である。4 is a schematic diagram for explaining an example of a setting screen displayed on the display device 2; FIG. 複数の表示装置2A、2Bの設定領域の設定を説明するための模式図である。It is a schematic diagram for demonstrating the setting of the setting area | region of several display apparatus 2A, 2B. ユーザの視点位置に応じた表示装置2の表示処理の流れを説明するためのフローチャートである。It is a flowchart for demonstrating the flow of the display process of the display apparatus 2 according to a user's viewpoint position.

<表示システムの概要>
本発明の一の実施形態に係る表示システムの概要について、図1及び図2を参照しながら説明する。
<Outline of display system>
An overview of a display system according to an embodiment of the present invention will be described with reference to FIGS. 1 and 2.

図1は、一の実施形態に係る表示システムSの構成を説明するための模式図である。図2は、表示装置2の表示画面の一例を示す模式図である。
表示システムSは、図1に示すように、表示装置2と、頭部装着機器4と、制御装置6とを有する。表示システムSは、頭部装着機器4を装着したユーザUの表示装置2に対する視点位置に応じて、表示装置2の表示を制御する。
FIG. 1 is a schematic diagram for explaining a configuration of a display system S according to an embodiment. FIG. 2 is a schematic diagram illustrating an example of a display screen of the display device 2.
As shown in FIG. 1, the display system S includes a display device 2, a head-mounted device 4, and a control device 6. The display system S controls the display of the display device 2 according to the viewpoint position with respect to the display device 2 of the user U wearing the head-mounted device 4.

表示装置2は、制御装置6の制御により、図2に示すような画面等を表示する。例えば、表示装置2は、ゲームの画面を表示する。表示装置2は、例えば据え置き型のディスプレイであり、図1に示すようにユーザUから離れた位置に設置されている。   The display device 2 displays a screen or the like as shown in FIG. 2 under the control of the control device 6. For example, the display device 2 displays a game screen. The display device 2 is, for example, a stationary display, and is installed at a position away from the user U as shown in FIG.

頭部装着機器4は、ユーザUの頭部に装着されている機器であり、ここでは一例として図1に示すようにメガネである。このため、頭部装着機器4は、ユーザUの頭部の回転に連動して回転する。頭部装着機器4には、ユーザUの視線の向きを検出する視線検出センサ(後述する眼電位計)と、ユーザUの頭部の向きを検出する頭部検出センサ(後述する6軸センサ)とが設けられている。   The head-mounted device 4 is a device mounted on the head of the user U, and here is glasses as an example as shown in FIG. For this reason, the head mounted device 4 rotates in conjunction with the rotation of the user U's head. The head-mounted device 4 includes a line-of-sight detection sensor (an electrooculometer described below) that detects the direction of the line of sight of the user U and a head detection sensor (a 6-axis sensor described below) that detects the direction of the head of the user U. And are provided.

ユーザUは、注視先を見るために、体軸に対して頭部の向きを変えたり、視線の向きを変えたりする。図1では、ユーザUが、表示装置2の表示画面に正対している状態である。すなわち、ユーザUの頭部及び視線の向きが、同一方向であり、表示装置2の表示画面を向いている状態である。   The user U changes the direction of the head relative to the body axis or changes the direction of the line of sight in order to see the gaze point. In FIG. 1, the user U is facing the display screen of the display device 2. That is, the user U's head and line-of-sight are in the same direction and face the display screen of the display device 2.

図3は、ユーザUの頭部及び視線の向きを説明するための模式図である。図3(a)には、ユーザUが、表示装置2の縁側を注視するために、図1に示す状態から頭部の向きを体軸C周りに回転して右斜めに変わった状態が示されている。図3(a)では、視線の向きは頭部の向きと同じ向きである。例えば、ユーザUは、表示装置2を見ている際に、表示内容に関する情報を重畳して表示させたい際に、図3(a)に示すように注視する。図3(b)には、頭部が右斜めを向いているユーザUが、視線の向きのみを変えて表示装置2の中央に向けている状態が示されている。すなわち、視線の向きが、頭部の向きと異なっている。   FIG. 3 is a schematic diagram for explaining the user U's head and the direction of the line of sight. FIG. 3A shows a state in which the user U changes the direction of the head from the state shown in FIG. 1 around the body axis C to the right to observe the edge of the display device 2. Has been. In FIG. 3A, the direction of the line of sight is the same as the direction of the head. For example, when viewing the display device 2, the user U gazes as shown in FIG. 3A when he / she wants to superimpose and display information related to display contents. FIG. 3B shows a state in which the user U whose head is directed diagonally to the right changes the direction of the line of sight and is directed toward the center of the display device 2. That is, the direction of the line of sight is different from the direction of the head.

制御装置6は、表示装置2の表示を制御する表示制御装置である。制御装置6は、例えば表示装置2に接続されたパーソナルコンピュータに設けられている。制御装置6は、頭部装着機器4との間で通信(例えば近距離無線通信)が可能であり、様々な情報の送受信を行う。制御装置6は、頭部装着機器4の視線検出センサ及び頭部検出センサの検出結果を受信する通信部を有する。制御装置6は、視線検出センサ及び頭部検出センサの出力値に基づいて、表示装置2のどの位置にユーザUの視点位置があるのかを紐付ける機能も有する。   The control device 6 is a display control device that controls the display of the display device 2. The control device 6 is provided in a personal computer connected to the display device 2, for example. The control device 6 can communicate with the head-mounted device 4 (for example, short-range wireless communication), and transmits and receives various information. The control device 6 includes a line-of-sight detection sensor of the head-mounted device 4 and a communication unit that receives detection results of the head detection sensor. The control device 6 also has a function of associating which position of the display device 2 has the viewpoint position of the user U based on the output values of the line-of-sight detection sensor and the head detection sensor.

制御装置6は、詳細は後述するが、表示装置2を見ているユーザUの視線の向きを示す視線情報と、ユーザUの頭部の向きを示す頭部情報とを取得して、表示装置2に対するユーザUの視点位置を推定する。このように視線情報及び頭部情報に基づいて視点位置を推定することで、図1及び図3に示すように頭部及び視線の向きが変化しても、視線情報と頭部情報の片方の情報に基づいて視点位置を推定する場合に比べて、表示装置2に対するユーザの視点位置を高精度に推定できる。   As will be described in detail later, the control device 6 acquires line-of-sight information indicating the direction of the line of sight of the user U looking at the display device 2 and head information indicating the direction of the head of the user U, and displays the display device. 2 is estimated. By estimating the viewpoint position based on the line-of-sight information and the head information in this way, even if the orientation of the head and the line of sight changes as shown in FIGS. Compared with the case where the viewpoint position is estimated based on the information, the viewpoint position of the user with respect to the display device 2 can be estimated with high accuracy.

また、制御装置6は、推定した視点位置に基づいて、表示装置2の表示を制御する。例えば、制御装置6は、ユーザUの視点位置が図1に示すように表示装置2を見ている状態と推定される場合には、図2に示すような画面を表示させる。一方で、制御装置6は、ユーザUの視点位置が図3(a)に示すように表示装置2を見ている状態と推定される場合には、図4に示すような画面を表示させる。   Moreover, the control apparatus 6 controls the display of the display apparatus 2 based on the estimated viewpoint position. For example, when it is estimated that the viewpoint position of the user U is looking at the display device 2 as shown in FIG. 1, the control device 6 displays a screen as shown in FIG. On the other hand, when it is estimated that the viewpoint position of the user U is looking at the display device 2 as shown in FIG. 3A, the control device 6 displays a screen as shown in FIG.

図4は、ユーザUが図3(a)に示す状態にある際の表示装置2の表示例を示す模式図である。図4では、図2とは異なり、表示装置2の表示画面2aに付加情報Iが重畳して表示されている。付加情報Iの表示位置は、頭部及び視線が向いている方向である。これにより、視線の先に付加情報Iが存在するので、ユーザUは付加情報Iを把握しやすい。
一方で、ユーザUが図3(b)に示す状態(頭部は表示装置2の縁を向いているが、視線は表示装置2の中央を向いている状態)にある際には、表示装置2は、付加情報Iを表示させず、図2に示すような表示画面を表示させる。なお、付加情報Iの「80/100」は、表示画面2aに示されたゲーム画面におけるキャラクターG1(犬)のパラメータを示す。これにより、表示装置2を見ているユーザUが、追加情報を表示させたりするために視点位置を変化させた際に、表示を適切に切り替えることができる。
FIG. 4 is a schematic diagram illustrating a display example of the display device 2 when the user U is in the state illustrated in FIG. In FIG. 4, unlike FIG. 2, the additional information I is displayed superimposed on the display screen 2 a of the display device 2. The display position of the additional information I is the direction in which the head and the line of sight are facing. Thereby, since the additional information I exists ahead of the line of sight, the user U can easily grasp the additional information I.
On the other hand, when the user U is in the state shown in FIG. 3B (the head is facing the edge of the display device 2 but the line of sight is facing the center of the display device 2), the display device 2 displays the display screen as shown in FIG. 2 without displaying the additional information I. The additional information I “80/100” indicates the parameter of the character G1 (dog) on the game screen shown on the display screen 2a. Thereby, when the user U who is looking at the display device 2 changes the viewpoint position in order to display additional information, the display can be appropriately switched.

<制御装置の詳細構成>
制御装置6の詳細構成について、図5を参照しながら説明する。
<Detailed configuration of control device>
A detailed configuration of the control device 6 will be described with reference to FIG.

図5は、制御装置6の詳細構成を説明するためのブロック図である。制御装置6は、図5に示すように、記憶部12と、制御部14とを有する。   FIG. 5 is a block diagram for explaining a detailed configuration of the control device 6. As illustrated in FIG. 5, the control device 6 includes a storage unit 12 and a control unit 14.

記憶部12は、不揮発性メモリ(例えばROM)及び揮発性メモリ(例えばRAM)を含む。記憶部12は、制御部14により実行されるプログラムや各種のデータを記憶している。   The storage unit 12 includes a nonvolatile memory (for example, ROM) and a volatile memory (for example, RAM). The storage unit 12 stores programs executed by the control unit 14 and various data.

制御部14は、例えばCPUである。制御部14は、記憶部12に記憶されたプログラムを実行することにより、表示装置2の表示を制御する。制御部14は、図5に示すように、視線情報取得部142と、頭部情報取得部143と、視点位置推定部144と、表示制御部145と、領域設定部146とを有する。   The control unit 14 is a CPU, for example. The control unit 14 controls the display of the display device 2 by executing a program stored in the storage unit 12. As illustrated in FIG. 5, the control unit 14 includes a line-of-sight information acquisition unit 142, a head information acquisition unit 143, a viewpoint position estimation unit 144, a display control unit 145, and a region setting unit 146.

視線情報取得部142は、ユーザの視線の向きを示す視線情報を取得する。例えば、視線情報取得部142は、ユーザの頭部に装着された頭部装着機器4に設けられた眼電位計42から、視線情報を取得する。具体的には、視線情報取得部142は、通信インターフェースを介して眼電位計42が検出した眼電位に関する情報を受け取り、当該情報に基づいて視線情報を取得する。視線情報取得部142は、取得した視線情報を視点位置推定部144に出力する。   The line-of-sight information acquisition unit 142 acquires line-of-sight information indicating the direction of the user's line of sight. For example, the line-of-sight information acquisition unit 142 acquires line-of-sight information from the electrooculometer 42 provided in the head-mounted device 4 mounted on the user's head. Specifically, the line-of-sight information acquisition unit 142 receives information about the electrooculogram detected by the electrooculometer 42 via the communication interface, and acquires line-of-sight information based on the information. The line-of-sight information acquisition unit 142 outputs the acquired line-of-sight information to the viewpoint position estimation unit 144.

眼電位計42は、ユーザの眼電位を求めることで、例えばユーザの眼の動きや瞬きを検出するセンサであり、視線の検出に用いられる。ここで、眼電位とは、ユーザの眼球の角膜側と網膜側の間に生じる電位差を指す。目の周囲の皮膚に電極を着けて電位差を測定すると、眼の動きや瞬きによって電位差が変わることが知られている。眼電位計42は、例えば頭部装着機器4であるメガネのノーズパッドに設けられている。   The electrooculometer 42 is a sensor that detects, for example, a user's eye movement or blink by obtaining the user's electrooculogram, and is used for detecting the line of sight. Here, the ocular potential refers to a potential difference generated between the cornea side and the retina side of the user's eyeball. It is known that when the potential difference is measured by attaching electrodes to the skin around the eyes, the potential difference changes depending on eye movement or blinking. The electrooculometer 42 is provided, for example, on a nose pad of glasses that is the head-mounted device 4.

頭部情報取得部143は、ユーザの頭部の向きを示す頭部情報を取得する。例えば、頭部情報取得部143は、ユーザの頭部に装着された頭部装着機器4に設けられた6軸センサ44から、頭部情報を取得する。具体的には、頭部情報取得部143は、通信インターフェースを介して6軸センサ44の検出結果を受け取り、当該検出結果に基づいて頭部情報を取得する。頭部情報取得部143は、取得した頭部情報を視点位置推定部144に出力する。   The head information acquisition unit 143 acquires head information indicating the orientation of the user's head. For example, the head information acquisition unit 143 acquires head information from the 6-axis sensor 44 provided in the head-mounted device 4 mounted on the user's head. Specifically, the head information acquisition unit 143 receives the detection result of the 6-axis sensor 44 via the communication interface, and acquires head information based on the detection result. The head information acquisition unit 143 outputs the acquired head information to the viewpoint position estimation unit 144.

6軸センサ44は、移動や回転の速度を検出するセンサであり、ユーザの体軸上に位置する頭部の動きの検出に用いられる。6軸センサ44は、例えば、3軸(X軸、Y軸、Z軸)方向の加速度を計測する加速度センサと、3軸周りの角速度(回転の速度)を計測するジャイロセンサを含む。これにより、ユーザの体軸の変化を高精度に検知できる。6軸センサ44は、例えばメガネのフレームに設けられている。   The 6-axis sensor 44 is a sensor that detects the speed of movement and rotation, and is used to detect the movement of the head located on the user's body axis. The six-axis sensor 44 includes, for example, an acceleration sensor that measures acceleration in the directions of three axes (X axis, Y axis, and Z axis) and a gyro sensor that measures angular velocity (rotation speed) around the three axes. Thereby, the change of a user's body axis can be detected with high accuracy. The 6-axis sensor 44 is provided, for example, on a frame of glasses.

視点位置推定部144は、視線情報及び頭部情報に基づいて、表示装置2に対するユーザの視点位置を推定する。具体的には、視点位置推定部144は、視線情報取得部142が取得した視線情報と、頭部情報取得部143が取得した頭部情報に基づいて、表示装置2に対するユーザの視点位置を推定する。視点位置推定部144は、視点位置の推定結果を表示制御部145に出力する。   The viewpoint position estimation unit 144 estimates the viewpoint position of the user with respect to the display device 2 based on the line-of-sight information and the head information. Specifically, the viewpoint position estimation unit 144 estimates the viewpoint position of the user with respect to the display device 2 based on the line-of-sight information acquired by the line-of-sight information acquisition unit 142 and the head information acquired by the head information acquisition unit 143. To do. The viewpoint position estimation unit 144 outputs the viewpoint position estimation result to the display control unit 145.

上述したように、眼電位計42を用いて視線の向きを検出し、かつ6軸センサ44を用いて頭部の向きを検出することで、視点位置を高精度に推定できる。例えば、頭部が向いている方向と視線が向いている方向が違う場合には、視線の向きだけで視点位置を検出すると誤検知が発生しうるが、上記のように視線の向き及び頭部の向きの両方を検出することで、視点位置を高精度に推定できる。   As described above, the viewpoint position can be estimated with high accuracy by detecting the direction of the line of sight using the electrooculometer 42 and detecting the direction of the head using the six-axis sensor 44. For example, if the direction in which the head is facing is different from the direction in which the line of sight is directed, a false detection may occur if the viewpoint position is detected only by the direction of the line of sight. By detecting both of the orientations, the viewpoint position can be estimated with high accuracy.

視点位置推定部144は、図1に示すユーザの状態を初期状態として、頭部及び視線の向きが変わった状態を判別する。初期状態は、例えば、ユーザの頭部及び視線の状態が一定時間以上経過した場合に、設定される。これに限定されず、例えば瞬きが連続して3回以上行われた場合に設定されてもよい。また、カメラやコンパス等の他のデバイスを用いて、初期状態が設定されてもよい。   The viewpoint position estimation unit 144 determines a state in which the orientation of the head and the line of sight is changed with the user state illustrated in FIG. 1 as an initial state. The initial state is set, for example, when the state of the user's head and line of sight has passed for a certain period of time. However, the present invention is not limited to this. For example, it may be set when blinking is performed three or more times continuously. The initial state may be set using other devices such as a camera and a compass.

また、視点位置推定部144は、ユーザの視点位置が表示装置2の所定領域である設定領域内に位置しているか否かを推定する。設定領域とは、ユーザが表示装置2を見ている際に意図的に視点を位置させることで、例えば表示画面2aに付加情報Iを表示させるための領域である。   Further, the viewpoint position estimation unit 144 estimates whether or not the viewpoint position of the user is located within a setting area that is a predetermined area of the display device 2. The setting area is an area for displaying the additional information I on the display screen 2a, for example, by intentionally positioning the viewpoint when the user is viewing the display device 2.

図6は、設定領域を説明するための模式図である。設定領域は、表示装置2の表示画面2aの中心から所定範囲よりも外側の領域R(図6でハッチングされた領域)である。例えば、設定領域Rは、図6に示すように、表示画面2aの縁2bに沿って所定幅で環状に形成されて領域である。設定領域Rの外縁は、表示画面2aの縁2bとほぼ同じ位置であり、設定領域Rの内縁は、4つの点R1〜R4を結んだが矩形の外形線である。また、設定領域Rは、表示画面2aの4つの隅部を含むように形成されている。   FIG. 6 is a schematic diagram for explaining the setting area. The setting area is an area R (area hatched in FIG. 6) outside the predetermined range from the center of the display screen 2a of the display device 2. For example, as shown in FIG. 6, the setting area R is an area formed in a ring shape with a predetermined width along the edge 2 b of the display screen 2 a. The outer edge of the setting area R is substantially the same position as the edge 2b of the display screen 2a, and the inner edge of the setting area R is a rectangular outline that connects four points R1 to R4. The setting region R is formed so as to include the four corners of the display screen 2a.

表示制御部145は、表示装置2の表示を制御する。表示制御部145は、ユーザが見ている表示装置2に対する視点位置に基づいて、表示装置2の表示を制御する。具体的には、表示制御部145は、視点位置推定部144に推定された視点位置が設定領域R内に位置する場合の表示装置2の表示と、視点位置が設定領域R外に位置する場合の表示装置2の表示とを異ならせる。   The display control unit 145 controls display on the display device 2. The display control unit 145 controls the display of the display device 2 based on the viewpoint position with respect to the display device 2 that the user is viewing. Specifically, the display control unit 145 displays the display device 2 when the viewpoint position estimated by the viewpoint position estimation unit 144 is located within the setting area R, and when the viewpoint position is located outside the setting area R. This is different from the display of the display device 2.

表示制御部145は、視点位置が表示装置2の設定領域R内に位置すると推定された場合(例えば、図6に示すように視点位置が位置P2に位置する場合)には、図3(b)に示すように表示装置2の表示画面2aに付加情報Iを重畳して表示させる。例えば、ユーザが、表示画面2aに操作に関するメニューや、表示内容に関する詳細情報等を表示させたい場合に、視点位置を設定領域R内に位置させると、表示制御部145が表示画面2aにこれらの情報を表示させる。これにより、ユーザは、表示画面2aの端に視線を移動させることで、表示画面2aに付加情報Iを表示させることができる。   When it is estimated that the viewpoint position is located within the setting region R of the display device 2 (for example, when the viewpoint position is located at the position P2 as shown in FIG. 6), the display control unit 145 displays FIG. ), The additional information I is superimposed on the display screen 2a of the display device 2 and displayed. For example, when the user wants to display a menu related to operations, detailed information related to display contents, or the like on the display screen 2a, when the viewpoint position is positioned within the setting region R, the display control unit 145 displays these on the display screen 2a. Display information. Thereby, the user can display the additional information I on the display screen 2a by moving the line of sight to the end of the display screen 2a.

一方で、表示制御部145は、視点位置が表示装置2の設定領域内に位置していない(例えば、視点位置が、図6に示す位置P1に位置する)と推定された場合には、図2に示すように、表示画面2aに付加情報Iを表示させない通常の表示を行う。   On the other hand, if it is estimated that the viewpoint position is not located within the setting area of the display device 2 (for example, the viewpoint position is located at the position P1 shown in FIG. 6), the display control unit 145 As shown in FIG. 2, normal display is performed in which the additional information I is not displayed on the display screen 2a.

表示制御部145は、視点位置が設定領域R内から設定領域R外へ移動したと推定された場合には、付加情報Iを非表示にする。例えば、表示制御部145は、ユーザが視点位置を図6に示す位置P2から位置P1へ移動させると、付加情報Iを非表示にする。これにより、ユーザは視点位置を変えるだけで、表示画面2aへの付加情報Iの表示と非表示を容易に切り替えることができる。   When it is estimated that the viewpoint position has moved from the setting area R to the outside of the setting area R, the display control unit 145 hides the additional information I. For example, when the user moves the viewpoint position from the position P2 shown in FIG. 6 to the position P1, the display control unit 145 hides the additional information I. As a result, the user can easily switch between displaying and not displaying the additional information I on the display screen 2a only by changing the viewpoint position.

上記の付加情報Iの表示と非表示は、例えば表示装置2がゲームの画面を表示している際に有効である。例えば、ゲームの進行に関する情報を表示させたい場合には、視点位置を設定領域R内(例えば位置P2)に位置させることで、ゲームを行っている際の利便性が高まる。一方で、画面に映画のようなシーンを表示させたい場合には、視点位置を設定領域R外に位置させることで、ユーザは高い没入感を感じることができる。   The display and non-display of the additional information I is effective when the display device 2 is displaying a game screen, for example. For example, when it is desired to display information related to the progress of the game, the viewpoint position is located in the setting region R (for example, the position P2), so that the convenience when playing the game is enhanced. On the other hand, when a scene such as a movie is desired to be displayed on the screen, the user can feel a high level of immersion by positioning the viewpoint position outside the setting region R.

表示制御部145は、付加情報Iとして、例えば視点位置で表示されている表示内容に関する情報を表示させてもよい。例えば、表示制御部145は、視点位置が表示画面上のキャラクター(例えば、図4に示すキャラクターG1)上に位置する場合には、当該キャラクターG1に関する詳細情報を表示させる。   The display control unit 145 may display, as the additional information I, information related to display content displayed at the viewpoint position, for example. For example, when the viewpoint position is located on a character (for example, the character G1 shown in FIG. 4) on the display screen, the display control unit 145 displays detailed information regarding the character G1.

領域設定部146は、上述した表示画面2aに付加情報Iを表示させるために視点位置が位置する領域である設定領域Rを設定する。例えば、領域設定部146は、表示画面2aの中心から所定範囲よりも外側の領域に設定領域Rを設定する。具体的には、領域設定部146は、表示画面2aの縁2bに沿って所定幅で環状に形成されて領域を設定領域R(図6)として設定する。   The region setting unit 146 sets a setting region R that is a region where the viewpoint position is located in order to display the additional information I on the display screen 2a described above. For example, the region setting unit 146 sets the setting region R in a region outside the predetermined range from the center of the display screen 2a. Specifically, the region setting unit 146 is formed in a ring shape with a predetermined width along the edge 2b of the display screen 2a, and sets the region as the setting region R (FIG. 6).

上記の設定領域Rの位置や大きさは、変更可能である。領域設定部146は、表示装置2の表示内容に応じて、設定領域Rの位置及び大きさの少なくとも一方を変化させてもよい。例えば、領域設定部146は、表示画面2aに表示されたキャラクターの位置に応じて、設定領域Rの位置や大きさを調整する。具体的には、領域設定部146は、キャラクターが表示画面2aの中央に位置している場合には、表示画面2aの縁2bに沿って設定領域Rを設定し、キャラクターが表示画面2aの四辺のうちの一辺に近くに位置している場合には、他の三辺の周囲に設定領域Rを設定する。   The position and size of the setting area R can be changed. The area setting unit 146 may change at least one of the position and size of the setting area R according to the display content of the display device 2. For example, the area setting unit 146 adjusts the position and size of the setting area R according to the position of the character displayed on the display screen 2a. Specifically, when the character is positioned at the center of the display screen 2a, the region setting unit 146 sets the setting region R along the edge 2b of the display screen 2a, and the character has four sides of the display screen 2a. If it is located close to one side, a setting region R is set around the other three sides.

また、領域設定部146は、表示装置2とユーザの間の距離、及び表示装置2の大きさに応じて、設定領域Rを設定してもよい。例えば、領域設定部146は、表示装置2とユーザの間の距離が大きくなる程、また表示装置2が大きくなる程、設定領域Rを大きく設定する。これにより、表示装置2とユーザの間の距離、及び表示装置2の大きさを反映した適切なサイズの設定領域Rが設定されることになる。   The region setting unit 146 may set the setting region R according to the distance between the display device 2 and the user and the size of the display device 2. For example, the region setting unit 146 sets the setting region R larger as the distance between the display device 2 and the user increases or as the display device 2 increases. Thereby, the setting area R having an appropriate size reflecting the distance between the display device 2 and the user and the size of the display device 2 is set.

設定領域Rは、表示装置2の設定画面において所定の位置に表示されたマークをユーザに視認させることで、調整することが可能である。
図7は、表示装置2に表示される設定画面の一例を説明するための模式図である。表示制御部145は、設定画面を表示させる際に、表示画面2aの四隅にそれぞれマーク(黒丸)M1〜M4を表示させる。4つのマークM1〜M4の中心は、それぞれ、図5に示す設定領域Rの内縁を成す4つの点R1〜R4の位置である。領域設定部146は、4つのマークM1〜M4に対してユーザが視認した位置に基づいて、設定領域Rを調整する。すなわち、領域設定部146は、ユーザが視認したマークに応じて、設定領域Rを設定する。
The setting area R can be adjusted by allowing the user to visually recognize a mark displayed at a predetermined position on the setting screen of the display device 2.
FIG. 7 is a schematic diagram for explaining an example of a setting screen displayed on the display device 2. When displaying the setting screen, the display control unit 145 displays marks (black circles) M1 to M4 at the four corners of the display screen 2a. The centers of the four marks M1 to M4 are positions of four points R1 to R4 that form the inner edge of the setting region R shown in FIG. The area setting unit 146 adjusts the setting area R based on the positions visually recognized by the user with respect to the four marks M1 to M4. That is, the area setting unit 146 sets the setting area R according to the mark visually recognized by the user.

なお、上記では、領域設定部146は、表示画面2aの四隅を含むように設定領域Rを設定することとしたが、これに限定されない。例えば、領域設定部146は、表示画面2aの四隅のうちの少なくとも一つの隅の領域に設定領域Rを設定してもよい。ここでは、ユーザが4個のマークM1〜M4のうちのマークM2を選択したとする。すると、領域設定部146は、ユーザが選択したマークM2の周囲の領域を設定領域Rに設定する。これにより、ユーザは、視線を向けやすい位置に設定領域Rを設定することができる。   In the above description, the area setting unit 146 sets the setting area R so as to include the four corners of the display screen 2a. However, the present invention is not limited to this. For example, the area setting unit 146 may set the setting area R in at least one of the four corners of the display screen 2a. Here, it is assumed that the user has selected the mark M2 among the four marks M1 to M4. Then, the area setting unit 146 sets the area around the mark M2 selected by the user as the setting area R. Thereby, the user can set the setting region R at a position where the line of sight is easily directed.

上記では、制御装置6が、ユーザが見ている一つの表示装置2の表示を制御することとしたが、これに限定されない。例えば、ユーザが複数の表示装置2を見ている場合には、制御装置6は、複数の表示装置2に対するユーザの視点位置に応じて、複数の表示装置2の表示を制御してもよい。この際、各表示装置2の設定領域の設定が必要となる。   In the above description, the control device 6 controls the display of one display device 2 viewed by the user, but the present invention is not limited to this. For example, when the user is viewing a plurality of display devices 2, the control device 6 may control the display of the plurality of display devices 2 according to the user's viewpoint position with respect to the plurality of display devices 2. At this time, the setting area of each display device 2 needs to be set.

図8は、複数の表示装置2A、2Bの設定領域の設定を説明するための模式図である。ここでは、2つの表示装置2A、2Bが、ユーザから見て異なる設置位置に設置されているものとする。この際、領域設定部146は、2つの表示装置2A、2Bの各々に対して、設置位置に応じた設定領域を設定する。具体的には、まず、制御装置6Aの領域設定部146は、表示装置2Aに対して例えば図6に示すマークを用いて設定領域を設定する。その後、制御装置6Bの領域設定部146は、同様に表示装置2Bの設定領域を設定する。   FIG. 8 is a schematic diagram for explaining setting of setting areas of a plurality of display devices 2A and 2B. Here, it is assumed that the two display devices 2A and 2B are installed at different installation positions as viewed from the user. At this time, the area setting unit 146 sets a setting area corresponding to the installation position for each of the two display devices 2A and 2B. Specifically, first, the region setting unit 146 of the control device 6A sets a setting region on the display device 2A using, for example, a mark shown in FIG. Thereafter, the area setting unit 146 of the control device 6B similarly sets the setting area of the display device 2B.

なお、上記では、眼電位計42である眼電位センサによってユーザの視線の向きを検出することとしたが、これに限定されない。例えば、CCDカメラ等の他のデバイスで、視線の向きを検出することとしてもよい。   In the above description, the direction of the user's line of sight is detected by the electrooculogram sensor that is the electrooculometer 42. However, the present invention is not limited to this. For example, the direction of the line of sight may be detected by another device such as a CCD camera.

また、上記では、加速度センサ及びジャイロセンサから成る6軸センサ44でユーザの頭部の向きを検出することとしたが、これに限定されない。例えば、カメラで頭部を撮像することで頭部の向きを検出してもよい。   In the above description, the orientation of the user's head is detected by the six-axis sensor 44 including an acceleration sensor and a gyro sensor. However, the present invention is not limited to this. For example, the orientation of the head may be detected by imaging the head with a camera.

また、上記では、ユーザの視線の向き及び頭部の向きを検出するセンサ(眼電位計42及び6軸センサ44)が頭部装着機器4に設けられていることとしたが、これに限定されない。例えば、視線の向き及び頭部の向きを検出するカメラが、ユーザを撮像できるように表示装置2に取り付けられていてもよい。   In the above description, the head-mounted device 4 is provided with the sensors (ophthalmometer 42 and 6-axis sensor 44) that detect the direction of the user's line of sight and the direction of the head. However, the present invention is not limited to this. . For example, a camera that detects the direction of the line of sight and the direction of the head may be attached to the display device 2 so that the user can be imaged.

また、上記では、表示装置2が据え置き型のディスプレイであることとしたが、これに限定されない。例えば、表示装置2は、360度の全周に画面を表示可能なヘッドマウントディスプレイであってもよい。このヘッドマウントディスプレイは、頭部の動きに連動して回転しないディスプレイである。   In the above description, the display device 2 is a stationary display, but is not limited thereto. For example, the display device 2 may be a head mounted display capable of displaying a screen on the entire circumference of 360 degrees. This head-mounted display is a display that does not rotate in conjunction with the movement of the head.

また、上記では、表示装置2の表示制御装置である制御装置6は、表示装置2に接続されたパーソナルコンピュータに設けられていることとしたが、これに限定されない。例えば、制御装置6は、頭部装着機器4に設けられていてもよく、この場合には、制御装置6が処理した表示内容を表示装置2に送信して表示させる。また、制御装置6は、頭部装着機器4に設けられた制御部と、パーソナルコンピュータに設けられた制御部とによって、構成されてもよい。   In the above description, the control device 6 that is a display control device of the display device 2 is provided in the personal computer connected to the display device 2, but is not limited thereto. For example, the control device 6 may be provided in the head-mounted device 4, and in this case, the display content processed by the control device 6 is transmitted to the display device 2 and displayed. Moreover, the control apparatus 6 may be comprised by the control part provided in the head mounting apparatus 4, and the control part provided in the personal computer.

<表示装置2の表示処理>
ユーザの視点位置に応じた表示装置2の表示処理について、図9を参照しながら説明する。表示装置2の表示処理は、制御装置6の制御部14が記憶部12に記憶されたプログラムを実行することで実現される。なお、当該プログラムは、外部サーバからダウンロードされたものであってもよい。
<Display Process of Display Device 2>
Display processing of the display device 2 according to the user's viewpoint position will be described with reference to FIG. The display process of the display device 2 is realized by the control unit 14 of the control device 6 executing a program stored in the storage unit 12. The program may be downloaded from an external server.

図9は、ユーザの視点位置に応じた表示装置2の表示処理の流れを説明するためのフローチャートである。本フローチャートは、制御部14の表示制御部145が、表示装置2に画面を表示させているところから開始される(ステップS102)。また、ユーザは、頭部装着機器4であるメガネを装着して、表示装置2を見ているものとする。   FIG. 9 is a flowchart for explaining the flow of display processing of the display device 2 in accordance with the viewpoint position of the user. This flowchart is started when the display control unit 145 of the control unit 14 displays a screen on the display device 2 (step S102). Further, it is assumed that the user is wearing the glasses that are the head-mounted device 4 and is looking at the display device 2.

次に、視線情報取得部142は、ユーザの視線の向きを示す視線情報を取得する(ステップS104)。具体的には、視線情報取得部142は、頭部装着機器4の眼電位計42が検出した眼電位に基づいて、視線情報を取得する。   Next, the line-of-sight information acquisition unit 142 acquires line-of-sight information indicating the direction of the user's line of sight (step S104). Specifically, the line-of-sight information acquisition unit 142 acquires line-of-sight information based on the electrooculogram detected by the electrooculometer 42 of the head-mounted device 4.

次に、頭部情報取得部143は、ユーザの頭部の動きを示す頭部情報を取得する(ステップS106)。具体的には、頭部情報取得部143は、頭部装着機器4の6軸センサ44の検出結果に基づいて、頭部情報を取得する。   Next, the head information acquisition unit 143 acquires head information indicating the movement of the user's head (step S106). Specifically, the head information acquisition unit 143 acquires head information based on the detection result of the 6-axis sensor 44 of the head-mounted device 4.

上記では、視線情報を取得した後に頭部情報を取得することとしたが、これに限定されない。例えば、頭部情報を取得した後に視線情報を取得したり、視線情報と頭部情報を同時に取得したりしてもよい。   In the above description, the head information is acquired after the line-of-sight information is acquired. However, the present invention is not limited to this. For example, the line-of-sight information may be acquired after acquiring the head information, or the line-of-sight information and the head information may be acquired simultaneously.

次に、視点位置推定部144は、取得された視線情報及び頭部情報に基づいて、表示装置2に対するユーザの視点位置を推定する(ステップS108)。例えば、視点位置推定部144は、視点位置が設定領域R内に位置しているか、設定領域R外に位置しているかを推定する。視線情報及び頭部情報の両方を用いることで、高精度に視点位置を推定できる。   Next, the viewpoint position estimation unit 144 estimates the user's viewpoint position with respect to the display device 2 based on the acquired line-of-sight information and head information (step S108). For example, the viewpoint position estimation unit 144 estimates whether the viewpoint position is located within the setting area R or outside the setting area R. By using both the line-of-sight information and the head information, the viewpoint position can be estimated with high accuracy.

次に、表示制御部145は、推定されたユーザの視点位置に基づいて、表示装置2の表示を制御する(ステップS110)。具体的には、表示制御部145は、視点位置が設定領域R内である場合には付加情報Iを重畳して表示させ(図4参照)、視点位置が設定領域R外である場合には付加情報Iを表示させない(図2参照)。   Next, the display control unit 145 controls the display of the display device 2 based on the estimated viewpoint position of the user (step S110). Specifically, the display control unit 145 superimposes and displays additional information I when the viewpoint position is within the setting area R (see FIG. 4), and when the viewpoint position is outside the setting area R. The additional information I is not displayed (see FIG. 2).

その後、表示装置2の画面の表示が終了するまで、上述したステップS104〜S110の処理が繰り返される。すなわち、表示装置2に対するユーザの頭部及び視線の向きの変化に伴い変位する視点位置に応じて、表示装置2の表示が切り替わる。   Thereafter, the processes in steps S104 to S110 described above are repeated until the display of the screen of the display device 2 is completed. That is, the display of the display device 2 is switched according to the viewpoint position that is displaced with the change in the orientation of the user's head and line of sight with respect to the display device 2.

<本実施形態における効果>
上述した実施形態の表示制御装置である制御装置6は、ユーザの視線の向きを示す視線情報と頭部の向きを示す頭部情報に基づいて、表示装置2に対するユーザの視点位置を推定する。そして、制御装置6は、推定した視点位置に基づいて、表示装置2の表示を制御する。
視線情報及び頭部情報に基づいてユーザの視点位置を推定することで、例えば頭部と視線の向きが異なっていても、表示装置2に対するユーザの視点位置を高精度に推定できる。このように推定された視点位置に基づいて表示装置2の表示を制御することで、表示装置2を見ているユーザUが、追加情報を表示させたりするために視点位置を変化させた際に、表示を適切に切り替えることができる。
<Effect in this embodiment>
The control device 6 that is the display control device of the above-described embodiment estimates the user's viewpoint position with respect to the display device 2 based on the line-of-sight information indicating the direction of the user's line of sight and the head information indicating the direction of the head. And the control apparatus 6 controls the display of the display apparatus 2 based on the estimated viewpoint position.
By estimating the user's viewpoint position based on the line-of-sight information and the head information, for example, the user's viewpoint position relative to the display device 2 can be estimated with high accuracy even if the head and the line-of-sight direction are different. By controlling the display of the display device 2 based on the viewpoint position estimated in this way, when the user U watching the display device 2 changes the viewpoint position to display additional information. , Display can be switched appropriately.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment, A various deformation | transformation and change are possible within the range of the summary. is there. For example, the specific embodiments of device distribution / integration are not limited to the above-described embodiments, and all or a part of them may be configured to be functionally or physically distributed / integrated in arbitrary units. Can do. In addition, new embodiments generated by any combination of a plurality of embodiments are also included in the embodiments of the present invention. The effect of the new embodiment produced by the combination has the effect of the original embodiment.

2 表示装置
4 頭部装着機器
6 制御装置
14 制御部
142 視線情報取得部
143 頭部情報推定部
144 視点位置推定部
145 表示制御部
146 領域設定部
I 付加情報
R 設定領域

DESCRIPTION OF SYMBOLS 2 Display apparatus 4 Head mounting apparatus 6 Control apparatus 14 Control part 142 Gaze information acquisition part 143 Head information estimation part 144 Viewpoint position estimation part 145 Display control part 146 Area setting part I Additional information R Setting area

Claims (14)

ユーザの視線の向きを示す視線情報を取得する視線情報取得部と、
前記ユーザの頭部の向きを示す頭部情報を取得する頭部情報取得部と、
取得された前記視線情報及び前記頭部情報に基づいて、表示装置に対する前記ユーザの視点位置を推定する視点位置推定部と、
推定された前記視点位置に基づいて、前記表示装置の表示を制御する表示制御部と、
を備える、表示制御装置。
A line-of-sight information acquisition unit for acquiring line-of-sight information indicating the direction of the user's line of sight;
A head information acquisition unit that acquires head information indicating the orientation of the user's head;
A viewpoint position estimation unit that estimates the viewpoint position of the user with respect to a display device based on the acquired line-of-sight information and the head information;
A display control unit that controls display of the display device based on the estimated viewpoint position;
A display control device.
前記表示制御部は、前記視点位置が前記表示装置の所定領域内に位置すると推定された場合には、前記表示装置の表示画面に付加情報を重畳して表示させる、
請求項1に記載の表示制御装置。
The display control unit, when it is estimated that the viewpoint position is located within a predetermined region of the display device, displays additional information superimposed on the display screen of the display device.
The display control apparatus according to claim 1.
前記表示制御部は、前記視点位置が前記所定領域内から前記所定領域外へ移動したと推定された場合には、前記付加情報を非表示にする、
請求項2に記載の表示制御装置。
The display control unit hides the additional information when it is estimated that the viewpoint position has moved out of the predetermined area from within the predetermined area.
The display control apparatus according to claim 2.
前記表示制御部は、前記付加情報として、前記視点位置で表示されている表示内容に関する情報を表示させる、
請求項2又は3に記載の表示制御装置。
The display control unit displays information on display content displayed at the viewpoint position as the additional information.
The display control apparatus according to claim 2 or 3.
前記表示画面の中心から所定範囲よりも外側の領域に前記所定領域を設定する領域設定部を更に備える、
請求項2から4のいずれか1項に記載の表示制御装置。
An area setting unit for setting the predetermined area in an area outside a predetermined range from the center of the display screen;
The display control apparatus of any one of Claim 2 to 4.
前記表示画面の隅の領域に前記所定領域を設定する領域設定部を更に備える、
請求項2から4のいずれか1項に記載の表示制御装置。
An area setting unit for setting the predetermined area in a corner area of the display screen;
The display control apparatus of any one of Claim 2 to 4.
前記領域設定部は、前記所定領域の位置及び大きさの少なくとも一方を、前記表示装置の表示内容に応じて変化させる、
請求項5又は6に記載の表示制御装置。
The region setting unit changes at least one of the position and the size of the predetermined region according to the display content of the display device;
The display control apparatus according to claim 5 or 6.
前記表示制御部は、前記表示装置の所定の位置にマークを表示させ、
前記領域設定部は、前記ユーザが視認したマークに応じて、前記所定領域を設定する、
請求項5から7のいずれか1項に記載の表示制御装置。
The display control unit displays a mark at a predetermined position of the display device;
The area setting unit sets the predetermined area according to a mark visually recognized by the user.
The display control apparatus of any one of Claim 5 to 7.
前記領域設定部は、前記表示装置と前記ユーザの間の距離、及び前記表示装置の大きさに応じて、前記所定領域を設定する、
請求項5から7のいずれか1項に記載の表示制御装置。
The region setting unit sets the predetermined region according to a distance between the display device and the user and a size of the display device.
The display control apparatus of any one of Claim 5 to 7.
前記領域設定部は、異なる設置位置に設置された複数の前記表示装置の各々に対して、前記設置位置に応じた前記所定領域を設定する、
請求項5から9のいずれか1項に記載の表示制御装置。
The area setting unit sets the predetermined area according to the installation position for each of the plurality of display devices installed at different installation positions.
The display control apparatus according to any one of claims 5 to 9.
前記視線情報取得部は、前記ユーザの眼電位を検出する眼電位計から、前記視線情報を取得し、
前記頭部情報取得部は、前記頭部の動きを検出する6軸センサから、前記頭部情報を取得する、
請求項1から10のいずれか1項に記載の表示制御装置。
The line-of-sight information acquisition unit acquires the line-of-sight information from an electrooculometer that detects the electrooculogram of the user,
The head information acquisition unit acquires the head information from a six-axis sensor that detects movement of the head.
The display control apparatus of any one of Claim 1 to 10.
前記視線情報取得部は、前記ユーザの頭部に装着された頭部装着機器に設けられた前記眼電位計から、前記視線情報を取得し、
前記頭部情報取得部は、前記頭部装着機器に設けられた前記6軸センサから、前記頭部情報を取得する、
請求項11に記載の表示制御装置。
The line-of-sight information acquisition unit acquires the line-of-sight information from the electrooculometer provided in a head-mounted device mounted on the head of the user,
The head information acquisition unit acquires the head information from the 6-axis sensor provided in the head-mounted device.
The display control apparatus according to claim 11.
ユーザの視線の向きを示す視線情報を取得するステップと、
前記ユーザの頭部の向きを示す頭部情報を取得するステップと、
取得された前記視線情報及び前記頭部情報に基づいて、表示装置に対する前記ユーザの視点位置を推定するステップと、
推定された前記視点位置に基づいて、前記表示装置の表示を制御するステップと、
を備える、表示制御方法。
Obtaining line-of-sight information indicating the direction of the user's line of sight;
Obtaining head information indicating the orientation of the user's head;
Estimating the user's viewpoint position relative to a display device based on the acquired line-of-sight information and the head information; and
Controlling the display of the display device based on the estimated viewpoint position;
A display control method comprising:
コンピュータに、
ユーザの視線の向きを示す視線情報を取得するステップと、
前記ユーザの頭部の向きを示す頭部情報を取得するステップと、
取得された前記視線情報及び前記頭部情報に基づいて、表示装置に対する前記ユーザの視点位置を推定するステップと、
推定された前記視点位置に基づいて、前記表示装置の表示を制御するステップと、
を実行させるためのプログラム。
On the computer,
Obtaining line-of-sight information indicating the direction of the user's line of sight;
Obtaining head information indicating the orientation of the user's head;
Estimating the user's viewpoint position relative to a display device based on the acquired line-of-sight information and the head information; and
Controlling the display of the display device based on the estimated viewpoint position;
A program for running
JP2018018228A 2018-02-05 2018-02-05 Display control device, display control method and program Active JP6876639B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018018228A JP6876639B2 (en) 2018-02-05 2018-02-05 Display control device, display control method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018018228A JP6876639B2 (en) 2018-02-05 2018-02-05 Display control device, display control method and program

Publications (2)

Publication Number Publication Date
JP2019135600A true JP2019135600A (en) 2019-08-15
JP6876639B2 JP6876639B2 (en) 2021-05-26

Family

ID=67624177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018018228A Active JP6876639B2 (en) 2018-02-05 2018-02-05 Display control device, display control method and program

Country Status (1)

Country Link
JP (1) JP6876639B2 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0764709A (en) * 1993-08-26 1995-03-10 Olympus Optical Co Ltd Instruction processor
JP2012124784A (en) * 2010-12-09 2012-06-28 Canon Marketing Japan Inc Moving image reproduction system
JP2015049883A (en) * 2013-09-05 2015-03-16 セイコーエプソン株式会社 Head-mounted type display device, method for controlling head-mounted type display device, and image display system
WO2015107625A1 (en) * 2014-01-15 2015-07-23 日立マクセル株式会社 Information display terminal, information display system, and information display method
JP2015232811A (en) * 2014-06-10 2015-12-24 株式会社ニコン Display device and digital camera
JP2017058794A (en) * 2015-09-14 2017-03-23 株式会社コーエーテクモゲームス Information processing apparatus, display control method, and display control program
JP2017058971A (en) * 2015-09-16 2017-03-23 株式会社バンダイナムコエンターテインメント Program and image formation device
JP2017129898A (en) * 2016-01-18 2017-07-27 ソニー株式会社 Information processing apparatus, information processing method, and program
JP2017176728A (en) * 2016-03-31 2017-10-05 株式会社バンダイナムコエンターテインメント Simulation system and program

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0764709A (en) * 1993-08-26 1995-03-10 Olympus Optical Co Ltd Instruction processor
JP2012124784A (en) * 2010-12-09 2012-06-28 Canon Marketing Japan Inc Moving image reproduction system
JP2015049883A (en) * 2013-09-05 2015-03-16 セイコーエプソン株式会社 Head-mounted type display device, method for controlling head-mounted type display device, and image display system
WO2015107625A1 (en) * 2014-01-15 2015-07-23 日立マクセル株式会社 Information display terminal, information display system, and information display method
JP2015232811A (en) * 2014-06-10 2015-12-24 株式会社ニコン Display device and digital camera
JP2017058794A (en) * 2015-09-14 2017-03-23 株式会社コーエーテクモゲームス Information processing apparatus, display control method, and display control program
JP2017058971A (en) * 2015-09-16 2017-03-23 株式会社バンダイナムコエンターテインメント Program and image formation device
JP2017129898A (en) * 2016-01-18 2017-07-27 ソニー株式会社 Information processing apparatus, information processing method, and program
JP2017176728A (en) * 2016-03-31 2017-10-05 株式会社バンダイナムコエンターテインメント Simulation system and program

Also Published As

Publication number Publication date
JP6876639B2 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
US10901505B1 (en) Eye-based activation and tool selection systems and methods
KR20220120649A (en) Artificial Reality System with Varifocal Display of Artificial Reality Content
JP6399692B2 (en) Head mounted display, image display method and program
JP5869712B1 (en) Head-mounted display system and computer program for presenting a user&#39;s surrounding environment in an immersive virtual space
EP3333808B1 (en) Information processing device
US11720178B2 (en) Information processing device, information processing method, and computer-readable recording medium
CN111367405A (en) Method and device for adjusting head-mounted display equipment, computer equipment and storage medium
WO2019073689A1 (en) Information processing device, information processing method, and program
JP6500570B2 (en) Image display apparatus and image display method
JP2005261728A (en) Line-of-sight direction recognition apparatus and line-of-sight direction recognition program
US11137600B2 (en) Display device, display control method, and display system
US20200241633A1 (en) Display device and display device control method
JP6587364B2 (en) Program and image display system
JP6876639B2 (en) Display control device, display control method and program
JP6592313B2 (en) Information processing apparatus, display control method, and display control program
KR20180060403A (en) Control apparatus for drone based on image
JP6670965B2 (en) Display system and display method
AU2018314050B2 (en) Wearable device-compatible electrooculography data processing device, spectacle-type wearable device provided with same, and wearable device-compatible electrooculography data processing method
JP6738308B2 (en) Information processing method, program, virtual space distribution system and device
JP2017126009A (en) Display control device, display control method, and program
WO2017163647A1 (en) Head-mounted device
US11947119B2 (en) Display control device, display control method, and recording medium
JP2019081480A (en) Head-up display device
US11874961B2 (en) Managing display of an icon in an eye tracking augmented reality device
JP7106140B2 (en) Program and image display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210413

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210426

R150 Certificate of patent or registration of utility model

Ref document number: 6876639

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150