JP2019135600A - Display control device, display control method, and program - Google Patents
Display control device, display control method, and program Download PDFInfo
- Publication number
- JP2019135600A JP2019135600A JP2018018228A JP2018018228A JP2019135600A JP 2019135600 A JP2019135600 A JP 2019135600A JP 2018018228 A JP2018018228 A JP 2018018228A JP 2018018228 A JP2018018228 A JP 2018018228A JP 2019135600 A JP2019135600 A JP 2019135600A
- Authority
- JP
- Japan
- Prior art keywords
- display
- head
- user
- line
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、表示制御装置、表示制御方法及びプログラムに関する。 The present invention relates to a display control device, a display control method, and a program.
近年、ユーザが手を使わずにパーソナルコンピュータの入力操作を実現する技術が提案されている。例えば、下記の特許文献1には、CCDセンサを用いてユーザの眼球位置から推定される視点位置に基づいて、表示装置上のカーソル等の表示を操作する技術が開示されている。 In recent years, a technique has been proposed in which a user can perform an input operation of a personal computer without using a hand. For example, Patent Document 1 below discloses a technique for operating a display such as a cursor on a display device based on a viewpoint position estimated from a user's eyeball position using a CCD sensor.
しかし、ユーザの表示装置に対する視点位置を眼球位置のみから推定した場合には、視点位置の推定精度が低いため、視点位置に対応した表示装置上の表示を高精度に行うことができない。 However, when the viewpoint position of the user with respect to the display device is estimated only from the eyeball position, since the estimation accuracy of the viewpoint position is low, display on the display device corresponding to the viewpoint position cannot be performed with high accuracy.
そこで、本発明はこれらの点に鑑みてなされたものであり、視点位置に対応した表示装置上の表示を高精度に行うことを目的とする。 Accordingly, the present invention has been made in view of these points, and an object thereof is to perform display on a display device corresponding to a viewpoint position with high accuracy.
本発明の第1の態様においては、ユーザの視線の向きを示す視線情報を取得する視線情報取得部と、前記ユーザの頭部の向きを示す頭部情報を取得する頭部情報取得部と、取得された前記視線情報及び前記頭部情報に基づいて、表示装置に対する前記ユーザの視点位置を推定する視点位置推定部と、推定された前記視点位置に基づいて、前記表示装置の表示を制御する表示制御部と、を備える、表示制御装置を提供する。 In the first aspect of the present invention, a line-of-sight information acquisition unit that acquires line-of-sight information indicating the direction of the user's line of sight, a head information acquisition unit that acquires head information indicating the direction of the user's head, Based on the acquired line-of-sight information and head information, a viewpoint position estimation unit that estimates the viewpoint position of the user with respect to the display apparatus, and controls display of the display apparatus based on the estimated viewpoint position And a display control unit.
また、前記表示制御部は、前記視点位置が前記表示装置の所定領域内に位置すると推定された場合には、前記表示装置の表示画面に付加情報を重畳して表示させることとしてもよい。 The display control unit may display additional information superimposed on the display screen of the display device when the viewpoint position is estimated to be located within a predetermined area of the display device.
また、前記表示制御部は、前記視点位置が前記所定領域内から前記所定領域外へ移動したと推定された場合には、前記付加情報を非表示にすることとしてもよい。 The display control unit may hide the additional information when the viewpoint position is estimated to have moved from the predetermined area to the outside of the predetermined area.
また、前記表示制御部は、前記付加情報として、前記視点位置で表示されている表示内容に関する情報を表示させることとしてもよい。 In addition, the display control unit may display information related to display contents displayed at the viewpoint position as the additional information.
また、前記表示制御装置は、前記表示画面の中心から所定範囲よりも外側の領域に前記所定領域を設定する領域設定部を更に備えることとしてもよい。 The display control device may further include a region setting unit that sets the predetermined region in a region outside a predetermined range from the center of the display screen.
また、前記表示制御装置は、前記表示画面の隅の領域に前記所定領域を設定する領域設定部を更に備えることとしてもよい。 The display control device may further include an area setting unit that sets the predetermined area in a corner area of the display screen.
また、前記領域設定部は、前記所定領域の位置及び大きさの少なくとも一方を、前記表示装置の表示内容に応じて変化させることとしてもよい。 Further, the area setting unit may change at least one of the position and the size of the predetermined area according to the display content of the display device.
また、前記表示制御部は、前記表示装置の所定の位置にマークを表示させ、前記領域設定部は、前記ユーザが視認したマークに応じて、前記所定領域を設定することとしてもよい。 The display control unit may display a mark at a predetermined position of the display device, and the region setting unit may set the predetermined region according to the mark visually recognized by the user.
また、前記領域設定部は、前記表示装置と前記ユーザの間の距離、及び前記表示装置の大きさに応じて、前記所定領域を設定することとしてもよい。 The area setting unit may set the predetermined area according to a distance between the display device and the user and a size of the display device.
また、前記領域設定部は、異なる設置位置に設置された複数の前記表示装置の各々に対して、前記設置位置に応じた前記所定領域を設定することとしてもよい。 The area setting unit may set the predetermined area according to the installation position for each of the plurality of display devices installed at different installation positions.
また、前記視線情報取得部は、前記ユーザの眼電位を検出する眼電位計から、前記視線情報を取得し、前記頭部情報取得部は、前記頭部の動きを検出する6軸センサから、前記頭部情報を取得することとしてもよい。 The line-of-sight information acquisition unit acquires the line-of-sight information from an electrooculometer that detects the electrooculogram of the user, and the head information acquisition unit includes a six-axis sensor that detects the movement of the head. The head information may be acquired.
また、前記視線情報取得部は、前記ユーザの頭部に装着された頭部装着機器に設けられた前記眼電位計から、前記視線情報を取得し、前記頭部情報取得部は、前記頭部装着機器に設けられた前記6軸センサから、前記頭部情報を取得することとしてもよい。 The line-of-sight information acquisition unit acquires the line-of-sight information from the electrooculometer provided in a head-mounted device mounted on the head of the user, and the head information acquisition unit The head information may be acquired from the 6-axis sensor provided in the wearing device.
本発明の第2の態様においては、ユーザの視線の向きを示す視線情報を取得するステップと、前記ユーザの頭部の向きを示す頭部情報を取得するステップと、取得された前記視線情報及び前記頭部情報に基づいて、表示装置に対する前記ユーザの視点位置を推定するステップと、推定された前記視点位置に基づいて、前記表示装置の表示を制御するステップと、を備える、表示制御方法を提供する。 In the second aspect of the present invention, the step of acquiring line-of-sight information indicating the direction of the user's line of sight, the step of acquiring head information indicating the direction of the user's head, the acquired line-of-sight information, and A display control method comprising: estimating a viewpoint position of the user with respect to a display device based on the head information; and controlling a display of the display device based on the estimated viewpoint position. provide.
本発明の第3の態様においては、コンピュータに、ユーザの視線の向きを示す視線情報を取得するステップと、前記ユーザの頭部の向きを示す頭部情報を取得するステップと、取得された前記視線情報及び前記頭部情報に基づいて、表示装置に対する前記ユーザの視点位置を推定するステップと、推定された前記視点位置に基づいて、前記表示装置の表示を制御するステップと、を実行させるためのプログラムを提供する。 In the third aspect of the present invention, the step of acquiring line-of-sight information indicating the direction of the user's line of sight in the computer, the step of acquiring head information indicating the direction of the head of the user, and the acquired In order to execute the step of estimating the viewpoint position of the user with respect to the display device based on the line-of-sight information and the head information, and the step of controlling the display of the display device based on the estimated viewpoint position Provide a program.
本発明によれば、視点位置に対応した表示装置上の表示を高精度に行うことができるという効果を奏する。 According to the present invention, there is an effect that display on a display device corresponding to a viewpoint position can be performed with high accuracy.
<表示システムの概要>
本発明の一の実施形態に係る表示システムの概要について、図1及び図2を参照しながら説明する。
<Outline of display system>
An overview of a display system according to an embodiment of the present invention will be described with reference to FIGS. 1 and 2.
図1は、一の実施形態に係る表示システムSの構成を説明するための模式図である。図2は、表示装置2の表示画面の一例を示す模式図である。
表示システムSは、図1に示すように、表示装置2と、頭部装着機器4と、制御装置6とを有する。表示システムSは、頭部装着機器4を装着したユーザUの表示装置2に対する視点位置に応じて、表示装置2の表示を制御する。
FIG. 1 is a schematic diagram for explaining a configuration of a display system S according to an embodiment. FIG. 2 is a schematic diagram illustrating an example of a display screen of the
As shown in FIG. 1, the display system S includes a
表示装置2は、制御装置6の制御により、図2に示すような画面等を表示する。例えば、表示装置2は、ゲームの画面を表示する。表示装置2は、例えば据え置き型のディスプレイであり、図1に示すようにユーザUから離れた位置に設置されている。
The
頭部装着機器4は、ユーザUの頭部に装着されている機器であり、ここでは一例として図1に示すようにメガネである。このため、頭部装着機器4は、ユーザUの頭部の回転に連動して回転する。頭部装着機器4には、ユーザUの視線の向きを検出する視線検出センサ(後述する眼電位計)と、ユーザUの頭部の向きを検出する頭部検出センサ(後述する6軸センサ)とが設けられている。 The head-mounted device 4 is a device mounted on the head of the user U, and here is glasses as an example as shown in FIG. For this reason, the head mounted device 4 rotates in conjunction with the rotation of the user U's head. The head-mounted device 4 includes a line-of-sight detection sensor (an electrooculometer described below) that detects the direction of the line of sight of the user U and a head detection sensor (a 6-axis sensor described below) that detects the direction of the head of the user U. And are provided.
ユーザUは、注視先を見るために、体軸に対して頭部の向きを変えたり、視線の向きを変えたりする。図1では、ユーザUが、表示装置2の表示画面に正対している状態である。すなわち、ユーザUの頭部及び視線の向きが、同一方向であり、表示装置2の表示画面を向いている状態である。
The user U changes the direction of the head relative to the body axis or changes the direction of the line of sight in order to see the gaze point. In FIG. 1, the user U is facing the display screen of the
図3は、ユーザUの頭部及び視線の向きを説明するための模式図である。図3(a)には、ユーザUが、表示装置2の縁側を注視するために、図1に示す状態から頭部の向きを体軸C周りに回転して右斜めに変わった状態が示されている。図3(a)では、視線の向きは頭部の向きと同じ向きである。例えば、ユーザUは、表示装置2を見ている際に、表示内容に関する情報を重畳して表示させたい際に、図3(a)に示すように注視する。図3(b)には、頭部が右斜めを向いているユーザUが、視線の向きのみを変えて表示装置2の中央に向けている状態が示されている。すなわち、視線の向きが、頭部の向きと異なっている。
FIG. 3 is a schematic diagram for explaining the user U's head and the direction of the line of sight. FIG. 3A shows a state in which the user U changes the direction of the head from the state shown in FIG. 1 around the body axis C to the right to observe the edge of the
制御装置6は、表示装置2の表示を制御する表示制御装置である。制御装置6は、例えば表示装置2に接続されたパーソナルコンピュータに設けられている。制御装置6は、頭部装着機器4との間で通信(例えば近距離無線通信)が可能であり、様々な情報の送受信を行う。制御装置6は、頭部装着機器4の視線検出センサ及び頭部検出センサの検出結果を受信する通信部を有する。制御装置6は、視線検出センサ及び頭部検出センサの出力値に基づいて、表示装置2のどの位置にユーザUの視点位置があるのかを紐付ける機能も有する。
The control device 6 is a display control device that controls the display of the
制御装置6は、詳細は後述するが、表示装置2を見ているユーザUの視線の向きを示す視線情報と、ユーザUの頭部の向きを示す頭部情報とを取得して、表示装置2に対するユーザUの視点位置を推定する。このように視線情報及び頭部情報に基づいて視点位置を推定することで、図1及び図3に示すように頭部及び視線の向きが変化しても、視線情報と頭部情報の片方の情報に基づいて視点位置を推定する場合に比べて、表示装置2に対するユーザの視点位置を高精度に推定できる。
As will be described in detail later, the control device 6 acquires line-of-sight information indicating the direction of the line of sight of the user U looking at the
また、制御装置6は、推定した視点位置に基づいて、表示装置2の表示を制御する。例えば、制御装置6は、ユーザUの視点位置が図1に示すように表示装置2を見ている状態と推定される場合には、図2に示すような画面を表示させる。一方で、制御装置6は、ユーザUの視点位置が図3(a)に示すように表示装置2を見ている状態と推定される場合には、図4に示すような画面を表示させる。
Moreover, the control apparatus 6 controls the display of the
図4は、ユーザUが図3(a)に示す状態にある際の表示装置2の表示例を示す模式図である。図4では、図2とは異なり、表示装置2の表示画面2aに付加情報Iが重畳して表示されている。付加情報Iの表示位置は、頭部及び視線が向いている方向である。これにより、視線の先に付加情報Iが存在するので、ユーザUは付加情報Iを把握しやすい。
一方で、ユーザUが図3(b)に示す状態(頭部は表示装置2の縁を向いているが、視線は表示装置2の中央を向いている状態)にある際には、表示装置2は、付加情報Iを表示させず、図2に示すような表示画面を表示させる。なお、付加情報Iの「80/100」は、表示画面2aに示されたゲーム画面におけるキャラクターG1(犬)のパラメータを示す。これにより、表示装置2を見ているユーザUが、追加情報を表示させたりするために視点位置を変化させた際に、表示を適切に切り替えることができる。
FIG. 4 is a schematic diagram illustrating a display example of the
On the other hand, when the user U is in the state shown in FIG. 3B (the head is facing the edge of the
<制御装置の詳細構成>
制御装置6の詳細構成について、図5を参照しながら説明する。
<Detailed configuration of control device>
A detailed configuration of the control device 6 will be described with reference to FIG.
図5は、制御装置6の詳細構成を説明するためのブロック図である。制御装置6は、図5に示すように、記憶部12と、制御部14とを有する。
FIG. 5 is a block diagram for explaining a detailed configuration of the control device 6. As illustrated in FIG. 5, the control device 6 includes a
記憶部12は、不揮発性メモリ(例えばROM)及び揮発性メモリ(例えばRAM)を含む。記憶部12は、制御部14により実行されるプログラムや各種のデータを記憶している。
The
制御部14は、例えばCPUである。制御部14は、記憶部12に記憶されたプログラムを実行することにより、表示装置2の表示を制御する。制御部14は、図5に示すように、視線情報取得部142と、頭部情報取得部143と、視点位置推定部144と、表示制御部145と、領域設定部146とを有する。
The
視線情報取得部142は、ユーザの視線の向きを示す視線情報を取得する。例えば、視線情報取得部142は、ユーザの頭部に装着された頭部装着機器4に設けられた眼電位計42から、視線情報を取得する。具体的には、視線情報取得部142は、通信インターフェースを介して眼電位計42が検出した眼電位に関する情報を受け取り、当該情報に基づいて視線情報を取得する。視線情報取得部142は、取得した視線情報を視点位置推定部144に出力する。
The line-of-sight
眼電位計42は、ユーザの眼電位を求めることで、例えばユーザの眼の動きや瞬きを検出するセンサであり、視線の検出に用いられる。ここで、眼電位とは、ユーザの眼球の角膜側と網膜側の間に生じる電位差を指す。目の周囲の皮膚に電極を着けて電位差を測定すると、眼の動きや瞬きによって電位差が変わることが知られている。眼電位計42は、例えば頭部装着機器4であるメガネのノーズパッドに設けられている。
The
頭部情報取得部143は、ユーザの頭部の向きを示す頭部情報を取得する。例えば、頭部情報取得部143は、ユーザの頭部に装着された頭部装着機器4に設けられた6軸センサ44から、頭部情報を取得する。具体的には、頭部情報取得部143は、通信インターフェースを介して6軸センサ44の検出結果を受け取り、当該検出結果に基づいて頭部情報を取得する。頭部情報取得部143は、取得した頭部情報を視点位置推定部144に出力する。
The head
6軸センサ44は、移動や回転の速度を検出するセンサであり、ユーザの体軸上に位置する頭部の動きの検出に用いられる。6軸センサ44は、例えば、3軸(X軸、Y軸、Z軸)方向の加速度を計測する加速度センサと、3軸周りの角速度(回転の速度)を計測するジャイロセンサを含む。これにより、ユーザの体軸の変化を高精度に検知できる。6軸センサ44は、例えばメガネのフレームに設けられている。
The 6-
視点位置推定部144は、視線情報及び頭部情報に基づいて、表示装置2に対するユーザの視点位置を推定する。具体的には、視点位置推定部144は、視線情報取得部142が取得した視線情報と、頭部情報取得部143が取得した頭部情報に基づいて、表示装置2に対するユーザの視点位置を推定する。視点位置推定部144は、視点位置の推定結果を表示制御部145に出力する。
The viewpoint
上述したように、眼電位計42を用いて視線の向きを検出し、かつ6軸センサ44を用いて頭部の向きを検出することで、視点位置を高精度に推定できる。例えば、頭部が向いている方向と視線が向いている方向が違う場合には、視線の向きだけで視点位置を検出すると誤検知が発生しうるが、上記のように視線の向き及び頭部の向きの両方を検出することで、視点位置を高精度に推定できる。
As described above, the viewpoint position can be estimated with high accuracy by detecting the direction of the line of sight using the
視点位置推定部144は、図1に示すユーザの状態を初期状態として、頭部及び視線の向きが変わった状態を判別する。初期状態は、例えば、ユーザの頭部及び視線の状態が一定時間以上経過した場合に、設定される。これに限定されず、例えば瞬きが連続して3回以上行われた場合に設定されてもよい。また、カメラやコンパス等の他のデバイスを用いて、初期状態が設定されてもよい。
The viewpoint
また、視点位置推定部144は、ユーザの視点位置が表示装置2の所定領域である設定領域内に位置しているか否かを推定する。設定領域とは、ユーザが表示装置2を見ている際に意図的に視点を位置させることで、例えば表示画面2aに付加情報Iを表示させるための領域である。
Further, the viewpoint
図6は、設定領域を説明するための模式図である。設定領域は、表示装置2の表示画面2aの中心から所定範囲よりも外側の領域R(図6でハッチングされた領域)である。例えば、設定領域Rは、図6に示すように、表示画面2aの縁2bに沿って所定幅で環状に形成されて領域である。設定領域Rの外縁は、表示画面2aの縁2bとほぼ同じ位置であり、設定領域Rの内縁は、4つの点R1〜R4を結んだが矩形の外形線である。また、設定領域Rは、表示画面2aの4つの隅部を含むように形成されている。
FIG. 6 is a schematic diagram for explaining the setting area. The setting area is an area R (area hatched in FIG. 6) outside the predetermined range from the center of the
表示制御部145は、表示装置2の表示を制御する。表示制御部145は、ユーザが見ている表示装置2に対する視点位置に基づいて、表示装置2の表示を制御する。具体的には、表示制御部145は、視点位置推定部144に推定された視点位置が設定領域R内に位置する場合の表示装置2の表示と、視点位置が設定領域R外に位置する場合の表示装置2の表示とを異ならせる。
The
表示制御部145は、視点位置が表示装置2の設定領域R内に位置すると推定された場合(例えば、図6に示すように視点位置が位置P2に位置する場合)には、図3(b)に示すように表示装置2の表示画面2aに付加情報Iを重畳して表示させる。例えば、ユーザが、表示画面2aに操作に関するメニューや、表示内容に関する詳細情報等を表示させたい場合に、視点位置を設定領域R内に位置させると、表示制御部145が表示画面2aにこれらの情報を表示させる。これにより、ユーザは、表示画面2aの端に視線を移動させることで、表示画面2aに付加情報Iを表示させることができる。
When it is estimated that the viewpoint position is located within the setting region R of the display device 2 (for example, when the viewpoint position is located at the position P2 as shown in FIG. 6), the
一方で、表示制御部145は、視点位置が表示装置2の設定領域内に位置していない(例えば、視点位置が、図6に示す位置P1に位置する)と推定された場合には、図2に示すように、表示画面2aに付加情報Iを表示させない通常の表示を行う。
On the other hand, if it is estimated that the viewpoint position is not located within the setting area of the display device 2 (for example, the viewpoint position is located at the position P1 shown in FIG. 6), the
表示制御部145は、視点位置が設定領域R内から設定領域R外へ移動したと推定された場合には、付加情報Iを非表示にする。例えば、表示制御部145は、ユーザが視点位置を図6に示す位置P2から位置P1へ移動させると、付加情報Iを非表示にする。これにより、ユーザは視点位置を変えるだけで、表示画面2aへの付加情報Iの表示と非表示を容易に切り替えることができる。
When it is estimated that the viewpoint position has moved from the setting area R to the outside of the setting area R, the
上記の付加情報Iの表示と非表示は、例えば表示装置2がゲームの画面を表示している際に有効である。例えば、ゲームの進行に関する情報を表示させたい場合には、視点位置を設定領域R内(例えば位置P2)に位置させることで、ゲームを行っている際の利便性が高まる。一方で、画面に映画のようなシーンを表示させたい場合には、視点位置を設定領域R外に位置させることで、ユーザは高い没入感を感じることができる。
The display and non-display of the additional information I is effective when the
表示制御部145は、付加情報Iとして、例えば視点位置で表示されている表示内容に関する情報を表示させてもよい。例えば、表示制御部145は、視点位置が表示画面上のキャラクター(例えば、図4に示すキャラクターG1)上に位置する場合には、当該キャラクターG1に関する詳細情報を表示させる。
The
領域設定部146は、上述した表示画面2aに付加情報Iを表示させるために視点位置が位置する領域である設定領域Rを設定する。例えば、領域設定部146は、表示画面2aの中心から所定範囲よりも外側の領域に設定領域Rを設定する。具体的には、領域設定部146は、表示画面2aの縁2bに沿って所定幅で環状に形成されて領域を設定領域R(図6)として設定する。
The
上記の設定領域Rの位置や大きさは、変更可能である。領域設定部146は、表示装置2の表示内容に応じて、設定領域Rの位置及び大きさの少なくとも一方を変化させてもよい。例えば、領域設定部146は、表示画面2aに表示されたキャラクターの位置に応じて、設定領域Rの位置や大きさを調整する。具体的には、領域設定部146は、キャラクターが表示画面2aの中央に位置している場合には、表示画面2aの縁2bに沿って設定領域Rを設定し、キャラクターが表示画面2aの四辺のうちの一辺に近くに位置している場合には、他の三辺の周囲に設定領域Rを設定する。
The position and size of the setting area R can be changed. The
また、領域設定部146は、表示装置2とユーザの間の距離、及び表示装置2の大きさに応じて、設定領域Rを設定してもよい。例えば、領域設定部146は、表示装置2とユーザの間の距離が大きくなる程、また表示装置2が大きくなる程、設定領域Rを大きく設定する。これにより、表示装置2とユーザの間の距離、及び表示装置2の大きさを反映した適切なサイズの設定領域Rが設定されることになる。
The
設定領域Rは、表示装置2の設定画面において所定の位置に表示されたマークをユーザに視認させることで、調整することが可能である。
図7は、表示装置2に表示される設定画面の一例を説明するための模式図である。表示制御部145は、設定画面を表示させる際に、表示画面2aの四隅にそれぞれマーク(黒丸)M1〜M4を表示させる。4つのマークM1〜M4の中心は、それぞれ、図5に示す設定領域Rの内縁を成す4つの点R1〜R4の位置である。領域設定部146は、4つのマークM1〜M4に対してユーザが視認した位置に基づいて、設定領域Rを調整する。すなわち、領域設定部146は、ユーザが視認したマークに応じて、設定領域Rを設定する。
The setting area R can be adjusted by allowing the user to visually recognize a mark displayed at a predetermined position on the setting screen of the
FIG. 7 is a schematic diagram for explaining an example of a setting screen displayed on the
なお、上記では、領域設定部146は、表示画面2aの四隅を含むように設定領域Rを設定することとしたが、これに限定されない。例えば、領域設定部146は、表示画面2aの四隅のうちの少なくとも一つの隅の領域に設定領域Rを設定してもよい。ここでは、ユーザが4個のマークM1〜M4のうちのマークM2を選択したとする。すると、領域設定部146は、ユーザが選択したマークM2の周囲の領域を設定領域Rに設定する。これにより、ユーザは、視線を向けやすい位置に設定領域Rを設定することができる。
In the above description, the
上記では、制御装置6が、ユーザが見ている一つの表示装置2の表示を制御することとしたが、これに限定されない。例えば、ユーザが複数の表示装置2を見ている場合には、制御装置6は、複数の表示装置2に対するユーザの視点位置に応じて、複数の表示装置2の表示を制御してもよい。この際、各表示装置2の設定領域の設定が必要となる。
In the above description, the control device 6 controls the display of one
図8は、複数の表示装置2A、2Bの設定領域の設定を説明するための模式図である。ここでは、2つの表示装置2A、2Bが、ユーザから見て異なる設置位置に設置されているものとする。この際、領域設定部146は、2つの表示装置2A、2Bの各々に対して、設置位置に応じた設定領域を設定する。具体的には、まず、制御装置6Aの領域設定部146は、表示装置2Aに対して例えば図6に示すマークを用いて設定領域を設定する。その後、制御装置6Bの領域設定部146は、同様に表示装置2Bの設定領域を設定する。
FIG. 8 is a schematic diagram for explaining setting of setting areas of a plurality of
なお、上記では、眼電位計42である眼電位センサによってユーザの視線の向きを検出することとしたが、これに限定されない。例えば、CCDカメラ等の他のデバイスで、視線の向きを検出することとしてもよい。
In the above description, the direction of the user's line of sight is detected by the electrooculogram sensor that is the
また、上記では、加速度センサ及びジャイロセンサから成る6軸センサ44でユーザの頭部の向きを検出することとしたが、これに限定されない。例えば、カメラで頭部を撮像することで頭部の向きを検出してもよい。
In the above description, the orientation of the user's head is detected by the six-
また、上記では、ユーザの視線の向き及び頭部の向きを検出するセンサ(眼電位計42及び6軸センサ44)が頭部装着機器4に設けられていることとしたが、これに限定されない。例えば、視線の向き及び頭部の向きを検出するカメラが、ユーザを撮像できるように表示装置2に取り付けられていてもよい。
In the above description, the head-mounted device 4 is provided with the sensors (
また、上記では、表示装置2が据え置き型のディスプレイであることとしたが、これに限定されない。例えば、表示装置2は、360度の全周に画面を表示可能なヘッドマウントディスプレイであってもよい。このヘッドマウントディスプレイは、頭部の動きに連動して回転しないディスプレイである。
In the above description, the
また、上記では、表示装置2の表示制御装置である制御装置6は、表示装置2に接続されたパーソナルコンピュータに設けられていることとしたが、これに限定されない。例えば、制御装置6は、頭部装着機器4に設けられていてもよく、この場合には、制御装置6が処理した表示内容を表示装置2に送信して表示させる。また、制御装置6は、頭部装着機器4に設けられた制御部と、パーソナルコンピュータに設けられた制御部とによって、構成されてもよい。
In the above description, the control device 6 that is a display control device of the
<表示装置2の表示処理>
ユーザの視点位置に応じた表示装置2の表示処理について、図9を参照しながら説明する。表示装置2の表示処理は、制御装置6の制御部14が記憶部12に記憶されたプログラムを実行することで実現される。なお、当該プログラムは、外部サーバからダウンロードされたものであってもよい。
<Display Process of
Display processing of the
図9は、ユーザの視点位置に応じた表示装置2の表示処理の流れを説明するためのフローチャートである。本フローチャートは、制御部14の表示制御部145が、表示装置2に画面を表示させているところから開始される(ステップS102)。また、ユーザは、頭部装着機器4であるメガネを装着して、表示装置2を見ているものとする。
FIG. 9 is a flowchart for explaining the flow of display processing of the
次に、視線情報取得部142は、ユーザの視線の向きを示す視線情報を取得する(ステップS104)。具体的には、視線情報取得部142は、頭部装着機器4の眼電位計42が検出した眼電位に基づいて、視線情報を取得する。
Next, the line-of-sight
次に、頭部情報取得部143は、ユーザの頭部の動きを示す頭部情報を取得する(ステップS106)。具体的には、頭部情報取得部143は、頭部装着機器4の6軸センサ44の検出結果に基づいて、頭部情報を取得する。
Next, the head
上記では、視線情報を取得した後に頭部情報を取得することとしたが、これに限定されない。例えば、頭部情報を取得した後に視線情報を取得したり、視線情報と頭部情報を同時に取得したりしてもよい。 In the above description, the head information is acquired after the line-of-sight information is acquired. However, the present invention is not limited to this. For example, the line-of-sight information may be acquired after acquiring the head information, or the line-of-sight information and the head information may be acquired simultaneously.
次に、視点位置推定部144は、取得された視線情報及び頭部情報に基づいて、表示装置2に対するユーザの視点位置を推定する(ステップS108)。例えば、視点位置推定部144は、視点位置が設定領域R内に位置しているか、設定領域R外に位置しているかを推定する。視線情報及び頭部情報の両方を用いることで、高精度に視点位置を推定できる。
Next, the viewpoint
次に、表示制御部145は、推定されたユーザの視点位置に基づいて、表示装置2の表示を制御する(ステップS110)。具体的には、表示制御部145は、視点位置が設定領域R内である場合には付加情報Iを重畳して表示させ(図4参照)、視点位置が設定領域R外である場合には付加情報Iを表示させない(図2参照)。
Next, the
その後、表示装置2の画面の表示が終了するまで、上述したステップS104〜S110の処理が繰り返される。すなわち、表示装置2に対するユーザの頭部及び視線の向きの変化に伴い変位する視点位置に応じて、表示装置2の表示が切り替わる。
Thereafter, the processes in steps S104 to S110 described above are repeated until the display of the screen of the
<本実施形態における効果>
上述した実施形態の表示制御装置である制御装置6は、ユーザの視線の向きを示す視線情報と頭部の向きを示す頭部情報に基づいて、表示装置2に対するユーザの視点位置を推定する。そして、制御装置6は、推定した視点位置に基づいて、表示装置2の表示を制御する。
視線情報及び頭部情報に基づいてユーザの視点位置を推定することで、例えば頭部と視線の向きが異なっていても、表示装置2に対するユーザの視点位置を高精度に推定できる。このように推定された視点位置に基づいて表示装置2の表示を制御することで、表示装置2を見ているユーザUが、追加情報を表示させたりするために視点位置を変化させた際に、表示を適切に切り替えることができる。
<Effect in this embodiment>
The control device 6 that is the display control device of the above-described embodiment estimates the user's viewpoint position with respect to the
By estimating the user's viewpoint position based on the line-of-sight information and the head information, for example, the user's viewpoint position relative to the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment, A various deformation | transformation and change are possible within the range of the summary. is there. For example, the specific embodiments of device distribution / integration are not limited to the above-described embodiments, and all or a part of them may be configured to be functionally or physically distributed / integrated in arbitrary units. Can do. In addition, new embodiments generated by any combination of a plurality of embodiments are also included in the embodiments of the present invention. The effect of the new embodiment produced by the combination has the effect of the original embodiment.
2 表示装置
4 頭部装着機器
6 制御装置
14 制御部
142 視線情報取得部
143 頭部情報推定部
144 視点位置推定部
145 表示制御部
146 領域設定部
I 付加情報
R 設定領域
DESCRIPTION OF
Claims (14)
前記ユーザの頭部の向きを示す頭部情報を取得する頭部情報取得部と、
取得された前記視線情報及び前記頭部情報に基づいて、表示装置に対する前記ユーザの視点位置を推定する視点位置推定部と、
推定された前記視点位置に基づいて、前記表示装置の表示を制御する表示制御部と、
を備える、表示制御装置。 A line-of-sight information acquisition unit for acquiring line-of-sight information indicating the direction of the user's line of sight;
A head information acquisition unit that acquires head information indicating the orientation of the user's head;
A viewpoint position estimation unit that estimates the viewpoint position of the user with respect to a display device based on the acquired line-of-sight information and the head information;
A display control unit that controls display of the display device based on the estimated viewpoint position;
A display control device.
請求項1に記載の表示制御装置。 The display control unit, when it is estimated that the viewpoint position is located within a predetermined region of the display device, displays additional information superimposed on the display screen of the display device.
The display control apparatus according to claim 1.
請求項2に記載の表示制御装置。 The display control unit hides the additional information when it is estimated that the viewpoint position has moved out of the predetermined area from within the predetermined area.
The display control apparatus according to claim 2.
請求項2又は3に記載の表示制御装置。 The display control unit displays information on display content displayed at the viewpoint position as the additional information.
The display control apparatus according to claim 2 or 3.
請求項2から4のいずれか1項に記載の表示制御装置。 An area setting unit for setting the predetermined area in an area outside a predetermined range from the center of the display screen;
The display control apparatus of any one of Claim 2 to 4.
請求項2から4のいずれか1項に記載の表示制御装置。 An area setting unit for setting the predetermined area in a corner area of the display screen;
The display control apparatus of any one of Claim 2 to 4.
請求項5又は6に記載の表示制御装置。 The region setting unit changes at least one of the position and the size of the predetermined region according to the display content of the display device;
The display control apparatus according to claim 5 or 6.
前記領域設定部は、前記ユーザが視認したマークに応じて、前記所定領域を設定する、
請求項5から7のいずれか1項に記載の表示制御装置。 The display control unit displays a mark at a predetermined position of the display device;
The area setting unit sets the predetermined area according to a mark visually recognized by the user.
The display control apparatus of any one of Claim 5 to 7.
請求項5から7のいずれか1項に記載の表示制御装置。 The region setting unit sets the predetermined region according to a distance between the display device and the user and a size of the display device.
The display control apparatus of any one of Claim 5 to 7.
請求項5から9のいずれか1項に記載の表示制御装置。 The area setting unit sets the predetermined area according to the installation position for each of the plurality of display devices installed at different installation positions.
The display control apparatus according to any one of claims 5 to 9.
前記頭部情報取得部は、前記頭部の動きを検出する6軸センサから、前記頭部情報を取得する、
請求項1から10のいずれか1項に記載の表示制御装置。 The line-of-sight information acquisition unit acquires the line-of-sight information from an electrooculometer that detects the electrooculogram of the user,
The head information acquisition unit acquires the head information from a six-axis sensor that detects movement of the head.
The display control apparatus of any one of Claim 1 to 10.
前記頭部情報取得部は、前記頭部装着機器に設けられた前記6軸センサから、前記頭部情報を取得する、
請求項11に記載の表示制御装置。 The line-of-sight information acquisition unit acquires the line-of-sight information from the electrooculometer provided in a head-mounted device mounted on the head of the user,
The head information acquisition unit acquires the head information from the 6-axis sensor provided in the head-mounted device.
The display control apparatus according to claim 11.
前記ユーザの頭部の向きを示す頭部情報を取得するステップと、
取得された前記視線情報及び前記頭部情報に基づいて、表示装置に対する前記ユーザの視点位置を推定するステップと、
推定された前記視点位置に基づいて、前記表示装置の表示を制御するステップと、
を備える、表示制御方法。 Obtaining line-of-sight information indicating the direction of the user's line of sight;
Obtaining head information indicating the orientation of the user's head;
Estimating the user's viewpoint position relative to a display device based on the acquired line-of-sight information and the head information; and
Controlling the display of the display device based on the estimated viewpoint position;
A display control method comprising:
ユーザの視線の向きを示す視線情報を取得するステップと、
前記ユーザの頭部の向きを示す頭部情報を取得するステップと、
取得された前記視線情報及び前記頭部情報に基づいて、表示装置に対する前記ユーザの視点位置を推定するステップと、
推定された前記視点位置に基づいて、前記表示装置の表示を制御するステップと、
を実行させるためのプログラム。
On the computer,
Obtaining line-of-sight information indicating the direction of the user's line of sight;
Obtaining head information indicating the orientation of the user's head;
Estimating the user's viewpoint position relative to a display device based on the acquired line-of-sight information and the head information; and
Controlling the display of the display device based on the estimated viewpoint position;
A program for running
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018018228A JP6876639B2 (en) | 2018-02-05 | 2018-02-05 | Display control device, display control method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018018228A JP6876639B2 (en) | 2018-02-05 | 2018-02-05 | Display control device, display control method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019135600A true JP2019135600A (en) | 2019-08-15 |
JP6876639B2 JP6876639B2 (en) | 2021-05-26 |
Family
ID=67624177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018018228A Active JP6876639B2 (en) | 2018-02-05 | 2018-02-05 | Display control device, display control method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6876639B2 (en) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0764709A (en) * | 1993-08-26 | 1995-03-10 | Olympus Optical Co Ltd | Instruction processor |
JP2012124784A (en) * | 2010-12-09 | 2012-06-28 | Canon Marketing Japan Inc | Moving image reproduction system |
JP2015049883A (en) * | 2013-09-05 | 2015-03-16 | セイコーエプソン株式会社 | Head-mounted type display device, method for controlling head-mounted type display device, and image display system |
WO2015107625A1 (en) * | 2014-01-15 | 2015-07-23 | 日立マクセル株式会社 | Information display terminal, information display system, and information display method |
JP2015232811A (en) * | 2014-06-10 | 2015-12-24 | 株式会社ニコン | Display device and digital camera |
JP2017058794A (en) * | 2015-09-14 | 2017-03-23 | 株式会社コーエーテクモゲームス | Information processing apparatus, display control method, and display control program |
JP2017058971A (en) * | 2015-09-16 | 2017-03-23 | 株式会社バンダイナムコエンターテインメント | Program and image formation device |
JP2017129898A (en) * | 2016-01-18 | 2017-07-27 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
JP2017176728A (en) * | 2016-03-31 | 2017-10-05 | 株式会社バンダイナムコエンターテインメント | Simulation system and program |
-
2018
- 2018-02-05 JP JP2018018228A patent/JP6876639B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0764709A (en) * | 1993-08-26 | 1995-03-10 | Olympus Optical Co Ltd | Instruction processor |
JP2012124784A (en) * | 2010-12-09 | 2012-06-28 | Canon Marketing Japan Inc | Moving image reproduction system |
JP2015049883A (en) * | 2013-09-05 | 2015-03-16 | セイコーエプソン株式会社 | Head-mounted type display device, method for controlling head-mounted type display device, and image display system |
WO2015107625A1 (en) * | 2014-01-15 | 2015-07-23 | 日立マクセル株式会社 | Information display terminal, information display system, and information display method |
JP2015232811A (en) * | 2014-06-10 | 2015-12-24 | 株式会社ニコン | Display device and digital camera |
JP2017058794A (en) * | 2015-09-14 | 2017-03-23 | 株式会社コーエーテクモゲームス | Information processing apparatus, display control method, and display control program |
JP2017058971A (en) * | 2015-09-16 | 2017-03-23 | 株式会社バンダイナムコエンターテインメント | Program and image formation device |
JP2017129898A (en) * | 2016-01-18 | 2017-07-27 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
JP2017176728A (en) * | 2016-03-31 | 2017-10-05 | 株式会社バンダイナムコエンターテインメント | Simulation system and program |
Also Published As
Publication number | Publication date |
---|---|
JP6876639B2 (en) | 2021-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10901505B1 (en) | Eye-based activation and tool selection systems and methods | |
KR20220120649A (en) | Artificial Reality System with Varifocal Display of Artificial Reality Content | |
JP6399692B2 (en) | Head mounted display, image display method and program | |
JP5869712B1 (en) | Head-mounted display system and computer program for presenting a user's surrounding environment in an immersive virtual space | |
EP3333808B1 (en) | Information processing device | |
US11720178B2 (en) | Information processing device, information processing method, and computer-readable recording medium | |
CN111367405A (en) | Method and device for adjusting head-mounted display equipment, computer equipment and storage medium | |
WO2019073689A1 (en) | Information processing device, information processing method, and program | |
JP6500570B2 (en) | Image display apparatus and image display method | |
JP2005261728A (en) | Line-of-sight direction recognition apparatus and line-of-sight direction recognition program | |
US11137600B2 (en) | Display device, display control method, and display system | |
US20200241633A1 (en) | Display device and display device control method | |
JP6587364B2 (en) | Program and image display system | |
JP6876639B2 (en) | Display control device, display control method and program | |
JP6592313B2 (en) | Information processing apparatus, display control method, and display control program | |
KR20180060403A (en) | Control apparatus for drone based on image | |
JP6670965B2 (en) | Display system and display method | |
AU2018314050B2 (en) | Wearable device-compatible electrooculography data processing device, spectacle-type wearable device provided with same, and wearable device-compatible electrooculography data processing method | |
JP6738308B2 (en) | Information processing method, program, virtual space distribution system and device | |
JP2017126009A (en) | Display control device, display control method, and program | |
WO2017163647A1 (en) | Head-mounted device | |
US11947119B2 (en) | Display control device, display control method, and recording medium | |
JP2019081480A (en) | Head-up display device | |
US11874961B2 (en) | Managing display of an icon in an eye tracking augmented reality device | |
JP7106140B2 (en) | Program and image display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200306 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210413 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210426 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6876639 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |