JP7464933B2 - Display device and display system - Google Patents
Display device and display system Download PDFInfo
- Publication number
- JP7464933B2 JP7464933B2 JP2021166422A JP2021166422A JP7464933B2 JP 7464933 B2 JP7464933 B2 JP 7464933B2 JP 2021166422 A JP2021166422 A JP 2021166422A JP 2021166422 A JP2021166422 A JP 2021166422A JP 7464933 B2 JP7464933 B2 JP 7464933B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- unit
- display device
- user
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 11
- 230000010365 information processing Effects 0.000 description 94
- 238000004891 communication Methods 0.000 description 35
- 230000015654 memory Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 28
- 238000012545 processing Methods 0.000 description 17
- 238000007689 inspection Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 210000005252 bulbus oculi Anatomy 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本発明は、表示装置及び表示システムに関する。 The present invention relates to a display device and a display system.
近年、透過型の表示パネルを備え、実在のオブジェクトと表示オブジェクトとを重畳して使用者に提示可能な頭部装着型の表示装置（HMD: Head-Mounted Display）が知られている（例えば特許文献１）。このような技術は、ＡＲ（Augmented Reality）又はＭＲ（Mixed Reality）と呼ばれ、上記のような表示装置は、ＡＲグラス、又はＭＲグラスなどと呼ばれることもある。 In recent years, head-mounted displays (HMDs) have become known that are equipped with a transmissive display panel and can present a real object and a display object to a user in a superimposed manner (see, for example, Patent Document 1). This type of technology is called AR (Augmented Reality) or MR (Mixed Reality), and such displays are sometimes called AR glasses or MR glasses.
また、このような表示装置の中には、使用者の視線方向の空間を画角とするカメラを搭載し、当該カメラにおいて撮像した撮像画像を他の装置において共有可能に構成されているものもある。 In addition, some of these display devices are equipped with a camera whose angle of view is the space in the user's line of sight, and are configured to allow images captured by the camera to be shared with other devices.
一般に、ある端末装置において撮像した画像を、他の装置との間で共有しつつ、当該画像中の位置を指し示すことができれば、単なる画像の共有以上の情報を共有することができる。例えば、ある端末装置がタッチパネルを備えている場合、当該ある端末装置において撮像した画像をタッチパネルに表示し、当該画像中のある位置をタッチによって特定することができる。そして、特定した位置情報を他の装置に送信し、当該他の装置で上記画像と共に、当該位置情報が示す位置を表示すれば、当該他の装置において、当該位置情報を共有することができる。 In general, if an image captured on a terminal device can be shared with another device while indicating a position within the image, it becomes possible to share more information than simply sharing an image. For example, if a terminal device is equipped with a touch panel, an image captured on the terminal device can be displayed on the touch panel, and a position within the image can be specified by touch. Then, information on the specified position can be transmitted to another device, and the other device can display the image together with the position indicated by the position information, thereby making it possible to share the position information on the other device.
一方、頭部装着型の端末装置の場合、表示パネルがユーザの目前に存在するため、タッチにより位置を特定することは難しい。このため、ユーザの視線方向を特定し、特定した視線方向に応じた位置情報を他の端末装置と共有することが考えられるが、ユーザの視線は、通常、視野中の様々な箇所に移動するため、他の装置のユーザが混乱しないように位置情報を共有することは容易ではない。
本発明の一態様は、上記の課題に鑑みてなされたものであり、その目的は、頭部装着型の端末装置を含む表示システムにおいて、視野中の位置情報を、ユーザの混乱を招来することなく共有することができる技術を実現することにある。
On the other hand, in the case of a head-mounted terminal device, since the display panel is located in front of the user, it is difficult to specify the position by touching. Therefore, it is conceivable to specify the user's line of sight direction and share the position information according to the specified line of sight direction with other terminal devices. However, since the user's line of sight usually moves to various places in the field of view, it is not easy to share the position information without confusing the users of other devices.
One aspect of the present invention has been made in consideration of the above-mentioned problems, and its purpose is to realize a technology that enables position information within the field of view to be shared in a display system including a head-mounted terminal device without causing confusion to the user.
上記の課題を解決するために、本発明の一態様に係る表示装置は、透過性を有する１又は複数の表示パネルを備え、対象空間における１又は複数のオブジェクトと、前記表示パネルに表示された１又は複数のオブジェクトとを重畳して視認可能に提示する頭部装着型の表示装置において、使用者の視線によって特定される前記対象空間中の視認先座標を取得する座標取得部と、前記座標取得部が取得する視認先座標が、所定の第１の時間幅において所定の変動幅に収まることを契機として、当該視認先座標を注目先座標として特定する特定部と、前記注目先座標、又は前記注目先座標に応じて定まる座標情報を出力する出力部と、を備えている。 In order to solve the above problems, a display device according to one aspect of the present invention is a head-mounted display device that includes one or more transparent display panels and presents one or more objects in a target space superimposed on one or more objects displayed on the display panels in a visibly recognizable manner, and includes a coordinate acquisition unit that acquires gaze destination coordinates in the target space identified by the user's line of sight, an identification unit that identifies the gaze destination coordinates as focus destination coordinates when the gaze destination coordinates acquired by the coordinate acquisition unit fall within a predetermined fluctuation range in a predetermined first time width, and an output unit that outputs the focus destination coordinates or coordinate information determined according to the focus destination coordinates.
上記の課題を解決するために、本発明の一態様に係る表示装置は、透過性を有する１又は複数の表示パネルを備え、対象空間における１又は複数のオブジェクトと、前記表示パネルに表示された１又は複数のオブジェクトとを重畳して視認可能に提示する頭部装着型の表示装置において、他の装置において特定された注目先座標を取得する座標取得部と、前記座標取得部が取得した注目先座標に応じて定まる前記１又は複数の表示パネル上の位置にオブジェクトを表示させる表示制御部と、を備えている。 In order to solve the above problems, a display device according to one aspect of the present invention is a head-mounted display device that includes one or more transparent display panels and visibly presents one or more objects in a target space superimposed on one or more objects displayed on the display panels, the display device including a coordinate acquisition unit that acquires focus coordinates identified on another device, and a display control unit that displays an object at a position on the one or more display panels that is determined according to the focus coordinates acquired by the coordinate acquisition unit.
上記の課題を解決するために、本発明の一態様に係る表示システムは、透過性を有する１又は複数の表示パネルを備え、対象空間における１又は複数のオブジェクトと、前記表示パネルに表示された１又は複数のオブジェクトとを重畳して視認可能に提示する頭部装着型の表示部と、使用者の視線によって特定される前記対象空間中の視認先座標を取得する座標取得部と、前記座標取得部が取得する視認先座標が、所定の第１の時間幅において所定の変動幅に収まることを契機として、当該視認先座標を注目先座標として特定する特定部と、前記注目先座標、又は前記注目先座標に応じて定まる座標情報を出力する出力部と、前記使用者の視野に含まれる前記対象空間中の領域を表す画像情報を取得する画像取得部と、前記出力部が出力する前記注目先座標又は前記座標情報に対応する位置であって、前記画像情報が表す画像上の位置にオブジェクトを表示する表示制御部と、を備えている。 In order to solve the above problems, a display system according to one aspect of the present invention includes a head-mounted display unit that includes one or more transparent display panels and that visually presents one or more objects in a target space and one or more objects displayed on the display panel in a superimposed manner; a coordinate acquisition unit that acquires gaze destination coordinates in the target space identified by the user's line of sight; an identification unit that identifies the gaze destination coordinates as focus destination coordinates when the gaze destination coordinates acquired by the coordinate acquisition unit fall within a predetermined fluctuation range in a predetermined first time width; an output unit that outputs the focus destination coordinates or coordinate information determined according to the focus destination coordinates; an image acquisition unit that acquires image information representing an area in the target space included in the user's field of vision; and a display control unit that displays an object at a position on an image represented by the image information that corresponds to the focus destination coordinates or the coordinate information output by the output unit.
上記の課題を解決するために、本発明の一態様に係る表示システムは、透過性を有する１又は複数の表示パネルを備え、対象空間における１又は複数のオブジェクトと、前記表示パネルに表示された１又は複数のオブジェクトとを重畳して視認可能に提示する頭部装着型の第１の表示部と、前記第１の表示部の使用者とは異なる他の使用者に対して、前記第１の表示部の使用者の視野に含まれる前記対象空間中の領域を表す画像を表示する第２の表示部と、前記他の使用者による注目先を示す注目先座標であって、前記第２の表示部による表示画像上の注目先座標を取得する座標取得部と、前記座標取得部が取得した注目先座標に応じて定まる前記１又は複数の表示パネル上の位置にオブジェクトを表示させる表示制御部と、を備えている。 In order to solve the above problems, a display system according to one aspect of the present invention includes a head-mounted first display unit that includes one or more transparent display panels and visibly presents one or more objects in a target space and one or more objects displayed on the display panel in a superimposed manner, a second display unit that displays an image representing an area in the target space included in the field of view of the user of the first display unit to a user other than the user of the first display unit, a coordinate acquisition unit that acquires focus coordinates on an image displayed by the second display unit, which are focus coordinates indicating the focus of the other user, and a display control unit that displays an object at a position on the one or more display panels that is determined according to the focus coordinates acquired by the coordinate acquisition unit.
本発明の一態様によれば、頭部装着型の端末装置を含む表示システムにおいて、視野中の位置情報を、ユーザの混乱を招来することなく共有することができる。 According to one aspect of the present invention, in a display system including a head-mounted terminal device, position information within the field of view can be shared without causing confusion to the user.
〔実施形態１〕
以下、本発明の一実施形態について、図面を参照しながら詳細に説明する。
[Embodiment 1]
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
＜表示システムの概要＞
まず、図２を参照して、本実施形態に係る表示システム１０の概要について説明する。図２は、本実施形態に係る表示システム１０の概要を示す模式図である。図２に示すように、表示システム１０は、頭部装着型の表示装置（端末装置）１と、情報処理装置３０とを備えている。
<Display system overview>
First, an overview of a
表示装置１は、図２に示すように、透過性を有する表示パネル７を備え、対象空間における１又は複数の実オブジェクトと、前記表示パネルに表示された１又は複数の表示用オブジェクトとを重畳して視認可能に提示できるように構成されている。
As shown in FIG. 2, the
ここで、対象空間における１又は複数の実オブジェクトとは、例えば、対象空間である実空間に存在する物や人のことを指す。一方、表示パネルに表示された１又は複数の表示用オブジェクトとは、当該表示パネルに表示された画像や文字等の表示用データのことを指す。当該１又は複数の表示用オブジェクトには、後述するポインタや第１のオブジェクトが含まれる。 Here, one or more real objects in the target space refer to, for example, objects or people that exist in the real space that is the target space. On the other hand, one or more display objects displayed on the display panel refer to display data such as images and characters displayed on the display panel. The one or more display objects include a pointer and a first object, which will be described later.
一方、情報処理装置３０は、図２に示すように、表示パネル３６を備えて構成されている。なお、図２では、ラップトップ型のＰＣ（Personal Computer）を情報処理装置３０の例として挙げているが、これは本例示的実施形態を限定するものではない。例えば、情報処理装置３０は、ＶＲ（Virtual Reality）ゴーグル等の頭部装着型の情報処理装置であってもよい。
On the other hand, as shown in FIG. 2, the
図２に示すように、表示システム１０では、表示装置１と、情報処理装置３０とがネットワークＮを介して互いに通信可能に接続されている。ここで、ネットワークＮの具体的構成は本実施形態を限定するものではないが、一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、又は、これらのネットワークの組み合わせを用いることができる。
As shown in FIG. 2, in the
表示システム１０では、一例として、頭部装着型の表示装置１において、
当該表示装置１を装着する使用者の視線によって特定される対象空間中の視認先座標を取得し、
当該視認先情報が所定の条件を満たすことを契機として、当該視認先座標を注目先座標として特定し、
前記注目先座標、又は前記注目先座標に応じて定まる座標情報を、情報処理装置３０に出力する。
In the
Acquire gaze-target coordinates in a target space specified by the line of sight of a user wearing the
When the gaze destination information satisfies a predetermined condition, the gaze destination coordinates are identified as attention destination coordinates;
The focus coordinates or coordinate information determined according to the focus coordinates are output to the
そして、情報処理装置３０において、
前記使用者の視野に含まれる前記対象空間中の領域を表す画像情報を取得し、
前記注目先座標又は前記座標情報に対応する位置であって、前記画像情報が表す画像上の位置にオブジェクトを表示する。
Then, in the
acquiring image information representative of an area in the target space that is included in the user's field of view;
An object is displayed at a position on the image represented by the image information, which position corresponds to the focus coordinates or the coordinate information.
ここで、上述した所定の条件としては、一例として、
・前記視認先座標が、所定の第１の時間幅において所定の変動幅に収まること
が挙げられるが、当該表現は本実施形態に記載の事項を限定するものではない。
Here, the above-mentioned predetermined condition is, for example,
The gaze destination coordinates may be within a predetermined fluctuation range within a predetermined first time width, but this expression does not limit the matters described in this embodiment.
表示システム１０は、上記の処理を行うことによって、表示装置１において特定した前記注目先座標又は前記座標情報を、情報処理装置３０の使用者と共有することができる。また、上述の条件を採用することによって、表示装置１において特定した前記注目先座標又は前記座標情報を、情報処理装置３０の使用者の混乱を招来することなく共有することができる。
By performing the above processing, the
また、表示システム１０では、他の例として、
情報処理装置３０において、
頭部装着型の表示装置１の使用者の視野に含まれる対象空間中の領域を表す画像情報を取得し、
取得した画像情報が示す画像を表示し、
情報処理装置３０の使用者による注目先を示す注目先座標であって、前記画像情報が示す表示画像上の注目先座標を取得し、
取得した注目先座標を表示装置１に提供し、
表示装置１において、
前記注目先座標を取得し、
取得した注目先座標に応じて定まる位置であって、表示パネル７上の位置にオブジェクトを表示させる。
In addition, in the
In the
acquiring image information representing an area in a target space included in the visual field of a user of the head-mounted display device;
Displaying an image indicated by the acquired image information;
Obtaining a focus coordinate indicating a focus of a user of the
Providing the acquired focus coordinates to the
In the
Obtaining the coordinates of the target point;
The object is displayed at a position on the
表示システム１０は、上記の処理を行うことによって、情報処理装置３０において特定した、情報処理装置３０の使用者による注目座標であって、情報処理装置３０の表示画面上の注目先座標を、表示装置１の使用者と共有することができる。
By performing the above processing, the
このように、本実施形態に係る表示システム１０によれば、頭部装着型の表示装置１において特定した注目先座標、又は、情報処理装置３０において特定した注目先座標を使用者の混乱を招来することなく共有することができる。
In this way, according to the
また、上記のように構成された本実施形態に係る表示システム１０は、例えば以下のような状況に好適に適用することができる。
Furthermore, the
（例１）
表示装置１を装着した医師と、情報処理装置３０を使用する医師又はアドバイザとによる視野の共有、及び当該視野中の位置情報を共有することによる共同作業。
(Example 1)
A doctor wearing the
（例２）
表示装置１を装着した作業者と、情報処理装置３０を使用する監督者又はアドバイザとによる視野の共有、及び当該視野中の位置情報を共有することによる共同作業。
(Example 2)
A worker wearing the
＜表示システムの詳細＞
続いて、図１を参照して、本実施形態に係る表示システム１０の構成についてより詳細に説明する。図１は、本実施形態に係る表示システム１０の要部構成を示すブロック図である。
<Display system details>
Next, the configuration of the
（表示装置１の構成）
図１に示すように、表示システム１０が備える表示装置１は、制御部２と、視線特定部３と、記憶部４と、通信部５と、カメラ６と、表示パネル７と、姿勢検知部８とを備えている。図２を参照して説明したように、表示装置１は、一例として、使用者の頭部に装着される頭部装着型の表示装置である。
(Configuration of Display Device 1)
1, a
（視線特定部）
視線特定部３は、表示装置１を装着する使用者の視線を特定する。更に、当該視線の先にある、使用者の視認先の座標を特定する。そして、当該使用者の視認先の座標を示す視認先情報を制御部２に供給する。
(Gaze determination unit)
The line of
視線特定部３の具体的な構成は本実施形態を限定するものではないが、一例として、
使用者の眼球を画角に含む画像を撮像する撮像装置、
前記撮像画像を参照して視線方向を算出する視線方向算出装置、
表示装置１から、視線方向の延長先に存在する対象空間（実空間）中のオブジェクトまでの距離を示す距離情報を取得する距離取得部
対象空間における表示装置１の姿勢を示す姿勢情報を取得する姿勢情報取得部、及び、
表示装置１の上記姿勢、上記視線方向、及び上記視線方向の先に存在するオブジェクトまでの距離から、上記視認先の座標を算出する視認先座標算出部を更に備える構成とすることができる。
Although the specific configuration of the line of
an imaging device that captures an image including a user's eyeball in its angle of view;
a gaze direction calculation device that calculates a gaze direction by referring to the captured image;
a distance acquisition unit that acquires distance information indicating a distance from the
The display device may further include a gaze destination coordinate calculation unit that calculates coordinates of the gaze destination from the attitude of the
ここで、上記姿勢情報は、一例として表示装置１のロール、ピッチ、及びヨーを示すパラメータを用いて表現され得るがこれは本実施形態を限定するものではない。また、上記姿勢情報取得部は、表示装置１の姿勢情報に加えて、対象空間における表示装置１の並進位置（Ｘ、Ｙ、Ｚ）を示す位置情報を更に取得することが好ましい。この場合、視認先情報算出部は、上記並進位置を更に参照して、上記視認先の座標を算出する。
Here, the attitude information can be expressed, as an example, using parameters indicating the roll, pitch, and yaw of the
なお、視線特定部３が特定する視認先情報は、一例として、対象空間における視認先の並進位置（ｘ、ｙ、ｚ）を用いて表現することができるが、これは本実施形態を限定するものではない。例えば、視認先情報は、表示装置１の並進位置（Ｘ、Ｙ、Ｚ）、表示装置１の姿勢情報、使用者の視線方向、及び視線方向の先に存在するオブジェクトまでの距離の組として表現してもよいし、他の表現の仕方を採用してもよい。
Note that the gaze destination information identified by the
なお、視線特定部３は、上述したオブジェクトまでの距離、姿勢、及び並進位置を計測する計測部を備え、当該計測部からこれらの情報を取得する構成としてもよいし、後述するカメラ６から距離を取得し、姿勢検知部８から姿勢及び並進位置を取得する構成としてもよい。
The
（記憶部）
記憶部４には、制御部２が参照する各種のデータが格納されている。一例として、記憶部４には、制御部２が備える各部が実行する各種のプログラム、及びこれらのプログラムによって参照される各種のデータが格納されている。
(Memory unit)
The
（通信部）
通信部５は、表示装置１の外部の装置と通信を行う。一例として通信部５は、表示システム１０が備える情報処理装置３０と通信を行う。通信部５は、制御部２から供給されたデータを情報処理装置３０に送信したり、情報処理装置３０から受信したデータを制御部２に供給したりする。
(Communications Department)
The
一例として、通信部５は、後述する特定部２１が特定した注目先座標、又は当該注目先座標に応じて定まる座標情報を、情報処理装置３０に対して送信する。また、一例として、通信部５は、情報処理装置３０の使用者による注目先を示す注目先座標を受信し、受信した注目先座標を制御部２に供給する。
As an example, the
なお、表示装置１と、情報処理装置３０との通信は、一例として、上述したネットワークＮを介して行われる。なお、ネットワークＮには、図示しない１又は複数のサーバ装置が更に接続されている構成としてもよい。そして、表示装置１が送信したデータに対して当該サーバ装置が加工や変換などの処理を施し、当該処理後のデータを情報処理装置３０に供給する構成としてもよい。同様に、情報処理装置３０が送信したデータに対して当該サーバ装置が加工や変換などの処理を施し、当該処理後のデータを表示装置１に供給する構成としてもよい。
Note that communication between the
（カメラ）
カメラ６は、表示装置１の周辺の対象空間を撮像する。カメラ６が撮像する画像は動画像である。換言すれば、カメラ６は、複数の画像を所定の時間間隔で逐次的に撮像する。一例として、カメラ６は、ＲＧＢ画像を撮像するＲＧＢ画像撮像部を備え、当該ＲＧＢ画像撮像部で撮像したＲＧＢ画像を示すＲＧＢ画像情報を、制御部２に供給する。カメラ６は、使用者の視線方向（より具体的には使用者の眼球の動きに応じて変化する視線方向の範囲）を画角に含むよう、表示装置１の筐体に対して向き付けられて固定されている。
(camera)
The
また、カメラ６は、ステレオカメラを更に備え、画角内のオブジェクトまでの距離を示す距離情報を逐次的に更に出力する構成としてもよいし、ＬｉＤＡＲ（Light Detecting And Ranging）センサを更に備え、当該ＬｉＤＡＲセンサによってセンシング範囲内を測距した結果を示す距離情報を逐次的に更に出力する構成としてもよい。
The
（表示パネル）
表示パネル７は、透過性を有する表示パネルである。表示パネル７は、透過性を有しているため、対象空間中のオブジェクトから発せられる光又は対象空間中のオブジェクトによって反射される光を透過し、使用者の眼球まで届けることができる。また、表示パネル７は、一例として、透過性を有する液晶パネルや透過性を有する有機ＥＬパネルによって構成することができる。そして、これらのパネルの任意の位置に表示用のオブジェクトを表示させることができる。
(Display panel)
The
したがって、表示パネル７を備えることにより、表示装置１は、対象空間における１又は複数のオブジェクト（実オブジェクト）と、当該表示パネル７に表示された１又は複数のオブジェクト（表示用オブジェクト）とを重畳して、使用者に視認可能に提示する。
Therefore, by including the
例えば、表示パネル７は、表示用オブジェクトとしての後述するポインタを、対象空間における１又は複数の実オブジェクトに重畳して表示することができる。
For example, the
また、表示パネル７が表示する１又は複数のオブジェクトの、表示パネル７上での位置は、固定的に設定されてもよいし、動的に設定されてもよい。後者の場合、表示パネル７は、後述する姿勢検知部８から表示装置１の姿勢情報を逐次的に取得し、当該姿勢情報を参照して表示用オブジェクトの表示位置を決定する構成とすることができる。例えば、上記姿勢情報が、表示装置１が右方向に回転することを示している場合には、表示パネル７上で、当該方向とは反対方向に表示用オブジェクトを移動させる。これにより、あたかも、当該表示用オブジェクトが、対象空間中の実オブジェクト上に留まっているかのような視覚的効果を使用者に提供することができる。
In addition, the position on the
また、表示パネル７は、対象空間中の実オブジェクトまでの距離を示す距離情報を逐次的に取得し、当該距離情報に応じて、表示用オブジェクトの大きさを変更する構成としてもよい。例えば、上記距離情報が、使用者が対象空間中の実オブジェクトに近づいていることを示している場合、表示パネル７は、表示用オブジェクトの大きさを徐々に大きくしながら表示してもよい。これにより、あたかも、当該表示用オブジェクトが、対象空間中の実オブジェクトと共に、手前に近づいているかのような視覚的効果を使用者に提供することができる。
The
なお、上述した表示用オブジェクトの表示位置や大きさの制御は、表示パネル７自体が行ってもよいし、制御部２が備える表示制御部２４が行ってもよい。
The display position and size of the display object described above may be controlled by the
また、表示パネル７は、１枚の表示パネルによって構成されていてもよいし、複数の表示パネルによって構成されていてもよい。一例として、表示パネル７は、右目用の表示パネルと左目用の表示パネルとによって構成されていてもよい。
The
（姿勢検知部）
姿勢検知部８は、表示装置１の姿勢を検知し、検知した姿勢を示す姿勢情報を制御部２に供給する。姿勢検知部８は、一例として、ジャイロセンサ（角速度センサ）及び加速度センサの少なくとも何れかを備える構成とすることができるが、これは本実施形態を限定するものではない。
(Attitude detection unit)
The
また、姿勢検知部８は、対象空間中における表示装置１の並進位置（（Ｘ、Ｙ、Ｚ）を更に検出し、当該並進位置を示す位置情報を制御部２に更に供給する構成としてもよい。
The
（制御部）
図１に示すように、制御部２は、座標取得部２０、特定部２１、変換部２２、出力部２３、表示制御部２４、画像取得部２５を備えている。
(Control Unit)
As shown in FIG. 1 , the
（座標取得部）
座標取得部２０は、使用者の視線によって特定される対象空間中の視認先座標を取得する。一例として、座標取得部２０は、上述した視線特定部３が特定した視認先座標を取得する。ここで、座標取得部２０が取得する視認先座標は、一例として上述した視認先の３次元並進位置（ｘ、ｙ、ｚ）であるがこれは本実施形態を限定するものではない。
(Coordinate acquisition unit)
The coordinate
また、座標取得部２０は、情報処理装置３０において特定された注目先座標であって、情報処理装置３０の使用者による注目先を示す注目先座標を取得してもよい。
The coordinate
（特定部）
特定部２１は、座標取得部２０が取得する視認先座標が、所定の第１の時間幅において所定の変動幅に収まることを契機として、当該視認先座標を注目先座標として特定する。ここで、上記第１の時間幅の具体的な値は本実施形態を限定するものではないが、例えば１～５秒程度の範囲で適宜設定可能である。また、上記所定の変動幅の設定の仕方は本実施形態を限定するものではないが、一例として、使用者の眼球を始点とした視線の変動角を用いて表現することができる。例えば、上記所定の変動幅は、視線の変動角が任意の方向に３度以内となるような変動幅としてもよいし、視線の変動角が任意の方向に５度以内となるような変動幅としてもよいし、その他の変動角の範囲に対応する変動幅としてもよい。
(Specific part)
The
なお、座標取得部２０が取得した視認先情報が視認先の３次元並進位置（ｘ、ｙ、ｚ）によって表現される場合、特定部２１が特定する注目先座標も３次元並進位置として表される。
When the gaze destination information acquired by the coordinate
（変換部）
変換部２２は、特定部２１が特定した視認先情報を、表示パネル７上の２次元座標情報に変換する。
(Conversion section)
The
変換部２２は、一例として、使用者の眼球から上記視認先情報が示す視認先まで延びる直線（視線）と、表示パネル７との交点の位置を、当該表示パネル７上の２次元座標として特定し、特定した２次元座標を出力する構成とすることがでる。
As an example, the
ここで、当該２次元座標情報は、表示パネル７を構成する画素の位置として表現してもよい。例えば、２次元座標情報は、表示パネル７における基準点（例えば表示パネル７の左上の点）から見て、横方向に何画素、縦方向に何画素といった画素位置で表現してもよい。
Here, the two-dimensional coordinate information may be expressed as the positions of pixels constituting the
（出力部）
出力部２３は、前記注目先座標、又は前記注目先座標に応じて定まる前記２次元座標情報を出力する。出力部２３が出力した前記注目先座標、又は前記２次元座標情報は、通信部５を介して情報処理装置３０に送信される。
(Output section)
The
（表示制御部）
表示制御部２４は、上述した座標取得部２０が取得した視認先座標に応じて定まる表示パネル７上の位置にポインタを表示させる。ここで、表示制御部２４は、一例として、表示パネル７上の当該位置を、使用者の眼球から視認先情報が示す視認先まで延びる直線（視線）と、表示パネル７との交点の位置として特定する。
(Display control unit)
The
表示制御部２４が表示させるポインタの形状は本実施形態を限定するものではないが、一例として、点状のポインタであってもよいし、菱形形状のポインタであってもよいし、他の形状であってもよい。
The shape of the pointer displayed by the
また、表示制御部２４は、視認先座標が、前記所定の第１の時間幅よりも短い第２の時間幅において、所定の変動幅に収まることを契機として、使用者による注視が開始されたことを示す第１のオブジェクトを表示パネル７上に表示させる。ここで、上記第２の時間幅の具体的な値は本実施形態を限定するものではないが、例えば、０．５～１秒程度の範囲で適宜設定可能である。
When the gaze destination coordinates fall within a predetermined fluctuation range in a second time width that is shorter than the first time width, the
また、表示制御部２４は、視認先座標が、前記第２の時間幅を経過後にも、前記所定の変動幅に収まり続けた場合に、前記第１のオブジェクトの形状を変化させる。後述する図４に示すように、一例として、前記第１のオブジェクトの形状は、前記視認先座標が前記所定の変動幅に収まっている時間の長さに応じた長さの弧を有する円弧状または円状であってもよい。
Furthermore, the
また、表示制御部２４は、座標取得部２０が取得した、情報処理装置３０の使用者による注目先を示す注目先座標が示す位置に、表示用オブジェクトとしてのポインタを表示させる構成としてもよい。
The
（画像取得部）
画像取得部２５は、カメラ６による撮像画像（一例としてＲＧＢ画像）を取得し、取得した撮像画像を、制御部２が備える出力部２３に提供する。出力部２３は、当該撮像画像を、通信部５を介して情報処理装置３０に供給する。
(Image acquisition unit)
The
以上のように、表示装置１は、透過性を有する１又は複数の表示パネル７を備え、対象空間における１又は複数の実オブジェクトと、前記表示パネル７に表示された１又は複数の表示オブジェクトとを重畳して視認可能に提示する頭部装着型の表示装置である。
As described above, the
そして、表示装置１は、上述のように、
使用者の視線によって特定される前記対象空間中の視認先座標を取得する座標取得部２０と、
座標取得部２０が取得する視認先座標が、所定の第１の時間幅において所定の変動幅に収まることを契機として、当該視認先座標を注目先座標として特定する特定部２１と、
前記注目先座標、又は前記注目先座標に応じて定まる座標情報を出力する出力部２３と、を備えている。
As described above, the
A coordinate
a determination unit that determines, when the gaze destination coordinates acquired by the coordinate
and an
そして、出力部２３が出力する前記注目先座標、又は前記座標情報は、他の装置（一例として情報処理装置３０）に送信され、情報処理装置３０において共有される。
Then, the focus coordinates or the coordinate information output by the
上記のように構成された表示装置１によれば、上記視認先座標が、所定の第１の時間幅において所定の変動幅に収まることを契機として、当該視認先座標を注目先座標として特定し、前記注目先座標、又は前記注目先座標に応じて定まる座標情報を他の装置と共有することができる。
According to the
一般に、人間の視線にはふらつきがあるため、視認先情報を他の装置でリアルタイムで共有しようとしても、当該他の装置の使用者を混乱させてしまう可能性がある。上記のように構成された表示装置１によれば、上記視認先座標が、所定の第１の時間幅において所定の変動幅に収まることを契機として、当該視認先座標を注目先座標として特定し、前記注目先座標、又は前記注目先座標に応じて定まる座標情報を他の装置と共有するので、当該表示装置１の使用者の視野中の位置情報を、他の装置の使用者の混乱を招来することなく共有することができる。
In general, since the human line of sight is unstable, even if gaze information is shared in real time with another device, there is a possibility that the user of the other device will be confused. With the
また、以上のように、表示装置１は、
他の装置（情報処理装置３０）において特定された注目先座標を取得する座標取得部２０と、
座標取得部２０が取得した注目先座標に応じて定まる表示パネル７上の位置にオブジェクトを表示させる表示制御部と、を備えている。
As described above, the
A coordinate
and a display control unit that displays an object at a position on the
上記のように構成された表示装置１によれば、他の装置で特定された注目先座標に応じた定まる位置にオブジェクトを表示させるので、当該他の装置で特定された注目先座標を、表示装置１において共有することができる。
The
（情報処理装置３０の構成）
続いて、図１を参照して情報処理装置３０の構成例について説明する。図１に示すように、情報処理装置３０は、制御部３１と、記憶部３８と、操作受付部３９と、通信部３７と、表示パネル３６とを備えている。情報処理装置３０は、一例として、例えば使用者が操作可能なコンピュータである。
(Configuration of information processing device 30)
Next, a configuration example of the
（記憶部）
記憶部３８には、制御部３１が参照する各種のデータが格納されている。一例として、記憶部３８には、制御部３１が備える各部が実行する各種のプログラム、及びこれらのプログラムによって参照される各種のデータが格納されている。
(Memory unit)
The
（通信部）
通信部３７は、情報処理装置３０の外部の装置と通信を行う。一例として通信部３７は、表示システム１０が備える表示装置１と通信を行う。通信部３７は、制御部３１から供給されたデータを表示装置１に送信したり、表示装置１から受信したデータを制御部３１に供給したりする。
(Communications Department)
The
一例として、通信部３７は、後述する特定部３３が特定した注目先座標を表示装置１に対して送信する。また、一例として、通信部３７は、表示装置１の使用者による注目先を示す注目先座標、又は、当該注目先座標に応じて定まる２次元座標情報を受信し、受信した注目先座標を制御部３１に供給する。
As an example, the
なお、情報処理装置３０と、表示装置１との通信は、一例として、上述したネットワークＮを介して行われる。ここで、ネットワークＮの構成については上述したため説明を省略する。
Note that communication between the
（操作受付部）
操作受付部３９は、情報処理装置３０の使用者による操作を受け付ける。操作受付部３９は、一例として、キーボード、マウス、タッチパッド、又はマイク等を備えて構成される。操作受付部３９は、一例として、マウスによる操作又はタッチパネルによるタッチ操作を介して、情報処理装置３０の使用者の注目先を示す注目先座標（注目先情報）を取得する。
(Operation reception unit)
The
（表示パネル）
表示パネル３６は、各種の表示用データを表示する。ここで、表示パネル３６は、一例として、液晶パネルや有機ＥＬパネルによって構成することができる。これらの液晶パネルや有機ＥＬパネルは非透過型のパネルであってもよい。
(Display panel)
The
表示パネル３６は、一例として、表示装置１のカメラ６が撮像したＲＧＢ画像であって通信部３７を介して受信したＲＧＢ画像を表示する。また、表示パネル３６は、表示装置１から取得した２次元座標情報（又は表示装置１から取得した注目先座標に応じて定まる２次元座標情報）に応じた表示パネル３６上の位置に、前記ＲＧＢ画像に重畳して、ポインタを表示させる。
As an example, the
ここで、表示パネル３６が表示する当該ポインタは、表示装置１の表示パネル７が表示するポインタと同じポインタであってもよいし、異なるポインタであってもよい。後者の場合、表示パネル３６が表示するポインタは、表示パネル７が表示するポインタとは、形状、大きさ、及び色の少なくとも何れかが異なったポインタである。
Here, the pointer displayed by the
また、表示パネル３６は、情報処理装置３０の使用者の操作に応じた位置に、当該情報処理装置３０の使用者による注目先を示すポインタを表示させることもできる。例えば、操作受付部３９が取得した注目先座標が示す表示パネル３６上の位置に、情報処理装置３０の使用者による注目先を示すポインタを表示させる。
The
なお、上述したポインタの表示位置や大きさの制御は、表示パネル３６自体が行ってもよいし、制御部３１が備える表示制御部３５が行ってもよい。
The display position and size of the pointer may be controlled by the
（制御部）
図１に示すように、制御部３１は、座標取得部３２と、特定部３３と、出力部３４と、表示制御部３５とを備えている。
(Control Unit)
As shown in FIG. 1 , the
（座標取得部）
座標取得部３２は、各種の座標情報を取得する。例えば、座標取得部３２は、通信部３７を介して、表示装置１から、表示装置１の使用者の注目先座標、又は当該注目先座標に応じて定まる座標情報を取得する。また、座標取得部３２は、操作受付部３９を介して、情報処理装置３０の使用者の注目先を示す注目先座標（注目先情報）を取得してもよい。 座標取得部３２が取得した座標情報は、一例として表示制御部３５に供給され、表示パネル３６に表示するポインタ等の表示用オブジェクトの表示位置として用いられる。
(Coordinate acquisition unit)
The coordinate
出力部３４は、座標取得部３２が取得した、情報処理装置３０の使用者の注目先を示す注目先座標（注目先情報）を出力する。一例として、当該注目先座標は、通信部３７を介して表示装置１に送信され、表示パネル７に表示されるオブジェクトの位置情報として用いられる。
The output unit 34 outputs focus coordinates (focus information) indicating the focus of the user of the
（特定部）
特定部３３は、情報処理装置３０の使用者の注目先を、操作受付部３９が取得した注目先座標（注目先情報）に基づいて特定する。
(Specific part)
The
（表示制御部）
表示制御部３５は、表示装置１から取得した２次元座標情報（又は表示装置１から取得した注目先座標に応じて定まる２次元座標情報）に応じた表示パネル３６上の位置に、前記ＲＧＢ画像に重畳して、ポインタを表示させる。また、表示制御部３５は、情報処理装置３０の使用者の操作に応じた位置に、当該情報処理装置３０の使用者による注目先を示すポインタを表示させることもできる。
(Display control unit)
The
（出力部）
出力部３４は、操作受付部３９が取得した注目先座標（注目先情報）を出力する。出力部３４が出力した注目先座標は、通信部３７を介して表示装置１に送信される。
(Output section)
The output unit 34 outputs the focus coordinates (focus information) acquired by the
以上説明したように、本実施形態に係る表示システム１０は、
透過性を有する１又は複数の表示パネル７を備え、対象空間における１又は複数のオブジェクトと、前記表示パネル７に表示された１又は複数のオブジェクトとを重畳して視認可能に提示する頭部装着型の表示部（表示装置１）と、
前記表示部の使用者の視線によって特定される前記対象空間中の視認先座標を取得する座標取得部２０と、
前記座標取得部２０が取得する視認先座標が、所定の第１の時間幅において所定の変動幅に収まることを契機として、当該視認先座標を注目先座標として特定する特定部２１と、
前記注目先座標、又は前記注目先座標に応じて定まる座標情報を出力する出力部２３と、
前記使用者の視野に含まれる前記対象空間中の領域を表す画像情報を取得する画像取得部２５（制御部３１）と、
前記出力部２３が出力する前記注目先座標又は前記座標情報に対応する位置であって、前記画像情報が表す画像上の位置にオブジェクトを表示する表示制御部（２４、３５）と、を備えている。
As described above, the
A head-mounted display unit (display device 1) that includes one or
a coordinate
A
an
An image acquisition unit 25 (control unit 31) that acquires image information representing an area in the target space included in the user's visual field;
and a display control unit (24, 35) that displays an object at a position on the image represented by the image information, the position corresponding to the focus coordinate or the coordinate information output by the output unit (23).
また、本実施形態に係る表示システム１０は、以上説明したように、
透過性を有する１又は複数の表示パネル７を備え、対象空間における１又は複数のオブジェクトと、前記表示パネル７に表示された１又は複数のオブジェクトとを重畳して視認可能に提示する頭部装着型の第１の表示部（表示装置１）と、
前記第１の表示部の使用者とは異なる他の使用者（情報処理装置３０の使用者）に対して、前記第１の表示部の使用者の視野に含まれる前記対象空間中の領域を表す画像を表示する第２の表示部（表示パネル３６）と、
前記他の使用者による注目先を示す注目先座標であって、前記第２の表示部による表示画像上の注目先座標を取得する座標取得部（２０、３２）と、
前記座標取得部（２０、３２）が取得した注目先座標に応じて定まる前記１又は複数の表示パネル７上の位置にオブジェクトを表示させる表示制御部３５と、を備えている。
As described above, the
A head-mounted first display unit (display device 1) that includes one or
a second display unit (display panel 36) that displays an image representing an area in the target space included in a visual field of the user of the first display unit to another user (a user of the information processing device 30) different from the user of the first display unit;
a coordinate acquisition unit (20, 32) for acquiring coordinates of a focus point on an image displayed by the second display unit, the coordinates indicating a focus point of the other user;
and a
以上のように構成された表示システム１０によれば、頭部装着型の端末装置１を含む表示システム１０において、視野中の位置情報を、ユーザの混乱を招来することなく共有することができる。
According to the
（表示システムによる表示処理例）
以下では、図３～図１１を参照しながら表示システム１０における表示処理例を説明する。以下の例では、表示システム１０を、表示装置１を装着した医師と、情報処理装置３０を使用する医師又はアドバイザとによる視野の共有、及び当該視野中の位置情報を共有することによる共同作業に適用した場合を例に説明する。
(Example of display processing by the display system)
An example of display processing in the
（表示システムの表示処理例１）
まず、図３～図８を参照しながら表示システム１０における第１の表示処理例を説明する。図３は、本実施形態に係る表示装置１に表示される表示用オブジェクトである第１のオブジェクトを、対象空間に存在する実オブジェクトと共に示す図である。図４は、表示装置１が表示する第１のオブジェクトの形状変化を示す図である。図５は、情報処理装置３０の備える表示パネル３６が表示する画像の例を示す図である。図６は、第１の表示処理例の流れを示すシーケンス図である。
(Display Processing Example 1 of Display System)
First, a first display processing example in the
（ステップＳ１１）
図６に示すように、ステップＳ１１において、座標取得部２０は、表示装置１を装着した医師の視線によって特定される対象空間中の視認先座標を取得する。表示パネル７は、当該視認先座標が示す表示パネル７上の位置に、ポインタを表示させる。
(Step S11)
6, in step S11, the coordinate
（ステップＳ１２）
そして、ステップＳ１２において、特定部２１は、座標取得部２０が取得する視認先座標が、所定の第１の時間幅、一例として例えば５秒間において所定の変動幅に収まることを契機として、当該視認先座標を注目先座標として特定する。特定された注目先座標、又は当該注目先座標に応じて定まる２次元座標情報は、情報処理装置３０に送信される。
(Step S12)
Then, in step S12, when the gaze destination coordinate acquired by the coordinate
ステップＳ１２において、更に、表示制御部２４は、当該視認先座標が、前記所定の第１の時間幅よりも短い第２の時間幅において、所定の変動幅に収まることを契機として、使用者による注視が開始されたことを示す第１のオブジェクト４０を表示パネル７上に表示させる。
In step S12, the
また、表示制御部２４は、視認先座標が、前記第２の時間幅を経過後にも、前記所定の変動幅に収まり続けた場合に、前記第１のオブジェクト４０の形状を変化させる。
In addition, the
図４は、時間の経過に応じた、第１のオブジェクト４０の形状変化を示す図である。図４に示すように、一例として、前記第１のオブジェクト４０の形状は、前記視認先座標が前記所定の変動幅に収まっている時間の長さに応じた長さの弧を有する円弧状または円状である。 Figure 4 is a diagram showing the change in shape of the first object 40 over time. As shown in Figure 4, as an example, the shape of the first object 40 is an arc or circle having an arc length corresponding to the length of time that the gaze destination coordinates are within the predetermined fluctuation range.
図３は、最終的な形状である円形状を有する第１のオブジェクトを、対象空間に存在する実オブジェクトと共に示す図である。 Figure 3 shows the first object, which has a final circular shape, along with real objects that exist in the target space.
（ステップＳ２１）
一方、情報処理装置３０は、ステップＳ１２において送信された前記注目先座標、又は前記２次元座標情報を取得し、当該注目先座標に対応する表示パネル３６上の位置に表示用オブジェクトとしてのポインタを表示させる。
(Step S21)
Meanwhile, the
図５は、情報処理装置３０の備える表示パネル３６が表示する画像の例を示す図である。図５に示すように、表示パネル３６は、表示装置１が撮像した撮像画像に重畳して、ステップＳ１２において送信された注目先座標に対応する表示パネル３６上の位置にポインタ４１を表示させる。
Figure 5 is a diagram showing an example of an image displayed on the
（切替ボタン）
なお、表示装置１の表示制御部２４は、図３に示すように、表示用オブジェクトとして、切替ボタン６０を表示する構成としてもよい。この場合、使用者が一定の時間、切替ボタン６０に視線を留めると、制御部２は、以下の２つのモードの一方から他方へと切り替えを行う。
(Switch button)
The
第１のモード：特定部２１が、座標取得部２０が取得する視認先座標が、所定の第１の時間幅において所定の変動幅に収まることを契機として、当該視認先座標を注目先座標として特定するモード。
First mode: A mode in which the
第２のモード：特定部が上記注目先座標を特定しないモード。 Second mode: A mode in which the identification unit does not identify the above-mentioned target coordinates.
ここで、第１のモードでは、表示制御部２４は、当該視認先座標が、前記所定の第１の時間幅よりも短い第２の時間幅において、所定の変動幅に収まることを契機として、使用者による注視が開始されたことを示す第１のオブジェクト４０を表示パネル７上に表示させる。また、第１のモードでは、表示制御部２４は、視認先座標が、前記第２の時間幅を経過後にも、前記所定の変動幅に収まり続けた場合に、前記第１のオブジェクト４０の形状を変化させる。
Here, in the first mode, the
すなわち、現在状態が第２のモードであった場合に、一定の時間、使用者が切替ボタン６０に視線を留めると、第１のモードに切り替わり、注目先座標を特定するモードとなり、上述の条件が満たされれば第１のオブジェクトが表示される。 In other words, if the current state is the second mode, and the user fixes their gaze on the switching button 60 for a certain period of time, the mode switches to the first mode, in which the coordinates of the focus are identified, and if the above-mentioned conditions are met, the first object is displayed.
一方、現在状態が第１のモードであった場合に、一定の時間、使用者が切替ボタン６０に視線を留めると、第２のモードに切り替わり、注目先座標を特定しないモードとなり、上述の条件が満たされたとしても第１のオブジェクトが表示されない。 On the other hand, if the current state is the first mode, and the user fixes their gaze on the switching button 60 for a certain period of time, the mode switches to the second mode, in which the focus coordinates are not specified, and the first object is not displayed even if the above-mentioned conditions are met.
このように、表示制御部２４が切替ボタン６０を備えることによって、使用者の利便性が向上する。
In this way, the
（第１のオブジェクトの他の例）
図７は、上述した第１のオブジェクト４０の他の例を示す図である。図７に示すように、第１のオブジェクト４０は、四角形状であってもよい。この場合、図７に示すように、前記第１のオブジェクト４０の形状は、前記視認先座標が前記所定の変動幅に収まっている時間の長さに応じた辺の数を有する枠状、又は四角形状である。
(Another example of the first object)
Fig. 7 is a diagram showing another example of the above-mentioned first object 40. As shown in Fig. 7, the first object 40 may be rectangular. In this case, as shown in Fig. 7, the shape of the first object 40 is a frame shape or a rectangle shape having a number of sides corresponding to the length of time during which the gaze destination coordinates are within the predetermined fluctuation range.
図８は、上述した第１のオブジェクト４０の更なる他の例を示す図である。図８に示すように、第１のオブジェクト４０は、三角形状であってもよい。この場合、図８に示すように、前記第１のオブジェクト４０の形状は、前記視認先座標が前記所定の変動幅に収まっている時間の長さに応じた辺の数を有する枠状、又は三角形状である。 Figure 8 is a diagram showing yet another example of the first object 40 described above. As shown in Figure 8, the first object 40 may be triangular. In this case, as shown in Figure 8, the shape of the first object 40 is a frame or a triangle having a number of sides corresponding to the length of time during which the gaze destination coordinates are within the specified fluctuation range.
（表示システムの表示処理例２）
続いて、図９～図１１を参照しながら表示システム１０における第２の表示処理例を説明する。図９は、情報処理装置３０による表示例を示す図である。図１０は、表示装置１
に表示される表示用オブジェクトであるポインタを、対象空間に存在する実オブジェクトと共に示す図である。図１１は、第２の表示処理例の流れを示すシーケンス図である。
(Display Processing Example 2 of Display System)
Next, a second display processing example in the
11 is a sequence diagram showing the flow of the second display processing example, together with a real object existing in the target space.
（ステップＳ３１）
まず、ステップＳ３１において、情報処理装置３０の特定部３３は、情報処理装置３０の使用者の注目先を、操作受付部３９が取得した注目先座標（注目先情報）に基づいて特定する。
(Step S31)
First, in step S<b>31 , the
そして、情報処理装置３０の表示制御部３５は、特定された注目先座標に応じた、表示パネル３６上の位置に、ポインタを表示させる。図９は、本ステップにおいて、表示制御部３５が表示させるポインタ５０を示す図である。図９に示すように、ポインタ５０は、一例として、表示装置１のカメラ６によって撮像された撮像画像に重畳して表示される。
Then, the
（ステップＳ３２）
続いて、ステップＳ３２において、情報処理装置３０の出力部３４は、操作受付部３９が取得した注目先座標（注目先情報）を出力する。出力部３４が出力した注目先座標は、通信部３７を介して表示装置１に送信される。
(Step S32)
Next, in step S32, the output unit 34 of the
（ステップＳ４１）
続いて、ステップＳ４１において、表示装置１の座標取得部２０は、ステップＳ３２において出力された注目先座標（注目先情報）を取得する。この注目先座標は、情報処理装置３０の使用者による注目先を示す座標情報である。
(Step S41)
Next, in step S41, the coordinate
（ステップＳ４２）
続いて、ステップＳ４２において、表示装置１の表示制御部２４は、ステップＳ４１において取得した注目先座標に対応する表示パネル７上の位置に、ポインタを表示させる。図１０は、本ステップにおいて、表示制御部２４が表示させるポインタ５１を示す図である。図１０に示すように、ポインタ５１は、一例として、表示装置１のカメラ６によって撮像された撮像画像に重畳して表示される。
(Step S42)
Next, in step S42, the
（実施形態１の付記事項１）
上記の説明では、表示装置１が、各時点において、注目先座標を０個または１個特定する構成を例に挙げたが、これは本実施形態を限定するものではない。表示装置１は、時点において、複数の注目先座標を特定可能に構成してもよい。例えば、表示装置１は、第１の注目先座標を特定した後、当該注目先座標を保持しつつ、第２の注目先座標を特定する構成としてもよい。
(
In the above description, the
また、表示装置１の制御部２は、複数の注目先座標を参照した各種の処理を実行する構成としてもよい。例えば、制御部２は、第１の注目先座標と第２の注目先座標との間の距離を算出し、算出した距離を表示パネル７に表示する構成としてもよい。
The
（実施形態１の付記事項２）
また、上記の説明では、表示システム１０が、１台の表示装置１と１台の情報処理装置３０を備える構成について例を挙げたが、これは本実施形態を限定するものではない。表示システム１０は、複数台の表示装置１と複数台の情報処理装置３０とを備える構成としてもよい。
(
In the above description, the
このような構成の場合、ある情報処理装置３０において、複数の表示装置１の各々から注目先座標を取得した場合、情報処理装置３０は、互いに異なる色又は形状のポインタを表示する構成とすればよい。
In such a configuration, when an
また、ある表示装置１において、複数の情報処理装置３０の各々から注目先座標を取得した場合、表示装置１は、互いに異なる色又は形状のポインタを表示する構成とすればよい。
In addition, when a
上記の構成によれば、異なる装置に対応するポインタの色や形状が異なっているので、使用者は混乱なく、これらのポインタを参照することができる。 With the above configuration, the colors and shapes of the pointers corresponding to different devices are different, so the user can refer to these pointers without confusion.
〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
[Embodiment 2]
Other embodiments of the present invention will be described below. For ease of explanation, the same reference numerals are given to members having the same functions as those described in the above embodiment, and the description thereof will not be repeated.
実施形態１において、頭部装着型の表示装置（端末装置）１と、情報処理装置３０とを備えている表示システム１０を説明したが、表示システムはさらに他の装置を備えてもよい。
In the first embodiment, a
本実施形態では、表示システム１０ａが頭部装着型の表示装置（端末装置）１と、情報処理装置３０とに加え、サーバ装置９および検査装置１１をさらに備える構成例について説明する。以下実施形態１と異なる点を重点的に説明する。
In this embodiment, a configuration example will be described in which a
図１２は、本実施形態に係る表示システム１０ａの要部構成を示すブロック図である。図１２に示すように、表示システム１０ａは、表示装置１、情報処理装置３０、サーバ装置９、及び検査装置１１を備えている。
Figure 12 is a block diagram showing the main configuration of a
また、図１２に示すように、サーバ装置９は、ネットワークＮを介して表示装置１及び情報処理装置３０と通信可能に接続されている。また、検査装置１１は、表示装置１と通信可能に構成されている。ここで、検査装置１１と表示装置１との接続態様は本実施形態を限定するものではなく、無線接続であってもよいし、有線接続であってもよい。
As shown in FIG. 12, the
（検査装置）
表示システム１０ａが医療現場に用いられる場合、検査装置１１は、一例として、患者の血圧、脈拍、又は呼吸数等のバイタルデータを取得する検査装置であり得る。また、表示システム１０ａが作業現場に用いられる場合、検査装置１１は、対象物に関する各種のセンシングデータを取得する検査装置であり得る。検査装置１１は、取得した各種のデータを、表示装置１に送信する。
(Inspection equipment)
When the
（サーバ装置）
サーバ装置９は、表示装置１から取得した各種のデータに対して加工や変換などの処理を施し、当該処理後のデータを情報処理装置３０に供給する。また、サーバ装置９は、情報処理装置３０から取得した各種のデータに対して加工や変換などの処理を施し、当該処理後のデータを表示装置１に供給する構成としてもよい。
(Server device)
The
また、サーバ装置９は、表示装置１が備える各部の処理の一部又は全部を行うよう構成されていてもよい。一例として、サーバ装置９は、表示装置１が備える変換部２２の一部又は全部の機能を実行可能に構成されていてもよい。
The
より具体的には、サーバ装置９は、表示装置１から取得した、当該表示装置１の使用者による注目先を示す注目先座標に対して変換処理を施すことによって、２次元座標情報を導出し。導出した２次元座標情報を、情報処理装置３０に供給する構成としてもよい。
More specifically, the
また、表示システム１０ａが医療現場に用いられる場合、サーバ装置９は、患者のカルテ情報、各種の撮像データ（レントゲン画像、ＭＲＩ画像等）、各種の検査データ（血液検査結果、心電図結果等）を取得し、記憶しておく構成とすることができる。
In addition, when the
また、サーバ装置９は、図示しない表示装置１の音声取得部（マイク）を介して取得した使用者の音声データを受信する構成としてもよい。同様に、図示しない情報処理装置３０の音声取得部（マイク）を介して取得した使用者の音声データを受信する構成としてもよい。
The
上記の構成の場合、サーバ装置９は、上記音声データを文字データに変換し、返還後の文字データを議事録として記憶する構成としてもよい。
In the above configuration, the
また、上記の構成の場合、サーバ装置９は、表示装置１から取得した音声データを翻訳する翻訳部を更に備え、翻訳後の音声データ又は文字データを、情報処理装置３０に供給する構成としてもよい。翻訳後のデータは情報処理装置３０において、当該情報処理装置３０の使用者に提示される。
In the above configuration, the
同様に、サーバ装置９は、情報処理装置３０から取得した音声データを翻訳部で翻訳し、翻訳後の音声データ又は文字データを、表示装置１に供給する構成としてもよい。翻訳後のデータは表示装置１において、当該表示装置１の使用者に提示される。
Similarly, the
また、サーバ装置９は、表示装置１の使用者又は情報処理装置３０の使用者による手書きのメモやマーキングなどのデータを、表示装置１、情報処理装置３０又は他の装置から取得し、記憶しておく構成としてもよい。
The
また、サーバ装置９は、表示装置１が撮像した１又は複数の画像を取得し、取得した画像を、上述した使用者によるメモやマーキングなどのデータに関連付けて記憶する構成としてもよい。
The
サーバ装置９は、記憶された各種のデータを、表示装置１又は情報処理装置３０からのリクエストに応じて、表示装置１又は情報処理装置３０に提供することができる。
The
（表示装置）
上記のように構成された検査装置及びサーバ装置を含む表示システム１０ａにおいて、表示装置１の表示制御部２４は、検査装置１１又はサーバ装置９から取得した各種のデータを、表示用オブジェクトとして表示パネル７に表示することが可能である。
(Display Device)
In the
例えば、患者の手術中に、表示パネル７に当該患者のバイタルデータを表示したり、当該患者の過去の検査データを表示したりすれば、表示装置１を装着する医師は、これらの有用なデータを好適に参照しつつ、手術を行うことができる。
For example, during surgery on a patient, if the
また、サーバ装置９が上述した翻訳部を備える構成の場合、表示装置１の表示制御部２４は、翻訳後の文字データを表示パネル７に表示する構成としてもよい。
In addition, if the
また、上述したように、サーバ装置９が撮像画像を保存する構成の場合、表示装置１は、表示パネル７に、表示用オブジェクトとして「録画開始ボタン」や「スナップショットボタン」を表示し、当該ボタンに使用者の視線が一定時間留まった場合に、カメラ６が撮像する画像の録画の開始やスナップショットの取得を行う構成としてもよい。この場合、録画された撮像画像やスナップショットは、サーバ装置９に送信される。
Furthermore, as described above, when the
また、表示装置１は、表示装置１を装着する使用者による現在又は過去における注目先を示す注目先座標をマーキングデータとしてサーバ装置９に送信してもよい。また、情報処理装置３０は、情報処理装置３０の使用者による現在又は過去における注目先を示す注目先座標をマーキングデータとしてサーバ装置９に送信してもよい。この場合、サーバ装置９は、当該マーキングデータと、上記録画された撮像画像やスナップショットとを関連付けて記憶する。
The
このような構成を採用することにより、表示システム１０ａは、過去の撮像画像を、注目先座標を示すマーキングデータと共に提示することができるので、使用者によるスキルアップや改善点特定等に役立てることができる。
By adopting such a configuration, the
〔ソフトウェアによる実現例〕
表示装置１および情報処理装置３０の制御ブロック（特に、座標取得部（２０、３２）、特定部（２１、３３）、変換部２２、出力部（２３、３４）、および表示制御部（２４、３５））は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。後者の場合、表示装置１および情報処理装置３０の各々は、例えば、コンピュータ（電子計算機）を用いて構成される。
[Software implementation example]
The control blocks of the
（情報処理装置３０の物理的構成）
図１３は、表示装置１および情報処理装置３０として用いられるコンピュータの物理的構成を例示したブロック図である。情報処理装置３０は、図１３に示すように、バス１１０と、プロセッサ１０１と、主メモリ１０２と、補助メモリ１０３と、通信インタフェース１０４と、入力装置１０６と、出力装置１０７とを備えたコンピュータによって構成可能である。プロセッサ１０１、主メモリ１０２、補助メモリ１０３、および通信インタフェース１０４、入力装置１０６と、出力装置１０７は、バス１１０を介して互いに接続されている。
(Physical configuration of information processing device 30)
Fig. 13 is a block diagram illustrating a physical configuration of a computer used as the
プロセッサ１０１としては、例えば、ＣＰＵ（Central Processing Unit）、マイクロプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラ、またはこれらの組み合わせ等が用いられる。主メモリ１０２としては、例えば、半導体ＲＡＭ（random access memory）等が用いられる。
The
補助メモリ１０３としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、またはこれらの組み合わせ等が用いられる。補助メモリ１０３には、上述した情報処理装置３０の動作をプロセッサ１０１に実行させるためのプログラムが格納されている。プロセッサ１０１は、補助メモリ１０３に格納されたプログラムを主メモリ１０２上に展開し、展開したプログラムに含まれる各命令を実行する。
The
通信インタフェース１０４は、ネットワークＮ１に接続するインタフェースである。
この例で、プロセッサ１０１および通信インタフェース１０４は、座標取得部（３２）、特定部（３３）、出力部（３４）、表示制御部（３５）および通信部（３７）を実現するハードウェア要素の一例である。また、主メモリ１０２および補助メモリ１０３は、記憶部（３８）を実現するハードウェア要素の一例である。
In this example, the
入力装置１０６としては、例えば、キーボード、マウス、タッチパッド、マイク、又はこれらの組み合わせ等が用いられる。出力装置１０７としては、例えば、ディスプレイ、プリンタ、スピーカ、又はこれらの組み合わせが用いられる。
The
（表示装置１の物理的構成）
表示装置１は、図１３に示すように、バス２１０と、プロセッサ２０１と、主メモリ２０２と、補助メモリ２０３と、通信インタフェース２０４と、入力装置２０６と、出力装置２０７とを備えたコンピュータによって構成可能である。プロセッサ２０１、主メモリ２０２、補助メモリ２０３、通信インタフェース２０４、入力装置２０６および出力装置２０７は、バス２１０を介して互いに接続されている。
(Physical configuration of display device 1)
13, the
プロセッサ２０１としては、例えば、ＣＰＵ、マイクロプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラ、またはこれらの組み合わせ等が用いられる。
The
主メモリ２０２としては、例えば、半導体ＲＡＭ等が用いられる。
For example, a semiconductor RAM or the like is used as the
補助メモリ２０３としては、例えば、フラッシュメモリ、ＨＤＤ、ＳＳＤ、またはこれらの組み合わせ等が用いられる。補助メモリ２０３には、当該コンピュータを表示装置１として動作させるためのプログラムが格納されている。プロセッサ２０１は、補助メモリ２０３に格納されたプログラムを主メモリ２０２上に展開し、展開したプログラムに含まれる各命令を実行する。また、補助メモリ２０３には、当該コンピュータを表示装置１として動作させるためにプロセッサ２０１が参照する各種データが格納されている。
The
通信インタフェース２０４は、ネットワークＮ１に接続するインタフェースである。
The
入力装置２０６としては、例えば、キーボード、マウス、タッチパッド、マイク、又はこれらの組み合わせ等が用いられる。出力装置２０７としては、例えば、ディスプレイ、プリンタ、スピーカ、又はこれらの組み合わせが用いられる。
As the
この例で、プロセッサ２０１および通信インタフェース２０４は、制御部（２）を実現するハードウェア要素の一例である。また、主メモリ２０２および補助メモリ２０３は、記憶部（４）を実現するハードウェア要素の一例である。
In this example, the
なお、上述した各プログラムは、補助メモリ１０３、および２０３にそれぞれ記憶される代わりに、外部記録媒体に記録され、外部記録媒体から読み込まれることにより該当するコンピュータに供給されてもよい。外部記録媒体としては、コンピュータ読み取り可能な「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路等を用いることができる。また、上述した各プログラムは、伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介してコンピュータに供給されてもよい。また、本発明の一態様は、各プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In addition, instead of storing each of the above-mentioned programs in the
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。 In addition, some or all of the functions of each of the above control blocks can be realized by a logic circuit. For example, an integrated circuit in which a logic circuit that functions as each of the above control blocks is formed is also included in the scope of the present invention. In addition, it is also possible to realize the functions of each of the above control blocks by, for example, a quantum computer.
また、上記各実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。 The processes described in each of the above embodiments may be executed by AI (Artificial Intelligence). In this case, the AI may run on the control device, or on another device (such as an edge computer or a cloud server).
〔付記事項〕
（付記１）
本発明の態様１に係る表示装置は、透過性を有する１又は複数の表示パネルを備え、対象空間における１又は複数のオブジェクトと、前記表示パネルに表示された１又は複数のオブジェクトとを重畳して視認可能に提示する頭部装着型の表示装置において、使用者の視線によって特定される前記対象空間中の視認先座標を取得する座標取得部と、前記座標取得部が取得する視認先座標が、所定の第１の時間幅において所定の変動幅に収まることを契機として、当該視認先座標を注目先座標として特定する特定部と、前記注目先座標、又は前記注目先座標に応じて定まる座標情報を出力する出力部と、を備えている。
[Additional Notes]
(Appendix 1)
A display device according to
（付記２）
本発明の態様２に係る表示装置は、上記態様１において、前記視認先座標に応じて定まる前記１又は複数の表示パネル上の位置にポインタを表示させ、前記視認先座標が、前記所定の第１の時間幅よりも短い第２の時間幅において、所定の変動幅に収まることを契機として、使用者による注視が開始されたことを示す第１のオブジェクトを前記１又は複数の表示パネル上に表示させる表示制御部を更に備えていてもよい。
(Appendix 2)
A display device according to
（付記３）
本発明の態様３に係る表示装置は、上記態様２において、前記表示制御部は、前記視認先座標が、前記第２の時間幅を経過後にも、前記所定の変動幅に収まり続けた場合に、前記第１のオブジェクトの形状を変化させてもよい。
(Appendix 3)
In a display device of
（付記４）
本発明の態様４に係る表示装置は、上記態様２または３において、前記第１のオブジェクトの形状は、前記視認先座標が前記所定の変動幅に収まっている時間の長さに応じた長さの弧を有する円弧状であってもよい。
(Appendix 4)
A display device according to
（付記５）
本発明の態様５に係る表示装置は、上記態様１から３の何れかにおいて、前記注目先座標を、前記座標情報に変換する変換部を更に備えていてもよい。
(Appendix 5)
The display device according to
（付記６）
本発明の態様６に係る表示装置は、透過性を有する１又は複数の表示パネルを備え、対象空間における１又は複数のオブジェクトと、前記表示パネルに表示された１又は複数のオブジェクトとを重畳して視認可能に提示する頭部装着型の表示装置において、他の装置において特定された注目先座標を取得する座標取得部と、前記座標取得部が取得した注目先座標に応じて定まる前記１又は複数の表示パネル上の位置にオブジェクトを表示させる表示制御部と、を備えている。
(Appendix 6)
A display device according to
（付記７）
本発明の態様７に係る表示システムは、透過性を有する１又は複数の表示パネルを備え、対象空間における１又は複数のオブジェクトと、前記表示パネルに表示された１又は複数のオブジェクトとを重畳して視認可能に提示する頭部装着型の表示部と、使用者の視線によって特定される前記対象空間中の視認先座標を取得する座標取得部と、前記座標取得部が取得する視認先座標が、所定の第１の時間幅において所定の変動幅に収まることを契機として、当該視認先座標を注目先座標として特定する特定部と、前記注目先座標、又は前記注目先座標に応じて定まる座標情報を出力する出力部と、前記使用者の視野に含まれる前記対象空間中の領域を表す画像情報を取得する画像取得部と、前記出力部が出力する前記注目先座標又は前記座標情報に対応する位置であって、前記画像情報が表す画像上の位置にオブジェクトを表示する表示制御部と、を備えている。
(Appendix 7)
The display system of
（付記８）
本発明の態様８に係る表示システムは、透過性を有する１又は複数の表示パネルを備え、対象空間における１又は複数のオブジェクトと、前記表示パネルに表示された１又は複数のオブジェクトとを重畳して視認可能に提示する頭部装着型の第１の表示部と、前記第１の表示部の使用者とは異なる他の使用者に対して、前記第１の表示部の使用者の視野に含まれる前記対象空間中の領域を表す画像を表示する第２の表示部と、前記他の使用者による注目先を示す注目先座標であって、前記第２の表示部による表示画像上の注目先座標を取得する座標取得部と、前記座標取得部が取得した注目先座標に応じて定まる前記１又は複数の表示パネル上の位置にオブジェクトを表示させる表示制御部と、を備えている。
(Appendix 8)
The display system of
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope of the claims. The technical scope of the present invention also includes embodiments obtained by appropriately combining the technical means disclosed in different embodiments.
１ 表示装置
２、３１ 制御部
３ 視線特定部
４、３８ 記憶部
５、３７ 通信部
６ カメラ
７、３６ 表示パネル
８ 姿勢検知部
９ サーバ装置
１０、１０ａ 表示システム
１１ 検査装置
２０、３２ 座標取得部
２１、３３ 特定部
２２ 変換部
２３、３４ 出力部
２４、３５ 表示制御部
２５ 画像取得部
３０ 情報処理装置
REFERENCE SIGNS
Claims (6)
前記使用者の視線によって特定される前記対象空間中の視認先座標を取得する座標取得部と、
前記座標取得部が取得する視認先座標が、所定の第１の時間幅において所定の変動幅に収まることを契機として、当該視認先座標を注目先座標として特定する特定部と、
前記注目先座標を、前記注目先座標に応じた座標情報に変換する変換部と、
前記使用者の視野に含まれる前記対象空間中の領域を表す画像上の位置であって前記座標情報に対応する位置に表示用オブジェクトを表示する表示部を備えた他の表示装置に対して、前記座標情報を出力する出力部と、
を備えている
ことを特徴とする表示装置。 A head-mounted display device includes one or more display panels having transparency, and presents to a user one or more real objects in a target space located on an opposite side of the display panel from a user, and one or more display objects displayed on the display panel in a superimposed manner such that the real objects are visibly overlapped with the display object,
a coordinate acquisition unit for acquiring gaze destination coordinates in the target space specified by the user's line of sight;
an identification unit that identifies the gaze destination coordinates acquired by the coordinate acquisition unit as a target coordinate when the gaze destination coordinates are within a predetermined fluctuation range within a predetermined first time width;
A conversion unit that converts the target coordinates into coordinate information corresponding to the target coordinates;
an output unit that outputs the coordinate information to another display device including a display unit that displays a display object at a position on an image representing an area in the target space included in the field of view of the user, the position corresponding to the coordinate information;
A display device comprising:
前記視認先座標が、前記所定の第１の時間幅よりも短い第２の時間幅において、所定の変動幅に収まることを契機として、使用者による注視が開始されたことを示す第１のオブジェクトを、前記表示用オブジェクトとして前記１又は複数の表示パネル上に表示させる表示制御部を更に備えている
ことを特徴とする請求項１に記載の表示装置。 displaying a pointer at a position on the one or more display panels that is determined according to the gaze destination coordinates;
The display device according to claim 1, further comprising a display control unit that displays a first object indicating that the user has started gazing at the object as the display object on the one or more display panels when the gaze destination coordinates fall within a predetermined fluctuation range within a second time width that is shorter than the predetermined first time width.
前記視認先座標が、前記第２の時間幅を経過後にも、前記所定の変動幅に収まり続けた場合に、前記第１のオブジェクトの形状を変化させる
ことを特徴とする請求項２に記載の表示装置。 The display control unit is
3. The display device according to claim 2, wherein a shape of the first object is changed when the gaze destination coordinates remain within the predetermined fluctuation range even after the second time range has elapsed.
ことを特徴とする請求項２または３に記載の表示装置。 4. The display device according to claim 2, wherein the shape of the first object is an arc having an arc length corresponding to the length of time that the gaze destination coordinates are within the specified fluctuation range.
前記第１の表示装置は、
透過性を有する１又は複数の第１の表示パネルを備え、当該第１の表示パネルから見て前記第１の使用者とは反対側に位置する対象空間における１又は複数の実オブジェクトと、前記第１の表示パネルに表示された１又は複数の表示用オブジェクトとを重畳して視認可能に前記第１の使用者に提示する頭部装着型の表示部と、
前記第１の使用者の視線によって特定される前記対象空間中の視認先座標を取得する座標取得部と、
前記座標取得部が取得する視認先座標が、所定の第１の時間幅において所定の変動幅に収まることを契機として、当該視認先座標を注目先座標として特定する特定部と、
前記注目先座標を、前記注目先座標に応じた座標情報に変換する変換部と、
前記座標情報を出力する出力部と、
を備え、
前記第２の表示装置は、
前記第１の使用者の視野に含まれる前記対象空間中の領域を表す画像情報を取得する画像取得部と、
前記第１の表示装置の前記出力部が出力する前記座標情報に対応する位置であって、前記画像情報が表す画像上の位置に表示用オブジェクトを表示する表示部と、を備えている
ことを特徴とする表示システム。 A display system including a first display device used by a first user and a second display device used by a second user,
The first display device includes:
a head-mounted display unit including one or more first display panels having transparency, and presenting to the first user one or more real objects in a target space located on an opposite side of the first display panel from the first user and one or more display objects displayed on the first display panel in a superimposed manner;
a coordinate acquisition unit that acquires gaze destination coordinates in the target space specified by a line of sight of the first user;
an identification unit that identifies the gaze destination coordinates acquired by the coordinate acquisition unit as a target coordinate when the gaze destination coordinates are within a predetermined fluctuation range within a predetermined first time width;
A conversion unit that converts the target coordinates into coordinate information corresponding to the target coordinates;
An output unit that outputs the coordinate information;
Equipped with
The second display device includes:
an image acquisition unit that acquires image information representing an area in the target space that is included in a visual field of the first user;
A display system comprising : a display unit that displays a display object at a position on an image represented by the image information, the position corresponding to the coordinate information output by the output unit of the first display device .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021166422A JP7464933B2 (en) | 2021-10-08 | 2021-10-08 | Display device and display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021166422A JP7464933B2 (en) | 2021-10-08 | 2021-10-08 | Display device and display system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023056918A JP2023056918A (en) | 2023-04-20 |
| JP7464933B2 true JP7464933B2 (en) | 2024-04-10 |
Family
ID=86005038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021166422A Active JP7464933B2 (en) | 2021-10-08 | 2021-10-08 | Display device and display system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7464933B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017033299A (en) | 2015-07-31 | 2017-02-09 | キヤノンマーケティングジャパン株式会社 | Information processing device, information processing system, control method and program thereof |
| JP2018124907A (en) | 2017-02-03 | 2018-08-09 | 株式会社コロプラ | Method for supporting movement in virtual space, program for implementing that method in computer, and information processor for implementing that program |
| JP2018182570A (en) | 2017-04-14 | 2018-11-15 | コニカミノルタ株式会社 | Line-of-sight information sharing method and line-of-sight information sharing system |
| WO2020049838A1 (en) | 2018-09-07 | 2020-03-12 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2021010101A (en) | 2019-07-01 | 2021-01-28 | 株式会社日立製作所 | Remote work support system |
-
2021
- 2021-10-08 JP JP2021166422A patent/JP7464933B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017033299A (en) | 2015-07-31 | 2017-02-09 | キヤノンマーケティングジャパン株式会社 | Information processing device, information processing system, control method and program thereof |
| JP2018124907A (en) | 2017-02-03 | 2018-08-09 | 株式会社コロプラ | Method for supporting movement in virtual space, program for implementing that method in computer, and information processor for implementing that program |
| JP2018182570A (en) | 2017-04-14 | 2018-11-15 | コニカミノルタ株式会社 | Line-of-sight information sharing method and line-of-sight information sharing system |
| WO2020049838A1 (en) | 2018-09-07 | 2020-03-12 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2021010101A (en) | 2019-07-01 | 2021-01-28 | 株式会社日立製作所 | Remote work support system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023056918A (en) | 2023-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11003410B2 (en) | Augmented reality display sharing | |
| US11829526B2 (en) | Gaze based interface for augmented reality environment | |
| US7830334B2 (en) | Image displaying method and apparatus | |
| US10429941B2 (en) | Control device of head mounted display, operation method and operation program thereof, and image display system | |
| JP4533087B2 (en) | Image processing method and image processing apparatus | |
| EP3389020B1 (en) | Information processing device, information processing method, and program | |
| US20130154913A1 (en) | Systems and methods for a gaze and gesture interface | |
| WO2013035758A1 (en) | Information display system, information display method, and storage medium | |
| AU2013401486A1 (en) | Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor | |
| US11340708B2 (en) | Gesture control of medical displays | |
| CN111710207B (en) | Ultrasonic demonstration device and system | |
| CN104679222A (en) | Medical office system based on human-computer interaction, medical information sharing system and method | |
| US20190369807A1 (en) | Information processing device, information processing method, and program | |
| JP2019125215A (en) | Information processing apparatus, information processing method, and recording medium | |
| US20230065505A1 (en) | System and method for augmented reality data interaction for ultrasound imaging | |
| JP2005339266A (en) | Information processing method, information processor and imaging device | |
| JP7464933B2 (en) | Display device and display system | |
| JP2005339267A (en) | Information processing method, information processor and imaging device | |
| JP2006343954A (en) | Image processing method and image processor | |
| WO2022208612A1 (en) | Wearable terminal device, program and display method | |
| CN115624384B (en) | Operation auxiliary navigation system, method and storage medium based on mixed reality technology | |
| Morita et al. | MRI overlay system using optical see-through for marking assistance | |
| WO2022269888A1 (en) | Wearable terminal device, program, display method, and virtual image delivery system | |
| Karolczak et al. | A stereoscopic viewer of the results of vessel segmentation in 3D magnetic resonance angiography images | |
| JP2016224809A (en) | Information processing device and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230411 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231024 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240318 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7464933 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |