JP2018155872A - Information display system - Google Patents

Information display system Download PDF

Info

Publication number
JP2018155872A
JP2018155872A JP2017051544A JP2017051544A JP2018155872A JP 2018155872 A JP2018155872 A JP 2018155872A JP 2017051544 A JP2017051544 A JP 2017051544A JP 2017051544 A JP2017051544 A JP 2017051544A JP 2018155872 A JP2018155872 A JP 2018155872A
Authority
JP
Japan
Prior art keywords
user
monitoring target
information
display
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017051544A
Other languages
Japanese (ja)
Other versions
JP7265312B2 (en
Inventor
良太 柴崎
Ryota Shibazaki
良太 柴崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Original Assignee
Denso Wave Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc filed Critical Denso Wave Inc
Priority to JP2017051544A priority Critical patent/JP7265312B2/en
Publication of JP2018155872A publication Critical patent/JP2018155872A/en
Priority to JP2022086010A priority patent/JP2022122936A/en
Application granted granted Critical
Publication of JP7265312B2 publication Critical patent/JP7265312B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To safely display information.SOLUTION: An information display system (10) comprises: an attachment-type display (20) which can be attached to a user (90), and can display information within a field of view (91) of the user; a monitor object information acquisition part (32) which can acquire monitor object information (44) being information related to a monitor object (12); a visual field information acquisition part (33) for acquiring visual field information for specifying the field of view of the user; a monitor object identification part (34) for identifying the monitor object existing in the field of view of the user on the basis of the visual field information which is acquired by the visual field acquisition part; and a display control part (35) for displaying a direction indication display (43) indicating that the monitor object information is displayed in the field of view of the user by the user who is directed to a specified direction in the field of view of the user when capturing the monitor object within the field of view of the user, and displaying the monitor object information in the field of view of the user by making the user follow to direct a direction indicated by the direction indication display.SELECTED DRAWING: Figure 6

Description

本発明は、ユーザの頭部に装着するタイプのディスプレイにより、ユーザの視界内に監視対象に関する情報を表示する情報表示システムに関する。   The present invention relates to an information display system for displaying information related to a monitoring target in a user's field of view by a display of a type worn on the user's head.

近年、ユーザの頭部に装着可能な頭部装着型ディスプレイいわゆるヘッドマウントディスプレイ(以下、HMDと称する)を用いて、例えば仮想現実の画像や様々な情報を表示する技術が提案されている。この技術の適用として、例えばロボットや搬送車の作業領域内やその近傍で作業するユーザに対して、そのロボットや搬送車の安全に関する情報を提示するために、その安全に関する情報を、ユーザが装着したHMDに表示することが想定される。これによれば、ユーザは、ティーチィングペンダントやタブレット端末等を覗き込むことなく視線を上げたまま、ロボットや搬送車の安全に関する情報を取得することができるようになるため、安全性の向上が図られる。   In recent years, a technique for displaying, for example, a virtual reality image and various information using a head-mounted display (hereinafter referred to as an HMD) that can be mounted on a user's head has been proposed. As an application of this technology, for example, to present information related to the safety of the robot or transport vehicle to the user working in or near the work area of the robot or transport vehicle, the user attaches information related to the safety. Display on the HMD. According to this, since the user can acquire information on the safety of the robot and the transport vehicle without looking into the teaching pendant or the tablet terminal, the safety can be improved. Figured.

しかしながら、一般的なHMDの多くは、ユーザの視界と重なる場所に透過型の表示部を配置し、その表示部に各種情報を表示させる構成である。この場合、表示部に表示される情報と、ユーザが表示部を通して見ている実景とが重なることになる。このため、例えばユーザが歩いている状態で急に表示部に情報が表示されると、ユーザの視界が遮られてしまう。しかしながら、このような場合であっても、ユーザは、歩行を止めずに、視界が遮られて前方の安全確認が不十分なまま進んでしまい、その結果、何らかの物体と衝突してしまう等、思わぬ事態に巻き込まれてしまう可能性がある。   However, most of the general HMDs have a configuration in which a transmissive display unit is arranged in a place overlapping with the user's field of view and various information is displayed on the display unit. In this case, the information displayed on the display unit overlaps the actual scene that the user is looking through the display unit. For this reason, for example, when information is suddenly displayed on the display unit while the user is walking, the user's field of view is blocked. However, even in such a case, without stopping the walking, the user is obstructed from the field of view and proceeds with insufficient safety confirmation ahead, resulting in a collision with some object, etc. There is a possibility of getting involved in an unexpected situation.

特開2015−228201号公報JP 2015-228201 A

本発明は上記事情に鑑みてなされたものであり、その目的は、装着型ディスプレイを用いてユーザに情報を提示するものにおいて、安全な情報提示が可能な情報表示システムを提供することにある。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an information display system capable of safely presenting information when presenting information to a user using a wearable display.

(請求項1)
請求項1の情報表示システムは、ユーザが装着可能であってユーザの視界内に情報を表示可能な装着型ディスプレイと、監視対象に関する情報である監視対象情報を取得可能な監視対象情報取得部と、ユーザの視界を特定するための視界情報を取得する視界情報取得部と、前記視界情報取得部で取得した前記視界情報に基づいてユーザの視界内に存在する監視対象を識別する監視対象識別部と、ユーザの視界内に監視対象を捉えた場合にユーザが特定の方向を向くことで前記監視対象情報がユーザの視界内に表示されることを示す方向提示表示をユーザの視界内に表示させると共に、前記方向提示表示が示す方向をユーザが向くことに追従させて前記監視対象情報をユーザの視界内に表示する表示制御部と、を備える。
(Claim 1)
The information display system according to claim 1 is a wearable display that can be worn by a user and capable of displaying information in the user's field of view, and a monitoring target information acquisition unit that can acquire monitoring target information that is information about the monitoring target. A visual field information acquisition unit that acquires visual field information for specifying the visual field of the user, and a monitoring target identification unit that identifies a monitoring target existing in the visual field of the user based on the visual field information acquired by the visual field information acquisition unit Then, when the monitoring target is captured in the user's field of view, the direction presentation display indicating that the monitoring target information is displayed in the user's field of view when the user faces a specific direction is displayed in the user's field of view. And a display control unit that displays the monitoring target information in the user's field of view in accordance with the user pointing in the direction indicated by the direction presentation display.

これによれば、例えばユーザが歩行していて監視対象に近づいている場合等において、ユーザの視界内に方向提示表示を表示させることで、ユーザに対し、その方向提示表示が指し示す方向へ向くように促すことができる。これにより、ユーザの視線をあえてユーザの前方つまりユーザの進行方向から外させることで、進行方向が見難くなったユーザは、危険を感じて一旦立ち止まる可能性が高まる。そして、方向提示表示が示す方向をユーザが向くことに追従させて監視対象情報をユーザの視界内に表示することで、ユーザの移動を立ち止まらせつつ、ユーザに対して監視対象情報を適切に提示することができる。これにより、ユーザが移動している場合等において、監視対象に過度に接近してしまうこと等を抑制でき、その結果、安全な情報提示が可能となる。   According to this, for example, when the user is walking and is approaching the monitoring target, the direction presentation display is displayed in the user's field of view so that the direction presentation display is directed to the user. Can be encouraged. As a result, the user who has difficulty in seeing the traveling direction by deliberately removing the user's line of sight from the front of the user, that is, the traveling direction of the user, has a higher possibility of stopping once feeling danger. Then, the monitoring target information is appropriately presented to the user while stopping the movement of the user by displaying the monitoring target information in the user's field of view in accordance with the user pointing in the direction indicated by the direction presentation display. can do. Thereby, when the user is moving, etc., it is possible to suppress excessive proximity to the monitoring target, and as a result, it is possible to present safe information.

また、本構成によれば、ユーザの視界内に方向提示表示が表示された場合であっても、ユーザがその方向提示表示の指し示す方向へ向かなければ、ユーザの視界内に監視対象情報は表示されない。したがって、ユーザは、監視対象情報を見る気が無い場合には、方向提示表示の指し示す方向へ振り向かないことで、視界内に監視対象情報を表示させないことができる。これにより、ユーザは、視界内に方向提示表示が表示された場合であっても、自分の意思で監視対象情報を表示させることができる。そのため、ユーザが監視対象情報を見る気が無い場合にもユーザの視界内に監視対象情報が表示されて視界が妨げられるといったことを回避することができる。   Further, according to this configuration, even when the direction presentation display is displayed in the user's field of view, if the user does not go in the direction indicated by the direction presentation display, the monitoring target information is not displayed in the user's field of view. Do not show. Therefore, when the user is not willing to view the monitoring target information, the user can not display the monitoring target information in the field of view by not turning around in the direction indicated by the direction presentation display. Thereby, even if it is a case where a direction presentation display is displayed in a visual field, the user can display monitoring object information by one's intention. Therefore, even when the user is not willing to view the monitoring target information, it is possible to prevent the monitoring target information from being displayed in the user's field of view and obstructing the field of view.

(請求項2)
請求項2の情報表示システムにおいて、表示制御部は、ユーザの視界内に監視対象を捉えた場合に前記方向提示表示をユーザの視界内の上部に表示する。これによれば、ユーザに対して上方を見るように促すことができる。この場合、ユーザは、足元が見難くなるため、危険を感じて立ち止まる可能性がより高まる。すなわち、ユーザは、方向提示表示に従って上方を見ることで、体がやや後方へ反り返った姿勢つまりのけぞるような姿勢となる。このような姿勢は、体の重心がやや後方に位置するため、歩行には適さない姿勢である。このため、例えば歩行しているユーザをより効果的に立ち止まらせて無理な歩行を抑制でき、その結果、更に安全な情報提示が可能となる。
(Claim 2)
In the information display system according to claim 2, the display control unit displays the direction presentation display on the upper part in the user's field of view when the monitoring target is captured in the user's field of view. According to this, it is possible to prompt the user to look upward. In this case, since it becomes difficult for the user to see his / her feet, there is a higher possibility that the user will feel danger and stop. That is, when the user looks upwards according to the direction presentation display, the user has a posture in which the body slightly warps backward, that is, a swaying posture. Such a posture is not suitable for walking because the center of gravity of the body is located slightly rearward. For this reason, for example, the user who walks can be stopped more effectively and an unreasonable walk can be suppressed, and as a result, safer information presentation becomes possible.

(請求項3)
前記表示制御部は、ユーザの視界内に監視対象を捉えた場合に前記方向提示表示を前記監視対象と重なる位置であって半透明の矢印図形で表示する。これによれば、ユーザが見ている監視対象つまりユーザの視線の先に方向提示表示が矢印図形で表示されるため、ユーザは、どちらを向けば良いか瞬時に認識し易くなる。また、方向提示表示を構成する矢印図形は、半透明であるため、監視対象と重なっていてもユーザの視界を妨げ難い。
(Claim 3)
The display control unit displays the direction presentation display as a semi-transparent arrow graphic at a position overlapping the monitoring target when the monitoring target is captured in the user's field of view. According to this, since the direction presentation display is displayed as an arrow figure at the monitoring target being viewed by the user, that is, at the end of the user's line of sight, the user can easily recognize which direction should be directed instantly. Moreover, since the arrow figure which comprises a direction presentation display is translucent, even if it overlaps with the monitoring object, it is hard to disturb a user's view.

そして本構成によれば、方向提示表示は、監視対象と重なる位置に矢印として表示されるため、ユーザは、方向提示表示の矢印の先に表示される情報が、その方向提示表示と重なっている監視対象に関連したものであると容易に認識することができる。すなわち、一般的なユーザは、監視対象に重なっている矢印を見れば、その矢印の先に、その監視対象に関連する情報があると連想すると思われる。したがって、ユーザは、視界内に複数の監視対象を捉えている場合において、方向提示表示の先に示される監視対象情報が、視界内のどの監視対象についてのものなのか容易に把握することができる。その結果、ユーザは、監視対象と監視対象情報とを関連付けて見ることができるため、監視対象情報の理解がし易くなる。   According to this configuration, since the direction presentation display is displayed as an arrow at a position overlapping with the monitoring target, the user overlaps the information displayed at the tip of the direction presentation display arrow with the direction presentation display. It can be easily recognized that it is related to the monitoring target. That is, if a general user sees an arrow that overlaps the monitoring target, it seems that there is information related to the monitoring target at the tip of the arrow. Therefore, when the user captures a plurality of monitoring targets in the field of view, the user can easily grasp which monitoring target in the field of view the monitoring target information shown at the tip of the direction presentation display. . As a result, since the user can see the monitoring target and the monitoring target information in association with each other, the monitoring target information can be easily understood.

(請求項4)
前記表示制御部は、ユーザの視界内に不透明な表示領域を表示すると共に、前記表示領域内に前記監視対象情報を表示する。これによれば、不透明な表示領域内に表示された監視対象情報が、表示領域の後ろの実景に紛れ込む事を防ぐことができる。これにより、監視対象情報をより見易くすることができる。
(Claim 4)
The display control unit displays an opaque display area in the user's field of view and displays the monitoring target information in the display area. According to this, it is possible to prevent the monitoring target information displayed in the opaque display area from being mixed into the actual scene behind the display area. Thereby, monitoring object information can be made easier to see.

(請求項5)
前記表示制御部は、前記監視対象情報を前記監視対象と重ならない位置に表示する。これによれば、ユーザの視界に表示される監視対象情報が監視対象と重なって、監視対象情報が見難くなることを防止できるとともに、監視対象自体が難くなることも防止できる。つまり、これによれば、ユーザは、監視対象を視界に入れたまま、監視対象情報を適切に見ることができる。その結果、更に安全な情報提示が可能となる。
(Claim 5)
The display control unit displays the monitoring target information at a position that does not overlap the monitoring target. According to this, it is possible to prevent the monitoring target information displayed in the user's field of view from overlapping the monitoring target, making it difficult to see the monitoring target information, and it is also possible to prevent the monitoring target itself from becoming difficult. That is, according to this, the user can appropriately view the monitoring target information while keeping the monitoring target in view. As a result, safer information can be presented.

(請求項6)
前記表示制御部は、前記ユーザから前記監視対象までの距離が近づくにつれて前記方向提示表示又は前記監視対象情報の少なくとも一方を大きく表示する。この場合、ユーザから監視対象までの距離が近づくにつれて方向提示表示を大きく表示するようにすれば、ユーザが監視対象に近づくほど、方向提示表示が大きくなってユーザに対して圧迫感を与えることができる。したがって、ユーザがより立ち止まり易くなる。
(Claim 6)
The display control unit displays at least one of the direction presentation display and the monitoring target information as the distance from the user to the monitoring target approaches. In this case, if the direction presentation display is displayed larger as the distance from the user to the monitoring target is closer, the direction presentation display becomes larger as the user gets closer to the monitoring target, giving a sense of pressure to the user. it can. Therefore, it becomes easier for the user to stop.

また、ユーザが監視対象情報を見るために例えば上を見上げている場合であっても、必ずしも全てのユーザが立ち止まるとは限らない。つまり、ユーザが、例えば上を見上げて監視対象情報を見ながら歩行することも考えられる。一方、本構成により、ユーザから監視対象までの距離が近づくにつれて監視対象情報を大きく表示することで、ユーザが例えば上方を見上げて監視対象情報を見ながら歩行しようとした場合であっても、ユーザが監視対象に近づけば監視対象情報が大きくなってユーザに対して圧迫感を与えることができる。したがって、ユーザが監視対象情報を見ながら歩行するような状況を抑制することができる。これらの結果、更に安全な情報提示が可能となる。   Further, even when the user looks up at the monitoring target information, for example, not all users stop. That is, it is also conceivable that the user walks while looking up at the monitoring target information, for example, looking up. On the other hand, with this configuration, as the distance from the user to the monitoring target approaches, the monitoring target information is displayed larger, so that even if the user tries to walk while looking up at the monitoring target information, for example, looking upward, If the object is closer to the monitoring target, the monitoring target information becomes larger, and a feeling of pressure can be given to the user. Therefore, it is possible to suppress a situation where the user walks while viewing the monitoring target information. As a result, safer information can be presented.

第1実施形態による情報表示システムの概略構成を模式的に示す図The figure which shows typically schematic structure of the information display system by 1st Embodiment. 第1実施形態による情報表示システムの電気的構成を模式的に示すブロック図The block diagram which shows typically the electric constitution of the information display system by 1st Embodiment. 第1実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、視界内に監視対象を捉えた場合を示す図The figure which shows an example of the visual field which permeate | transmits a display part and is visible to a user about 1st Embodiment, and shows the case where the monitoring target is caught in the visual field 第1実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、方向提示表示が表示された場合を示す図The figure which shows an example of the view which permeate | transmits a display part and is visible to a user about 1st Embodiment, and shows the case where a direction presentation display is displayed 第1実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、図4の状態からユーザが上方を向いた場合を示す図The first embodiment shows an example of a field of view that can be seen by the user through the display unit, and shows a case where the user faces upward from the state of FIG. 第1実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、図5の状態からユーザが更に上方を向いた場合を示す図FIG. 5 is a diagram illustrating an example of a field of view that is visible to the user through the display unit according to the first embodiment, and illustrates a case where the user further faces upward from the state illustrated in FIG. 5. 第1実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、図6の状態からユーザが監視対象に近づいた場合を示す図FIG. 6 is a diagram illustrating an example of a field of view that is visible to the user through the display unit according to the first embodiment, and illustrates a case where the user approaches the monitoring target from the state illustrated in FIG. 6. 第1実施形態について、ディスプレイ制御装置の制御部で実行される処理内容を示すフローチャートThe flowchart which shows the processing content performed by the control part of a display control apparatus about 1st Embodiment. 第2実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、方向提示表示が表示された場合を示す図The figure which shows an example of the view which permeate | transmits a display part and is visible to a user about 2nd Embodiment, and shows the case where a direction presentation display is displayed 第2実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、図9の状態からユーザが上方を向いた場合を示す図The second embodiment shows an example of a field of view that can be seen by the user through the display unit, and shows a case where the user faces upward from the state of FIG. 第2実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、図10の状態からユーザが更に上方を向いた場合を示す図About 2nd Embodiment, it shows an example of the visual field which a user sees through a display part, and is a figure which shows the case where a user faces further upward from the state of FIG.

以下、本発明の複数の実施形態について説明する。なお、各実施形態において実質的に同一の構成には同一の符号を付して説明を省略する。   Hereinafter, a plurality of embodiments of the present invention will be described. In each embodiment, substantially the same components are denoted by the same reference numerals and description thereof is omitted.

(第1実施形態)
第1実施形態について、図1〜図8を参照して説明する。図1及び図2に示すように、情報表示システム10は、少なくとも1台この場合2台の監視対象11、12と、安全装置13と、いわゆるヘッドマウントディスプレイと称される頭部装着型ディスプレイ20(以下、HMD20と称する)と、ディスプレイ制御装置30と、を含んで構成されている。本実施形態の場合、監視対象として2種類の対象が想定される。1つは、監視対象11として示すように、例えば一定の箇所に留まっているようなロボット等の常設体である。もう1つは、監視対象12として示すように、一定の箇所に留まらずに随時移動するような搬送車等の移動体である。なお、監視対象は、ロボットや搬送車に限られない。
(First embodiment)
A first embodiment will be described with reference to FIGS. As shown in FIGS. 1 and 2, the information display system 10 includes at least one monitor object 11, 12 in this case, a safety device 13, and a head-mounted display 20 called a so-called head-mounted display. (Hereinafter referred to as HMD 20) and a display control device 30. In the case of this embodiment, two types of targets are assumed as monitoring targets. One is a permanent body such as a robot that remains at a certain location, for example, as shown as the monitoring target 11. The other is a moving body such as a transport vehicle that moves as needed without staying at a certain location, as shown as the monitoring object 12. Note that the monitoring target is not limited to a robot or a transport vehicle.

監視対象であるロボット11は、例えば6軸の垂直多関節型ロボットで構成されている。一般的な構成につき詳しい説明は省略するが、ロボット11は、サーボモータにより駆動される6軸のアームを有し、第6軸アームの先端部に、例えばパレット内に収容されているワークを把持するためのハンド等を備えている。ロボット11は、ロボットコントローラ111に図示しない接続ケーブルを介して接続される。各軸のサーボモータは、このロボットコントローラ111により制御される。   The robot 11 to be monitored is composed of, for example, a 6-axis vertical articulated robot. Although a detailed description of a general configuration is omitted, the robot 11 has a six-axis arm driven by a servo motor, and grips a workpiece accommodated in a pallet, for example, at the tip of the sixth axis arm. It has a hand to do. The robot 11 is connected to the robot controller 111 via a connection cable (not shown). The servo motor for each axis is controlled by the robot controller 111.

ロボットコントローラ111は、安全装置13に通信可能に接続されている。安全装置13は、ロボットコントローラ111側からロボット11の動作状態及びロボットコントローラ111による制御状態を特定可能な各種の情報を取得可能に構成されている。そのため、安全装置13は、ロボット11のアームの回転角度やモータの通電状態等、ロボット11の動作状態を示す動作情報、及びロボットコントローラ111の制御状態を示す制御情報をリアルタイムで取得することができる。また、安全装置13は、ロボット11が設置されている領域、例えば工場内における基準位置を原点とした2次元座標系におけるロボット11の座標つまりはロボット11の設置位置も記憶している。   The robot controller 111 is communicably connected to the safety device 13. The safety device 13 is configured to be able to acquire various types of information that can specify the operation state of the robot 11 and the control state by the robot controller 111 from the robot controller 111 side. Therefore, the safety device 13 can acquire in real time operation information indicating the operation state of the robot 11 such as the rotation angle of the arm of the robot 11 and the energization state of the motor, and control information indicating the control state of the robot controller 111. . The safety device 13 also stores the coordinates of the robot 11, that is, the installation position of the robot 11, in a two-dimensional coordinate system with the origin as a reference position in the factory, for example, a reference position in the factory.

監視対象である搬送車12は、例えばフォークリフト等のように人が運転する有人搬送車や、自動で走行可能な無人搬送車等である。搬送車12は、通信部121を介して安全装置13に無線通信可能に接続されている。通信部121は、搬送車12から搬送車12の走行速度等や現在位置等の各種情報を取得し、その各種情報を安全装置13へ送信する。すなわち、安全装置13は、通信部121側から搬送車12の走行状態等を特定可能な各種の情報を取得可能に構成されている。そのため、安全装置13は、搬送車12の現在位置や走行速度等を示す情報をリアルタイムで取得することができる。   The transport vehicle 12 to be monitored is a manned transport vehicle that is driven by a person such as a forklift, an automatic guided vehicle that can automatically travel, and the like. The transport vehicle 12 is connected to the safety device 13 via the communication unit 121 so as to be capable of wireless communication. The communication unit 121 acquires various information such as the traveling speed of the transport vehicle 12 and the current position from the transport vehicle 12, and transmits the various information to the safety device 13. That is, the safety device 13 is configured to be able to acquire various types of information that can specify the traveling state of the transport vehicle 12 and the like from the communication unit 121 side. Therefore, the safety device 13 can acquire information indicating the current position, travel speed, and the like of the transport vehicle 12 in real time.

HMD20は、ユーザの頭部に装着可能な形態に構成されており、ユーザの視界内に各種情報を表示させることができる。HMD20は、両目を覆う両眼型、又は一方の目のみを覆う単眼型のいずれでも良いが、本実施形態は、ユーザの視界を奪い易い両眼型により適している。また、HMD20の形状は、眼鏡のように装着する眼鏡型や帽子のように装着する帽子型などが想定されるが、いずれも形状であっても良い。本実施形態のHMD20は、眼鏡型を想定している。   HMD20 is comprised in the form with which a user's head can be mounted | worn, and can display various information in a user's visual field. The HMD 20 may be either a binocular type that covers both eyes or a monocular type that covers only one eye. However, the present embodiment is more suitable for a binocular type that easily detracts from the user's field of view. Moreover, although the shape of HMD20 assumes the spectacles type | mold worn like spectacles, the hat type | mold worn like a hat, etc., all may be a shape. The HMD 20 of the present embodiment is assumed to be a glasses type.

HMD20は、図2にも示すように、表示部21及びカメラ22を有している。表示部21は、ユーザがHMD20を装着した状態において、そのユーザの視界と重なる位置に設けられている。本実施形態の場合、表示部21は、眼鏡のレンズ部分に相当する部分であり、画像などの情報を表示することができるいわゆる透過型のディスプレイで構成されている。このため、HMD20に表示される画像は、ユーザの視界に重なって表示されることになる。換言すると、ユーザは、自身の目で見た現実の風景と、HMD20によって表示された仮想的な画像とを併せて見ることになる。   As shown in FIG. 2, the HMD 20 includes a display unit 21 and a camera 22. The display unit 21 is provided at a position overlapping the user's field of view when the user wears the HMD 20. In the case of the present embodiment, the display unit 21 is a portion corresponding to the lens portion of the glasses, and is configured by a so-called transmissive display capable of displaying information such as an image. For this reason, the image displayed on the HMD 20 is displayed so as to overlap the user's field of view. In other words, the user sees the actual scenery viewed with his / her eyes and the virtual image displayed by the HMD 20 together.

カメラ22は、小型のCCDカメラやCMOSカメラで構成されており、HMD20に一体的に取り付けられている。このカメラ22は、ユーザの顔の向きと一致するように、HMD20のフレームの一側部に設けられている。カメラ22は、図1に示すように、ユーザ90がHMD20を頭部に装着した状態で、ユーザ90の頭部正面が向いている方向の画像を撮像する。そのため、カメラ22によって撮像される画像は、ユーザ90の視界とほぼ同一の画角となっている。換言すると、カメラ22は、ユーザ90が見ている風景とほぼ同一の風景を撮像する。   The camera 22 is composed of a small CCD camera or a CMOS camera, and is integrally attached to the HMD 20. The camera 22 is provided on one side of the frame of the HMD 20 so as to match the orientation of the user's face. As illustrated in FIG. 1, the camera 22 captures an image in a direction in which the front of the head of the user 90 is facing with the user 90 wearing the HMD 20 on the head. For this reason, the image captured by the camera 22 has a field angle substantially the same as the field of view of the user 90. In other words, the camera 22 images a landscape that is almost the same as the landscape that the user 90 is viewing.

なお、表示部21は、透過型のディスプレイに限られず、非透過型のディスプレイで構成しても良い。この場合、HMD20は、カメラ22で撮影した画像をリアルタイムで表示部21に表示させることで、カメラ22が撮影した風景をユーザに対し仮想的に提示、すなわちユーザの視界を表示部21に再現すれば良い。また、HMD20は、表示部21を有するものに限られず、仮想的な画像をユーザの網膜に直接投影する網膜投影型であっても良い。   The display unit 21 is not limited to a transmissive display, and may be a non-transmissive display. In this case, the HMD 20 displays the image captured by the camera 22 on the display unit 21 in real time, so that the scenery captured by the camera 22 is virtually presented to the user, that is, the user's field of view is reproduced on the display unit 21. It ’s fine. Further, the HMD 20 is not limited to the one having the display unit 21 and may be a retinal projection type that directly projects a virtual image onto the user's retina.

HMD20は、ディスプレイ制御装置30に無線又は有線で接続されている。なお、ディスプレイ制御装置30は、HMD20と一体に構成されていても良い。図2に示すように、ディスプレイ制御装置30は、マイクロコンピュータ等で構成された制御部31を内蔵しており、HMD20の表示部21に表示する画像データを送信したり、カメラ22により撮影された画像データを受信したりする。また、ディスプレイ制御装置30は、安全装置13と有線又は無線通信が可能となっている。   The HMD 20 is connected to the display control device 30 wirelessly or by wire. The display control device 30 may be configured integrally with the HMD 20. As shown in FIG. 2, the display control device 30 has a built-in control unit 31 constituted by a microcomputer or the like, and transmits image data to be displayed on the display unit 21 of the HMD 20 or is taken by the camera 22. Receive image data. Further, the display control device 30 can perform wired or wireless communication with the safety device 13.

図2に示すように、ディスプレイ制御装置30は、制御部31の他、監視対象情報取得部32、視界情報取得部33、監視対象識別部34、及び表示制御部35を有している。制御部31は、例えばCPU311や、ROM、RAM、及び書き換え可能なフラッシュメモリなどの記憶領域312を有するマイクロコンピュータを主体に構成されており、HDM20の全体の制御を司っている。   As shown in FIG. 2, the display control device 30 includes a monitoring target information acquisition unit 32, a visibility information acquisition unit 33, a monitoring target identification unit 34, and a display control unit 35 in addition to the control unit 31. The control unit 31 is mainly configured by a microcomputer having a storage area 312 such as a CPU 311, a ROM, a RAM, and a rewritable flash memory, and controls the entire HDM 20.

記憶領域312は、情報表示プログラムを記憶している。制御部31は、CPU311において情報表示プログラムを実行することにより、監視対象情報取得部32、視界情報取得部33、監視対象識別部34、及び表示制御部35等を、ソフトウェア的に実現する。なお、これら監視対象情報取得部32、視界情報取得部33、監視対象識別部34、及び表示制御部35は、例えば制御部31と一体の集積回路としてハードウェア的に実現してもよい。   The storage area 312 stores an information display program. The control part 31 implement | achieves the monitoring object information acquisition part 32, the visual field information acquisition part 33, the monitoring object identification part 34, the display control part 35, etc. by software, by running an information display program in CPU311. Note that the monitoring target information acquisition unit 32, the visibility information acquisition unit 33, the monitoring target identification unit 34, and the display control unit 35 may be realized in hardware as an integrated circuit integrated with the control unit 31, for example.

監視対象情報取得部32は、安全装置13から、監視対象11、12に関する情報である監視対象情報をリアルタイムで取得することがでる。ロボット11に関する監視対象情報は、例えばロボット11の動作状態を示す動作情報やコントローラ111の制御状態を示す制御情報などを含んでいる。搬送車12に関する監視情報は、例えば搬送車12の現在位置や走行速度等、搬送車12の動作状態を示す動作情報を含んでいる。   The monitoring target information acquisition unit 32 can acquire monitoring target information that is information related to the monitoring targets 11 and 12 from the safety device 13 in real time. The monitoring target information regarding the robot 11 includes, for example, operation information indicating the operation state of the robot 11 and control information indicating the control state of the controller 111. The monitoring information related to the transport vehicle 12 includes operation information indicating the operation state of the transport vehicle 12 such as the current position and travel speed of the transport vehicle 12, for example.

また、監視対象情報取得部32は、各監視対象11、12について、各監視対象11とユーザ90との距離を取得することができる。監視対象情報取得部32は、例えば監視対象11、12の位置情報と、ユーザ90の位置情報とに基づいて、各監視対象11とユーザ90との距離を取得することができる。ユーザ90の位置情報は、ユーザ90に装着されるHMD20又はユーザ90に携帯されるディスプレイ表示装置30に小型のGPS(Global Positioning System)を設けることで取得することができる。また、ユーザ90の位置情報は、GPSユニットのように直接的に位置を特定するものではなく、例えば工場の入り口等の基準位置からのユーザ90の移動軌跡を取得し、基準位置に対する変位量に基づいて間接的に位置を特定するような構成としてもよい。   In addition, the monitoring target information acquisition unit 32 can acquire the distance between each monitoring target 11 and the user 90 for each monitoring target 11, 12. The monitoring target information acquisition unit 32 can acquire the distance between each monitoring target 11 and the user 90 based on the position information of the monitoring targets 11 and 12 and the position information of the user 90, for example. The position information of the user 90 can be acquired by providing a small GPS (Global Positioning System) on the HMD 20 attached to the user 90 or the display display device 30 carried by the user 90. In addition, the position information of the user 90 does not directly specify the position as in the GPS unit. For example, the user 90 acquires a movement locus from a reference position such as a factory entrance and obtains a displacement amount with respect to the reference position. It is good also as a structure which specifies a position indirectly based on.

視界情報取得部33は、HMD20を装着したユーザ90の視界を特定するための視界情報を取得する処理を行うことができる。ユーザ90の視界とは、ユーザ90がHMD20を装着した状態においてユーザ90の目に映る風景を意味する。本実施形態の場合、ユーザ90の視界とは、眼鏡のレンズ部分である表示部21を通してユーザ90の目に映る風景を意味する。視界情報取得部33は、例えばカメラ22で撮像した画像から、ユーザ90の視界情報を取得する。本実施形態では、例えば図3等に示すように、カメラ22の撮像範囲221及び表示部21の領域を、ユーザ90の視界91と擬制している。   The visual field information acquisition unit 33 can perform processing for acquiring visual field information for specifying the visual field of the user 90 wearing the HMD 20. The field of view of the user 90 means a landscape that can be seen by the user 90 when the user 90 is wearing the HMD 20. In the case of the present embodiment, the field of view of the user 90 means a landscape that is seen by the user 90 through the display unit 21 that is a lens part of the glasses. The view information acquisition unit 33 acquires view information of the user 90 from, for example, an image captured by the camera 22. In the present embodiment, for example, as shown in FIG. 3 and the like, the imaging range 221 of the camera 22 and the area of the display unit 21 are assumed to be a field of view 91 of the user 90.

図2に示す監視対象識別部34は、視界情報取得部33で取得した視界情報に基づいて、ユーザ90の視界91内に存在する監視対象11、12を識別する処理を行うことができる。監視対象識別部34は、例えば次のようにして監視対象11、12を識別することができる。すなわち、例えば各監視対象11、12に、それぞれ個体を特定するためのマーカーを付しておく。そして、監視対象識別部34は、カメラ22で撮像された画像を基に監視対象11、12に付されたマーカーを認識することで、各監視対象11、12を識別することができる。   The monitoring target identification unit 34 illustrated in FIG. 2 can perform processing for identifying the monitoring targets 11 and 12 existing in the field of view 91 of the user 90 based on the field of view information acquired by the field of view information acquisition unit 33. The monitoring object identification unit 34 can identify the monitoring objects 11 and 12 as follows, for example. That is, for example, a marker for identifying each individual is attached to each of the monitoring objects 11 and 12. Then, the monitoring target identifying unit 34 can identify each monitoring target 11 and 12 by recognizing the marker attached to the monitoring target 11 and 12 based on the image captured by the camera 22.

表示制御部35は、図4〜図7に示すように、表示部21つまりユーザ90の視界91内に、ユーザ90の頭部の向きに応じて、方向提示表示43及び監視対象情報44を視界91内で移動させるようにして表示する。方向提示表示43及び監視対象情報44は、文字情報や数字、図形、記号等で構成されている。方向提示表示43は、ユーザ90が特定の方向を向くことで監視対象情報44がユーザ90の視界91内に表示されることを示す情報である。本実施形態の場合、方向提示表示43は、例えば「ALERT!」の文字及び記号と、その文字及び記号を囲む枠線とを含んで構成されている。また、表示制御部35は、表示部21内において不透明な表示領域41を表示すると共に、表示領域41内に方向提示表示43及び監視対象情報44を表示する。   As shown in FIGS. 4 to 7, the display control unit 35 displays the direction presentation display 43 and the monitoring target information 44 in the display unit 21, that is, in the field of view 91 of the user 90 according to the orientation of the user 90 head. It is displayed as it is moved within 91. The direction presentation display 43 and the monitoring target information 44 are composed of character information, numbers, figures, symbols, and the like. The direction presentation display 43 is information indicating that the monitoring target information 44 is displayed in the field of view 91 of the user 90 when the user 90 faces a specific direction. In the case of this embodiment, the direction presentation display 43 includes, for example, characters and symbols “ALERT!” And a frame surrounding the characters and symbols. Further, the display control unit 35 displays an opaque display area 41 in the display unit 21, and displays a direction presentation display 43 and monitoring target information 44 in the display area 41.

なお、図4及び図5において、二点鎖線で囲った領域42は、監視対象情報44の全ての内容を表示させるために表示領域41だけでは不足している領域を示している。以下の説明では、図4及び図5において二点鎖線で囲った領域42を、不足領域42と称する。不足領域42は、監視対象情報44の情報量に応じて、表示領域41を視界91の外側まで仮想的に拡張した領域である。このため、不足領域42、及び図4、図5において不足領域42内に表された監視対象情報44は、表示部21には表示されない。この場合、ユーザ90と監視対象12との距離が一定であれば、表示領域41と不足領域42との面積の合計も一定である。   4 and 5, a region 42 surrounded by a two-dot chain line indicates a region that is insufficient in the display region 41 alone in order to display all the contents of the monitoring target information 44. In the following description, a region 42 surrounded by a two-dot chain line in FIGS. 4 and 5 is referred to as a shortage region 42. The deficient area 42 is an area obtained by virtually extending the display area 41 to the outside of the field of view 91 in accordance with the information amount of the monitoring target information 44. For this reason, the shortage area 42 and the monitoring target information 44 represented in the shortage area 42 in FIGS. 4 and 5 are not displayed on the display unit 21. In this case, if the distance between the user 90 and the monitoring target 12 is constant, the total area of the display area 41 and the shortage area 42 is also constant.

表示制御部35は、表示領域41内を、例えば監視対象情報44とは反対色で不透明に表示することで、表示領域41の後ろの実景を覆い隠している。これにより、表示領域41内に表示された方向提示表示43及び監視対象情報44が、表示領域41の後ろの実景に紛れ込む事を防ぐことができるため、方向提示表示43及び監視対象情報44が見易くなる。なお、表示制御部35は、表示領域41を示す枠及び表示領域41自体を、必ずしも表示部21に表示する必要はない。   The display control unit 35 covers and hides the actual scene behind the display area 41 by, for example, displaying the inside of the display area 41 opaquely with a color opposite to the monitoring target information 44. Thereby, since the direction presentation display 43 and the monitoring target information 44 displayed in the display area 41 can be prevented from being mixed into the actual scene behind the display area 41, the direction presentation display 43 and the monitoring target information 44 are easy to see. Become. Note that the display control unit 35 does not necessarily display the frame indicating the display region 41 and the display region 41 itself on the display unit 21.

表示制御部35は、例えば図4に示すように、ユーザ90の視界91内に、監視対象である例えば搬送車12を捉えた場合であって、かつ、その視界91内に捕えた監視対象12について監視対象情報を取得している場合に、まず、ユーザ90の視界91内の隅部、この場合上部に方向提示表示43を表示させる。この場合、視界91内の上部に表示された方向提示表示43は、ユーザ90が特定の方向つまり上部を向くことで監視対象情報44がユーザ90の視界91内に表示されることを示している。また、この場合、表示制御部35は、方向提示表示43を、ユーザ90の視界91内に存在する監視対象この場合搬送車12と重ならない位置に表示する。   For example, as shown in FIG. 4, the display control unit 35 captures the carrier 12 that is a monitoring target in the field of view 91 of the user 90 and the monitoring target 12 captured in the field of view 91. When the monitoring target information is acquired, first, the direction presentation display 43 is displayed at the corner in the field of view 91 of the user 90, in this case, at the top. In this case, the direction presentation display 43 displayed in the upper part of the field of view 91 indicates that the monitoring target information 44 is displayed in the field of view 91 of the user 90 when the user 90 faces a specific direction, that is, the upper part. . Further, in this case, the display control unit 35 displays the direction presentation display 43 at a position that does not overlap the monitoring target in this case, that is, the transport vehicle 12 in the field of view 91 of the user 90.

そして、表示制御部35は、図5、図6に示すように、方向提示表示43が表示されている方向をユーザ90が向くことに追従するようにして、方向提示表示43及び監視対象情報44をユーザ90の視界91内に表示する。すなわち、表示制御部35は、図5、図6に示すように、ユーザ90が上を向くのに伴って、方向提示表示43及び監視対象情報44が視界91内において相対的に下方へ移動するようにして、これら方向提示表示43及び監視対象情報44を表示する。このように、ユーザ90の向きに追従させて、方向提示表示43及び監視対象情報44を表示させる表示方法を、以下の説明では追従表示と称する。   Then, as shown in FIGS. 5 and 6, the display control unit 35 follows the direction in which the direction presentation display 43 is displayed so that the user 90 faces the direction presentation display 43 and the monitoring target information 44. Is displayed in the field of view 91 of the user 90. That is, as shown in FIGS. 5 and 6, the display control unit 35 moves the direction presentation display 43 and the monitoring target information 44 relatively downward in the field of view 91 as the user 90 faces upward. In this way, the direction presentation display 43 and the monitoring target information 44 are displayed. In this way, the display method for displaying the direction presentation display 43 and the monitoring target information 44 so as to follow the direction of the user 90 is referred to as follow-up display in the following description.

ちなみに、表示制御部35は、ユーザ90が向いている方向を、視界情報取得部33で取得された視界情報すなわちカメラ22で撮影された画像を画像処理することで判断することができる。また、表示制御部35は、ユーザ90が向いている方向を、HMD20に設けられた図示しない加速度センサの検出結果に基づいて判断しても良い。また、図6、図7に示すように、表示制御部35は、ユーザ90から監視対象例えば搬送車12までの距離が近づくにつれて、方向提示表示43又は監視対象情報44の少なくとも一方、この場合両方を大きく表示する。   Incidentally, the display control unit 35 can determine the direction in which the user 90 is facing by performing image processing on the field-of-view information acquired by the field-of-view information acquisition unit 33, that is, an image captured by the camera 22. Further, the display control unit 35 may determine the direction in which the user 90 is facing based on the detection result of an acceleration sensor (not shown) provided in the HMD 20. As shown in FIGS. 6 and 7, as the distance from the user 90 to the monitoring target, for example, the transport vehicle 12 approaches, the display control unit 35 at least one of the direction presentation display 43 and the monitoring target information 44, in this case, both Is displayed larger.

次に、ディスプレイ制御装置30の制御部31において行われる制御フローについて、図8も参照して説明する。制御部31は、情報表示プログラムを実行すると、図8の制御フローを実行する。制御部31は、まず、ステップS11において、視界情報取得部33及び監視対象識別部34の処理により、視界91内に監視対象を捕えたか否か、つまりユーザ90が監視対象を見ているか否かを判断する。視界91内に監視対象を捕えていない場合(ステップS11でNO)、制御部31は、監視対象を視界91内に捉えるまでステップS11を繰り返す。   Next, a control flow performed in the control unit 31 of the display control device 30 will be described with reference to FIG. When executing the information display program, the control unit 31 executes the control flow of FIG. First, in step S11, the control unit 31 determines whether or not the monitoring target is captured in the field of view 91 by the processing of the visual field information acquisition unit 33 and the monitoring target identification unit 34, that is, whether or not the user 90 is watching the monitoring target. Judging. When the monitoring target is not captured in the field of view 91 (NO in step S11), the control unit 31 repeats step S11 until the monitoring target is captured in the field of view 91.

視界91内に監視対象を捕えた場合(ステップS11でYES)、制御部31は、ステップS12へ処理を移行させる。ステップS12において、制御部31は、視界91内に存在する監視対象についての監視対象情報を取得しているか否かを判断する。例えば図3の例では、ユーザ90は、自己の視界91内に搬送車12を捕らえている。この場合、制御部31は、監視対象情報取得部32の処理によって視界91内の搬送車12に関する監視対象情報を取得しているか否かを判断する。   When the monitoring target is caught in the field of view 91 (YES in step S11), the control unit 31 shifts the process to step S12. In step S <b> 12, the control unit 31 determines whether or not the monitoring target information about the monitoring target existing in the field of view 91 has been acquired. For example, in the example of FIG. 3, the user 90 captures the transport vehicle 12 in his field of view 91. In this case, the control unit 31 determines whether or not the monitoring target information regarding the transport vehicle 12 in the field of view 91 is acquired by the processing of the monitoring target information acquisition unit 32.

搬送車12に関する監視対象情報を取得していない場合(図8のステップS12でNO)、制御部31は、ユーザ90に対して提示すべき監視対象情報が存在していないと判断し、ステップS11へ処理を戻す。一方、搬送車12に関する監視対象情報を取得している場合(ステップS12でYES)、制御部31は、表示制御部35の処理により、まず、図4に示すように視界91内の隅部この場合上部に方向提示表示43を表示する。   When the monitoring target information regarding the transport vehicle 12 has not been acquired (NO in step S12 in FIG. 8), the control unit 31 determines that there is no monitoring target information to be presented to the user 90, and step S11. Return processing to. On the other hand, when the monitoring target information related to the transport vehicle 12 is acquired (YES in step S12), the control unit 31 first performs processing at the corner in the field of view 91 as shown in FIG. In the case, a direction presentation display 43 is displayed at the top.

その後、制御部31は、ステップS14へ処理を移行させ、表示制御部35の処理により、図5、図6に示すように、方向提示表示43及び搬送車12に関する監視対象情報44を追従表示させる。また、図7に示すように、制御部31は、表示制御部35の処理により、監視対象12とユーザ90との距離が近づくほど、方向提示表示43及び監視対象情報44を大きく表示する。   Thereafter, the control unit 31 shifts the process to step S14, and displays the direction presentation display 43 and the monitoring target information 44 related to the transport vehicle 12 following the display by the process of the display control unit 35 as shown in FIGS. . Further, as illustrated in FIG. 7, the control unit 31 displays the direction presentation display 43 and the monitoring target information 44 in a larger size as the distance between the monitoring target 12 and the user 90 becomes closer by the processing of the display control unit 35.

そして、制御部31は、図8のステップS11〜S14を繰り返し、視界91内から監視対象12が外れるまで、又は視界91内に捕えている監視対象12に関する監視対象情報44の取得が無くなるまで、方向提示表示43及び監視対象情報44を視界91内に追従表示する。なお、監視対象情報44の取得が無くなる場合とは、例えば監視対象12の電源が落とされて動作が停止している場合、すなわち監視対象12に接近しても危険が無い場合等である。   Then, the control unit 31 repeats steps S11 to S14 of FIG. 8 until the monitoring target 12 is removed from the view 91 or until the monitoring target information 44 regarding the monitoring target 12 captured in the view 91 is no longer obtained. The direction presentation display 43 and the monitoring target information 44 are displayed following the view 91. The case where the monitoring target information 44 is not acquired is, for example, when the monitoring target 12 is powered off and the operation is stopped, that is, when there is no danger even if the monitoring target 12 is approached.

以上説明した実施形態によれば、情報表示システム10において、表示制御部35は、ユーザ90の視界91内に監視対象例えば搬送車12を捉えた場合に、まず、方向提示表示43をユーザ90の視界91内に表示させる。方向提示表示43は、ユーザ90に特定の方向を向くように提示するための表示であり、ユーザ90が特定の方向を向くことで監視対象情報44がユーザ90の視界91内に表示されることを示している。そして、ユーザ90が方向提示表示43で提示された方向を向くと、表示制御部35は、ユーザ90の向きの変化に追従させて監視対象情報44をユーザ90の視界91内に表示する。   According to the embodiment described above, in the information display system 10, when the display control unit 35 captures the monitoring target, for example, the transport vehicle 12 in the field of view 91 of the user 90, first, the direction presentation display 43 is displayed on the user 90. Display in the field of view 91. The direction presentation display 43 is a display for presenting the user 90 so as to face a specific direction, and the monitoring target information 44 is displayed in the field of view 91 of the user 90 when the user 90 faces the specific direction. Is shown. Then, when the user 90 faces the direction presented by the direction presentation display 43, the display control unit 35 displays the monitoring target information 44 in the field of view 91 of the user 90 following the change in the direction of the user 90.

これによれば、ユーザ90の視界91内に方向提示表示43を表示させることで、ユーザ90に対し、その方向提示表示43が提示する方向へ向くように促すことができる。これにより、ユーザ90の視線を、監視対象この場合搬送車12から逸らすことができる。つまり、これによれば、ユーザ90の視界91内に捉えられた監視対象12を、ユーザ90の視界91の隅に追いやることができる。そのため、ユーザ90の視界91内において、監視対象12と重ならずに監視対象情報44を表示するための表示領域41を確保し易くなる。したがって、監視対象12と監視対象情報44とが重なってユーザ90の視界91が遮られることを抑制でき、その結果、安全な情報提示が可能となる。   According to this, by displaying the direction presentation display 43 in the field of view 91 of the user 90, it is possible to prompt the user 90 to face the direction in which the direction presentation display 43 presents. As a result, the line of sight of the user 90 can be diverted from the monitoring target, in this case, the transport vehicle 12. That is, according to this, the monitoring target 12 captured in the field of view 91 of the user 90 can be driven to the corner of the field of view 91 of the user 90. Therefore, it becomes easy to secure the display area 41 for displaying the monitoring target information 44 without overlapping the monitoring target 12 in the field of view 91 of the user 90. Therefore, it can suppress that the monitoring object 12 and the monitoring object information 44 overlap, and the visual field 91 of the user 90 is interrupted, As a result, safe information presentation becomes possible.

また、本実施形態によれば、ユーザ90の視界91内に方向提示表示43が表示された場合であっても、ユーザ90がその方向提示表示43の指し示す方向へ向かなければ、ユーザ90の視界91内に監視対象情報44は表示されない。したがって、ユーザ90は、監視対象情報44を見る気が無い場合には、方向提示表示43の指し示す方向へ振り向かないことで、視界91内に監視対象情報44を表示させないことができる。これにより、ユーザ90は、方向提示表示43が表示された場合であっても自分の意思で監視対象情報44を表示させることができる。したがって、ユーザ90は、監視対象情報44を見る気が無い場合にも視界91内に監視対象情報44が表示されて視界91が妨げられるといったことを回避することができる。   Further, according to the present embodiment, even when the direction presentation display 43 is displayed in the field of view 91 of the user 90, if the user 90 does not go in the direction indicated by the direction presentation display 43, the user 90's The monitoring target information 44 is not displayed in the field of view 91. Therefore, when the user 90 is not willing to look at the monitoring target information 44, the user 90 can not display the monitoring target information 44 in the field of view 91 by not turning around in the direction indicated by the direction presentation display 43. Thereby, even if the user 90 is a case where the direction presentation display 43 is displayed, he can display the monitoring object information 44 by his intention. Therefore, even when the user 90 is not willing to look at the monitoring target information 44, it is possible to avoid that the monitoring target information 44 is displayed in the field of view 91 and the field of view 91 is obstructed.

更に、本実施形態によれば、例えばユーザ90が歩行していて監視対象12に近づいている場合等において、ユーザ90の視界91内に方向提示表示43を表示させることで、ユーザ90に対し、その方向提示表示43が指し示す方向へ向くように促すことができる。これにより、ユーザ90の視線をあえてユーザ90の前方つまりユーザ90の進行方向から外させることで、進行方向が見難くなったユーザ90は、危険を感じて一旦立ち止まる可能性が高まる。そして、方向提示表示43が示す方向をユーザ90が向くことに追従させて監視対象情報44をユーザ90の視界91内に表示することで、ユーザ90の移動を立ち止まらせつつ、ユーザ90に対して監視対象情報44を適切に提示することができる。これにより、ユーザ90が移動している場合等において、監視対象12に過度に接近してしまうこと等を抑制でき、その結果、安全な情報提示が可能となる。   Furthermore, according to the present embodiment, for example, when the user 90 is walking and is approaching the monitoring target 12, the direction presentation display 43 is displayed in the field of view 91 of the user 90. It can be urged to turn in the direction indicated by the direction presentation display 43. As a result, the user 90 whose direction of travel is difficult to see by deliberately moving the line of sight of the user 90 from the front of the user 90, that is, from the direction of travel of the user 90, is more likely to stop once feeling danger. Then, the monitoring target information 44 is displayed in the field of view 91 of the user 90 by following the direction indicated by the direction presentation display 43 by the user 90, and the movement of the user 90 is stopped and the user 90 is stopped. The monitoring target information 44 can be appropriately presented. Thereby, when the user 90 is moving, etc., it is possible to prevent the monitoring object 12 from being excessively approached, and as a result, it is possible to present safe information.

また、本実施形態において、表示制御部35は、ユーザ90の視界91内に監視対象12を捉えた場合に、方向提示表示43をユーザ90の視界91内の上部に表示する。これによれば、ユーザ90に対して上方を見るように促すことができる。この場合、ユーザ90は、足元が見難くなるため、より危険を感じて立ち止まる可能性が高まる。すなわち、ユーザ90は、方向提示表示43に従って上方を見ることで、体がやや後方へ反り返った姿勢つまりのけぞるような姿勢となる。このような姿勢は、体の重心がやや後方に位置するため、歩行には適さない姿勢である。このため、例えば歩行しているユーザ90をより効果的に立ち止まらせて無理な歩行を抑制でき、その結果、より安全な情報提示が可能となる。   In the present embodiment, the display control unit 35 displays the direction presentation display 43 on the upper part in the field of view 91 of the user 90 when the monitoring target 12 is captured in the field of view 91 of the user 90. According to this, it is possible to prompt the user 90 to look upward. In this case, since it is difficult for the user 90 to see his / her feet, the possibility that the user 90 feels more dangerous and stops is increased. That is, when the user 90 looks upward according to the direction presentation display 43, the user has a posture in which the body warps slightly backward, that is, a posture in which the user moves. Such a posture is not suitable for walking because the center of gravity of the body is located slightly rearward. For this reason, for example, the user 90 who walks can be stopped more effectively and an unreasonable walk can be suppressed, As a result, safer information presentation becomes possible.

また、本実施形態において、表示制御部35は、ユーザ90の視界91内に不透明な表示領域41を表示すると共に、表示領域41内に方向提示表示43及び監視対象情報44を表示する。これによれば、不透明な表示領域41内に表示された方向提示表示43及び監視対象情報44が、表示領域41の後ろの実景に紛れ込む事を防ぐことができる。これにより、方向提示表示43及び監視対象情報をより見易くすることができる。   In the present embodiment, the display control unit 35 displays the opaque display area 41 in the field of view 91 of the user 90, and displays the direction presentation display 43 and the monitoring target information 44 in the display area 41. According to this, it is possible to prevent the direction presentation display 43 and the monitoring target information 44 displayed in the opaque display area 41 from being mixed into the actual scene behind the display area 41. Thereby, it is possible to make the direction presentation display 43 and the monitoring target information easier to see.

また、本実施形態において、表示制御部35は、監視対象情報44を、監視対象例えば搬送車12と重ならない位置に表示する。これによれば、ユーザ90の視界91に表示される監視対象情報44が監視対象12と重なって、監視対象情報44が見難くなることを防止できるとともに、監視対象12自体が難くなることも防止できる。つまり、これによれば、ユーザ90は、監視対象12を視界91に入れたまま、監視対象情報44を適切に見ることができる。その結果、更に安全な情報提示が可能となる。   In the present embodiment, the display control unit 35 displays the monitoring target information 44 at a position that does not overlap the monitoring target, for example, the transport vehicle 12. According to this, it is possible to prevent the monitoring target information 44 displayed in the field of view 91 of the user 90 from overlapping the monitoring target 12 and prevent the monitoring target information 44 from being difficult to see, and also prevent the monitoring target 12 itself from becoming difficult. it can. That is, according to this, the user 90 can appropriately view the monitoring target information 44 while keeping the monitoring target 12 in the field of view 91. As a result, safer information can be presented.

本実施形態において、表示制御部35は、ユーザ90から監視対象12までの距離が近づくにつれて、方向提示表示43を大きく表示する。これによれば、ユーザ90が監視対象12に近づくほど、方向提示表示43が大きくなってユーザ90に対して圧迫感を与えることができる。したがって、ユーザ90がより立ち止まり易くなる。   In the present embodiment, the display control unit 35 displays the direction presentation display 43 larger as the distance from the user 90 to the monitoring target 12 approaches. According to this, as the user 90 gets closer to the monitoring target 12, the direction presentation display 43 becomes larger and a feeling of pressure can be given to the user 90. Therefore, it becomes easier for the user 90 to stop.

ここで、ユーザ90が監視対象情報44を見るために見上げている場合であっても、必ずしも全てのユーザ90が立ち止まるとは限らない。つまり、ユーザ90が、上を見上げて監視対象情報44を見ながら歩行することも考えられる。一方、本実施形態において、表示制御部35は、ユーザ90から監視対象12までの距離が近づくにつれて監視対象情報44を大きく表示する。これによれば、ユーザ90が上を見上げて監視対象情報44を見ながら歩行しようとした場合であっても、ユーザ90が監視対象12に近づけば監視対象情報44が大きくなってユーザ90に対して圧迫感を与えることができる。したがって、ユーザ90が監視対象情報44を見ながら歩行するような状況を抑制することができる。その結果、更に安全な情報提示が可能となる。   Here, even if the user 90 is looking up to see the monitoring target information 44, not all the users 90 are necessarily stopped. That is, it is also conceivable that the user 90 walks up while looking up at the monitoring target information 44. On the other hand, in the present embodiment, the display control unit 35 displays the monitoring target information 44 larger as the distance from the user 90 to the monitoring target 12 approaches. According to this, even when the user 90 looks up and walks while looking at the monitoring target information 44, the monitoring target information 44 becomes larger as the user 90 approaches the monitoring target 12, and the user 90 becomes larger. Can give a feeling of pressure. Therefore, a situation where the user 90 walks while watching the monitoring target information 44 can be suppressed. As a result, safer information can be presented.

(第2実施形態)
次に、第2実施形態について、図9〜図11を参照して説明する。
第2実施形態は、方向提示表示の具体的態様が上記第1実施形態と異なる。すなわち、本実施形態において、表示制御部35は、ユーザ90の視界91内に監視対象例えば搬送車12を捉えた場合に、第1実施形態の方向提示表示43に換えて、図9に示すように方向提示表示45を表示する。
(Second Embodiment)
Next, a second embodiment will be described with reference to FIGS.
The second embodiment is different from the first embodiment in the specific mode of direction presentation display. That is, in this embodiment, when the display control unit 35 captures the monitoring target, for example, the transport vehicle 12 in the field of view 91 of the user 90, the display control unit 35 changes to the direction presentation display 43 of the first embodiment as shown in FIG. The direction presentation display 45 is displayed.

本実施形態の方向提示表示45は、半透明の矢印図形、この場合、上向きの矢印図形で構成されており、監視対象12と重なる位置に表示される。そして、ユーザ90が、方向提示表示45で提示された方向、この場合、上方向を向くと、表示制御部35は、図10、図11に示すように、ユーザ90の向きに追従させて、方向提示表示45及び監視対象情報44をユーザ90の視界91内において相対的に下方へ移動するように表示する。   The direction presentation display 45 of the present embodiment is configured by a translucent arrow graphic, in this case, an upward arrow graphic, and is displayed at a position overlapping the monitoring target 12. Then, when the user 90 faces the direction presented in the direction presentation display 45, in this case, the upward direction, the display control unit 35 follows the direction of the user 90 as shown in FIGS. The direction presentation display 45 and the monitoring target information 44 are displayed so as to move relatively downward in the field of view 91 of the user 90.

これによれば、ユーザ90が見ている監視対象12つまりユーザ90の視線の先に方向提示表示45が矢印図形で表示されるため、ユーザ90は、どちらを向けば良いか瞬時に認識し易くなる。また、方向提示表示45を構成する矢印図形は、半透明であるため、監視対象12と重なっていてもユーザ90の視界91を妨げ難い。   According to this, since the direction presentation display 45 is displayed as an arrow figure at the monitoring target 12 that the user 90 is looking at, that is, the point of view of the user 90, the user 90 can easily recognize which direction to turn. Become. Moreover, since the arrow figure which comprises the direction presentation display 45 is translucent, even if it overlaps with the monitoring object 12, it is hard to disturb the visual field 91 of the user 90.

そしてこの場合、方向提示表示45は、監視対象12と重なる位置に矢印として表示されるため、ユーザ90は、方向提示表示45の矢印の先に表示される情報が、その方向提示表示45と重なっている監視対象12に関連したものであると容易に認識することができる。すなわち、一般的なユーザ90は、監視対象12に重なっている矢印を見れば、その矢印の先に、その監視対象12に関連する情報があると連想すると思われる。したがって、ユーザは、視界91内に複数の監視対象を捉えている場合において、方向提示表示45の先に示される監視対象情報44が、視界内のどの監視対象についてのものなのか容易に把握することができる。その結果、ユーザ90は、監視対象12と監視対象情報44とを関連付けて見ることができるため、監視対象情報44の理解がし易くなる。   In this case, since the direction presentation display 45 is displayed as an arrow at a position overlapping the monitoring target 12, the user 90 has the information displayed at the tip of the arrow of the direction presentation display 45 overlap with the direction presentation display 45. It can be easily recognized that it is related to the monitored object 12. That is, when a general user 90 sees an arrow that overlaps the monitoring target 12, it seems that the user is associated with information related to the monitoring target 12 at the tip of the arrow. Therefore, when the user captures a plurality of monitoring targets in the field of view 91, the user can easily grasp which monitoring target information 44 shown in the tip of the direction presentation display 45 is for which monitoring target in the field of view. be able to. As a result, since the user 90 can see the monitoring target 12 and the monitoring target information 44 in association with each other, it becomes easy to understand the monitoring target information 44.

なお、本発明の実施形態は、上記した態様及び図面に記載した態様に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形や拡張をすることができる。
例えば制御部31、監視対象情報取得部32、視界情報取得部33、監視対象識別部34、及び表示制御部35を、それぞれ安全装置13側又はHMD20側に分散させて設けても良い。
また、方向提示表示43、45は、ユーザ90に対して上方向を向かせるためのものに限られず、左右又は下方向を向かせるものであっても良い。
In addition, embodiment of this invention is not limited to the aspect described above and the aspect described in drawing, A various deformation | transformation and expansion | extension can be made in the range which does not deviate from the summary.
For example, the control unit 31, the monitoring target information acquisition unit 32, the visibility information acquisition unit 33, the monitoring target identification unit 34, and the display control unit 35 may be provided separately on the safety device 13 side or the HMD 20 side.
In addition, the direction presentation displays 43 and 45 are not limited to those for directing the user 90 upward, but may be those for directing left or right or downward.

図面中、10は情報表示システム、11はロボット(監視対象)、12は搬送車(監視対象)、20はヘッドマウントディスプレイ(装着型ディスプレイ)、32は監視対象情報取得部、33は視界情報取得部、34は監視対象識別部、35は表示制御部、43は方向提示表示、44は監視対象情報、45は方向提示表示、を示す。   In the drawings, 10 is an information display system, 11 is a robot (monitoring target), 12 is a transport vehicle (monitoring target), 20 is a head mounted display (wearable display), 32 is a monitoring target information acquisition unit, and 33 is visibility information acquisition. , 34 is a monitoring target identification unit, 35 is a display control unit, 43 is direction presentation display, 44 is monitoring target information, and 45 is direction presentation display.

Claims (6)

ユーザが装着可能であってユーザの視界内に情報を表示可能な装着型ディスプレイと、
監視対象に関する情報である監視対象情報を取得可能な監視対象情報取得部と、
ユーザの視界を特定するための視界情報を取得する視界情報取得部と、
前記視界情報取得部で取得した前記視界情報に基づいてユーザの視界内に存在する監視対象を識別する監視対象識別部と、
ユーザの視界内に監視対象を捉えた場合にユーザが特定の方向を向くことで前記監視対象情報がユーザの視界内に表示されることを示す方向提示表示をユーザの視界内に表示させると共に、前記方向提示表示が示す方向をユーザが向くことに追従させて前記監視対象情報をユーザの視界内に表示する表示制御部と、
を備える情報表示システム。
A wearable display that can be worn by the user and can display information within the user's field of view;
A monitoring target information acquisition unit capable of acquiring monitoring target information that is information related to the monitoring target;
A view information acquisition unit for acquiring view information for identifying the user's view;
A monitoring target identifying unit for identifying a monitoring target existing in the user's field of view based on the field of view information acquired by the field of view information acquiring unit;
When the monitoring target is captured in the user's field of view, the user is directed in a specific direction so that the monitoring target information is displayed in the user's field of view. A display control unit that displays the monitoring target information in the user's field of view in accordance with the user pointing in the direction indicated by the direction presentation display;
An information display system comprising:
前記表示制御部は、ユーザの視界内に監視対象を捉えた場合に前記方向提示表示をユーザの視界内の上部に表示する、
請求項1に記載の情報表示システム。
The display control unit displays the direction presentation display on the upper part in the user's field of view when the monitoring target is captured in the user's field of view.
The information display system according to claim 1.
前記表示制御部は、ユーザの視界内に監視対象を捉えた場合に前記方向提示表示を前記監視対象と重なる位置であって半透明の矢印図形で表示する、
請求項1に記載の情報表示システム。
The display control unit displays the direction presentation display as a semi-transparent arrow graphic at a position overlapping the monitoring target when the monitoring target is captured in the user's field of view.
The information display system according to claim 1.
前記表示制御部は、ユーザの視界内に不透明な表示領域を表示すると共に、前記表示領域内に前記監視対象情報を表示する、
請求項1から3のいずれか一項に記載の情報表示システム。
The display control unit displays an opaque display area in the user's field of view and displays the monitoring target information in the display area.
The information display system according to any one of claims 1 to 3.
前記表示制御部は、前記監視対象情報を前記監視対象と重ならない位置に表示する、
請求項1から4のいずれか一項に記載の情報表示システム。
The display control unit displays the monitoring target information at a position that does not overlap the monitoring target.
The information display system according to any one of claims 1 to 4.
前記表示制御部は、前記ユーザから前記監視対象までの距離が近づくにつれて前記方向提示表示又は前記監視対象情報の少なくとも一方を大きく表示する、
請求項1から5のいずれか一項に記載の情報表示システム。
The display control unit displays at least one of the direction presentation display and the monitoring target information as the distance from the user to the monitoring target approaches.
The information display system according to any one of claims 1 to 5.
JP2017051544A 2017-03-16 2017-03-16 Information display system Active JP7265312B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017051544A JP7265312B2 (en) 2017-03-16 2017-03-16 Information display system
JP2022086010A JP2022122936A (en) 2017-03-16 2022-05-26 Information display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017051544A JP7265312B2 (en) 2017-03-16 2017-03-16 Information display system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022086010A Division JP2022122936A (en) 2017-03-16 2022-05-26 Information display system

Publications (2)

Publication Number Publication Date
JP2018155872A true JP2018155872A (en) 2018-10-04
JP7265312B2 JP7265312B2 (en) 2023-04-26

Family

ID=63716470

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017051544A Active JP7265312B2 (en) 2017-03-16 2017-03-16 Information display system
JP2022086010A Pending JP2022122936A (en) 2017-03-16 2022-05-26 Information display system

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022086010A Pending JP2022122936A (en) 2017-03-16 2022-05-26 Information display system

Country Status (1)

Country Link
JP (2) JP7265312B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095712A (en) * 2018-12-12 2020-06-18 レノボ・シンガポール・プライベート・リミテッド Information handling method, information handling device, and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013179426A1 (en) * 2012-05-30 2013-12-05 パイオニア株式会社 Display device, head-mounted display, display method, display program, and recording medium
JP2014186089A (en) * 2013-03-22 2014-10-02 Seiko Epson Corp Head-mounted type display device and method for controlling head-mounted type display device
JP2016110319A (en) * 2014-12-04 2016-06-20 ソニー株式会社 Display control device, display control method, and program
JP2016224086A (en) * 2015-05-27 2016-12-28 セイコーエプソン株式会社 Display device, control method of display device and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000299851A (en) * 1999-02-12 2000-10-24 Sanyo Electric Co Ltd Instruction information transmitter
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013179426A1 (en) * 2012-05-30 2013-12-05 パイオニア株式会社 Display device, head-mounted display, display method, display program, and recording medium
JP2014186089A (en) * 2013-03-22 2014-10-02 Seiko Epson Corp Head-mounted type display device and method for controlling head-mounted type display device
JP2016110319A (en) * 2014-12-04 2016-06-20 ソニー株式会社 Display control device, display control method, and program
JP2016224086A (en) * 2015-05-27 2016-12-28 セイコーエプソン株式会社 Display device, control method of display device and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095712A (en) * 2018-12-12 2020-06-18 レノボ・シンガポール・プライベート・リミテッド Information handling method, information handling device, and storage medium

Also Published As

Publication number Publication date
JP2022122936A (en) 2022-08-23
JP7265312B2 (en) 2023-04-26

Similar Documents

Publication Publication Date Title
JP6645142B2 (en) Robot safety system
CN106808496B (en) Robot safety system
US10474411B2 (en) System and method for alerting VR headset user to real-world objects
US10712566B2 (en) Information displaying system provided with head-mounted type display
US10489981B2 (en) Information processing device, information processing method, and program for controlling display of a virtual object
EP3163407B1 (en) Method and apparatus for alerting to head mounted display user
US20150161762A1 (en) Information processing apparatus, information processing method, and program
JP2017126302A5 (en)
JP6410987B2 (en) Driving support device, driving support method, and driving support program
JP6051522B2 (en) Head mounted display
KR20150101612A (en) Head Mounted Display with closed-view and Method for controlling the same
JP7003633B2 (en) Transparent display device, display control method, and computer program
JP6399692B2 (en) Head mounted display, image display method and program
JP6582921B2 (en) Robot monitor system
JP2017100234A (en) Teaching result display system
JP6657858B2 (en) Robot operation system
US10359840B2 (en) Method for operating a virtual reality system, and virtual reality system
US10684480B2 (en) Information display system
JP2017102242A (en) Information display system
JP2022122936A (en) Information display system
JP6834620B2 (en) Information display system
JP6874448B2 (en) Information display system
KR20170065738A (en) Apparatus for controlling head up display and method thereof
JP6690203B2 (en) Robot safety system
JP6958018B2 (en) Information display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220126

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220301

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220526

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221101

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230207

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230221

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20230322

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20230322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230414

R150 Certificate of patent or registration of utility model

Ref document number: 7265312

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150