JP2017100206A - Robot safety system - Google Patents

Robot safety system Download PDF

Info

Publication number
JP2017100206A
JP2017100206A JP2015233297A JP2015233297A JP2017100206A JP 2017100206 A JP2017100206 A JP 2017100206A JP 2015233297 A JP2015233297 A JP 2015233297A JP 2015233297 A JP2015233297 A JP 2015233297A JP 2017100206 A JP2017100206 A JP 2017100206A
Authority
JP
Japan
Prior art keywords
robot
user
display
distance
shortest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015233297A
Other languages
Japanese (ja)
Other versions
JP6645142B2 (en
Inventor
秀幸 西野
Hideyuki Nishino
秀幸 西野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Original Assignee
Denso Wave Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc filed Critical Denso Wave Inc
Priority to JP2015233297A priority Critical patent/JP6645142B2/en
Publication of JP2017100206A publication Critical patent/JP2017100206A/en
Application granted granted Critical
Publication of JP6645142B2 publication Critical patent/JP6645142B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a robot safety system that can present a user with information relating to operation states of a plurality of robots for the user to easily view the information at the same time.SOLUTION: A robot safety system (10) comprises: a distance acquiring portion (32) which acquires a distance between each robot and a user (100) with respect to a plurality of robots (11); a caution information acquiring portion (33) which acquires caution information for cautioning a user for states of the robots; a wearable-type monitor (20) which the user can wear and can display the caution information in the sight of the user; and a control portion (31) which controls displayed contents by the wearable-type monitor. The control portion makes the wearable-type monitor to display detailed display showing detailed contents of the caution information, with respect to caution information relating to a shortest robot positioned closest to the user of the plurality of robots, and makes the wearable-type monitor to display symbol display showing presence of the caution information in a form smaller than the form of the detailed display, with respect to caution information relating to non-shortest robots other than the shortest robot.SELECTED DRAWING: Figure 7

Description

本発明は、複数台のロボットが設けられている協調システムにおいてユーザに各ロボットの動作状態を提示するロボット安全システムに関する。   The present invention relates to a robot safety system that presents an operation state of each robot to a user in a cooperative system provided with a plurality of robots.

近年、複数台のロボットを設け、各ロボットを協調して動作させる協調システムが構築されつつある。このような協調システムでは、安全のために各ロボットの動作状態を把握することが重要である。この場合、ロボットの動作情報をユーザに提示するための手法としては、例えばロボットの表面に表示器を設けて情報表示をすることが考えられる。   In recent years, a collaborative system in which a plurality of robots are provided and the robots operate in a coordinated manner is being constructed. In such a cooperative system, it is important to grasp the operation state of each robot for safety. In this case, as a method for presenting robot operation information to the user, for example, a display may be provided on the surface of the robot to display information.

しかしながら、ユーザが何らかの作業を行っている最中においては、ユーザとロボットとの位置関係が常に同じという訳ではないことから、ロボット側に表示器を設けると、ユーザの位置によっては表示が見えなくなることが予想される。また、ロボットの姿勢によっては表示器の上下が逆さまになり、表示内容が見づらくなることも予想される。更には、表示器に汚れがついた場合には、表示そのものが見えなくなることが予想される。このように、ロボット側に表示器を設ける構成では、ロボットの動作状態をユーザに提示することができなくなるおそれがある。   However, while the user is doing some work, the positional relationship between the user and the robot is not always the same, so if a display is provided on the robot side, the display cannot be seen depending on the position of the user. It is expected that. In addition, depending on the posture of the robot, the display may be turned upside down, making it difficult to see the display contents. Furthermore, when the display is soiled, it is expected that the display itself cannot be seen. As described above, in the configuration in which the display is provided on the robot side, there is a possibility that the operation state of the robot cannot be presented to the user.

特開２００８−１４９４４２号公報JP 2008-149442 A

本発明は上記事情に鑑みてなされたものであり、その目的は、複数台のロボットの動作状態に関する情報を同時に見易くユーザに提示することができるロボット安全システムを提供することにある。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a robot safety system capable of simultaneously presenting information related to the operation states of a plurality of robots to a user in an easy-to-see manner.

（請求項１）
請求項１のロボット安全システムは、複数台のロボットについて各ロボットとユーザとの距離を取得する距離取得部と、前記ロボットに関する注意をユーザに促すための注意情報を取得する注意情報取得部と、ユーザが装着可能であってユーザの視界内に前記注意情報を表示可能な装着型モニタと、前記装着型モニタに対する表示内容を制御する制御部と、を備える。 (Claim 1)
The robot safety system according to claim 1, a distance acquisition unit that acquires a distance between each robot and the user for a plurality of robots, a caution information acquisition unit that acquires caution information for prompting the user to pay attention to the robot, A wearable monitor that can be worn by the user and capable of displaying the caution information in the user's field of view, and a control unit that controls display contents on the wearable monitor.

これによれば、ユーザは、自己の身体に装着した装着型モニタを通して、複数台のロボットの注意情報を確認することができる。したがって、例えユーザとロボットと位置関係が変化しとしても、ユーザは、装着型モニタに提示される情報によってロボットの動作状況つまり注意情報を知ることができる。そのため、例えばロボットに表示器を設けてその表示器に注意情報を表示させる場合に比べて、ロボットに関する情報をユーザに確実に提示することができる。   According to this, the user can check the attention information of a plurality of robots through the wearable monitor worn on his / her body. Therefore, even if the positional relationship between the user and the robot changes, the user can know the operation status of the robot, that is, the attention information from the information presented on the wearable monitor. Therefore, for example, information related to the robot can be reliably presented to the user as compared to a case where a display is provided on the robot and the attention information is displayed on the display.

ここで、ロボット安全システムは、装着型モニタを通してユーザの視界内に注意情報を表示するため、複数台のロボットに関する注意情報を同時に表示させようとすると、装着型モニタの表示領域内がその注意情報によって埋められるおそれがある。すると、ユーザの視界が注意情報によって塞がってしまい、現実のロボットが目視できなくなって危険である。   Here, since the robot safety system displays the caution information in the user's field of view through the wearable monitor, if the caution information regarding a plurality of robots is displayed at the same time, the caution information is displayed in the display area of the wearable monitor. May be buried by. Then, the user's field of view is blocked by the caution information, and it is dangerous because an actual robot cannot be seen.

そこで、本構成において、前記制御部は、複数台の前記ロボットのうち、ユーザの最も近くに位置するロボットである最短ロボットに関する前記注意情報については前記注意情報の詳細内容を示す詳細表示を前記装着型モニタに表示させ、前記最短ロボット以外のロボットである非最短ロボットに関する前記注意情報については前記注意情報の存在を示すシンボル表示を前記詳細表示よりも小さい形態で前記装着型モニタに表示させる処理を行うことができる。   Therefore, in this configuration, the control unit attaches a detailed display indicating the detailed content of the caution information with respect to the caution information regarding the shortest robot that is the closest robot to the user among the plurality of robots. A process of displaying a symbol display indicating the presence of the attention information on the wearable monitor in a form smaller than the detailed display for the attention information regarding the non-shortest robot that is a robot other than the shortest robot. It can be carried out.

これによれば、最短ロボット以外の非最短ロボットに係る注意情報は、シンボル表示として詳細表示よりも小さく表示される。そのため、複数台のロボットに関する注意情報を全て同時に表示させる場合に比べて、ユーザの視界に占める注意情報の領域つまり詳細表示及びシンボル表示の領域が小さくなる。つまり、本構成によれば、装着型モニタを通して複数台のロボットを実際に目視しているユーザ当人だけが、その複数台のロボットに係る注意情報を得ることができる。この場合、そのユーザ当人の一人だけでは、最短ロボット以外の非最短ロボットについては同時に手当を行うことができない。そのため、非最短ロボットに関する詳細情報は、そのユーザにとっては現時点で必ずしも必要な情報ではなく、むしろ視界を邪魔するような存在となる。   According to this, attention information related to non-shortest robots other than the shortest robot is displayed smaller than the detailed display as a symbol display. Therefore, the area of the caution information in the user's field of view, that is, the area of detailed display and symbol display is smaller than when all the caution information regarding the plurality of robots is displayed simultaneously. That is, according to this configuration, only the user who is actually viewing the plurality of robots through the wearable monitor can obtain the attention information related to the plurality of robots. In this case, only one of the users cannot pay for non-shortest robots other than the shortest robot at the same time. Therefore, the detailed information regarding the non-shortest robot is not necessarily necessary information for the user at the present time, but rather exists as an obstacle to the field of view.

すなわち、非最短ロボットについて詳細表示が表示されないようにするということは、装着型モニタの表示領域内が優先度の低い詳細情報によって埋められて、ユーザの視界が塞がれる危険性を低減することができるということである。そして、ユーザは、装着型モニタに表示される詳細表示を見ることで、少なくとも自己に最も近い最短ロボットつまり接触等の危険性の最も高いロボットについての注意情報の詳細内容を知ることができる。また、ユーザは、装着型モニタに表示されるシンボル表示を見ることで、最短ロボット以外の非最短ロボットについて少なくとも注意情報が存在していることを知ることができる。   In other words, preventing the detailed display of non-shortest robots from being displayed means that the display area of the wearable monitor is filled with detailed information with low priority, reducing the risk of the user's view being blocked. Is that you can. Then, the user can know the detailed contents of the caution information about at least the shortest robot closest to the user, that is, the robot with the highest risk of contact or the like, by viewing the detailed display displayed on the wearable monitor. Also, the user can know that at least attention information exists for a non-shortest robot other than the shortest robot by viewing the symbol display displayed on the wearable monitor.

このように、本構成のロボット安全システムは、ユーザが装着可能な装着型モニタを用いる場合において、ロボットの注意情報に関して詳細表示とシンボル表示とを選択的に表示させる。これにより、ロボット安全システムは、ユーザに提示する情報量を敢えて低減し、その情報が占める領域を低減することができ、したがって、ユーザの視界が注意情報で埋まってしまうことを抑制することができる。これにより、ユーザは、装着型モニタを通して、注意情報つまり詳細表示及びシンボル表示と、現実の風景とを同時に見易くなる。その結果、ロボット安全システムは、装着型モニタを用いた場合であっても、複数台のロボットの動作状態に関する情報つまり注意情報を同時に見易くユーザに提示することができる。   As described above, the robot safety system of this configuration selectively displays the detailed display and the symbol display regarding the attention information of the robot when the wearable monitor that can be worn by the user is used. As a result, the robot safety system can deliberately reduce the amount of information presented to the user and reduce the area occupied by the information, and therefore can prevent the user's view from being filled with attention information. . Thus, the user can easily view the attention information, that is, the detailed display and the symbol display, and the actual scenery at the same time through the wearable monitor. As a result, even when the wearable monitor is used, the robot safety system can present information regarding the operation states of a plurality of robots, that is, attention information, to the user in an easy-to-see manner at the same time.

（請求項２）
請求項２に記載のロボット安全システムにおいて、前記制御部は、前記最短ロボットについて、ユーザと前記最短ロボットとの距離が危険距離である場合には前記詳細表示を前記装着型モニタに表示させ、ユーザと前記最短ロボットとの距離が安全距離である場合には前記シンボル表示を前記装着型モニタに表示させる処理を行うことができる。ここで、危険距離及び安全距離とは、ロボットを基準とした距離であり、危険距離とは、ロボットの可動距離に所定距離を加えた距離以下の距離である。安全距離とは、危険距離を越える距離である。所定距離は、ロボットの動作速度等に応じて定められるものであり、例えばユーザが瞬時にロボットに近づいても、ロボットの可動距離には届かないような距離である。 (Claim 2)
3. The robot safety system according to claim 2, wherein the control unit displays the detailed display on the wearable monitor when the distance between the user and the shortest robot is a dangerous distance for the shortest robot, When the distance from the shortest robot is a safe distance, the symbol display can be displayed on the wearable monitor. Here, the dangerous distance and the safe distance are distances based on the robot, and the dangerous distance is a distance equal to or less than a distance obtained by adding a predetermined distance to the movable distance of the robot. The safety distance is a distance exceeding the danger distance. The predetermined distance is determined according to the operation speed of the robot, and is a distance that does not reach the movable distance of the robot even if the user approaches the robot instantaneously.

すなわち、複数台のロボットのうちユーザに最も接近している最短ロボットに対して安全距離が確保されていれば、全てのロボットについて安全距離が確保されているといえる。この場合、詳細表示に換えて、詳細表示よりも小さいシンボル表示を表示させることで、ユーザの視界をより広く確保することができる。その結果、ユーザは、ロボット等の目視がよりし易くなる。   That is, if a safety distance is secured for the shortest robot closest to the user among a plurality of robots, it can be said that the safety distance is secured for all the robots. In this case, by displaying a symbol display smaller than the detailed display instead of the detailed display, it is possible to secure a wider field of view of the user. As a result, the user can more easily see the robot or the like.

（請求項３）
請求項３に記載のロボット安全システムは、ユーザの視界を特定するための視界情報を取得する視界情報取得部と、前記視界情報取得部で取得した前記視界情報に基づいてユーザの視界内に存在する前記ロボットを識別するロボット識別部と、を更に備える。前記制御部は、少なくとも前記詳細表示が前記最短ロボットに重ならないように前記詳細表示を前記装着型モニタに表示させる処理を行うことができる。これによれば、少なくとも、最短ロボットがユーザの視界内に存在する場合、その最短ロボットが詳細表示によって隠れてしまうことを防ぐことができる。したがって、ユーザは、最短ロボットと、その最短ロボットの詳細表示とを同時に目視し易くなり、その結果、視認性が向上する。 (Claim 3)
The robot safety system according to claim 3 is present in the field of view of the user based on the field of view information acquired by the field of view information acquisition unit and a field of view information acquisition unit that acquires field of view information for specifying the field of view of the user. A robot identification unit for identifying the robot to be performed. The control unit can perform a process of displaying the detail display on the wearable monitor so that at least the detail display does not overlap the shortest robot. According to this, at least when the shortest robot exists in the user's field of view, the shortest robot can be prevented from being hidden by the detailed display. Therefore, the user can easily view the shortest robot and the detailed display of the shortest robot at the same time, and as a result, the visibility is improved.

（請求項４）
請求項４に記載のロボット安全システムにおいて、前記シンボル表示は、３文字以上の文字列を有さない図記号で構成されている。これによれば、シンボル表示の表示領域をより小さくすることができる。また、前記詳細表示は、３文字以上の文字列を有して構成されている。これによれば、シンボル表示に比べてユーザに提示することが可能な情報量をより多くすることができ、ユーザに対してロボットの正確な動作状態つまり注意情報を提示することができる。 (Claim 4)
5. The robot safety system according to claim 4, wherein the symbol display is constituted by a graphic symbol having no character string of three characters or more. According to this, the display area of the symbol display can be further reduced. The detailed display has a character string of three characters or more. According to this, the amount of information that can be presented to the user can be increased as compared with the symbol display, and the accurate operation state of the robot, that is, attention information can be presented to the user.

（請求項５）
請求項５に記載の前記制御部は、前記注意情報の内容に応じて前記詳細表示の色彩又は前記詳細表示の周囲の領域の色彩を変化させる処理を行うことができる。これによれば、注意情報の内容に応じて、ユーザの注目度を変化させることができる。すなわち、ロボットの危険度が高い場合には、詳細表示の色彩又は詳細表示の周囲の領域の色彩を例えば赤色等の警告色にすることで、その詳細表示にユーザの注意を引くことができる。その結果、安全性が更に向上される。 (Claim 5)
The control unit according to claim 5 can perform a process of changing a color of the detailed display or a color of an area around the detailed display in accordance with the content of the caution information. According to this, a user's attention level can be changed according to the content of attention information. That is, when the danger level of the robot is high, the color of the detailed display or the color of the surrounding area of the detailed display is set to a warning color such as red, for example, so that the user's attention can be drawn to the detailed display. As a result, safety is further improved.

（請求項６）
前記制御部は、ユーザと各前記ロボットとの距離が一定期間以上変化せず、かつユーザと前記最短ロボットとの距離が安全距離である場合に、少なくとも前記シンボル表示を非表示にする処理を行うことができる。すなわち、ユーザと各前記ロボットとの距離が一定期間以上変化しない状況とは、例えばユーザがその場に停止してロボットの動作を観察している状況等が考えられる。この場合、ユーザと最短ロボットとの距離が安全距離であって、ユーザの安全が確保されている状態であれば、詳細表示の情報を非表示としても特に問題は生じない。むしろ、詳細表示を非表示とすることで、ユーザの視界をより広く確保することができるため、ユーザのロボットやロボットの周辺に対する視認性が向上する。その結果、ユーザは、ロボットやロボットの周辺の観察がし易くなり、利便性の向上が図られる。 (Claim 6)
The control unit performs a process of hiding at least the symbol display when the distance between the user and each robot does not change for a certain period or more and the distance between the user and the shortest robot is a safe distance. be able to. That is, the situation in which the distance between the user and each robot does not change for a certain period or more can be considered, for example, when the user stops on the spot and observes the robot operation. In this case, if the distance between the user and the shortest robot is a safe distance and the safety of the user is ensured, there is no particular problem even if the detailed display information is not displayed. Rather, by hiding the detailed display, the user's field of view can be secured more widely, so that the visibility of the user's robot and the surroundings of the robot is improved. As a result, the user can easily observe the robot and the surroundings of the robot, thereby improving convenience.

一実施形態によるロボット安全システムの概略構成を模式的に示す図The figure which shows typically schematic structure of the robot safety system by one Embodiment 一実施形態によるロボット安全システムの電気的構成を模式的に示すブロック図The block diagram which shows typically the electric constitution of the robot safety system by one Embodiment 一実施形態における安全距離と危険距離の概念を模式的に示す図The figure which shows typically the concept of the safety distance and danger distance in one Embodiment. 一実施形態について、ユーザと各ロボットとの位置関係を模式的に示す図The figure which shows typically the positional relationship of a user and each robot about one Embodiment. 一実施形態について、装着型モニタに表示される表示内容の一例を示す図（その１）The figure which shows an example of the display content displayed on a wearable monitor about one Embodiment (the 1) 一実施形態について、装着型モニタに表示される表示内容の一例を示す図（その２）The figure which shows an example of the display content displayed on a wearable monitor about one Embodiment (the 2) 一実施形態について、装着型モニタに表示される表示内容の一例を示す図（その３）The figure which shows an example of the display content displayed on a wearable monitor about one Embodiment (the 3) 一実施形態について、ユーザの視界が変化した場合のユーザと各ロボットとの位置関係を模式的に示す図The figure which shows typically the positional relationship of a user and each robot when a user's visual field changes about one Embodiment. 一実施形態について、装着型モニタに表示される表示内容の一例を示す図（その４）The figure which shows an example of the display content displayed on a wearable monitor about one Embodiment (the 4) 一実施形態について、表示態様の表示条件を表にして示す図The figure which shows the display conditions of a display mode as a table about one embodiment 一実施形態について、制御部において実行される処理内容を示すフローチャートThe flowchart which shows the processing content performed in a control part about one embodiment 一実施形態について、色設定処理の処理内容を示すフローチャートThe flowchart which shows the processing content of the color setting process about one Embodiment 一実施形態について、非表示処理の処理内容を示すフローチャートThe flowchart which shows the processing content of non-display processing about one embodiment

以下、一実施形態について図面を参照しながら説明する。
図１及び図２に示すように、ロボット安全システム１０は、複数台のロボット１１と、各ロボット１１に対応して設けられたロボットコントローラ１２と、安全装置１３と、眼鏡型モニタ２０と、モニタ制御装置３０と、を含んで構成されている。本実施形態において、ロボット安全システム１０は、２台のロボット１１で構成されている。なお、以下の説明において、これら２台のロボット１１を区別する際には、第１ロボット１１１及び第２ロボット１１２と称する。また、第１ロボットロボット１１１及び第２ロボット１１２に対応するロボットコントローラ１２を、それぞれ第１ロボットコントローラ１２１及び第２ロボットコントローラ１２２と称する。 Hereinafter, an embodiment will be described with reference to the drawings.
As shown in FIGS. 1 and 2, the robot safety system 10 includes a plurality of robots 11, a robot controller 12 provided corresponding to each robot 11, a safety device 13, a glasses-type monitor 20, a monitor And a control device 30. In the present embodiment, the robot safety system 10 is composed of two robots 11. In the following description, when these two robots 11 are distinguished, they are referred to as a first robot 111 and a second robot 112. The robot controllers 12 corresponding to the first robot robot 111 and the second robot 112 are referred to as a first robot controller 121 and a second robot controller 122, respectively.

ロボット１１は、例えば６軸の垂直多関節型ロボットで構成されている。一般的な構成につき詳しい説明は省略するが、ロボット１１は、サーボモータにより駆動される６軸のアームを有し、第６軸アームの先端部に、例えばパレット内に収容されているワークを把持するためのハンド等を備えている。ロボット１１は、ロボットコントローラ１２に図示しない接続ケーブルを介して接続される。各軸のサーボモータは、このロボットコントローラ１２により制御される。   The robot 11 is composed of, for example, a six-axis vertical articulated robot. Although a detailed description of a general configuration is omitted, the robot 11 has a six-axis arm driven by a servo motor, and grips a workpiece accommodated in a pallet, for example, at the tip of the sixth axis arm. It has a hand to do. The robot 11 is connected to the robot controller 12 via a connection cable (not shown). The servo motor for each axis is controlled by the robot controller 12.

通常、各ロボット１１には、危険距離と安全距離とが設定されている。危険距離及び安全距離は、図３に示すように、ロボット１１を基準とした距離である。危険距離とは、ロボット１１の可動距離Ｄ１に所定距離Ｄ２を加えた距離以下の距離である。安全距離とは、危険距離を越える距離である。所定距離Ｄ２は、ロボット１１の動作速度等に応じて定められるものであり、例えばユーザが瞬時にロボット１１に近づいても、ロボット１１の可動距離Ｄ１には届かないような距離である。この場合、ロボット１１を基準とした危険距離の内側の領域を危険領域と称する。また、ロボット１１を基準とした危険距離の外側の領域を安全領域と称する。   Usually, a dangerous distance and a safe distance are set for each robot 11. The danger distance and the safety distance are distances based on the robot 11, as shown in FIG. The dangerous distance is a distance equal to or less than a distance obtained by adding the predetermined distance D2 to the movable distance D1 of the robot 11. The safety distance is a distance exceeding the danger distance. The predetermined distance D2 is determined according to the operation speed of the robot 11 and the like, for example, is a distance that does not reach the movable distance D1 of the robot 11 even if the user approaches the robot 11 instantaneously. In this case, the area inside the dangerous distance with reference to the robot 11 is referred to as a dangerous area. An area outside the dangerous distance with the robot 11 as a reference is referred to as a safety area.

ロボットコントローラ１２は、図示しない制御回路やサーボ制御部、電源装置等を備えている。制御回路はマイコンを主体として構成されている。ロボットコントローラ１２は、予め記憶された動作プログラムや、図示しないティーチングペンダント等により設定された教示データ、各種パラメータ等に従って、サーボ制御部を介してロボット１１の各軸サーボモータを制御する。これにより、ロボットコントローラ１２は、ワークの組付け作業等を各ロボット１１に自動で実行させる。   The robot controller 12 includes a control circuit, a servo control unit, a power supply device and the like (not shown). The control circuit is mainly composed of a microcomputer. The robot controller 12 controls each axis servo motor of the robot 11 via the servo control unit in accordance with an operation program stored in advance, teaching data set by a teaching pendant (not shown), various parameters, and the like. As a result, the robot controller 12 causes each robot 11 to automatically perform work assembling work and the like.

各ロボットコントローラ１２は、それぞれ安全装置１３に通信可能に接続されている。安全装置１３は、ロボットコントローラ１２側から各ロボット１１の動作状態及び各ロボットコントローラ１２による制御状態を特定可能な各種の情報を取得可能に構成されている。そのため、安全装置１３は、ロボット１１のアームの回転角度やモータの通電状態等、ロボット１１の動作状態を示す動作情報及びコントローラ１２の制御状態を示す制御情報をリアルタイムで取得することができる。   Each robot controller 12 is communicably connected to the safety device 13. The safety device 13 is configured to be able to acquire various types of information that can specify the operation state of each robot 11 and the control state of each robot controller 12 from the robot controller 12 side. Therefore, the safety device 13 can acquire, in real time, operation information indicating the operation state of the robot 11 and control information indicating the control state of the controller 12 such as the rotation angle of the arm of the robot 11 and the energization state of the motor.

また、安全装置１３は、各ロボットコントローラ１２から取得した各ロボット１１の情報に基づいて、ロボット１１の現在の形態つまり姿勢を３次元的にモデリングした３Ｄモデル画像データを生成することができる。また、安全装置１３は、各ロボット１１が設置されている領域、例えば工場内における基準位置を原点とした２次元座標系における各ロボット１１の座標つまりはロボット１１の設置位置も記憶している。   Further, the safety device 13 can generate 3D model image data in which the current form, that is, the posture of the robot 11 is three-dimensionally modeled based on the information of each robot 11 acquired from each robot controller 12. Further, the safety device 13 also stores the coordinates of each robot 11 in the two-dimensional coordinate system having the origin at the reference position in the factory, for example, the reference position in the factory, that is, the installation position of the robot 11.

眼鏡型モニタ２０は、一般的な眼鏡と同様にユーザが頭部に装着可能な形状に形成されている。眼鏡型モニタ２０は、図２にも示すように、表示部２１及び撮像部２２を有している。表示部２１は、眼鏡のレンズ部分に相当する部分であり、画像などの情報を表示することができるいわゆる透過型のディスプレイで構成されている。このため、眼鏡型モニタ２０に表示される画像は、ユーザの視界に重なって表示されることになる。換言すると、ユーザは、自身の目で見た現実の風景と、眼鏡型モニタ２０によって表示された仮想的な画像とを併せて見ることになる。   The glasses-type monitor 20 is formed in a shape that can be worn by the user on the head in the same manner as general glasses. As shown in FIG. 2, the eyeglass-type monitor 20 includes a display unit 21 and an imaging unit 22. The display unit 21 is a part corresponding to the lens part of the glasses, and is configured by a so-called transmissive display capable of displaying information such as an image. For this reason, the image displayed on the glasses-type monitor 20 is displayed so as to overlap the user's field of view. In other words, the user sees the actual scenery viewed with his / her eyes and the virtual image displayed on the glasses-type monitor 20 together.

撮像部２２は、小型のＣＣＤカメラやＣＭＯＳカメラで構成されている。この撮像部２２は、ユーザの顔の向きと一致するように、眼鏡型モニタ２０のフレームの一測部に設けられている。撮像部２２は、ユーザ１００が眼鏡型モニタ２０を頭部に装着した状態で、ユーザ１００の頭部正面が向いている方向の画像を撮像する。そのため、撮像部２２によって撮像される画像は、ユーザの視界とほぼ同一の画角となっている。換言すると、撮像部２２は、ユーザが見ている風景とほぼ同一の風景を撮像する。   The imaging unit 22 is composed of a small CCD camera or CMOS camera. The imaging unit 22 is provided in a frame measuring unit of the eyeglass-type monitor 20 so as to match the orientation of the user's face. The imaging unit 22 captures an image in a direction in which the front of the head of the user 100 is facing in a state where the user 100 wears the spectacles-type monitor 20 on the head. Therefore, the image picked up by the image pickup unit 22 has almost the same angle of view as the user's field of view. In other words, the imaging unit 22 captures a landscape that is almost the same as the landscape that the user is viewing.

眼鏡型モニタ２０は、モニタ制御装置３０に無線又は有線で接続されている。モニタ制御装置３０は、マイクロコンピュータ等で構成された制御部３１を内蔵しており、眼鏡型モニタ２０の表示部２１に投影する画像データを送信したり、撮像部２２により撮像された画像データを受信したりする。また、モニタ制御装置３０は、安全装置１３と有線又は無線通信が可能となっており、安全装置１３から、上述した３Ｄモデル画像データを含む各ロボット１１の動作状態を示す動作情報や、コントローラ１２の制御状態を示す制御情報をリアルタイムで取得することがでる。   The eyeglass-type monitor 20 is connected to the monitor control device 30 wirelessly or by wire. The monitor control device 30 includes a control unit 31 constituted by a microcomputer or the like, transmits image data to be projected on the display unit 21 of the eyeglass-type monitor 20, and receives image data captured by the imaging unit 22. To receive. In addition, the monitor control device 30 can perform wired or wireless communication with the safety device 13, operation information indicating the operation state of each robot 11 including the above-described 3D model image data from the safety device 13, and the controller 12. It is possible to acquire control information indicating the control state in real time.

モニタ制御装置３０は、図２に示すように、制御部３１、距離取得部３２、注意情報取得部３３、視界情報取得部３４、及びロボット識別部３５を有している。制御部３１は、マイクロコンピュータを主体に構成されており、ロボット安全システム用プログラムを記憶している。制御部３１は、マイクロコンピュータにおいてロボット安全システム用プログラムを実行することにより、距離取得部３２、注意情報取得部３３、視界情報取得部３４、及びロボット識別部３５等を、ソフトウェア的に実現する。なお、これら距離取得部３２、注意情報取得部３３、視界情報取得部３４、及びロボット識別部３５は、例えば制御部３１と一体の集積回路としてハードウェア的に実現してもよい。また、制御部３１は、安全装置１３側に設けられていてもよい。   As shown in FIG. 2, the monitor control device 30 includes a control unit 31, a distance acquisition unit 32, a caution information acquisition unit 33, a visibility information acquisition unit 34, and a robot identification unit 35. The control unit 31 is mainly composed of a microcomputer, and stores a program for a robot safety system. The control unit 31 implements the distance acquisition unit 32, the attention information acquisition unit 33, the view information acquisition unit 34, the robot identification unit 35, and the like in software by executing a robot safety system program in the microcomputer. Note that the distance acquisition unit 32, the attention information acquisition unit 33, the view information acquisition unit 34, and the robot identification unit 35 may be realized in hardware as an integrated circuit integrated with the control unit 31, for example. Further, the control unit 31 may be provided on the safety device 13 side.

距離取得部３２は、各ロボット１１について、各ロボット１１とユーザ１００との距離Ｌｘを取得する処理を行うことができる。なお、本実施形態では、ロボット１１１とユーザ１００との距離Ｌｘを距離Ｌ１とし、ロボット１１２とユーザ１００との距離Ｌｘを距離Ｌ２と示す。距離取得部３２は、例えばユーザ１００の位置情報に基づいて、各ロボット１１とユーザ１００との距離Ｌｘを取得することができる。すなわち、距離取得部３２は、例えば図４に示すように、各ロボット１１が設置されている領域を２次元座標系とした各ロボット１１の座標（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）を、安全装置１３から取得する。そして、距離取得部３２は、各ロボット１１の座標（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）と、ユーザ１００の座標（Ｘｐ、Ｙｐ）とから、各ロボット１１とユーザ１００との距離Ｌｘを算出する。   The distance acquisition unit 32 can perform processing for acquiring the distance Lx between each robot 11 and the user 100 for each robot 11. In this embodiment, the distance Lx between the robot 111 and the user 100 is indicated as a distance L1, and the distance Lx between the robot 112 and the user 100 is indicated as a distance L2. The distance acquisition unit 32 can acquire the distance Lx between each robot 11 and the user 100 based on the position information of the user 100, for example. That is, for example, as shown in FIG. 4, the distance acquisition unit 32 sets the coordinates (X1, Y1) and (X2, Y2) of each robot 11 using the area where each robot 11 is installed as a two-dimensional coordinate system. Obtained from the safety device 13. Then, the distance acquisition unit 32 calculates the distance Lx between each robot 11 and the user 100 from the coordinates (X1, Y1), (X2, Y2) of each robot 11 and the coordinates (Xp, Yp) of the user 100. To do.

ユーザ１００の座標（Ｘｐ、Ｙｐ）つまりユーザの位置情報は、例えば眼鏡型モニタ２０に小型のＧＰＳ（Global Positioning System）を設けることで取得することができる。また、ユーザの位置情報（Ｘｐ、Ｙｐ）は、ＧＰＳユニットのように直接的に位置を特定するものではなく、例えば工場の入り口等の基準位置からのユーザの移動軌跡を取得し、基準位置に対する変位量に基づいて間接的に位置を特定するような構成としてもよい。なお、図４及び図８において、ユーザ１００から延び出た二点鎖線は、ユーザ１００の視界を表している。   The coordinates (Xp, Yp) of the user 100, that is, the position information of the user can be obtained by providing a small GPS (Global Positioning System) on the eyeglass-type monitor 20, for example. The user position information (Xp, Yp) does not directly specify the position as in the GPS unit. For example, the user's movement trajectory from a reference position such as a factory entrance is acquired and A configuration may be adopted in which the position is indirectly specified based on the amount of displacement. 4 and 8, a two-dot chain line extending from the user 100 represents the field of view of the user 100.

図２に示す注意情報取得部３３は、各ロボット１１の注意情報を取得する処理を行うことができる。注意情報とは、各ロボット１１に関する注意をユーザ１００に促すための情報である。この注意情報は、ロボット１１の動作状態を示す情報の一態様であり、安全装置１３が取得した各ロボット１１の動作状態等の情報に含まれている。そのため、注意情報取得部３３は、安全装置１３から各ロボット１１の動作状態等の情報を取得することで、注意情報を取得することができる。注意情報は、例えばロボット１１の運転状態、ロボット１１とユーザ１００との距離Ｌｘ、ロボット１１のトルク、ロボット１１の電源電圧等の情報である。この注意情報の内容は、ＩＳＯ規格など標準規格に基づいて決定することができる。   The attention information acquisition unit 33 illustrated in FIG. 2 can perform processing for acquiring attention information of each robot 11. The attention information is information for prompting the user 100 to pay attention to each robot 11. This attention information is an aspect of information indicating the operation state of the robot 11 and is included in information such as the operation state of each robot 11 acquired by the safety device 13. Therefore, the caution information acquisition unit 33 can acquire the caution information by acquiring information such as the operation state of each robot 11 from the safety device 13. The caution information is, for example, information such as the operation state of the robot 11, the distance Lx between the robot 11 and the user 100, the torque of the robot 11, the power supply voltage of the robot 11, and the like. The content of the caution information can be determined based on a standard such as the ISO standard.

視界情報取得部３４は、ユーザの視界を特定するための視界情報を取得する処理を行うことができる。ユーザ１００の視界とは、ユーザ１００が眼鏡型モニタ２０を装着した状態において、眼鏡のレンズ部分である表示部２１を通してユーザ１００の目に映る風景を意味する。視界情報取得部３４は、撮像部２２で撮像した画像から、ユーザ１００の視界情報を取得する。すなわち、本実施形態では、撮像部２２による撮像範囲を、ユーザ１００の視界と擬制している。   The visual field information acquisition unit 34 can perform processing for acquiring visual field information for specifying the visual field of the user. The field of view of the user 100 means a landscape that is seen by the user 100 through the display unit 21 that is a lens part of the glasses when the user 100 is wearing the glasses-type monitor 20. The visibility information acquisition unit 34 acquires the visibility information of the user 100 from the image captured by the imaging unit 22. That is, in this embodiment, the imaging range by the imaging unit 22 is assumed to be the field of view of the user 100.

ロボット識別部３５は、視界情報取得部３４で取得した視界情報に基づいてユーザ１００の視界内に存在するロボット１１を識別する処理を行うことができる。すなわち、ロボット識別部３５は、ユーザ１００の視界内に存在するロボット１１が、ロボット１１１、１１２のいずれであるかを識別つまり特定することができる。ロボット識別部３５は、例えば次のようにして各ロボット１１を識別することができる。すなわち、例えば各ロボット１１に、それぞれ個体を特定するためのマーカーを付しておく。そして、ロボット識別部３５は、撮像部２２で撮像された画像を基にロボット１１に付されたマーカーを認識することで、各ロボット１１を識別することができる。   The robot identification unit 35 can perform processing for identifying the robot 11 existing in the field of view of the user 100 based on the field of view information acquired by the field of view information acquisition unit 34. That is, the robot identification unit 35 can identify, that is, identify which of the robots 111 and 112 is the robot 11 existing in the field of view of the user 100. The robot identification unit 35 can identify each robot 11 as follows, for example. That is, for example, each robot 11 is provided with a marker for identifying an individual. Then, the robot identification unit 35 can identify each robot 11 by recognizing the marker attached to the robot 11 based on the image captured by the imaging unit 22.

また、他の方法としては、ロボット識別部３５は、例えば次のようにして各ロボット１１を識別することができる。すなわち、ロボット識別部３５は、安全装置１３から各ロボット１１の現在の３Ｄモデル画像データを取得する。そして、ロボット識別部３５は、各ロボット１１の３Ｄモデル画像データと、撮像部２２で撮像されたロボット１１の形態とを照合することで、各ロボット１１を識別することができる。   As another method, the robot identification unit 35 can identify each robot 11 as follows, for example. That is, the robot identification unit 35 acquires the current 3D model image data of each robot 11 from the safety device 13. And the robot identification part 35 can identify each robot 11 by collating 3D model image data of each robot 11, and the form of the robot 11 imaged by the imaging part 22. FIG.

制御部３１は、各ロボット１１とユーザ１００との距離Ｌｘ、及び各ロボット１１についての注意情報を、図５に示すようなシンボル表示４１、及び図６に示すような詳細表示４２によって、表示部２１に表示させることができる。本実施形態の場合、シンボル表示４１及び詳細表示４２は、対象となるロボット１１から吹き出されるように配置される吹き出し図形４３内に配置されている。なお、この吹き出し図形４３は、シンボル表示４１及び詳細表示４２には含まれない。   The control unit 31 displays the distance Lx between each robot 11 and the user 100 and the caution information about each robot 11 by using a symbol display 41 as shown in FIG. 5 and a detailed display 42 as shown in FIG. 21 can be displayed. In the case of the present embodiment, the symbol display 41 and the detailed display 42 are arranged in a balloon graphic 43 arranged so as to be blown out from the target robot 11. Note that the balloon graphic 43 is not included in the symbol display 41 and the detailed display 42.

制御部３１は、吹き出し図形４３の内部に配置されるシンボル表示４１又は詳細表示４２の大きさや情報量に応じて適宜その吹き出し図形４３の大きさを変更することができる。また、制御部３１は、撮像部２２で取得した画像からロボット１１を抽出することで、吹き出し図形４３を、各ロボット１１に極力重ならないように表示させることができる。更に、制御部３１は、複数の吹き出し図形４３を同時に表示させる場合、これら複数の吹き出し図形４３が相互に重ならないように表示させることができる。この場合、複数のロボット１１について吹き出し図形４３を表示させるときは、制御部３１は、ユーザ１００に近いロボット１１及びそのロボット１１の吹き出し図形４３を優先して表示させる。また、例えば図７に示すように、詳細表示４２とシンボル表示４１とを同時に表示させる場合、制御部３１は、シンボル表示４１を詳細表示４２よりも小さく表示する。   The control unit 31 can appropriately change the size of the balloon graphic 43 according to the size of the symbol display 41 or the detailed display 42 arranged in the balloon graphic 43 and the information amount. In addition, the control unit 31 can display the balloon graphic 43 so as not to overlap each robot 11 as much as possible by extracting the robot 11 from the image acquired by the imaging unit 22. Furthermore, when displaying the plurality of balloon figures 43 simultaneously, the control unit 31 can display the plurality of balloon figures 43 so as not to overlap each other. In this case, when displaying the balloon graphic 43 for the plurality of robots 11, the control unit 31 preferentially displays the robot 11 close to the user 100 and the balloon graphic 43 of the robot 11. For example, as shown in FIG. 7, when the detailed display 42 and the symbol display 41 are displayed simultaneously, the control unit 31 displays the symbol display 41 smaller than the detailed display 42.

シンボル表示４１は、ロボット１１に関する注意情報が存在していることを示す表示である。シンボル表示４１は、ユーザに与える情報量を極力少なくするため、３文字以上の文字列を有さない図記号で構成されている。本実施形態の場合、シンボル表示４１は、例えばＩＳＯ７０１０で標準化された一般危険を示すマークであり、三角形状の図形の内部に「！」の記号を付した図記号で構成されている。なお、シンボル表示４１は、この図記号に限られない。例えば、「注」の１文字、又は「注意」の２文字の文字列を有する構成であってもよい。なお、本実施形態では、図形の内部に文字や記号が付されたものは、１つの図記号として扱う。   The symbol display 41 is a display indicating that attention information regarding the robot 11 exists. The symbol display 41 is composed of graphic symbols that do not have a character string of three or more characters in order to minimize the amount of information given to the user. In the case of the present embodiment, the symbol display 41 is a mark indicating a general danger standardized by, for example, ISO 7010, and is configured by a graphic symbol in which a symbol “!” Is added inside a triangular figure. The symbol display 41 is not limited to this graphical symbol. For example, it may be configured to have a character string of one character of “Note” or two characters of “Caution”. In the present embodiment, an object with a character or symbol added to the inside of the graphic is handled as one graphic symbol.

詳細表示４２は、注意情報の詳細内容を示すものであり、注意情報の詳細を示す３文字以上の文字列や、この文字列に記号や図形等を併記したもので構成されている。例えば、図５に示す詳細表示４２は、第１ロボット１１１に係る注意情報の詳細内容を示すものであり、停止中又は自動運転中など第１ロボット１１１の状態や、速度、ユーザ１００との距離Ｌｘ、電源電圧、及びトルク等を示す３文字以上の文字列４２１を有して構成されている。   The detailed display 42 shows the detailed contents of the caution information, and is composed of a character string of three or more characters indicating the details of the caution information, and a character string, a figure, etc. written together with the character string. For example, the detailed display 42 shown in FIG. 5 shows the detailed content of the caution information related to the first robot 111, and the state of the first robot 111 such as when stopped or during automatic operation, the speed, and the distance to the user 100. It has a character string 421 of three or more characters indicating Lx, power supply voltage, torque, and the like.

また、この文字列４２１に併記させる記号又は図形は、例えばＩＳＯ７０１０で標準化された各種の危険を示す図記号である。例えば、図６の詳細表示４２において、「速度：５００ｍｍ／ｓ」の文字列４２１に併記された図記号４２２は、「挟まれ注意」の意味を示し、図記号４２３は「ヘルメット要着用」の指示を意味する。また、詳細表示４２において、「電源：２００Ｖ」の文字列４２１に併記された図記号４２４は、「高電圧につき感電注意」の意味を示し、「トルク：６５Ｎ」の文字列４２１に併記された図記号４２５は、「衝突注意」の意味を示す。   Further, the symbols or figures to be written in the character string 421 are graphic symbols indicating various dangers standardized by, for example, ISO 7010. For example, in the detailed display 42 of FIG. 6, the graphic symbol 422 written together with the character string 421 of “speed: 500 mm / s” indicates the meaning of “attention to be pinched”, and the graphic symbol 423 is “wearing a helmet”. Means instructions. In addition, in the detailed display 42, the graphic symbol 424 written together with the character string 421 of “power supply: 200V” indicates the meaning of “caution against electric shock due to high voltage”, and written together with the character string 421 of “torque: 65N”. The graphic symbol 425 indicates the meaning of “Collision Caution”.

本実施形態の場合、各ロボット１１に対して、シンボル表示４１又は詳細表示４２のいずれか一方が表示される。すなわち、本実施形態の場合、１つのロボット１１に対して、シンボル表示４１及び詳細表示４２の両方が同時に表示されることはない。各ロボット１１に係る注意情報をどのような態様で表示させるかは、図１０に示すように、対象となるロボット１１の動作状態、ユーザ１００とロボット１１との距離Ｌｘ、及びユーザ１００の視界内に対象となるロボット１１が存在するか否かによって決定される。ここで、複数のロボット１１のうちユーザ１００に最も近いロボット１１つまりユーザ１００との距離が最も短いロボット１１を、最短ロボット１１と称する。   In the case of the present embodiment, either the symbol display 41 or the detailed display 42 is displayed for each robot 11. That is, in the case of the present embodiment, both the symbol display 41 and the detailed display 42 are not simultaneously displayed for one robot 11. As shown in FIG. 10, how the attention information related to each robot 11 is displayed depends on the operation state of the target robot 11, the distance Lx between the user 100 and the robot 11, and the field of view of the user 100. Is determined by whether or not the target robot 11 exists. Here, among the plurality of robots 11, the robot 11 closest to the user 100, that is, the robot 11 having the shortest distance to the user 100 is referred to as the shortest robot 11.

まず、図１０を参照して、最短ロボット１１に係る注意情報の表示態様について説明する。最短ロボット１１が動作中例えば自動運転中であって、かつ最短ロボット１１とユーザ１００との距離Ｌｘが安全距離である場合、制御部３１は、その最短ロボット１１がユーザ１００の視界内に存在していればシンボル表示４１を表示させ、ユーザ１００の視界内に存在していなければ何も表示させない。また、最短ロボット１１が動作中であって、かつ最短ロボット１１とユーザ１００との距離Ｌｘが危険距離である場合、制御部３１は、最短ロボット１１がユーザ１００の視界内に存在するか否かに係わらず、詳細表示４２を表示させる。   First, with reference to FIG. 10, the display mode of the caution information concerning the shortest robot 11 will be described. When the shortest robot 11 is operating, for example, during automatic driving, and the distance Lx between the shortest robot 11 and the user 100 is a safe distance, the control unit 31 indicates that the shortest robot 11 exists in the field of view of the user 100. If it exists, the symbol display 41 is displayed, and if it does not exist within the field of view of the user 100, nothing is displayed. When the shortest robot 11 is in operation and the distance Lx between the shortest robot 11 and the user 100 is a dangerous distance, the control unit 31 determines whether the shortest robot 11 exists in the field of view of the user 100. Regardless, the detailed display 42 is displayed.

一方、最短ロボット１１が停止中であって、かつ最短ロボット１１とユーザ１００との距離Ｌｘが安全距離である場合、制御部３１は、最短ロボット１１がユーザ１００の視界内に存在するか否かに係わらず、詳細表示４２を表示させない。そして、最短ロボット１１が停止中であって、かつ最短ロボット１１とユーザ１００との距離Ｌｘが危険距離である場合、制御部３１は、最短ロボット１１がユーザ１００の視界内に存在するか否かに係わらず、詳細表示４２を表示させる。   On the other hand, when the shortest robot 11 is stopped and the distance Lx between the shortest robot 11 and the user 100 is a safe distance, the control unit 31 determines whether or not the shortest robot 11 exists in the field of view of the user 100. Regardless, the detailed display 42 is not displayed. When the shortest robot 11 is stopped and the distance Lx between the shortest robot 11 and the user 100 is a dangerous distance, the control unit 31 determines whether or not the shortest robot 11 exists in the field of view of the user 100. Regardless, the detailed display 42 is displayed.

次に、最短ロボット１１以外のロボット１１（以下、非最短ロボット１１と称する）に係る注意情報の表示態様について説明する。非最短ロボット１１が動作中であって、かつその非最短ロボット１１とユーザ１００との距離Ｌｘが危険距離であって、かつその非最短ロボット１１がユーザ１００の視界内に存在していれば、制御部３１は、非最短ロボット１１の注意情報についてシンボル表示４１を表示させる。一方、制御部３１は、上記以外の場合は、非最短ロボット１１の注意情報について何も表示させない。   Next, a display mode of caution information relating to a robot 11 other than the shortest robot 11 (hereinafter referred to as a non-shortest robot 11) will be described. If the non-shortest robot 11 is in operation, the distance Lx between the non-shortest robot 11 and the user 100 is a dangerous distance, and the non-shortest robot 11 exists in the field of view of the user 100, The control unit 31 displays a symbol display 41 for the attention information of the non-shortest robot 11. On the other hand, the control part 31 displays nothing about the caution information of the non-shortest robot 11 in cases other than the above.

また、制御部３１は、色彩設定処理を実行することができる。色彩設定処理は、最短ロボット１１の注意情報に係る詳細表示４２を表示する場合、その最短ロボット１１の現在の危険度に応じて、詳細表示４２自体の色彩又は詳細表示４２の周囲の領域の色彩を変更する処理である。本実施形態の場合、詳細表示４２の周囲の領域は、吹き出し図形４３の領域内を意味する。   Further, the control unit 31 can execute a color setting process. In the color setting process, when the detailed display 42 related to the attention information of the shortest robot 11 is displayed, the color of the detailed display 42 itself or the color of the area around the detailed display 42 according to the current risk level of the shortest robot 11. It is a process to change. In the case of this embodiment, the area around the detailed display 42 means the area of the balloon graphic 43.

この場合、危険度とは、ユーザ１００がロボット１１に接近した場合にロボット１１からユーザ１００が受ける危険の程度を示す指標である。本実施形態の場合、危険度は、「低」と「高」との２値である。例えば、ロボット１１が停止中又は自動運転中であっても低速で動作している場合、例えユーザ１００がロボット１１に接触したとしてもユーザ１００が受ける影響は小さいため、この場合の危険度は「低」である。一方、ロボット１１が自動運転中であって高速で動作している場合、ユーザ１００がロボット１１に接触した場合にユーザ１００が受ける影響は大きいため、この場合の危険度は「高」である。なお、危険度は、ロボット１１の仕様や動作内容等によって適宜変更することができる。   In this case, the degree of danger is an index indicating the degree of danger that the user 100 receives from the robot 11 when the user 100 approaches the robot 11. In the case of this embodiment, the degree of risk is a binary value of “low” and “high”. For example, when the robot 11 is operating at a low speed even when it is stopped or in automatic operation, even if the user 100 touches the robot 11, the user 100 is less affected. Low. On the other hand, when the robot 11 is operating automatically and operating at a high speed, the user 100 is greatly affected when the user 100 comes into contact with the robot 11, and thus the degree of risk in this case is “high”. The degree of risk can be changed as appropriate according to the specifications and operation contents of the robot 11.

本実施形態の場合、制御部３１は、主に吹き出し図形４３の領域内の色彩を、警告色と通常色との間で変更する。警告色とは、例えば黒色や赤色の暖色系の色彩、つまりユーザ１００の注意を引き易い色彩である。通常色とは、例えば白色や青色の寒色系の色彩などであり、色彩環における警告色の反対色である。この場合、詳細表示４２は、変更された吹き出し図形４３の領域内の色彩に応じて見易い色彩に適宜変更される。   In the case of the present embodiment, the control unit 31 mainly changes the color in the area of the balloon graphic 43 between the warning color and the normal color. The warning color is, for example, a black or red warm color, that is, a color that can easily attract the user's 100 attention. The normal color is, for example, a cold color such as white or blue, and is a color opposite to the warning color in the color circle. In this case, the detailed display 42 is appropriately changed to a color that is easy to see according to the color in the area of the changed balloon graphic 43.

具体例について、例えばユーザ１００と各ロボット１１１、１１２との位置関係が図４のようになっている場合について見る。この場合、第１ロボット１１は最短ロボット１１１であり、第２ロボット１１２は非最短ロボット１１２である。ここで、ユーザ１００と最短ロボット１１１の距離Ｌ１が安全距離であれば、ユーザ１００と非最短ロボット１１２との距離Ｌ２も必然的に安全距離となる。この場合、ロボット１１１、１１２共に動作中であれば、制御部３１は、図５に示すように、最短ロボット１１１と非最短ロボット１１２との注意情報について、それぞれシンボル表示４１を表示させる。一方、ロボット１１１、１１２共に停止中であれば、詳細は図示しないが、制御部３１は、最短ロボット１１１と非最短ロボット１１２との注意情報について、それぞれ何も表示させない。   As a specific example, a case where the positional relationship between the user 100 and each of the robots 111 and 112 is as shown in FIG. In this case, the first robot 11 is the shortest robot 111 and the second robot 112 is the non-shortest robot 112. Here, if the distance L1 between the user 100 and the shortest robot 111 is a safe distance, the distance L2 between the user 100 and the non-shortest robot 112 is necessarily a safe distance. In this case, if both the robots 111 and 112 are operating, the control unit 31 displays the symbol display 41 for the attention information of the shortest robot 111 and the non-shortest robot 112 as shown in FIG. On the other hand, if the robots 111 and 112 are both stopped, although not shown in detail, the control unit 31 does not display any attention information about the shortest robot 111 and the non-shortest robot 112.

また、最短ロボット１１１と非最短ロボット１１２とが停止中であっても、ユーザ１００と最短ロボット１１１の距離Ｌ１が危険距離であれば、制御部３１は、図６に示すように、最短ロボット１１１の注意情報について詳細表示４２を表示させる。この場合、制御部３１は、停止中の非最短ロボット１１２の注意情報については何も表示させない。また、この場合、最短ロボット１１１の危険度は「低」であるため、制御部３１は、吹き出し図形４３の領域内を通常色で表示させる。   In addition, even when the shortest robot 111 and the non-shortest robot 112 are stopped, if the distance L1 between the user 100 and the shortest robot 111 is a dangerous distance, the control unit 31 as shown in FIG. A detailed display 42 is displayed for the attention information. In this case, the control unit 31 does not display any caution information about the non-shortest robot 112 that is stopped. In this case, since the risk level of the shortest robot 111 is “low”, the control unit 31 displays the area of the balloon graphic 43 in the normal color.

また、図６の状態から各ロボット１１１、１１２の自動運転が開始されると、制御部３１は、最短ロボット１１１の注意情報について詳細表示４２を表示させる。この場合、最短ロボット１１１の危険度は「高」であるため、制御部３１は、図７に示すように、最短ロボット１１１の詳細表示４２を有する吹き出し図形４３の領域内を警告色で表示させる。また、この場合、非最短ロボット１１２とユーザ１００との距離Ｌ２も危険距離であれば、制御部３１は、非最短ロボット１１２の注意情報についてはシンボル表示４１を表示させる。   When the automatic operation of the robots 111 and 112 is started from the state of FIG. 6, the control unit 31 displays a detailed display 42 for the attention information of the shortest robot 111. In this case, since the risk level of the shortest robot 111 is “high”, the control unit 31 displays the area of the balloon graphic 43 having the detailed display 42 of the shortest robot 111 in a warning color as shown in FIG. . In this case, if the distance L2 between the non-shortest robot 112 and the user 100 is also a dangerous distance, the control unit 31 displays the symbol display 41 for the caution information of the non-shortest robot 112.

更に、例えば図７の状態から図８に示すように、ユーザ１００が向きを変えてユーザ１００の視界が変化し、最短ロボット１１１がユーザ１００の視界から外れた場合について見る。この場合、制御部３１は、図９に示すように、最短ロボット１１１が存在する方向を指し示すようにして、最短ロボット１１１の注意情報に係る詳細表示４２を表示させる。   Further, for example, as shown in FIG. 8 from the state of FIG. 7, the case where the user 100 changes its direction and the field of view of the user 100 changes and the shortest robot 111 is out of the field of view of the user 100 will be seen. In this case, as shown in FIG. 9, the control unit 31 displays a detailed display 42 related to the attention information of the shortest robot 111 so as to indicate the direction in which the shortest robot 111 exists.

次に、制御部３１で行われる処理について図１１〜図１３も参照して説明する。なお、以下の説明において、距離取得部３２、注意情報取得部３３、視界情報取得部３４、及びロボット識別部３５が行う処理は、全て制御部３１で行う処理として説明する。   Next, processing performed by the control unit 31 will be described with reference to FIGS. In the following description, the processes performed by the distance acquisition unit 32, the attention information acquisition unit 33, the view information acquisition unit 34, and the robot identification unit 35 are all described as processes performed by the control unit 31.

まず、図１１に示すように、制御部３１は、処理を開始すると（スタート）、ステップＳ１１において距離取得処理を実行し、ユーザ１００と各ロボット１１との距離Ｌｘを取得する。次に、制御部３１は、ステップＳ１２において注意情報取得処理を実行し、各ロボット１１の注意情報を取得する。次に、制御部３１は、ステップＳ１３において視界情報取得処理を実行し、ユーザ１００の視界情報を取得する。次に、制御部３１は、ステップＳ１４においてロボット識別処理を実行し、取得したユーザ１００の視界情報に基づいて、そのユーザ１００の視界内に存在するロボット１１を識別する。   First, as illustrated in FIG. 11, when the process starts (start), the control unit 31 executes a distance acquisition process in step S <b> 11 and acquires the distance Lx between the user 100 and each robot 11. Next, the control unit 31 executes attention information acquisition processing in step S <b> 12 and acquires attention information of each robot 11. Next, the control part 31 performs a visibility information acquisition process in step S13, and acquires the visibility information of the user 100. FIG. Next, the control part 31 performs a robot identification process in step S14, and identifies the robot 11 which exists in the visual field of the user 100 based on the acquired visual field information of the user 100.

次に、制御部３１は、ステップＳ１５において特定処理を実行する。特定処理では、制御部３１は、ステップＳ１１で取得した各ロボット１１とユーザ１００との距離Ｌｘをそれぞれ比較して、最も距離Ｌｘが短い最短ロボット１１を特定する。次に、制御部３１は、ステップＳ１６において、ユーザ１００と最短ロボット１１との距離Ｌｘが、安全距離であるか危険距離であるかを判断する。ユーザ１００と最短ロボット１１との距離Ｌｘが危険距離であれば（ステップＳ１６で危険距離）、制御部３１は、ステップＳ２０へ移行して色彩設定処理を実行する。   Next, the control part 31 performs a specific process in step S15. In the specifying process, the control unit 31 compares the distance Lx between each robot 11 acquired in step S11 and the user 100, and specifies the shortest robot 11 having the shortest distance Lx. Next, in step S <b> 16, the control unit 31 determines whether the distance Lx between the user 100 and the shortest robot 11 is a safe distance or a dangerous distance. If the distance Lx between the user 100 and the shortest robot 11 is a dangerous distance (hazardous distance in step S16), the control unit 31 proceeds to step S20 and executes a color setting process.

制御部３１は、ステップＳ２０の色彩設定処理を実行すると、図１２のステップＳ２１において、最短ロボット１１の危険度を判定する。危険度が「高」であれば（ステップＳ２１で「高」）、制御部３１は、ステップＳ２２において詳細表示４２に係る吹き出し図形４３の領域内の色彩を警告色に設定する。一方、危険度が「高」であれば（ステップＳ２１で「低」）、制御部３１は、ステップＳ２３において詳細表示４２に係る吹き出し図形４３の領域内の色彩を普通色に設定する。その後、制御部３１は、図１１のステップＳ１７へ移行する。   When executing the color setting process of step S20, the control unit 31 determines the risk of the shortest robot 11 in step S21 of FIG. If the degree of risk is “high” (“high” in step S21), the control unit 31 sets the color in the region of the balloon graphic 43 related to the detailed display 42 as a warning color in step S22. On the other hand, if the degree of risk is “high” (“low” in step S21), the control unit 31 sets the color in the region of the balloon graphic 43 related to the detailed display 42 to a normal color in step S23. Thereafter, the control unit 31 proceeds to step S17 in FIG.

一方、ユーザ１００と最短ロボット１１との距離Ｌｘが安全距離であれば（図１１のステップＳ１６で安全距離）、ユーザ１００と非最短ロボット１１との距離Ｌｘも必然的に安全距離である。この場合、制御部３１は、ステップＳ２０を実行することなく、ステップＳ１７へ移行する。そして、制御部３１は、ステップＳ１７において、図１０に示した基準に基づいて、各ロボット１１について詳細表示４２又はシンボル表示４１を表示させる。   On the other hand, if the distance Lx between the user 100 and the shortest robot 11 is a safe distance (safe distance in step S16 in FIG. 11), the distance Lx between the user 100 and the non-shortest robot 11 is necessarily a safe distance. In this case, the control unit 31 proceeds to step S17 without executing step S20. And the control part 31 displays the detailed display 42 or the symbol display 41 about each robot 11 based on the reference | standard shown in FIG. 10 in step S17.

その後、制御部３１は、ステップＳ３０において非表示処理を実行する。非表示処理は、ユーザ１００と各ロボット１１との距離Ｌｘが一定期間以上変化していない場合つまりユーザ１００が一定期間以上連続して停止している場合であって、かつユーザ１００と最短ロボット１１との距離Ｌｘが安全距離である場合に、少なくともシンボル表示４１を非表示にする処理である。本実施形態の場合、制御部３１は、ユーザ１００と各ロボット１１との距離Ｌｘが一定期間以上変化しない場合、表示中の詳細表示４２及び全てのシンボル表示４１を非表示にする。   Then, the control part 31 performs a non-display process in step S30. The non-display process is a case where the distance Lx between the user 100 and each robot 11 has not changed for a certain period or more, that is, a case where the user 100 has been continuously stopped for a certain period or more, and the user 100 and the shortest robot 11. When the distance Lx is a safety distance, at least the symbol display 41 is hidden. In the case of this embodiment, when the distance Lx between the user 100 and each robot 11 does not change for a certain period or longer, the control unit 31 hides the displayed detailed display 42 and all symbol displays 41.

制御部３１は、ステップＳ３０において非表示処理を実行すると、図１３の処理を実行する。この場合、制御部３１は、まずステップＳ３１において、ユーザ１００が所定期間以上連続して停止しているか否かを判断する。制御部３１は、ユーザ１００が所定期間以上連続して停止している場合（ステップＳ３１でＹＥＳ）、ステップＳ３２へ移行する。そして、制御部３１は、ステップＳ３２において、ユーザ１００と最短ロボット１１との距離Ｌｘが安全距離であるか否かを判断する。   The control part 31 will perform the process of FIG. 13, if a non-display process is performed in step S30. In this case, the control unit 31 first determines in step S31 whether or not the user 100 has been continuously stopped for a predetermined period or longer. When the user 100 has been continuously stopped for a predetermined period or longer (YES in step S31), the control unit 31 proceeds to step S32. In step S32, the control unit 31 determines whether or not the distance Lx between the user 100 and the shortest robot 11 is a safe distance.

ユーザ１００と最短ロボット１１との距離Ｌｘが安全距離である場合（ステップＳ３２で安全距離）、制御部３１は、表示中の詳細表示４２及び全てのシンボル表示４１を非表示にする。そして、制御部３１は、図１１のステップＳ１１へ移行する（リターン）。一方、制御部３１は、ユーザ１００が所定期間の間に動きがあった場合（ステップＳ３１でＮＯ）、又はユーザ１００と最短ロボット１１との距離Ｌｘが危険距離である場合（ステップＳ３２で危険距離）、制御部３１は、ステップＳ３３を実行することなく、図１１のステップＳ１１へ移行する（リターン）。そして、制御部３１は、ステップＳ１１以降の処理を繰り返す。   When the distance Lx between the user 100 and the shortest robot 11 is a safe distance (safe distance in step S32), the control unit 31 hides the displayed detailed display 42 and all symbol displays 41. And the control part 31 transfers to step S11 of FIG. 11 (return). On the other hand, when the user 100 has moved during a predetermined period (NO in step S31), or when the distance Lx between the user 100 and the shortest robot 11 is a dangerous distance (the dangerous distance in step S32). ) The control unit 31 proceeds to step S11 in FIG. 11 without executing step S33 (return). And the control part 31 repeats the process after step S11.

このように、本実施形態のロボット安全システム１０は、複数台のロボット１１この場合２台のロボット１１について各ロボット１１とユーザ１００との距離Ｌｘを取得する距離取得部３２と、ロボット１１に関する注意をユーザ１００に促すための注意情報を取得する注意情報取得部３３と、ユーザ１００が装着可能であってユーザ１００の視界内に注意情報を表示可能な眼鏡型モニタ２０と、眼鏡型モニタ２０に対する表示内容を制御する制御部３１と、を備える。   As described above, the robot safety system 10 of the present embodiment includes a plurality of robots 11, in this case, the distance acquisition unit 32 that acquires the distance Lx between each robot 11 and the user 100 for the two robots 11, The attention information acquisition unit 33 for acquiring the attention information for prompting the user 100, the spectacles-type monitor 20 that the user 100 can wear and can display the attention information in the field of view of the user 100, and the spectacles-type monitor 20 And a control unit 31 that controls display contents.

これによれば、ユーザ１００は、自己の身体に装着した眼鏡型モニタ２０、この場合、自己の頭部に装着した眼鏡型モニタ２０を通して、複数台のロボット１１の注意情報を確認することができる。したがって、例えユーザ１００とロボット１１との位置関係が変化しとしても、ユーザ１００は、眼鏡型モニタ２０に提示される情報によってロボット１１の動作情報つまり注意情報を得ることができる。そのため、例えばロボット１１に表示器を設けてその表示器に注意情報を表示させる場合に比べて、ロボット１１に関する情報をユーザ１００に確実に提示することができる。   According to this, the user 100 can confirm the attention information of the plurality of robots 11 through the glasses-type monitor 20 worn on his / her body, in this case, the glasses-type monitor 20 worn on his / her head. . Therefore, even if the positional relationship between the user 100 and the robot 11 changes, the user 100 can obtain operation information of the robot 11, that is, attention information based on information presented on the eyeglass-type monitor 20. Therefore, for example, information regarding the robot 11 can be surely presented to the user 100 as compared to a case where a display is provided on the robot 11 to display caution information on the display.

ここで、眼鏡型モニタ２０は、表示部２１を通したユーザ１００の視界内に注意情報を表示するため、複数台のロボット１１に関する注意情報を同時に表示させようとすると、表示部２１の表示領域内がその注意情報によって埋められるおそれがある。すると、ユーザ１００の視界が注意情報によって塞がってしまい、現実のロボット１１が目視できなくなって危険である。   Here, since the eyeglass-type monitor 20 displays the caution information in the field of view of the user 100 through the display unit 21, if the caution information regarding the plurality of robots 11 is to be displayed simultaneously, the display area of the display unit 21 is displayed. There is a risk of the inside being filled with the caution information. Then, the field of view of the user 100 is blocked by the caution information, and the real robot 11 cannot be visually observed, which is dangerous.

つまり、装着型モニタ２０を通して複数台この場合２台のロボット１１１、１１２を実際に目視しているユーザ１００当人だけが、その複数台のロボット１１１、１１２に係る注意情報を得ることができる。この場合、そのユーザ１００当人の一人だけでは、最短ロボット１１１以外の非最短ロボット１１２については同時に手当を行うことができない。そのため、非最短ロボット１１２に関する詳細情報は、ユーザ１００にとっては現時点で必ずしも必要な情報ではなく、むしろ視界を邪魔するような存在となる。   That is, only the user 100 who is actually viewing the plurality of robots 111 and 112 through the wearable monitor 20 in this case can obtain the caution information regarding the plurality of robots 111 and 112. In this case, only one of the 100 users 100 cannot pay for the non-shortest robot 112 other than the shortest robot 111 at the same time. Therefore, the detailed information regarding the non-shortest robot 112 is not necessarily necessary information for the user 100 at the present time, but rather exists as an obstacle to the field of view.

そこで、本実施形態において、制御部３１は、複数台のロボット１１１、１１２のうち、ユーザ１００に最も近い位置のロボット１１つまり最短ロボット１１１に関する注意情報については注意情報の詳細内容を示す詳細表示４２を眼鏡型モニタ２０の表示部２１に表示させる。そして、制御部３１は、ユーザ１００に最も近い位置のロボット１１１以外のロボット１１２つまり非最短ロボット１１２に関する注意情報については、注意情報の存在を示すシンボル表示４１を詳細表示４２よりも小さい形態で眼鏡型モニタ２０に表示させる。   Therefore, in the present embodiment, the control unit 31 displays a detailed display 42 indicating the detailed content of the caution information for the caution information regarding the robot 11 closest to the user 100 among the plurality of robots 111 and 112, that is, the shortest robot 111. Is displayed on the display unit 21 of the eyeglass-type monitor 20. Then, for the caution information related to the robot 112 other than the robot 111 closest to the user 100, that is, the non-shortest robot 112, the control unit 31 displays the symbol display 41 indicating the presence of the caution information in a form smaller than the detailed display 42. Is displayed on the mold monitor 20.

これによれば、最短ロボット１１１以外の非最短ロボット１１２に係る注意情報は、シンボル表示４１として詳細表示４２よりも小さく表示される。そのため、複数台のロボット１１に関する注意情報を全て詳細表示４２で表示させる場合に比べて、ユーザ１００の視界に占める詳細表示４２及びシンボル表示４１の領域が小さくなる。すなわち、非最短ロボット１１２について詳細表示４２が表示されないようにするということは、表示部２１の表示領域内が優先度の低い詳細情報４２によって埋められて、ユーザ１００の視界が塞がれる危険性を低減することができるということである。そして、ユーザ１００は、眼鏡型モニタ２０に表示される詳細表示４２を見ることで、少なくとも自己に最も近い最短ロボット１１１つまり接触等の危険性の最も高いロボット１１１についての注意情報の詳細内容を知ることができる。また、ユーザ１００は、眼鏡型モニタ２０に表示されるシンボル表示４１を見ることで、最短ロボット１１１以外の非最短ロボット１１２について少なくとも注意情報が存在していることを知ることができる。   According to this, the attention information related to the non-shortest robot 112 other than the shortest robot 111 is displayed as a symbol display 41 smaller than the detailed display 42. For this reason, the area of the detailed display 42 and the symbol display 41 occupying the field of view of the user 100 is smaller than when all the attention information regarding the plurality of robots 11 is displayed on the detailed display 42. That is, when the detailed display 42 is not displayed for the non-shortest robot 112, the display area of the display unit 21 is filled with the low-priority detailed information 42, and the user's 100 view may be blocked. It can be reduced. Then, the user 100 knows the detailed contents of the caution information about at least the shortest robot 111 closest to the self, that is, the robot 111 having the highest risk of contact or the like, by looking at the detailed display 42 displayed on the glasses-type monitor 20. be able to. Further, the user 100 can know that at least caution information exists for the non-shortest robot 112 other than the shortest robot 111 by looking at the symbol display 41 displayed on the glasses-type monitor 20.

このように、ロボット安全システム１０は、ユーザ１００が装着可能な眼鏡型モニタ２０を用いる場合において、ロボット１１の注意情報に関して詳細表示４２とシンボル表示４１とを選択的に表示させる。これにより、ロボット安全システム１０は、ユーザ１００に提示する情報量を敢えて低減し、その情報が占める領域を低減することで、ユーザ１００の視界が注意情報で埋まってしまうことを抑制することができる。これにより、ユーザ１００は、眼鏡型モニタ２０を通して、注意情報つまりシンボル表示４１及び詳細表示４２と、現実の風景とを同時に見易くなる。その結果、ロボット安全システム１０は、眼鏡型モニタ２０を用いた場合であっても、複数台のロボット１１の動作状態に関する情報つまり注意情報を同時に見易くユーザ１００に提示することができる。   As described above, the robot safety system 10 selectively displays the detailed display 42 and the symbol display 41 regarding the attention information of the robot 11 when the eyeglass-type monitor 20 that can be worn by the user 100 is used. As a result, the robot safety system 10 can reduce the amount of information presented to the user 100 and reduce the area occupied by the information, thereby suppressing the view of the user 100 from being filled with attention information. . Accordingly, the user 100 can easily view the attention information, that is, the symbol display 41 and the detailed display 42, and the actual scenery through the glasses-type monitor 20 at the same time. As a result, the robot safety system 10 can present to the user 100 information relating to the operation state of the plurality of robots 11, that is, attention information at the same time, even when the glasses-type monitor 20 is used.

ここで、最短ロボット１１１は、複数台のロボット１１２のうちユーザ１００に最も接近しているロボット１１である。そのため、ユーザ１００は、最短ロボット１１１の動作状態について最も注意を払う必要がある。本実施形態によれば、最短ロボット１１１に係る詳細表示４２は、他の非最短ロボット１１２に係るシンボル表示４１よりも大きく表示される。したがって、ユーザ１００の注意を最短ロボット１１１に係る詳細表示４２に引き付けることができる。これにより、ユーザ１００は、最短ロボット１１１の動作状態により注意を払うようになり、その結果、安全性が向上される。   Here, the shortest robot 111 is the robot 11 closest to the user 100 among the plurality of robots 112. Therefore, the user 100 needs to pay the most attention to the operation state of the shortest robot 111. According to the present embodiment, the detailed display 42 related to the shortest robot 111 is displayed larger than the symbol display 41 related to the other non-shortest robot 112. Therefore, the user's 100 attention can be attracted to the detailed display 42 related to the shortest robot 111. As a result, the user 100 comes to pay attention to the operation state of the shortest robot 111, and as a result, safety is improved.

ロボット安全システム１０は、ユーザ１００の視界を特定するための視界情報を取得する視界情報取得部３４と、視界情報取得部３４で取得した視界情報に基づいてユーザ１００の視界内に存在するロボット１１を識別するロボット識別部３５と、を更に備えている。そして、制御部３１は、詳細表示４２と当該詳細表示４２に係る注意情報を有するロボット１１つまり最短ロボット１１１とを極力重ならないように、眼鏡型モニタ２０に表示させる。これによれば、少なくとも最短ロボット１１１がユーザ１００の視界内に存在する場合、その最短ロボット１１１が詳細表示４２によって隠れてしまうことを防ぐことができる。したがって、ユーザは、最短ロボット１１１と、その最短ロボット１１１の詳細表示４２とを同時に目視し易くなり、その結果、視認性が向上する。   The robot safety system 10 includes a visual field information acquisition unit 34 that acquires visual field information for specifying the visual field of the user 100, and a robot 11 that exists in the visual field of the user 100 based on the visual field information acquired by the visual field information acquisition unit 34. And a robot identification unit 35 for identifying. Then, the control unit 31 displays the detailed display 42 and the robot 11 having the attention information related to the detailed display 42, that is, the shortest robot 111 on the glasses-type monitor 20 so as not to overlap as much as possible. According to this, when at least the shortest robot 111 exists in the field of view of the user 100, it is possible to prevent the shortest robot 111 from being hidden by the detailed display 42. Therefore, the user can easily view the shortest robot 111 and the detailed display 42 of the shortest robot 111 at the same time, and as a result, the visibility is improved.

制御部３１は、最短ロボット１１１について、ユーザ１００と最短ロボット１１１との距離Ｌｘが危険距離である場合には詳細表示４２を眼鏡型モニタ２０に表示させる。一方、制御部３１は、ユーザ１００と最短ロボット１１１との距離Ｌｘが安全距離である場合には、シンボル表示４１を眼鏡型モニタ２０に表示させる。すなわち、複数台のロボット１１のうちユーザ１００に最も接近している最短ロボット１１１に対して安全距離が確保されていれば、全てのロボット１１について安全距離が確保されているといえる。この場合、最短ロボット１１１の注意情報についても、詳細表示４２に換えて詳細表示４２よりも小さいシンボル表示４１を表示させることで、ユーザ１００の視界をより広く確保することができる。その結果、ユーザ１００は、ロボット１１等の目視がよりし易くなる。   When the distance Lx between the user 100 and the shortest robot 111 is a dangerous distance, the control unit 31 displays a detailed display 42 on the eyeglass-type monitor 20. On the other hand, when the distance Lx between the user 100 and the shortest robot 111 is a safe distance, the control unit 31 displays the symbol display 41 on the glasses-type monitor 20. That is, if a safety distance is secured for the shortest robot 111 that is closest to the user 100 among the plurality of robots 11, it can be said that the safety distance is secured for all the robots 11. In this case, with regard to the attention information of the shortest robot 111, by displaying the symbol display 41 smaller than the detailed display 42 instead of the detailed display 42, it is possible to secure a wider field of view of the user 100. As a result, the user 100 can more easily view the robot 11 and the like.

ロボット安全システム１０は、ユーザ１００の視界を特定するための視界情報を取得する視界情報取得部３４と、視界情報取得部３４で取得した視界情報に基づいてユーザ１００の視界内に存在するロボット１１を識別するロボット識別部３５と、を更に備える。そして、制御部３１は、少なくとも詳細表示４２が最短ロボット１１１に重ならないように詳細表示４２を眼鏡型モニタ２０に表示させる。これによれば、少なくとも最短ロボット１１１が、その最短ロボット１１１の詳細表示４２によって隠れてしまうことを防ぐことができる。したがって、ユーザ１００は、最短ロボット１１１と、その最短ロボット１１１の詳細表示４２とを同時に目視し易くなり、その結果、視認性が向上する。   The robot safety system 10 includes a visual field information acquisition unit 34 that acquires visual field information for specifying the visual field of the user 100, and a robot 11 that exists in the visual field of the user 100 based on the visual field information acquired by the visual field information acquisition unit 34. And a robot identification unit 35 for identifying. Then, the control unit 31 displays the detailed display 42 on the eyeglass-type monitor 20 so that at least the detailed display 42 does not overlap the shortest robot 111. According to this, it is possible to prevent at least the shortest robot 111 from being hidden by the detailed display 42 of the shortest robot 111. Therefore, the user 100 can easily view the shortest robot 111 and the detailed display 42 of the shortest robot 111 at the same time, and as a result, visibility is improved.

シンボル表示４１は、３文字以上の文字列を有さない図記号で構成されている。これによれば、シンボル表示４１の表示領域をより小さくすることができる。また、詳細表示４２は、３文字以上の文字列を有して構成されている。これによれば、シンボル表示４１に比べてユーザ１００に提示することが可能な情報量をより多くすることができ、ユーザ１００に対してロボット１１の正確な動作状態つまり注意情報を提示することができる。   The symbol display 41 is configured by a graphic symbol having no character string of three characters or more. According to this, the display area of the symbol display 41 can be further reduced. Further, the detailed display 42 is configured to have a character string of three characters or more. According to this, it is possible to increase the amount of information that can be presented to the user 100 as compared to the symbol display 41, and to present the accurate operation state of the robot 11, that is, attention information to the user 100. it can.

制御部３１は、注意情報の内容に応じて詳細表示の色彩又は詳細表示の周囲の領域の色彩を変化させることができる。本実施形態の場合、制御部３１は、注意情報の危険度つまりロボット１１の危険度の高低に基づいて、吹き出し図形４３内の領域の色彩を変更することができる。これによれば、注意情報の危険度に応じて、ユーザ１００の注目度を変化させることができる。すなわち、ロボット１１の危険度が高い場合には、吹き出し図形４３内の領域を例えば赤色等の警告色にすることで、その吹き出し図形４３内の詳細表示４２にユーザ１００の注意を引くことができる。その結果、安全性が更に向上される。   The control unit 31 can change the color of the detailed display or the color of the area around the detailed display according to the content of the caution information. In the case of the present embodiment, the control unit 31 can change the color of the area in the balloon graphic 43 based on the risk level of the caution information, that is, the level of the risk level of the robot 11. According to this, the attention level of the user 100 can be changed according to the risk level of the caution information. That is, when the degree of danger of the robot 11 is high, the user 100 can draw attention to the detailed display 42 in the balloon graphic 43 by setting the area in the balloon graphic 43 to a warning color such as red, for example. . As a result, safety is further improved.

制御部３１は、ユーザ１００と各ロボット１１との距離が一定期間以上変化せず、かつユーザ１００と最短ロボット１１１との距離Ｌｘが安全距離である場合に、少なくとも前記シンボル表示４１を非表示にする。本実施形態の場合、ユーザ１００と各ロボット１１との距離が一定期間以上変化しない場合つまり一定期間ユーザ１００に動きが無い場合で、かつユーザ１００と最短ロボット１１１との距離Ｌｘが安全距離である場合に、表示中の詳細表示４２及び全てのシンボル表示４１を非表示にする。   The control unit 31 hides at least the symbol display 41 when the distance between the user 100 and each robot 11 does not change over a certain period and the distance Lx between the user 100 and the shortest robot 111 is a safe distance. To do. In the case of the present embodiment, the distance Lx between the user 100 and the robot 11 is a safe distance when the distance between the user 100 and the robot 11 does not change for a certain period of time, that is, when the user 100 does not move for a certain period of time. In this case, the detailed display 42 and all symbol displays 41 being displayed are not displayed.

すなわち、ユーザ１００と各ロボット１１との距離Ｌｘが一定期間以上変化しない状況とは、例えばユーザ１００がその場に停止してロボット１１の動作を観察している状況等が考えられる。この場合、ユーザ１００と最短ロボット１１との距離Ｌｘが安全距離であって、ユーザ１００の安全が確保されている状態であれば、詳細表示４２等の情報を非表示としても特に問題は生じない。むしろ、詳細表示４２等を非表示とすることで、ユーザ１００の視界をより広く確保することができるため、ユーザ１００のロボット１１やロボット１１の周辺に対する視認性が向上する。その結果、ユーザ１００は、ロボット１１やロボット１１の周辺の観察がし易くなり、利便性の向上が図られる。   That is, the situation where the distance Lx between the user 100 and each robot 11 does not change for a certain period of time can be considered, for example, the situation where the user 100 stops on the spot and observes the operation of the robot 11. In this case, if the distance Lx between the user 100 and the shortest robot 11 is a safe distance and the safety of the user 100 is ensured, there is no particular problem even if information such as the detailed display 42 is not displayed. . Rather, by hiding the detailed display 42 and the like, it is possible to secure a wider field of view of the user 100, so that the visibility of the user 100 to the robot 11 and the surroundings of the robot 11 is improved. As a result, the user 100 can easily observe the robot 11 and the surroundings of the robot 11, and the convenience is improved.

なお、本発明の実施形態は、上記し又図面に記載した態様に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形や拡張をすることができる。
例えば各ロボット１１側に人を検知するレーザセンサや人感センサ等を設けておき、それらのセンサの検出結果に基づいてユーザ１００の位置を特定する構成としたり、センサの検出結果と撮像部２２で撮像した画像とに基づいて位置を特定する構成としたり、撮像部２２によって撮像された画像に基づいて各ロボット１１に対する相対的な位置を特定する構成としたりしてもよい。 The embodiment of the present invention is not limited to the above-described embodiment and can be variously modified and extended without departing from the gist thereof.
For example, a laser sensor or a human sensor that detects a person is provided on each robot 11 side, and the position of the user 100 is specified based on the detection results of those sensors, or the detection results of the sensors and the imaging unit 22. The position may be specified based on the image picked up in (1), or the relative position with respect to each robot 11 may be specified based on the image picked up by the image pickup unit 22.

制御部３１、距離取得部３２、注意情報取得部３３、視界情報取得部３４、及びロボット識別部３５を、それぞれ安全装置１３側又は眼鏡型モニタ２０側に分散させて設けてもよい。
本実施形態において、対象とするロボット１１の台数に制限は無いが、眼鏡型モニタ２０に表示される情報量や一般的な人間が処理可能な情報量を考慮すると、対象とするロボット１１の台数は５台程度までが好ましい。
ロボット１１は、特定の場所に固定されているものに限られず、例えば自走可能な構成であってもよい。
眼鏡型モニタ２０の表示部２１は、透過型ディスプレイに限られない。装着型モニタ２０の表示部２１は、例えば不透過型のディスプレイであって、撮像部２２で撮像した映像をユーザの視界としてリアルタイムで映し出すものでもよい。
そして、装着型モニタは、必ずしも眼鏡型モニタ２０である必要はなく、作業者が頭部に装着するディスプレイに、画像を投影可能に構成されるものであれば良い。 The control unit 31, the distance acquisition unit 32, the attention information acquisition unit 33, the view information acquisition unit 34, and the robot identification unit 35 may be separately provided on the safety device 13 side or the eyeglass-type monitor 20 side.
In the present embodiment, the number of target robots 11 is not limited, but considering the amount of information displayed on the glasses-type monitor 20 and the amount of information that can be processed by a general human, the number of target robots 11 Is preferably about 5 units.
The robot 11 is not limited to a robot that is fixed at a specific location, and may be configured to be able to run on its own, for example.
The display unit 21 of the glasses-type monitor 20 is not limited to a transmissive display. The display unit 21 of the wearable monitor 20 may be, for example, a non-transparent display, and may display an image captured by the imaging unit 22 in real time as a user's field of view.
The wearable monitor is not necessarily the glasses-type monitor 20 as long as it is configured to be able to project an image on a display worn by the operator on the head.

図面中、１０はロボット安全システム、２０は眼鏡型モニタ（装着型モニタ）、３１は制御部、３２は距離取得部、３３は注意情報取得部、３４は視界情報取得部、３５はロボット識別部、４１はシンボル表示、４２は詳細表示を示す。   In the drawings, 10 is a robot safety system, 20 is an eyeglass monitor (wearable monitor), 31 is a control unit, 32 is a distance acquisition unit, 33 is a caution information acquisition unit, 34 is a view information acquisition unit, and 35 is a robot identification unit. , 41 is a symbol display, and 42 is a detailed display.

Claims (6)

複数台のロボットについて各ロボットとユーザとの距離を取得する距離取得部と、
前記ロボットに関する注意をユーザに促すための注意情報を取得する注意情報取得部と、
ユーザが装着可能であってユーザの視界内に前記注意情報を表示可能な装着型モニタと、
前記装着型モニタに対する表示内容を制御する制御部と、を備え、
前記制御部は、複数台の前記ロボットのうち、ユーザの最も近くに位置するロボットである最短ロボットに関する前記注意情報については前記注意情報の詳細内容を示す詳細表示を前記装着型モニタに表示させ、前記最短ロボット以外のロボットである非最短ロボットに関する前記注意情報については前記注意情報の存在を示すシンボル表示を前記詳細表示よりも小さい形態で前記装着型モニタに表示させる処理を行うことができる、
ロボット安全システム。 A distance acquisition unit for acquiring the distance between each robot and the user for a plurality of robots;
A caution information acquisition unit for acquiring caution information for prompting a user to pay attention regarding the robot;
A wearable monitor that can be worn by the user and can display the attention information in the user's field of view;
A control unit for controlling display contents for the wearable monitor,
The control unit causes the wearable monitor to display a detailed display indicating the detailed content of the caution information for the caution information regarding the shortest robot that is the closest robot to the user among the plurality of robots. With respect to the caution information regarding the non-shortest robot that is a robot other than the shortest robot, it is possible to perform processing for displaying a symbol display indicating the presence of the caution information on the wearable monitor in a form smaller than the detailed display.
Robot safety system. 前記制御部は、前記最短ロボットについて、ユーザと前記最短ロボットとの距離が危険距離である場合には前記詳細表示を前記装着型モニタに表示させ、ユーザと前記最短ロボットとの距離が安全距離である場合には前記シンボル表示を前記装着型モニタに表示させる処理を行うことができる、
請求項１に記載のロボット安全システム。 When the distance between the user and the shortest robot is a dangerous distance, the control unit displays the detailed display on the wearable monitor, and the distance between the user and the shortest robot is a safe distance. In some cases, the symbol display can be displayed on the wearable monitor.
The robot safety system according to claim 1. ユーザの視界を特定するための視界情報を取得する視界情報取得部と、
前記視界情報取得部で取得した前記視界情報に基づいてユーザの視界内に存在する前記ロボットを識別するロボット識別部と、を更に備え、
前記制御部は、少なくとも前記詳細表示が前記最短ロボットに重ならないように前記詳細表示を前記装着型モニタに表示させる処理を行うことができる、
請求項１又は２に記載のロボット安全システム。 A view information acquisition unit for acquiring view information for identifying the user's view;
A robot identification unit that identifies the robot existing in the user's field of vision based on the field of vision information acquired by the field of vision information acquisition unit;
The control unit can perform a process of displaying the detailed display on the wearable monitor so that at least the detailed display does not overlap the shortest robot.
The robot safety system according to claim 1 or 2. 前記シンボル表示は、３文字以上の文字列を有さない図記号で構成され、
前記詳細表示は、３文字以上の文字列を有して構成されている、
請求項１から３のいずれか一項に記載のロボット安全システム。 The symbol display is composed of a graphic symbol having no character string of three characters or more,
The detailed display has a character string of three or more characters,
The robot safety system according to any one of claims 1 to 3. 前記制御部は、前記注意情報の内容に応じて前記詳細表示の色彩又は前記詳細表示の周囲の領域の色彩を変化させる処理を行うことができる、
請求項１から４のいずれか一項に記載のロボット安全システム。 The control unit can perform a process of changing the color of the detailed display or the color of the area around the detailed display according to the content of the caution information.
The robot safety system according to any one of claims 1 to 4. 前記制御部は、ユーザと各前記ロボットとの距離が一定期間以上変化せず、かつユーザと前記最短ロボットとの距離が安全距離である場合に、少なくとも前記シンボル表示を非表示にする処理を行うことができる、
請求項１から５のいずれか一項に記載のロボット安全システム。 The control unit performs a process of hiding at least the symbol display when the distance between the user and each robot does not change for a certain period or more and the distance between the user and the shortest robot is a safe distance. be able to,
The robot safety system according to any one of claims 1 to 5.
JP2015233297A 2015-11-30 2015-11-30 Robot safety system Active JP6645142B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015233297A JP6645142B2 (en) 2015-11-30 2015-11-30 Robot safety system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015233297A JP6645142B2 (en) 2015-11-30 2015-11-30 Robot safety system

Publications (2)

Publication Number Publication Date
JP2017100206A true JP2017100206A (en) 2017-06-08
JP6645142B2 JP6645142B2 (en) 2020-02-12

Family

ID=59016320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015233297A Active JP6645142B2 (en) 2015-11-30 2015-11-30 Robot safety system

Country Status (1)

Country Link
JP (1) JP6645142B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6403920B1 (en) * 2017-11-17 2018-10-10 三菱電機株式会社 3D space monitoring device, 3D space monitoring method, and 3D space monitoring program
JP2019187146A (en) * 2018-04-13 2019-10-24 中国電力株式会社 Warning image provision system
JP2019188531A (en) * 2018-04-25 2019-10-31 ファナック株式会社 Simulation device of robot
JP2019188530A (en) * 2018-04-25 2019-10-31 ファナック株式会社 Simulation device of robot
JP2019206050A (en) * 2018-05-29 2019-12-05 セイコーエプソン株式会社 Control device, head-mounted display, and robot system
JP2020015128A (en) * 2018-07-25 2020-01-30 ファナック株式会社 Sensing system, work system, extended reality image display method, extended reality image memorizing method, and program
WO2021039897A1 (en) * 2019-08-30 2021-03-04 Ｊｏｈｎａｎ株式会社 Control device, control method, and program
US11049287B2 (en) 2018-08-31 2021-06-29 Fanuc Corporation Sensing system, work system, augmented-reality-image displaying method, and program
CN114924513A (en) * 2022-06-07 2022-08-19 中迪机器人(盐城)有限公司 Multi-robot cooperative control system and method
JP7360406B2 (en) 2018-06-26 2023-10-12 ファナック アメリカ コーポレイション Augmented reality visualization for robotic picking systems

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5697387A (en) * 1979-12-29 1981-08-06 Matsushita Electric Works Ltd Operation display system for disaster prevention system
JPH01140298A (en) * 1987-11-26 1989-06-01 Matsushita Electric Works Ltd Disaster preventing system
JP2001052271A (en) * 1999-08-10 2001-02-23 Nohmi Bosai Ltd Disaster preventive display device
JP2004243516A (en) * 2003-02-11 2004-09-02 Kuka Roboter Gmbh Method for fading-in information created by computer into image of real environment, and device for visualizing information created by computer to image of real environment
JP2009040108A (en) * 2007-08-06 2009-02-26 Denso Corp Image display control device and image display control system
WO2011080882A1 (en) * 2009-12-28 2011-07-07 パナソニック株式会社 Operating space presentation device, operating space presentation method, and program
JP2011227879A (en) * 2010-03-30 2011-11-10 Ns Solutions Corp Information providing device, information providing method, and program
JP2012003462A (en) * 2010-06-16 2012-01-05 Toshiba Corp Information terminal, launcher program and method
WO2013118191A1 (en) * 2012-02-10 2013-08-15 三菱電機株式会社 Driving assistance device and driving assistance method
JP2014096057A (en) * 2012-11-09 2014-05-22 Sharp Corp Image processing apparatus
JP2015049842A (en) * 2013-09-04 2015-03-16 トヨタ自動車株式会社 Alert display device and alert display method

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5697387A (en) * 1979-12-29 1981-08-06 Matsushita Electric Works Ltd Operation display system for disaster prevention system
JPH01140298A (en) * 1987-11-26 1989-06-01 Matsushita Electric Works Ltd Disaster preventing system
JP2001052271A (en) * 1999-08-10 2001-02-23 Nohmi Bosai Ltd Disaster preventive display device
JP2004243516A (en) * 2003-02-11 2004-09-02 Kuka Roboter Gmbh Method for fading-in information created by computer into image of real environment, and device for visualizing information created by computer to image of real environment
JP2009040108A (en) * 2007-08-06 2009-02-26 Denso Corp Image display control device and image display control system
WO2011080882A1 (en) * 2009-12-28 2011-07-07 パナソニック株式会社 Operating space presentation device, operating space presentation method, and program
JP2011227879A (en) * 2010-03-30 2011-11-10 Ns Solutions Corp Information providing device, information providing method, and program
JP2012003462A (en) * 2010-06-16 2012-01-05 Toshiba Corp Information terminal, launcher program and method
WO2013118191A1 (en) * 2012-02-10 2013-08-15 三菱電機株式会社 Driving assistance device and driving assistance method
JP2014096057A (en) * 2012-11-09 2014-05-22 Sharp Corp Image processing apparatus
JP2015049842A (en) * 2013-09-04 2015-03-16 トヨタ自動車株式会社 Alert display device and alert display method

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6403920B1 (en) * 2017-11-17 2018-10-10 三菱電機株式会社 3D space monitoring device, 3D space monitoring method, and 3D space monitoring program
WO2019097676A1 (en) * 2017-11-17 2019-05-23 三菱電機株式会社 Three-dimensional space monitoring device, three-dimensional space monitoring method, and three-dimensional space monitoring program
CN111372735A (en) * 2017-11-17 2020-07-03 三菱电机株式会社 3-dimensional space monitoring device, 3-dimensional space monitoring method, and 3-dimensional space monitoring program
JP2019187146A (en) * 2018-04-13 2019-10-24 中国電力株式会社 Warning image provision system
JP7059770B2 (en) 2018-04-13 2022-04-26 中国電力株式会社 Warning image providing system
CN110394779A (en) * 2018-04-25 2019-11-01 发那科株式会社 The simulator of robot
JP2019188531A (en) * 2018-04-25 2019-10-31 ファナック株式会社 Simulation device of robot
CN110394780B (en) * 2018-04-25 2023-06-27 发那科株式会社 Simulation device of robot
CN110394780A (en) * 2018-04-25 2019-11-01 发那科株式会社 The simulator of robot
JP2019188530A (en) * 2018-04-25 2019-10-31 ファナック株式会社 Simulation device of robot
US11220002B2 (en) 2018-04-25 2022-01-11 Fanuc Corporation Robot simulation device
US11192249B2 (en) 2018-04-25 2021-12-07 Fanuc Corporation Simulation device for robot
JP7187820B2 (en) 2018-05-29 2022-12-13 セイコーエプソン株式会社 Controllers, head-mounted displays, and robot systems
JP2019206050A (en) * 2018-05-29 2019-12-05 セイコーエプソン株式会社 Control device, head-mounted display, and robot system
JP7360406B2 (en) 2018-06-26 2023-10-12 ファナック アメリカ コーポレイション Augmented reality visualization for robotic picking systems
US10885340B2 (en) 2018-07-25 2021-01-05 Fanuc Corporation Sensing system, work system, augmented-reality-image displaying method, augmented-reality-image storing method, and program
JP2020015128A (en) * 2018-07-25 2020-01-30 ファナック株式会社 Sensing system, work system, extended reality image display method, extended reality image memorizing method, and program
US11328507B2 (en) 2018-07-25 2022-05-10 Fanuc Corporation Sensing system, work system, augmented-reality-image displaying method, augmented-reality-image storing method, and program
US11049287B2 (en) 2018-08-31 2021-06-29 Fanuc Corporation Sensing system, work system, augmented-reality-image displaying method, and program
WO2021039897A1 (en) * 2019-08-30 2021-03-04 Ｊｏｈｎａｎ株式会社 Control device, control method, and program
CN114924513A (en) * 2022-06-07 2022-08-19 中迪机器人(盐城)有限公司 Multi-robot cooperative control system and method

Also Published As

Publication number Publication date
JP6645142B2 (en) 2020-02-12

Similar Documents

Publication Publication Date Title
JP6645142B2 (en) Robot safety system
CN106808496B (en) Robot safety system
US10474411B2 (en) System and method for alerting VR headset user to real-world objects
US20210170603A1 (en) Method for using a multi-link actuated mechanism, preferably a robot, particularly preferably an articulated robot, by a user by means of a mobile display apparatus
JP6491574B2 (en) AR information display device
US10712566B2 (en) Information displaying system provided with head-mounted type display
EP3163407B1 (en) Method and apparatus for alerting to head mounted display user
US20180136716A1 (en) Method for operating a virtual reality system, and virtual reality system
JP2017100207A (en) Robot safety system
US11148299B2 (en) Teaching apparatus and teaching method for robots
JP6589604B2 (en) Teaching result display system
JP6582921B2 (en) Robot monitor system
JP6657858B2 (en) Robot operation system
JP2017102242A (en) Information display system
US10359840B2 (en) Method for operating a virtual reality system, and virtual reality system
JP6834620B2 (en) Information display system
US10684480B2 (en) Information display system
JP6874448B2 (en) Information display system
JP2022122936A (en) Information display system
JP6631203B2 (en) Virtual fence display system
JP6690203B2 (en) Robot safety system
JP6958018B2 (en) Information display system
CN115079973A (en) Display system and display device
KR101975556B1 (en) Apparatus of controlling observation view of robot
JP2021011017A (en) Display system for robot

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191223

R150 Certificate of patent or registration of utility model

Ref document number: 6645142

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250