JP2017102242A - Information display system - Google Patents

Information display system Download PDF

Info

Publication number
JP2017102242A
JP2017102242A JP2015234680A JP2015234680A JP2017102242A JP 2017102242 A JP2017102242 A JP 2017102242A JP 2015234680 A JP2015234680 A JP 2015234680A JP 2015234680 A JP2015234680 A JP 2015234680A JP 2017102242 A JP2017102242 A JP 2017102242A
Authority
JP
Japan
Prior art keywords
display
information
worker
operation information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015234680A
Other languages
Japanese (ja)
Other versions
JP6746902B2 (en
Inventor
博太 當眞
Hirota Toma
博太 當眞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Original Assignee
Denso Wave Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc filed Critical Denso Wave Inc
Priority to JP2015234680A priority Critical patent/JP6746902B2/en
Priority to US15/362,123 priority patent/US10712566B2/en
Publication of JP2017102242A publication Critical patent/JP2017102242A/en
Application granted granted Critical
Publication of JP6746902B2 publication Critical patent/JP6746902B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an information display system capable of displaying a piece of required information on a transmission type display unit without interfering field of vision of a worker as much as possible.SOLUTION: A safety controller 3 calculates a display mode of a facility and the like which enters in a field of vision of a worker 7 via a display unit 4D of a pair of smart glasses 4 based on the position of a robot arm 2 and a facility M and a piece of three-dimensional state information and a piece of information of the position and the field of vision of the worker 7 which is acquired via a sensor part 5. Acquiring the information of the display mode and a piece of operation information of the facility or the like, the smart glasses 4 sets a part of the facility entering in the field of vision of the worker 7 as a display prohibit area on the display unit 4D and displays a piece of operation information in an area other than the display prohibit area.SELECTED DRAWING: Figure 1

Description

本発明は、作業者が頭部に装着するタイプのディスプレイの表示部に、生産設備の稼働情報を表示させるシステムに関する。   The present invention relates to a system for displaying production facility operation information on a display unit of a display of a type worn by an operator on the head.

作業者が頭部に装着する表示部に画像を投影可能に構成される頭部装着型ディスプレイを用いて、例えば仮想現実の画像や様々な情報を表示する技術が例えば特許文献１等で提案されている。この技術を、ロボットが作業する領域に立ち入る作業者に、ロボットの動作情報等を表示して伝達するために適用することを想定する。   For example, Patent Literature 1 proposes a technique for displaying a virtual reality image and various information using a head-mounted display configured to project an image on a display unit worn by the operator on the head. ing. It is assumed that this technique is applied to display and transmit robot operation information and the like to a worker who enters a region where the robot works.

特開２０１４−９５９０３号公報JP 2014-95903 A

例えば頭部装着型ディスプレイが眼鏡型であり、眼鏡のレンズに相当する部分が透明の表示部になっているとする。この場合、上記動作情報としての例えば文字等が常に表示部の一定領域に表示されると、その情報の画像が、作業者が表示部を透過して見ている実景に重畳されることも想定される。すると、作業者の視界を妨げることになり、作業効率の低下が懸念される。   For example, it is assumed that the head-mounted display is a spectacle type, and the portion corresponding to the lens of the spectacles is a transparent display unit. In this case, it is also assumed that when, for example, characters or the like as the operation information are always displayed in a certain area of the display unit, the image of the information is superimposed on the actual scene that the operator sees through the display unit. Is done. As a result, the operator's field of view is obstructed, and there is a concern that the work efficiency may be reduced.

本発明は上記事情に鑑みてなされたものであり、その目的は、作業者の視界を極力妨げることなく、透過型の表示部に必要な情報を表示可能とする情報表示システムを提供することにある。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an information display system capable of displaying necessary information on a transmissive display unit without hindering the operator's field of view as much as possible. is there.

請求項１記載の情報表示システムによれば、計算部は、生産設備の位置及び３次元的な形態情報と、位置方向情報取得部を介して取得した作業者の位置及び視線方向の情報から、頭部装着型ディスプレイの表示部を介して前記作業者の視界に入る生産設備の表示態様を計算する。表示制御部は、前記表示態様の情報及び生産設備の稼働情報を取得すると、表示部において作業者の視界に入る生産設備の部分を表示禁止領域に設定し、その表示禁止領域以外の領域に稼働情報を表示させる。   According to the information display system according to claim 1, the calculation unit includes the position of the production facility and the three-dimensional form information, and the information on the position and the line-of-sight direction of the worker acquired through the position / direction information acquisition unit. The display mode of the production facility that enters the field of view of the operator is calculated via the display unit of the head-mounted display. When the display control unit acquires the display mode information and the production facility operation information, the display unit sets the part of the production facility that enters the worker's view in the display unit as a display prohibited region, and operates in a region other than the display prohibited region. Display information.

このように構成すれば、頭部装着型ディスプレイの表示部を介した作業者の視界には、当該表示部を介して見る生産設備の実景に重ならない態様で、つまりそれらの背景となる部分にのみ生産設備の稼働情報が表示される。したがって、作業者は、常に生産設備の視認性を確保した状態で、表示部に表示された生産設備の稼働情報も視認することができる。   If comprised in this way, in the aspect which does not overlap with the actual scene of the production facility seen through the said display part in the field of view of an operator via the display part of a head-mounted display, that is, in the part which becomes those backgrounds Only production facility operation information is displayed. Therefore, the worker can also visually check the operation information of the production facility displayed on the display unit in a state where the visibility of the production facility is always secured.

尚、発明が解決しようとする課題において記載した「作業者の視界を妨げる」とは、作業者の視界に入るような近距離にある設備やロボット等に重ねて情報を表示すると、それら近距離にある設備やロボット等が見え難くなることを意味する。作業者の作業は殆ど作業者の近傍，周辺で行うことになるが、その作業の遂行に際して近距離にある設備やロボット等が視認し難い状態にあると、作業者が思うように作業を進められず極めて不都合である。   It should be noted that “obstructing the worker's field of view” described in the problem to be solved by the invention means that when information is displayed on equipment or robots that are close enough to enter the field of view of the worker, the near field This means that it is difficult to see the equipment, robots, etc. The worker's work is mostly done in the vicinity of the worker, but the work is carried out as the worker thinks that it is difficult to visually recognize equipment and robots at a short distance when performing the work. It is extremely inconvenient.

一方、かなり遠方に存在する設備やロボット等は、その作業者の作業に関与する可能性はまず無いので、そこに情報の表示を重ねることは特に作業の不都合とはならない。したがって、作業者の近傍に位置する設備やロボットに等に情報の表示が重ねられる状態が、作業者の視界が妨げられている状態である。   On the other hand, since equipment, robots, and the like that are located far away are unlikely to be involved in the work of the worker, it is not particularly inconvenient to display information on them. Therefore, a state in which information is displayed on equipment or a robot located in the vicinity of the worker is a state in which the worker's view is obstructed.

請求項２記載の情報表示システムによれば、計算部は、生産設備にロボットが含まれているとそのロボット本体の姿勢情報を取得し、ロボット本体の姿勢の変化に応じて生産設備の表示態様を変化させる。すなわち、例えば多軸型ロボットのように、ロボット本体であるアームの姿勢が動的に変化するものが生産設備に含まれている場合には、ロボットアームの姿勢の変化を表示態様に反映させる。したがって、表示部を介した作業者の視界内でロボットアームが動く場合でも、その動きを考慮して表示禁止領域が設定されるので、作業者は、アームの動きに妨げられることなく稼働情報を視認できる。   According to the information display system of claim 2, when the production facility includes a robot, the calculation unit obtains the posture information of the robot body, and displays the production facility according to the change in the posture of the robot body. To change. That is, for example, when the production equipment includes a robot whose body posture changes dynamically, such as a multi-axis robot, the change in the posture of the robot arm is reflected in the display mode. Therefore, even when the robot arm moves within the field of view of the operator via the display unit, the display prohibited area is set in consideration of the movement, so that the operator can obtain the operation information without being hindered by the movement of the arm. Visible.

請求項３記載の情報表示システムによれば、計算部は、作業者より一定距離以上離れている生産設備については表示禁止領域として設定しない。すなわち、一定距離以上離れている生産設備は作業者の視界内で非常に小さく捉えられるので、視覚情報として排除しても問題はない。したがって、その領域に稼働情報を表示させるようにすれば、情報の表示可能領域をより広く確保できる。   According to the information display system of the third aspect, the calculation unit does not set a production facility that is more than a certain distance away from the worker as a display prohibited area. In other words, production facilities that are separated by a certain distance or more can be grasped very small in the worker's field of view, so there is no problem even if they are excluded as visual information. Accordingly, if the operation information is displayed in the area, a wider displayable area can be secured.

請求項４記載の情報表示システムによれば、表示制御部は、作業者の視線方向が俯角側に一定角度以上傾くと稼働情報の表示を禁止する。すなわち、作業者が俯くことで視線が下方に向くと、作業者の視界には生産設備が設置されている床面が入るようになる。そのような状態で表示禁止領域以外の領域に稼働情報を表示すると、作業者の足元の視界を妨げるおそれがある。したがって、稼働情報の表示を禁止することにより、作業者は足元の視界を良好に確保できる。   According to the information display system of the fourth aspect, the display control unit prohibits the display of the operation information when the operator's line-of-sight direction tilts more than a certain angle toward the depression angle side. That is, when the worker turns and the line of sight turns downward, the floor on which the production facility is installed enters the worker's field of view. If operation information is displayed in an area other than the display-prohibited area in such a state, there is a risk of hindering the visibility of the worker's feet. Therefore, by prohibiting the display of the operation information, the worker can secure a good field of view.

請求項５記載の情報表示システムによれば、表示制御部は、表示禁止領域が増大したことで表示部における稼働情報の表示可能領域が一定以上小さくなると、稼働情報の表示を禁止する。すなわち、表示可能領域が小さくなり過ぎると、作業者が視認可能な状態で稼働情報を表示することができなくなる。したがって、稼働情報の表示を禁止することで、作業者の視界をより拡げるようにする。   According to the information display system of the fifth aspect, the display control unit prohibits the display of the operation information when the displayable region of the operation information on the display unit becomes smaller than a certain value due to the increase of the display prohibition region. That is, if the displayable area becomes too small, the operation information cannot be displayed in a state where the worker can visually recognize it. Therefore, by prohibiting the display of the operation information, the operator's field of view is further expanded.

請求項６記載の情報表示システムによれば、表示制御部は、表示禁止領域の位置に応じて稼働情報の表示可能領域を複数設定可能であると、稼働情報を複数の表示可能領域に表示する。このように構成すれば、例えば２つの生産設備がある場合に、それぞれの稼働情報を２つの表示可能領域に表示し分けることができる。   According to the information display system of the sixth aspect, the display control unit displays the operation information in the plurality of displayable areas when a plurality of operation information displayable areas can be set according to the position of the display prohibition area. . If comprised in this way, when there are two production facilities, for example, each operation information can be displayed and divided into two displayable areas.

請求項７記載の情報表示システムによれば、計算部は、作業者と生産設備との位置関係を画像データとして生成し、その画像データを稼働情報に含ませる。このように構成すれば、作業者は、表示部に表示される画像により、現在の自身と生産設備との位置関係を簡単に認識できるようになる。したがって、作業の安全性をより高めることができる。   According to the information display system of the seventh aspect, the calculation unit generates the positional relationship between the worker and the production facility as image data, and includes the image data in the operation information. With this configuration, the worker can easily recognize the current positional relationship between himself and the production facility from the image displayed on the display unit. Therefore, work safety can be further increased.

一実施形態であり、情報表示システムの構成を概略的に示す機能ブロック図1 is a functional block diagram schematically showing a configuration of an information display system according to an embodiment 工場座標系の一例を示す図Diagram showing an example of factory coordinate system 視界距離領域を説明する図The figure explaining the view distance area ロボット安全コントローラ及びスマートグラスによる処理内容を中心に示すフローチャートFlowchart showing mainly the details of processing by robot safety controller and smart glass 工場座標系においてジャイロセンサにより検出されるピッチ角を示す図Diagram showing pitch angle detected by gyro sensor in factory coordinate system 工場座標系においてジャイロセンサにより検出されるヨー角を示す図Diagram showing yaw angle detected by gyro sensor in factory coordinate system ステップＳ３の判断により稼働情報の表示を禁止した場合の視界イメージ例を示す図（その１）The figure which shows the example of a visual field image when the display of operation information is prohibited by judgment of step S3 (the 1) ステップＳ３の判断により稼働情報の表示を禁止した場合の視界イメージ例を示す図（その２）The figure which shows the example of a visual field at the time of prohibiting the display of operation information by judgment of step S3 (the 2) ステップＳ９におけるハッチング処理のイメージを示す図The figure which shows the image of the hatching process in step S9 表示部における稼働情報の表示領域設定例を示す図The figure which shows the display area setting example of the operation information in a display part 表示部における具体的な表示イメージ例を示す図（その１）The figure which shows the example of a specific display image in a display part (the 1) 表示部における具体的な表示イメージ例を示す図（その２）The figure which shows the example of a concrete display image in a display part (the 2) 表示部における具体的な表示イメージ例を示す図（その３）The figure which shows the example of a specific display image in a display part (the 3) 表示部における具体的な表示イメージ例を示す図（その４）The figure which shows the example of a specific display image in a display part (the 4) 表示部における具体的な表示イメージ例を示す図（その５）The figure which shows the example of a concrete display image in a display part (the 5) 稼働情報として、作業者と設備等との位置関係をグラフィックに画像で表示したイメージ例を示す図The figure which shows the image example which displayed the positional relationship between a worker and equipment etc. with the graphic image as operation information

以下、一実施形態について図面を参照して説明する。図１に示すように、本実施形態の情報表示システム１は、例えば組立用のロボットアーム２，ロボット安全コントローラ３，スマートグラス４及びセンサ部５より構成されている。ロボット本体であるロボットアーム２は、例えば６軸の垂直多関節型ロボットとして構成されている。一般的な構成につき詳しい説明は省略するが、このロボットアーム２は、夫々サーボモータにより駆動される６軸のアームを有し、第６軸アームの先端部に、例えばパレット内に収容されているワークを把持するためのハンド等を備えている。ロボットアーム２は、図示しないロボットコントローラに接続され、前記各軸のサーボモータがこのロボットコントローラにより制御される。   Hereinafter, an embodiment will be described with reference to the drawings. As shown in FIG. 1, the information display system 1 according to the present embodiment includes, for example, an assembly robot arm 2, a robot safety controller 3, a smart glass 4, and a sensor unit 5. The robot arm 2 which is a robot body is configured as, for example, a 6-axis vertical articulated robot. Although a detailed description of a general configuration is omitted, the robot arm 2 has 6-axis arms each driven by a servo motor, and is housed in, for example, a pallet at the tip of the sixth-axis arm. A hand for gripping a workpiece is provided. The robot arm 2 is connected to a robot controller (not shown), and the servo motor of each axis is controlled by the robot controller.

計算部に相当するロボット安全コントローラ３は、前記ロボットコントローラにケーブル６を介して接続されており、ロボットコントローラが保持しているロボットアーム２の３次元位置座標（ｘ，ｙ，ｚ）の情報や、各軸に配置されている図示しないエンコーダからのエンコーダ値を取得する。また、ロボット安全コントローラ３は、ロボットアーム２の形態や、その周辺に配置されているその他の生産設備等の形態を３次元的にモデリングしたデータである３Ｄモデル画像データを内部のメモリに記憶して保持している。   The robot safety controller 3 corresponding to the calculation unit is connected to the robot controller via a cable 6 and information on the three-dimensional position coordinates (x, y, z) of the robot arm 2 held by the robot controller, The encoder value from an encoder (not shown) arranged on each axis is acquired. The robot safety controller 3 also stores 3D model image data, which is data obtained by three-dimensionally modeling the form of the robot arm 2 and other production equipment arranged in the vicinity thereof, in an internal memory. Hold.

更に、ロボット安全コントローラ３は、ロボットアーム２を含む生産設備の稼働情報を、上記のロボットコントローラ等を介して取得する。ここで「稼働情報」とは、例えば動作中のロボットアーム２については
・状態：自動運転中
・速度：５００ｍ／ｓ
・距離：２ｍ
・電源：２００Ｖ
・トルク：６５Ｎ
等の情報である。また、動作を停止しているロボットアームについては、「状態：停止中」，「速度：０ｍ／ｓ」，「トルク：０Ｎ」等が表示される。 Further, the robot safety controller 3 acquires operation information of the production facility including the robot arm 2 via the robot controller or the like. Here, “operational information” refers to, for example, the robot arm 2 that is operating: • Status: automatic operation • Speed: 500 m / s
・ Distance: 2m
・ Power supply: 200V
・ Torque: 65N
Etc. For the robot arm whose operation is stopped, “state: stopped”, “speed: 0 m / s”, “torque: 0 N”, etc. are displayed.

頭部装着型ディスプレイであるスマートグラス４は、作業者７が頭部に眼鏡のように装着するもので、眼鏡のレンズ部分に相当する透明な表示部４Ｄに、図示しない表示制御部部を介して画像を投影可能な所謂透過型のディスプレイである。表示部４Ｄについては図３を参照。スマートグラス４のフレームの一側部には、位置方向情報出力部であるセンサ部５が内蔵されている。   The smart glass 4 that is a head-mounted display is worn by the operator 7 on the head like glasses, and is connected to a transparent display unit 4D corresponding to the lens part of the glasses via a display control unit (not shown). This is a so-called transmissive display capable of projecting an image. See FIG. 3 for the display unit 4D. A sensor unit 5, which is a position / direction information output unit, is built in one side of the frame of the smart glass 4.

センサ部５は、例えばジャイロセンサ，加速度センサ等からなり、作業者７の相対位置情報や、スマートグラス４を頭部に装着した状態で、作業者７の頭部正面，つまり視線が向いている方向の情報である視線情報を出力する。尚、後述するように、作業者７の作業開始時における原点位置情報は、別途取得可能であるものとする。   The sensor unit 5 is composed of, for example, a gyro sensor, an acceleration sensor, and the like. The sensor 7 has the relative position information of the worker 7 and the front surface of the worker 7, that is, the line of sight, with the smart glass 4 mounted on the head. Gaze information that is direction information is output. As will be described later, it is assumed that the origin position information when the worker 7 starts work can be acquired separately.

スマートグラス４は、図１ではアンテナのシンボルで示す無線通信部８をフレームに内蔵しており、同じく図１においてアンテナのシンボルで示すロボット安全コントローラ３の無線通信部９と通信可能となっている。無線通信部８は、センサ部５の各センサ信号をロボット安全コントローラ３に送信し、無線通信部９は、ロボット安全コントローラ３が保持している前記３Ｄモデル画像データを、後述するように加工してからスマートグラス４に送信する。   The smart glass 4 incorporates a wireless communication unit 8 indicated by an antenna symbol in FIG. 1 in the frame, and can communicate with the wireless communication unit 9 of the robot safety controller 3 indicated by the antenna symbol in FIG. . The wireless communication unit 8 transmits each sensor signal of the sensor unit 5 to the robot safety controller 3, and the wireless communication unit 9 processes the 3D model image data held by the robot safety controller 3 as described later. Then send it to the smart glass 4.

次に、本実施形態の作用について図２から図１６も参照して説明する。図２に示すように、ロボット安全コントローラ３は、工場内においてロボットアーム２（１）及び２（２）や、その他の生産設備Ｍ（Ａ）〜Ｍ（Ｃ）が配置されている２次元座標の情報である工場座標系の情報を有している。作業者７は、工場座標系の原点位置（ｘ０，ｙ０）から作業を開始するように規定されており、スマートグラス４に内蔵されている情報処理部は、上記原点位置を認識している。   Next, the operation of this embodiment will be described with reference to FIGS. As shown in FIG. 2, the robot safety controller 3 is a two-dimensional coordinate system in which robot arms 2 (1) and 2 (2) and other production facilities M (A) to M (C) are arranged in a factory. Information on the factory coordinate system. The worker 7 is defined to start work from the origin position (x0, y0) of the factory coordinate system, and the information processing unit built in the smart glass 4 recognizes the origin position.

図３は、スマートグラス４を装着した作業者７が、表示部４Ｄを介して見た視界の状態を示している。スマートグラス４については、ロボットアーム２等を後述する表示禁止領域の対象にする視界距離領域が設定されている。例えば図３に示す例では、視界距離領域に位置するロボットアーム２（１）については表示禁止領域の対象になるが、視界距離領域外に位置する設備Ｍ（Ｂ）については表示禁止領域の対象にしない。設備Ｍ（Ｂ）は、表示部４Ｄを介した作業者７の視界内では小さく、且つその一部しか見えないため、視覚情報として排除しても問題が無いからである。尚、視界距離領域における「視界距離」は請求項３における「一定距離」に相当する。   FIG. 3 shows the state of the field of view as seen through the display unit 4D by the operator 7 wearing the smart glass 4. For the smart glass 4, a viewing distance area is set that targets the robot arm 2 or the like as a display prohibited area described later. For example, in the example shown in FIG. 3, the robot arm 2 (1) located in the view distance area is a target of the display prohibition area, but the equipment M (B) located outside the view distance area is a target of the display prohibition area. Don't make it. This is because the facility M (B) is small in the field of view of the operator 7 via the display unit 4D and only a part of the facility M (B) can be seen, so there is no problem even if it is excluded as visual information. The “view distance” in the view distance region corresponds to the “constant distance” in claim 3.

図４は、ロボット安全コントローラ３及びスマートグラス４による処理内容を中心に示すフローチャートである。このフローチャートは、一定周期で繰り返し実行される。先ず、安全コントローラ３は、スマートグラス４を介して作業者７の工場内における原点位置情報を取得し（Ｓ１）、続いてセンサ部５よりジャイロセンサ等のセンサ情報を取得する（Ｓ２）。図２に示す工場の平面をＸＹ平面とすると、図６に示すようにＸＹ平面内における方位角がヨー角γであり、図５に示すように、水平面を基準とするＺ軸方向の傾きがピッチ角βとなる。尚、ロール角αについても考慮して良いが、ロール角αは常に０度であることを前提として無視しても良い。   FIG. 4 is a flowchart showing mainly the contents of processing by the robot safety controller 3 and the smart glass 4. This flowchart is repeatedly executed at regular intervals. First, the safety controller 3 acquires the origin position information in the factory of the worker 7 via the smart glass 4 (S1), and then acquires sensor information such as a gyro sensor from the sensor unit 5 (S2). If the plane of the factory shown in FIG. 2 is the XY plane, the azimuth angle in the XY plane is the yaw angle γ as shown in FIG. 6, and the inclination in the Z-axis direction with respect to the horizontal plane is shown in FIG. The pitch angle is β. Although the roll angle α may be considered, it may be ignored on the assumption that the roll angle α is always 0 degree.

次に、上記のピッチ角βにより、作業者７の視線が俯角方向に４５度以上傾いているか否かを判断する（Ｓ３）。４５度以上傾いている場合は（ＹＥＳ）処理を終了する。すなわち、作業者７が俯くことで視線が下方に向くと、図７や図８に示すように、作業者７の視界にはロボットアーム２や設備Ｍが設置されている床面が入るようになる。そのような状態で、後述するように表示部４Ｄに稼働情報を表示すると作業者７の足元の視界を妨げるおそれがある。したがって、稼働情報の表示を禁止することで作業者７の足元の視界を確保する。   Next, it is determined whether or not the line of sight of the worker 7 is inclined at 45 degrees or more in the depression angle direction based on the pitch angle β (S3). If it is inclined 45 degrees or more (YES), the process is terminated. That is, when the line of sight turns downward as the worker 7 whispers, the floor on which the robot arm 2 and the equipment M are installed enters the field of view of the worker 7 as shown in FIGS. 7 and 8. Become. In such a state, when the operation information is displayed on the display unit 4D as will be described later, there is a possibility that the visibility of the foot of the worker 7 may be hindered. Therefore, the visibility of the feet of the worker 7 is secured by prohibiting the display of the operation information.

作業者７の視線方向の俯角が４５度未満であれば（Ｓ３：ＮＯ）、その時点の作業者７の位置により、作業者７が設備等の外にいるか否かを判断する（Ｓ４）。ここで「設備等」とは設備Ｍ及びロボットアーム２等である。ロボットアーム２については、作業者７がロボットアーム２の周辺に設置されている安全柵の外にいるか否かを判断する。   If the depression angle of the visual line direction of the worker 7 is less than 45 degrees (S3: NO), it is determined whether the worker 7 is outside the facility or the like based on the position of the worker 7 at that time (S4). Here, “equipment etc.” means the equipment M, the robot arm 2 and the like. With respect to the robot arm 2, it is determined whether or not the worker 7 is outside the safety fence installed around the robot arm 2.

作業者７が設備等の外にいる場合は（Ｓ４：ＹＥＳ）、スマートグラス４の表示部４Ｄを介した作業者７の視界に設備等が存在するか否かを判断する（Ｓ５）。具体的には、作業者７の視線を中心とするピッチ角−６０度から６０度の範囲内で、且つ同視線を中心とするヨー角−６０度から６０度の範囲内に設備等があるか否かを判断する。設備等があれば（ＹＥＳ）、作業者７の視界内にある最も近い設備等の３Ｄモデル画像データを取得する（Ｓ６）。図３に示す例では、ロボットアーム２（１）となる。尚、ステップＳ４において「ＮＯ」と判断した場合は、そのままステップＳ６に移行する。そして、前記設備等がロボットアーム２であれば、その姿勢情報であるエンコーダ値を取得する（Ｓ７）。安全コントローラ３は、取得した各情報をスマートグラス４に送信する。   When the worker 7 is outside the facility (S4: YES), it is determined whether or not the facility exists in the field of view of the worker 7 via the display unit 4D of the smart glass 4 (S5). Specifically, there is equipment or the like within a pitch angle of −60 degrees to 60 degrees centered on the line of sight of the worker 7 and within a range of yaw angles of −60 degrees to 60 degrees centered on the same line of sight. Determine whether or not. If there is equipment or the like (YES), 3D model image data of the nearest equipment or the like in the field of view of the worker 7 is acquired (S6). In the example shown in FIG. 3, the robot arm 2 (1) is obtained. If “NO” is determined in the step S4, the process directly proceeds to a step S6. Then, if the equipment or the like is the robot arm 2, the encoder value which is the posture information is acquired (S7). The safety controller 3 transmits the acquired information to the smart glass 4.

スマートグラス４は、表示部４Ｄを介した作業者７の視界に映る設備等の態様を３Ｄモデル画像データにより生成すると、設備等が映る領域を表示禁止領域に設定し、ハッチング処理する（Ｓ８）。図９はハッチング処理のイメージを示すが、図９（ｂ）に示すハッチングされた領域には、実際の作業者７の視界には設備等の実景が映る。その上で、表示部４Ｄに設備等の稼働情報を表示可能なスペースがあるか否かを判断し（Ｓ９）、前記スペースがあれば（ＹＥＳ）情報が表示可能であると判断し、図１０（ｂ）に示すように当該スペースに稼働情報を表示する（Ｓ１０）。   When the smart glass 4 generates an aspect of the equipment or the like that appears in the field of view of the operator 7 via the display unit 4D from the 3D model image data, the area in which the equipment or the like is shown is set as a display-prohibited area and hatched (S8). . FIG. 9 shows an image of the hatching process. In the hatched area shown in FIG. 9B, actual scenes of equipment and the like are reflected in the field of view of the actual worker 7. Then, it is determined whether or not there is a space that can display operation information such as equipment on the display unit 4D (S9). If there is the space (YES), it is determined that the information can be displayed, and FIG. As shown in (b), the operation information is displayed in the space (S10).

以下、図１１〜図１６に具体的な稼働情報の表示形態例を示す。図１１は、表示部４Ｄの左上方部分に空きがあり、当該部分に稼働情報を表示した場合である。図１２は、表示部４Ｄの左上方部分に空きがあり、図１２と同様に稼働情報を表示しようとした際に、ロボットアーム２の姿勢が変化したことにより表示禁止領域が設定された場合である。この場合、稼働情報を表示部４Ｄの右上方部分に表示する。   Hereinafter, specific display examples of operation information are shown in FIGS. FIG. 11 shows a case where there is a vacancy in the upper left part of the display unit 4D and the operation information is displayed in this part. FIG. 12 shows a case where there is a vacancy in the upper left part of the display unit 4D, and when the operation information is displayed in the same way as in FIG. is there. In this case, the operation information is displayed in the upper right part of the display unit 4D.

図１３は、表示部４Ｄの中心部分から上方にかけて大きな空きがある場合に、当該部分に情報を表示した場合である。図１４は、表示部４Ｄの中心部分にロボットアーム２が位置しており、その両側に空きがあるので２箇所に分けて稼働情報を表示している。この場合は、それぞれ近傍にある設備等の稼働情報を表示し分けても良い。また、図１５は、図１４における左上方部分を更に２分割することで、３箇所に分けて稼働情報を表示した例である。   FIG. 13 shows a case where information is displayed on the display portion 4D when there is a large space upward from the central portion. In FIG. 14, the robot arm 2 is located at the center of the display unit 4D, and there is a space on both sides thereof, so that the operation information is displayed in two places. In this case, the operation information of the facilities in the vicinity may be displayed and divided. FIG. 15 is an example in which the operation information is displayed in three places by further dividing the upper left portion in FIG. 14 into two parts.

また、図１６は、稼働情報として、作業者７と設備等との位置関係をグラフィックに画像で表示した例である。作業者７の視界距離領域内になるロボットアーム２（１）の位置を示すと共に、ロボットアーム２（１）が動作する領域を危険領域として表示している。また、視界距離領域外についても、当該領域を視覚的に三角形の領域で表示している。   FIG. 16 is an example in which the positional relationship between the worker 7 and the equipment is displayed graphically as operation information. The position of the robot arm 2 (1) within the visual field distance area of the operator 7 is shown, and the area where the robot arm 2 (1) operates is displayed as a dangerous area. Also, outside the viewing distance area, the area is visually displayed as a triangular area.

以上のように本実施形態によれば、安全コントローラ３は、ロボットアーム２や設備Ｍの位置及びそれらの３次元的な形態情報と、センサ部５を介して取得した作業者７の位置及び視線方向の情報から、スマートグラス４の表示部４Ｄを介して作業者７の視界に入る設備等の表示態様を計算する。スマートグラス４は、前記表示態様の情報及び設備等の稼働情報を取得すると、表示部４Ｄにおいて作業者７の視界に入る設備等の部分を表示禁止領域に設定し、その表示禁止領域以外の領域に稼働情報を表示させる。   As described above, according to the present embodiment, the safety controller 3 determines the position of the robot arm 2 and the equipment M and their three-dimensional form information, and the position and line of sight of the operator 7 acquired via the sensor unit 5. From the direction information, the display mode of the equipment and the like that enters the field of view of the operator 7 is calculated via the display unit 4D of the smart glass 4. When the smart glass 4 acquires the display mode information and the operation information of the equipment, the smart glass 4 sets a part such as equipment that enters the field of view of the operator 7 in the display unit 4D as a display prohibited area, and an area other than the display prohibited area. To display the operation information.

このように構成すれば、スマートグラス４の表示部４Ｄを介した作業者７の視界には、当該表示部４Ｄを介して見る設備等の実景に重ならない態様で、設備等の稼働情報が表示される。したがって、作業者７は、常に設備等の視認性を確保した状態で、表示部４Ｄに表示された設備等の稼働情報も視認することができる。   If comprised in this way, operation information, such as equipment, will be displayed in the field of view of worker 7 via display part 4D of smart glass 4 in the mode which does not overlap with the actual scenes of equipment etc. seen via said display part 4D. Is done. Therefore, the worker 7 can also visually check the operation information of the equipment and the like displayed on the display unit 4D in a state where the visibility of the equipment and the like is always secured.

また、安全コントローラ３は、設備等にロボットが含まれているとそのロボットアーム２の姿勢情報を取得し、ロボットアーム２の姿勢の変化に応じて設備等の表示態様を変化させる。したがって、表示部４Ｄを介した作業者７の視界内でロボットアーム２が動く場合でも、その動きを考慮して表示禁止領域が設定されるので、作業者７は、ロボットアーム２の動きに妨げられることなく稼働情報を視認できる。   Further, the safety controller 3 acquires posture information of the robot arm 2 when the equipment or the like includes a robot, and changes the display mode of the equipment or the like according to the change in the posture of the robot arm 2. Accordingly, even when the robot arm 2 moves within the field of view of the operator 7 via the display unit 4D, the display prohibited area is set in consideration of the movement, so that the operator 7 hinders the movement of the robot arm 2. The operation information can be visually recognized without being done.

また、安全コントローラ３は、作業者７より一定距離以上離れている設備等については表示禁止領域として設定しない。すなわち、一定距離以上離れている設備等は作業者７の視界内で非常に小さく捉えられるので視覚情報として排除しても問題はない。したがって、その領域に稼働情報を表示させるようにすれば、情報の表示可能領域をより広く確保できる。   In addition, the safety controller 3 does not set a facility or the like that is more than a certain distance from the worker 7 as a display prohibited area. In other words, equipment and the like that are separated by a certain distance or more can be grasped very small in the field of view of the operator 7, so there is no problem even if they are excluded as visual information. Accordingly, if the operation information is displayed in the area, a wider displayable area can be secured.

また、スマートグラス４は、作業者７の視線方向が俯角側に一定角度以上傾くと稼働情報の表示を禁止する。したがって、稼働情報の表示を禁止することにより、作業者７は足元の視界を良好に確保できる。また、スマートグラス４は、表示禁止領域が増大したことで表示部４Ｄにおける稼働情報の表示可能領域が一定以上小さくなると、稼働情報の表示を禁止する。すなわち、作業者７が視認可能な状態で表示できない稼働情報を表示せず、作業者７の視界をより拡げることができる。   In addition, the smart glass 4 prohibits the display of operation information when the line-of-sight direction of the worker 7 is tilted by a certain angle or more toward the depression angle side. Therefore, by prohibiting the display of the operation information, the worker 7 can ensure a good visibility at the foot. Further, the smart glass 4 prohibits the display of the operation information when the display prohibition area increases and the displayable area of the operation information in the display unit 4D becomes smaller than a certain level. That is, it is possible to expand the field of view of the worker 7 without displaying operation information that cannot be displayed while the worker 7 is visible.

そして、スマートグラス４は、表示部４Ｄにおける表示禁止領域の位置に応じて稼働情報の表示可能領域を複数設定可能であると、稼働情報を複数の表示可能領域に表示するので、例えば２つの設備等がある場合にそれぞれの稼働情報を２つの表示可能領域に表示し分けることができる。   The smart glass 4 displays the operation information in the plurality of displayable areas when a plurality of displayable areas for the operation information can be set according to the position of the display prohibition area in the display unit 4D. Etc., each operation information can be displayed and separated in two displayable areas.

加えて、安全コントローラ３は、作業者７と設備等との位置関係を画像データとして生成し、その画像データを稼働情報に含ませる。このように構成すれば、作業者７は、表示部４Ｄに表示される画像により、現在の自身と設備等との位置関係を簡単に認識できるようになる。したがって、作業の安全性をより高めることができる。   In addition, the safety controller 3 generates a positional relationship between the worker 7 and equipment as image data, and includes the image data in the operation information. If comprised in this way, the operator 7 will be able to recognize easily the positional relationship between present, an installation, etc. now by the image displayed on display part 4D. Therefore, work safety can be further increased.

本発明は上記した、又は図面に記載した実施形態にのみ限定されるものではなく、以下のような変形又は拡張が可能である。
表示禁止領域を設定する際に、必ずしも設備等の３Ｄモデル画像を用いる必要はない。３次元座標値のマッピングデータを用いても良いし、設備等の外形で頂点，突端となる点の座標値のみを用いても良い。
図１６に示す表示形態は、必要に応じて実施すれば良い。
ロボット本体はロボットアーム２に限ることなく、その他例えば水平４軸構成のロボットアーム，自走式のロボットや人型のロボットでも良い。 The present invention is not limited to the embodiments described above or shown in the drawings, and the following modifications or expansions are possible.
When setting the display prohibited area, it is not always necessary to use a 3D model image of equipment or the like. Mapping data of three-dimensional coordinate values may be used, or only the coordinate values of points that are apexes and protrusions in the outer shape of equipment or the like may be used.
The display form shown in FIG. 16 may be implemented as necessary.
The robot body is not limited to the robot arm 2, but may be a robot arm having a horizontal 4-axis configuration, a self-propelled robot, or a humanoid robot.

作業者７の作業開始時における原点位置情報が取得可能でなければ、センサ部５にＧＰＳセンサを加えて作業者のワールド座標情報を取得して、工場座標系とのマッチングを行っても良い。
ロボット安全コントローラ３の機能を、ロボットコントローラに搭載しても良い。
ステップＳ３，Ｓ５における角度の具体数値については、個別の設計に応じて適宜変更すれば良い。 If the origin position information at the start of the work of the worker 7 cannot be obtained, a GPS sensor may be added to the sensor unit 5 to obtain the worker's world coordinate information to perform matching with the factory coordinate system.
The function of the robot safety controller 3 may be mounted on the robot controller.
What is necessary is just to change suitably the specific numerical value of the angle in step S3, S5 according to each design.

位置方向情報取得部に、レーザセンサや赤外センサを用いても良い。そして、これらのセンサ信号をロボット安全コントローラ３に直接入力しても良い。
計算部及び表示制御部の機能を、全て安全コントローラ３に持たせても良いし、全てスマートグラス４に持たせても良い。
頭部装着型ディスプレイは、必ずしもスマートグラス４である必要はなく、作業者が頭部に装着する表示部に画像を投影可能に構成されるものであれば良い。 A laser sensor or an infrared sensor may be used for the position / direction information acquisition unit. These sensor signals may be directly input to the robot safety controller 3.
The functions of the calculation unit and the display control unit may be all provided in the safety controller 3 or all may be provided in the smart glass 4.
The head-mounted display is not necessarily the smart glass 4 and may be any display that can project an image on a display unit worn by the operator on the head.

図面中、１は情報表示システム、２はロボットアーム、３はロボット安全コントローラ、４はスマートグラス、４Ｄは表示部、５はセンサ部、７は作業者、８及び９は無線通信部を示す。   In the drawings, 1 is an information display system, 2 is a robot arm, 3 is a robot safety controller, 4 is a smart glass, 4D is a display unit, 5 is a sensor unit, 7 is an operator, and 8 and 9 are wireless communication units.

Claims (7)

作業者が頭部に装着する透過型の表示部に、画像を投影可能に構成される頭部装着型ディスプレイと、
前記作業者の位置及び前記作業者の視線方向の情報を取得する位置方向情報取得部と、
生産設備の位置及び３次元的な形態情報と、前記作業者の位置及び視線方向の情報から、前記表示部を介して前記作業者の視界に入る前記生産設備の表示態様を計算する計算部と、
前記生産設備の稼働情報を取得する稼働情報取得部と、
前記表示態様の情報及び前記稼働情報を取得すると、前記表示部において前記作業者の視界に入る生産設備の部分を表示禁止領域に設定し、前記表示禁止領域以外の領域に前記稼働情報を表示させる表示制御部とで構成される情報表示システム。 A head-mounted display configured to project an image on a transmissive display unit worn by the operator on the head; and
A position / direction information acquisition unit for acquiring information on the worker's position and the line-of-sight direction of the worker;
A calculation unit that calculates a display mode of the production facility that enters the field of view of the worker via the display unit, based on the position and three-dimensional form information of the production facility, and information on the position and line-of-sight direction of the worker; ,
An operation information acquisition unit for acquiring operation information of the production facility;
When the information on the display mode and the operation information are acquired, the part of the production facility that enters the worker's field of view in the display unit is set as a display prohibited area, and the operation information is displayed in an area other than the display prohibited area. An information display system composed of a display control unit. 前記計算部は、前記生産設備にロボットが含まれていると前記ロボット本体の姿勢情報を取得し、前記ロボット本体の姿勢の変化に応じて前記生産設備の表示態様を変化させる請求項１記載の情報表示システム。   The said calculation part acquires the attitude | position information of the said robot main body, if the robot is contained in the said production equipment, The display mode of the said production equipment is changed according to the change of the attitude | position of the said robot main body. Information display system. 前記計算部は、前記作業者より一定距離以上離れている前記生産設備については、前記表示禁止領域として設定しない請求項１又は２記載の情報表示システム。   The information display system according to claim 1, wherein the calculation unit does not set the production facility that is separated from the worker by a certain distance or more as the display prohibited area. 前記表示制御部は、前記作業者の視線方向が俯角側に一定角度以上傾くと、前記稼働情報の表示を禁止する１から３の何れか一項に記載の情報表示システム。   The information display system according to any one of 1 to 3, wherein the display control unit prohibits the display of the operation information when a line-of-sight direction of the worker is tilted toward a depression angle by a certain angle or more. 前記表示制御部は、前記表示禁止領域が増大したことで、前記表示部における前記稼働情報の表示可能領域が一定以上小さくなると、前記稼働情報の表示を禁止する請求項１から４の何れか一項に記載の情報表示システム。   The display control unit prohibits the display of the operation information when the display prohibition region is increased and the displayable region of the operation information on the display unit becomes smaller than a certain value. The information display system described in the section. 前記表示制御部は、前記表示禁止領域の位置に応じて、前記稼働情報の表示可能領域を複数設定可能であると、前記稼働情報を前記複数の表示可能領域に表示する請求項１から５の何れか一項に記載の情報表示システム。   The display control unit displays the operation information in the plurality of displayable areas when the plurality of displayable areas of the operation information can be set according to the position of the display prohibition area. The information display system according to any one of the above. 前記計算部は、前記作業者と、前記生産設備との位置関係を画像データとして生成し、前記画像データを前記稼働情報に含ませる請求項１から６の何れか一項に記載の情報表示システム。   The information calculation system according to any one of claims 1 to 6, wherein the calculation unit generates a positional relationship between the worker and the production facility as image data, and includes the image data in the operation information. .
JP2015234680A 2015-11-26 2015-12-01 Information display system for head-mounted display for workers Active JP6746902B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015234680A JP6746902B2 (en) 2015-12-01 2015-12-01 Information display system for head-mounted display for workers
US15/362,123 US10712566B2 (en) 2015-11-26 2016-11-28 Information displaying system provided with head-mounted type display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015234680A JP6746902B2 (en) 2015-12-01 2015-12-01 Information display system for head-mounted display for workers

Publications (2)

Publication Number Publication Date
JP2017102242A true JP2017102242A (en) 2017-06-08
JP6746902B2 JP6746902B2 (en) 2020-08-26

Family

ID=59015327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015234680A Active JP6746902B2 (en) 2015-11-26 2015-12-01 Information display system for head-mounted display for workers

Country Status (1)

Country Link
JP (1) JP6746902B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019206050A (en) * 2018-05-29 2019-12-05 セイコーエプソン株式会社 Control device, head-mounted display, and robot system
JP2020121351A (en) * 2019-01-29 2020-08-13 ファナック株式会社 Robot system
WO2020203819A1 (en) * 2019-03-29 2020-10-08 株式会社Ihi Remote operating device
JP7360406B2 (en) 2018-06-26 2023-10-12 ファナック アメリカ コーポレイション Augmented reality visualization for robotic picking systems
EP4336319A1 (en) 2022-09-12 2024-03-13 FUJI-FILM Corporation Processor, image processing device, glasses-type information display device, image processing method, and image processing program

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0756624A (en) * 1993-08-09 1995-03-03 Nissan Motor Co Ltd Monitoring device with head part mounting display device
JP2005339127A (en) * 2004-05-26 2005-12-08 Olympus Corp Apparatus and method for displaying image information
JP2010234959A (en) * 2009-03-31 2010-10-21 Equos Research Co Ltd Information display device
WO2011080882A1 (en) * 2009-12-28 2011-07-07 パナソニック株式会社 Operating space presentation device, operating space presentation method, and program
JP2011227879A (en) * 2010-03-30 2011-11-10 Ns Solutions Corp Information providing device, information providing method, and program
JP2012218120A (en) * 2011-04-12 2012-11-12 Seiko Epson Corp Manipulator operation previous notice device, robot system and method for previously noticing manipulator operation
JP2013015796A (en) * 2011-07-06 2013-01-24 Sony Corp Display control apparatus, display control method, and computer program
JP2014137396A (en) * 2013-01-15 2014-07-28 Seiko Epson Corp Head-mounted type display device, head-mounted type display device control method and image display system
JP2014164356A (en) * 2013-02-21 2014-09-08 Fujitsu Ltd Image processing device, image processing method, and image processing program
WO2015111157A1 (en) * 2014-01-22 2015-07-30 堺ディスプレイプロダクト株式会社 Display device

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0756624A (en) * 1993-08-09 1995-03-03 Nissan Motor Co Ltd Monitoring device with head part mounting display device
JP2005339127A (en) * 2004-05-26 2005-12-08 Olympus Corp Apparatus and method for displaying image information
JP2010234959A (en) * 2009-03-31 2010-10-21 Equos Research Co Ltd Information display device
WO2011080882A1 (en) * 2009-12-28 2011-07-07 パナソニック株式会社 Operating space presentation device, operating space presentation method, and program
JP2011227879A (en) * 2010-03-30 2011-11-10 Ns Solutions Corp Information providing device, information providing method, and program
JP2012218120A (en) * 2011-04-12 2012-11-12 Seiko Epson Corp Manipulator operation previous notice device, robot system and method for previously noticing manipulator operation
JP2013015796A (en) * 2011-07-06 2013-01-24 Sony Corp Display control apparatus, display control method, and computer program
JP2014137396A (en) * 2013-01-15 2014-07-28 Seiko Epson Corp Head-mounted type display device, head-mounted type display device control method and image display system
JP2014164356A (en) * 2013-02-21 2014-09-08 Fujitsu Ltd Image processing device, image processing method, and image processing program
WO2015111157A1 (en) * 2014-01-22 2015-07-30 堺ディスプレイプロダクト株式会社 Display device

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019206050A (en) * 2018-05-29 2019-12-05 セイコーエプソン株式会社 Control device, head-mounted display, and robot system
JP7187820B2 (en) 2018-05-29 2022-12-13 セイコーエプソン株式会社 Controllers, head-mounted displays, and robot systems
JP7360406B2 (en) 2018-06-26 2023-10-12 ファナック アメリカ コーポレイション Augmented reality visualization for robotic picking systems
JP2020121351A (en) * 2019-01-29 2020-08-13 ファナック株式会社 Robot system
JP7000364B2 (en) 2019-01-29 2022-01-19 ファナック株式会社 Robot system
US11267132B2 (en) 2019-01-29 2022-03-08 Fanuc Corporation Robot system
WO2020203819A1 (en) * 2019-03-29 2020-10-08 株式会社Ihi Remote operating device
JPWO2020203819A1 (en) * 2019-03-29 2021-10-14 株式会社Ihi Remote control device
CN113631325A (en) * 2019-03-29 2021-11-09 株式会社Ihi Remote operation device
EP4336319A1 (en) 2022-09-12 2024-03-13 FUJI-FILM Corporation Processor, image processing device, glasses-type information display device, image processing method, and image processing program

Also Published As

Publication number Publication date
JP6746902B2 (en) 2020-08-26

Similar Documents

Publication Publication Date Title
JP6746902B2 (en) Information display system for head-mounted display for workers
US10712566B2 (en) Information displaying system provided with head-mounted type display
US11850755B2 (en) Visualization and modification of operational bounding zones using augmented reality
US9855664B2 (en) Robot safety system
US9158305B2 (en) Remote control system
EP3055744B1 (en) A method and a device for verifying one or more safety volumes for a movable mechanical unit
JP6645142B2 (en) Robot safety system
JP6589604B2 (en) Teaching result display system
US11148299B2 (en) Teaching apparatus and teaching method for robots
US20190299412A1 (en) Augmented Reality System
JP2017094466A (en) Robot monitor system
US20180032230A1 (en) Information processing method and system for executing the information processing method
CN103359642B (en) Tower crane work monitoring system, method thereof and tower crane
WO2017169841A1 (en) Display device and display control method
JP7274510B2 (en) VIRTUAL OBJECT DISPLAY DEVICE AND VIRTUAL OBJECT DISPLAY METHOD
US20210304624A1 (en) Method for setting target flight path of aircraft, target flight path setting system, and program for setting target flight path
JP6657858B2 (en) Robot operation system
JPWO2020196276A1 (en) Maintenance support system, maintenance support method, program and processed image generation method
US20240033923A1 (en) Collaborative safety awareness for robotic applications enabled by augmented reality and other location-based technologies
JP6631203B2 (en) Virtual fence display system
US20180268218A1 (en) Information display system
JP2022122936A (en) Information display system
JP7459253B2 (en) Imaging system, robot system, and imaging system control method
KR102263836B1 (en) Method for recognizing worker position in manufacturing line and apparatus thereof
KR20180060403A (en) Control apparatus for drone based on image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200720

R150 Certificate of patent or registration of utility model

Ref document number: 6746902

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250