JP6727001B2 - Laser processing system, apparatus used in the laser processing system, method and program executed in the apparatus - Google Patents
Laser processing system, apparatus used in the laser processing system, method and program executed in the apparatus Download PDFInfo
- Publication number
- JP6727001B2 JP6727001B2 JP2016069688A JP2016069688A JP6727001B2 JP 6727001 B2 JP6727001 B2 JP 6727001B2 JP 2016069688 A JP2016069688 A JP 2016069688A JP 2016069688 A JP2016069688 A JP 2016069688A JP 6727001 B2 JP6727001 B2 JP 6727001B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- laser
- display device
- display
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Machine Tool Sensing Apparatuses (AREA)
- Laser Beam Processing (AREA)
Description
本発明は、レーザ加工システムおよびそのレーザ加工システムにおいて用いられる装置、その装置において実行される方法およびプログラムに関する。 The present invention relates to a laser processing system, an apparatus used in the laser processing system, a method executed in the apparatus, and a program.
従来、レーザ出射装置から出射されるレーザを用いて作業者が被加工物を加工する場合には、作業者は、レーザ光から眼を保護するためのシールドを備えた保護ゴーグルやヘルメットを装着した状態で作業を行っていた（特許文献１を参照）。しかしながら、このようなシールドはレーザ光をカットするために着色が施されているため、シールドを介して被加工物を観察したのでは被加工物を認識しづらく、被加工物とレーザ出射装置との位置合わせも容易ではないため、レーザを用いた加工の作業効率が悪いという問題点があった。 Conventionally, when a worker processes a workpiece using a laser emitted from a laser emitting device, the worker wears protective goggles or a helmet equipped with a shield for protecting the eyes from the laser light. They were working in this state (see Patent Document 1). However, since such a shield is colored in order to cut the laser beam, it is difficult to recognize the work piece by observing the work piece through the shield. Since it is not easy to align the positions, there is a problem that the working efficiency of the processing using the laser is poor.
本発明は、レーザを用いた加工の作業効率を格段に向上させることが可能なレーザ加工システムおよびそのレーザ加工システムにおいて用いられる装置、その装置において実行される方法およびプログラムを提供することを目的とする。 An object of the present invention is to provide a laser processing system capable of remarkably improving the working efficiency of processing using a laser, a device used in the laser processing system, a method executed in the device, and a program. To do.
本発明のレーザ加工システムは、レーザを用いて作業者が被加工物を加工することを可能にするレーザ加工システムであって、前記レーザ加工システムは、前記作業者の視点から撮像された第１の画像を生成する第１の撮像装置と、前記レーザを出射するレーザ出射装置と、前記レーザ出射装置上の視点から撮像された第２の画像を生成する第２の撮像装置と、前記作業者に装着可能なように構成れている表示装置であって、前記作業者に画像を表示する表示装置と、前記表示装置を制御する制御装置とを備え、前記制御装置は、前記第１の撮像装置によって生成された第１の画像および前記第２の撮像装置によって生成された第２の画像のうちの少なくとも一方を表示するように前記表示装置を制御する。 A laser processing system of the present invention is a laser processing system that enables a worker to process a workpiece using a laser, wherein the laser processing system is a first imaged from the viewpoint of the worker. Image pickup device that generates an image of the above, a laser emission device that emits the laser, a second image pickup device that generates a second image imaged from a viewpoint on the laser emission device, and the worker A display device configured to be attached to the operator, the display device displaying an image to the worker, and a control device controlling the display device, wherein the control device includes the first imaging device. The display device is controlled to display at least one of a first image generated by a device and a second image generated by the second imaging device.
本発明の１つの実施形態では、前記制御装置は、前記第１の画像および前記第２の画像の両方を同時に表示するように前記表示装置を制御してもよい。 In one embodiment of the present invention, the control device may control the display device to simultaneously display both the first image and the second image.
本発明の１つの実施形態では、前記レーザ加工システムは、前記被加工物と前記レーザ出射装置との相対的な位置関係を検出する位置検出装置をさらに備え、前記制御装置は、前記被加工物と前記レーザ出射装置との相対的な位置関係に応じて前記作業者に表示される画像の表示態様を変更するように前記表示装置を制御してもよい。 In one embodiment of the present invention, the laser processing system further includes a position detection device that detects a relative positional relationship between the workpiece and the laser emitting device, and the control device includes the workpiece. The display device may be controlled so that the display mode of the image displayed to the worker is changed according to the relative positional relationship between the laser emitting device and the laser emitting device.
本発明の１つの実施形態では、前記制御装置は、前記被加工物と前記レーザ出射装置との距離が所定の距離より大きい場合には、前記第１の画像を表示するが前記第２の画像を表示しないように前記表示装置を制御し、前記被加工物と前記レーザ出射装置との距離が前記所定の距離以下である場合には、前記第１の画像および前記第２の画像の両方を表示するように前記表示装置を制御してもよい。 In one embodiment of the present invention, the control device displays the first image when the distance between the workpiece and the laser emitting device is larger than a predetermined distance, but the second image is displayed. When the distance between the workpiece and the laser emitting device is equal to or less than the predetermined distance, the display device is controlled so as not to display, and both the first image and the second image are displayed. The display device may be controlled to display.
本発明の１つの実施形態では、前記制御装置は、前記被加工物と前記レーザ出射装置との距離に応じて前記表示装置に表示される前記第２の画像のサイズを変更するように前記表示装置を制御してもよい。 In one embodiment of the present invention, the control device displays the display so as to change a size of the second image displayed on the display device according to a distance between the workpiece and the laser emitting device. The device may be controlled.
本発明の１つの実施形態では、前記制御装置は、前記レーザ出射装置が前記被加工物に近づく方向を案内する方向ガイドを表示するように前記表示装置を制御してもよい。 In one embodiment of the present invention, the control device may control the display device to display a direction guide that guides a direction in which the laser emission device approaches the workpiece.
本発明の１つの実施形態では、前記制御装置は、前記被加工物のうち前記レーザによって加工されるべき部分を示す加工ガイドを表示するように前記表示装置を制御してもよい。 In one embodiment of the present invention, the control device may control the display device to display a processing guide indicating a portion of the workpiece to be processed by the laser.
本発明の１つの実施形態では、前記制御装置は、レーザ加工の作業マニュアルを示す画像を表示するように前記表示装置を制御してもよい。 In one embodiment of the present invention, the control device may control the display device to display an image showing a work manual of laser processing.
本発明の１つの実施形態では、前記被加工物を加工することは、前記被加工物を溶接加工すること、前記被加工物を切断加工すること、前記被加工物を切削加工すること、前記被加工物を穴あけ加工することのうちの少なくとも１つを含んでいてもよい。 In one embodiment of the present invention, processing the work piece includes welding the work piece, cutting the work piece, cutting the work piece, and It may include at least one of drilling a workpiece.
本発明の１つの実施形態では、前記レーザ出射装置は、複合型光ファイバを含んでいてもよい。 In one embodiment of the present invention, the laser emitting device may include a composite optical fiber.
本発明の１つの実施形態では、前記複合型光ファイバは、前記レーザを伝送するための第１の部分と、画像を伝送するための第２の部分とを含み、前記第２の画像は、前記第２の部分を通って伝送されてもよい。 In one embodiment of the invention, the hybrid optical fiber comprises a first portion for transmitting the laser and a second portion for transmitting an image, the second image comprising: It may be transmitted through the second part.
本発明の装置は、レーザを用いて作業者が被加工物を加工することを可能にするレーザ加工システムにおいて用いられる装置であって、前記装置は、作業者に装着可能なように構成れている表示装置であって、前記作業者に画像を表示する表示装置と、前記表示装置を制御する制御装置とを備え、前記表示装置は、第１の撮像装置と第２の撮像装置とに接続されることが可能なように構成されており、前記第１の撮像装置は、前記作業者の視点から撮像された第１の画像を生成し、前記第２の撮像装置は、レーザを出射するレーザ出射装置上の視点から撮像された第２の画像を生成し、前記制御装置は、前記第１の撮像装置によって生成された第１の画像と前記第２の撮像装置によって生成された第２の画像とを表示するように前記表示装置を制御する。 The device of the present invention is a device used in a laser processing system that enables an operator to process a workpiece using a laser, and the device is configured to be attachable to the operator. A display device for displaying an image to the worker, and a control device for controlling the display device, wherein the display device is connected to the first imaging device and the second imaging device. The first imaging device generates a first image imaged from the viewpoint of the worker, and the second imaging device emits a laser. A second image captured from a viewpoint on the laser emitting device is generated, and the control device controls the first image generated by the first imaging device and the second image generated by the second imaging device. The display device is controlled so as to display the image.
本発明の方法は、レーザを用いて作業者が被加工物を加工することを可能にするレーザ加工システムにおいて用いられる装置において実行される方法であって、前記装置は、作業者に画像を表示する表示装置と、前記表示装置を制御する制御装置とを備え、前記表示装置は、前記作業者に装着可能なように構成れており、前記表示装置は、第１の撮像装置と第２の撮像装置とに接続されることが可能なように構成されており、前記第１の撮像装置は、前記作業者の視点から撮像された第１の画像を生成し、前記第２の撮像装置は、レーザを出射するレーザ出射装置上の視点から撮像された第２の画像を生成し、前記方法は、前記制御装置が、前記第１の撮像装置によって生成された第１の画像と前記第２の撮像装置によって生成された第２の画像とを表示するように前記表示装置を制御することを含む。 The method of the present invention is a method performed in an apparatus used in a laser processing system that enables an operator to process a workpiece using a laser, the apparatus displaying an image to the operator. A display device for controlling the display device and a control device for controlling the display device. The display device is configured to be attachable to the worker, and the display device includes a first imaging device and a second imaging device. The first imaging device is configured to be connectable to an imaging device, the first imaging device generates a first image imaged from the viewpoint of the worker, and the second imaging device is A second image captured from a viewpoint on a laser emitting device that emits a laser, wherein the control device includes the first image generated by the first imaging device and the second image generated by the first imaging device. And controlling the display device to display a second image generated by the imaging device of.
本発明のプログラムは、レーザを用いて作業者が被加工物を加工することを可能にするレーザ加工システムにおいて用いられる装置において実行されるプログラムであって、前記装置は、作業者に画像を表示する表示装置と、前記表示装置を制御する制御装置とを備え、前記表示装置は、前記作業者に装着可能なように構成れており、前記表示装置は、第１の撮像装置と第２の撮像装置とに接続されることが可能なように構成されており、前記第１の撮像装置は、前記作業者の視点から撮像された第１の画像を生成し、前記第２の撮像装置は、レーザを出射するレーザ出射装置上の視点から撮像された第２の画像を生成し、
前記プログラムは、前記制御装置によって実行されると、前記第１の撮像装置によって生成された第１の画像と前記第２の撮像装置によって生成された第２の画像とを表示するように前記表示装置を制御することを前記制御装置に行わせる。
The program of the present invention is a program executed in an apparatus used in a laser processing system that enables an operator to process an object using a laser, the apparatus displaying an image to the operator. A display device for controlling the display device and a control device for controlling the display device. The display device is configured to be attachable to the worker, and the display device includes a first imaging device and a second imaging device. The first imaging device is configured to be connectable to an imaging device, the first imaging device generates a first image imaged from the viewpoint of the worker, and the second imaging device is , Generating a second image captured from a viewpoint on a laser emitting device that emits a laser,
The program, when executed by the control device, displays the first image generated by the first imaging device and the second image generated by the second imaging device. Causes the controller to control the device.
本発明によれば、レーザを用いた加工の作業効率を格段に向上させることが可能なレーザ加工システムおよびそのレーザ加工システムにおいて用いられる装置、その装置において実行される方法およびプログラムを提供することが可能である。 According to the present invention, it is possible to provide a laser processing system capable of remarkably improving the working efficiency of processing using a laser, an apparatus used in the laser processing system, a method executed in the apparatus, and a program. It is possible.
以下、図面を参照しながら、本発明の実施形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
１．レーザ加工システムの概要
出願人は、新しいレーザ加工システムを提案する。このレーザ加工システムは、レーザを用いて作業者が被加工物を加工することを可能にするものである。
1. Outline of laser processing system The applicant proposes a new laser processing system. This laser processing system enables an operator to process a workpiece using a laser.
図１は、レーザ加工システム１０を用いて作業者１が中空管２２内にある被加工物２０を加工する様子を示す。ここで、被加工物２０は、中空管２２内に隠れて見えないため、図１において破線で示されている。 FIG. 1 shows how a worker 1 uses a laser processing system 10 to process a work piece 20 in a hollow tube 22. Here, since the work piece 20 is hidden in the hollow tube 22 and is not visible, it is shown by a broken line in FIG. 1.
作業者１には、表示装置３０が装着されている。図１に示される例では、表示装置３０は、作業者１の頭部に装着されているがこれに限定されない。表示装置３０は、作業者１の任意の部位に装着されることが可能である。表示装置３０は、例えば、ヘッドマウントディスプレイタイプの表示装置であってもよいし、メガネタイプの表示装置であってもよい。 A display device 30 is attached to the worker 1. In the example shown in FIG. 1, the display device 30 is mounted on the head of the worker 1, but the present invention is not limited to this. The display device 30 can be attached to any part of the worker 1. The display device 30 may be, for example, a head mount display type display device or a glasses type display device.
表示装置３０は、作業者１に画像を表示するように構成されている。表示装置３０は、作業者１の両眼に画像を表示するように構成されていてもよいし、作業者１の片眼のみ（右眼または左眼）に画像を表示するように構成されていてもよい。図１に示される例では、表示装置３０は、作業者１の両眼を覆うように構成されている。これにより、表示装置３０は、常に、レーザを被加工物２０に照射することによって生じる光をシールドすることが可能である。このように、表示装置３０は、作業者１の眼を保護する機能を有していてもよい。あるいは、表示装置３０は、光を透過する状態と光をシールドする状態との間で切り替え可能であるように構成されていてもよい。この場合、少なくとも、レーザを被加工物２０に照射する際に、光をシールドする状態に表示装置３０を切り替えることによって、レーザを被加工物２０に照射することによって生じる光から作業者１の眼を保護することが可能である。 The display device 30 is configured to display an image to the worker 1. The display device 30 may be configured to display an image on both eyes of the worker 1, or may be configured to display an image on only one eye (right eye or left eye) of the worker 1. May be. In the example shown in FIG. 1, the display device 30 is configured to cover both eyes of the worker 1. Thereby, the display device 30 can always shield the light generated by irradiating the workpiece 20 with the laser. In this way, the display device 30 may have a function of protecting the eyes of the worker 1. Alternatively, the display device 30 may be configured to be switchable between a light transmitting state and a light shielding state. In this case, at least when irradiating the workpiece 20 with the laser, the display device 30 is switched to a state in which the light is shielded, so that the eyes of the worker 1 are exposed from the light generated by irradiating the workpiece 20 with the laser. It is possible to protect
表示装置３０には、作業者１の視点から撮像された第１の画像、および／または、レーザ出射装置４０上の視点（例えば、レーザ出射装置４０の先端という視点）から撮像された第２の画像とが表示される。作業者１の視点から第１の画像を撮像することは、例えば、図９を参照して後述される第１の撮像装置６０によって達成されることが可能であるがこれに限定されない。レーザ出射装置４０上の視点から第２の画像を撮像することは、例えば、図９を参照して後述される第２の撮像装置７０によって達成されることが可能であるがこれに限定されない。第１の画像および第２の画像は選択的に表示されてもよいが、後述するように、被加工物２０とレーザ出射装置４０とを位置合わせする際には、第１の画像および第２の画像の両方が同時に表示されることが好ましい。 On the display device 30, the first image taken from the viewpoint of the worker 1 and/or the second image taken from the viewpoint on the laser emitting device 40 (for example, the viewpoint of the tip of the laser emitting device 40). The image and are displayed. Capturing the first image from the viewpoint of the worker 1 can be achieved by, for example, the first imaging device 60 described later with reference to FIG. 9, but is not limited thereto. Capturing the second image from the viewpoint on the laser emitting device 40 can be achieved by, for example, the second image capturing device 70 described later with reference to FIG. 9, but is not limited thereto. The first image and the second image may be selectively displayed, but as described later, when aligning the workpiece 20 and the laser emitting device 40, the first image and the second image are displayed. It is preferable that both of the images are displayed at the same time.
作業者１は、表示装置３０を装着した状態で、表示装置３０に表示される画像を確認しつつ（すなわち、被加工物２０を直視することなく）、レーザ出射装置４０から出射されるレーザを用いて被加工物２０を加工するという作業を行う。ここで、被加工物２０の加工は、任意の加工であり得る。例えば、被加工物２０を加工することは、被加工物２０を溶接加工すること、被加工物２０を切断加工すること、被加工物２０を切削加工すること、被加工物２０を穴あけ加工することのうちの少なくとも１つを含む。 The worker 1, while wearing the display device 30, checks the image displayed on the display device 30 (that is, without directly looking at the workpiece 20), and at the same time outputs the laser emitted from the laser emitting device 40. The work of processing the workpiece 20 is performed using the above. Here, the processing of the workpiece 20 may be any processing. For example, processing the work piece 20 includes welding the work piece 20, welding the work piece 20, cutting the work piece 20, and boring the work piece 20. Including at least one of the following:
レーザ出射装置４０には、レーザをオンオフするスイッチ（図示せず）が設けられている。作業者１がレーザ出射装置４０のスイッチをオンにすることによって、レーザ出射装置４０からレーザが出射される。レーザ出射装置４０から出射されるレーザの種類は問わない。図１に示される例では、レーザ出射装置４０はレーザトーチ型の装置であるがこれに限定されない。レーザ出射装置４０はレーザを出射する機能を有する任意のタイプの装置であり得る。 The laser emitting device 40 is provided with a switch (not shown) for turning the laser on and off. When the worker 1 turns on the switch of the laser emission device 40, the laser emission device 40 emits a laser. The type of laser emitted from the laser emitting device 40 does not matter. In the example shown in FIG. 1, the laser emitting device 40 is a laser torch type device, but is not limited to this. The laser emitting device 40 may be any type of device having a function of emitting a laser.
表示装置３０に表示される画像は、動画であっても静止画であってもよいが作業者１の作業効率を考慮するとリアルタイム動画であることが好ましい。また、表示装置３０に表示される画像はカラー画像であっても白黒画像であってもよいが作業者１の作業効率を考慮すると肉眼で見るのと同等のフルカラー画像であることが好ましい。 The image displayed on the display device 30 may be a moving image or a still image, but is preferably a real-time moving image in consideration of the work efficiency of the worker 1. Further, the image displayed on the display device 30 may be a color image or a black and white image, but in consideration of the work efficiency of the worker 1, it is preferable that it is a full-color image equivalent to that seen by the naked eye.
表示装置３０は、制御装置５０によって制御される。図１に示される例では、制御装置５０は、表示装置３０の外部に設けられているがこれに限定されない。制御装置５０は、表示装置３０の内部に設けられていてもよい。 The display device 30 is controlled by the control device 50. In the example shown in FIG. 1, the control device 50 is provided outside the display device 30, but is not limited to this. The control device 50 may be provided inside the display device 30.
２．レーザ加工システムの機能
レーザ加工システム１０は、以下の（１）〜（８）の機能のうちの少なくとも１つの機能を有することが可能である。
（１）作業者１の視点から撮像された画像を表示する機能
（２）レーザ出射装置４０上の視点から撮像された画像を表示する機能
（３）作業者１の視点から撮像された画像とレーザ出射装置４０上の視点から撮像された画像とを同時に表示する機能
（４）被加工物２０とレーザ出射装置４０との相対的な位置関係に応じて、表示装置３０に表示される画像の表示態様を変更する機能
（５）被加工物２０の部分（レーザによって加工されるべき部分）を示す加工ガイドを表示する機能
（６）作業者１の作業を評価する機能
（７）作業者１の代わりにロボットに作業を行わせることを可能にする機能
（８）作業マニュアルを表示する機能
以下、レーザ加工システム１０の（１）〜（８）の機能を詳細に説明する。
2. Functions of Laser Processing System The laser processing system 10 can have at least one of the following functions (1) to (8).
(1) A function of displaying an image captured from the viewpoint of the worker 1 (2) A function of displaying an image captured from the viewpoint on the laser emitting device 40 (3) An image captured from the viewpoint of the worker 1 Function of simultaneously displaying an image taken from a viewpoint on the laser emitting device 40 (4) Depending on the relative positional relationship between the workpiece 20 and the laser emitting device 40, the image displayed on the display device 30 is displayed. Function of changing display mode (5) Function of displaying a machining guide showing a portion of the workpiece 20 (portion to be processed by laser) (6) Function of evaluating the work of the worker 1 (7) Worker 1 Function that allows the robot to perform work instead of (8) Function to display the work manual
Hereinafter, the functions (1) to (8) of the laser processing system 10 will be described in detail.
（１）作業者１の視点から撮像された画像を表示する機能
レーザ加工システム１０は、作業者１の視点から撮像された画像を表示装置３０に表示する機能を有することが可能である。このような機能は、例えば、第１の撮像装置６０（図９）、表示装置３０によって達成されることが可能であるがこれに限定されない。
(1) Function of Displaying Image Captured from Perspective of Worker 1 The laser processing system 10 can have a function of displaying an image captured from the perspective of the worker 1 on the display device 30. Such a function can be achieved by, for example, the first imaging device 60 (FIG. 9) and the display device 30, but is not limited to this.
図２は、表示装置３０の画面３０ａに表示される画像の一例を示す。図２に示される例では、表示装置３０の画面３０ａには、作業者１の視点から撮像された画像２００が表示されている。画像２００は、中空管２２を示す。ここで、被加工物２０は、中空管２２内に隠れて見えないため、図２において破線で示されている。 FIG. 2 shows an example of an image displayed on the screen 30 a of the display device 30. In the example shown in FIG. 2, an image 200 captured from the viewpoint of the worker 1 is displayed on the screen 30a of the display device 30. Image 200 shows hollow tube 22. Here, since the work piece 20 is hidden in the hollow tube 22 and is not visible, it is shown by a broken line in FIG.
このように、作業者１の視点から撮像された画像２００を表示装置３０に表示することによって、作業者１は、表示装置３０を装着した状態で、表示装置３０に表示された画像２００を確認しつつ、レーザを用いて被加工物２０を加工するという作業を行うことが可能である。その結果、作業者１は、作業中に表示装置３０を装着したり外したりする必要がない。 In this way, by displaying the image 200 captured from the viewpoint of the worker 1 on the display device 30, the worker 1 confirms the image 200 displayed on the display device 30 while wearing the display device 30. At the same time, it is possible to perform the work of processing the workpiece 20 using the laser. As a result, the worker 1 does not need to attach or detach the display device 30 during the work.
（２）レーザ出射装置４０上の視点から撮像された画像を表示する機能
レーザ加工システム１０は、レーザ出射装置４０上の視点（例えば、レーザ出射装置４０の先端）から撮像された画像を表示装置３０に表示する機能を有することが可能である。このような機能は、例えば、第２の撮像装置６０（図９）、表示装置３０によって達成されることが可能であるがこれに限定されない。
(2) Function of Displaying Image Captured from Perspective on Laser Emission Device 40 The laser processing system 10 displays the image captured from the perspective on the laser emission device 40 (for example, the tip of the laser emission device 40). It is possible to have a function of displaying on 30. Such a function can be achieved by, for example, the second imaging device 60 (FIG. 9) and the display device 30, but is not limited thereto.
図３は、表示装置３０の画面３０ａに表示される画像の一例を示す。図３に示される例では、表示装置３０の画面３０ａには、レーザ出射装置４０の先端から撮像された画像３００が表示されている。画像３００は、レーザ出射装置４０の先端からの視野を示す。 FIG. 3 shows an example of an image displayed on the screen 30 a of the display device 30. In the example shown in FIG. 3, an image 300 captured from the tip of the laser emitting device 40 is displayed on the screen 30 a of the display device 30. The image 300 shows the field of view from the tip of the laser emitting device 40.
このように、レーザ出射装置４０の先端から撮像された画像３００を表示装置３０に表示することによって、作業者１は、表示装置３０を装着した状態で、表示装置３０に表示された画像３００を確認しつつ、レーザを用いて被加工物２０を加工するという作業を行うことが可能である。その結果、作業者１は、作業中に表示装置３０を装着したり外したりする必要がない。 In this way, by displaying the image 300 captured from the tip of the laser emitting device 40 on the display device 30, the worker 1 can view the image 300 displayed on the display device 30 while wearing the display device 30. While confirming, it is possible to perform the work of processing the workpiece 20 using the laser. As a result, the worker 1 does not need to attach or detach the display device 30 during the work.
（３）作業者１の視点から撮像された画像とレーザ出射装置４０上の視点から撮像された画像とを同時に表示する機能
レーザ加工システム１０は、作業者１の視点から撮像された画像とレーザ出射装置４０上の視点（例えば、レーザ出射装置４０の先端）から撮像された画像とを表示装置３０に同時に表示する機能を有することが可能である。このような機能は、例えば、第１の撮像装置６０（図９）、第２の撮像装置７０（図９）、表示装置３０によって達成されることが可能であるがこれに限定されない。
(3) Function of simultaneously displaying an image captured from the viewpoint of the worker 1 and an image captured from the viewpoint on the laser emitting device 40 The laser processing system 10 includes an image captured from the viewpoint of the worker 1 and a laser. It is possible to have a function of simultaneously displaying, on the display device 30, an image captured from the viewpoint on the emitting device 40 (for example, the tip of the laser emitting device 40). Such a function can be achieved by, for example, the first imaging device 60 (FIG. 9), the second imaging device 70 (FIG. 9), and the display device 30, but is not limited thereto.
図４は、表示装置３０の画面３０ａに表示される画像の一例を示す。図４に示される例では、表示装置３０の画面３０ａには、作業者１の視点から撮像された画像４１０とレーザ出射装置４０の先端から撮像された画像４２０とが表示されている。画像４１０は、レーザ出射装置４０と中空管２２とを示す。ここで、被加工物２０は、中空管２２内に隠れて見えないため、図４において破線で示されている。画像４２０は、レーザ出射装置４０の先端からの視野を示す。 FIG. 4 shows an example of an image displayed on the screen 30 a of the display device 30. In the example shown in FIG. 4, an image 410 captured from the viewpoint of the worker 1 and an image 420 captured from the tip of the laser emitting device 40 are displayed on the screen 30a of the display device 30. Image 410 shows laser emitting device 40 and hollow tube 22. Here, since the work piece 20 is hidden in the hollow tube 22 and is not visible, it is shown by a broken line in FIG. 4. The image 420 shows the field of view from the tip of the laser emitting device 40.
このように、作業者１の視点から撮像された画像４１０とレーザ出射装置４０の先端から撮像された画像４２０とを表示装置３０に表示することによって、作業者１は、被加工物２０とレーザ出射装置４０との大まかな位置合わせを作業者１の視点から撮像された画像４１０を見ながら行うことが可能であるとともに、被加工物２０の加工すべき部分とレーザ出射装置４０から出射されるレーザの照射点との細かな位置合わせをレーザ出射装置４０の先端から撮像された画像４２０を見ながら行うことが可能である。これにより、作業者１による作業の視認性、効率を向上させることが可能であるとともに、被加工物２０を加工する精度を向上させることが可能である。 In this way, by displaying the image 410 captured from the viewpoint of the worker 1 and the image 420 captured from the tip of the laser emitting device 40 on the display device 30, the worker 1 can operate the workpiece 20 and the laser 20. It is possible to perform a rough alignment with the emitting device 40 while looking at the image 410 taken from the viewpoint of the worker 1, and to emit from the laser emitting device 40 and the portion of the workpiece 20 to be processed. It is possible to perform fine alignment with the irradiation point of the laser while observing the image 420 taken from the tip of the laser emitting device 40. Thereby, the visibility and efficiency of the work by the worker 1 can be improved, and the accuracy of processing the workpiece 20 can be improved.
ここで、レーザ出射装置４０の先端から撮像された画像４２０を表示装置３０に表示するタイミングは任意のタイミングであり得る。例えば、レーザ出射装置４０の電源がオンにされた時点から画像４２０を表示装置３０に表示するようにしてもよいし、被加工物２０とレーザ出射装置４０との相対的な位置関係に応じて画像４２０を表示するタイミングを制御するようにしてもよい。例えば、レーザ出射装置４０が作業者１の視点から撮像された画像４１０内に出現した時点から画像４２０を表示装置３０に表示するようにしてもよい。 Here, the timing of displaying the image 420 captured from the tip of the laser emitting device 40 on the display device 30 may be any timing. For example, the image 420 may be displayed on the display device 30 from the time when the power of the laser emitting device 40 is turned on, or depending on the relative positional relationship between the workpiece 20 and the laser emitting device 40. The timing of displaying the image 420 may be controlled. For example, the image 420 may be displayed on the display device 30 from the time when the laser emitting device 40 appears in the image 410 captured from the viewpoint of the worker 1.
（４）被加工物２０とレーザ出射装置４０との相対的な位置関係に応じて、表示装置３０に表示される画像の表示態様を変更する機能
レーザ加工システム１０は、被加工物２０とレーザ出射装置４０との相対的な位置関係に応じて、表示装置３０に表示される画像の表示態様を変更する機能を有することが可能である。このような機能は、例えば、位置検出装置８０（図９）、制御装置５０、表示装置３０によって達成されることが可能であるがこれに限定されない。
(4) Function of changing the display mode of the image displayed on the display device 30 according to the relative positional relationship between the workpiece 20 and the laser emitting device 40. The laser processing system 10 includes the workpiece 20 and the laser. It is possible to have a function of changing the display mode of the image displayed on the display device 30 according to the relative positional relationship with the emitting device 40. Such a function can be achieved by, for example, the position detection device 80 (FIG. 9), the control device 50, and the display device 30, but is not limited thereto.
以下、図５Ａ、図５Ｂを参照して、被加工物２０とレーザ出射装置４０との相対的な位置関係に応じて、表示装置３０に表示される画像の表示態様を変更する一例を説明する。 Hereinafter, an example in which the display mode of the image displayed on the display device 30 is changed according to the relative positional relationship between the workpiece 20 and the laser emitting device 40 will be described with reference to FIGS. 5A and 5B. ..
図５Ａは、表示装置３０の画面３０ａに表示される画像の一例を示す。図５Ａに示される例では、表示装置３０の画面３０ａには、作業者１の視点から撮像された画像５１０が表示されているがレーザ出射装置４０の先端から撮像された画像は表示されていない。これは、被加工物２０とレーザ出射装置４０との距離が所定の距離よりも大きいからである。画像５１０は、レーザ出射装置４０と中空管２２とを示す。ここで、被加工物２０は、中空管２２内に隠れて見えないため、図５Ａにおいて破線で示されている。 FIG. 5A shows an example of an image displayed on the screen 30 a of the display device 30. In the example shown in FIG. 5A, an image 510 captured from the viewpoint of the worker 1 is displayed on the screen 30a of the display device 30, but an image captured from the tip of the laser emitting device 40 is not displayed. .. This is because the distance between the workpiece 20 and the laser emitting device 40 is larger than the predetermined distance. Image 510 shows laser emitting device 40 and hollow tube 22. Here, since the work piece 20 is hidden in the hollow tube 22 and is not visible, it is shown by a broken line in FIG. 5A.
図５Ｂは、表示装置３０の画面３０ａに表示される画像の一例を示す。図５Ｂに示される例では、表示装置３０の画面３０ａには、作業者１の視点から撮像された画像５１０およびレーザ出射装置４０の先端から撮像された画像５２０の両方が表示されている。これは、被加工物２０とレーザ出射装置４０との距離が所定の距離以下であるからである。画像５２０は、レーザ出射装置４０の先端からの視野を示す。 FIG. 5B shows an example of an image displayed on the screen 30 a of the display device 30. In the example shown in FIG. 5B, on the screen 30a of the display device 30, both the image 510 captured from the viewpoint of the worker 1 and the image 520 captured from the tip of the laser emitting device 40 are displayed. This is because the distance between the workpiece 20 and the laser emitting device 40 is less than or equal to the predetermined distance. The image 520 shows the field of view from the tip of the laser emitting device 40.
このように、被加工物２０とレーザ出射装置４０との距離が所定の距離よりも大きい場合にはレーザ出射装置４０の先端から撮像された画像５２０を表示しないが、被加工物２０とレーザ出射装置４０との距離が所定の距離以下である場合にはレーザ出射装置４０の先端から撮像された画像５２０を表示するように、レーザ出射装置４０の先端から撮像された画像５２０の非表示／表示を切り替えることによって、作業に必要とされる場合にのみレーザ出射装置４０の先端から撮像された画像５２０を表示することが可能である。これにより、作業者１が被加工物２０とレーザ出射装置４０とを位置合わせする作業を容易にすることが可能である。また、表示装置３０の画面３０ａのスペースを有効に活用することも可能である。 As described above, when the distance between the workpiece 20 and the laser emitting device 40 is larger than the predetermined distance, the image 520 captured from the tip of the laser emitting device 40 is not displayed, but the workpiece 20 and the laser emitting device 40 are not displayed. Hide/display the image 520 taken from the tip of the laser emitting device 40 so that the image 520 taken from the tip of the laser emitting device 40 is displayed when the distance to the device 40 is equal to or less than a predetermined distance. It is possible to display the image 520 picked up from the tip of the laser emitting device 40 only when it is necessary for the work by switching. As a result, it is possible for the worker 1 to facilitate the work of aligning the workpiece 20 and the laser emitting device 40. It is also possible to effectively utilize the space of the screen 30a of the display device 30.
次に、図６Ａ、図６Ｂを参照して、被加工物２０とレーザ出射装置４０との相対的な位置関係に応じて、表示装置３０に表示される画像の表示態様を変更する他の一例を説明する。 Next, referring to FIGS. 6A and 6B, another example of changing the display mode of the image displayed on the display device 30 according to the relative positional relationship between the workpiece 20 and the laser emitting device 40. Will be explained.
図６Ａは、表示装置３０の画面３０ａに表示される画像の一例を示す。図６Ａに示される例では、表示装置３０の画面３０ａには、作業者１の視点から撮像された画像６１０およびレーザ出射装置４０の先端から撮像された画像６２０の両方が表示されている。ただし、レーザ出射装置４０の先端から撮像された画像５２０は比較的小さいサイズで表示されている。これは、被加工物２０とレーザ出射装置４０との距離が比較的大きいからである。画像６１０は、レーザ出射装置４０と中空管２２とを示す。ここで、被加工物２０は、中空管２２内に隠れて見えないため、図６Ａにおいて破線で示されている。画像６２０は、レーザ出射装置４０の先端からの視野を示す。 FIG. 6A shows an example of an image displayed on the screen 30 a of the display device 30. In the example illustrated in FIG. 6A, the screen 30a of the display device 30 displays both the image 610 captured from the viewpoint of the worker 1 and the image 620 captured from the tip of the laser emitting device 40. However, the image 520 taken from the tip of the laser emitting device 40 is displayed in a relatively small size. This is because the distance between the workpiece 20 and the laser emitting device 40 is relatively large. Image 610 shows laser emitting device 40 and hollow tube 22. Here, since the work piece 20 is hidden in the hollow tube 22 and is not visible, it is shown by a broken line in FIG. 6A. The image 620 shows the field of view from the tip of the laser emitting device 40.
図６Ｂは、表示装置３０の画面３０ａに表示される画像の一例を示す。図６Ｂに示される例では、表示装置３０の画面３０ａには、作業者１の視点から撮像された画像６１０およびレーザ出射装置４０の先端から撮像された画像６２０の両方が表示されている。ただし、レーザ出射装置４０の先端から撮像された画像６２０は比較的大きいサイズで表示されている。これは、被加工物２０とレーザ出射装置４０との距離が比較的小さいからである。 FIG. 6B shows an example of an image displayed on the screen 30 a of the display device 30. In the example shown in FIG. 6B, on the screen 30a of the display device 30, both the image 610 taken from the viewpoint of the worker 1 and the image 620 taken from the tip of the laser emitting device 40 are displayed. However, the image 620 taken from the tip of the laser emitting device 40 is displayed in a relatively large size. This is because the distance between the workpiece 20 and the laser emitting device 40 is relatively small.
このように、被加工物２０とレーザ出射装置４０との距離に応じてレーザ出射装置４０の先端から撮像された画像６２０のサイズを変更するように、レーザ出射装置４０の先端から撮像された画像６２０の表示を制御することによって、作業に必要とされる場合にレーザ出射装置４０の先端から撮像された画像６２０のサイズを大きく表示することが可能である。これにより、作業者１が被加工物２０とレーザ出射装置４０とを位置合わせする作業を容易にすることが可能である。また、表示装置３０の画面３０ａのスペースを有効に活用することも可能である。 Thus, the image captured from the tip of the laser emitting device 40 is changed so that the size of the image 620 captured from the tip of the laser emitting device 40 is changed according to the distance between the workpiece 20 and the laser emitting device 40. By controlling the display of 620, the size of the image 620 taken from the tip of the laser emitting device 40 can be displayed in a large size when required for the work. As a result, it is possible for the worker 1 to facilitate the work of aligning the workpiece 20 and the laser emitting device 40. It is also possible to effectively utilize the space of the screen 30a of the display device 30.
ここで、レーザ出射装置４０の先端から撮像された画像６２０のサイズの変更は、連続的であってもよいし離散的であってもよい。例えば、レーザ出射装置４０が被加工物２０に近づくにつれて画像６２０をより大きなサイズで表示するようにしてもよい。例えば、レーザ出射装置４０が被加工物２０の近傍にある場合（すなわち、被加工物２０とレーザ出射装置４０との距離が所定の範囲内にある場合）には、レーザ出射装置４０の先端から撮像された画像６２０を表示装置３０の画面３０ａ全体に表示する（すなわち、作業者１の視点から撮像された画像６１０を表示しないようにする）ようにしてもよい。 Here, the size change of the image 620 captured from the tip of the laser emitting device 40 may be continuous or discrete. For example, the image 620 may be displayed in a larger size as the laser emitting device 40 approaches the workpiece 20. For example, when the laser emitting device 40 is near the workpiece 20 (that is, when the distance between the workpiece 20 and the laser emitting device 40 is within a predetermined range), from the tip of the laser emitting device 40. The captured image 620 may be displayed on the entire screen 30a of the display device 30 (that is, the image 610 captured from the viewpoint of the worker 1 may not be displayed).
なお、図５Ｂに示される画像５２０が表示される領域、および、図６Ａ、図６Ｂに示される画像６２０が表示される領域は画面３０ａ内の任意の領域であり得るが、被加工物２０が表示される領域と重ならない領域であることが好ましい。作業者１の視点から撮像された画像５１０または画像６１０に基づいて、作業者１が被加工物２０とレーザ出射装置４０との大まかな位置合わせを行う作業を妨げないようにするためである。 The area in which the image 520 shown in FIG. 5B is displayed and the area in which the image 620 shown in FIGS. 6A and 6B is displayed may be an arbitrary area within the screen 30a. It is preferable that the area does not overlap the displayed area. This is to prevent the worker 1 from disturbing the work of roughly aligning the workpiece 20 and the laser emitting device 40 based on the image 510 or the image 610 captured from the viewpoint of the worker 1.
次に、図７を参照して、被加工物２０とレーザ出射装置４０との相対的な位置関係に応じて、表示装置３０に表示される画像の表示態様を変更する他の一例を説明する。 Next, another example of changing the display mode of the image displayed on the display device 30 according to the relative positional relationship between the workpiece 20 and the laser emitting device 40 will be described with reference to FIG. 7. ..
図７は、表示装置３０の画面３０ａに表示される画像の一例を示す。図７に示される例では、表示装置３０の画面３０ａには、レーザ出射装置４０が被加工物２０に近づく方向を案内する方向ガイド７３０が表示されている。 FIG. 7 shows an example of an image displayed on the screen 30 a of the display device 30. In the example shown in FIG. 7, a screen 30a of the display device 30 displays a direction guide 730 that guides the laser emitting device 40 in the direction toward the workpiece 20.
このように、レーザ出射装置４０が被加工物２０に近づく方向を案内する方向ガイド７３０を表示することによって、作業者１が被加工物２０とレーザ出射装置４０とを位置合わせする作業を容易にすることが可能である。 Thus, by displaying the direction guide 730 that guides the direction in which the laser emitting device 40 approaches the workpiece 20, the worker 1 can easily perform the work of aligning the workpiece 20 and the laser emitting device 40. It is possible to
なお、方向ガイド７３０の代わりに、または、方向ガイド７３０に加えて、被加工物２０とレーザ出射装置４０との距離を示す数値を表示するようにしてもよい。これにより、作業者１が、被加工物２０とレーザ出射装置４０とを位置合わせする作業を容易にすることが可能である。 Instead of the direction guide 730 or in addition to the direction guide 730, a numerical value indicating the distance between the workpiece 20 and the laser emitting device 40 may be displayed. This makes it possible for the worker 1 to facilitate the work of aligning the workpiece 20 and the laser emitting device 40.
（５）被加工物２０の部分（レーザによって加工されるべき部分）を示す加工ガイドを表示する機能
レーザ加工システム１０は、被加工物２０のうちレーザによって加工されるべき部分を示す加工ガイドを表示装置３０に表示する機能を有することが可能である。このような機能は、例えば、作業対象である被加工物２０に関連付けられた状態で制御装置５０のメモリ部５０ｂ（図９）に予め格納されている加工ガイドを読み出して表示装置３０に表示することによって達成されることが可能であるがこれに限定されない。
(5) Function of Displaying Processing Guide Showing Part of Workpiece 20 (Part to be Processed by Laser) The laser processing system 10 displays a processing guide showing a part of the workpiece 20 to be processed by laser. It is possible to have a function of displaying on the display device 30. Such a function, for example, reads a processing guide stored in advance in the memory unit 50b (FIG. 9) of the control device 50 in a state associated with the work piece 20 as the work target and displays it on the display device 30. Can be achieved by, but is not limited to.
図８は、表示装置３０の画面３０ａに表示される画像の一例を示す。図８に示される例では、表示装置３０の画面３０ａには、被加工物２０のうちレーザによって加工されるべき部分を示す加工ガイド８３０が表示されている。図８に示される例では、加工ガイド８３０は破線で示されているがこれに限定されない。加工ガイド８３０は任意の態様で表示されることが可能である。 FIG. 8 shows an example of an image displayed on the screen 30 a of the display device 30. In the example shown in FIG. 8, the screen 30a of the display device 30 displays a processing guide 830 indicating a portion of the workpiece 20 to be processed by the laser. In the example shown in FIG. 8, the processing guide 830 is shown by a broken line, but the invention is not limited to this. The processing guide 830 can be displayed in any manner.
このように、作業者１の視点から撮像された画像８１０に含まれる被加工物２０の画像に加工ガイド８３０を重ねて表示することによって、作業者１が被加工物２０の部分（レーザによって加工されるべき部分）を容易に認識することが可能である。さらに、作業者１は、加工ガイド８３０に従ってレーザ出射装置４０から出射されるレーザの照射点を被加工物２０の部分（レーザによって加工されるべき部分）に容易にかつ確実に位置合わせすることが可能である。これにより、作業者１が初心者であっても熟練者であるかのように被加工物２０の加工を効率良く行うことが可能である。 In this way, by displaying the processing guide 830 on the image of the work piece 20 included in the image 810 captured from the viewpoint of the worker 1, the worker 1 can display the portion of the work piece 20 (processed by the laser). It is possible to easily recognize (the part to be done). Further, the worker 1 can easily and reliably align the irradiation point of the laser emitted from the laser emitting device 40 with the portion of the workpiece 20 (the portion to be processed by the laser) according to the processing guide 830. It is possible. As a result, even if the worker 1 is a beginner, it is possible to efficiently process the work piece 20 as if the worker 1 were an expert.
（６）作業者１の作業を評価する機能
レーザ加工システム１０は、作業者１の作業を評価する機能を有することが可能である。このような機能は、例えば、上述した加工ガイド８３０に沿ってレーザ出射装置４０が実際に移動したか否かを評価することによって達成されることが可能であるがこれには限定されない。レーザ出射装置４０が実際に移動した軌跡は、例えば、位置検出装置８０（図９）によって検出されることが可能である。
(6) Function for Evaluating the Work of the Worker 1 The laser processing system 10 can have a function for evaluating the work of the worker 1. Such a function can be achieved, for example, by evaluating whether or not the laser emitting device 40 has actually moved along the above-described processing guide 830, but is not limited thereto. The locus of the actual movement of the laser emitting device 40 can be detected by, for example, the position detecting device 80 (FIG. 9).
レーザ出射装置４０の位置が加工ガイド８３０から外れた場合には、その旨を作業者１にリアルタイムに警告するようにしてもよい。あるいは、作業が完了した後に作業者１ごとに作業のスコアを出力するようにしてもよい。 When the position of the laser emitting device 40 deviates from the processing guide 830, the operator 1 may be alerted to that effect in real time. Alternatively, the work score may be output for each worker 1 after the work is completed.
このように、レーザ加工システム１０の上述した機能を用いることによって、作業者１の作業を客観的に評価することが可能である。 As described above, by using the above-described functions of the laser processing system 10, it is possible to objectively evaluate the work of the worker 1.
（７）作業者１の代わりにロボットに作業を行わせることを可能にする機能
レーザ加工システム１０は、作業者１の代わりにロボットに作業を行わせることを可能にする機能を有することが可能である。このような機能は、例えば、加工ガイド８３０に沿ってレーザ出射装置４０を移動させるようにレーザ出射装置４０の移動を制御装置５０によってフィードバック制御することによって達成されることが可能であるがこれに限定されない。
(7) Function that allows the robot to perform work on behalf of the worker 1 The laser processing system 10 can have a function that allows the robot to perform work on behalf of the worker 1. Is. Such a function can be achieved, for example, by feedback-controlling the movement of the laser emitting device 40 by the control device 50 so as to move the laser emitting device 40 along the processing guide 830. Not limited.
このように、レーザ加工システム１０の上述した機能を用いることによって、作業者１の代わりにロボットに作業を行わせることが可能である。 As described above, by using the above-described functions of the laser processing system 10, it is possible to cause the robot to perform work in place of the worker 1.
（８）作業マニュアルを表示する機能
レーザ加工システム１０は、作業マニュアルを表示装置３０に表示する機能を有することが可能である。このような機能は、例えば、作業対象である被加工物２０に関連付けられた状態で制御装置５０のメモリ部５０ｂ（図９）に予め格納されている作業マニュアルを読み出して表示装置３０に表示することによって達成されることが可能であるがこれに限定されない。
(8) Function of Displaying Work Manual The laser processing system 10 can have a function of displaying the work manual on the display device 30. Such a function, for example, reads a work manual stored in advance in the memory unit 50b (FIG. 9) of the control device 50 in a state of being associated with the work piece 20 that is the work target, and displays it on the display device 30. Can be achieved by, but is not limited to.
作業マニュアルを表示装置３０に表示することによって、作業者１は、表示装置３０に表示された作業マニュアルを確認しつつ、表示装置３０に表示された画像を見ながら、レーザを用いて被加工物２０を加工する作業を行うことが可能である。作業マニュアルは、例えば、被加工物２０の加工されるべき部分に関する情報、作業手順に関する情報などを含む。作業マニュアルを示す電子データは、例えば、制御装置５０のメモリ部５０ｂ（図９）に格納されている。 By displaying the work manual on the display device 30, the worker 1 confirms the work manual displayed on the display device 30 and, while watching the image displayed on the display device 30, uses the laser to process the workpiece. It is possible to perform the work of processing 20. The work manual includes, for example, information on a portion of the work piece 20 to be processed, information on a work procedure, and the like. The electronic data indicating the work manual is stored in, for example, the memory unit 50b (FIG. 9) of the control device 50.
ここで、作業マニュアルを表示装置３０に表示するタイミングは任意のタイミングであり得る。また、作業マニュアルを表示装置３０に表示するための作業者１による操作も任意の操作であり得る。例えば、作業者１の音声や作業者１の視線を認識することによって作業マニュアルの関連する部分を表示装置３０に表示するようにしてもよい。 Here, the work manual may be displayed on the display device 30 at any timing. Further, the operation by the worker 1 for displaying the work manual on the display device 30 may be an arbitrary operation. For example, the related portion of the work manual may be displayed on the display device 30 by recognizing the voice of the worker 1 or the line of sight of the worker 1.
３．レーザ加工システムの構成
図９は、レーザ加工システム１０の構成の一例を示す。レーザ加工システム１０は、作業者１の視点から撮像された第１の画像を生成する第１の撮像装置６０と、レーザを出射するレーザ出射装置４０と、レーザ出射装置４０上の視点から撮像された第２の画像を生成する第２の撮像装置７０と、作業者１に画像を表示する表示装置３０と、表示装置３０を制御する制御装置５０とを備えている。表示装置３０は、作業者１の所定の部位（例えば、頭部）に装着可能なように構成されている。
3. Configuration of Laser Processing System FIG. 9 shows an example of the configuration of the laser processing system 10. The laser processing system 10 is imaged from a first imaging device 60 that generates a first image captured from the viewpoint of the worker 1, a laser emitting device 40 that emits a laser, and a viewpoint on the laser emitting device 40. The second image pickup device 70 that generates the second image, the display device 30 that displays the image on the worker 1, and the control device 50 that controls the display device 30 are provided. The display device 30 is configured to be attachable to a predetermined part (for example, the head) of the worker 1.
第１の撮像装置６０および第２の撮像装置７０は、表示装置３０に接続されることが可能なように構成されている。これにより、第１の撮像装置６０は、第１の撮像装置６０によって生成された第１の画像を表示装置３０に出力することが可能であり、第２の撮像装置７０は、第２の撮像装置７０によって生成された第２の画像を表示装置３０に出力することが可能である。第１の撮像装置６０および第２の撮像装置７０が表示装置３０に接続されている態様は問わない。第１の撮像装置６０および第２の撮像装置７０は、無線で表示装置３０に接続されていてもよいし、有線で表示装置３０に接続されていてもよい。 The first imaging device 60 and the second imaging device 70 are configured so that they can be connected to the display device 30. Thereby, the first imaging device 60 can output the first image generated by the first imaging device 60 to the display device 30, and the second imaging device 70 can output the second image. The second image generated by the device 70 can be output to the display device 30. It does not matter how the first imaging device 60 and the second imaging device 70 are connected to the display device 30. The first imaging device 60 and the second imaging device 70 may be wirelessly connected to the display device 30 or may be wired to the display device 30.
制御装置５０は、第１の撮像装置６０によって生成された第１の画像および第２の撮像装置７０によって生成された第２の画像のうちの少なくとも一方を表示するように表示装置３０を制御する。 The control device 50 controls the display device 30 to display at least one of the first image generated by the first imaging device 60 and the second image generated by the second imaging device 70. ..
第１の撮像装置６０は、作業者１の視点から撮像された画像を生成することが可能な任意の撮像装置であり得る。例えば、第１の撮像装置６０は、１つのＣＣＤ等の固体撮像素子を有する二次元カメラであってもよいし、２つのＣＣＤ等の固体撮像素子を有する三次元カメラであってもよい。ＣＣＤは、カラーＣＣＤであってもよいし白黒ＣＣＤであってもよい。 The first imaging device 60 may be any imaging device capable of generating an image captured from the viewpoint of the worker 1. For example, the first imaging device 60 may be a two-dimensional camera having one solid-state image sensor such as a CCD or a three-dimensional camera having two solid-state image sensors such as CCD. The CCD may be a color CCD or a black and white CCD.
第１の撮像装置６０は、例えば、作業者１の視点からの視野と第１の撮像装置６０上の視点からの視野とがほぼ一致するように作業者１の眼の近傍に配置されていてもよい。例えば、第１の撮像装置６０は、表示装置３０とは別個の装置として表示装置３０に取り付けられていてもよいし、表示装置３０と一体的に形成されていてもよい。 The first imaging device 60 is arranged, for example, in the vicinity of the eye of the worker 1 so that the field of view from the viewpoint of the worker 1 and the field of view from the viewpoint on the first imaging device 60 substantially match. Good. For example, the first imaging device 60 may be attached to the display device 30 as a device separate from the display device 30, or may be integrally formed with the display device 30.
第２の撮像装置７０は、レーザ出射装置４０上の視点（例えば、レーザ出射装置４０の先端）から撮像された画像を生成することが可能な任意の撮像装置であり得る。例えば、第２の撮像装置７０は、１つのＣＣＤ等の固体撮像素子を有する二次元カメラであってもよいし、２つのＣＣＤ等の固体撮像素子を有する三次元カメラであってもよい。ＣＣＤは、カラーＣＣＤでもよいし、白黒ＣＣＤであってもよい。 The second image capturing device 70 may be any image capturing device capable of generating an image captured from a viewpoint on the laser emitting device 40 (for example, the tip of the laser emitting device 40). For example, the second image pickup device 70 may be a two-dimensional camera having one solid-state image sensor such as CCD or a three-dimensional camera having two solid-state image sensors such as CCD. The CCD may be a color CCD or a black and white CCD.
第２の撮像装置７０は、例えば、レーザ出射装置４０上の視点から撮像された画像を生成することが可能である限り、任意の位置に配置され得る。例えば、第２の撮像装置７０は、レーザ出射装置４０とは別個の装置としてレーザ出射装置４０に取り付けられていてもよいし、レーザ出射装置４０と一体的に形成されていてもよい。 The second image pickup device 70 can be arranged at any position as long as it can generate an image picked up from the viewpoint on the laser emitting device 40, for example. For example, the second imaging device 70 may be attached to the laser emitting device 40 as a device separate from the laser emitting device 40, or may be integrally formed with the laser emitting device 40.
レーザ出射装置４０は、レーザを出射することが可能な任意の装置であり得る。レーザ出射装置４０から出射されるレーザの種類は、加工目的等に応じて適宜選択されることが可能である。例えば、レーザ出射装置４０から出射されるレーザは、炭酸ガスレーザであってもよいし、ＹＡＧレーザであってもよいし、エキシマレーザであってもよい。 The laser emitting device 40 may be any device capable of emitting a laser. The type of laser emitted from the laser emitting device 40 can be appropriately selected according to the processing purpose and the like. For example, the laser emitted from the laser emitting device 40 may be a carbon dioxide gas laser, a YAG laser, or an excimer laser.
レーザ出射装置４０は、例えば、複合型光ファイバを含む。複合型光ファイバは、例えば、複合型光ファイバの中心に配置されたレーザ伝送用の第１の部分（中心部分）と、第１の部分の周囲に配置された画像伝送用の第２の部分（周囲部分）とを含む。第１の部分は、例えば、比較的大きな口径を有する第１の光ファイバであり得る。第２の部分は、例えば、比較的小さな口径を有する複数の第２の光ファイバを束ねたものであり得る。例えば、レーザ出射装置４０から出射されるレーザは、複合型光ファイバの第１の部分を通って伝送されることが可能である。また、複合型光ファイバの第２の部分を通った光が第２の撮像装置７０に入射されることにより、第２の撮像装置７０によって第２の画像が生成されることが可能である。 The laser emitting device 40 includes, for example, a composite optical fiber. The composite optical fiber includes, for example, a first portion (center portion) for laser transmission arranged in the center of the composite optical fiber, and a second portion for image transmission arranged around the first portion. (Surrounding part) and. The first portion can be, for example, a first optical fiber having a relatively large diameter. The second portion may be, for example, a bundle of a plurality of second optical fibers having a relatively small diameter. For example, the laser emitted from the laser emitting device 40 can be transmitted through the first portion of the composite optical fiber. Further, the light passing through the second portion of the composite optical fiber is incident on the second image pickup device 70, so that the second image pickup device 70 can generate the second image.
複合型光ファイバが、複合型光ファイバの中心に配置されたレーザ伝送用の第１の部分と、第１の部分の周囲に配置された画像伝送用の第２の部分とを含む場合には、レーザ伝送用の第１の部分と画像伝送用の第２の部分とを同軸にすることが可能である。これにより、レーザ伝送用の第１の部分の光軸と画像伝送用の第２の部分の光軸とがずれないようにすることが可能であり、かつ、レーザ伝送用の第１の部分と画像伝送用の第２の部分とに対して単一の光学系を用いることが可能である。その結果、複合型光ファイバを小型化することが可能である（例えば、複合型ファイバの直径を約１ｍｍにすることが可能である）。 In the case where the composite optical fiber includes a first portion for laser transmission arranged in the center of the composite optical fiber and a second portion for image transmission arranged around the first portion, It is possible to make the first portion for laser transmission and the second portion for image transmission coaxial. This makes it possible to prevent the optical axis of the first portion for laser transmission and the optical axis of the second portion for image transmission from deviating from each other, and with the first portion for laser transmission. It is possible to use a single optical system for the second part for image transmission. As a result, the composite optical fiber can be downsized (for example, the diameter of the composite fiber can be about 1 mm).
制御装置５０は、プロセッサ部５０ａとメモリ部５０ｂとを含む。プロセッサ部５０ａは、制御装置５０の全体の動作を制御する。メモリ部５０ｂには、処理を実行するために必要とされるプログラムやそのプログラムの実行に必要とされるデータ等が格納される。ここで、プログラムをどのようにしてメモリ部５０ｂに格納するかは問わない。例えば、プログラムは、メモリ部５０ｂにプリインストールされていてもよい。あるいは、プログラムは、インターネットなどのネットワークを介してダウンロードされることによってメモリ部５０ｂにインストールされるようにしてもよいし、光ディスクやＵＳＢなどの記憶媒体を介してメモリ部５０ｂにインストールされるようにしてもよい。メモリ部５０ｂに格納されているプログラムは、例えば、表示装置３０を制御するためのプログラムである。プロセッサ部５０ａは、メモリ部５０ｂに格納されているプログラムを読み出し、そのプログラムを実行する。これにより、制御装置５０は、表示装置３０を制御することが可能である。 The control device 50 includes a processor unit 50a and a memory unit 50b. The processor unit 50a controls the overall operation of the control device 50. The memory unit 50b stores a program required to execute the process, data required to execute the program, and the like. Here, it does not matter how the program is stored in the memory unit 50b. For example, the program may be preinstalled in the memory unit 50b. Alternatively, the program may be installed in the memory unit 50b by being downloaded via a network such as the Internet, or may be installed in the memory unit 50b via a storage medium such as an optical disk or a USB. May be. The program stored in the memory unit 50b is, for example, a program for controlling the display device 30. The processor unit 50a reads a program stored in the memory unit 50b and executes the program. Thereby, the control device 50 can control the display device 30.
レーザ加工システム１０は、被加工物２０の位置およびレーザ出射装置４０の位置を検出する位置検出装置８０をさらに備えていてもよい。位置検出装置８０は、例えば、作業者１の視点からの距離を測定する距離センサ（例えば、超音波センサや光学センサなど）であり得るがこれに限定されない。位置検出装置８０が距離センサである場合には、位置検出装置８０は、作業者１の視点と被加工物２０上の点との距離および作業者１の視点とレーザ出射装置４０上の点との距離を測定することによって、被加工物２０とレーザ出射装置４０との相対的な位置関係（例えば、両者の距離）を検出することが可能である。例えば、レーザ出射装置４０の先端が被加工物２０にタッチした場合には、作業者１の視点とレーザ出射装置４０の先端との距離に等しいものとして作業者１の視点と被加工物２０上のタッチされた点との距離を測定することが可能である。 The laser processing system 10 may further include a position detection device 80 that detects the position of the workpiece 20 and the position of the laser emitting device 40. The position detection device 80 may be, for example, a distance sensor (for example, an ultrasonic sensor or an optical sensor) that measures the distance from the viewpoint of the worker 1, but is not limited thereto. When the position detection device 80 is a distance sensor, the position detection device 80 detects the distance between the viewpoint of the worker 1 and a point on the workpiece 20, and the viewpoint of the worker 1 and a point on the laser emitting device 40. It is possible to detect the relative positional relationship between the workpiece 20 and the laser emitting device 40 (for example, the distance between the two) by measuring the distance. For example, when the tip of the laser emitting device 40 touches the workpiece 20, it is assumed that the distance between the viewpoint of the worker 1 and the tip of the laser emitting device 40 is equal to the viewpoint of the worker 1 and the workpiece 20. It is possible to measure the distance from the touched point of.
位置検出装置８０は、制御装置５０（または制御装置５０内のプロセッサ部５０ａ）に接続されている。これにより、位置検出装置８０は、被加工物２０とレーザ出射装置４０との相対的な位置関係（例えば、両者の距離）を示す信号を制御装置５０（または制御装置５０内のプロセッサ部５０ａ）に出力することが可能である。制御装置５０（または制御装置５０内のプロセッサ部５０ａ）は、位置検出装置８０から出力された、被加工物２０とレーザ出射装置４０との相対的な位置関係（例えば、両者の距離）を示す信号に応じて、表示装置３０を制御することが可能である。 The position detection device 80 is connected to the control device 50 (or the processor unit 50a in the control device 50). As a result, the position detection device 80 sends a signal indicating the relative positional relationship between the workpiece 20 and the laser emission device 40 (for example, the distance between the two) to the control device 50 (or the processor unit 50a in the control device 50). Can be output to. The controller 50 (or the processor unit 50a in the controller 50) indicates the relative positional relationship (for example, the distance between the workpiece 20 and the laser emitting device 40) output from the position detecting device 80. The display device 30 can be controlled according to the signal.
なお、第１の撮像装置６０が三次元カメラである場合には、第１の撮像装置６０が位置検出装置８０を兼ねることが可能である。なぜなら、三次元カメラは、第１の撮像装置６０上の点と被加工物２０上の点との距離および第１の撮像装置６０上の点とレーザ出射装置４０上の点との距離を測定することが可能であることから、被加工物２０とレーザ出射装置４０との相対的な位置関係（例えば、両者の距離）を検出することが可能であるからである。 When the first image pickup device 60 is a three-dimensional camera, the first image pickup device 60 can also serve as the position detection device 80. This is because the three-dimensional camera measures the distance between the point on the first imaging device 60 and the point on the workpiece 20 and the distance between the point on the first imaging device 60 and the point on the laser emitting device 40. This is because it is possible to detect the relative positional relationship between the workpiece 20 and the laser emission device 40 (for example, the distance between the two).
なお、制御装置５０は、表示装置３０の外部に設けられていてもよいし、表示装置３０の内部に設けられていてもよい。第１の撮像装置６０は、制御装置５０に代えて、または、制御装置５０に加えて、表示装置３０の外部に設けられていてもよいし、表示装置３０の内部に設けられていてもよい。 The control device 50 may be provided outside the display device 30 or may be provided inside the display device 30. The first imaging device 60 may be provided outside the display device 30 instead of the control device 50 or in addition to the control device 50, or may be provided inside the display device 30. ..
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。 Although the present invention has been illustrated by using the preferred embodiment of the present invention as described above, the present invention should not be construed as being limited to this embodiment. It is understood that the scope of the present invention should be construed only by the scope of the claims. It is understood that those skilled in the art can implement an equivalent range based on the description of the present invention and common general knowledge from the description of the specific preferred embodiments of the present invention.
本発明は、レーザを用いた加工の作業効率を格段に向上させることが可能なレーザ加工システムおよびそのレーザ加工システムにおいて用いられる装置、その装置において実行される方法およびプログラム等を提供するものとして有用である。 INDUSTRIAL APPLICABILITY The present invention is useful as a laser processing system capable of remarkably improving the working efficiency of processing using a laser, an apparatus used in the laser processing system, a method and a program executed in the apparatus, and the like. Is.
１ 作業者
１０ レーザ加工システム
２０ 被加工物
３０ 表示装置
４０ レーザ出射装置
５０ 制御装置
1 Worker 10 Laser Processing System 20 Workpiece 30 Display Device 40 Laser Emission Device 50 Control Device
Claims (14)
前記作業者の視点から撮像された第１の画像を生成する第１の撮像装置と、
前記レーザを出射するレーザ出射装置と、
前記レーザ出射装置上の視点から撮像された第２の画像を生成する第２の撮像装置と、
前記作業者に装着可能なように構成されている表示装置であって、前記作業者に画像を表示する表示装置と、
前記表示装置を制御する制御装置と
を備え、
前記制御装置は、前記第１の撮像装置によって生成された第１の画像および前記第２の撮像装置によって生成された第２の画像のうちの少なくとも一方を表示するように前記表示装置を制御する、レーザ加工システム。 A laser processing system that enables an operator to process a workpiece using a laser, wherein the laser processing system comprises:
A first imaging device for generating a first image imaged from the viewpoint of the worker;
A laser emitting device for emitting the laser;
A second imaging device for generating a second image imaged from a viewpoint on the laser emitting device;
A display device configured to be worn by the worker, wherein the display device displays an image on the worker,
A control device for controlling the display device,
The control device controls the display device to display at least one of a first image generated by the first imaging device and a second image generated by the second imaging device. , Laser processing system.
前記制御装置は、前記被加工物と前記レーザ出射装置との相対的な位置関係に応じて前記作業者に表示される画像の表示態様を変更するように前記表示装置を制御する、請求項１または請求項２に記載のレーザ加工システム。 The laser processing system further includes a position detection device that detects a relative positional relationship between the workpiece and the laser emitting device,
The control device controls the display device so as to change a display mode of an image displayed to the worker according to a relative positional relationship between the workpiece and the laser emitting device. Alternatively, the laser processing system according to claim 2.
作業者に装着可能なように構成されている表示装置であって、前記作業者に画像を表示する表示装置と、
前記表示装置を制御する制御装置と
を備え、
前記表示装置は、第１の撮像装置と第２の撮像装置とに接続されることが可能なように構成されており、
前記第１の撮像装置は、前記作業者の視点から撮像された第１の画像を生成し、
前記第２の撮像装置は、レーザを出射するレーザ出射装置上の視点から撮像された第２の画像を生成し、
前記制御装置は、前記第１の撮像装置によって生成された第１の画像と前記第２の撮像装置によって生成された第２の画像とを表示するように前記表示装置を制御する、装置。 A device used in a laser processing system that allows an operator to process a workpiece using a laser, the device comprising:
A display device configured to be worn by a worker, the display device displaying an image to the worker,
A control device for controlling the display device,
The display device is configured to be connectable to the first imaging device and the second imaging device,
The first imaging device generates a first image captured from the viewpoint of the worker,
The second imaging device generates a second image imaged from a viewpoint on a laser emitting device that emits laser,
The control device controls the display device to display a first image generated by the first imaging device and a second image generated by the second imaging device.
前記方法は、
前記制御装置が、前記第１の撮像装置によって生成された第１の画像と前記第２の撮像装置によって生成された第２の画像とを表示するように前記表示装置を制御することを含む、方法。 A method performed in an apparatus used in a laser processing system that enables an operator to process a workpiece using a laser, the apparatus comprising: a display device for displaying an image to the operator; A control device for controlling a display device, wherein the display device is configured to be worn by the worker, and the display device is connected to the first imaging device and the second imaging device. The first imaging device generates a first image imaged from the viewpoint of the worker, and the second imaging device emits a laser. Generate a second image taken from a viewpoint on the laser emitting device,
The method is
The control device controlling the display device to display a first image generated by the first imaging device and a second image generated by the second imaging device; Method.
前記プログラムは、前記制御装置によって実行されると、前記第１の撮像装置によって生成された第１の画像と前記第２の撮像装置によって生成された第２の画像とを表示するように前記表示装置を制御することを前記制御装置に行わせる、プログラム。 A program executed in an apparatus used in a laser processing system that enables an operator to process a workpiece using a laser, the apparatus including a display device that displays an image to the operator, A control device for controlling a display device, wherein the display device is configured to be worn by the worker, and the display device is connected to the first imaging device and the second imaging device. The first imaging device generates a first image imaged from the viewpoint of the worker, and the second imaging device emits a laser. Generate a second image taken from a viewpoint on the laser emitting device,
The program, when executed by the control device, displays the first image generated by the first imaging device and the second image generated by the second imaging device. A program for causing the control device to control a device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016069688A JP6727001B2 (en) | 2016-03-30 | 2016-03-30 | Laser processing system, apparatus used in the laser processing system, method and program executed in the apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016069688A JP6727001B2 (en) | 2016-03-30 | 2016-03-30 | Laser processing system, apparatus used in the laser processing system, method and program executed in the apparatus |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020112842A Division JP2020189338A (en) | 2020-06-30 | 2020-06-30 | Laser beam machining system and apparatus for use in the system, method and program performed in the device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017177181A JP2017177181A (en) | 2017-10-05 |
| JP6727001B2 true JP6727001B2 (en) | 2020-07-22 |
Family
ID=60004649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016069688A Active JP6727001B2 (en) | 2016-03-30 | 2016-03-30 | Laser processing system, apparatus used in the laser processing system, method and program executed in the apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6727001B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018183785A (en) * | 2017-04-24 | 2018-11-22 | テクノコート株式会社 | Laser welding system and laser goggles |
| JP2022156506A (en) * | 2021-03-31 | 2022-10-14 | Ｊｏｈｎａｎ株式会社 | Robot control system and control device |
| JP7246530B1 (en) | 2022-01-18 | 2023-03-27 | Dmg森精機株式会社 | MACHINE TOOL, MACHINE TOOL CONTROL METHOD, AND MACHINE TOOL CONTROL PROGRAM |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3441254B2 (en) * | 1995-08-28 | 2003-08-25 | 株式会社アマダ | Handy torch for YAG laser |
| JP3628435B2 (en) * | 1996-05-15 | 2005-03-09 | 株式会社アマダ | Handy laser equipment |
| FR2775894B1 (en) * | 1998-03-12 | 2000-06-23 | Soudure Autogene Francaise | INFRARED VISION WELDING HELMET |
| JP3024700B1 (en) * | 1998-12-17 | 2000-03-21 | 川崎重工業株式会社 | Weld monitoring system with HMD |
-
2016
- 2016-03-30 JP JP2016069688A patent/JP6727001B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017177181A (en) | 2017-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107567369B (en) | Enhanced vision system with active welder guidance | |
| US11140939B2 (en) | Sensor assisted head mounted displays for welding | |
| CA2973245C (en) | Synchronized image capture for welding machine vision | |
| CN107810080B (en) | Time-of-flight camera for welding machine vision | |
| CA2961038C (en) | Stereoscopic helmet display | |
| EP2488135B1 (en) | Welding helmet with integral user interface | |
| US20220161349A1 (en) | Remote Power Supply Parameter Adjustment | |
| JP6727001B2 (en) | Laser processing system, apparatus used in the laser processing system, method and program executed in the apparatus | |
| US20160214198A1 (en) | Manual Tool Tracking and Guidance With Inertial Measurement Unit | |
| KR20180101201A (en) | Welding helmet with heads up display and voice command | |
| WO2013023012A1 (en) | System for welding training with display, training workpiece with transparent weld joint and training torch with sensor | |
| JP2017138297A (en) | Distance measuring apparatus for monitoring position of robotic process tool and method thereof | |
| JP3592846B2 (en) | Teaching method and apparatus for laser beam machine | |
| JP2018183785A (en) | Laser welding system and laser goggles | |
| JP2020189338A (en) | Laser beam machining system and apparatus for use in the system, method and program performed in the device | |
| WO2019110114A1 (en) | Device for monitoring beam treatment of a workpiece and use thereof, device for beam treatment of a workpiece and use thereof, method for monitoring beam treatment of a workpiece, method for beam treatment of a workpiece | |
| WO2023091489A1 (en) | Handheld laser welding device | |
| CN116194238A (en) | Welding measurement system and welding measurement method | |
| ITMI961115A1 (en) | IMPROVED DEVICE TO FACILITATE ROBOT PROGRAMMING OPERATIONS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200123 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200131 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200601 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200630 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6727001 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |