JP2020078852A - Learning system and robot position adjustment system - Google Patents

Learning system and robot position adjustment system Download PDF

Info

Publication number
JP2020078852A
JP2020078852A JP2018213733A JP2018213733A JP2020078852A JP 2020078852 A JP2020078852 A JP 2020078852A JP 2018213733 A JP2018213733 A JP 2018213733A JP 2018213733 A JP2018213733 A JP 2018213733A JP 2020078852 A JP2020078852 A JP 2020078852A
Authority
JP
Japan
Prior art keywords
robot
work
image data
work robot
arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018213733A
Other languages
Japanese (ja)
Other versions
JP7207704B2 (en
Inventor
木村 哲也
Tetsuya Kimura
哲也 木村
厚史 生田
Atushi Ikuta
厚史 生田
義久 鈴木
Yoshihisa Suzuki
義久 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ASAHI TEKKO KK
Original Assignee
ASAHI TEKKO KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ASAHI TEKKO KK filed Critical ASAHI TEKKO KK
Priority to JP2018213733A priority Critical patent/JP7207704B2/en
Publication of JP2020078852A publication Critical patent/JP2020078852A/en
Application granted granted Critical
Publication of JP7207704B2 publication Critical patent/JP7207704B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To prevent a trouble in a work due to a work robot even in a case where a stop position of an unmanned carrier or carriage is displaced from a predetermined and prescribed stop position in a learning system and a robot position adjustment system.SOLUTION: A learning system performs machine learning of arm position correctness determination NN55 on the basis of image data transmitted from a robot 2 (image data taken by a camera 4 at each stop position of an unmanned carrier) and position correctness information input by a worker on a centralized control board 7, determines whether or not there is a problem in a position of an arm 5 of the robot 2 on the basis of the image data transmitted from a transmission/reception line 31 of the robot 2 by using the learned arm position correctness determination NN55, and performs control so that a server 8 or the like transmits an instruction command for adjusting the position of the arm 5 of the robot 2 to a robot controller 9 when there is a problem in the position of the arm 5 of the robot 2, thereby preventing a trouble in a work due to the robot 2.SELECTED DRAWING: Figure 3

Description

本発明は、学習システム、及びロボット位置調整システムに係り、特に、ロボットの作業位置を調整する技術に関する。   The present invention relates to a learning system and a robot position adjusting system, and more particularly to a technique for adjusting a work position of a robot.

従来から、図14に示すように、複数の(生産)ラインを有する工場では、各ラインにおける部品又は製品の加工・組み立て等の作業を、別々の時間帯に行う場合には、作業者が、複数のライン間を移動して、これらのラインにおける作業を行うことが多い。   Conventionally, as shown in FIG. 14, in a factory having a plurality of (production) lines, when the work such as processing or assembling of parts or products in each line is performed in different time zones, the worker is Work is often performed on these lines by moving between them.

一方、近年は、工場における(生産)ラインにおいて、無人搬送車に作業用ロボットを載置した移動ロボットを、走行路に沿って走行させながら、ラインにおける各設備前に停止させて、自動で、加工、組み立て等の作業を行うようにしたロボットシステムが登場している(例えば、特許文献1参照)。   On the other hand, in recent years, in a (production) line in a factory, a mobile robot having a work robot mounted on an automated guided vehicle is automatically moved by stopping it in front of each facility in the line while traveling along a traveling path. A robot system that performs work such as processing and assembly has appeared (for example, see Patent Document 1).

特開2002−73171号公報JP 2002-73171 A

しかしながら、上記特許文献1に示されるようなロボットシステムでは、無人搬送車の停止位置が、予め決められた所定の停止位置からずれたために、作業用ロボットの(作業)位置にずれが生じて、作業用ロボットの作業の停止や、作業用ロボットによる加工、組み立て等の作業の失敗といった、作業上のトラブルを引き起こすことがある。   However, in the robot system as disclosed in Patent Document 1, the stop position of the automatic guided vehicle is deviated from the predetermined stop position, which causes a deviation in the (work) position of the work robot. Occurrence of work troubles such as stop of work of the work robot and failure of work, assembly, and the like by the work robot may occur.

特に、上記の移動ロボットを、工場における複数のラインに共通して用いた場合には、1つのラインのみに用いた場合と比べて、ライン上における無人搬送車の停止位置となる設備の数と種類が多いため、無人搬送車の停止位置が、予め決められた所定の停止位置からずれる可能性が高くなるので、上記の作業用ロボットによる作業上のトラブルが発生し易い。   In particular, when the above mobile robot is commonly used for a plurality of lines in a factory, compared with the case where it is used for only one line, the number of equipments at the stop position of the automated guided vehicle on the line and Since there are many types, there is a high possibility that the stop position of the automated guided vehicle will deviate from the predetermined stop position, and therefore the above-mentioned work robot is likely to have a trouble in work.

上記の問題は、作業用ロボットを搭載した台車を、作業者が走行路に沿って走行させながら、ライン上の各設備前(各作業位置)に停止させて、加工、組み立て等の作業を行うようにした場合も、同様である。   The above problem is caused by a worker carrying a trolley equipped with a work robot and stopping it in front of each facility (each work position) on the line to perform work such as machining and assembly. The same applies to the case.

本発明は、上記課題を解決するものであり、無人搬送車又は台車の停止位置が、予め決められた所定の停止位置からずれた場合でも、作業用ロボットによる作業上のトラブルを防ぐことが可能な学習システム、及びロボット位置調整システムを提供することを目的とする。   The present invention is to solve the above-mentioned problems, and even when the stop position of the automatic guided vehicle or the carriage is deviated from a predetermined stop position, it is possible to prevent work troubles caused by the work robot. A learning system and a robot position adjusting system are provided.

上記課題を解決するために、本発明の第1の態様による学習システムは、カメラを有する、工場のラインにおける作業用ロボット、及び前記作業用ロボットを移動させる無人搬送車を備えた移動ロボットと、前記作業用ロボットの位置に問題があるか否かを示す位置正誤情報を入力するための位置正誤情報入力部と、前記移動ロボットと通信を行うコンピュータとを備えた学習システムであって、前記移動ロボットは、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、前記コンピュータは、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するニューラルネットワークを記憶するニューラルネットワーク記憶部と、前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行う機械学習部とを備える。   In order to solve the above problems, the learning system according to the first aspect of the present invention has a camera, a work robot in a factory line, and a mobile robot including an automated guided vehicle for moving the work robot, A learning system comprising a position correctness information input unit for inputting position correctness information indicating whether or not there is a problem in the position of the work robot, and a computer that communicates with the mobile robot. The robot includes a robot-side transmission unit that transmits image data captured by the camera at each stop position of the automatic guided vehicle to the computer, and the computer includes the image data transmitted from the robot-side transmission unit. Based on the above, a neural network storage unit that stores a neural network that determines whether there is a problem in the position of the work robot, the image data transmitted from the robot side transmission unit, and the position correctness information input A machine learning unit that performs machine learning of the neural network based on the position correctness information input by the user from the unit.

この学習システムにおいて、前記移動ロボットは、前記工場における複数のラインにおいて、共通して用いられ、前記機械学習部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行うようにしてもよい。   In this learning system, the mobile robot is commonly used in a plurality of lines in the factory, and the machine learning unit is configured when the mobile robot is located in any one of the plurality of lines. Also, machine learning of the neural network may be performed based on the image data transmitted from the robot-side transmission unit and the position correctness information input by the user from the position correctness information input unit. ..

本発明の第2の態様による学習システムは、カメラを有する、工場のラインにおける作業用ロボットと、前記作業用ロボットを搭載した台車と、前記作業用ロボットの位置に問題があるか否かを示す位置正誤情報を入力するための位置正誤情報入力部と、前記作業用ロボットと通信を行うコンピュータとを備えた学習システムであって、前記作業用ロボットは、前記ライン上の各作業位置において、前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、前記コンピュータは、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するニューラルネットワークを記憶するニューラルネットワーク記憶部と、前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行う機械学習部とを備える。   A learning system according to a second aspect of the present invention indicates whether or not there is a problem in a work robot having a camera in a factory line, a dolly equipped with the work robot, and the position of the work robot. A learning system comprising a position correctness information input unit for inputting position correctness information and a computer that communicates with the work robot, wherein the work robot, at each work position on the line, The robot-side transmitting unit that transmits the image data captured by the camera to the computer is provided, and the computer has a problem in the position of the work robot based on the image data transmitted from the robot-side transmitting unit. In the neural network storage unit that stores a neural network that determines whether or not there is the image data transmitted from the robot side transmission unit, and the position correctness information input by the user from the position correctness information input unit. And a machine learning unit for performing machine learning of the neural network based on the above.

この学習システムにおいて、前記作業用ロボットは、前記工場における複数のラインにおいて、共通して用いられ、前記機械学習部は、前記作業用ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行うようにしてもよい。   In this learning system, the work robot is commonly used in a plurality of lines in the factory, and in the machine learning unit, the work robot is located in any one of the plurality of lines. Even at this time, machine learning of the neural network is performed based on the image data transmitted from the robot-side transmitter and the position correctness information input by the user from the position correctness information input unit. Good.

本発明の第3の態様によるロボット位置調整システムは、カメラを有する、工場のラインにおける作業用ロボット、及び前記作業用ロボットを移動させる無人搬送車を備えた移動ロボットと、前記作業用ロボットの制御を行うロボット制御部と、前記移動ロボットと通信を行うコンピュータとを備えたロボット位置調整システムであって、前記移動ロボットは、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、前記ロボット制御部は、前記コンピュータから受信した指示コマンドに基づいて、前記作業用ロボットを動かし、前記コンピュータは、前記ロボット制御部に前記指示コマンドを送信するコンピュータ側送信部と、学習済のニューラルネットワークを用いて、前記ロボット側送信部から送信された前記画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部と、前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記コンピュータ側送信部を用いて、前記ロボット制御部に、前記作業用ロボットの位置を調整するための指示コマンドを送信するように制御するコマンド送信制御部とを備える。   A robot position adjusting system according to a third aspect of the present invention includes a work robot having a camera in a factory line, a mobile robot including an automated guided vehicle for moving the work robot, and control of the work robot. A robot position adjusting system comprising: a robot control unit that performs the operation of the mobile robot; and a computer that communicates with the mobile robot, wherein the mobile robot displays image data captured by the camera at each stop position of the automatic guided vehicle. A robot-side transmitter for transmitting to the computer, the robot controller moves the work robot based on an instruction command received from the computer, and the computer sends the instruction command to the robot controller. Position correct/incorrect to determine whether or not there is a problem in the position of the work robot based on the image data transmitted from the robot side transmission unit by using a computer side transmission unit that transmits and a learned neural network As a result of the determination by the determination unit and the position correctness determination unit, when there is a problem in the position of the work robot, the position of the work robot is adjusted to the robot control unit by using the computer side transmission unit. And a command transmission control unit that controls to transmit an instruction command for performing the command.

このロボット位置調整システムにおいて、前記移動ロボットは、前記工場における複数のラインにおいて、共通して用いられ、前記位置正誤判定部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するようにしてもよい。   In this robot position adjusting system, the mobile robot is commonly used in a plurality of lines in the factory, and the position correct/wrong determination unit determines the position of the mobile robot in any one of the plurality of lines. Also at this time, whether or not there is a problem in the position of the work robot may be determined based on the image data transmitted from the robot side transmission unit.

このロボット位置調整システムにおいて、前記位置正誤判定部は、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットのアームの位置に問題があるか否かを判定し、前記コマンド送信制御部が送信するように制御する指示コマンドは、前記作業用ロボットのアームの位置を調整するための指示コマンドであるようにしてもよい。   In this robot position adjustment system, the position correctness determination unit determines whether or not there is a problem in the position of the arm of the work robot based on the image data transmitted from the robot side transmission unit, The command command that the command transmission control unit controls to transmit may be an command command for adjusting the position of the arm of the work robot.

本発明の第4の態様によるロボット位置調整システムは、カメラを有する、工場のラインにおける作業用ロボット、及び前記作業用ロボットを移動させる無人搬送車を備えた移動ロボットと、前記作業用ロボットの制御を行うロボット制御部とを備えたロボット位置調整システムであって、前記ロボット制御部は、学習済のニューラルネットワークを用いて、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部を備え、前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記作業用ロボットの位置を調整するように制御する。   A robot position adjusting system according to a fourth aspect of the present invention includes a work robot having a camera in a factory line, a mobile robot including an automated guided vehicle for moving the work robot, and control of the work robot. A robot position adjusting system including a robot control unit for performing, wherein the robot control unit uses a learned neural network to convert image data captured by the camera at each stop position of the automatic guided vehicle. On the basis of the position correctness determination unit that determines whether or not there is a problem in the position of the work robot based on the determination result by the position correctness determination unit, when there is a problem in the position of the work robot, The robot is controlled to adjust the position.

このロボット位置調整システムにおいて、前記移動ロボットは、前記工場における複数のラインにおいて、共通して用いられ、前記位置正誤判定部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するようにしてもよい。   In this robot position adjusting system, the mobile robot is commonly used in a plurality of lines in the factory, and the position correct/wrong determination unit determines the position of the mobile robot in any one of the plurality of lines. Also at this time, whether or not there is a problem in the position of the work robot may be determined based on the image data taken by the camera at each stop position of the automatic guided vehicle.

本発明の第5の態様によるロボット位置調整システムは、カメラを有する、工場のラインにおける作業用ロボットと、前記作業用ロボットを搭載した台車と、前記作業用ロボットの制御を行うロボット制御部と、前記作業用ロボットと通信を行うコンピュータとを備えたロボット位置調整システムであって、前記作業用ロボットは、前記ライン上の各作業位置において前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、前記ロボット制御部は、前記コンピュータから受信した指示コマンドに基づいて、前記作業用ロボットを動かし、前記コンピュータは、前記ロボット制御部に前記指示コマンドを送信するコンピュータ側送信部と、学習済のニューラルネットワークを用いて、前記ロボット側送信部から送信された前記画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部と、前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記コンピュータ側送信部を用いて、前記ロボット制御部に、前記作業用ロボットの位置を調整するための指示コマンドを送信するように制御するコマンド送信制御部とを備える。   A robot position adjusting system according to a fifth aspect of the present invention includes a work robot having a camera in a factory line, a dolly on which the work robot is mounted, and a robot controller that controls the work robot. A robot position adjusting system including a computer that communicates with the work robot, wherein the work robot transmits image data captured by the camera at each work position on the line to the computer. A robot side transmitter, the robot controller moves the work robot based on an instruction command received from the computer, and the computer transmits the instruction command to the robot controller. And a position correctness determination unit that determines whether there is a problem in the position of the work robot based on the image data transmitted from the robot side transmission unit using a learned neural network, and the position. As a result of the determination by the correctness determination unit, when there is a problem in the position of the work robot, an instruction command for adjusting the position of the work robot is sent to the robot control unit using the computer side transmission unit. And a command transmission control unit for controlling transmission.

このロボット位置調整システムにおいて、前記作業用ロボットは、前記工場における複数のラインにおいて、共通して用いられ、前記位置正誤判定部は、前記作業用ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するようにしてもよい。   In this robot position adjusting system, the work robot is commonly used in a plurality of lines in the factory, and the position correct/wrong determination unit is configured such that the work robot uses any one of the plurality of lines. Even when the robot is located at the position, whether or not there is a problem in the position of the work robot may be determined based on the image data transmitted from the robot side transmission unit.

このロボット位置調整システムにおいて、前記位置正誤判定部は、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットのアームの位置に問題があるか否かを判定し、前記コマンド送信制御部が送信するように制御する指示コマンドは、前記作業用ロボットのアームの位置を調整するための指示コマンドであるようにしてもよい。   In this robot position adjustment system, the position correctness determination unit determines whether or not there is a problem in the position of the arm of the work robot based on the image data transmitted from the robot side transmission unit, The command command that the command transmission control unit controls to transmit may be an command command for adjusting the position of the arm of the work robot.

本発明の第6の態様によるロボット位置調整システムは、カメラを有する、工場のラインにおける作業用ロボットと、前記作業用ロボットを搭載した台車と、前記作業用ロボットの制御を行うロボット制御部とを備えたロボット位置調整システムであって、前記ロボット制御部は、学習済のニューラルネットワークを用いて、前記作業用ロボットの各作業位置において前記カメラにより撮影された画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部を備え、前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記作業用ロボットの位置を調整するように制御する。   A robot position adjusting system according to a sixth aspect of the present invention includes a work robot in a factory line having a camera, a trolley in which the work robot is mounted, and a robot control unit which controls the work robot. In the robot position adjusting system, the robot control unit uses a learned neural network, based on image data taken by the camera at each work position of the work robot, based on the image data of the work robot. A position correctness determination unit for determining whether or not there is a problem in position is provided, and when there is a problem in the position of the work robot as a result of the determination by the position correctness determination unit, the position of the work robot is adjusted. To control.

このロボット位置調整システムにおいて、前記移動ロボットは、前記工場における複数のラインにおいて、共通して用いられ、前記位置正誤判定部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記作業用ロボットの各作業位置において前記カメラにより撮影された画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定するようにしてもよい。   In this robot position adjusting system, the mobile robot is commonly used in a plurality of lines in the factory, and the position correct/wrong determination unit determines the position of the mobile robot in any one of the plurality of lines. Also in this case, whether or not there is a problem in the position of the work robot may be determined based on the image data taken by the camera at each work position of the work robot.

本発明の第1の態様による学習システムによれば、ロボット側送信部から送信された画像データ(無人搬送車の各停止位置においてカメラにより撮影された画像データ)と、ユーザにより入力された、作業用ロボットの位置に問題があるか否かを示す位置正誤情報とに基づいて、ニューラルネットワークの機械学習を行うことができる。そして、この機械学習後の学習済ニューラルネットワークは、ロボット側送信部から送信された画像データに基づいて、作業用ロボットの位置に問題があるか否かを判定することができる。これにより、無人搬送車の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車の停止位置のずれに起因する作業用ロボットの位置ずれが、問題のあるレベルか否か(作業用ロボットの位置に問題があるか否か)を判定することができるので、この判定結果に基づいて、作業用ロボットによる作業上のトラブルを未然に防ぐことができる。   According to the learning system of the first aspect of the present invention, the image data transmitted from the robot side transmission unit (image data photographed by the camera at each stop position of the automatic guided vehicle) and the work input by the user Machine learning of a neural network can be performed based on position correctness information indicating whether or not there is a problem in the position of the robot for use. Then, the learned neural network after the machine learning can determine whether or not there is a problem in the position of the work robot based on the image data transmitted from the robot side transmission unit. As a result, even if the stop position of the automatic guided vehicle deviates from the predetermined stop position determined in advance, the positional deviation of the work robot due to the deviation of the stop position of the automatic guided vehicle is at a problem level. Since it can be determined whether or not there is a problem in the position of the work robot, it is possible to prevent work troubles caused by the work robot based on the result of this determination.

本発明の第2の態様による学習システムによれば、ロボット側送信部から送信された画像データ(作業用ロボットのライン上における各作業位置において、カメラにより撮影された画像データ)と、ユーザにより入力された、作業用ロボットの位置に問題があるか否かを示す位置正誤情報とに基づいて、ニューラルネットワークの機械学習を行うことができる。そして、この機械学習後の学習済ニューラルネットワークは、ロボット側送信部から送信された画像データに基づいて、作業用ロボットの位置に問題があるか否かを判定することができる。これにより、台車の停止位置が、予め決められた所定の停止位置からずれた場合でも、この台車の停止位置のずれに起因する作業用ロボットの位置ずれが、問題のあるレベルか否か(作業用ロボットの位置に問題があるか否か)を判定することができるので、この判定結果に基づいて、作業用ロボットによる作業上のトラブルを未然に防ぐことができる。   According to the learning system of the second aspect of the present invention, the image data transmitted from the robot side transmitter (the image data photographed by the camera at each work position on the line of the work robot) and the user input Machine learning of the neural network can be performed based on the position correctness information indicating whether or not there is a problem in the position of the work robot. Then, the learned neural network after the machine learning can determine whether or not there is a problem in the position of the work robot based on the image data transmitted from the robot side transmission unit. As a result, even if the stop position of the trolley deviates from a predetermined predetermined stop position, whether or not the position deviation of the work robot due to the deviation of the stop position of the dolly is at a problematic level (work Since it is possible to determine whether or not there is a problem in the position of the work robot, it is possible to prevent work troubles caused by the work robot based on the result of the determination.

本発明の第3の態様によるロボット位置調整システムによれば、コンピュータが、学習済のニューラルネットワークを用いて、ロボット側送信部から送信された画像データに基づき、作業用ロボットの位置に問題があるか否かを判定して、この判定の結果、作業用ロボットの位置に問題があるときに、ロボット制御部に、作業用ロボットの位置を調整するための指示コマンドを送信するように制御する。そして、ロボット制御部が、コンピュータから受信した指示コマンドに基づいて、作業用ロボットを動かして、作業用ロボットの位置を調整する。これにより、無人搬送車の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車の停止位置のずれに起因する作業用ロボットの位置ずれが、問題のあるレベルか否か(作業用ロボットの位置に問題があるか否か)を判定して、この判定の結果、作業用ロボットの位置に問題があるときに、作業用ロボットの位置を調整することができる。従って、作業用ロボットによる作業上のトラブルを防ぐことができる。   According to the robot position adjusting system of the third aspect of the present invention, the computer has a problem in the position of the work robot based on the image data transmitted from the robot side transmitting unit using the learned neural network. It is determined whether or not there is a problem with the position of the work robot as a result of this determination, and control is performed to send an instruction command for adjusting the position of the work robot to the robot control unit. Then, the robot controller moves the work robot based on the instruction command received from the computer to adjust the position of the work robot. As a result, even if the stop position of the automatic guided vehicle deviates from the predetermined stop position determined in advance, the positional deviation of the work robot due to the deviation of the stop position of the automatic guided vehicle is at a problem level. It is possible to determine whether or not there is a problem with the position of the work robot, and as a result of this determination, when there is a problem with the position of the work robot, the position of the work robot can be adjusted. Therefore, it is possible to prevent a work trouble caused by the work robot.

本発明の第4の態様によるロボット位置調整システムによれば、ロボット制御部が、学習済のニューラルネットワークを用いて、無人搬送車の各停止位置においてカメラにより撮影された画像データに基づき、作業用ロボットの位置に問題があるか否かを判定して、この判定の結果、作業用ロボットの位置に問題があるときに、作業用ロボットの位置を調整するように制御する。これにより、無人搬送車の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車の停止位置のずれに起因する作業用ロボットの位置ずれが、問題のあるレベルか否か(作業用ロボットの位置に問題があるか否か)を判定して、この判定の結果、作業用ロボットの位置に問題があるときに、作業用ロボットの位置を調整することができる。従って、作業用ロボットによる作業上のトラブルを防ぐことができる。   According to the robot position adjusting system of the fourth aspect of the present invention, the robot control unit uses the learned neural network to perform work based on the image data taken by the camera at each stop position of the automatic guided vehicle. It is determined whether or not there is a problem with the position of the robot, and as a result of this determination, when there is a problem with the position of the work robot, control is performed to adjust the position of the work robot. As a result, even if the stop position of the automatic guided vehicle deviates from the predetermined stop position determined in advance, the positional deviation of the work robot due to the deviation of the stop position of the automatic guided vehicle is at a problem level. It is possible to determine whether or not there is a problem with the position of the work robot, and as a result of this determination, when there is a problem with the position of the work robot, the position of the work robot can be adjusted. Therefore, it is possible to prevent a work trouble caused by the work robot.

本発明の第5の態様によるロボット位置調整システムによれば、コンピュータが、学習済のニューラルネットワークを用いて、ロボット側送信部から送信された画像データに基づき、作業用ロボットの位置に問題があるか否かを判定して、この判定の結果、作業用ロボットの位置に問題があるときに、ロボット制御部に、作業用ロボットの位置を調整するための指示コマンドを送信するように制御する。そして、ロボット制御部が、コンピュータから受信した指示コマンドに基づいて、作業用ロボットを動かして、作業用ロボットの位置を調整する。これにより、台車の停止位置が、予め決められた所定の停止位置からずれた場合でも、この台車の停止位置のずれに起因する作業用ロボットの位置ずれが、問題のあるレベルか否か(作業用ロボットの位置に問題があるか否か)を判定して、この判定の結果、作業用ロボットの位置に問題があるときに、作業用ロボットの位置を調整することができる。従って、作業用ロボットによる作業上のトラブルを防ぐことができる。   According to the robot position adjusting system of the fifth aspect of the present invention, the computer has a problem in the position of the work robot based on the image data transmitted from the robot side transmitting unit using the learned neural network. It is determined whether or not there is a problem with the position of the work robot as a result of this determination, and control is performed to send an instruction command for adjusting the position of the work robot to the robot control unit. Then, the robot controller moves the work robot based on the instruction command received from the computer to adjust the position of the work robot. As a result, even if the stop position of the trolley deviates from a predetermined predetermined stop position, whether or not the position deviation of the work robot due to the deviation of the stop position of the dolly is at a problematic level (work It is possible to adjust the position of the work robot when there is a problem in the position of the work robot as a result of this determination. Therefore, it is possible to prevent a work trouble caused by the work robot.

本発明の第6の態様によるロボット位置調整システムによれば、ロボット制御部が、学習済のニューラルネットワークを用いて、作業用ロボットの各作業位置においてカメラにより撮影された画像データに基づき、作業用ロボットの位置に問題があるか否かを判定して、この判定の結果、作業用ロボットの位置に問題があるときに、作業用ロボットの位置を調整するように制御する。これにより、台車の停止位置が、予め決められた所定の停止位置からずれた場合でも、この台車の停止位置のずれに起因する作業用ロボットの位置ずれが、問題のあるレベルか否か(作業用ロボットの位置に問題があるか否か)を判定して、この判定の結果、作業用ロボットの位置に問題があるときに、作業用ロボットの位置を調整することができる。従って、作業用ロボットによる作業上のトラブルを防ぐことができる。   According to the robot position adjusting system of the sixth aspect of the present invention, the robot control unit uses the learned neural network to perform the work operation based on the image data taken by the camera at each work position of the work robot. It is determined whether or not there is a problem with the position of the robot, and as a result of this determination, when there is a problem with the position of the work robot, control is performed to adjust the position of the work robot. As a result, even if the stop position of the trolley deviates from a predetermined predetermined stop position, whether or not the position deviation of the work robot due to the deviation of the stop position of the dolly is at a problematic level (work It is possible to adjust the position of the work robot when there is a problem in the position of the work robot as a result of this determination. Therefore, it is possible to prevent a work trouble caused by the work robot.

本発明の第1の実施形態の学習・ロボット位置調整システムにおける移動ロボットの側面図。FIG. 3 is a side view of the mobile robot in the learning/robot position adjusting system according to the first embodiment of the present invention. (a)(b)は、それぞれ、同移動ロボットの無人搬送車の電気的ブロック構成図と、この無人搬送車の回転式レーザレーダの電気的ブロック構成図。(A) and (b) are the electric block block diagram of the automatic guided vehicle of the same mobile robot, and the electrical block block diagram of the rotary laser radar of this automatic guided vehicle, respectively. 上記学習・ロボット位置調整システムの電気的ブロック構成図。The electric block block diagram of the said learning / robot position adjustment system. 図3中のサーバのCPUの機能ブロック構成図。The functional block block diagram of CPU of the server in FIG. 工場のラインに配置された設備(マシニングセンタ)における、ロボットの作業の様子を示す図。The figure which shows the mode of operation of the robot in the facility (machining center) arrange|positioned at the factory line. 上記移動ロボットを、工場における複数のラインにおいて、共通して用いた場合の説明図。Explanatory drawing at the time of using the said mobile robot in common in several lines in a factory. 上記移動ロボットを、走行路の両側に設備が配置された複数のラインに、共通して用いた場合の説明図。Explanatory drawing at the time of using the said mobile robot in common in the some line in which the equipment is arrange|positioned at the both sides of a traveling path. 学習済のアーム位置正誤判定NNとアーム位置調整プログラムを、集中制御操作盤のメモリに格納したロボット位置調整システムの電気的ブロック構成図。The electric block block diagram of the robot position adjustment system which stored the learned arm position correctness determination NN and the arm position adjustment program in the memory of the centralized control operation panel. 学習済のアーム位置正誤判定NNとアーム位置調整プログラムを、ロボットコントローラのメモリに格納したロボット位置調整システムの電気的ブロック構成図。The electric block block diagram of the robot position adjustment system which stored the learned arm position correctness determination NN and the arm position adjustment program in the memory of the robot controller. 学習済のアーム位置正誤判定NNとアーム位置調整プログラムを、ロボットに搭載したロボットコントローラのメモリに格納したロボット位置調整システムの電気的ブロック構成図。The electrical block block diagram of the robot position adjustment system which stored the learned arm position correctness determination NN and the arm position adjustment program in the memory of the robot controller mounted in the robot. 本発明の第2の実施形態の学習・ロボット位置調整システムにおける台車付きロボットの側面図。The side view of the robot with a trolley|bogie in the learning / robot position adjustment system of the 2nd Embodiment of this invention. 同学習・ロボット位置調整システムの電気的ブロック構成図。The electric block block diagram of the learning and robot position adjustment system. 上記台車付きロボットを、工場における複数のラインにおいて、共通して用いた場合の説明図。Explanatory drawing at the time of using the said robot with a trolley|bogie commonly in several lines in a factory. 従来の複数のラインを有する工場における作業の説明図。Explanatory drawing of the operation|work in the factory which has several conventional lines.

以下、本発明を具体化した実施形態による学習システム、及びロボット位置調整システムについて、図面を参照して説明する。   Hereinafter, a learning system and a robot position adjusting system according to embodiments embodying the present invention will be described with reference to the drawings.

まず、本発明の第1の実施形態による学習システム、及びロボット位置調整システムにおける移動ロボットについて、図1を参照して説明する。移動ロボット1は、工場のラインにおける作業用ロボットであるロボット2と、このロボット2を移動させる無人搬送車3を備えている。図1に示すように、ロボット2は、無人搬送車3の台座15上に取り付けられており、無人搬送車3の移動と停止に伴い、ライン上の各作業位置(ライン上の各設備の位置)に順次移動して、停止する。上記のロボット2は、カメラ4と、アーム5と、ハンド6とを備えている。カメラ4は、イメージセンサを内蔵しており、ロボット2の周辺の画像を、時々刻々と撮影して、ロボットコントローラ9(図3参照)を介して、図3に示す集中制御操作盤7及びサーバ8に送信する。アーム5は、例えば、垂直多関節型や、水平多関節型のロボットアームである。   First, a learning system according to a first embodiment of the present invention and a mobile robot in a robot position adjusting system will be described with reference to FIG. The mobile robot 1 includes a robot 2 which is a work robot in a factory line, and an automatic guided vehicle 3 which moves the robot 2. As shown in FIG. 1, the robot 2 is mounted on the pedestal 15 of the automated guided vehicle 3, and along with the movement and stop of the automated guided vehicle 3, each work position on the line (position of each facility on the line). ), and then stop. The robot 2 described above includes a camera 4, an arm 5, and a hand 6. The camera 4 has a built-in image sensor, takes images of the periphery of the robot 2 every moment, and the centralized control operation panel 7 and server shown in FIG. 3 are taken via the robot controller 9 (see FIG. 3). Send to 8. The arm 5 is, for example, a vertical articulated robot arm or a horizontal articulated robot arm.

移動ロボット1におけるカメラ4は、図1に実線で示すように、ハンド6の横に取り付けてもよいし、図1に破線で示すように、ロボット2の基台部2aの上に取り付けてもよいし、無人搬送車3の台座15に設置したポール16に取り付けてもよい。図1において、ロボット2の基台部2aの上に取り付けた場合のカメラに、4´の符号を付し、ポール16に取り付けた場合のカメラに、4″の符号を付している。   The camera 4 of the mobile robot 1 may be attached to the side of the hand 6 as shown by the solid line in FIG. 1, or may be attached on the base 2a of the robot 2 as shown by the broken line in FIG. Alternatively, it may be attached to the pole 16 installed on the pedestal 15 of the automated guided vehicle 3. In FIG. 1, the camera mounted on the base 2a of the robot 2 is denoted by 4', and the camera mounted on the pole 16 is denoted by 4".

上記の無人搬送車3は、回転式レーザレーダ11、前輪13a、後輪13b、前輪用と後輪用のエンコーダ付きモータユニット12a,12b、取っ手14、及び台座15を備えている。上記の前輪13aの数は、1つ又は2つであり、後輪13bの数は、2つである。上記の取っ手14は、移動ロボット1を、あるラインから別のラインに移動する(図6参照)際に、ユーザに把持される。上記の台座15は、ロボット2を載置するための台である。   The automated guided vehicle 3 includes a rotary laser radar 11, front wheels 13a, rear wheels 13b, front and rear wheel encoder-equipped motor units 12a and 12b, a handle 14, and a pedestal 15. The number of the front wheels 13a is one or two, and the number of the rear wheels 13b is two. The handle 14 is gripped by the user when moving the mobile robot 1 from one line to another line (see FIG. 6). The pedestal 15 is a base on which the robot 2 is placed.

次に、上記図1に加えて、図2(a)(b)を参照して、無人搬送車3の電気的ブロック構成について、説明する。上記の回転式レーザレーダ11は、図2(b)に示すように、レーザ光を発するレーザ投光器11aと、レーザ投光器11aから発せられたレーザ光に対する、リフレクタR(図2(a)参照)からの反射光を受光するフォトダイオードから構成されたレーザ受光器11bと、上記のレーザ投光器11a及びレーザ受光器11bを含むレーダ本体11cを回転可能に支持する回転台11dと、回転台11dを回転させるためのエンコーダ付きモータユニット11eとを備えている。   Next, with reference to FIGS. 2A and 2B in addition to FIG. 1, the electrical block configuration of the automatic guided vehicle 3 will be described. As shown in FIG. 2B, the rotary laser radar 11 described above includes a laser projector 11a that emits a laser beam and a reflector R (see FIG. 2A) for the laser beam emitted from the laser projector 11a. A laser receiver 11b formed of a photodiode for receiving the reflected light, a rotary base 11d for rotatably supporting the radar main body 11c including the laser projector 11a and the laser receiver 11b, and a rotary base 11d are rotated. And a motor unit 11e with an encoder for.

また、無人搬送車3は、装置全体の制御・演算を行うAGVコントローラ20を備えている。このAGVコントローラ20は、例えば、上記のエンコーダ付きモータユニット11eによる回転台11dの回転の制御や、レーザ投光器11a及びレーザ受光器11bの制御や、後述する駆動回路21a、21b及び操舵回路22a、22bの制御や、後述する各リフレクタRまでの距離と方向の検出(演算)等を行う。   Further, the automatic guided vehicle 3 includes an AGV controller 20 that controls and calculates the entire apparatus. The AGV controller 20 controls, for example, the rotation of the rotary base 11d by the motor unit 11e with an encoder, controls the laser projector 11a and the laser receiver 11b, and drives circuits 21a and 21b and steering circuits 22a and 22b described later. And the detection (calculation) of the distance and direction to each reflector R described later.

無人搬送車3(のAGVコントローラ20)は、上記の回転式レーザレーダ11を用いて、回転式レーザレーダ11から、工場のラインにおける走行路(図6の76a〜76c等参照)に配置された各リフレクタRまでの距離と方向の検出を行う。AGVコントローラ20は、レーザ投光器11aによるレーザ光の出射から、レーザ受光器11bによる各リフレクタRからの反射光の受光までの時間に基づいて、上記の各リフレクタRまでの距離を求める。また、AGVコントローラ20は、上記のエンコーダ付きモータユニット11eに内蔵されたエンコーダからの出力値に基づいて、上記の回転台11dの回転角を求めることにより、レーザ受光器11bによる各リフレクタRからの反射光の受光時における、各リフレクタRの方向の検出を行う。   The automated guided vehicle 3 (the AGV controller 20 of the automated guided vehicle) is arranged on the traveling path (see 76a to 76c in FIG. 6) in the factory line from the rotary laser radar 11 by using the rotary laser radar 11 described above. The distance and direction to each reflector R is detected. The AGV controller 20 obtains the distance to each of the reflectors R based on the time from the emission of the laser light by the laser projector 11a to the reception of the reflected light from each reflector R by the laser receiver 11b. Further, the AGV controller 20 obtains the rotation angle of the rotary base 11d based on the output value from the encoder incorporated in the motor unit 11e with an encoder, so that the reflector R from the laser receiver 11b is output from each reflector R. The direction of each reflector R is detected when the reflected light is received.

各リフレクタRを、工場のラインにおける(無人搬送車3の)走行路に沿って配置した上で、AGVコントローラ20が、上記の各リフレクタRまでの距離と方向の検出を行うことにより、無人搬送車3が、走行路上の適切な位置を走行するようにすることができる。   The AGV controller 20 arranges the reflectors R along the traveling path (of the automatic guided vehicle 3) in the factory line, and the AGV controller 20 detects the distance and the direction to each of the reflectors R, thereby performing the automatic transfer. The vehicle 3 can be driven at an appropriate position on the road.

また、図1及び図2(a)に示すエンコーダ付きモータユニット12a,12bは、それぞれ、前輪13a、後輪13bの駆動・操舵を行う。また、図2(a)に示す駆動回路21aと操舵回路22aは、前輪13aの駆動用と操舵用の回路であり、駆動回路21bと操舵回路22bは、後輪13bの駆動用と操舵用の回路である。   The motor units with encoders 12a and 12b shown in FIG. 1 and FIG. 2A drive and steer the front wheels 13a and the rear wheels 13b, respectively. Further, the drive circuit 21a and the steering circuit 22a shown in FIG. 2A are circuits for driving and steering the front wheels 13a, and the drive circuit 21b and the steering circuit 22b are for driving and steering the rear wheels 13b. Circuit.

次に、図3を参照して、第1の実施形態による学習・ロボット位置調整システム10の電気的ブロック構成について、説明する。この学習・ロボット位置調整システム10は、請求項1及び2における学習システムと、請求項5乃至7におけるロボット位置調整システムの両方の構成要件を含んだものである。すなわち、この学習・ロボット位置調整システム10は、請求項1及び2における学習システムと、請求項5乃至7におけるロボット位置調整システムの両方に相当する。図3に示すように、学習・ロボット位置調整システム10は、上記の移動ロボット1と、移動ロボット1におけるロボット2の制御用のコントローラであるロボットコントローラ9(ロボット制御部)と、集中制御操作盤7と、ネットワーク(インターネット17)を介して集中制御操作盤7と通信を行う、クラウド上のサーバ8(請求項における「コンピュータ」)と、補助操作盤18とを備えている。   Next, an electrical block configuration of the learning/robot position adjusting system 10 according to the first embodiment will be described with reference to FIG. The learning/robot position adjusting system 10 includes the constituent elements of both the learning system according to claims 1 and 2 and the robot position adjusting system according to claims 5 to 7. That is, the learning/robot position adjusting system 10 corresponds to both the learning system according to claims 1 and 2 and the robot position adjusting system according to claims 5 to 7. As shown in FIG. 3, the learning/robot position adjusting system 10 includes a mobile robot 1, a robot controller 9 (robot controller) that is a controller for controlling the robot 2 in the mobile robot 1, and a centralized control operation panel. 7, a server 8 on the cloud (“computer” in the claims) that communicates with the centralized control operation panel 7 via a network (Internet 17), and an auxiliary operation panel 18.

移動ロボット1のロボット2は、上記のカメラ4と、アーム5と、ハンド6とに加えて、送受信回線31(ロボット側送信部)を備えている。上記の送受信回線31は、ロボットコントローラ9との有線又は無線による通信用の回路である。この送受信回線31は、無人搬送車3の各停止位置においてカメラ4により撮影された画像データを、ロボットコントローラ9と集中制御操作盤7とを介して、サーバ8に送信する。   The robot 2 of the mobile robot 1 includes a transmission/reception line 31 (robot side transmission unit) in addition to the camera 4, the arm 5, and the hand 6. The transmission/reception line 31 is a circuit for wired or wireless communication with the robot controller 9. The transmission/reception line 31 transmits the image data taken by the camera 4 at each stop position of the automatic guided vehicle 3 to the server 8 via the robot controller 9 and the centralized control operation panel 7.

上記のロボットコントローラ9は、マイクロコントローラを用いて構成され、ロボット作業用のプログラムを用いて、ロボット2のアーム5やハンド6の動作を制御する。また、ロボットコントローラ9は、サーバ8から、インターネット17と、集中制御操作盤7とを介して受信した指示コマンドに基づいて、ロボット2を動かす。ロボットコントローラ9は、CPU33と、送受信回線34と、メモリ35を備えている。CPU33は、ロボットコントローラ9全体の制御・演算を行う。送受信回線34は、ロボット2(の送受信回線31)、及び集中制御操作盤7(の送受信回線42)との有線又は無線による通信用の回路である。メモリ35は、上記のロボット作業用のプログラム等のデータを記憶している。   The robot controller 9 is configured by using a micro controller, and controls the operation of the arm 5 and the hand 6 of the robot 2 by using a program for robot work. Further, the robot controller 9 moves the robot 2 based on the instruction command received from the server 8 via the Internet 17 and the centralized control operation panel 7. The robot controller 9 includes a CPU 33, a transmission/reception line 34, and a memory 35. The CPU 33 controls and calculates the entire robot controller 9. The transmission/reception line 34 is a circuit for wired or wireless communication with (the transmission/reception line 31 of) the robot 2 and (the transmission/reception line 42 of) the centralized control operation panel 7. The memory 35 stores data such as the above-mentioned robot work program.

上記の集中制御操作盤7は、ラインにおける各種装置の制御や、各種装置への指示入力に用いられる。この集中制御操作盤7は、CPU41と、送受信回線42と、メモリ43と、操作部44(請求項における位置正誤情報入力部)と、モニタ45とを備えている。集中制御操作盤7の操作部44は、ロボット2の動作設定を行うためのロボットコントローラ9への入力指示操作や、後述するサーバ8側のアーム位置正誤判定ニューラルネットワーク(以下、「アーム位置正誤判定NN」という)55の機械学習用の訓練(学習)データセットを作成するための位置正誤情報の入力に用いられる。この位置正誤情報は、ライン上の各設備でロボット2が作業をしている時における、ロボット2の位置(より正確に言うと、ロボット2のアーム5の位置)に問題があるか否かを示す情報(いわゆるアノテーションデータ)である。   The centralized control operation panel 7 is used for controlling various devices on the line and for inputting instructions to various devices. The central control operation panel 7 includes a CPU 41, a transmission/reception line 42, a memory 43, an operation unit 44 (position correct/incorrect information input unit in claims), and a monitor 45. The operation unit 44 of the centralized control operation panel 7 performs an input instruction operation to the robot controller 9 for setting the operation of the robot 2 and an arm position correctness determination neural network (hereinafter, referred to as “arm position correctness determination” on the server 8 side described later). "NN") 55 for inputting position correctness information to create a training (learning) data set for machine learning. This position correctness information indicates whether or not there is a problem in the position of the robot 2 (more accurately, the position of the arm 5 of the robot 2) when the robot 2 is working at each facility on the line. This is information (so-called annotation data) to be shown.

集中制御操作盤7における作業者は、無人搬送車3の各停止位置(ロボット2の各作業位置)においてロボット2のカメラ4から送られる、作業中のロボット2の周辺の画像をモニタ45で見て、ロボット2の位置(より正確に言うと、ロボット2のアーム5の位置)に問題がないと判断した場合は、操作部44を用いて、ロボット2の位置に問題がない旨を示す位置正誤情報を入力し、ロボット2の位置に問題があると判断した場合は、操作部44を用いて、ロボット2の位置に問題がある旨を示す位置正誤情報を入力する。上記の「ロボット2の位置に問題がある」場合とは、ロボット2の位置(より正確に言うと、ロボット2のアーム5の位置)にずれが生じたために、ロボット2の作業の停止や、ロボット2による加工、組み立て等の作業の失敗といった、作業上のトラブルが実際に発生した場合、及びこれらのトラブルが発生してもおかしくなかった場合を意味する。   The operator on the centralized control operation panel 7 sees on the monitor 45 the images around the robot 2 in operation, which are sent from the camera 4 of the robot 2 at each stop position of the automatic guided vehicle 3 (each work position of the robot 2). If it is determined that there is no problem in the position of the robot 2 (more precisely, the position of the arm 5 of the robot 2), the position indicating that there is no problem in the position of the robot 2 using the operation unit 44. If correctness information is input and it is determined that there is a problem in the position of the robot 2, the position correctness information indicating that there is a problem in the position of the robot 2 is input using the operation unit 44. The above-mentioned "there is a problem with the position of the robot 2" means that the position of the robot 2 (more accurately, the position of the arm 5 of the robot 2) is deviated, so that the work of the robot 2 is stopped, This means a case where work troubles such as a failure of a work such as machining or assembly by the robot 2 actually occur, and a case where these troubles are not unusual.

上記のサーバ8は、CPU51と、送受信回線52(請求項における「コンピュータ側送信部」)と、ハードディスク53(請求項における「ニューラルネットワーク記憶部」)と、操作部58と、メモリ59を備えている。CPU51は、サーバ8全体の制御・演算を行う。ハードディスク53は、訓練データセット54と、アーム位置正誤判定NN55と、学習プログラム56と、アーム位置調整プログラム57とを格納している。   The server 8 includes a CPU 51, a transmission/reception line 52 (“computer-side transmission unit” in claims), a hard disk 53 (“neural network storage unit” in claims), an operation unit 58, and a memory 59. There is. The CPU 51 controls/calculates the entire server 8. The hard disk 53 stores a training data set 54, an arm position correctness determination NN 55, a learning program 56, and an arm position adjusting program 57.

上記のアーム位置正誤判定NN55は、ロボット2(の送受信回線31)から送信された、無人搬送車3の各停止位置(ロボット2の各作業位置)においてロボット2のカメラ4により撮影された画像データに基づいて、(現在の)ロボット2のアーム5の位置に問題があるか否かを判定するニューラルネットワークである。このアーム位置正誤判定NN55は、物体認識(画像のクラス分類)を行うタイプのニューラルネットワークであり、例えば、畳み込みニューラルネットワーク(Convolutional Neural Network)をベースにしたものであることが望ましい。   The above-mentioned arm position correctness determination NN55 is image data taken by the camera 4 of the robot 2 at each stop position of the automated guided vehicle 3 (each work position of the robot 2) transmitted from (the transmission/reception line 31 of) the robot 2. Is a neural network that determines whether or not there is a problem with the position of the arm 5 of the (current) robot 2 based on the above. The arm position correctness determination NN55 is a type of neural network that performs object recognition (classification of images), and is preferably based on, for example, a convolutional neural network (Convolutional Neural Network).

上記の訓練データセット54は、無人搬送車3の各停止位置においてロボット2のカメラ4から送られる、作業中のロボット2の周辺の画像のうち、上記の位置正誤情報が入力された時の画像のデータ(画像データ)と、この画像データに対応する位置正誤情報とから構成される教師データのデータセットである。上記の学習プログラム56は、訓練データセット54に格納された上記の画像データと位置正誤情報とに基づいて、アーム位置正誤判定NN55の機械学習を行うためのプログラムである。上記のアーム位置調整プログラム57は、上記のアーム位置正誤判定NN55を用いた判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整するためのプログラムである。   The training data set 54 is an image when the above position correctness information is input from the images around the robot 2 in operation, which is sent from the camera 4 of the robot 2 at each stop position of the automatic guided vehicle 3. (Data of image) and position correctness information corresponding to this image data. The learning program 56 is a program for machine learning the arm position correctness determination NN55 based on the image data and the position correctness information stored in the training data set 54. The arm position adjustment program 57 is a program for adjusting the position of the arm 5 of the robot 2 when there is a problem in the position of the arm 5 of the robot 2 as a result of the determination using the arm position correctness determination NN55. Is.

図4は、サーバ8側のCPU51の機能ブロックを示す。サーバ8側のCPU51は、機械学習部61と、位置正誤判定部62と、コマンド送信制御部63とを有している。機械学習部61は、訓練データセット54に格納された上記の画像データと位置正誤情報(ロボット2の送受信回線31から送信された画像データと、集中制御操作盤7の操作部44からユーザにより入力された位置正誤情報)とに基づいて、アーム位置正誤判定NN55の機械学習を行う。位置正誤判定部62は、学習済のアーム位置正誤判定NN55を用いて、ロボット2の送受信回線31から送信された、(無人搬送車3の各停止位置においてカメラ4により撮影された)画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定する。コマンド送信制御部63は、位置正誤判定部62による判定の結果、ロボット2のアーム5の位置に問題があるときに、送受信回線52を用いて、ロボットコントローラ9に、ロボット2のアーム5の位置を調整するための指示コマンドを送信するように制御する。   FIG. 4 shows functional blocks of the CPU 51 on the server 8 side. The CPU 51 on the server 8 side includes a machine learning unit 61, a position correctness determination unit 62, and a command transmission control unit 63. The machine learning unit 61 inputs the above-mentioned image data stored in the training data set 54 and position correctness information (image data transmitted from the transmission/reception line 31 of the robot 2 and the operation unit 44 of the centralized control operation panel 7 by the user. The machine learning of the arm position correctness determination NN55 is performed based on the obtained position correctness information). The position correctness determination unit 62 uses the learned arm position correctness determination NN55 to the image data (taken by the camera 4 at each stop position of the automated guided vehicle 3) transmitted from the transmission/reception line 31 of the robot 2. Based on this, it is determined whether or not there is a problem with the position of the arm 5 of the robot 2. When the position correctness determination unit 62 determines that the position of the arm 5 of the robot 2 has a problem, the command transmission control unit 63 uses the transmission/reception line 52 to inform the robot controller 9 of the position of the arm 5 of the robot 2. Control so as to send an instruction command for adjusting.

次に、上記の図3及び図4に加えて、図5を参照して、上記のロボット2のアーム5の位置の調整について、さらに説明する。図5は、工場のラインに配置された設備がマシニングセンタ71である場合における、ロボット2の作業の様子を示している。図5において、ロボット2は、ハンド6にワーク72を把持しており、このワーク72は、作業時におけるロボット2のアーム5の位置が正しい場合には、マシニングセンタ71の冶具73に応じた固定位置(図中に破線で示す位置)にセットされて、刃具74により切削される。ところが、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれて、作業時におけるロボット2のアーム5の位置に問題がある場合には、ロボット2の作業の停止や、ロボット2による切削等の作業の失敗といった、作業上のトラブルを引き起こす可能性がある。   Next, referring to FIG. 5 in addition to FIGS. 3 and 4 described above, the adjustment of the position of the arm 5 of the robot 2 will be further described. FIG. 5 shows how the robot 2 works when the equipment arranged on the factory line is the machining center 71. In FIG. 5, the robot 2 holds a work 72 in the hand 6, and when the position of the arm 5 of the robot 2 at the time of work is correct, the work 72 has a fixed position corresponding to the jig 73 of the machining center 71. It is set at (the position shown by the broken line in the figure) and cut by the cutting tool 74. However, when there is a problem in the position of the arm 5 of the robot 2 during work when the stop position of the automated guided vehicle 3 deviates from a predetermined stop position, the work of the robot 2 is stopped or the robot 2 is stopped. There is a possibility of causing work troubles such as failure of work such as cutting by 2.

本実施形態の学習・ロボット位置調整システム10では、アーム位置正誤判定NN55の学習時には、上記のように、ロボット2のアーム5の位置に問題がある場合(作業上のトラブルが実際に発生した場合、及びこれらのトラブルが発生してもおかしくなかった場合)に、集中制御操作盤7における作業者が、操作部44を用いて、ロボット2のアーム5の位置に問題がある旨を示す位置正誤情報を入力する。逆に、ロボット2のアーム5の位置に問題がない場合には、作業者が、操作部44を用いて、ロボット2のアーム5の位置に問題がない旨を示す位置正誤情報を入力する。そして、サーバ8(の機械学習部61)が、上記のロボット2の作業時に、ロボット2側のカメラ4から送信された画像データと、上記の集中制御操作盤7の操作部44から作業者(ユーザ)により入力された位置正誤情報とに基づいて、アーム位置正誤判定NN55の機械学習を行う。なお、この時点では、ロボット2のアーム5の位置に問題がある場合でも、上記のサーバ8側のアーム位置正誤判定NN55とアーム位置調整プログラム57を用いた、ロボット2のアーム5の位置の(自動)調整は、行わない。   In the learning/robot position adjusting system 10 of the present embodiment, when the arm position correctness determination NN55 is learned, as described above, when there is a problem in the position of the arm 5 of the robot 2 (when a trouble in work actually occurs). , And in the case where these troubles would have occurred), the operator of the centralized control operation panel 7 uses the operation unit 44 to indicate whether the position of the arm 5 of the robot 2 is incorrect. Enter the information. On the contrary, when there is no problem in the position of the arm 5 of the robot 2, the operator inputs the position correctness information indicating that there is no problem in the position of the arm 5 of the robot 2 using the operation unit 44. Then, the server 8 (the machine learning unit 61 thereof) uses the image data transmitted from the camera 4 on the robot 2 side and the operator (from the operation unit 44 of the centralized control operation panel 7) when the robot 2 is working. Machine learning of the arm position correctness determination NN55 is performed based on the position correctness information input by the user). At this point, even if there is a problem in the position of the arm 5 of the robot 2, the position of the arm 5 of the robot 2 using the arm position correctness determination NN 55 on the server 8 side and the arm position adjustment program 57 ( (Automatic) adjustment is not performed.

そして、上記のサーバ8によるアーム位置正誤判定NN55の機械学習がある程度進んで、アーム位置正誤判定NN55が、学習済のニューラルネットワークであるとみなせる状態になると、例えば、サーバ8側のシステム管理者が、サーバ8側のアーム位置正誤判定NN55とアーム位置調整プログラム57を用いた、ロボット2のアーム5の位置の(自動)調整処理を開始するように、操作部58により指示する。   When the machine learning of the arm position correctness determination NN55 by the server 8 has progressed to some extent and the arm position correctness determination NN55 can be regarded as a learned neural network, for example, the system administrator of the server 8 side The operation unit 58 instructs to start (automatic) adjustment processing of the position of the arm 5 of the robot 2 using the arm position correctness determination NN 55 on the server 8 side and the arm position adjustment program 57.

上述したロボット2のアーム5の位置の(自動)調整処理が開始されると、サーバ8のCPU51(の位置正誤判定部62)は、学習済のアーム位置正誤判定NN55を用いて、ロボット2の送受信回線31から送信された画像データ(ロボット2の作業時にカメラ4から送信されたロボット2の周辺の画像のデータ)に基づき、ロボット2のアーム5の位置に問題があるか否かを判定する。そして、サーバ8のCPU51(のコマンド送信制御部63)は、学習済のアーム位置正誤判定NN55を用いた判定の結果、ロボット2のアーム5の位置に問題があるときに、送受信回線52を用いて、ロボットコントローラ9に、ロボット2のアーム5の位置を調整するための指示コマンドを送信するように制御する。そして、ロボットコントローラ9が、サーバ8から受信した指示コマンドに基づいて、ロボット2を動かして、ロボット2のアーム5の位置を調整する。これにより、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車3の停止位置のずれに起因するロボット2のアーム5の位置ずれが、問題のあるレベルか否か(ロボット2のアーム5の位置に問題があるか否か)を判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整することができる。従って、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれた場合でも、ロボット2による作業上のトラブルを防ぐことができる。   When the (automatic) adjustment processing of the position of the arm 5 of the robot 2 described above is started, the CPU 51 of the server 8 (the position correctness determination unit 62 thereof) uses the learned arm position correctness determination NN55 to detect the robot 2 Based on the image data transmitted from the transmission/reception line 31 (image data around the robot 2 transmitted from the camera 4 when the robot 2 is working), it is determined whether or not there is a problem in the position of the arm 5 of the robot 2. .. Then, the CPU 51 of the server 8 (the command transmission control unit 63 thereof) uses the transmission/reception line 52 when the position of the arm 5 of the robot 2 has a problem as a result of the determination using the learned arm position correctness determination NN55. Then, the robot controller 9 is controlled to transmit an instruction command for adjusting the position of the arm 5 of the robot 2. Then, the robot controller 9 moves the robot 2 based on the instruction command received from the server 8 to adjust the position of the arm 5 of the robot 2. As a result, even if the stop position of the automatic guided vehicle 3 deviates from a predetermined predetermined stop position, the positional deviation of the arm 5 of the robot 2 due to the deviation of the stopped position of the automatic guided vehicle 3 causes a problem. If there is a problem with the position of the arm 5 of the robot 2, it is determined whether there is a problem with the position of the arm 5 of the robot 2 or not. The position of 5 can be adjusted. Therefore, even if the stop position of the automatic guided vehicle 3 deviates from a predetermined stop position, it is possible to prevent a trouble in working by the robot 2.

上記ロボット2のアーム5の位置調整処理時には、学習済のアーム位置正誤判定NN55が、ロボット2の送受信回線31から送信された画像データに基づき、ロボット2のアーム5の位置に問題がないと判定するまで、ロボット2のアーム5の位置を繰り返し調整する。   During the position adjustment process of the arm 5 of the robot 2, the learned arm position correctness determination NN55 determines that there is no problem in the position of the arm 5 of the robot 2 based on the image data transmitted from the transmission/reception line 31 of the robot 2. Until then, the position of the arm 5 of the robot 2 is repeatedly adjusted.

本実施形態では、図6に示すように、移動ロボット1は、工場における複数のラインにおいて、共通して用いられる。具体的には、作業者が、図5に示す移動ロボット1の取っ手14を把持して、例えば、図6に示すラインAにおける作業を行っていた移動ロボット1を、ラインAからラインBに移動させて、移動ロボット1が、ラインBにおける作業を行うようにさせる。このように、移動ロボット1は、その日の各ラインの稼働スケジュールに従って、ラインA〜Cで、代わる代わる使用される。   In this embodiment, as shown in FIG. 6, the mobile robot 1 is commonly used in a plurality of lines in a factory. Specifically, the operator grips the handle 14 of the mobile robot 1 shown in FIG. 5, and moves the mobile robot 1 that was performing the work on the line A shown in FIG. 6 from the line A to the line B, for example. Then, the mobile robot 1 is caused to perform the work on the line B. In this way, the mobile robot 1 is alternately used in the lines A to C according to the operation schedule of each line of the day.

図6において、符号79a〜79fは、ラインA〜Cに配置されたマシニングセンタ等の設備を示し、符号76a〜76cは、それぞれ、ラインA〜Cの各々における走行路を示す。また、符号77a〜77cは、それぞれ、ラインA〜Cの各々におけるパーツフィード装置を示し、符号78a〜78cは、それぞれ、ラインA〜Cの各々における完成品排出コンベアを示し、符号18a〜18cは、それぞれ、ラインA〜Cの各々における補助操作盤を示す。上記のパーツフィード装置77a〜77cは、移動ロボット1へのワーク供給用の装置である。また、完成品排出コンベア78a〜78cは、マシニングセンタ等の設備79a〜79fによる加工又は組み立て工程後の完成品を排出するためのコンベアである。   In FIG. 6, reference numerals 79a to 79f indicate facilities such as machining centers arranged on the lines A to C, and reference numerals 76a to 76c indicate running paths on the respective lines A to C. Further, reference numerals 77a to 77c indicate parts feed devices in the respective lines A to C, reference numerals 78a to 78c respectively indicate finished product discharging conveyors in the respective lines A to C, and reference numerals 18a to 18c respectively. , Respectively show the auxiliary operation panel in each of the lines A to C. The parts feed devices 77a to 77c are devices for supplying a work to the mobile robot 1. Further, the finished product discharge conveyors 78a to 78c are conveyors for discharging finished products after the processing or assembling process by the facilities 79a to 79f such as machining centers.

また、図6における(1)〜(4)は、ラインA〜Cにおける無人搬送車3の各停止位置である。上記の(1)は、ロボット2がワーク(パーツ)を受け取る位置であり、(2)と(3)は、ロボット2が、各ラインにおける1番目と2番目の作業を行う位置であり、(4)は、ロボット2が、完成品を完成品排出コンベア78a〜78c(又は完成品排出コンベア78a〜78c上の段ボールの中)に載置する位置である。   Further, (1) to (4) in FIG. 6 are respective stop positions of the automated guided vehicle 3 on the lines A to C. The above (1) is the position where the robot 2 receives the work (part), and (2) and (3) are the positions where the robot 2 performs the first and second work in each line, ( 4) is the position at which the robot 2 places the finished product on the finished product discharge conveyors 78a to 78c (or inside the cardboard on the finished product discharge conveyors 78a to 78c).

図6に示すように、移動ロボット1を、工場における複数のラインに共通して用いた場合には、1つのラインのみに用いた場合と比べて、ライン上における無人搬送車3の停止位置となる設備(図6では、設備79a〜79f)の数と種類が多いため、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれる可能性が高くなるので、ロボット2による作業上のトラブルが発生し易い。   As shown in FIG. 6, when the mobile robot 1 is used in common in a plurality of lines in a factory, compared with the case where it is used in only one line, the stop position of the automated guided vehicle 3 on the line and Since there are many types and types of equipment (equipment 79a to 79f in FIG. 6), the stop position of the automated guided vehicle 3 is likely to deviate from a predetermined stop position. The above troubles are likely to occur.

しかしながら、本実施形態の学習・ロボット位置調整システム10によれば、アーム位置正誤判定NN55の機械学習がある程度進んで、アーム位置正誤判定NN55が、学習済のニューラルネットワークであるとみなせる状態になると、サーバ8のCPU51(の位置正誤判定部62)が、学習済のアーム位置正誤判定NN55を用いて、移動ロボット1が、複数のラインのうちのいずれのラインに位置するときにも、ロボット2の送受信回線31から送信された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定する。そして、サーバ8のCPU51(のコマンド送信制御部63)が、学習済のアーム位置正誤判定NN55を用いた判定の結果、ロボット2のアーム5の位置に問題があるときに、送受信回線52を用いて、ロボットコントローラ9に、ロボット2のアーム5の位置を調整するための指示コマンドを送信するように制御する。従って、移動ロボット1を、工場における複数のラインにおいて、共通して用いた場合でも、ロボット2のアーム5の位置に問題がある場合には、ロボット2のアーム5の位置を調整することができる。   However, according to the learning/robot position adjustment system 10 of the present embodiment, when the machine learning of the arm position correctness determination NN55 progresses to some extent and the arm position correctness determination NN55 becomes a state in which it can be regarded as a learned neural network, The CPU 51 of the server 8 (the position correctness determination unit 62 thereof) uses the learned arm position correctness determination NN55 to determine whether the mobile robot 1 is located on any of the plurality of lines. Based on the image data transmitted from the transmission/reception line 31, it is determined whether or not there is a problem in the position of the arm 5 of the robot 2. The CPU 51 of the server 8 (the command transmission control unit 63 thereof) uses the transmission/reception line 52 when there is a problem in the position of the arm 5 of the robot 2 as a result of the determination using the learned arm position correctness determination NN55. Then, the robot controller 9 is controlled to transmit an instruction command for adjusting the position of the arm 5 of the robot 2. Therefore, even when the mobile robot 1 is commonly used in a plurality of lines in a factory, the position of the arm 5 of the robot 2 can be adjusted if there is a problem in the position of the arm 5 of the robot 2. .

本実施形態の学習・ロボット位置調整システム10、及びその移動ロボット1が適用可能な工場のラインは、図6に示すような走行路76a〜76cの片側に各設備79a〜79fが配置されたラインに限られず、図7に示すような走行路76d、76eの両側に各設備79g〜79nが配置されたラインであってもよい。   The learning/robot position adjusting system 10 of the present embodiment and a factory line to which the mobile robot 1 can be applied are lines in which the facilities 79a to 79f are arranged on one side of the traveling paths 76a to 76c as shown in FIG. However, the line may be a line in which the facilities 79g to 79n are arranged on both sides of the traveling paths 76d and 76e as shown in FIG.

図7において、符号79g〜79nは、ラインA、Bに配置されたマシニングセンタ等の設備を示し、符号76d、76eは、それぞれ、ラインA、Bの各々における走行路を示す。また、符号77d〜77gは、それぞれ、ラインA、Bの各々におけるパーツフィード装置を示し、符号78d〜78gは、それぞれ、ラインA、Bの各々における完成品排出コンベアを示し、符号18d、18eは、それぞれ、ラインA、Bの各々における補助操作盤を示す。   In FIG. 7, reference numerals 79g to 79n indicate facilities such as machining centers arranged on the lines A and B, and reference numerals 76d and 76e indicate traveling paths on the lines A and B, respectively. In addition, reference numerals 77d to 77g indicate parts feed devices in the respective lines A and B, reference numerals 78d to 78g indicate finished product discharge conveyors in the respective lines A and B, and reference numerals 18d and 18e respectively. , And auxiliary operation panels on lines A and B, respectively.

上記のサーバ8によるアーム位置正誤判定NN55の機械学習が進んで、アーム位置正誤判定NN55が、学習済のニューラルネットワークであるとみなせる状態になると、図8及び図9に示すように、この学習済アーム位置正誤判定NN81を、アーム位置調整プログラム57と共に、集中制御操作盤7のメモリ43、又はロボットコントローラ9のメモリ35に格納してもよい。図8に示すように、集中制御操作盤7のメモリ43に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57とを格納したロボット位置調整システム80では、集中制御操作盤7が、請求項におけるロボット位置調整システムの「コンピュータ」に相当する。また、図9に示すように、ロボットコントローラ9のメモリ35に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57とを格納したロボット位置調整システムが、ロボット位置調整システム83である。これらの図8及び図9において、図3と同等の電気的ブロックには同一の符号を付し、その説明を省略する。   When the machine learning of the arm position correctness determination NN55 by the server 8 described above progresses and the arm position correctness determination NN55 becomes a state in which it can be regarded as a learned neural network, as shown in FIG. 8 and FIG. The arm position correctness determination NN81 may be stored in the memory 43 of the centralized control operation panel 7 or the memory 35 of the robot controller 9 together with the arm position adjustment program 57. As shown in FIG. 8, in the robot position adjustment system 80 in which the learned arm position correctness determination NN81 and the arm position adjustment program 57 are stored in the memory 43 of the centralized control operation panel 7, the central control operation panel 7 is a Corresponds to the "computer" of the robot position adjustment system in. Further, as shown in FIG. 9, the robot position adjusting system 83 is a robot position adjusting system in which the learned arm position correctness determination NN81 and the arm position adjusting program 57 are stored in the memory 35 of the robot controller 9. In these FIG. 8 and FIG. 9, the same reference numerals are given to the electrical blocks equivalent to those in FIG.

また、図10に示すロボット位置調整システム85のように、ロボット2自体に、マイクロコントローラ等のプロセッサで構成されたロボットコントローラ86を搭載して、このロボットコントローラ86内のメモリ88に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57とを格納するようにしてもよい。図10においても、図3と同等の電気的ブロックには同一の符号を付し、その説明を省略する。   Further, as in the robot position adjusting system 85 shown in FIG. 10, the robot 2 itself is provided with a robot controller 86 constituted by a processor such as a micro controller, and a memory 88 in the robot controller 86 is provided with a learned arm. The position correctness determination NN81 and the arm position adjustment program 57 may be stored. In FIG. 10 as well, electrical blocks equivalent to those in FIG. 3 are assigned the same reference numerals and explanations thereof are omitted.

ただし、学習・ロボット位置調整システム10が適用される工場のラインにおける設備の種類、配置、数等の変更が多い場合には、図3に示すサーバ8のハードディスク53に格納したアーム位置正誤判定NN55の機械学習を常時継続しながら、このサーバ8のアーム位置正誤判定NN55とアーム位置調整プログラム57を用いて、ロボット2のアーム5の位置に問題があるか否かの判定と、ロボット2のアーム5の位置の調整処理を行うようにした方が望ましい。   However, if there are many changes in the type, arrangement, number, etc. of equipment in the factory line to which the learning/robot position adjustment system 10 is applied, the arm position correctness determination NN55 stored in the hard disk 53 of the server 8 shown in FIG. While constantly continuing the machine learning described above, it is determined whether or not there is a problem in the position of the arm 5 of the robot 2 by using the arm position correctness determination NN 55 and the arm position adjustment program 57 of the server 8 and the arm of the robot 2 It is desirable to perform the position adjustment processing of No. 5.

上記のように、第1の実施形態の学習・ロボット位置調整システム10によれば、ロボット2の送受信回線31から送信された画像データ(無人搬送車3の各停止位置においてカメラ4により撮影された画像データ)と、集中制御操作盤7の操作部44から作業者(ユーザ)により入力された位置正誤情報とに基づいて、アーム位置正誤判定NN55の機械学習を行うことができる。   As described above, according to the learning/robot position adjusting system 10 of the first embodiment, image data transmitted from the transmission/reception line 31 of the robot 2 (taken by the camera 4 at each stop position of the automatic guided vehicle 3). Machine learning of the arm position correctness determination NN55 can be performed based on the image data) and the position correctness information input by the operator (user) from the operation unit 44 of the centralized control operation panel 7.

また、第1の実施形態の学習・ロボット位置調整システム10によれば、アーム位置正誤判定NN55の機械学習がある程度進んで、アーム位置正誤判定NN55が、学習済のニューラルネットワークであるとみなせる状態になった後は、サーバ8が、学習済のアーム位置正誤判定NN55を用いて、ロボット2の送受信回線31から送信された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボットコントローラ9に、ロボット2のアーム5の位置を調整するための指示コマンドを送信するように制御する。そして、ロボットコントローラ9が、サーバ8から受信した指示コマンドに基づいて、ロボット2を動かして、ロボット2のアーム5の位置を調整する。これにより、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車3の停止位置のずれに起因するロボット2のアーム5の位置ずれが、問題のあるレベルか否か(ロボット2のアーム5の位置に問題があるか否か)を判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整することができる。従って、ロボット2による作業上のトラブルを防ぐことができる。   Further, according to the learning/robot position adjusting system 10 of the first embodiment, the machine learning of the arm position correctness determination NN55 is advanced to some extent, and the arm position correctness determination NN55 is considered to be a learned neural network. After that, the server 8 determines whether or not there is a problem in the position of the arm 5 of the robot 2 based on the image data transmitted from the transmission/reception line 31 of the robot 2 by using the learned arm position correctness determination NN55. If there is a problem with the position of the arm 5 of the robot 2 as a result of the determination, the robot controller 9 is controlled to transmit an instruction command for adjusting the position of the arm 5 of the robot 2. . Then, the robot controller 9 moves the robot 2 based on the instruction command received from the server 8 to adjust the position of the arm 5 of the robot 2. As a result, even if the stop position of the automatic guided vehicle 3 deviates from a predetermined predetermined stop position, the positional deviation of the arm 5 of the robot 2 due to the deviation of the stopped position of the automatic guided vehicle 3 causes a problem. If there is a problem with the position of the arm 5 of the robot 2, it is determined whether there is a problem with the position of the arm 5 of the robot 2 or not. The position of 5 can be adjusted. Therefore, it is possible to prevent a trouble in the work performed by the robot 2.

また、図8に示す学習済アーム位置正誤判定NN81とアーム位置調整プログラム57を集中制御操作盤7のメモリ43に格納した場合にも、上記のアーム位置正誤判定NN55が学習済のニューラルネットワークであるとみなせる状態になった後における学習・ロボット位置調整システム10と同様な作用と効果を得ることができる。具体的には、集中制御操作盤7が、学習済アーム位置正誤判定NN81を用いて、ロボット2の送受信回線31から送信された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボットコントローラ9に、ロボット2の位置を調整するための指示コマンドを送信するように制御する。そして、ロボットコントローラ9が、集中制御操作盤7から受信した指示コマンドに基づいて、ロボット2を動かして、ロボット2のアーム5の位置を調整する。これにより、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車3の停止位置のずれに起因するロボット2のアーム5の位置ずれが、問題のあるレベルか否かを判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整することができる。従って、ロボット2による作業上のトラブルを防ぐことができる。   Even when the learned arm position correctness determination NN81 and the arm position adjustment program 57 shown in FIG. 8 are stored in the memory 43 of the centralized control operation panel 7, the arm position correctness determination NN55 is a learned neural network. It is possible to obtain the same actions and effects as those of the learning/robot position adjusting system 10 after the state that can be regarded as. Specifically, whether the centralized control operation panel 7 has a problem in the position of the arm 5 of the robot 2 based on the image data transmitted from the transmission/reception line 31 of the robot 2 using the learned arm position correctness determination NN81. It is determined whether or not there is a problem with the position of the arm 5 of the robot 2 as a result of this determination, and the robot controller 9 is controlled to transmit an instruction command for adjusting the position of the robot 2. Then, the robot controller 9 moves the robot 2 based on the instruction command received from the centralized control operation panel 7 to adjust the position of the arm 5 of the robot 2. As a result, even if the stop position of the automatic guided vehicle 3 deviates from a predetermined predetermined stop position, the positional deviation of the arm 5 of the robot 2 due to the deviation of the stopped position of the automatic guided vehicle 3 causes a problem. It is possible to adjust the position of the arm 5 of the robot 2 when there is a problem in the position of the arm 5 of the robot 2 as a result of this judgment. Therefore, it is possible to prevent a trouble in the work performed by the robot 2.

また、図9に示すロボット位置調整システム83、及び図10に示すロボット位置調整システム85においても、ロボットコントローラ9又はロボットコントローラ86が、学習済アーム位置正誤判定NN81を用いて、無人搬送車3の各停止位置においてカメラ4により撮影された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整するように制御する。これにより、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車3の停止位置のずれに起因するロボット2のアーム5の位置ずれが、問題のあるレベルか否か(ロボット2の位置に問題があるか否か)を判定して、この判定の結果、ロボット2の位置に問題があるときに、ロボット2の位置を調整することができる。従って、ロボット2による作業上のトラブルを防ぐことができる。   Also in the robot position adjusting system 83 shown in FIG. 9 and the robot position adjusting system 85 shown in FIG. 10, the robot controller 9 or the robot controller 86 uses the learned arm position correctness determination NN81 to detect the automatic guided vehicle 3. Based on the image data taken by the camera 4 at each stop position, it is determined whether or not there is a problem with the position of the arm 5 of the robot 2, and as a result of this determination, there is a problem with the position of the arm 5 of the robot 2. At some times, control is performed to adjust the position of the arm 5 of the robot 2. As a result, even if the stop position of the automatic guided vehicle 3 deviates from a predetermined predetermined stop position, the positional deviation of the arm 5 of the robot 2 due to the deviation of the stopped position of the automatic guided vehicle 3 causes a problem. It is possible to adjust the position of the robot 2 when there is a problem in the position of the robot 2 as a result of this determination by determining whether or not there is a certain level (whether or not there is a problem in the position of the robot 2). . Therefore, it is possible to prevent a trouble in the work performed by the robot 2.

次に、図11乃至図13参照して、本発明の第2の実施形態の学習・ロボット位置調整システム95、及びこの学習・ロボット位置調整システム95における台車付きロボット91について、説明する。図11及び図13において、上記図1及び図6と同等の部材には同一の符号を付して、その説明を省略する。また、図12において、上記図3と同等の電気的ブロックには、同一の符号を付して、その説明を省略する。   Next, a learning/robot position adjusting system 95 according to a second embodiment of the present invention and a trolley-equipped robot 91 in the learning/robot position adjusting system 95 will be described with reference to FIGS. 11 to 13. 11 and 13, the same members as those in FIGS. 1 and 6 are designated by the same reference numerals, and the description thereof will be omitted. Further, in FIG. 12, electrical blocks equivalent to those in FIG. 3 are designated by the same reference numerals, and description thereof will be omitted.

図11は、第2の実施形態の学習・ロボット位置調整システム95における台車付きロボット91を示す。第1の実施形態の学習・ロボット位置調整システム10は、無人搬送車3の台座15上にロボット2を取り付けた(搭載した)移動ロボット1を備えていたが、第2の実施形態の学習・ロボット位置調整システム95は、上記の移動ロボット1の代わりに、台車92の台座96上にロボット2を取り付けた(搭載した)台車付きロボット91を備えている。これ以外の構成については、第1の実施形態の学習・ロボット位置調整システム10と、第2の実施形態の学習・ロボット位置調整システム95とは、同様である。   FIG. 11 shows a robot with a trolley 91 in the learning/robot position adjusting system 95 of the second embodiment. The learning/robot position adjusting system 10 of the first embodiment includes the mobile robot 1 in which the robot 2 is mounted (mounted) on the pedestal 15 of the automatic guided vehicle 3. The robot position adjustment system 95 includes a trolley-equipped robot 91 in which the robot 2 is mounted (mounted) on the pedestal 96 of the trolley 92 instead of the mobile robot 1 described above. Other than this, the learning/robot position adjusting system 10 of the first embodiment is the same as the learning/robot position adjusting system 95 of the second embodiment.

上記の台車92は、上記のロボット2が取り付けられる台座96に加えて、前後の車輪93と、取っ手97とを備えている。上記の取っ手97は、第1の実施形態における無人搬送車3の取っ手14と同様に、台車付きロボット91を、あるラインから別のラインに移動する(図13参照)際に、ユーザに把持される。第2の実施形態では、図13に示すように、工場の各ラインにおける走行路(図13の例では、走行路76a〜76c)には、レール94(図13の例では、レール94a〜94c)が配設されており、台車92の前後の車輪93は、このレール94に嵌め込まれて、このレール94上を移動する。   The trolley 92 includes front and rear wheels 93 and a handle 97 in addition to the pedestal 96 to which the robot 2 is attached. Similar to the handle 14 of the automated guided vehicle 3 according to the first embodiment, the handle 97 is gripped by the user when moving the robot 91 with a carriage from one line to another line (see FIG. 13). It In the second embodiment, as shown in FIG. 13, rails 94 (rails 94a to 94c in the example of FIG. 13) are provided on the travel routes (traveling paths 76a to 76c in the example of FIG. 13) in each line of the factory. ) Is provided, and wheels 93 on the front and rear of the carriage 92 are fitted into the rail 94 and move on the rail 94.

本実施形態においても、図13に示すように、台車付きロボット91に取り付けられたロボット2は、工場における複数のラインにおいて、共通して用いられる。具体的には、作業者が、図11に示す台車付きロボット91の取っ手97を把持して、例えば、図13に示すラインAにおける作業を行っていた台車付きロボット91を、ラインAからラインBに移動させて(台車92の前後の車輪93を、ラインAにおけるレール94aから取り外して、ラインBにおけるレール94bに嵌め込んで)、台車付きロボット91のロボット2を、ラインBにおける各作業位置に移動させて、ラインBの各設備を用いた作業を行うようにさせる。このように、台車付きロボット91は、その日の各ラインの稼働スケジュールに従って、ラインA〜Cで、代わる代わる使用される。   Also in this embodiment, as shown in FIG. 13, the robot 2 attached to the carriage-equipped robot 91 is commonly used in a plurality of lines in a factory. Specifically, the operator grips the handle 97 of the trolley-equipped robot 91 shown in FIG. 11, and, for example, the trolley-equipped robot 91 that was performing the work on the line A shown in FIG. The robot 2 of the trolley-equipped robot 91 to the respective work positions on the line B by moving the wheels 93 to and from the front and rear wheels 93 of the trolley 92 by removing them from the rails 94a on the line A and fitting them on the rails 94b on the line B. It is made to move and it is made to work using each equipment of line B. As described above, the carriage-equipped robot 91 is alternately used in the lines A to C according to the operation schedule of each line of the day.

図12は、第2の実施形態の学習・ロボット位置調整システム95の電気的ブロック構成を示す。この電気的ブロック構成は、移動ロボット1が、台車付きロボット91に代わる点以外は、図3に示す第1の実施形態の学習・ロボット位置調整システム10の電気的ブロック構成と同じである。   FIG. 12 shows an electrical block configuration of the learning/robot position adjusting system 95 of the second embodiment. This electrical block configuration is the same as the electrical block configuration of the learning/robot position adjusting system 10 of the first embodiment shown in FIG. 3 except that the mobile robot 1 is replaced by the trolley-equipped robot 91.

第2の実施形態の学習・ロボット位置調整システム95によれば、第1の実施形態の学習・ロボット位置調整システム10と同様に、ロボット2の送受信回線31から送信された画像データ(ロボット2のライン上における各作業位置において、カメラ4により撮影された画像データ)と、集中制御操作盤7の操作部44から作業者(ユーザ)により入力された位置正誤情報とに基づいて、アーム位置正誤判定NN55の機械学習を行うことができる。   According to the learning/robot position adjusting system 95 of the second embodiment, similar to the learning/robot position adjusting system 10 of the first embodiment, image data transmitted from the transmission/reception line 31 of the robot 2 (of the robot 2). At each work position on the line, the arm position correctness determination is made based on the image data taken by the camera 4) and the position correctness information input by the operator (user) from the operation unit 44 of the centralized control operation panel 7. Machine learning of NN55 can be performed.

また、第2の実施形態の学習・ロボット位置調整システム95によれば、アーム位置正誤判定NN55の機械学習がある程度進んで、アーム位置正誤判定NN55が、学習済のニューラルネットワークであるとみなせる状態になった後は、サーバ8が、学習済のアーム位置正誤判定NN55を用いて、ロボット2の送受信回線31から送信された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボットコントローラ9に、ロボット2のアーム5の位置を調整するための指示コマンドを送信するように制御する。そして、ロボットコントローラ9が、サーバ8から受信した指示コマンドに基づいて、ロボット2を動かして、ロボット2のアーム5の位置を調整する。これにより、台車92の停止位置が、予め決められた所定の停止位置からずれた場合でも、この台車92の停止位置のずれに起因するロボット2のアーム5の位置ずれが、問題のあるレベルか否か(ロボット2のアーム5の位置に問題があるか否か)を判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整することができる。従って、ロボット2による作業上のトラブルを防ぐことができる。   Further, according to the learning/robot position adjustment system 95 of the second embodiment, the machine learning of the arm position correctness determination NN55 is advanced to some extent, and the arm position correctness determination NN55 is considered to be a learned neural network. After that, the server 8 determines whether or not there is a problem in the position of the arm 5 of the robot 2 based on the image data transmitted from the transmission/reception line 31 of the robot 2 using the learned arm position correctness determination NN55. If there is a problem with the position of the arm 5 of the robot 2 as a result of the determination, the robot controller 9 is controlled to transmit an instruction command for adjusting the position of the arm 5 of the robot 2. .. Then, the robot controller 9 moves the robot 2 based on the instruction command received from the server 8 to adjust the position of the arm 5 of the robot 2. As a result, even if the stop position of the carriage 92 deviates from a predetermined stop position, whether the position deviation of the arm 5 of the robot 2 caused by the deviation of the stop position of the carriage 92 has a problematic level. Whether or not there is a problem with the position of the arm 5 of the robot 2 is determined. As a result of this determination, when there is a problem with the position of the arm 5 of the robot 2, the position of the arm 5 of the robot 2 is determined. Can be adjusted. Therefore, it is possible to prevent a trouble in the work performed by the robot 2.

なお、第2の実施形態においても、サーバ8によるアーム位置正誤判定NN55の機械学習がある程度進んで、アーム位置正誤判定NN55が、学習済のニューラルネットワークであるとみなせる状態になると、第1の実施形態におけるロボット位置調整システム80及びロボット位置調整システム83(図8及び図9参照)と同様に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57とを、集中制御操作盤7のメモリ43、又はロボットコントローラ9のメモリ35に格納してもよい。また、第1の実施形態におけるロボット位置調整システム85(図10参照)と同様に、ロボット2自体に、ロボットコントローラ86を搭載して、このロボットコントローラ86内のメモリ88に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57とを格納するようにしてもよい。   Also in the second embodiment, if the machine learning of the arm position correctness determination NN55 by the server 8 progresses to some extent and the arm position correctness determination NN55 becomes a state in which it can be regarded as a learned neural network, the first embodiment is performed. Similarly to the robot position adjusting system 80 and the robot position adjusting system 83 (see FIGS. 8 and 9) in the embodiment, the learned arm position correctness determination NN81 and the arm position adjusting program 57 are stored in the memory 43 of the central control operation panel 7, Alternatively, it may be stored in the memory 35 of the robot controller 9. Further, similarly to the robot position adjusting system 85 (see FIG. 10) in the first embodiment, the robot controller 86 is mounted on the robot 2 itself, and the learned arm position correct/incorrect is stored in the memory 88 in the robot controller 86. The determination NN81 and the arm position adjustment program 57 may be stored.

また、第2の実施形態においても、図8に示す第1の実施形態におけるロボット位置調整システム80と同様に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57を集中制御操作盤7のメモリ43に格納した場合に、上記のアーム位置正誤判定NN55が学習済のニューラルネットワークであるとみなせる状態になった後における学習・ロボット位置調整システム95と同様な作用と効果を得ることができる。   Also in the second embodiment, as in the robot position adjustment system 80 in the first embodiment shown in FIG. 8, the learned arm position correctness determination NN81 and the arm position adjustment program 57 are stored in the memory of the centralized control operation panel 7. When stored in 43, it is possible to obtain the same operation and effect as the learning/robot position adjusting system 95 after the arm position correctness determination NN55 becomes a state in which it can be regarded as a learned neural network.

また、第2の実施形態においても、図9及び図10に示す第1の実施形態におけるロボット位置調整システム83及びロボット位置調整システム85と同様に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57を、ロボットコントローラ9のメモリ35又はロボットコントローラ86のメモリ88に格納した場合に、ロボットコントローラ9又はロボットコントローラ86が、学習済アーム位置正誤判定NN81を用いて、ロボット2の各作業位置においてカメラ4により撮影された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整するように制御する。これにより、台車92の停止位置が、予め決められた所定の停止位置からずれた場合でも、この台車92の停止位置のずれに起因するロボット2のアーム5の位置ずれが、問題のあるレベルか否か(ロボット2の位置に問題があるか否か)を判定して、この判定の結果、ロボット2の位置に問題があるときに、ロボット2の位置を調整することができる。従って、ロボット2による作業上のトラブルを防ぐことができる。   Further, also in the second embodiment, similarly to the robot position adjusting system 83 and the robot position adjusting system 85 in the first embodiment shown in FIGS. 9 and 10, the learned arm position correctness determination NN81 and the arm position adjusting program are performed. When 57 is stored in the memory 35 of the robot controller 9 or the memory 88 of the robot controller 86, the robot controller 9 or the robot controller 86 uses the learned arm position correctness determination NN81 to detect the camera at each work position of the robot 2. It is determined whether there is a problem in the position of the arm 5 of the robot 2 based on the image data captured by the robot 4, and when the result of this determination is that there is a problem in the position of the arm 5 of the robot 2, the robot 2 The arm 5 is controlled so as to adjust its position. As a result, even if the stop position of the carriage 92 deviates from a predetermined stop position, whether the position deviation of the arm 5 of the robot 2 caused by the deviation of the stop position of the carriage 92 has a problematic level. It is possible to determine whether or not there is a problem with the position of the robot 2, and as a result of this determination, when there is a problem with the position of the robot 2, the position of the robot 2 can be adjusted. Therefore, it is possible to prevent work troubles caused by the robot 2.

変形例:
なお、本発明は、上記の各実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。次に、本発明の変形例について説明する。
Modification:
The present invention is not limited to the configurations of the above-described embodiments, and various modifications can be made without departing from the spirit of the invention. Next, a modified example of the present invention will be described.

変形例1:
上記の各実施形態では、ロボット2側の送受信回線31から送信された画像データと、集中制御操作盤7の操作部44から作業者により入力された位置正誤情報とを、インターネット17を介して、クラウド上のサーバ8に送信して、サーバ8のハードディスク53に格納されたアーム位置正誤判定NN55の機械学習を行うようにした。けれども、ロボットのアームの位置に問題があるか否かを判定するニューラルネットワークを、工場の構内に配されたコンピュータのハードディスク等に格納して、この工場構内に配されたコンピュータに格納されたニューラルネットワークの機械学習を行うようにしてもよい。
Modification 1:
In each of the above embodiments, the image data transmitted from the transmission/reception line 31 on the robot 2 side and the position correctness information input by the operator from the operation unit 44 of the centralized control operation panel 7 are transmitted via the Internet 17. The data is transmitted to the server 8 on the cloud, and the machine learning of the arm position correctness determination NN55 stored in the hard disk 53 of the server 8 is performed. However, a neural network that determines whether or not there is a problem in the position of the robot arm is stored in the hard disk of the computer installed in the factory premises, and the neural network stored in the computer installed in this factory premises. Machine learning of the network may be performed.

変形例2:
また、上記の各実施形態では、請求項における「学習済のニューラルネットワーク」が、ロボット2のアーム5の位置に問題があるか否かを判定するニューラルネットワークであり、この「学習済のニューラルネットワーク」を用いた判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整する場合の例を示した。けれども、本発明の学習システム及びロボット位置調整システムは、これに限られず、例えば、「学習済のニューラルネットワーク」が、ロボットのハンドの位置に問題があるか否かを判定するニューラルネットワークであり、この学習済のニューラルネットワークを用いた判定の結果、ロボットのハンドの位置に問題があるときに、ロボットのハンドの位置を調整するようにしてもよい。また、「学習済のニューラルネットワーク」が、ロボットの先端、中央、又は後端の位置に問題があるか否かを判定するニューラルネットワークであり、この学習済のニューラルネットワークを用いた判定の結果、ロボットの先端、中央、又は後端の位置に問題があるときに、ロボットの先端、中央、又は後端の位置を調整するようにしてもよい。
Modification 2:
In each of the above embodiments, the “learned neural network” in the claims is a neural network that determines whether or not there is a problem with the position of the arm 5 of the robot 2. When the position of the arm 5 of the robot 2 has a problem as a result of the determination using “. However, the learning system and the robot position adjusting system of the present invention are not limited to this. For example, the “learned neural network” is a neural network that determines whether or not there is a problem in the position of the robot hand, As a result of the determination using the learned neural network, when there is a problem in the position of the robot hand, the position of the robot hand may be adjusted. Further, the "learned neural network" is a neural network that determines whether or not there is a problem in the position of the front end, the center, or the rear end of the robot, and the result of the determination using this learned neural network, The position of the front, center, or rear end of the robot may be adjusted when there is a problem in the position of the front, center, or rear end of the robot.

変形例3:
また、上記第1の実施形態では、ロボット2が無人搬送車3の台座15上に取り付けられる(搭載される)場合の例を示したが、これに限られず、例えば、ロボット自体に車輪を取り付けて、無人搬送車が、ロボットの背面を押すことにより、ロボットを移動させてもよい。また、ロボットを無人搬送車の前部に取り付けてもよい。
Modification 3:
Further, in the above-described first embodiment, an example in which the robot 2 is mounted (mounted) on the pedestal 15 of the automatic guided vehicle 3 is shown, but the present invention is not limited to this, and for example, wheels are mounted on the robot itself. Then, the automatic guided vehicle may move the robot by pushing the back surface of the robot. Further, the robot may be attached to the front part of the automatic guided vehicle.

変形例4:
また、上記第1の実施形態では、無人搬送車3が、いわゆるレーザ誘導方式の無人搬送車である場合の例を示したが、無人搬送車の誘導方式は、これに限られず、例えば、磁気誘導方式であってもよいし、磁気誘導とレーザ誘導とを併用したマルチ誘導方式であってもよい。
Modification 4:
Further, in the above-described first embodiment, an example in which the automatic guided vehicle 3 is a so-called laser guided automatic guided vehicle is shown, but the guided system of the automatic guided vehicle is not limited to this, and, for example, a magnetic The induction method may be used, or the multi-induction method using both magnetic induction and laser induction may be used.

1 移動ロボット
2 ロボット(作業用ロボット)
3 無人搬送車
4 カメラ
7 集中制御操作盤(コンピュータ)
8 サーバ(コンピュータ)
9、86 ロボットコントローラ(ロボット制御部)
10、95 学習・ロボット位置調整システム(学習システム、及びロボット位置調整システム)
31 送受信回線(ロボット側送信部)
44 操作部(位置正誤情報入力部)
52 送受信回線(コンピュータ側送信部)
53 ハードディスク(ニューラルネットワーク記憶部)
55 アーム位置正誤判定NN(作業用ロボットの位置に問題があるか否かを判定するニューラルネットワーク、及び学習済のニューラルネットワーク)
61 機械学習部
62 位置正誤判定部
63 コマンド送信制御部
80、83、85 ロボット位置調整システム
81 学習済アーム位置正誤判定NN(学習済のニューラルネットワーク)
92 台車
A,B,C ライン
1 Mobile robot 2 Robot (working robot)
3 Automated guided vehicle 4 Camera 7 Centralized control operation panel (computer)
8 servers (computers)
9,86 Robot controller (robot controller)
10, 95 Learning and robot position adjustment system (learning system and robot position adjustment system)
31 Transmission/reception line (robot side transmitter)
44 Operation part (position correctness information input part)
52 Transmission/reception line (transmission unit on computer side)
53 Hard Disk (Neural Network Storage)
55 Arm Position Correctness Judgment NN (Neural network for judging whether or not there is a problem in position of work robot, and learned neural network)
61 machine learning unit 62 position correctness determination unit 63 command transmission control units 80, 83, 85 robot position adjustment system 81 learned arm position correctness determination NN (learned neural network)
92 trolley A, B, C line

Claims (14)

カメラを有する、工場のラインにおける作業用ロボット、及び前記作業用ロボットを移動させる無人搬送車を備えた移動ロボットと、
前記作業用ロボットの位置に問題があるか否かを示す位置正誤情報を入力するための位置正誤情報入力部と、
前記移動ロボットと通信を行うコンピュータとを備えた学習システムであって、
前記移動ロボットは、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、
前記コンピュータは、
前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するニューラルネットワークを記憶するニューラルネットワーク記憶部と、
前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行う機械学習部と
を備える学習システム。
A work robot in a factory line having a camera, and a mobile robot having an automatic guided vehicle for moving the work robot,
A position correctness information input unit for inputting position correctness information indicating whether or not there is a problem in the position of the work robot,
A learning system comprising a computer that communicates with the mobile robot,
The mobile robot includes a robot-side transmitter that transmits image data captured by the camera at each stop position of the automatic guided vehicle to the computer.
The computer is
A neural network storage unit that stores a neural network that determines whether or not there is a problem in the position of the work robot based on the image data transmitted from the robot-side transmission unit,
Learning including a machine learning unit that performs machine learning of the neural network based on the image data transmitted from the robot side transmission unit and the position correctness information input by the user from the position correctness information input unit system.
前記移動ロボットは、前記工場における複数のラインにおいて、共通して用いられ、
前記機械学習部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行うことを特徴とする請求項1に記載の学習システム。
The mobile robot is commonly used in a plurality of lines in the factory,
The machine learning unit, when the mobile robot is located on any line of the plurality of lines, the image data transmitted from the robot side transmission unit and the user from the position correctness information input unit. The learning system according to claim 1, wherein machine learning of the neural network is performed based on the position correctness information input by.
カメラを有する、工場のラインにおける作業用ロボットと、
前記作業用ロボットを搭載した台車と、
前記作業用ロボットの位置に問題があるか否かを示す位置正誤情報を入力するための位置正誤情報入力部と、
前記作業用ロボットと通信を行うコンピュータとを備えた学習システムであって、
前記作業用ロボットは、前記ライン上の各作業位置において、前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、
前記コンピュータは、
前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するニューラルネットワークを記憶するニューラルネットワーク記憶部と、
前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行う機械学習部と
を備える学習システム。
A robot for working in a factory line, which has a camera,
A dolly equipped with the work robot,
A position correctness information input unit for inputting position correctness information indicating whether or not there is a problem in the position of the work robot,
A learning system comprising a computer that communicates with the work robot,
The work robot includes a robot-side transmitter that transmits image data captured by the camera to the computer at each work position on the line.
The computer is
A neural network storage unit that stores a neural network that determines whether or not there is a problem in the position of the work robot based on the image data transmitted from the robot-side transmission unit,
Learning including a machine learning unit that performs machine learning of the neural network based on the image data transmitted from the robot side transmission unit and the position correctness information input by the user from the position correctness information input unit system.
前記作業用ロボットは、前記工場における複数のラインにおいて、共通して用いられ、
前記機械学習部は、前記作業用ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行うことを特徴とする請求項3に記載の学習システム。
The work robot is commonly used in a plurality of lines in the factory,
The machine learning unit, when the work robot is located on any line of the plurality of lines, the image data transmitted from the robot side transmission unit and the position correctness information input unit. The learning system according to claim 3, wherein machine learning of the neural network is performed based on the position correctness information input by the user.
カメラを有する、工場のラインにおける作業用ロボット、及び前記作業用ロボットを移動させる無人搬送車を備えた移動ロボットと、
前記作業用ロボットの制御を行うロボット制御部と、
前記移動ロボットと通信を行うコンピュータとを備えたロボット位置調整システムであって、
前記移動ロボットは、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、
前記ロボット制御部は、前記コンピュータから受信した指示コマンドに基づいて、前記作業用ロボットを動かし、
前記コンピュータは、
前記ロボット制御部に前記指示コマンドを送信するコンピュータ側送信部と、
学習済のニューラルネットワークを用いて、前記ロボット側送信部から送信された前記画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部と、
前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記コンピュータ側送信部を用いて、前記ロボット制御部に、前記作業用ロボットの位置を調整するための指示コマンドを送信するように制御するコマンド送信制御部と
を備えるロボット位置調整システム。
A work robot in a factory line having a camera, and a mobile robot having an automatic guided vehicle for moving the work robot,
A robot controller that controls the work robot;
A robot position adjusting system comprising a computer that communicates with the mobile robot,
The mobile robot includes a robot-side transmitter that transmits image data captured by the camera at each stop position of the automatic guided vehicle to the computer.
The robot controller moves the work robot based on an instruction command received from the computer,
The computer is
A computer-side transmitter that transmits the instruction command to the robot controller,
Using a learned neural network, based on the image data transmitted from the robot side transmission unit, a position correctness determination unit that determines whether there is a problem in the position of the work robot,
When there is a problem with the position of the work robot as a result of the determination by the position correctness determination unit, the computer-side transmission unit is used to instruct the robot control unit to adjust the position of the work robot. A robot position adjustment system, comprising: a command transmission control unit that controls to transmit a command.
前記移動ロボットは、前記工場における複数のラインにおいて、共通して用いられ、
前記位置正誤判定部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定することを特徴とする請求項5に記載のロボット位置調整システム。
The mobile robot is commonly used in a plurality of lines in the factory,
The position correctness determination unit, based on the image data transmitted from the robot side transmission unit, when the mobile robot is located on any line of the plurality of lines, based on the image data of the work robot, The robot position adjusting system according to claim 5, wherein it is determined whether or not there is a problem in position.
前記位置正誤判定部は、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットのアームの位置に問題があるか否かを判定し、
前記コマンド送信制御部が送信するように制御する指示コマンドは、前記作業用ロボットのアームの位置を調整するための指示コマンドであることを特徴とする請求項5又は請求項6に記載のロボット位置調整システム。
The position correctness determination unit, based on the image data transmitted from the robot side transmission unit, determines whether there is a problem in the position of the arm of the work robot,
The robot position according to claim 5 or 6, wherein the instruction command that the command transmission control unit controls to transmit is an instruction command for adjusting the position of the arm of the work robot. Adjustment system.
カメラを有する、工場のラインにおける作業用ロボット、及び前記作業用ロボットを移動させる無人搬送車を備えた移動ロボットと、
前記作業用ロボットの制御を行うロボット制御部とを備えたロボット位置調整システムであって、
前記ロボット制御部は、
学習済のニューラルネットワークを用いて、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部を備え、
前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記作業用ロボットの位置を調整するように制御する
ロボット位置調整システム。
A work robot having a camera in a factory line, and a mobile robot having an automatic guided vehicle for moving the work robot;
A robot position adjusting system comprising a robot control unit for controlling the work robot,
The robot controller is
Using a learned neural network, a position correctness determination unit that determines whether or not there is a problem in the position of the work robot based on image data taken by the camera at each stop position of the automatic guided vehicle. Prepare,
A robot position adjusting system that controls so as to adjust the position of the work robot when there is a problem in the position of the work robot as a result of the determination by the position correctness determination unit.
前記移動ロボットは、前記工場における複数のラインにおいて、共通して用いられ、
前記位置正誤判定部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定することを特徴とする請求項8に記載のロボット位置調整システム。
The mobile robot is commonly used in a plurality of lines in the factory,
The position correctness determination unit, when the mobile robot is located on any line of the plurality of lines, based on the image data taken by the camera at each stop position of the automatic guided vehicle, 9. The robot position adjusting system according to claim 8, wherein it is determined whether or not there is a problem in the position of the work robot.
カメラを有する、工場のラインにおける作業用ロボットと、
前記作業用ロボットを搭載した台車と、
前記作業用ロボットの制御を行うロボット制御部と、
前記作業用ロボットと通信を行うコンピュータとを備えたロボット位置調整システムであって、
前記作業用ロボットは、前記ライン上の各作業位置において前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、
前記ロボット制御部は、前記コンピュータから受信した指示コマンドに基づいて、前記作業用ロボットを動かし、
前記コンピュータは、
前記ロボット制御部に前記指示コマンドを送信するコンピュータ側送信部と、
学習済のニューラルネットワークを用いて、前記ロボット側送信部から送信された前記画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部と、
前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記コンピュータ側送信部を用いて、前記ロボット制御部に、前記作業用ロボットの位置を調整するための指示コマンドを送信するように制御するコマンド送信制御部と
を備えるロボット位置調整システム。
A robot for working in a factory line, which has a camera,
A dolly equipped with the work robot,
A robot controller that controls the work robot;
A robot position adjusting system comprising a computer that communicates with the work robot,
The work robot includes a robot-side transmitter that transmits image data captured by the camera at each work position on the line to the computer.
The robot controller moves the work robot based on an instruction command received from the computer,
The computer is
A computer-side transmitter that transmits the instruction command to the robot controller,
Using a learned neural network, based on the image data transmitted from the robot side transmission unit, a position correctness determination unit that determines whether there is a problem in the position of the work robot,
When there is a problem with the position of the work robot as a result of the determination by the position correctness determination unit, the computer-side transmission unit is used to instruct the robot control unit to adjust the position of the work robot. A robot position adjustment system, comprising: a command transmission control unit that controls to transmit a command.
前記作業用ロボットは、前記工場における複数のラインにおいて、共通して用いられ、
前記位置正誤判定部は、前記作業用ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定することを特徴とする請求項10に記載のロボット位置調整システム。
The work robot is commonly used in a plurality of lines in the factory,
The position correctness determination unit, based on the image data transmitted from the robot side transmission unit, when the work robot is located on any line of the plurality of lines, the work robot. 11. The robot position adjusting system according to claim 10, wherein it is determined whether or not there is a problem with the position.
前記位置正誤判定部は、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットのアームの位置に問題があるか否かを判定し、
前記コマンド送信制御部が送信するように制御する指示コマンドは、前記作業用ロボットのアームの位置を調整するための指示コマンドであることを特徴とする請求項10又は請求項11に記載のロボット位置調整システム。
The position correctness determination unit, based on the image data transmitted from the robot side transmission unit, determines whether there is a problem in the position of the arm of the work robot,
The robot position according to claim 10 or 11, wherein the instruction command that the command transmission control unit controls to transmit is an instruction command for adjusting the position of the arm of the work robot. Adjustment system.
カメラを有する、工場のラインにおける作業用ロボットと、
前記作業用ロボットを搭載した台車と、
前記作業用ロボットの制御を行うロボット制御部とを備えたロボット位置調整システムであって、
前記ロボット制御部は、
学習済のニューラルネットワークを用いて、前記作業用ロボットの各作業位置において前記カメラにより撮影された画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部を備え、
前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記作業用ロボットの位置を調整するように制御する
ロボット位置調整システム。
A robot for working in a factory line, which has a camera,
A dolly equipped with the work robot,
A robot position adjusting system comprising a robot control unit for controlling the work robot,
The robot controller is
Using a learned neural network, a position correctness determination unit that determines whether or not there is a problem in the position of the work robot based on image data taken by the camera at each work position of the work robot. Prepare,
A robot position adjusting system that controls so as to adjust the position of the work robot when there is a problem in the position of the work robot as a result of the determination by the position correctness determination unit.
前記作業用ロボットは、前記工場における複数のラインにおいて、共通して用いられ、
前記位置正誤判定部は、前記作業用ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記作業用ロボットの各作業位置において前記カメラにより撮影された画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定することを特徴とする請求項13に記載のロボット位置調整システム。
The work robot is commonly used in a plurality of lines in the factory,
The position correctness determination unit, when the work robot is located on any line of the plurality of lines, based on image data taken by the camera at each work position of the work robot, The robot position adjusting system according to claim 13, wherein it is determined whether or not there is a problem in the position of the work robot.
JP2018213733A 2018-11-14 2018-11-14 Learning system and robot positioning system Active JP7207704B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018213733A JP7207704B2 (en) 2018-11-14 2018-11-14 Learning system and robot positioning system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018213733A JP7207704B2 (en) 2018-11-14 2018-11-14 Learning system and robot positioning system

Publications (2)

Publication Number Publication Date
JP2020078852A true JP2020078852A (en) 2020-05-28
JP7207704B2 JP7207704B2 (en) 2023-01-18

Family

ID=70801303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018213733A Active JP7207704B2 (en) 2018-11-14 2018-11-14 Learning system and robot positioning system

Country Status (1)

Country Link
JP (1) JP7207704B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022097536A1 (en) * 2020-11-05 2022-05-12 Dmg森精機株式会社 Robot-mounted mobile device and positioning control method for system

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008018240A (en) * 2006-07-11 2008-01-31 Siemens Ag X-ray system with industrial robot
JP2009083095A (en) * 2007-09-29 2009-04-23 Ihi Corp Control method of robot device, and the robot device
JP2012232370A (en) * 2011-04-28 2012-11-29 Seiko Epson Corp Robot controller, simplified installation type robot, and method of controlling simplified installation type robot
US20150306761A1 (en) * 2014-04-29 2015-10-29 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US20160096272A1 (en) * 2014-10-02 2016-04-07 Brain Corporation Apparatus and methods for training of robots
JP2016129923A (en) * 2015-01-14 2016-07-21 サンナイス株式会社 Unmanned vehicle
US20170008168A1 (en) * 2015-07-10 2017-01-12 Board Of Trustees Of Michigan State University Navigational Control of Robotic Systems and Other Computer-Implemented Processes Using Developmental Network with Turing Machine Learning
JP2017090277A (en) * 2015-11-11 2017-05-25 国立大学法人九州大学 Gripping information acquisition device, robot teaching device and robot controller, and gripping information acquisition method, and robot teaching method and robot control method
JP2018043338A (en) * 2016-09-16 2018-03-22 ファナック株式会社 Machine learning device for learning operation program of robot, robot system, and machine learning method
JP2018051721A (en) * 2016-09-30 2018-04-05 キヤノン株式会社 Abnormality detection device, abnormality detection method, and program
JP2018118341A (en) * 2017-01-24 2018-08-02 三菱重工エンジン&ターボチャージャ株式会社 Working robot and production system
JP2018149669A (en) * 2017-03-14 2018-09-27 オムロン株式会社 Learning device and learning method
JP2018158439A (en) * 2018-03-15 2018-10-11 株式会社東芝 Object handling device, control device, and calibration method
JP2018161692A (en) * 2017-03-24 2018-10-18 キヤノン株式会社 Information processing system, information processing method and program

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008018240A (en) * 2006-07-11 2008-01-31 Siemens Ag X-ray system with industrial robot
JP2009083095A (en) * 2007-09-29 2009-04-23 Ihi Corp Control method of robot device, and the robot device
JP2012232370A (en) * 2011-04-28 2012-11-29 Seiko Epson Corp Robot controller, simplified installation type robot, and method of controlling simplified installation type robot
US20150306761A1 (en) * 2014-04-29 2015-10-29 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US20160096272A1 (en) * 2014-10-02 2016-04-07 Brain Corporation Apparatus and methods for training of robots
JP2016129923A (en) * 2015-01-14 2016-07-21 サンナイス株式会社 Unmanned vehicle
US20170008168A1 (en) * 2015-07-10 2017-01-12 Board Of Trustees Of Michigan State University Navigational Control of Robotic Systems and Other Computer-Implemented Processes Using Developmental Network with Turing Machine Learning
JP2017090277A (en) * 2015-11-11 2017-05-25 国立大学法人九州大学 Gripping information acquisition device, robot teaching device and robot controller, and gripping information acquisition method, and robot teaching method and robot control method
JP2018043338A (en) * 2016-09-16 2018-03-22 ファナック株式会社 Machine learning device for learning operation program of robot, robot system, and machine learning method
JP2018051721A (en) * 2016-09-30 2018-04-05 キヤノン株式会社 Abnormality detection device, abnormality detection method, and program
JP2018118341A (en) * 2017-01-24 2018-08-02 三菱重工エンジン&ターボチャージャ株式会社 Working robot and production system
JP2018149669A (en) * 2017-03-14 2018-09-27 オムロン株式会社 Learning device and learning method
JP2018161692A (en) * 2017-03-24 2018-10-18 キヤノン株式会社 Information processing system, information processing method and program
JP2018158439A (en) * 2018-03-15 2018-10-11 株式会社東芝 Object handling device, control device, and calibration method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022097536A1 (en) * 2020-11-05 2022-05-12 Dmg森精機株式会社 Robot-mounted mobile device and positioning control method for system
JP2022074725A (en) * 2020-11-05 2022-05-18 Dmg森精機株式会社 Robot-loaded mobile device, and system positioning control method
JP7133604B2 (en) 2020-11-05 2022-09-08 Dmg森精機株式会社 ROBOT MOVEMENT MOBILE DEVICE AND SYSTEM POSITIONING CONTROL METHOD

Also Published As

Publication number Publication date
JP7207704B2 (en) 2023-01-18

Similar Documents

Publication Publication Date Title
JP6458052B2 (en) Self-propelled joint robot
US7643890B1 (en) Remote management of portable construction devices
WO2016103304A1 (en) Production system
US11219916B2 (en) Surface treatment system for large object
US20200198154A1 (en) Method of Controlling Surface Treatment System
US20170255182A1 (en) Control Method, Working System, and Manufacturing Method
CN104831912B (en) A kind of building wall construction robot walking guide and method
JP2020078852A (en) Learning system and robot position adjustment system
KR20080066417A (en) Lug welding robot system and welding method
CN111775147B (en) Intelligent control system of mobile robot
US11077559B2 (en) Support robot and methods of use thereof
CN111992895A (en) Intelligent marking system and method
JP5988918B2 (en) Welding apparatus, welding system including a plurality of welding apparatuses, and program used for welding apparatus
JP2021030371A (en) Robot system and control method
US20210229273A1 (en) Control method and control device for mobile robot, and robot system
CN110936184B (en) Parts processing apparatus and method
JP2611225B2 (en) Automatic guided vehicle
JP2017088329A (en) Alignment device and alignment method for metal plates
JP2016224903A (en) Carrier vehicle
JP2021018485A (en) Controller of moving entity and moving entity
US20220267102A1 (en) Conveyance system, conveyance method, and conveyance program
KR101954815B1 (en) Rotor automation welding system and method.
JPH0420740B2 (en)
KR101975207B1 (en) Method for controlling machine tool having mutiple spindle
JP5150003B1 (en) Roll body handling system, roll body supply method, and roll body transport apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221223

R150 Certificate of patent or registration of utility model

Ref document number: 7207704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150