JP2020078852A - Learning system and robot position adjustment system - Google Patents
Learning system and robot position adjustment system Download PDFInfo
- Publication number
- JP2020078852A JP2020078852A JP2018213733A JP2018213733A JP2020078852A JP 2020078852 A JP2020078852 A JP 2020078852A JP 2018213733 A JP2018213733 A JP 2018213733A JP 2018213733 A JP2018213733 A JP 2018213733A JP 2020078852 A JP2020078852 A JP 2020078852A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- work
- image data
- work robot
- arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 75
- 238000010801 machine learning Methods 0.000 claims abstract description 40
- 238000013528 artificial neural network Methods 0.000 claims description 58
- 238000003860 storage Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 8
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 8
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000003754 machining Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000006698 induction Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Abstract
Description
本発明は、学習システム、及びロボット位置調整システムに係り、特に、ロボットの作業位置を調整する技術に関する。 The present invention relates to a learning system and a robot position adjusting system, and more particularly to a technique for adjusting a work position of a robot.
従来から、図14に示すように、複数の(生産)ラインを有する工場では、各ラインにおける部品又は製品の加工・組み立て等の作業を、別々の時間帯に行う場合には、作業者が、複数のライン間を移動して、これらのラインにおける作業を行うことが多い。 Conventionally, as shown in FIG. 14, in a factory having a plurality of (production) lines, when the work such as processing or assembling of parts or products in each line is performed in different time zones, the worker is Work is often performed on these lines by moving between them.
一方、近年は、工場における(生産)ラインにおいて、無人搬送車に作業用ロボットを載置した移動ロボットを、走行路に沿って走行させながら、ラインにおける各設備前に停止させて、自動で、加工、組み立て等の作業を行うようにしたロボットシステムが登場している(例えば、特許文献1参照)。 On the other hand, in recent years, in a (production) line in a factory, a mobile robot having a work robot mounted on an automated guided vehicle is automatically moved by stopping it in front of each facility in the line while traveling along a traveling path. A robot system that performs work such as processing and assembly has appeared (for example, see Patent Document 1).
しかしながら、上記特許文献1に示されるようなロボットシステムでは、無人搬送車の停止位置が、予め決められた所定の停止位置からずれたために、作業用ロボットの(作業)位置にずれが生じて、作業用ロボットの作業の停止や、作業用ロボットによる加工、組み立て等の作業の失敗といった、作業上のトラブルを引き起こすことがある。
However, in the robot system as disclosed in
特に、上記の移動ロボットを、工場における複数のラインに共通して用いた場合には、1つのラインのみに用いた場合と比べて、ライン上における無人搬送車の停止位置となる設備の数と種類が多いため、無人搬送車の停止位置が、予め決められた所定の停止位置からずれる可能性が高くなるので、上記の作業用ロボットによる作業上のトラブルが発生し易い。 In particular, when the above mobile robot is commonly used for a plurality of lines in a factory, compared with the case where it is used for only one line, the number of equipments at the stop position of the automated guided vehicle on the line and Since there are many types, there is a high possibility that the stop position of the automated guided vehicle will deviate from the predetermined stop position, and therefore the above-mentioned work robot is likely to have a trouble in work.
上記の問題は、作業用ロボットを搭載した台車を、作業者が走行路に沿って走行させながら、ライン上の各設備前(各作業位置)に停止させて、加工、組み立て等の作業を行うようにした場合も、同様である。 The above problem is caused by a worker carrying a trolley equipped with a work robot and stopping it in front of each facility (each work position) on the line to perform work such as machining and assembly. The same applies to the case.
本発明は、上記課題を解決するものであり、無人搬送車又は台車の停止位置が、予め決められた所定の停止位置からずれた場合でも、作業用ロボットによる作業上のトラブルを防ぐことが可能な学習システム、及びロボット位置調整システムを提供することを目的とする。 The present invention is to solve the above-mentioned problems, and even when the stop position of the automatic guided vehicle or the carriage is deviated from a predetermined stop position, it is possible to prevent work troubles caused by the work robot. A learning system and a robot position adjusting system are provided.
上記課題を解決するために、本発明の第1の態様による学習システムは、カメラを有する、工場のラインにおける作業用ロボット、及び前記作業用ロボットを移動させる無人搬送車を備えた移動ロボットと、前記作業用ロボットの位置に問題があるか否かを示す位置正誤情報を入力するための位置正誤情報入力部と、前記移動ロボットと通信を行うコンピュータとを備えた学習システムであって、前記移動ロボットは、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、前記コンピュータは、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するニューラルネットワークを記憶するニューラルネットワーク記憶部と、前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行う機械学習部とを備える。 In order to solve the above problems, the learning system according to the first aspect of the present invention has a camera, a work robot in a factory line, and a mobile robot including an automated guided vehicle for moving the work robot, A learning system comprising a position correctness information input unit for inputting position correctness information indicating whether or not there is a problem in the position of the work robot, and a computer that communicates with the mobile robot. The robot includes a robot-side transmission unit that transmits image data captured by the camera at each stop position of the automatic guided vehicle to the computer, and the computer includes the image data transmitted from the robot-side transmission unit. Based on the above, a neural network storage unit that stores a neural network that determines whether there is a problem in the position of the work robot, the image data transmitted from the robot side transmission unit, and the position correctness information input A machine learning unit that performs machine learning of the neural network based on the position correctness information input by the user from the unit.
この学習システムにおいて、前記移動ロボットは、前記工場における複数のラインにおいて、共通して用いられ、前記機械学習部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行うようにしてもよい。 In this learning system, the mobile robot is commonly used in a plurality of lines in the factory, and the machine learning unit is configured when the mobile robot is located in any one of the plurality of lines. Also, machine learning of the neural network may be performed based on the image data transmitted from the robot-side transmission unit and the position correctness information input by the user from the position correctness information input unit. ..
本発明の第2の態様による学習システムは、カメラを有する、工場のラインにおける作業用ロボットと、前記作業用ロボットを搭載した台車と、前記作業用ロボットの位置に問題があるか否かを示す位置正誤情報を入力するための位置正誤情報入力部と、前記作業用ロボットと通信を行うコンピュータとを備えた学習システムであって、前記作業用ロボットは、前記ライン上の各作業位置において、前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、前記コンピュータは、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するニューラルネットワークを記憶するニューラルネットワーク記憶部と、前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行う機械学習部とを備える。 A learning system according to a second aspect of the present invention indicates whether or not there is a problem in a work robot having a camera in a factory line, a dolly equipped with the work robot, and the position of the work robot. A learning system comprising a position correctness information input unit for inputting position correctness information and a computer that communicates with the work robot, wherein the work robot, at each work position on the line, The robot-side transmitting unit that transmits the image data captured by the camera to the computer is provided, and the computer has a problem in the position of the work robot based on the image data transmitted from the robot-side transmitting unit. In the neural network storage unit that stores a neural network that determines whether or not there is the image data transmitted from the robot side transmission unit, and the position correctness information input by the user from the position correctness information input unit. And a machine learning unit for performing machine learning of the neural network based on the above.
この学習システムにおいて、前記作業用ロボットは、前記工場における複数のラインにおいて、共通して用いられ、前記機械学習部は、前記作業用ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行うようにしてもよい。 In this learning system, the work robot is commonly used in a plurality of lines in the factory, and in the machine learning unit, the work robot is located in any one of the plurality of lines. Even at this time, machine learning of the neural network is performed based on the image data transmitted from the robot-side transmitter and the position correctness information input by the user from the position correctness information input unit. Good.
本発明の第3の態様によるロボット位置調整システムは、カメラを有する、工場のラインにおける作業用ロボット、及び前記作業用ロボットを移動させる無人搬送車を備えた移動ロボットと、前記作業用ロボットの制御を行うロボット制御部と、前記移動ロボットと通信を行うコンピュータとを備えたロボット位置調整システムであって、前記移動ロボットは、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、前記ロボット制御部は、前記コンピュータから受信した指示コマンドに基づいて、前記作業用ロボットを動かし、前記コンピュータは、前記ロボット制御部に前記指示コマンドを送信するコンピュータ側送信部と、学習済のニューラルネットワークを用いて、前記ロボット側送信部から送信された前記画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部と、前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記コンピュータ側送信部を用いて、前記ロボット制御部に、前記作業用ロボットの位置を調整するための指示コマンドを送信するように制御するコマンド送信制御部とを備える。 A robot position adjusting system according to a third aspect of the present invention includes a work robot having a camera in a factory line, a mobile robot including an automated guided vehicle for moving the work robot, and control of the work robot. A robot position adjusting system comprising: a robot control unit that performs the operation of the mobile robot; and a computer that communicates with the mobile robot, wherein the mobile robot displays image data captured by the camera at each stop position of the automatic guided vehicle. A robot-side transmitter for transmitting to the computer, the robot controller moves the work robot based on an instruction command received from the computer, and the computer sends the instruction command to the robot controller. Position correct/incorrect to determine whether or not there is a problem in the position of the work robot based on the image data transmitted from the robot side transmission unit by using a computer side transmission unit that transmits and a learned neural network As a result of the determination by the determination unit and the position correctness determination unit, when there is a problem in the position of the work robot, the position of the work robot is adjusted to the robot control unit by using the computer side transmission unit. And a command transmission control unit that controls to transmit an instruction command for performing the command.
このロボット位置調整システムにおいて、前記移動ロボットは、前記工場における複数のラインにおいて、共通して用いられ、前記位置正誤判定部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するようにしてもよい。 In this robot position adjusting system, the mobile robot is commonly used in a plurality of lines in the factory, and the position correct/wrong determination unit determines the position of the mobile robot in any one of the plurality of lines. Also at this time, whether or not there is a problem in the position of the work robot may be determined based on the image data transmitted from the robot side transmission unit.
このロボット位置調整システムにおいて、前記位置正誤判定部は、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットのアームの位置に問題があるか否かを判定し、前記コマンド送信制御部が送信するように制御する指示コマンドは、前記作業用ロボットのアームの位置を調整するための指示コマンドであるようにしてもよい。 In this robot position adjustment system, the position correctness determination unit determines whether or not there is a problem in the position of the arm of the work robot based on the image data transmitted from the robot side transmission unit, The command command that the command transmission control unit controls to transmit may be an command command for adjusting the position of the arm of the work robot.
本発明の第4の態様によるロボット位置調整システムは、カメラを有する、工場のラインにおける作業用ロボット、及び前記作業用ロボットを移動させる無人搬送車を備えた移動ロボットと、前記作業用ロボットの制御を行うロボット制御部とを備えたロボット位置調整システムであって、前記ロボット制御部は、学習済のニューラルネットワークを用いて、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部を備え、前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記作業用ロボットの位置を調整するように制御する。 A robot position adjusting system according to a fourth aspect of the present invention includes a work robot having a camera in a factory line, a mobile robot including an automated guided vehicle for moving the work robot, and control of the work robot. A robot position adjusting system including a robot control unit for performing, wherein the robot control unit uses a learned neural network to convert image data captured by the camera at each stop position of the automatic guided vehicle. On the basis of the position correctness determination unit that determines whether or not there is a problem in the position of the work robot based on the determination result by the position correctness determination unit, when there is a problem in the position of the work robot, The robot is controlled to adjust the position.
このロボット位置調整システムにおいて、前記移動ロボットは、前記工場における複数のラインにおいて、共通して用いられ、前記位置正誤判定部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するようにしてもよい。 In this robot position adjusting system, the mobile robot is commonly used in a plurality of lines in the factory, and the position correct/wrong determination unit determines the position of the mobile robot in any one of the plurality of lines. Also at this time, whether or not there is a problem in the position of the work robot may be determined based on the image data taken by the camera at each stop position of the automatic guided vehicle.
本発明の第5の態様によるロボット位置調整システムは、カメラを有する、工場のラインにおける作業用ロボットと、前記作業用ロボットを搭載した台車と、前記作業用ロボットの制御を行うロボット制御部と、前記作業用ロボットと通信を行うコンピュータとを備えたロボット位置調整システムであって、前記作業用ロボットは、前記ライン上の各作業位置において前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、前記ロボット制御部は、前記コンピュータから受信した指示コマンドに基づいて、前記作業用ロボットを動かし、前記コンピュータは、前記ロボット制御部に前記指示コマンドを送信するコンピュータ側送信部と、学習済のニューラルネットワークを用いて、前記ロボット側送信部から送信された前記画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部と、前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記コンピュータ側送信部を用いて、前記ロボット制御部に、前記作業用ロボットの位置を調整するための指示コマンドを送信するように制御するコマンド送信制御部とを備える。 A robot position adjusting system according to a fifth aspect of the present invention includes a work robot having a camera in a factory line, a dolly on which the work robot is mounted, and a robot controller that controls the work robot. A robot position adjusting system including a computer that communicates with the work robot, wherein the work robot transmits image data captured by the camera at each work position on the line to the computer. A robot side transmitter, the robot controller moves the work robot based on an instruction command received from the computer, and the computer transmits the instruction command to the robot controller. And a position correctness determination unit that determines whether there is a problem in the position of the work robot based on the image data transmitted from the robot side transmission unit using a learned neural network, and the position. As a result of the determination by the correctness determination unit, when there is a problem in the position of the work robot, an instruction command for adjusting the position of the work robot is sent to the robot control unit using the computer side transmission unit. And a command transmission control unit for controlling transmission.
このロボット位置調整システムにおいて、前記作業用ロボットは、前記工場における複数のラインにおいて、共通して用いられ、前記位置正誤判定部は、前記作業用ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するようにしてもよい。 In this robot position adjusting system, the work robot is commonly used in a plurality of lines in the factory, and the position correct/wrong determination unit is configured such that the work robot uses any one of the plurality of lines. Even when the robot is located at the position, whether or not there is a problem in the position of the work robot may be determined based on the image data transmitted from the robot side transmission unit.
このロボット位置調整システムにおいて、前記位置正誤判定部は、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットのアームの位置に問題があるか否かを判定し、前記コマンド送信制御部が送信するように制御する指示コマンドは、前記作業用ロボットのアームの位置を調整するための指示コマンドであるようにしてもよい。 In this robot position adjustment system, the position correctness determination unit determines whether or not there is a problem in the position of the arm of the work robot based on the image data transmitted from the robot side transmission unit, The command command that the command transmission control unit controls to transmit may be an command command for adjusting the position of the arm of the work robot.
本発明の第6の態様によるロボット位置調整システムは、カメラを有する、工場のラインにおける作業用ロボットと、前記作業用ロボットを搭載した台車と、前記作業用ロボットの制御を行うロボット制御部とを備えたロボット位置調整システムであって、前記ロボット制御部は、学習済のニューラルネットワークを用いて、前記作業用ロボットの各作業位置において前記カメラにより撮影された画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部を備え、前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記作業用ロボットの位置を調整するように制御する。 A robot position adjusting system according to a sixth aspect of the present invention includes a work robot in a factory line having a camera, a trolley in which the work robot is mounted, and a robot control unit which controls the work robot. In the robot position adjusting system, the robot control unit uses a learned neural network, based on image data taken by the camera at each work position of the work robot, based on the image data of the work robot. A position correctness determination unit for determining whether or not there is a problem in position is provided, and when there is a problem in the position of the work robot as a result of the determination by the position correctness determination unit, the position of the work robot is adjusted. To control.
このロボット位置調整システムにおいて、前記移動ロボットは、前記工場における複数のラインにおいて、共通して用いられ、前記位置正誤判定部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記作業用ロボットの各作業位置において前記カメラにより撮影された画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定するようにしてもよい。 In this robot position adjusting system, the mobile robot is commonly used in a plurality of lines in the factory, and the position correct/wrong determination unit determines the position of the mobile robot in any one of the plurality of lines. Also in this case, whether or not there is a problem in the position of the work robot may be determined based on the image data taken by the camera at each work position of the work robot.
本発明の第1の態様による学習システムによれば、ロボット側送信部から送信された画像データ(無人搬送車の各停止位置においてカメラにより撮影された画像データ)と、ユーザにより入力された、作業用ロボットの位置に問題があるか否かを示す位置正誤情報とに基づいて、ニューラルネットワークの機械学習を行うことができる。そして、この機械学習後の学習済ニューラルネットワークは、ロボット側送信部から送信された画像データに基づいて、作業用ロボットの位置に問題があるか否かを判定することができる。これにより、無人搬送車の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車の停止位置のずれに起因する作業用ロボットの位置ずれが、問題のあるレベルか否か(作業用ロボットの位置に問題があるか否か)を判定することができるので、この判定結果に基づいて、作業用ロボットによる作業上のトラブルを未然に防ぐことができる。 According to the learning system of the first aspect of the present invention, the image data transmitted from the robot side transmission unit (image data photographed by the camera at each stop position of the automatic guided vehicle) and the work input by the user Machine learning of a neural network can be performed based on position correctness information indicating whether or not there is a problem in the position of the robot for use. Then, the learned neural network after the machine learning can determine whether or not there is a problem in the position of the work robot based on the image data transmitted from the robot side transmission unit. As a result, even if the stop position of the automatic guided vehicle deviates from the predetermined stop position determined in advance, the positional deviation of the work robot due to the deviation of the stop position of the automatic guided vehicle is at a problem level. Since it can be determined whether or not there is a problem in the position of the work robot, it is possible to prevent work troubles caused by the work robot based on the result of this determination.
本発明の第2の態様による学習システムによれば、ロボット側送信部から送信された画像データ(作業用ロボットのライン上における各作業位置において、カメラにより撮影された画像データ)と、ユーザにより入力された、作業用ロボットの位置に問題があるか否かを示す位置正誤情報とに基づいて、ニューラルネットワークの機械学習を行うことができる。そして、この機械学習後の学習済ニューラルネットワークは、ロボット側送信部から送信された画像データに基づいて、作業用ロボットの位置に問題があるか否かを判定することができる。これにより、台車の停止位置が、予め決められた所定の停止位置からずれた場合でも、この台車の停止位置のずれに起因する作業用ロボットの位置ずれが、問題のあるレベルか否か(作業用ロボットの位置に問題があるか否か)を判定することができるので、この判定結果に基づいて、作業用ロボットによる作業上のトラブルを未然に防ぐことができる。 According to the learning system of the second aspect of the present invention, the image data transmitted from the robot side transmitter (the image data photographed by the camera at each work position on the line of the work robot) and the user input Machine learning of the neural network can be performed based on the position correctness information indicating whether or not there is a problem in the position of the work robot. Then, the learned neural network after the machine learning can determine whether or not there is a problem in the position of the work robot based on the image data transmitted from the robot side transmission unit. As a result, even if the stop position of the trolley deviates from a predetermined predetermined stop position, whether or not the position deviation of the work robot due to the deviation of the stop position of the dolly is at a problematic level (work Since it is possible to determine whether or not there is a problem in the position of the work robot, it is possible to prevent work troubles caused by the work robot based on the result of the determination.
本発明の第3の態様によるロボット位置調整システムによれば、コンピュータが、学習済のニューラルネットワークを用いて、ロボット側送信部から送信された画像データに基づき、作業用ロボットの位置に問題があるか否かを判定して、この判定の結果、作業用ロボットの位置に問題があるときに、ロボット制御部に、作業用ロボットの位置を調整するための指示コマンドを送信するように制御する。そして、ロボット制御部が、コンピュータから受信した指示コマンドに基づいて、作業用ロボットを動かして、作業用ロボットの位置を調整する。これにより、無人搬送車の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車の停止位置のずれに起因する作業用ロボットの位置ずれが、問題のあるレベルか否か(作業用ロボットの位置に問題があるか否か)を判定して、この判定の結果、作業用ロボットの位置に問題があるときに、作業用ロボットの位置を調整することができる。従って、作業用ロボットによる作業上のトラブルを防ぐことができる。 According to the robot position adjusting system of the third aspect of the present invention, the computer has a problem in the position of the work robot based on the image data transmitted from the robot side transmitting unit using the learned neural network. It is determined whether or not there is a problem with the position of the work robot as a result of this determination, and control is performed to send an instruction command for adjusting the position of the work robot to the robot control unit. Then, the robot controller moves the work robot based on the instruction command received from the computer to adjust the position of the work robot. As a result, even if the stop position of the automatic guided vehicle deviates from the predetermined stop position determined in advance, the positional deviation of the work robot due to the deviation of the stop position of the automatic guided vehicle is at a problem level. It is possible to determine whether or not there is a problem with the position of the work robot, and as a result of this determination, when there is a problem with the position of the work robot, the position of the work robot can be adjusted. Therefore, it is possible to prevent a work trouble caused by the work robot.
本発明の第4の態様によるロボット位置調整システムによれば、ロボット制御部が、学習済のニューラルネットワークを用いて、無人搬送車の各停止位置においてカメラにより撮影された画像データに基づき、作業用ロボットの位置に問題があるか否かを判定して、この判定の結果、作業用ロボットの位置に問題があるときに、作業用ロボットの位置を調整するように制御する。これにより、無人搬送車の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車の停止位置のずれに起因する作業用ロボットの位置ずれが、問題のあるレベルか否か(作業用ロボットの位置に問題があるか否か)を判定して、この判定の結果、作業用ロボットの位置に問題があるときに、作業用ロボットの位置を調整することができる。従って、作業用ロボットによる作業上のトラブルを防ぐことができる。 According to the robot position adjusting system of the fourth aspect of the present invention, the robot control unit uses the learned neural network to perform work based on the image data taken by the camera at each stop position of the automatic guided vehicle. It is determined whether or not there is a problem with the position of the robot, and as a result of this determination, when there is a problem with the position of the work robot, control is performed to adjust the position of the work robot. As a result, even if the stop position of the automatic guided vehicle deviates from the predetermined stop position determined in advance, the positional deviation of the work robot due to the deviation of the stop position of the automatic guided vehicle is at a problem level. It is possible to determine whether or not there is a problem with the position of the work robot, and as a result of this determination, when there is a problem with the position of the work robot, the position of the work robot can be adjusted. Therefore, it is possible to prevent a work trouble caused by the work robot.
本発明の第5の態様によるロボット位置調整システムによれば、コンピュータが、学習済のニューラルネットワークを用いて、ロボット側送信部から送信された画像データに基づき、作業用ロボットの位置に問題があるか否かを判定して、この判定の結果、作業用ロボットの位置に問題があるときに、ロボット制御部に、作業用ロボットの位置を調整するための指示コマンドを送信するように制御する。そして、ロボット制御部が、コンピュータから受信した指示コマンドに基づいて、作業用ロボットを動かして、作業用ロボットの位置を調整する。これにより、台車の停止位置が、予め決められた所定の停止位置からずれた場合でも、この台車の停止位置のずれに起因する作業用ロボットの位置ずれが、問題のあるレベルか否か(作業用ロボットの位置に問題があるか否か)を判定して、この判定の結果、作業用ロボットの位置に問題があるときに、作業用ロボットの位置を調整することができる。従って、作業用ロボットによる作業上のトラブルを防ぐことができる。 According to the robot position adjusting system of the fifth aspect of the present invention, the computer has a problem in the position of the work robot based on the image data transmitted from the robot side transmitting unit using the learned neural network. It is determined whether or not there is a problem with the position of the work robot as a result of this determination, and control is performed to send an instruction command for adjusting the position of the work robot to the robot control unit. Then, the robot controller moves the work robot based on the instruction command received from the computer to adjust the position of the work robot. As a result, even if the stop position of the trolley deviates from a predetermined predetermined stop position, whether or not the position deviation of the work robot due to the deviation of the stop position of the dolly is at a problematic level (work It is possible to adjust the position of the work robot when there is a problem in the position of the work robot as a result of this determination. Therefore, it is possible to prevent a work trouble caused by the work robot.
本発明の第6の態様によるロボット位置調整システムによれば、ロボット制御部が、学習済のニューラルネットワークを用いて、作業用ロボットの各作業位置においてカメラにより撮影された画像データに基づき、作業用ロボットの位置に問題があるか否かを判定して、この判定の結果、作業用ロボットの位置に問題があるときに、作業用ロボットの位置を調整するように制御する。これにより、台車の停止位置が、予め決められた所定の停止位置からずれた場合でも、この台車の停止位置のずれに起因する作業用ロボットの位置ずれが、問題のあるレベルか否か(作業用ロボットの位置に問題があるか否か)を判定して、この判定の結果、作業用ロボットの位置に問題があるときに、作業用ロボットの位置を調整することができる。従って、作業用ロボットによる作業上のトラブルを防ぐことができる。 According to the robot position adjusting system of the sixth aspect of the present invention, the robot control unit uses the learned neural network to perform the work operation based on the image data taken by the camera at each work position of the work robot. It is determined whether or not there is a problem with the position of the robot, and as a result of this determination, when there is a problem with the position of the work robot, control is performed to adjust the position of the work robot. As a result, even if the stop position of the trolley deviates from a predetermined predetermined stop position, whether or not the position deviation of the work robot due to the deviation of the stop position of the dolly is at a problematic level (work It is possible to adjust the position of the work robot when there is a problem in the position of the work robot as a result of this determination. Therefore, it is possible to prevent a work trouble caused by the work robot.
以下、本発明を具体化した実施形態による学習システム、及びロボット位置調整システムについて、図面を参照して説明する。 Hereinafter, a learning system and a robot position adjusting system according to embodiments embodying the present invention will be described with reference to the drawings.
まず、本発明の第1の実施形態による学習システム、及びロボット位置調整システムにおける移動ロボットについて、図1を参照して説明する。移動ロボット1は、工場のラインにおける作業用ロボットであるロボット2と、このロボット2を移動させる無人搬送車3を備えている。図1に示すように、ロボット2は、無人搬送車3の台座15上に取り付けられており、無人搬送車3の移動と停止に伴い、ライン上の各作業位置(ライン上の各設備の位置)に順次移動して、停止する。上記のロボット2は、カメラ4と、アーム5と、ハンド6とを備えている。カメラ4は、イメージセンサを内蔵しており、ロボット2の周辺の画像を、時々刻々と撮影して、ロボットコントローラ9(図3参照)を介して、図3に示す集中制御操作盤7及びサーバ8に送信する。アーム5は、例えば、垂直多関節型や、水平多関節型のロボットアームである。
First, a learning system according to a first embodiment of the present invention and a mobile robot in a robot position adjusting system will be described with reference to FIG. The
移動ロボット1におけるカメラ4は、図1に実線で示すように、ハンド6の横に取り付けてもよいし、図1に破線で示すように、ロボット2の基台部2aの上に取り付けてもよいし、無人搬送車3の台座15に設置したポール16に取り付けてもよい。図1において、ロボット2の基台部2aの上に取り付けた場合のカメラに、4´の符号を付し、ポール16に取り付けた場合のカメラに、4″の符号を付している。
The
上記の無人搬送車3は、回転式レーザレーダ11、前輪13a、後輪13b、前輪用と後輪用のエンコーダ付きモータユニット12a,12b、取っ手14、及び台座15を備えている。上記の前輪13aの数は、1つ又は2つであり、後輪13bの数は、2つである。上記の取っ手14は、移動ロボット1を、あるラインから別のラインに移動する(図6参照)際に、ユーザに把持される。上記の台座15は、ロボット2を載置するための台である。
The automated guided
次に、上記図1に加えて、図2(a)(b)を参照して、無人搬送車3の電気的ブロック構成について、説明する。上記の回転式レーザレーダ11は、図2(b)に示すように、レーザ光を発するレーザ投光器11aと、レーザ投光器11aから発せられたレーザ光に対する、リフレクタR(図2(a)参照)からの反射光を受光するフォトダイオードから構成されたレーザ受光器11bと、上記のレーザ投光器11a及びレーザ受光器11bを含むレーダ本体11cを回転可能に支持する回転台11dと、回転台11dを回転させるためのエンコーダ付きモータユニット11eとを備えている。
Next, with reference to FIGS. 2A and 2B in addition to FIG. 1, the electrical block configuration of the automatic guided
また、無人搬送車3は、装置全体の制御・演算を行うAGVコントローラ20を備えている。このAGVコントローラ20は、例えば、上記のエンコーダ付きモータユニット11eによる回転台11dの回転の制御や、レーザ投光器11a及びレーザ受光器11bの制御や、後述する駆動回路21a、21b及び操舵回路22a、22bの制御や、後述する各リフレクタRまでの距離と方向の検出(演算)等を行う。
Further, the automatic guided
無人搬送車3(のAGVコントローラ20)は、上記の回転式レーザレーダ11を用いて、回転式レーザレーダ11から、工場のラインにおける走行路(図6の76a〜76c等参照)に配置された各リフレクタRまでの距離と方向の検出を行う。AGVコントローラ20は、レーザ投光器11aによるレーザ光の出射から、レーザ受光器11bによる各リフレクタRからの反射光の受光までの時間に基づいて、上記の各リフレクタRまでの距離を求める。また、AGVコントローラ20は、上記のエンコーダ付きモータユニット11eに内蔵されたエンコーダからの出力値に基づいて、上記の回転台11dの回転角を求めることにより、レーザ受光器11bによる各リフレクタRからの反射光の受光時における、各リフレクタRの方向の検出を行う。
The automated guided vehicle 3 (the
各リフレクタRを、工場のラインにおける(無人搬送車3の)走行路に沿って配置した上で、AGVコントローラ20が、上記の各リフレクタRまでの距離と方向の検出を行うことにより、無人搬送車3が、走行路上の適切な位置を走行するようにすることができる。
The
また、図1及び図2(a)に示すエンコーダ付きモータユニット12a,12bは、それぞれ、前輪13a、後輪13bの駆動・操舵を行う。また、図2(a)に示す駆動回路21aと操舵回路22aは、前輪13aの駆動用と操舵用の回路であり、駆動回路21bと操舵回路22bは、後輪13bの駆動用と操舵用の回路である。
The motor units with
次に、図3を参照して、第1の実施形態による学習・ロボット位置調整システム10の電気的ブロック構成について、説明する。この学習・ロボット位置調整システム10は、請求項1及び2における学習システムと、請求項5乃至7におけるロボット位置調整システムの両方の構成要件を含んだものである。すなわち、この学習・ロボット位置調整システム10は、請求項1及び2における学習システムと、請求項5乃至7におけるロボット位置調整システムの両方に相当する。図3に示すように、学習・ロボット位置調整システム10は、上記の移動ロボット1と、移動ロボット1におけるロボット2の制御用のコントローラであるロボットコントローラ9(ロボット制御部)と、集中制御操作盤7と、ネットワーク(インターネット17)を介して集中制御操作盤7と通信を行う、クラウド上のサーバ8(請求項における「コンピュータ」)と、補助操作盤18とを備えている。
Next, an electrical block configuration of the learning/robot position adjusting system 10 according to the first embodiment will be described with reference to FIG. The learning/robot position adjusting system 10 includes the constituent elements of both the learning system according to
移動ロボット1のロボット2は、上記のカメラ4と、アーム5と、ハンド6とに加えて、送受信回線31(ロボット側送信部)を備えている。上記の送受信回線31は、ロボットコントローラ9との有線又は無線による通信用の回路である。この送受信回線31は、無人搬送車3の各停止位置においてカメラ4により撮影された画像データを、ロボットコントローラ9と集中制御操作盤7とを介して、サーバ8に送信する。
The
上記のロボットコントローラ9は、マイクロコントローラを用いて構成され、ロボット作業用のプログラムを用いて、ロボット2のアーム5やハンド6の動作を制御する。また、ロボットコントローラ9は、サーバ8から、インターネット17と、集中制御操作盤7とを介して受信した指示コマンドに基づいて、ロボット2を動かす。ロボットコントローラ9は、CPU33と、送受信回線34と、メモリ35を備えている。CPU33は、ロボットコントローラ9全体の制御・演算を行う。送受信回線34は、ロボット2(の送受信回線31)、及び集中制御操作盤7(の送受信回線42)との有線又は無線による通信用の回路である。メモリ35は、上記のロボット作業用のプログラム等のデータを記憶している。
The
上記の集中制御操作盤7は、ラインにおける各種装置の制御や、各種装置への指示入力に用いられる。この集中制御操作盤7は、CPU41と、送受信回線42と、メモリ43と、操作部44(請求項における位置正誤情報入力部)と、モニタ45とを備えている。集中制御操作盤7の操作部44は、ロボット2の動作設定を行うためのロボットコントローラ9への入力指示操作や、後述するサーバ8側のアーム位置正誤判定ニューラルネットワーク(以下、「アーム位置正誤判定NN」という)55の機械学習用の訓練(学習)データセットを作成するための位置正誤情報の入力に用いられる。この位置正誤情報は、ライン上の各設備でロボット2が作業をしている時における、ロボット2の位置(より正確に言うと、ロボット2のアーム5の位置)に問題があるか否かを示す情報(いわゆるアノテーションデータ)である。
The centralized
集中制御操作盤7における作業者は、無人搬送車3の各停止位置(ロボット2の各作業位置)においてロボット2のカメラ4から送られる、作業中のロボット2の周辺の画像をモニタ45で見て、ロボット2の位置(より正確に言うと、ロボット2のアーム5の位置)に問題がないと判断した場合は、操作部44を用いて、ロボット2の位置に問題がない旨を示す位置正誤情報を入力し、ロボット2の位置に問題があると判断した場合は、操作部44を用いて、ロボット2の位置に問題がある旨を示す位置正誤情報を入力する。上記の「ロボット2の位置に問題がある」場合とは、ロボット2の位置(より正確に言うと、ロボット2のアーム5の位置)にずれが生じたために、ロボット2の作業の停止や、ロボット2による加工、組み立て等の作業の失敗といった、作業上のトラブルが実際に発生した場合、及びこれらのトラブルが発生してもおかしくなかった場合を意味する。
The operator on the centralized
上記のサーバ8は、CPU51と、送受信回線52(請求項における「コンピュータ側送信部」)と、ハードディスク53(請求項における「ニューラルネットワーク記憶部」)と、操作部58と、メモリ59を備えている。CPU51は、サーバ8全体の制御・演算を行う。ハードディスク53は、訓練データセット54と、アーム位置正誤判定NN55と、学習プログラム56と、アーム位置調整プログラム57とを格納している。
The
上記のアーム位置正誤判定NN55は、ロボット2(の送受信回線31)から送信された、無人搬送車3の各停止位置(ロボット2の各作業位置)においてロボット2のカメラ4により撮影された画像データに基づいて、(現在の)ロボット2のアーム5の位置に問題があるか否かを判定するニューラルネットワークである。このアーム位置正誤判定NN55は、物体認識(画像のクラス分類)を行うタイプのニューラルネットワークであり、例えば、畳み込みニューラルネットワーク(Convolutional Neural Network)をベースにしたものであることが望ましい。
The above-mentioned arm position correctness determination NN55 is image data taken by the
上記の訓練データセット54は、無人搬送車3の各停止位置においてロボット2のカメラ4から送られる、作業中のロボット2の周辺の画像のうち、上記の位置正誤情報が入力された時の画像のデータ(画像データ)と、この画像データに対応する位置正誤情報とから構成される教師データのデータセットである。上記の学習プログラム56は、訓練データセット54に格納された上記の画像データと位置正誤情報とに基づいて、アーム位置正誤判定NN55の機械学習を行うためのプログラムである。上記のアーム位置調整プログラム57は、上記のアーム位置正誤判定NN55を用いた判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整するためのプログラムである。
The training data set 54 is an image when the above position correctness information is input from the images around the
図4は、サーバ8側のCPU51の機能ブロックを示す。サーバ8側のCPU51は、機械学習部61と、位置正誤判定部62と、コマンド送信制御部63とを有している。機械学習部61は、訓練データセット54に格納された上記の画像データと位置正誤情報(ロボット2の送受信回線31から送信された画像データと、集中制御操作盤7の操作部44からユーザにより入力された位置正誤情報)とに基づいて、アーム位置正誤判定NN55の機械学習を行う。位置正誤判定部62は、学習済のアーム位置正誤判定NN55を用いて、ロボット2の送受信回線31から送信された、(無人搬送車3の各停止位置においてカメラ4により撮影された)画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定する。コマンド送信制御部63は、位置正誤判定部62による判定の結果、ロボット2のアーム5の位置に問題があるときに、送受信回線52を用いて、ロボットコントローラ9に、ロボット2のアーム5の位置を調整するための指示コマンドを送信するように制御する。
FIG. 4 shows functional blocks of the
次に、上記の図3及び図4に加えて、図5を参照して、上記のロボット2のアーム5の位置の調整について、さらに説明する。図5は、工場のラインに配置された設備がマシニングセンタ71である場合における、ロボット2の作業の様子を示している。図5において、ロボット2は、ハンド6にワーク72を把持しており、このワーク72は、作業時におけるロボット2のアーム5の位置が正しい場合には、マシニングセンタ71の冶具73に応じた固定位置(図中に破線で示す位置)にセットされて、刃具74により切削される。ところが、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれて、作業時におけるロボット2のアーム5の位置に問題がある場合には、ロボット2の作業の停止や、ロボット2による切削等の作業の失敗といった、作業上のトラブルを引き起こす可能性がある。
Next, referring to FIG. 5 in addition to FIGS. 3 and 4 described above, the adjustment of the position of the
本実施形態の学習・ロボット位置調整システム10では、アーム位置正誤判定NN55の学習時には、上記のように、ロボット2のアーム5の位置に問題がある場合(作業上のトラブルが実際に発生した場合、及びこれらのトラブルが発生してもおかしくなかった場合)に、集中制御操作盤7における作業者が、操作部44を用いて、ロボット2のアーム5の位置に問題がある旨を示す位置正誤情報を入力する。逆に、ロボット2のアーム5の位置に問題がない場合には、作業者が、操作部44を用いて、ロボット2のアーム5の位置に問題がない旨を示す位置正誤情報を入力する。そして、サーバ8(の機械学習部61)が、上記のロボット2の作業時に、ロボット2側のカメラ4から送信された画像データと、上記の集中制御操作盤7の操作部44から作業者(ユーザ)により入力された位置正誤情報とに基づいて、アーム位置正誤判定NN55の機械学習を行う。なお、この時点では、ロボット2のアーム5の位置に問題がある場合でも、上記のサーバ8側のアーム位置正誤判定NN55とアーム位置調整プログラム57を用いた、ロボット2のアーム5の位置の(自動)調整は、行わない。
In the learning/robot position adjusting system 10 of the present embodiment, when the arm position correctness determination NN55 is learned, as described above, when there is a problem in the position of the
そして、上記のサーバ8によるアーム位置正誤判定NN55の機械学習がある程度進んで、アーム位置正誤判定NN55が、学習済のニューラルネットワークであるとみなせる状態になると、例えば、サーバ8側のシステム管理者が、サーバ8側のアーム位置正誤判定NN55とアーム位置調整プログラム57を用いた、ロボット2のアーム5の位置の(自動)調整処理を開始するように、操作部58により指示する。
When the machine learning of the arm position correctness determination NN55 by the
上述したロボット2のアーム5の位置の(自動)調整処理が開始されると、サーバ8のCPU51(の位置正誤判定部62)は、学習済のアーム位置正誤判定NN55を用いて、ロボット2の送受信回線31から送信された画像データ(ロボット2の作業時にカメラ4から送信されたロボット2の周辺の画像のデータ)に基づき、ロボット2のアーム5の位置に問題があるか否かを判定する。そして、サーバ8のCPU51(のコマンド送信制御部63)は、学習済のアーム位置正誤判定NN55を用いた判定の結果、ロボット2のアーム5の位置に問題があるときに、送受信回線52を用いて、ロボットコントローラ9に、ロボット2のアーム5の位置を調整するための指示コマンドを送信するように制御する。そして、ロボットコントローラ9が、サーバ8から受信した指示コマンドに基づいて、ロボット2を動かして、ロボット2のアーム5の位置を調整する。これにより、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車3の停止位置のずれに起因するロボット2のアーム5の位置ずれが、問題のあるレベルか否か(ロボット2のアーム5の位置に問題があるか否か)を判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整することができる。従って、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれた場合でも、ロボット2による作業上のトラブルを防ぐことができる。
When the (automatic) adjustment processing of the position of the
上記ロボット2のアーム5の位置調整処理時には、学習済のアーム位置正誤判定NN55が、ロボット2の送受信回線31から送信された画像データに基づき、ロボット2のアーム5の位置に問題がないと判定するまで、ロボット2のアーム5の位置を繰り返し調整する。
During the position adjustment process of the
本実施形態では、図6に示すように、移動ロボット1は、工場における複数のラインにおいて、共通して用いられる。具体的には、作業者が、図5に示す移動ロボット1の取っ手14を把持して、例えば、図6に示すラインAにおける作業を行っていた移動ロボット1を、ラインAからラインBに移動させて、移動ロボット1が、ラインBにおける作業を行うようにさせる。このように、移動ロボット1は、その日の各ラインの稼働スケジュールに従って、ラインA〜Cで、代わる代わる使用される。
In this embodiment, as shown in FIG. 6, the
図6において、符号79a〜79fは、ラインA〜Cに配置されたマシニングセンタ等の設備を示し、符号76a〜76cは、それぞれ、ラインA〜Cの各々における走行路を示す。また、符号77a〜77cは、それぞれ、ラインA〜Cの各々におけるパーツフィード装置を示し、符号78a〜78cは、それぞれ、ラインA〜Cの各々における完成品排出コンベアを示し、符号18a〜18cは、それぞれ、ラインA〜Cの各々における補助操作盤を示す。上記のパーツフィード装置77a〜77cは、移動ロボット1へのワーク供給用の装置である。また、完成品排出コンベア78a〜78cは、マシニングセンタ等の設備79a〜79fによる加工又は組み立て工程後の完成品を排出するためのコンベアである。
In FIG. 6, reference numerals 79a to 79f indicate facilities such as machining centers arranged on the lines A to C, and reference numerals 76a to 76c indicate running paths on the respective lines A to C. Further, reference numerals 77a to 77c indicate parts feed devices in the respective lines A to C, reference numerals 78a to 78c respectively indicate finished product discharging conveyors in the respective lines A to C, and reference numerals 18a to 18c respectively. , Respectively show the auxiliary operation panel in each of the lines A to C. The parts feed devices 77a to 77c are devices for supplying a work to the
また、図6における(1)〜(4)は、ラインA〜Cにおける無人搬送車3の各停止位置である。上記の(1)は、ロボット2がワーク(パーツ)を受け取る位置であり、(2)と(3)は、ロボット2が、各ラインにおける1番目と2番目の作業を行う位置であり、(4)は、ロボット2が、完成品を完成品排出コンベア78a〜78c(又は完成品排出コンベア78a〜78c上の段ボールの中)に載置する位置である。
Further, (1) to (4) in FIG. 6 are respective stop positions of the automated guided
図6に示すように、移動ロボット1を、工場における複数のラインに共通して用いた場合には、1つのラインのみに用いた場合と比べて、ライン上における無人搬送車3の停止位置となる設備(図6では、設備79a〜79f)の数と種類が多いため、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれる可能性が高くなるので、ロボット2による作業上のトラブルが発生し易い。
As shown in FIG. 6, when the
しかしながら、本実施形態の学習・ロボット位置調整システム10によれば、アーム位置正誤判定NN55の機械学習がある程度進んで、アーム位置正誤判定NN55が、学習済のニューラルネットワークであるとみなせる状態になると、サーバ8のCPU51(の位置正誤判定部62)が、学習済のアーム位置正誤判定NN55を用いて、移動ロボット1が、複数のラインのうちのいずれのラインに位置するときにも、ロボット2の送受信回線31から送信された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定する。そして、サーバ8のCPU51(のコマンド送信制御部63)が、学習済のアーム位置正誤判定NN55を用いた判定の結果、ロボット2のアーム5の位置に問題があるときに、送受信回線52を用いて、ロボットコントローラ9に、ロボット2のアーム5の位置を調整するための指示コマンドを送信するように制御する。従って、移動ロボット1を、工場における複数のラインにおいて、共通して用いた場合でも、ロボット2のアーム5の位置に問題がある場合には、ロボット2のアーム5の位置を調整することができる。
However, according to the learning/robot position adjustment system 10 of the present embodiment, when the machine learning of the arm position correctness determination NN55 progresses to some extent and the arm position correctness determination NN55 becomes a state in which it can be regarded as a learned neural network, The
本実施形態の学習・ロボット位置調整システム10、及びその移動ロボット1が適用可能な工場のラインは、図6に示すような走行路76a〜76cの片側に各設備79a〜79fが配置されたラインに限られず、図7に示すような走行路76d、76eの両側に各設備79g〜79nが配置されたラインであってもよい。
The learning/robot position adjusting system 10 of the present embodiment and a factory line to which the
図7において、符号79g〜79nは、ラインA、Bに配置されたマシニングセンタ等の設備を示し、符号76d、76eは、それぞれ、ラインA、Bの各々における走行路を示す。また、符号77d〜77gは、それぞれ、ラインA、Bの各々におけるパーツフィード装置を示し、符号78d〜78gは、それぞれ、ラインA、Bの各々における完成品排出コンベアを示し、符号18d、18eは、それぞれ、ラインA、Bの各々における補助操作盤を示す。 In FIG. 7, reference numerals 79g to 79n indicate facilities such as machining centers arranged on the lines A and B, and reference numerals 76d and 76e indicate traveling paths on the lines A and B, respectively. In addition, reference numerals 77d to 77g indicate parts feed devices in the respective lines A and B, reference numerals 78d to 78g indicate finished product discharge conveyors in the respective lines A and B, and reference numerals 18d and 18e respectively. , And auxiliary operation panels on lines A and B, respectively.
上記のサーバ8によるアーム位置正誤判定NN55の機械学習が進んで、アーム位置正誤判定NN55が、学習済のニューラルネットワークであるとみなせる状態になると、図8及び図9に示すように、この学習済アーム位置正誤判定NN81を、アーム位置調整プログラム57と共に、集中制御操作盤7のメモリ43、又はロボットコントローラ9のメモリ35に格納してもよい。図8に示すように、集中制御操作盤7のメモリ43に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57とを格納したロボット位置調整システム80では、集中制御操作盤7が、請求項におけるロボット位置調整システムの「コンピュータ」に相当する。また、図9に示すように、ロボットコントローラ9のメモリ35に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57とを格納したロボット位置調整システムが、ロボット位置調整システム83である。これらの図8及び図9において、図3と同等の電気的ブロックには同一の符号を付し、その説明を省略する。
When the machine learning of the arm position correctness determination NN55 by the
また、図10に示すロボット位置調整システム85のように、ロボット2自体に、マイクロコントローラ等のプロセッサで構成されたロボットコントローラ86を搭載して、このロボットコントローラ86内のメモリ88に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57とを格納するようにしてもよい。図10においても、図3と同等の電気的ブロックには同一の符号を付し、その説明を省略する。
Further, as in the robot position adjusting system 85 shown in FIG. 10, the
ただし、学習・ロボット位置調整システム10が適用される工場のラインにおける設備の種類、配置、数等の変更が多い場合には、図3に示すサーバ8のハードディスク53に格納したアーム位置正誤判定NN55の機械学習を常時継続しながら、このサーバ8のアーム位置正誤判定NN55とアーム位置調整プログラム57を用いて、ロボット2のアーム5の位置に問題があるか否かの判定と、ロボット2のアーム5の位置の調整処理を行うようにした方が望ましい。
However, if there are many changes in the type, arrangement, number, etc. of equipment in the factory line to which the learning/robot position adjustment system 10 is applied, the arm position correctness determination NN55 stored in the hard disk 53 of the
上記のように、第1の実施形態の学習・ロボット位置調整システム10によれば、ロボット2の送受信回線31から送信された画像データ(無人搬送車3の各停止位置においてカメラ4により撮影された画像データ)と、集中制御操作盤7の操作部44から作業者(ユーザ)により入力された位置正誤情報とに基づいて、アーム位置正誤判定NN55の機械学習を行うことができる。
As described above, according to the learning/robot position adjusting system 10 of the first embodiment, image data transmitted from the transmission/
また、第1の実施形態の学習・ロボット位置調整システム10によれば、アーム位置正誤判定NN55の機械学習がある程度進んで、アーム位置正誤判定NN55が、学習済のニューラルネットワークであるとみなせる状態になった後は、サーバ8が、学習済のアーム位置正誤判定NN55を用いて、ロボット2の送受信回線31から送信された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボットコントローラ9に、ロボット2のアーム5の位置を調整するための指示コマンドを送信するように制御する。そして、ロボットコントローラ9が、サーバ8から受信した指示コマンドに基づいて、ロボット2を動かして、ロボット2のアーム5の位置を調整する。これにより、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車3の停止位置のずれに起因するロボット2のアーム5の位置ずれが、問題のあるレベルか否か(ロボット2のアーム5の位置に問題があるか否か)を判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整することができる。従って、ロボット2による作業上のトラブルを防ぐことができる。
Further, according to the learning/robot position adjusting system 10 of the first embodiment, the machine learning of the arm position correctness determination NN55 is advanced to some extent, and the arm position correctness determination NN55 is considered to be a learned neural network. After that, the
また、図8に示す学習済アーム位置正誤判定NN81とアーム位置調整プログラム57を集中制御操作盤7のメモリ43に格納した場合にも、上記のアーム位置正誤判定NN55が学習済のニューラルネットワークであるとみなせる状態になった後における学習・ロボット位置調整システム10と同様な作用と効果を得ることができる。具体的には、集中制御操作盤7が、学習済アーム位置正誤判定NN81を用いて、ロボット2の送受信回線31から送信された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボットコントローラ9に、ロボット2の位置を調整するための指示コマンドを送信するように制御する。そして、ロボットコントローラ9が、集中制御操作盤7から受信した指示コマンドに基づいて、ロボット2を動かして、ロボット2のアーム5の位置を調整する。これにより、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車3の停止位置のずれに起因するロボット2のアーム5の位置ずれが、問題のあるレベルか否かを判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整することができる。従って、ロボット2による作業上のトラブルを防ぐことができる。
Even when the learned arm position correctness determination NN81 and the arm
また、図9に示すロボット位置調整システム83、及び図10に示すロボット位置調整システム85においても、ロボットコントローラ9又はロボットコントローラ86が、学習済アーム位置正誤判定NN81を用いて、無人搬送車3の各停止位置においてカメラ4により撮影された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整するように制御する。これにより、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車3の停止位置のずれに起因するロボット2のアーム5の位置ずれが、問題のあるレベルか否か(ロボット2の位置に問題があるか否か)を判定して、この判定の結果、ロボット2の位置に問題があるときに、ロボット2の位置を調整することができる。従って、ロボット2による作業上のトラブルを防ぐことができる。
Also in the robot position adjusting system 83 shown in FIG. 9 and the robot position adjusting system 85 shown in FIG. 10, the
次に、図11乃至図13参照して、本発明の第2の実施形態の学習・ロボット位置調整システム95、及びこの学習・ロボット位置調整システム95における台車付きロボット91について、説明する。図11及び図13において、上記図1及び図6と同等の部材には同一の符号を付して、その説明を省略する。また、図12において、上記図3と同等の電気的ブロックには、同一の符号を付して、その説明を省略する。
Next, a learning/robot position adjusting system 95 according to a second embodiment of the present invention and a trolley-equipped
図11は、第2の実施形態の学習・ロボット位置調整システム95における台車付きロボット91を示す。第1の実施形態の学習・ロボット位置調整システム10は、無人搬送車3の台座15上にロボット2を取り付けた(搭載した)移動ロボット1を備えていたが、第2の実施形態の学習・ロボット位置調整システム95は、上記の移動ロボット1の代わりに、台車92の台座96上にロボット2を取り付けた(搭載した)台車付きロボット91を備えている。これ以外の構成については、第1の実施形態の学習・ロボット位置調整システム10と、第2の実施形態の学習・ロボット位置調整システム95とは、同様である。
FIG. 11 shows a robot with a
上記の台車92は、上記のロボット2が取り付けられる台座96に加えて、前後の車輪93と、取っ手97とを備えている。上記の取っ手97は、第1の実施形態における無人搬送車3の取っ手14と同様に、台車付きロボット91を、あるラインから別のラインに移動する(図13参照)際に、ユーザに把持される。第2の実施形態では、図13に示すように、工場の各ラインにおける走行路(図13の例では、走行路76a〜76c)には、レール94(図13の例では、レール94a〜94c)が配設されており、台車92の前後の車輪93は、このレール94に嵌め込まれて、このレール94上を移動する。
The
本実施形態においても、図13に示すように、台車付きロボット91に取り付けられたロボット2は、工場における複数のラインにおいて、共通して用いられる。具体的には、作業者が、図11に示す台車付きロボット91の取っ手97を把持して、例えば、図13に示すラインAにおける作業を行っていた台車付きロボット91を、ラインAからラインBに移動させて(台車92の前後の車輪93を、ラインAにおけるレール94aから取り外して、ラインBにおけるレール94bに嵌め込んで)、台車付きロボット91のロボット2を、ラインBにおける各作業位置に移動させて、ラインBの各設備を用いた作業を行うようにさせる。このように、台車付きロボット91は、その日の各ラインの稼働スケジュールに従って、ラインA〜Cで、代わる代わる使用される。
Also in this embodiment, as shown in FIG. 13, the
図12は、第2の実施形態の学習・ロボット位置調整システム95の電気的ブロック構成を示す。この電気的ブロック構成は、移動ロボット1が、台車付きロボット91に代わる点以外は、図3に示す第1の実施形態の学習・ロボット位置調整システム10の電気的ブロック構成と同じである。
FIG. 12 shows an electrical block configuration of the learning/robot position adjusting system 95 of the second embodiment. This electrical block configuration is the same as the electrical block configuration of the learning/robot position adjusting system 10 of the first embodiment shown in FIG. 3 except that the
第2の実施形態の学習・ロボット位置調整システム95によれば、第1の実施形態の学習・ロボット位置調整システム10と同様に、ロボット2の送受信回線31から送信された画像データ(ロボット2のライン上における各作業位置において、カメラ4により撮影された画像データ)と、集中制御操作盤7の操作部44から作業者(ユーザ)により入力された位置正誤情報とに基づいて、アーム位置正誤判定NN55の機械学習を行うことができる。
According to the learning/robot position adjusting system 95 of the second embodiment, similar to the learning/robot position adjusting system 10 of the first embodiment, image data transmitted from the transmission/
また、第2の実施形態の学習・ロボット位置調整システム95によれば、アーム位置正誤判定NN55の機械学習がある程度進んで、アーム位置正誤判定NN55が、学習済のニューラルネットワークであるとみなせる状態になった後は、サーバ8が、学習済のアーム位置正誤判定NN55を用いて、ロボット2の送受信回線31から送信された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボットコントローラ9に、ロボット2のアーム5の位置を調整するための指示コマンドを送信するように制御する。そして、ロボットコントローラ9が、サーバ8から受信した指示コマンドに基づいて、ロボット2を動かして、ロボット2のアーム5の位置を調整する。これにより、台車92の停止位置が、予め決められた所定の停止位置からずれた場合でも、この台車92の停止位置のずれに起因するロボット2のアーム5の位置ずれが、問題のあるレベルか否か(ロボット2のアーム5の位置に問題があるか否か)を判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整することができる。従って、ロボット2による作業上のトラブルを防ぐことができる。
Further, according to the learning/robot position adjustment system 95 of the second embodiment, the machine learning of the arm position correctness determination NN55 is advanced to some extent, and the arm position correctness determination NN55 is considered to be a learned neural network. After that, the
なお、第2の実施形態においても、サーバ8によるアーム位置正誤判定NN55の機械学習がある程度進んで、アーム位置正誤判定NN55が、学習済のニューラルネットワークであるとみなせる状態になると、第1の実施形態におけるロボット位置調整システム80及びロボット位置調整システム83(図8及び図9参照)と同様に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57とを、集中制御操作盤7のメモリ43、又はロボットコントローラ9のメモリ35に格納してもよい。また、第1の実施形態におけるロボット位置調整システム85(図10参照)と同様に、ロボット2自体に、ロボットコントローラ86を搭載して、このロボットコントローラ86内のメモリ88に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57とを格納するようにしてもよい。
Also in the second embodiment, if the machine learning of the arm position correctness determination NN55 by the
また、第2の実施形態においても、図8に示す第1の実施形態におけるロボット位置調整システム80と同様に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57を集中制御操作盤7のメモリ43に格納した場合に、上記のアーム位置正誤判定NN55が学習済のニューラルネットワークであるとみなせる状態になった後における学習・ロボット位置調整システム95と同様な作用と効果を得ることができる。
Also in the second embodiment, as in the robot position adjustment system 80 in the first embodiment shown in FIG. 8, the learned arm position correctness determination NN81 and the arm
また、第2の実施形態においても、図9及び図10に示す第1の実施形態におけるロボット位置調整システム83及びロボット位置調整システム85と同様に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57を、ロボットコントローラ9のメモリ35又はロボットコントローラ86のメモリ88に格納した場合に、ロボットコントローラ9又はロボットコントローラ86が、学習済アーム位置正誤判定NN81を用いて、ロボット2の各作業位置においてカメラ4により撮影された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整するように制御する。これにより、台車92の停止位置が、予め決められた所定の停止位置からずれた場合でも、この台車92の停止位置のずれに起因するロボット2のアーム5の位置ずれが、問題のあるレベルか否か(ロボット2の位置に問題があるか否か)を判定して、この判定の結果、ロボット2の位置に問題があるときに、ロボット2の位置を調整することができる。従って、ロボット2による作業上のトラブルを防ぐことができる。
Further, also in the second embodiment, similarly to the robot position adjusting system 83 and the robot position adjusting system 85 in the first embodiment shown in FIGS. 9 and 10, the learned arm position correctness determination NN81 and the arm position adjusting program are performed. When 57 is stored in the
変形例:
なお、本発明は、上記の各実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。次に、本発明の変形例について説明する。
Modification:
The present invention is not limited to the configurations of the above-described embodiments, and various modifications can be made without departing from the spirit of the invention. Next, a modified example of the present invention will be described.
変形例1:
上記の各実施形態では、ロボット2側の送受信回線31から送信された画像データと、集中制御操作盤7の操作部44から作業者により入力された位置正誤情報とを、インターネット17を介して、クラウド上のサーバ8に送信して、サーバ8のハードディスク53に格納されたアーム位置正誤判定NN55の機械学習を行うようにした。けれども、ロボットのアームの位置に問題があるか否かを判定するニューラルネットワークを、工場の構内に配されたコンピュータのハードディスク等に格納して、この工場構内に配されたコンピュータに格納されたニューラルネットワークの機械学習を行うようにしてもよい。
Modification 1:
In each of the above embodiments, the image data transmitted from the transmission/
変形例2:
また、上記の各実施形態では、請求項における「学習済のニューラルネットワーク」が、ロボット2のアーム5の位置に問題があるか否かを判定するニューラルネットワークであり、この「学習済のニューラルネットワーク」を用いた判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整する場合の例を示した。けれども、本発明の学習システム及びロボット位置調整システムは、これに限られず、例えば、「学習済のニューラルネットワーク」が、ロボットのハンドの位置に問題があるか否かを判定するニューラルネットワークであり、この学習済のニューラルネットワークを用いた判定の結果、ロボットのハンドの位置に問題があるときに、ロボットのハンドの位置を調整するようにしてもよい。また、「学習済のニューラルネットワーク」が、ロボットの先端、中央、又は後端の位置に問題があるか否かを判定するニューラルネットワークであり、この学習済のニューラルネットワークを用いた判定の結果、ロボットの先端、中央、又は後端の位置に問題があるときに、ロボットの先端、中央、又は後端の位置を調整するようにしてもよい。
Modification 2:
In each of the above embodiments, the “learned neural network” in the claims is a neural network that determines whether or not there is a problem with the position of the
変形例3:
また、上記第1の実施形態では、ロボット2が無人搬送車3の台座15上に取り付けられる(搭載される)場合の例を示したが、これに限られず、例えば、ロボット自体に車輪を取り付けて、無人搬送車が、ロボットの背面を押すことにより、ロボットを移動させてもよい。また、ロボットを無人搬送車の前部に取り付けてもよい。
Modification 3:
Further, in the above-described first embodiment, an example in which the
変形例4:
また、上記第1の実施形態では、無人搬送車3が、いわゆるレーザ誘導方式の無人搬送車である場合の例を示したが、無人搬送車の誘導方式は、これに限られず、例えば、磁気誘導方式であってもよいし、磁気誘導とレーザ誘導とを併用したマルチ誘導方式であってもよい。
Modification 4:
Further, in the above-described first embodiment, an example in which the automatic guided
1 移動ロボット
2 ロボット(作業用ロボット)
3 無人搬送車
4 カメラ
7 集中制御操作盤(コンピュータ)
8 サーバ(コンピュータ)
9、86 ロボットコントローラ(ロボット制御部)
10、95 学習・ロボット位置調整システム(学習システム、及びロボット位置調整システム)
31 送受信回線(ロボット側送信部)
44 操作部(位置正誤情報入力部)
52 送受信回線(コンピュータ側送信部)
53 ハードディスク(ニューラルネットワーク記憶部)
55 アーム位置正誤判定NN(作業用ロボットの位置に問題があるか否かを判定するニューラルネットワーク、及び学習済のニューラルネットワーク)
61 機械学習部
62 位置正誤判定部
63 コマンド送信制御部
80、83、85 ロボット位置調整システム
81 学習済アーム位置正誤判定NN(学習済のニューラルネットワーク)
92 台車
A,B,C ライン
1
3 Automated guided
8 servers (computers)
9,86 Robot controller (robot controller)
10, 95 Learning and robot position adjustment system (learning system and robot position adjustment system)
31 Transmission/reception line (robot side transmitter)
44 Operation part (position correctness information input part)
52 Transmission/reception line (transmission unit on computer side)
53 Hard Disk (Neural Network Storage)
55 Arm Position Correctness Judgment NN (Neural network for judging whether or not there is a problem in position of work robot, and learned neural network)
61 machine learning unit 62 position correctness determination unit 63 command transmission control units 80, 83, 85 robot position adjustment system 81 learned arm position correctness determination NN (learned neural network)
92 trolley A, B, C line
Claims (14)
前記作業用ロボットの位置に問題があるか否かを示す位置正誤情報を入力するための位置正誤情報入力部と、
前記移動ロボットと通信を行うコンピュータとを備えた学習システムであって、
前記移動ロボットは、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、
前記コンピュータは、
前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するニューラルネットワークを記憶するニューラルネットワーク記憶部と、
前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行う機械学習部と
を備える学習システム。 A work robot in a factory line having a camera, and a mobile robot having an automatic guided vehicle for moving the work robot,
A position correctness information input unit for inputting position correctness information indicating whether or not there is a problem in the position of the work robot,
A learning system comprising a computer that communicates with the mobile robot,
The mobile robot includes a robot-side transmitter that transmits image data captured by the camera at each stop position of the automatic guided vehicle to the computer.
The computer is
A neural network storage unit that stores a neural network that determines whether or not there is a problem in the position of the work robot based on the image data transmitted from the robot-side transmission unit,
Learning including a machine learning unit that performs machine learning of the neural network based on the image data transmitted from the robot side transmission unit and the position correctness information input by the user from the position correctness information input unit system.
前記機械学習部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行うことを特徴とする請求項1に記載の学習システム。 The mobile robot is commonly used in a plurality of lines in the factory,
The machine learning unit, when the mobile robot is located on any line of the plurality of lines, the image data transmitted from the robot side transmission unit and the user from the position correctness information input unit. The learning system according to claim 1, wherein machine learning of the neural network is performed based on the position correctness information input by.
前記作業用ロボットを搭載した台車と、
前記作業用ロボットの位置に問題があるか否かを示す位置正誤情報を入力するための位置正誤情報入力部と、
前記作業用ロボットと通信を行うコンピュータとを備えた学習システムであって、
前記作業用ロボットは、前記ライン上の各作業位置において、前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、
前記コンピュータは、
前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するニューラルネットワークを記憶するニューラルネットワーク記憶部と、
前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行う機械学習部と
を備える学習システム。 A robot for working in a factory line, which has a camera,
A dolly equipped with the work robot,
A position correctness information input unit for inputting position correctness information indicating whether or not there is a problem in the position of the work robot,
A learning system comprising a computer that communicates with the work robot,
The work robot includes a robot-side transmitter that transmits image data captured by the camera to the computer at each work position on the line.
The computer is
A neural network storage unit that stores a neural network that determines whether or not there is a problem in the position of the work robot based on the image data transmitted from the robot-side transmission unit,
Learning including a machine learning unit that performs machine learning of the neural network based on the image data transmitted from the robot side transmission unit and the position correctness information input by the user from the position correctness information input unit system.
前記機械学習部は、前記作業用ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行うことを特徴とする請求項3に記載の学習システム。 The work robot is commonly used in a plurality of lines in the factory,
The machine learning unit, when the work robot is located on any line of the plurality of lines, the image data transmitted from the robot side transmission unit and the position correctness information input unit. The learning system according to claim 3, wherein machine learning of the neural network is performed based on the position correctness information input by the user.
前記作業用ロボットの制御を行うロボット制御部と、
前記移動ロボットと通信を行うコンピュータとを備えたロボット位置調整システムであって、
前記移動ロボットは、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、
前記ロボット制御部は、前記コンピュータから受信した指示コマンドに基づいて、前記作業用ロボットを動かし、
前記コンピュータは、
前記ロボット制御部に前記指示コマンドを送信するコンピュータ側送信部と、
学習済のニューラルネットワークを用いて、前記ロボット側送信部から送信された前記画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部と、
前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記コンピュータ側送信部を用いて、前記ロボット制御部に、前記作業用ロボットの位置を調整するための指示コマンドを送信するように制御するコマンド送信制御部と
を備えるロボット位置調整システム。 A work robot in a factory line having a camera, and a mobile robot having an automatic guided vehicle for moving the work robot,
A robot controller that controls the work robot;
A robot position adjusting system comprising a computer that communicates with the mobile robot,
The mobile robot includes a robot-side transmitter that transmits image data captured by the camera at each stop position of the automatic guided vehicle to the computer.
The robot controller moves the work robot based on an instruction command received from the computer,
The computer is
A computer-side transmitter that transmits the instruction command to the robot controller,
Using a learned neural network, based on the image data transmitted from the robot side transmission unit, a position correctness determination unit that determines whether there is a problem in the position of the work robot,
When there is a problem with the position of the work robot as a result of the determination by the position correctness determination unit, the computer-side transmission unit is used to instruct the robot control unit to adjust the position of the work robot. A robot position adjustment system, comprising: a command transmission control unit that controls to transmit a command.
前記位置正誤判定部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定することを特徴とする請求項5に記載のロボット位置調整システム。 The mobile robot is commonly used in a plurality of lines in the factory,
The position correctness determination unit, based on the image data transmitted from the robot side transmission unit, when the mobile robot is located on any line of the plurality of lines, based on the image data of the work robot, The robot position adjusting system according to claim 5, wherein it is determined whether or not there is a problem in position.
前記コマンド送信制御部が送信するように制御する指示コマンドは、前記作業用ロボットのアームの位置を調整するための指示コマンドであることを特徴とする請求項5又は請求項6に記載のロボット位置調整システム。 The position correctness determination unit, based on the image data transmitted from the robot side transmission unit, determines whether there is a problem in the position of the arm of the work robot,
The robot position according to claim 5 or 6, wherein the instruction command that the command transmission control unit controls to transmit is an instruction command for adjusting the position of the arm of the work robot. Adjustment system.
前記作業用ロボットの制御を行うロボット制御部とを備えたロボット位置調整システムであって、
前記ロボット制御部は、
学習済のニューラルネットワークを用いて、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部を備え、
前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記作業用ロボットの位置を調整するように制御する
ロボット位置調整システム。 A work robot having a camera in a factory line, and a mobile robot having an automatic guided vehicle for moving the work robot;
A robot position adjusting system comprising a robot control unit for controlling the work robot,
The robot controller is
Using a learned neural network, a position correctness determination unit that determines whether or not there is a problem in the position of the work robot based on image data taken by the camera at each stop position of the automatic guided vehicle. Prepare,
A robot position adjusting system that controls so as to adjust the position of the work robot when there is a problem in the position of the work robot as a result of the determination by the position correctness determination unit.
前記位置正誤判定部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定することを特徴とする請求項8に記載のロボット位置調整システム。 The mobile robot is commonly used in a plurality of lines in the factory,
The position correctness determination unit, when the mobile robot is located on any line of the plurality of lines, based on the image data taken by the camera at each stop position of the automatic guided vehicle, 9. The robot position adjusting system according to claim 8, wherein it is determined whether or not there is a problem in the position of the work robot.
前記作業用ロボットを搭載した台車と、
前記作業用ロボットの制御を行うロボット制御部と、
前記作業用ロボットと通信を行うコンピュータとを備えたロボット位置調整システムであって、
前記作業用ロボットは、前記ライン上の各作業位置において前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、
前記ロボット制御部は、前記コンピュータから受信した指示コマンドに基づいて、前記作業用ロボットを動かし、
前記コンピュータは、
前記ロボット制御部に前記指示コマンドを送信するコンピュータ側送信部と、
学習済のニューラルネットワークを用いて、前記ロボット側送信部から送信された前記画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部と、
前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記コンピュータ側送信部を用いて、前記ロボット制御部に、前記作業用ロボットの位置を調整するための指示コマンドを送信するように制御するコマンド送信制御部と
を備えるロボット位置調整システム。 A robot for working in a factory line, which has a camera,
A dolly equipped with the work robot,
A robot controller that controls the work robot;
A robot position adjusting system comprising a computer that communicates with the work robot,
The work robot includes a robot-side transmitter that transmits image data captured by the camera at each work position on the line to the computer.
The robot controller moves the work robot based on an instruction command received from the computer,
The computer is
A computer-side transmitter that transmits the instruction command to the robot controller,
Using a learned neural network, based on the image data transmitted from the robot side transmission unit, a position correctness determination unit that determines whether there is a problem in the position of the work robot,
When there is a problem with the position of the work robot as a result of the determination by the position correctness determination unit, the computer-side transmission unit is used to instruct the robot control unit to adjust the position of the work robot. A robot position adjustment system, comprising: a command transmission control unit that controls to transmit a command.
前記位置正誤判定部は、前記作業用ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定することを特徴とする請求項10に記載のロボット位置調整システム。 The work robot is commonly used in a plurality of lines in the factory,
The position correctness determination unit, based on the image data transmitted from the robot side transmission unit, when the work robot is located on any line of the plurality of lines, the work robot. 11. The robot position adjusting system according to claim 10, wherein it is determined whether or not there is a problem with the position.
前記コマンド送信制御部が送信するように制御する指示コマンドは、前記作業用ロボットのアームの位置を調整するための指示コマンドであることを特徴とする請求項10又は請求項11に記載のロボット位置調整システム。 The position correctness determination unit, based on the image data transmitted from the robot side transmission unit, determines whether there is a problem in the position of the arm of the work robot,
The robot position according to claim 10 or 11, wherein the instruction command that the command transmission control unit controls to transmit is an instruction command for adjusting the position of the arm of the work robot. Adjustment system.
前記作業用ロボットを搭載した台車と、
前記作業用ロボットの制御を行うロボット制御部とを備えたロボット位置調整システムであって、
前記ロボット制御部は、
学習済のニューラルネットワークを用いて、前記作業用ロボットの各作業位置において前記カメラにより撮影された画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部を備え、
前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記作業用ロボットの位置を調整するように制御する
ロボット位置調整システム。 A robot for working in a factory line, which has a camera,
A dolly equipped with the work robot,
A robot position adjusting system comprising a robot control unit for controlling the work robot,
The robot controller is
Using a learned neural network, a position correctness determination unit that determines whether or not there is a problem in the position of the work robot based on image data taken by the camera at each work position of the work robot. Prepare,
A robot position adjusting system that controls so as to adjust the position of the work robot when there is a problem in the position of the work robot as a result of the determination by the position correctness determination unit.
前記位置正誤判定部は、前記作業用ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記作業用ロボットの各作業位置において前記カメラにより撮影された画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定することを特徴とする請求項13に記載のロボット位置調整システム。
The work robot is commonly used in a plurality of lines in the factory,
The position correctness determination unit, when the work robot is located on any line of the plurality of lines, based on image data taken by the camera at each work position of the work robot, The robot position adjusting system according to claim 13, wherein it is determined whether or not there is a problem in the position of the work robot.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018213733A JP7207704B2 (en) | 2018-11-14 | 2018-11-14 | Learning system and robot positioning system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018213733A JP7207704B2 (en) | 2018-11-14 | 2018-11-14 | Learning system and robot positioning system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020078852A true JP2020078852A (en) | 2020-05-28 |
JP7207704B2 JP7207704B2 (en) | 2023-01-18 |
Family
ID=70801303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018213733A Active JP7207704B2 (en) | 2018-11-14 | 2018-11-14 | Learning system and robot positioning system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7207704B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022097536A1 (en) * | 2020-11-05 | 2022-05-12 | Dmg森精機株式会社 | Robot-mounted mobile device and positioning control method for system |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008018240A (en) * | 2006-07-11 | 2008-01-31 | Siemens Ag | X-ray system with industrial robot |
JP2009083095A (en) * | 2007-09-29 | 2009-04-23 | Ihi Corp | Control method of robot device, and the robot device |
JP2012232370A (en) * | 2011-04-28 | 2012-11-29 | Seiko Epson Corp | Robot controller, simplified installation type robot, and method of controlling simplified installation type robot |
US20150306761A1 (en) * | 2014-04-29 | 2015-10-29 | Brain Corporation | Trainable convolutional network apparatus and methods for operating a robotic vehicle |
US20160096272A1 (en) * | 2014-10-02 | 2016-04-07 | Brain Corporation | Apparatus and methods for training of robots |
JP2016129923A (en) * | 2015-01-14 | 2016-07-21 | サンナイス株式会社 | Unmanned vehicle |
US20170008168A1 (en) * | 2015-07-10 | 2017-01-12 | Board Of Trustees Of Michigan State University | Navigational Control of Robotic Systems and Other Computer-Implemented Processes Using Developmental Network with Turing Machine Learning |
JP2017090277A (en) * | 2015-11-11 | 2017-05-25 | 国立大学法人九州大学 | Gripping information acquisition device, robot teaching device and robot controller, and gripping information acquisition method, and robot teaching method and robot control method |
JP2018043338A (en) * | 2016-09-16 | 2018-03-22 | ファナック株式会社 | Machine learning device for learning operation program of robot, robot system, and machine learning method |
JP2018051721A (en) * | 2016-09-30 | 2018-04-05 | キヤノン株式会社 | Abnormality detection device, abnormality detection method, and program |
JP2018118341A (en) * | 2017-01-24 | 2018-08-02 | 三菱重工エンジン&ターボチャージャ株式会社 | Working robot and production system |
JP2018149669A (en) * | 2017-03-14 | 2018-09-27 | オムロン株式会社 | Learning device and learning method |
JP2018158439A (en) * | 2018-03-15 | 2018-10-11 | 株式会社東芝 | Object handling device, control device, and calibration method |
JP2018161692A (en) * | 2017-03-24 | 2018-10-18 | キヤノン株式会社 | Information processing system, information processing method and program |
-
2018
- 2018-11-14 JP JP2018213733A patent/JP7207704B2/en active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008018240A (en) * | 2006-07-11 | 2008-01-31 | Siemens Ag | X-ray system with industrial robot |
JP2009083095A (en) * | 2007-09-29 | 2009-04-23 | Ihi Corp | Control method of robot device, and the robot device |
JP2012232370A (en) * | 2011-04-28 | 2012-11-29 | Seiko Epson Corp | Robot controller, simplified installation type robot, and method of controlling simplified installation type robot |
US20150306761A1 (en) * | 2014-04-29 | 2015-10-29 | Brain Corporation | Trainable convolutional network apparatus and methods for operating a robotic vehicle |
US20160096272A1 (en) * | 2014-10-02 | 2016-04-07 | Brain Corporation | Apparatus and methods for training of robots |
JP2016129923A (en) * | 2015-01-14 | 2016-07-21 | サンナイス株式会社 | Unmanned vehicle |
US20170008168A1 (en) * | 2015-07-10 | 2017-01-12 | Board Of Trustees Of Michigan State University | Navigational Control of Robotic Systems and Other Computer-Implemented Processes Using Developmental Network with Turing Machine Learning |
JP2017090277A (en) * | 2015-11-11 | 2017-05-25 | 国立大学法人九州大学 | Gripping information acquisition device, robot teaching device and robot controller, and gripping information acquisition method, and robot teaching method and robot control method |
JP2018043338A (en) * | 2016-09-16 | 2018-03-22 | ファナック株式会社 | Machine learning device for learning operation program of robot, robot system, and machine learning method |
JP2018051721A (en) * | 2016-09-30 | 2018-04-05 | キヤノン株式会社 | Abnormality detection device, abnormality detection method, and program |
JP2018118341A (en) * | 2017-01-24 | 2018-08-02 | 三菱重工エンジン&ターボチャージャ株式会社 | Working robot and production system |
JP2018149669A (en) * | 2017-03-14 | 2018-09-27 | オムロン株式会社 | Learning device and learning method |
JP2018161692A (en) * | 2017-03-24 | 2018-10-18 | キヤノン株式会社 | Information processing system, information processing method and program |
JP2018158439A (en) * | 2018-03-15 | 2018-10-11 | 株式会社東芝 | Object handling device, control device, and calibration method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022097536A1 (en) * | 2020-11-05 | 2022-05-12 | Dmg森精機株式会社 | Robot-mounted mobile device and positioning control method for system |
JP2022074725A (en) * | 2020-11-05 | 2022-05-18 | Dmg森精機株式会社 | Robot-loaded mobile device, and system positioning control method |
JP7133604B2 (en) | 2020-11-05 | 2022-09-08 | Dmg森精機株式会社 | ROBOT MOVEMENT MOBILE DEVICE AND SYSTEM POSITIONING CONTROL METHOD |
Also Published As
Publication number | Publication date |
---|---|
JP7207704B2 (en) | 2023-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6458052B2 (en) | Self-propelled joint robot | |
US7643890B1 (en) | Remote management of portable construction devices | |
WO2016103304A1 (en) | Production system | |
US11219916B2 (en) | Surface treatment system for large object | |
US20200198154A1 (en) | Method of Controlling Surface Treatment System | |
US20170255182A1 (en) | Control Method, Working System, and Manufacturing Method | |
CN104831912B (en) | A kind of building wall construction robot walking guide and method | |
JP2020078852A (en) | Learning system and robot position adjustment system | |
KR20080066417A (en) | Lug welding robot system and welding method | |
CN111775147B (en) | Intelligent control system of mobile robot | |
US11077559B2 (en) | Support robot and methods of use thereof | |
CN111992895A (en) | Intelligent marking system and method | |
JP5988918B2 (en) | Welding apparatus, welding system including a plurality of welding apparatuses, and program used for welding apparatus | |
JP2021030371A (en) | Robot system and control method | |
US20210229273A1 (en) | Control method and control device for mobile robot, and robot system | |
CN110936184B (en) | Parts processing apparatus and method | |
JP2611225B2 (en) | Automatic guided vehicle | |
JP2017088329A (en) | Alignment device and alignment method for metal plates | |
JP2016224903A (en) | Carrier vehicle | |
JP2021018485A (en) | Controller of moving entity and moving entity | |
US20220267102A1 (en) | Conveyance system, conveyance method, and conveyance program | |
KR101954815B1 (en) | Rotor automation welding system and method. | |
JPH0420740B2 (en) | ||
KR101975207B1 (en) | Method for controlling machine tool having mutiple spindle | |
JP5150003B1 (en) | Roll body handling system, roll body supply method, and roll body transport apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220905 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7207704 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |