JP2020026027A - Mediation device and mediation method - Google Patents

Mediation device and mediation method Download PDF

Info

Publication number
JP2020026027A
JP2020026027A JP2019105753A JP2019105753A JP2020026027A JP 2020026027 A JP2020026027 A JP 2020026027A JP 2019105753 A JP2019105753 A JP 2019105753A JP 2019105753 A JP2019105753 A JP 2019105753A JP 2020026027 A JP2020026027 A JP 2020026027A
Authority
JP
Japan
Prior art keywords
operator
competition
mediation
operation terminal
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019105753A
Other languages
Japanese (ja)
Other versions
JP7340964B2 (en
Inventor
康彦 橋本
Yasuhiko Hashimoto
康彦 橋本
掃部 雅幸
Masayuki Kamon
雅幸 掃部
繁次 田中
Shigeji Tanaka
繁次 田中
佳彦 丸山
Yoshihiko Maruyama
佳彦 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Heavy Industries Ltd
Original Assignee
Kawasaki Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Heavy Industries Ltd filed Critical Kawasaki Heavy Industries Ltd
Priority to KR1020217006466A priority Critical patent/KR102511813B1/en
Priority to CN201980046555.0A priority patent/CN112423950B/en
Priority to PCT/JP2019/031646 priority patent/WO2020032257A1/en
Priority to US17/266,870 priority patent/US11978354B2/en
Priority to TW108128599A priority patent/TWI764031B/en
Publication of JP2020026027A publication Critical patent/JP2020026027A/en
Application granted granted Critical
Publication of JP7340964B2 publication Critical patent/JP7340964B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/24Use of tools
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/02Hand grip control means
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • B25J13/065Control stands, e.g. consoles, switchboards comprising joy-sticks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • B25J13/082Grasping-force detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/1605Simulation of manipulator lay-out, design, modelling of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/16Control of vehicles or other craft
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/423Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Fuzzy Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Manipulator (AREA)
  • Paper (AREA)
  • Spray Control Apparatus (AREA)

Abstract

To provide a mediation device and a mediation method by which interest in an industrial robot can be further improved compared to a conventional one.SOLUTION: A mediation device executes: processing for receiving an operational signal for operating at least two industrial robots, which respectively correspond to a terminal device or a computer and execute a prescribed work or a prescribed competition, from at least two terminal devices or at least one terminal device and at least one computer; processing for causing at least two industrial robots to execute the prescribed work or the prescribed competition on the basis of the operation signal; and processing for causing a display unit owned by an operator for the terminal device to display an image of work or competition site with at least two industrial robot which has been captured by an imaging device.SELECTED DRAWING: Figure 3

Description

本発明は、複数の操作者による操作端末の操作に基づき各産業用ロボットを動作させる仲介装置および仲介方法に関する。   The present invention relates to a mediation device and a mediation method for operating each industrial robot based on an operation of an operation terminal by a plurality of operators.

従来、複数の操作者がコントローラを操作してロボット同士で戦闘を行わせるゲームシステムが知られている(例えば、特許文献1参照)。特許文献1のゲームシステムにおいては、同じ構成のロボットを複数の操作者がコントローラでそれぞれ遠隔操作することで、直径5m程度の円形バトルフィールド内で上記ロボット同士を対戦させるようになっている。   2. Description of the Related Art Conventionally, there has been known a game system in which a plurality of operators operate a controller to cause a battle between robots (for example, see Patent Literature 1). In the game system of Patent Literature 1, a plurality of operators remotely control robots having the same configuration using controllers, whereby the robots compete with each other in a circular battlefield having a diameter of about 5 m.

上記ゲームシステムにおけるロボットは優劣判定部を備えている。この優劣判定部は、体力値演算部により演算された体力値が0になったか否かおよび制限時間が経過したか否かを常時監視しており、ロボットの体力値が0になったことを検出した場合には、そのロボットは敗北したと判定する。   The robot in the above-mentioned game system has a superiority / excellence determination unit. The superiority / nonconformity determination unit constantly monitors whether the physical fitness value calculated by the physical fitness value calculating unit has become 0 and whether the time limit has elapsed, and determines that the physical fitness value of the robot has become 0. If detected, the robot is determined to be defeated.

特開2009−000286号公報JP 2009-000286 A

ところで、企業等における人手不足が問題となりつつある昨今、急がれているのが省力化や自動化である。そこで期待が集まっているのが産業用ロボットである。産業用ロボットは多くの産業の人手不足を補うことができる。したがって、産業用ロボットをより普及させる必要があるが、当該普及には産業用ロボットに対する世の中の関心をより高める必要がある。しかしながら、上記従来のシステムは、単にゲームの優劣を判定しているだけであり、産業用ロボットに対する関心の向上を実現するものとは言い難い。   By the way, labor shortage is becoming an issue recently, and labor shortage is becoming an issue. Therefore, industrial robots are attracting much attention. Industrial robots can compensate for labor shortages in many industries. Therefore, industrial robots need to be more widely used, and the spread of the robots needs to increase public interest in industrial robots. However, the above-mentioned conventional system merely determines the superiority or inferiority of a game, and cannot be said to realize an improvement in interest in an industrial robot.

そこで、本発明は、産業用ロボットに対する関心を従来よりも向上することができる仲介装置および仲介方法を提供することを目的とする。   Therefore, an object of the present invention is to provide an intermediary device and an intermediary method capable of improving interest in an industrial robot than before.

本発明の仲介装置は、少なくとも2つの操作端末から、又は、少なくとも1つの操作端末と少なくとも1つのコンピュータとから、前記操作端末又は前記コンピュータに各々対応し且つ所定の作業又は所定の競技を実行する少なくとも2つの産業用ロボットを操作するための操作信号を受信する処理と、前記操作信号に基づき前記少なくとも2つの産業用ロボットに前記所定の作業又は前記所定の競技を実行させる処理と、撮像装置によって撮像された前記少なくとも2つの産業用ロボットによる前記作業又は前記競技の現場の画像を前記操作端末の操作者が有する表示装置に表示させる処理と、を実行するものである。   The intermediary device of the present invention executes a predetermined task or a predetermined game corresponding to the operation terminal or the computer from at least two operation terminals or from at least one operation terminal and at least one computer. A process of receiving an operation signal for operating at least two industrial robots, a process of causing the at least two industrial robots to execute the predetermined task or the predetermined game based on the operation signal, and an imaging device Causing the operator of the operation terminal to display an image of the site of the work or the competition by the at least two industrial robots, the processing being performed by the operator.

本発明に従えば、操作者は、表示装置に表示された産業用ロボットによる作業又は競技の現場の画像(静止画および動画を含む)を視認しながら、自身が所有する操作端末により産業用ロボットを遠隔操作することで当該産業用ロボットに作業又は競技を行わせることができる。これにより、操作者は、自宅や外出先等において産業用ロボットを身近に操作することができる。このことによって、産業用ロボットに対する関心を従来よりも向上することができる。したがって、産業用ロボットを操作する人が増え、産業用ロボットの普及が促進されることが期待される。   According to the present invention, the operator visually recognizes an image (including a still image and a moving image) of a work or a competition site of the industrial robot displayed on the display device, and uses the industrial terminal to control the industrial robot. By remotely controlling the robot, the industrial robot can work or compete. Thereby, the operator can operate the industrial robot at home, at home, or the like. As a result, interest in the industrial robot can be increased more than before. Therefore, it is expected that the number of people who operate the industrial robot will increase and the spread of the industrial robot will be promoted.

上記発明において、仲介装置は、所定の評価要素に基づき前記操作者の操作レベルを判定してもよい。   In the above invention, the mediation device may determine an operation level of the operator based on a predetermined evaluation factor.

上記構成に従えば、操作者の操作スキルを把握することができる。これにより、産業用ロボットを高スキルで操作できる操作者を確保し易くなり、このような操作者に対してロボット遠隔操作の仕事を依頼するといったビジネスモデルを構築することもできる。   According to the above configuration, the operation skill of the operator can be grasped. This makes it easier to secure an operator who can operate the industrial robot with high skills, and can also build a business model in which such an operator is requested to perform a task of remote control of the robot.

上記発明において、仲介装置は、前記産業用ロボットによる前記作業又は前記競技に対して評価を付与する観戦装置から前記評価を受け取り、前記評価に基づき前記操作者の操作レベルを判定してもよい。   In the above invention, the mediation device may receive the evaluation from a watching device that gives an evaluation to the work or the game by the industrial robot, and determine an operation level of the operator based on the evaluation.

上記構成に従えば、産業用ロボットによる作業(例えば塗装作業)の出来ばえについては、人によって感覚的な捉え方が異なるため、そのような評価に基づき操作者の操作レベルを多様に判定することができる。また、公開して観戦させることによって、世間のロボットに対する関心およびロボット操作についての関心を高めることができる。   According to the above configuration, since the perception of the performance of the work (for example, the painting work) by the industrial robot differs depending on the person, it is possible to variously determine the operation level of the operator based on such evaluation. it can. In addition, public viewing and watching can increase public interest in robots and in robot operation.

上記発明において、仲介装置は、前記操作者の前記表示装置に前記作業又は前記競技への参加を勧誘するための開催画面を表示させてもよい。   In the above invention, the mediation device may cause the display device of the operator to display a holding screen for inviting the work or participation in the competition.

上記構成に従えば、操作者は、表示装置における表示を視認することによって、産業用ロボットによる作業又は競技に参加し易くなる。   According to the above configuration, the operator can easily participate in the work or the competition by the industrial robot by visually recognizing the display on the display device.

上記発明において、仲介装置は、前記操作者による前記作業又は前記競技への参加を受け付け、前記操作端末と前記産業用ロボットとの接続を行ってもよい。   In the above invention, the mediation device may receive the operator's participation in the work or the competition and connect the operation terminal to the industrial robot.

上記構成に従えば、操作者は好きな時に自由に産業用ロボットによる作業又は競技に参加することができる。   According to the above configuration, the operator can freely participate in the work or the competition by the industrial robot at any time.

上記発明において、仲介装置は、前記操作者の前記操作端末からの連絡に応じて前記操作端末と前記産業用ロボットとの接続を切断してもよい。   In the above invention, the mediation device may disconnect the connection between the operation terminal and the industrial robot in response to the operator's communication from the operation terminal.

上記構成に従えば、操作者は仲介装置に連絡することにより、抜けたい時に遠隔操作から抜けることができる。   According to the above configuration, the operator can exit the remote control when he / she wants to exit by contacting the mediation device.

上記発明において、仲介装置は、前記表示装置に全ての前記産業用ロボットを含む現場の画像を表示させてもよい。   In the above invention, the mediation device may cause the display device to display an image of a site including all the industrial robots.

上記構成に従えば、操作者は相手側のロボットの作業進捗や競技状況を視認することができる。   According to the above configuration, the operator can visually recognize the work progress and the game situation of the other robot.

上記発明において、仲介装置は、前記操作端末として、コントローラが接続されたゲーム装置から前記操作信号を受信してもよい。   In the above invention, the mediation device may receive the operation signal from a game device connected to a controller as the operation terminal.

上記構成に従えば、操作者は、専用の操作端末を購入しないで済むし、自宅等からロボットを容易に遠隔操作することができるようになる。   According to the above configuration, the operator does not need to purchase a dedicated operation terminal, and can easily remotely control the robot from home or the like.

本発明の仲介方法は、少なくとも2つの操作端末から、又は、少なくとも1つの操作端末と少なくとも1つのコンピュータとから、前記操作端末又は前記コンピュータに各々対応し且つ所定の作業又は所定の競技を実行する少なくとも2つの産業用ロボットを操作するための操作信号を受信する工程と、前記操作信号に基づき前記少なくとも2つの産業用ロボットに前記所定の作業又は前記所定の競技を実行させる工程と、撮像装置によって撮像された前記少なくとも2つの産業用ロボットによる前記作業又は前記競技の現場の画像を前記操作端末の操作者が有する表示装置に表示させる工程と、を備えるものである。   The mediation method according to the present invention executes a predetermined task or a predetermined game corresponding to the operation terminal or the computer from at least two operation terminals or from at least one operation terminal and at least one computer. Receiving an operation signal for operating at least two industrial robots, causing the at least two industrial robots to execute the predetermined task or the predetermined game based on the operation signal, and an imaging device Causing the operator of the operation terminal to display an image of the scene of the work or the competition by the at least two industrial robots.

本発明の仲介装置は、少なくとも2つの操作端末から、又は、少なくとも1つの操作端末と少なくとも1つのコンピュータとから、前記操作端末又は前記コンピュータに各々対応し且つ所定の作業又は所定の競技を実行する少なくとも2つの産業用ロボットを操作するための操作信号を受信する手段と、前記操作信号に基づき前記少なくとも2つの産業用ロボットに前記所定の作業又は前記所定の競技を実行させる手段と、撮像装置によって撮像された前記少なくとも2つの産業用ロボットによる前記作業又は前記競技の現場の画像を前記操作端末の操作者が有する表示装置に表示させる手段と、を備えるものである。   The intermediary device of the present invention executes a predetermined task or a predetermined game corresponding to the operation terminal or the computer from at least two operation terminals or from at least one operation terminal and at least one computer. Means for receiving an operation signal for operating at least two industrial robots, means for causing the at least two industrial robots to execute the predetermined task or the predetermined game based on the operation signal, and an imaging device Means for displaying the image of the scene of the work or the competition by the at least two industrial robots on a display device of an operator of the operation terminal.

本発明によれば、産業用ロボットに対する関心を従来よりも向上することができる仲介装置および仲介方法を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the mediation apparatus and mediation method which can raise interest with respect to an industrial robot than before can be provided.

本発明の一実施形態に係るロボット操作システムの構成を示すブロック図である。It is a block diagram showing composition of a robot operation system concerning one embodiment of the present invention. 図1のゲーム装置に接続されるコントローラの外観図である。FIG. 2 is an external view of a controller connected to the game device of FIG. 1. (a)は図1のサーバ装置の制御部の構成を示すブロック図であり、(b)は(a)の制御部の機能的構成を示すブロック図である。2A is a block diagram illustrating a configuration of a control unit of the server device of FIG. 1, and FIG. 2B is a block diagram illustrating a functional configuration of the control unit of FIG. 2つのロボットに塗装作業を競わせている様子を示す図である。It is a figure showing signs that two robots are competing for a painting operation. (a)は操作者の表示装置に表示される参加勧誘表示の一例を示す図であり、(b)は操作者の表示装置に表示される塗装作業の現場を示す図である。(A) is a figure which shows an example of the participation invitation display displayed on a display device of an operator, (b) is a figure which shows the spot of the painting work displayed on a display device of an operator. 2つのロボットにビリヤードをプレイさせている様子を示す図である。It is a figure showing signs that two robots are playing billiards.

以下、本発明の一実施形態に係る仲介装置を有するロボット操作システムについて、図面を参照しながら説明する。以下に説明する仲介装置は、本発明の一実施形態に過ぎない。従って、本発明は以下の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で追加、削除および変更が可能である。   Hereinafter, a robot operation system having an intermediary device according to an embodiment of the present invention will be described with reference to the drawings. The mediation device described below is only one embodiment of the present invention. Therefore, the present invention is not limited to the following embodiments, and additions, deletions, and changes can be made without departing from the spirit of the present invention.

本実施形態においては、仲介装置の構成および機能がサーバ装置に割り当てられる態様について説明を行うが、その割り当てはこれに限定されるものではない。仲介装置の構成および機能を操作者が有するゲーム装置に割り当ててもよいし、産業用ロボットに割り当ててもよい。   In the present embodiment, a mode in which the configuration and functions of the mediation device are assigned to the server device will be described, but the assignment is not limited to this. The configuration and function of the mediation device may be assigned to a game device possessed by the operator, or may be assigned to an industrial robot.

本実施形態のロボット操作システム1は、少なくとも2人の操作者(例えばゲームプレイヤ)が、公知の各種ゲーム装置に接続されたコントローラを用いて通信ネットワークを介して対応する産業用ロボットを遠隔操作することで、当該産業用ロボット同士に所定の作業の遂行を競わせるものである。   In the robot operation system 1 of the present embodiment, at least two operators (for example, game players) remotely control a corresponding industrial robot via a communication network using a controller connected to various known game devices. This makes the industrial robots compete with each other to perform a predetermined task.

所定の作業とは、後述するように例えば塗装作業であってもよいし、その他にも例えばピッキング作業や弁当盛り付け作業、溶接作業等であってもよい。所定の作業は、その過程の少なくとも一部に作業(一定の目的および計画のもとに身体又は知能を使ってする仕事)を有するものであればよい。   The predetermined operation may be, for example, a painting operation as described later, or may be, for example, a picking operation, a lunch box filling operation, a welding operation, or the like. The predetermined task may be any task having a task (a task performed using the body or intelligence under a certain purpose and plan) in at least a part of the process.

図1は、本実施形態におけるロボット操作システム1の構成を説明するブロック図である。ロボット操作システム1は、例えばインターネットやLAN等の通信ネットワーク4を介して相互に通信可能なサーバ装置(仲介装置に相当)2、少なくとも2つのゲーム装置3、少なくとも2つの産業用ロボット5、および1又は複数の観戦装置6を含む。産業用ロボット5は、例えば垂直多関節型ロボット、水平多関節型ロボット、パラレルリンク型ロボット、極座標ロボット、円筒座標型ロボット、直角座標型ロボット等の産業用ロボットで構成され、アンテナ等の無線通信機能を有する。なお、ゲーム装置3の数と産業用ロボット5の数とは同じである。   FIG. 1 is a block diagram illustrating a configuration of a robot operation system 1 according to the present embodiment. The robot operation system 1 includes a server device (corresponding to an intermediary device) 2 capable of communicating with each other via a communication network 4 such as the Internet or a LAN, at least two game devices 3, at least two industrial robots 5, and 1 Or, it includes a plurality of watching devices 6. The industrial robot 5 is composed of an industrial robot such as a vertical articulated robot, a horizontal articulated robot, a parallel link robot, a polar coordinate robot, a cylindrical coordinate robot, a rectangular coordinate robot, and wireless communication such as an antenna. Has functions. Note that the number of game devices 3 and the number of industrial robots 5 are the same.

ゲーム装置3は、インターネット通信などの通信部32を備え、通信ネットワーク4に接続することができる。ゲーム装置3は、たとえば据え置き型のゲーム装置または携帯型ゲーム装置である。後述のコントローラ38が接続されたゲーム装置3が操作端末に相当する。操作端末は、公知の各種ゲーム装置の他に、例えば携帯情報端末(PDA(Personal Data Assistant))、スマートフォン、パーソナルコンピュータ、タブレット、およびロボット専用遠隔操作器を含む。   The game device 3 includes a communication unit 32 such as Internet communication, and can be connected to the communication network 4. The game device 3 is, for example, a stationary game device or a portable game device. The game device 3 to which a controller 38 described later is connected corresponds to an operation terminal. The operation terminal includes, for example, a portable information terminal (PDA (Personal Data Assistant)), a smartphone, a personal computer, a tablet, and a remote controller dedicated to a robot, in addition to various known game devices.

ゲーム装置3は、図1に示すようにバス30上に制御部31、通信部32、およびハードディスクまたはメモリーカード等の記憶部33を備える。制御部31は、後述のコントローラ38の操作に基づき産業用ロボット5を通信ネットワーク4を介して動作させ、当該産業用ロボット5に所定の作業を実行させる。このような制御部31は、CPU310、ROM(フラッシュメモリ)311、RAM312、画像プロセッサ313、音声プロセッサ314、および操作部315を備えている。   As shown in FIG. 1, the game apparatus 3 includes a control unit 31, a communication unit 32, and a storage unit 33 such as a hard disk or a memory card on a bus 30. The control unit 31 operates the industrial robot 5 via the communication network 4 based on an operation of a controller 38 described later, and causes the industrial robot 5 to execute a predetermined operation. The control unit 31 includes a CPU 310, a ROM (flash memory) 311, a RAM 312, an image processor 313, an audio processor 314, and an operation unit 315.

CPU310はゲーム装置3の各部の動作を制御する。ROM311には、ゲーム装置3の基本プログラム等が記憶されている。記憶部33には、遠隔操作によりロボットを動作させるためのプログラム(遠隔操作プログラム)や、各種ゲームを実行するためのプログラム(ゲームプログラム)等が記憶されている。RAM312には、CPU310がゲームプログラムを実行する際に使用されるワークエリアが設定される。なお、本実施形態では、記憶部33における上記遠隔操作プログラムの記憶は必須であるが、上記ゲームプログラムの記憶は必須ではない。   CPU 310 controls the operation of each unit of game device 3. The ROM 311 stores a basic program of the game apparatus 3 and the like. The storage unit 33 stores a program for operating the robot by remote operation (remote operation program), a program for executing various games (game program), and the like. In the RAM 312, a work area used when the CPU 310 executes the game program is set. In the present embodiment, the storage of the remote control program in the storage unit 33 is essential, but the storage of the game program is not essential.

画像プロセッサ313は、ゲーム画面を生成可能なGPU(Graphics Processing Unit)を備える。画像プロセッサ313には、ビデオRAM(VRAM)34が接続される。このVRAM34には表示装置35が接続されている。表示装置35は、後述の撮像装置CAにより撮像された、複数の産業用ロボット5による作業の現場の動画や静止画を通信部32を介して取得し表示する。なお、画像プロセッサ313は、CPU310の指示に従ってゲーム空間を生成する。表示装置35は、上記ゲーム空間における画像をゲーム画面として表示する機能も有する。   The image processor 313 includes a GPU (Graphics Processing Unit) capable of generating a game screen. A video RAM (VRAM) 34 is connected to the image processor 313. A display device 35 is connected to the VRAM 34. The display device 35 acquires and displays, via the communication unit 32, a moving image or a still image of a work site of the plurality of industrial robots 5 captured by the imaging device CA described later. Note that the image processor 313 generates a game space according to an instruction from the CPU 310. The display device 35 also has a function of displaying an image in the game space as a game screen.

音声プロセッサ314は、ゲーム音声を生成するDSP(Digital Signal Processor)を備える。音声プロセッサ314は、生成したゲーム音声をD/Aコンバータを含むアンプ36に送信する。アンプ36は、この音声信号を増幅してスピーカ37に送信する。   The audio processor 314 includes a DSP (Digital Signal Processor) that generates game audio. The sound processor 314 transmits the generated game sound to the amplifier 36 including the D / A converter. The amplifier 36 amplifies the audio signal and transmits the amplified audio signal to the speaker 37.

操作部315には、コントローラ38が接続されている。コントローラ38は、十字ボタン、プッシュスイッチ、ジョイスティック、マウス、キーボードおよびタッチパネルなどを含む。また、操作部315は、ユーザによるコントローラ38を介した操作信号を検出し、その操作信号をCPU310に送信する。   The controller 38 is connected to the operation unit 315. The controller 38 includes a cross button, a push switch, a joystick, a mouse, a keyboard, a touch panel, and the like. The operation unit 315 detects an operation signal from the user via the controller 38, and transmits the operation signal to the CPU 310.

通信部32は、通信ネットワーク4を介して産業用ロボット5との間で通信を行う。操作者は自身が所有するコントローラ38を操作することで、制御部31が通信部32を介して産業用ロボット5に動作指令を出す。これにより、操作者によるコントローラ38の操作により、産業用ロボット5が遠隔操作される。   The communication unit 32 performs communication with the industrial robot 5 via the communication network 4. By operating the controller 38 owned by the operator, the control unit 31 issues an operation command to the industrial robot 5 via the communication unit 32. Thereby, the industrial robot 5 is remotely operated by the operation of the controller 38 by the operator.

また、制御部31は、データ通信によってゲーム装置3とサーバ装置2との間で通信を行うことにより、ゲーム進行を実行し又はゲームプログラムのダウンロードなどを行う。   In addition, the control unit 31 executes a game progress or downloads a game program by performing communication between the game apparatus 3 and the server apparatus 2 by data communication.

図2は図1のゲーム装置3に接続されるコントローラ38の外観図である。図2に示すように、コントローラ38は略U字形をしている。操作者は、両翼部のハンドル101L,101Rを左右両手で把持して操作する。コントローラ38の左右上面には操作ボタン群110,120、アナログスティック112,122が設けられており、コントローラ38の右前面にはR1ボタン111、左前面にはL1ボタン121がそれぞれ設けられている。操作ボタン群110およびアナログスティック112は操作者の右手親指で操作され、操作ボタン群120およびアナログスティック122は操作者の左手親指で操作される。また、R1ボタン111、L1ボタン121は、それぞれ操作者の右手人指し指、左手人指し指で操作される。コントローラ38は、さらに操作ボタン群110と操作ボタン群120との間にタッチパッド130を備えている。   FIG. 2 is an external view of the controller 38 connected to the game apparatus 3 of FIG. As shown in FIG. 2, the controller 38 is substantially U-shaped. The operator operates the handle 101L, 101R of both wings while holding the handle with both left and right hands. Operation buttons 110 and 120 and analog sticks 112 and 122 are provided on the left and right upper surfaces of the controller 38. An R1 button 111 is provided on the right front of the controller 38, and an L1 button 121 is provided on the left front thereof. The operation button group 110 and the analog stick 112 are operated by the operator's right thumb, and the operation button group 120 and the analog stick 122 are operated by the operator's left thumb. The R1 button 111 and the L1 button 121 are operated by the right and left fingers of the operator, respectively. The controller 38 further includes a touch pad 130 between the operation button group 110 and the operation button group 120.

サーバ装置2は、図3(a)に示すように、例えばマイクロコントローラ、MPU、FPGA(Field Programmable Gate Array)、PLC(Programmable Logic Controller)、コンピュータ、又はパーソナルコンピュータ等で構成される制御部20を備えている。このような制御部20は、CPU21、ROM22、RAM23、記憶部24、および通信部25を備える。CPU21はサーバ装置2の各部の動作を制御する。ROM22には、サーバ装置2の基本プログラム等が記憶されている。記憶部24には、後記のレベル判定部26、勧誘部27、計測部28、受付部40、および切断部41を機能的に実現するためのプログラム等が記憶されている。なお、制御部20は集中制御を行う単独の演算器で構成されてもよく、分散制御を行う複数の演算器で構成されてもよい。また、レベル判定部26、勧誘部27、計測部28、受付部40、および切断部41を、論理回路等を用いたハードウエアにより実現してもよく、上記のようにソフトウェアと論理回路等を用いたハードウエアとの組み合わせによって実現してもよい。   As shown in FIG. 3A, the server device 2 includes a control unit 20 including, for example, a microcontroller, an MPU, a field programmable gate array (FPGA), a programmable logic controller (PLC), a computer, or a personal computer. Have. The control unit 20 includes a CPU 21, a ROM 22, a RAM 23, a storage unit 24, and a communication unit 25. The CPU 21 controls the operation of each unit of the server device 2. The ROM 22 stores a basic program of the server device 2 and the like. The storage unit 24 stores a program for functionally realizing a level determination unit 26, a solicitation unit 27, a measurement unit 28, a reception unit 40, and a cutting unit 41, which will be described later. The control unit 20 may be configured by a single arithmetic unit that performs centralized control, or may be configured by a plurality of arithmetic units that perform distributed control. Further, the level determination unit 26, the solicitation unit 27, the measurement unit 28, the reception unit 40, and the disconnection unit 41 may be realized by hardware using a logic circuit or the like. It may be realized by a combination with the used hardware.

図3(b)に示すように、サーバ装置2の制御部20は、機能的構成として、レベル判定部26、勧誘部27、計測部28、受付部40、および切断部41を有している。サーバ装置2における制御部20と記憶部24に記憶された所定のプログラムとの協働によって、レベル判定部26、勧誘部27、計測部28、受付部40、および切断部41が機能的に実現される。   As illustrated in FIG. 3B, the control unit 20 of the server device 2 includes a level determination unit 26, a solicitation unit 27, a measurement unit 28, a reception unit 40, and a disconnection unit 41 as functional components. . The level determining unit 26, the solicitation unit 27, the measuring unit 28, the receiving unit 40, and the disconnecting unit 41 are functionally implemented by cooperation of the control unit 20 and the predetermined program stored in the storage unit 24 in the server device 2. Is done.

ここで、図4に示すように、所定の作業として例えば塗装作業を2つの産業用ロボット5に実行させ、産業用ロボット5同士の間で作業開始から作業完了までに要した時間を競わせる場合について説明する。   Here, as shown in FIG. 4, a case where the two industrial robots 5 execute, for example, a painting operation as a predetermined operation, and the time required from the start of the operation to the completion of the operation is competed between the industrial robots 5. Will be described.

産業用ロボット5は、塗装装置本体である塗装ガン206と、移動装置であるマニピュレータ204と、後述のノズル207から吐出される塗料等の液体を塗装ガン206に供給する供給装置202と、マニピュレータ204の動作を制御する制御装置(ロボットコントローラ)201とを備えている。また、産業用ロボット5の近傍には、ワーク211を設置する設置台210が配置されている。なお、ワーク211の表面212を変色性物質を含む材料で構成し、塗装ガン206のノズル207から液体としての水をワーク211の表面212に吐出することで、当該表面212において水で濡れた部分を変色させて色付けするようにしてもよい。   The industrial robot 5 includes a coating gun 206 as a coating device main body, a manipulator 204 as a moving device, a supply device 202 for supplying a liquid such as paint discharged from a nozzle 207 described later to the coating gun 206, and a manipulator 204. And a control device (robot controller) 201 for controlling the operation of. An installation table 210 on which the work 211 is installed is arranged near the industrial robot 5. The surface 212 of the work 211 is made of a material containing a color-changing substance, and water as a liquid is discharged from the nozzle 207 of the coating gun 206 onto the surface 212 of the work 211, so that a portion of the surface 212 wetted with water is formed. May be discolored and colored.

制御装置201は、プロセッサを備えており、格納されたプログラムや外部から入力される各種信号の解読・演算処理などをプロセッサで行い、マニピュレータ204の動作制御、各種出力ポートからの信号出力などをつかさどる。   The control device 201 is provided with a processor, performs decoding and arithmetic processing of stored programs and various signals input from the outside by the processor, and controls operation of the manipulator 204, signal output from various output ports, and the like. .

塗装ガン206はマニピュレータ204の手首205に取り付けられている。ノズル207は塗装ガン206の先端部を構成しており、そこから塗料が吐出される。塗装ガン206は、駆動装置203によってノズル207からの塗料の吐出のON・OFFが制御され、また吐出量も制御される。この駆動装置5は制御装置201により制御される。   The painting gun 206 is attached to a wrist 205 of the manipulator 204. The nozzle 207 constitutes the tip of the coating gun 206, from which the paint is discharged. In the coating gun 206, ON / OFF of the discharge of the paint from the nozzle 207 is controlled by the driving device 203, and the discharge amount is also controlled. The driving device 5 is controlled by the control device 201.

塗装を施されるワーク211は設置台210上に設置されている。マニピュレータ204が動作することにより、ノズル207はこのワーク211の表面212の近傍を移動しつつ、その表面212に対して塗料を吐出する。これにより、ワーク211の表面212に塗装が行われる。   The work 211 to be coated is set on the setting table 210. When the manipulator 204 operates, the nozzle 207 ejects paint to the surface 212 of the workpiece 211 while moving near the surface 212 of the workpiece 211. As a result, the surface 212 of the work 211 is coated.

このように塗装作業等の作業を行う2つの産業用ロボット5は互いに近接して配置される。また、2つの産業用ロボット5に作業を行わせている現場はカメラ等の撮像装置CAにより撮像される。なお、図4では各産業用ロボット5に対応して撮像装置CAを設置している例を挙げたが、1つの撮像装置CAにより2つの産業用ロボット5が塗装作業を行っている現場を撮像してもよい。   In this way, the two industrial robots 5 that perform work such as painting work are arranged close to each other. Further, the site where the two industrial robots 5 are working is imaged by an imaging device CA such as a camera. Note that FIG. 4 shows an example in which the imaging devices CA are installed in correspondence with the industrial robots 5. However, one imaging device CA images the site where the two industrial robots 5 perform the painting operation. May be.

このような塗装作業を産業用ロボット5に競わせる場合、最初に、サーバ装置2の勧誘部27は、操作者のゲーム装置3の表示装置35に、作業への参加を勧誘するための表示を行わせる。この場合、図5(a)に示すように、表示装置35の表示画面35aには、「現在、参加できます!」等の、操作者に対して作業への参加を勧誘するメッセージ等が表示される。なお、上述の通り、本実施形態のロボット操作システム1は産業用ロボット5同士に所定の作業の遂行を競わせるものであるため、上記メッセージは、自身のゲーム装置3を通信ネットワーク4に接続している操作者が少なくとも2人いる場合に表示される。なお、サーバ装置2は上記メッセージをEメール等の他の手段によってゲーム装置3に送信するように構成してもよい。   When the industrial robot 5 competes for such a painting operation, first, the invitation unit 27 of the server device 2 displays a display for inviting the operator to participate in the operation on the display device 35 of the game device 3. Let it do. In this case, as shown in FIG. 5A, a message, such as "I can participate now!", Which invites the operator to participate in the work, is displayed on the display screen 35a of the display device 35. Is done. As described above, since the robot operation system 1 according to the present embodiment makes the industrial robots 5 compete with each other to perform a predetermined task, the message connects the own game device 3 to the communication network 4. This is displayed when there are at least two operators. The server device 2 may be configured to transmit the message to the game device 3 by another means such as an e-mail.

各操作者は表示装置35の表示画面35aを視認して産業用ロボット5による塗装作業に参加する場合には、コントローラ38の所定操作を行うことで参加意志を示す信号をサーバ装置2に送信することができる。サーバ装置2の受付部40は、操作者による作業への参加を受け付け、通信ネットワーク4を介してゲーム装置3と産業用ロボット5との接続を行う。この場合、サーバ装置2は操作者に所定のIDを付与し、当該操作者とIDとの対応関係を記憶してもよい。操作者はIDを入力することで上記参加を行うことができる。各操作者は自身のゲーム装置3が通信ネットワーク4を介して産業用ロボット5に接続された後、コントローラ38を操作することにより、対応する産業用ロボット5に塗装作業を行わせることができる。この場合、サーバ装置2の計測部28は作業開始から作業完了までに要した時間を計測する。また、サーバ装置2の制御部20は、計測部28により計測された作業開始から現在までの経過時間を、後述するように表示装置35の表示画面35aに表示させる。なお、産業用ロボット5の制御装置(ロボットコントローラ)201は、コントローラ38の各操作に基づく信号を変換した動作信号により産業用ロボット5の各動作を制御する。これにより、操作者はコントローラ38を操作することで産業用ロボット5に塗装作業における動作を行わせることができる。   When each operator visually recognizes the display screen 35 a of the display device 35 and participates in the painting work by the industrial robot 5, the controller 38 performs a predetermined operation to transmit a signal indicating the intention to participate to the server device 2. be able to. The receiving unit 40 of the server device 2 receives the participation of the operator in the work, and connects the game device 3 and the industrial robot 5 via the communication network 4. In this case, the server device 2 may assign a predetermined ID to the operator and store the correspondence between the operator and the ID. The operator can perform the above-mentioned participation by inputting the ID. Each operator can cause the corresponding industrial robot 5 to perform a painting operation by operating the controller 38 after the game device 3 of the operator is connected to the industrial robot 5 via the communication network 4. In this case, the measuring unit 28 of the server device 2 measures the time required from the start of the work to the completion of the work. In addition, the control unit 20 of the server device 2 causes the display screen 35a of the display device 35 to display the elapsed time from the start of the work measured by the measurement unit 28 to the present, as described later. The control device (robot controller) 201 of the industrial robot 5 controls each operation of the industrial robot 5 with an operation signal obtained by converting a signal based on each operation of the controller 38. Thereby, the operator can cause the industrial robot 5 to perform an operation in the painting operation by operating the controller 38.

各産業用ロボット5に塗装作業を競わせている際には、表示装置35は全ての産業用ロボット5(本実施形態では2つの産業用ロボット5)を含む現場の動画を表示する。具体的には、図5(b)に示すように、表示装置35の表示画面35aに、撮像装置CAにより撮像された、自身のゲーム装置3に対応する産業用ロボット5の作業現場の動画が表示されると共に、相手のゲーム装置3に対応する産業用ロボット5の作業現場の動画が表示される。図5(b)では、自身のゲーム装置3に対応する産業用ロボット5の塗装作業の進捗の方が、相手のゲーム装置3に対応する産業用ロボット5の塗装作業の進捗よりも早い例を示している。また、表示装置35の表示画面35aには、塗装作業完了の目標時間や塗装作業の開始から現在までの経過時間等も表示されてもよい。なお、図5(b)の表示画面35aでは、撮像装置CAにより撮像される産業用ロボット5および設置台210の画像の表示は省略している。   When each industrial robot 5 is competing for a painting operation, the display device 35 displays a moving image of the site including all the industrial robots 5 (two industrial robots 5 in this embodiment). Specifically, as shown in FIG. 5B, a moving image of the work site of the industrial robot 5 corresponding to the game device 3 of the user, which is captured by the imaging device CA, is displayed on the display screen 35a of the display device 35. At the same time, a moving image of the work site of the industrial robot 5 corresponding to the opponent game device 3 is displayed. FIG. 5B illustrates an example in which the progress of the painting operation of the industrial robot 5 corresponding to the own game apparatus 3 is faster than the progress of the painting operation of the industrial robot 5 corresponding to the opponent game apparatus 3. Is shown. In addition, the display screen 35a of the display device 35 may display a target time of the completion of the painting operation, an elapsed time from the start of the painting operation to the present, and the like. Note that, on the display screen 35a in FIG. 5B, the display of the images of the industrial robot 5 and the installation table 210 captured by the imaging device CA is omitted.

各産業用ロボット5による塗装作業が終了すると、レベル判定部26は、産業用ロボット5の塗装作業に関する所定の評価要素に基づき操作者の操作レベルを判定する。評価要素としては、例えば塗装作業のような作業の場合、作業完了に要した時間や作業の出来栄え等を採用することができる。塗装作業の出来ばえとは、例えば塗装の色合いや鮮明さ、枠線からのはみだし具合等を含むものである。   When the coating operation by each industrial robot 5 is completed, the level determination unit 26 determines the operation level of the operator based on a predetermined evaluation factor regarding the coating operation of the industrial robot 5. As an evaluation factor, for example, in the case of an operation such as a painting operation, the time required for completing the operation, the work quality, and the like can be adopted. The finish of the painting operation includes, for example, the color and clarity of the painting, the degree of protrusion from the frame, and the like.

また、上記のようにレベル判定部26により操作者の操作レベルが判定されるように構成したが、このような構成に加えて、図1に示すように通信ネットワーク4を介してサーバ装置2に接続可能な1又は複数の観戦装置6を設けることができる。この観戦装置6は、産業用ロボット5の作業状況の動画を表示できる表示部を有する機器、例えば携帯情報端末(PDA(Personal Data Assistant))、スマートフォン、パーソナルコンピュータ、およびタブレットのうちの何れか、或いは単なる入力装置で構成される。このような構成において、遠方にいる視聴者や作業現場に集まった観衆は、例えば産業用ロボット5の塗装作業の出来具合に対して観戦装置6を用いて点数(評価)を付与することができる。点数はサーバ装置2に送信され、レベル判定部26はその評価に基づき操作者の操作レベルを判定してもよい。産業用ロボット5による塗装作業の出来ばえについては、人によって感覚的な捉え方が異なるため、そのような評価に基づき操作者の操作レベルを多様に判定することができる。また、このように公開して観戦させることによって、世間のロボットに対する関心およびロボット操作についての関心を高めることができる。   Although the operation level of the operator is determined by the level determination unit 26 as described above, in addition to such a configuration, the server apparatus 2 via the communication network 4 as shown in FIG. One or a plurality of connectable watching devices 6 can be provided. The watching device 6 is a device having a display unit capable of displaying a moving image of the work status of the industrial robot 5, for example, any one of a personal digital assistant (PDA (Personal Data Assistant)), a smartphone, a personal computer, and a tablet. Alternatively, it is composed of a simple input device. In such a configuration, a viewer who is far away or a crowd who has gathered at the work site can give a score (evaluation) to the degree of the painting work of the industrial robot 5 using the watching apparatus 6. . The score is transmitted to the server device 2, and the level determination unit 26 may determine the operation level of the operator based on the evaluation. Regarding the quality of the painting work performed by the industrial robot 5, the perceptual perception differs depending on the person, and therefore, the operation level of the operator can be variously determined based on such evaluation. In addition, by making the public and watching the game in this way, it is possible to increase the public's interest in the robot and the interest in the robot operation.

また、例えば、塗装作業に要した時間帯ごとに対応付けされた複数の操作レベルを記憶部24に予め記憶させておいてもよい。この場合、レベル判定部26は勝者に対して具体的な操作レベルを認定すると共に、敗者に対しても具体的な操作レベルを認定する。つまり、勝者だけでなく、敗者に対しても所定の操作レベルが認定されるように構成してもよい。   In addition, for example, a plurality of operation levels associated with each time zone required for the painting operation may be stored in the storage unit 24 in advance. In this case, the level determination unit 26 certifies the specific operation level for the winner and also certifies the specific operation level for the loser. That is, the predetermined operation level may be recognized not only for the winner but also for the loser.

切断部41は、操作者のゲーム装置3からの連絡に応じて当該ゲーム装置3と産業用ロボット5との接続を切断する。   The disconnecting unit 41 disconnects the game device 3 from the industrial robot 5 in response to a communication from the game device 3 by the operator.

以上説明したように、本実施形態のロボット操作システム1におけるサーバ装置2によれば、操作者は、表示装置35に表示された産業用ロボット5による作業の現場の画像(静止画および動画を含む)を視認しながら、自身が所有するコントローラ38により産業用ロボット5を遠隔操作することで当該産業用ロボット5に作業を行わせることができる。これにより、操作者は、自宅や外出先等において産業用ロボット5を身近に操作することができる。このことによって、産業用ロボット5に対する関心を従来よりも向上することができる。したがって、産業用ロボット5を操作する人が増え、産業用ロボット5の普及が促進されることが期待される。   As described above, according to the server device 2 in the robot operation system 1 of the present embodiment, the operator can display images (including still images and moving images) of the work site of the industrial robot 5 displayed on the display device 35. The user can make the industrial robot 5 work by remotely operating the industrial robot 5 with the controller 38 owned by himself while visually recognizing). Thus, the operator can operate the industrial robot 5 at home, at home, or the like. Thereby, interest in the industrial robot 5 can be improved more than before. Therefore, it is expected that the number of people who operate the industrial robot 5 will increase and that the industrial robot 5 will be widely used.

また、本実施形態では、所定の評価要素に基づき操作者の操作レベルが判定されるので、当該操作者の操作スキルを把握することができる。これにより、産業用ロボット5を高スキルで操作できる操作者を確保し易くなり、このような操作者に対してロボット遠隔操作の仕事を依頼するといったビジネスモデルを構築することもできる。   Further, in the present embodiment, since the operation level of the operator is determined based on the predetermined evaluation factor, it is possible to grasp the operation skill of the operator. As a result, it is easy to secure an operator who can operate the industrial robot 5 with high skill, and it is also possible to construct a business model in which such an operator is requested to perform a task of robot remote operation.

また、本実施形態では、仲介装置であるサーバ装置2がレベル判定部25を有していることにより、産業用ロボット5を高スキルで操作できる操作者の情報を収集し易くなる。   Further, in the present embodiment, since the server device 2 as the mediation device includes the level determination unit 25, it becomes easy to collect information on operators who can operate the industrial robot 5 with high skill.

また、本実施形態では、表示装置35において全ての産業用ロボット5を含む現場の動画が表示されるので、操作者は相手側の産業用ロボット5の作業進捗を視認することができる。これにより、操作者は作業における集中力や情熱を高めることができることが期待される。   Further, in the present embodiment, since the moving image of the site including all the industrial robots 5 is displayed on the display device 35, the operator can visually recognize the work progress of the industrial robot 5 on the other side. Thus, it is expected that the operator can increase concentration and passion in the work.

また、本実施形態では、サーバ装置2の制御部20は塗装作業への参加を勧誘するための表示を表示装置35に行わせる勧誘部27を備えることで、操作者は表示装置35の表示画面35aにおける勧誘表示を視認して塗装作業に参加し易くなる。   Further, in the present embodiment, the control unit 20 of the server device 2 includes the solicitation unit 27 that causes the display device 35 to perform a display for inviting participation in the painting work. It becomes easy to participate in the painting work by visually recognizing the invitation display at 35a.

また、本実施形態では、操作者のゲーム装置3からの連絡に応じて、サーバ装置2の切断部41により当該ゲーム装置3と産業用ロボット5との接続が切断されるように構成されている。これにより、操作者は、抜けたい時に遠隔操作から抜けることができる。   In the present embodiment, the connection between the game device 3 and the industrial robot 5 is disconnected by the disconnecting unit 41 of the server device 2 in response to the operator's communication from the game device 3. . This allows the operator to exit the remote operation when he / she wants to exit.

さらに、本実施形態では、操作端末として、コントローラ38が接続されたゲーム装置3を採用することで、操作者は、専用の操作端末を購入しないで済むし、自宅等から産業用ロボット5を容易に遠隔操作することができるようになる。   Furthermore, in the present embodiment, by employing the game device 3 to which the controller 38 is connected as the operation terminal, the operator does not need to purchase a dedicated operation terminal, and can easily use the industrial robot 5 from home or the like. Remote control.

(他の実施形態)
上記実施形態では、各産業用ロボット5に所定の作業としての塗装作業を競わせる態様について説明したが、以下では各産業用ロボット5にスポーツやゲーム(マッチ)をはじめとする所定の競技を競わせる。
(Other embodiments)
In the above-described embodiment, a mode in which each industrial robot 5 competes for a painting operation as a predetermined operation has been described. Let

図6は2つの産業用ロボット5Aに所定の競技としてのビリヤードをプレイさせている様子を示す図である。なお、図6において図4と同じ構成要素には同一符号を付与し、その説明を省略する。   FIG. 6 is a diagram illustrating a state in which the two industrial robots 5A play billiards as a predetermined game. 6, the same components as those in FIG. 4 are denoted by the same reference numerals, and the description thereof will be omitted.

図6に示すように、マニピュレータ204の手首205にはハンド208が取り付けられている。このハンド208には、ビリヤードの球を打つためのキュー209が把持されている。制御装置201による制御によってマニピュレータ204が動作することにより、ビリヤードテーブル上の球をキュー209により打つことができる。各産業用ロボット5によるビリヤード競技が終了すると、レベル判定部26はビリヤード競技に係る評価要素に基づき操作者の操作レベルを判定する。この評価要素としては、例えば、勝敗が決まるのに要した時間やポケットに落とすことができた的玉の個数、ショットの正確さ(例えば、手玉を直接又は間接的に当てることができた的玉の個数)等を採用することができる。なお、図6のビリヤードテーブルの一部を断面図としている。   As shown in FIG. 6, a hand 208 is attached to a wrist 205 of the manipulator 204. The hand 208 holds a cue 209 for hitting a billiard ball. By operating the manipulator 204 under the control of the control device 201, a ball on the billiard table can be hit by the cue 209. When the billiard competition by each industrial robot 5 ends, the level determination unit 26 determines the operation level of the operator based on the evaluation factors related to the billiard competition. The evaluation factors include, for example, the time required to determine a win or the loss, the number of target balls that can be dropped in a pocket, the accuracy of a shot (for example, a target ball that can be hit directly or indirectly with a ball). And the like) can be adopted. A part of the billiard table in FIG. 6 is a sectional view.

上記所定の競技には、例えばテニスや野球のようなボールゲーム、走・跳・投の陸上競技、剣道や柔道のような格闘競技、スキーやスケートのような氷雪上の競技、競泳や飛び込みのような水上競技、ヨットやボートのような舟のスポーツ、自転車や自動車のような車のスポーツ、競技ダンス、および知的競技である将棋や囲碁等が含まれる。   The above-mentioned predetermined sports include, for example, ball games such as tennis and baseball, athletics such as running, jumping and throwing, fighting sports such as kendo and judo, ice and snow sports such as skiing and skating, swimming and diving. Such as water sports, boat sports such as yachts and boats, car sports such as bicycles and cars, competitive dance, and intellectual sports such as shogi and go.

また、上記実施形態では、複数の操作者のコントローラ38により産業用ロボット5,5Aの操作信号が与えられる態様について説明したが、他の実施形態としては、少なくとも1つの操作端末と少なくとも1つのコンピュータ(AI等を含む)とにより、産業用ロボット5,5Aの操作信号が与えられる。すなわち、操作者の相手側の少なくとも一つはコンピュータとなる。上記コンピュータはサーバ装置2が備えるが、これに限らず、ゲーム装置3又は産業用ロボット5,5Aが備えてもよい。   Further, in the above embodiment, the mode in which the operation signals of the industrial robots 5 and 5A are given by the controllers 38 of a plurality of operators has been described. However, in another embodiment, at least one operation terminal and at least one computer are provided. (Including AI, etc.), the operation signals of the industrial robots 5 and 5A are provided. That is, at least one of the opponents of the operator is a computer. The computer is provided in the server device 2, but is not limited thereto, and may be provided in the game device 3 or the industrial robots 5, 5A.

以上のような場合でも、上記実施形態と同様に産業用ロボット5,5Aに対する関心を従来よりも向上することができる。したがって、産業用ロボット5,5Aを操作する人が増え、産業用ロボット5,5Aの普及が促進されることが期待される。   Even in the case described above, the interest in the industrial robots 5 and 5A can be improved as compared with the related art, similarly to the above embodiment. Therefore, it is expected that the number of people who operate the industrial robots 5 and 5A increases, and that the use of the industrial robots 5 and 5A is promoted.

また、上記実施形態の産業用ロボット5,5Aを自走式のロボットとして構成してもよい。それにより、産業用ロボット5,5Aの動作範囲を広げることができる。   Further, the industrial robots 5 and 5A of the above embodiments may be configured as self-propelled robots. Thereby, the operation range of the industrial robots 5 and 5A can be expanded.

さらに、レベル判定部26は、操作者によるコントローラ38の同一の一連操作が所定時間内に行われた回数に基づき操作者の操作レベルを判定してもよい。一般的に、所定時間内におけるコントローラ38の同一の一連操作が多いほど、操作レベルが高いと考えられるためである。これにより、操作者の操作スキルをより高い精度で把握することができる。   Further, the level determination unit 26 may determine the operation level of the operator based on the number of times that the same series of operations of the controller 38 by the operator has been performed within a predetermined time. Generally, it is considered that the more the same series of operations of the controller 38 within the predetermined time, the higher the operation level. Thereby, the operation skill of the operator can be grasped with higher accuracy.

1 ロボット操作システム
2 サーバ装置(仲介装置)
3 ゲーム装置(操作端末)
4 通信ネットワーク
5,5A 産業用ロボット
6 観戦装置
26 レベル判定部
27 勧誘部
28 計測部
31 制御部
35 表示装置
38 コントローラ(操作端末)
40 受付部
41 切断部
CA 撮像装置
1 Robot operation system 2 Server device (mediation device)
3 Game device (operation terminal)
Reference Signs List 4 communication network 5, 5A industrial robot 6 watching device 26 level determination unit 27 solicitation unit 28 measurement unit 31 control unit 35 display device 38 controller (operation terminal)
40 reception unit 41 cutting unit CA imaging device

Claims (17)

少なくとも2つの操作端末から、又は、少なくとも1つの操作端末と少なくとも1つのコンピュータとから、前記操作端末又は前記コンピュータに各々対応し且つ所定の作業又は所定の競技を実行する少なくとも2つの産業用ロボットを操作するための操作信号を受信する処理と、
前記操作信号に基づき前記少なくとも2つの産業用ロボットに前記所定の作業又は前記所定の競技を実行させる処理と、
撮像装置によって撮像された前記少なくとも2つの産業用ロボットによる前記作業又は前記競技の現場の画像を前記操作端末の操作者が有する表示装置に表示させる処理と、を実行する、仲介装置。
From at least two operation terminals, or from at least one operation terminal and at least one computer, at least two industrial robots respectively corresponding to the operation terminal or the computer and executing a predetermined task or a predetermined competition. A process of receiving an operation signal for operation;
A process of causing the at least two industrial robots to execute the predetermined task or the predetermined game based on the operation signal;
Displaying the image of the site of the work or the competition by the at least two industrial robots captured by the imaging device on a display device of an operator of the operation terminal.
所定の評価要素に基づき前記操作者の操作レベルを判定する、請求項1に記載の仲介装置。   The mediation device according to claim 1, wherein an operation level of the operator is determined based on a predetermined evaluation factor. 前記産業用ロボットによる前記作業又は前記競技に対して評価を付与する観戦装置から前記評価を受け取り、前記評価に基づき前記操作者の操作レベルを判定する、請求項1又は2に記載の仲介装置。   The intermediary device according to claim 1, wherein the evaluation device receives the evaluation from a watching device that gives an evaluation to the work or the competition by the industrial robot, and determines an operation level of the operator based on the evaluation. 前記操作者の前記表示装置に前記作業又は前記競技への参加を勧誘するための開催画面を表示させる、請求項1乃至3の何れか1項に記載の仲介装置。   The mediation device according to any one of claims 1 to 3, wherein a holding screen for inviting the work or participation in the competition is displayed on the display device of the operator. 前記操作者による前記作業又は前記競技への参加を受け付け、前記操作端末と前記産業用ロボットとの接続を行う、請求項1乃至4の何れか1項に記載の仲介装置。   The mediation device according to any one of claims 1 to 4, wherein the operation device or the participation in the competition by the operator is received, and the operation terminal is connected to the industrial robot. 前記操作者の前記操作端末からの連絡に応じて前記操作端末と前記産業用ロボットとの接続を切断する、請求項1乃至5の何れか1項に記載の仲介装置。   The mediation device according to any one of claims 1 to 5, wherein a connection between the operation terminal and the industrial robot is disconnected in response to a notification from the operation terminal of the operator. 前記表示装置に全ての前記産業用ロボットを含む現場の画像を表示させる、請求項1乃至6の何れか1項に記載の仲介装置。   The mediation device according to claim 1, wherein an image of a site including all of the industrial robots is displayed on the display device. 前記操作端末として、コントローラが接続されたゲーム装置から前記操作信号を受信する、請求項1乃至7の何れか1項に記載の仲介装置。   The mediation device according to any one of claims 1 to 7, wherein the operation terminal receives the operation signal from a game device connected to a controller as the operation terminal. 少なくとも2つの操作端末から、又は、少なくとも1つの操作端末と少なくとも1つのコンピュータとから、前記操作端末又は前記コンピュータに各々対応し且つ所定の作業又は所定の競技を実行する少なくとも2つの産業用ロボットを操作するための操作信号を受信する工程と、
前記操作信号に基づき前記少なくとも2つの産業用ロボットに前記所定の作業又は前記所定の競技を実行させる工程と、
撮像装置によって撮像された前記少なくとも2つの産業用ロボットによる前記作業又は前記競技の現場の画像を前記操作端末の操作者が有する表示装置に表示させる工程と、を備える、仲介方法。
From at least two operation terminals, or from at least one operation terminal and at least one computer, at least two industrial robots respectively corresponding to the operation terminal or the computer and executing a predetermined task or a predetermined competition. Receiving an operation signal for operating;
Causing the at least two industrial robots to perform the predetermined task or the predetermined competition based on the operation signal;
Displaying an image of the site of the work or the competition by the at least two industrial robots captured by an imaging device on a display device of an operator of the operation terminal.
所定の評価要素に基づき前記操作者の操作レベルを判定する工程を備える、請求項9に記載の仲介方法。   The mediation method according to claim 9, further comprising determining an operation level of the operator based on a predetermined evaluation factor. 前記産業用ロボットによる前記作業又は前記競技に対して評価を付与する観戦装置から前記評価を受け取り、前記評価に基づき前記操作者の操作レベルを判定する工程を備える、請求項9又は10に記載の仲介方法。   The method according to claim 9, further comprising: receiving the evaluation from a watching apparatus that gives an evaluation to the work or the competition by the industrial robot, and determining an operation level of the operator based on the evaluation. Mediation method. 前記操作者の前記表示装置に前記作業又は前記競技への参加を勧誘するための開催画面を表示させる、請求項9乃至11の何れか1項に記載の仲介方法。   The mediation method according to any one of claims 9 to 11, wherein a holding screen for inviting the work or participation in the competition is displayed on the display device of the operator. 前記操作者による前記作業又は前記競技への参加を受け付け、前記操作端末と前記産業用ロボットとの接続を行う、請求項9乃至12の何れか1項に記載の仲介方法。   The mediation method according to any one of claims 9 to 12, wherein the operator or the participation in the competition is received, and the operation terminal is connected to the industrial robot. 前記操作者の前記操作端末からの連絡に応じて前記操作端末と前記産業用ロボットとの接続を切断する、請求項9乃至13の何れか1項に記載の仲介方法。   14. The mediation method according to claim 9, wherein the connection between the operation terminal and the industrial robot is disconnected in response to a communication from the operation terminal by the operator. 前記表示装置に全ての前記産業用ロボットを含む現場の画像を表示させる、請求項9乃至14の何れか1項に記載の仲介方法。   The mediation method according to claim 9, wherein an image of a site including all of the industrial robots is displayed on the display device. 前記操作端末としてコントローラが接続されたゲーム装置から前記操作信号を受信する、請求項9乃至15の何れか1項に記載の仲介方法。   16. The intermediation method according to claim 9, wherein the operation signal is received from a game device to which a controller is connected as the operation terminal. 少なくとも2つの操作端末から、又は、少なくとも1つの操作端末と少なくとも1つのコンピュータとから、前記操作端末又は前記コンピュータに各々対応し且つ所定の作業又は所定の競技を実行する少なくとも2つの産業用ロボットを操作するための操作信号を受信する手段と、
前記操作信号に基づき前記少なくとも2つの産業用ロボットに前記所定の作業又は前記所定の競技を実行させる手段と、
撮像装置によって撮像された前記少なくとも2つの産業用ロボットによる前記作業又は前記競技の現場の画像を前記操作端末の操作者が有する表示装置に表示させる手段と、を備える、仲介装置。
From at least two operation terminals, or from at least one operation terminal and at least one computer, at least two industrial robots respectively corresponding to the operation terminal or the computer and executing a predetermined task or a predetermined competition. Means for receiving an operation signal for operating;
Means for causing the at least two industrial robots to execute the predetermined task or the predetermined competition based on the operation signal;
Means for displaying, on a display device of an operator of the operation terminal, an image of the site of the work or the competition by the at least two industrial robots captured by an imaging device.
JP2019105753A 2018-08-10 2019-06-05 Mediation device and method Active JP7340964B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020217006466A KR102511813B1 (en) 2018-08-10 2019-08-09 Brokerage Devices and Brokerage Methods
CN201980046555.0A CN112423950B (en) 2018-08-10 2019-08-09 Mediating apparatus and mediating method
PCT/JP2019/031646 WO2020032257A1 (en) 2018-08-10 2019-08-09 Mediating device and mediating method
US17/266,870 US11978354B2 (en) 2018-08-10 2019-08-09 Intermediation device and intermediating method
TW108128599A TWI764031B (en) 2018-08-10 2019-08-12 Mediation device and mediation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018151917 2018-08-10
JP2018151917 2018-08-10

Publications (2)

Publication Number Publication Date
JP2020026027A true JP2020026027A (en) 2020-02-20
JP7340964B2 JP7340964B2 (en) 2023-09-08

Family

ID=69414224

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2019105752A Active JP7384575B2 (en) 2018-08-10 2019-06-05 Information processing device, intermediary device, simulation system, information processing method and program
JP2019105751A Active JP7281348B2 (en) 2018-08-10 2019-06-05 TRAINING PROCESSING DEVICE, INTERMEDIATION DEVICE, TRAINING SYSTEM AND TRAINING PROCESSING METHOD
JP2019105728A Active JP7333204B2 (en) 2018-08-10 2019-06-05 Information processing device, robot operating system, and robot operating method
JP2019105753A Active JP7340964B2 (en) 2018-08-10 2019-06-05 Mediation device and method
JP2019105754A Active JP7281349B2 (en) 2018-08-10 2019-06-05 remote control system
JP2020535925A Active JP7130752B2 (en) 2018-08-10 2019-08-09 robot system

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2019105752A Active JP7384575B2 (en) 2018-08-10 2019-06-05 Information processing device, intermediary device, simulation system, information processing method and program
JP2019105751A Active JP7281348B2 (en) 2018-08-10 2019-06-05 TRAINING PROCESSING DEVICE, INTERMEDIATION DEVICE, TRAINING SYSTEM AND TRAINING PROCESSING METHOD
JP2019105728A Active JP7333204B2 (en) 2018-08-10 2019-06-05 Information processing device, robot operating system, and robot operating method

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2019105754A Active JP7281349B2 (en) 2018-08-10 2019-06-05 remote control system
JP2020535925A Active JP7130752B2 (en) 2018-08-10 2019-08-09 robot system

Country Status (7)

Country Link
US (2) US12027060B2 (en)
EP (1) EP3835007A4 (en)
JP (6) JP7384575B2 (en)
KR (1) KR102518131B1 (en)
CN (1) CN112469539B (en)
TW (1) TWI782223B (en)
WO (1) WO2020032265A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115361930A (en) * 2020-04-10 2022-11-18 川崎重工业株式会社 Medical mobile body system and method for operating the same
JP7448024B2 (en) * 2020-09-25 2024-03-12 日本電気株式会社 Control device, control method and program
JP2022131206A (en) * 2021-02-26 2022-09-07 川崎重工業株式会社 Information processing device, learning device, information processing system, and robot system
KR102453962B1 (en) * 2021-12-10 2022-10-14 김판수 System for providing action tracking platform service for master and slave robot
GB2622622A (en) * 2022-09-23 2024-03-27 Rolls Royce Plc Robot control

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001087559A (en) * 1999-09-20 2001-04-03 Casio Comput Co Ltd Game network system and net game device
JP2001178960A (en) * 1999-12-27 2001-07-03 Kawasaki Heavy Ind Ltd Robot game method and game device
JP2003265852A (en) * 2003-03-10 2003-09-24 Konami Co Ltd Game server device, game management method and game management program
JP2009213754A (en) * 2008-03-12 2009-09-24 Taito Corp Match game system
US20090291764A1 (en) * 2008-05-21 2009-11-26 George Francis Kirkman System and apparatus for a controlled toy to interact with a computer game
US20120238366A1 (en) * 2011-03-15 2012-09-20 Maurice Tedder Robot Game for Multiple Players that is Remotely Controlled over a Network
JP2015173978A (en) * 2014-11-28 2015-10-05 グリー株式会社 Game program, game processing method, and information processing apparatus

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51106455A (en) * 1975-03-15 1976-09-21 Nobumasa Kobayashi SEISANDOSAPITSUCHIKAISUJIDOHYOJISOCHI
JPS60181803A (en) * 1984-02-28 1985-09-17 Shin Meiwa Ind Co Ltd Control method of industrial robot
US5046022A (en) * 1988-03-10 1991-09-03 The Regents Of The University Of Michigan Tele-autonomous system and method employing time/position synchrony/desynchrony
JPH0639753A (en) * 1991-09-18 1994-02-15 Fujitsu Ltd Remote control supporting device for robot
JP2002108975A (en) 2000-10-02 2002-04-12 Komatsu Ltd Construction quantity managing system
JP4363058B2 (en) 2003-02-25 2009-11-11 株式会社安川電機 Motor, motor control device, motor control system, and motor identification method
JP4438927B2 (en) 2003-04-08 2010-03-24 株式会社バンダイナムコゲームス Simulator, program and information storage medium
JP4196400B2 (en) 2003-04-22 2008-12-17 株式会社安川電機 Motor control device and control method
JP2006051586A (en) * 2004-08-13 2006-02-23 Speecys Kk Robot control system
JP4823509B2 (en) 2004-11-05 2011-11-24 日立電子サービス株式会社 Educational navigation system
JP2007183332A (en) 2006-01-05 2007-07-19 Advanced Telecommunication Research Institute International Operation training device
JP5064835B2 (en) * 2007-02-28 2012-10-31 株式会社アルバック Substrate transfer device
JP5083617B2 (en) 2008-01-31 2012-11-28 澁谷工業株式会社 Remote control robot device
CN101623867B (en) * 2008-07-11 2010-12-01 中国科学院沈阳自动化研究所 Device and method for making robot track given route at high accuracy
JP2010131711A (en) * 2008-12-05 2010-06-17 Honda Motor Co Ltd Method of controlling robot arm
CN102362302B (en) 2009-03-20 2016-01-06 约翰斯·霍普金斯大学 For the method and system of quantifying technical skill
CN103702631A (en) 2011-05-05 2014-04-02 约翰霍普金斯大学 Method and system for analyzing a task trajectory
JP5838873B2 (en) 2012-03-15 2016-01-06 オムロン株式会社 Simulation device, simulation method, and simulation program
EP2829371A1 (en) * 2012-03-22 2015-01-28 Kabushiki Kaisha Yaskawa Denki Work robot and robot system
JP5975704B2 (en) * 2012-04-10 2016-08-23 曙機械工業株式会社 Work index display device and work index display method using the device
EP2875914A1 (en) * 2012-07-20 2015-05-27 Kabushiki Kaisha Yaskawa Denki Robot simulator, robot teaching device and robot teaching method
US9623561B2 (en) * 2012-10-10 2017-04-18 Kenneth Dean Stephens, Jr. Real time approximation for robotic space exploration
IL224273B (en) * 2013-01-17 2018-05-31 Cohen Yossi Delay compensation while controlling a remote sensor
US11281207B2 (en) * 2013-03-19 2022-03-22 Robotic Research Opco, Llc Delayed telop aid
JP6140522B2 (en) * 2013-05-10 2017-05-31 株式会社富士通アドバンストエンジニアリング Evaluation support method, evaluation support apparatus, and evaluation support program
JP5740433B2 (en) * 2013-05-24 2015-06-24 日本電信電話株式会社 Delay compensation apparatus, method, program, and recording medium
JP2015047666A (en) 2013-09-02 2015-03-16 トヨタ自動車株式会社 Remote operation device and operation image display method
US9300430B2 (en) * 2013-10-24 2016-03-29 Harris Corporation Latency smoothing for teleoperation systems
JP6358463B2 (en) * 2013-11-13 2018-07-18 パナソニックIpマネジメント株式会社 Master device for master-slave device, control method therefor, and master-slave device
US9579799B2 (en) * 2014-04-30 2017-02-28 Coleman P. Parker Robotic control system using virtual reality input
JP2015220574A (en) * 2014-05-16 2015-12-07 ソニー株式会社 Information processing system, storage medium, and content acquisition method
JP6350037B2 (en) 2014-06-30 2018-07-04 株式会社安川電機 Robot simulator and robot simulator file generation method
EP3217912A4 (en) 2014-11-13 2018-04-25 Intuitive Surgical Operations, Inc. Integrated user environments
DE102014118001A1 (en) * 2014-12-05 2016-06-09 Broetje-Automation Gmbh Method for simulating the motion of a manipulator
US9550120B2 (en) * 2014-12-08 2017-01-24 Cubic Corporation Toll image review gamification
SG11201703982SA (en) * 2014-12-26 2017-06-29 Kawasaki Heavy Ind Ltd Robot system
JP6494331B2 (en) * 2015-03-03 2019-04-03 キヤノン株式会社 Robot control apparatus and robot control method
US9808933B2 (en) * 2015-04-03 2017-11-07 GM Global Technology Operations LLC Robotic system with reconfigurable end-effector assembly
JP6240689B2 (en) 2015-07-31 2017-11-29 ファナック株式会社 Machine learning device, robot control device, robot system, and machine learning method for learning human behavior pattern
WO2017033361A1 (en) * 2015-08-25 2017-03-02 川崎重工業株式会社 Robot system and operation method thereof
JP6365478B2 (en) * 2015-09-17 2018-08-01 株式会社安川電機 Transfer system and transfer method
JP6386516B2 (en) 2016-01-14 2018-09-05 ファナック株式会社 Robot device with learning function
US10525596B2 (en) * 2016-02-11 2020-01-07 Darryl Hammock Teleoperated robot for flood-welding operations
CN111832702A (en) * 2016-03-03 2020-10-27 谷歌有限责任公司 Deep machine learning method and device for robot grabbing
US10322506B2 (en) * 2016-05-06 2019-06-18 Kindred Systems Inc. Systems, devices, articles, and methods for using trained robots
US10220511B2 (en) * 2016-07-28 2019-03-05 X Development Llc Customized robotic installation based on measurements collected on site
FR3054468B1 (en) * 2016-07-29 2018-08-31 Staubli Faverges METHOD FOR CONTROLLING A ROBOT FOR INDUSTRIAL USE
JP6640060B2 (en) * 2016-09-27 2020-02-05 株式会社日立製作所 Robot system
JP6506245B2 (en) * 2016-12-26 2019-04-24 ファナック株式会社 Machine learning apparatus and part assembling system for learning assembling operation
JP2018126798A (en) * 2017-02-06 2018-08-16 セイコーエプソン株式会社 Control device, robot, and robot system
JP6846950B2 (en) * 2017-03-03 2021-03-24 株式会社キーエンス Robot simulation equipment, robot simulation methods, robot simulation programs, computer-readable recording media, and recording equipment
JP6902369B2 (en) * 2017-03-15 2021-07-14 株式会社オカムラ Presentation device, presentation method and program, and work system
CN107020636A (en) * 2017-05-09 2017-08-08 重庆大学 A kind of Learning Control Method for Robot based on Policy-Gradient
US11559898B2 (en) * 2017-10-06 2023-01-24 Moog Inc. Teleoperation system, method, apparatus, and computer-readable medium
TWM559195U (en) * 2017-10-13 2018-05-01 Shi Ru Ling Physicalized scene mobile game assembly
CN107803841B (en) * 2017-10-17 2020-11-17 深圳市一棵大树国际教育科技有限公司 Intelligent teaching correction method and system based on robot

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001087559A (en) * 1999-09-20 2001-04-03 Casio Comput Co Ltd Game network system and net game device
JP2001178960A (en) * 1999-12-27 2001-07-03 Kawasaki Heavy Ind Ltd Robot game method and game device
JP2003265852A (en) * 2003-03-10 2003-09-24 Konami Co Ltd Game server device, game management method and game management program
JP2009213754A (en) * 2008-03-12 2009-09-24 Taito Corp Match game system
US20090291764A1 (en) * 2008-05-21 2009-11-26 George Francis Kirkman System and apparatus for a controlled toy to interact with a computer game
US20120238366A1 (en) * 2011-03-15 2012-09-20 Maurice Tedder Robot Game for Multiple Players that is Remotely Controlled over a Network
JP2015173978A (en) * 2014-11-28 2015-10-05 グリー株式会社 Game program, game processing method, and information processing apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANDERSSON, RUSSELL L.: "Aggressive Trajectory Generator for a Robot Ping-Pong Player", IEEE CONTROL SYSTEMS MAGAZINE, vol. Volume 9, Issue 2, JPN6019040643, February 1989 (1989-02-01), pages 15 - 20, ISSN: 0005026776 *

Also Published As

Publication number Publication date
JP7340964B2 (en) 2023-09-08
CN112469539B (en) 2024-02-13
JP2020026028A (en) 2020-02-20
JP7384575B2 (en) 2023-11-21
EP3835007A1 (en) 2021-06-16
TWI782223B (en) 2022-11-01
JP2020026024A (en) 2020-02-20
JP7281348B2 (en) 2023-05-25
TW202012131A (en) 2020-04-01
JP2020026026A (en) 2020-02-20
US12027060B2 (en) 2024-07-02
EP3835007A4 (en) 2022-06-08
JP7333204B2 (en) 2023-08-24
KR102518131B1 (en) 2023-04-05
US20210316461A1 (en) 2021-10-14
KR20210041040A (en) 2021-04-14
CN112469539A (en) 2021-03-09
JP7130752B2 (en) 2022-09-05
JPWO2020032265A1 (en) 2021-08-10
JP2020026025A (en) 2020-02-20
JP7281349B2 (en) 2023-05-25
WO2020032265A1 (en) 2020-02-13
US20210201692A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
JP7340964B2 (en) Mediation device and method
JP4626182B2 (en) Battle game processing method, battle game system, program thereof, and storage medium
JP5751594B2 (en) Virtual golf simulation apparatus and method
KR101546666B1 (en) A screen baseball system operating method
US10918944B2 (en) Game system with virtual camera adjustment based on video output connection status and system orientation, and counterpart storage medium having stored therein game program, game apparatus, and game processing method
JP2011206442A (en) Game system, program, and information storage medium
JP6534198B2 (en) Game system, game processing method, game device and game program
US11020675B2 (en) Storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
KR101681274B1 (en) A baseball screen integration platform and an implementing method thereof
KR101572525B1 (en) A screen baseball game operating and controlling device
JP2020018633A (en) Game program, method, and information processing device
JP2019097600A (en) Game program, method, and information processing device
WO2020032257A1 (en) Mediating device and mediating method
JP3894937B2 (en) PROGRAM, INFORMATION STORAGE MEDIUM, AND GAME DEVICE
US12023587B2 (en) Storage medium, information processing system, information processing apparatus, and game processing method
KR20180064142A (en) Screen game method and screen game apparatus linking online and offline
JP2019209103A (en) Game program, game method, and information processing device
JP3982636B2 (en) NETWORK GAME SYSTEM, GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM
US20240058701A1 (en) Storage medium, information processing system, information processing apparatus, and game processing method
JP2020099448A (en) Game program, method, and information processing apparatus
JP6503046B1 (en) Game program, method, and information processing apparatus
KR101582054B1 (en) Gate ball game system based on motion
JP2019208920A (en) Game program, game method, and information processing device
JP7441251B2 (en) Game program, game device, game system, and game processing method
JP6722226B2 (en) Program, game device and server system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190619

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230704

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230829

R150 Certificate of patent or registration of utility model

Ref document number: 7340964

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150