JP2019153252A - Work system and control method by work system - Google Patents

Work system and control method by work system Download PDF

Info

Publication number
JP2019153252A
JP2019153252A JP2018040206A JP2018040206A JP2019153252A JP 2019153252 A JP2019153252 A JP 2019153252A JP 2018040206 A JP2018040206 A JP 2018040206A JP 2018040206 A JP2018040206 A JP 2018040206A JP 2019153252 A JP2019153252 A JP 2019153252A
Authority
JP
Japan
Prior art keywords
unit
travel
slave
master
traveling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018040206A
Other languages
Japanese (ja)
Other versions
JP7113634B2 (en
Inventor
佳一 山下
Keiichi Yamashita
佳一 山下
聡 麻生
Satoshi Aso
聡 麻生
雅比古 有田
Masahiko Arita
雅比古 有田
健士 渡邊
Kenji Watanabe
健士 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Okamura Corp
Original Assignee
Okamura Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Okamura Corp filed Critical Okamura Corp
Priority to JP2018040206A priority Critical patent/JP7113634B2/en
Publication of JP2019153252A publication Critical patent/JP2019153252A/en
Application granted granted Critical
Publication of JP7113634B2 publication Critical patent/JP7113634B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

To provide a remote control work system having a remotely controllable master part and slave part and capable of efficiently performing communication connection between the master part and the slave part.SOLUTION: A work system has a plurality of slave device; at least one master device; and a control device, each of the plurality of slave devices includes: a gripping mechanism that grips an object and moves the object to a predetermined position based on a grip control signal received from the master device; a travel mechanism capable of gripping the object and moving the object to the predetermined position and traveling to a travel destination; and a travel control part controlling the travel by the travel mechanism, the master device includes a grip control part that detects operation performed by an operator and transmits a grip control signal according to the detected operation to the slave device, and the control device includes a communication control part that determines, as the slave device that has completed the travel to the travel destination, the transmission destination to which the master device transmits the grip control signal.SELECTED DRAWING: Figure 1

Description

本発明は、作業システム及び作業システムによる制御方法に関する。   The present invention relates to a work system and a control method using the work system.

対象物を把持するロボットとして自律的に対象物を把持するロボット、遠隔操作に基づいて対象物を把持するロボットなどさまざまなロボットがある。
特許文献1には、関連する技術として、移動ロボットに関する技術が記載されている。
There are various types of robots that can grasp an object such as a robot that autonomously grasps an object and a robot that grasps an object based on remote operation.
Patent Document 1 describes a technique related to a mobile robot as a related technique.

特許第5429901号公報Japanese Patent No. 5429901

ところで、遠隔操作される移動ロボットは、マスタ部とスレーブ部とで構成される。対象物の把持が遠隔操作によって行われる場合、マスタ部とスレーブ部との接続の組み合わせをどのようにするかによって作業システムにおける効率が変化する。
そのため、作業システムにおいて、マスタ部とスレーブ部との間の通信接続を効率よく行うことのできる技術が求められている。
By the way, a mobile robot that is remotely operated includes a master unit and a slave unit. When the object is gripped by remote operation, the efficiency in the work system varies depending on the combination of connection between the master unit and the slave unit.
Therefore, there is a need for a technique that can efficiently perform communication connection between a master unit and a slave unit in a work system.

本発明は、上記の課題を解決することのできる作業システム及び作業システムによる制御方法を提供することを目的としている。   An object of this invention is to provide the working system which can solve said subject, and the control method by a working system.

本発明の第1の態様によれば、作業システムは、複数のスレーブ装置と、少なくとも1つのマスタ装置と、制御装置とを有する作業システムであって、前記複数のスレーブ装置のそれぞれは、前記マスタ装置から受信する把持制御信号に基づいて対象物を把持して所定の位置まで移動させる把持機構と、前記対象物を把持して所定の位置まで移動させることのできる走行先まで走行可能な走行機構と、前記走行機構による走行を制御する走行制御部と、を備え、前記マスタ装置は、操作者が行う操作を検出し、検出した操作に応じた前記把持制御信号を前記スレーブ装置へ送信する把持制御部、を備え、前記制御装置は、前記マスタ装置が前記把持制御信号を送信する送信先を、前記走行先までの走行を完了した状態の前記スレーブ装置と決定する通信制御部、を備える。   According to the first aspect of the present invention, the work system is a work system having a plurality of slave devices, at least one master device, and a control device, wherein each of the plurality of slave devices is the master device. A gripping mechanism that grips an object and moves it to a predetermined position based on a grip control signal received from the apparatus, and a travel mechanism that can travel to a travel destination that can grip the object and move it to a predetermined position And a traveling control unit that controls traveling by the traveling mechanism, and the master device detects an operation performed by an operator and transmits the grip control signal according to the detected operation to the slave device. A control unit, wherein the control device determines that a transmission destination to which the master device transmits the grip control signal is the slave device in a state where traveling to the traveling destination is completed. A communication control unit which comprises a.

本発明の第2の態様によれば、第1の態様における作業システムにおいて、前記通信制御部は、前記マスタ装置が前記把持制御信号を送信する送信先を、前記走行先までの走行を完了した前記スレーブ装置の順のスレーブ装置と決定するものであってもよい。   According to the second aspect of the present invention, in the work system according to the first aspect, the communication control unit has completed traveling to the travel destination as a transmission destination to which the master device transmits the grip control signal. The slave device may be determined in the order of the slave devices.

本発明の第3の態様によれば、第1の態様における作業システムにおいて、前記通信制御部は、前記マスタ装置が前記把持制御信号を送信する送信先を、前記対象物の注文が取得され当該注文の取得した順に前記対象物の置かれた走行先へ走行した前記スレーブ装置の順のスレーブ装置と決定するものであってもよい。   According to a third aspect of the present invention, in the work system according to the first aspect, the communication control unit obtains a destination to which the master device transmits the grip control signal, and an order for the object is acquired. The slave device may be determined as the slave device in the order of the slave device that has traveled to the travel destination where the object is placed in the order in which the order is acquired.

本発明の第4の態様によれば、第1の態様または第3の態様における作業システムにおいて、前記複数のスレーブ装置のうちの少なくとも1つは、前記走行先に基づいて、前記スレーブ装置の現在位置から前記走行先まで当該スレーブ装置を走行させる走行制御信号を特定する走行制御信号特定部、を備え、当該複数のスレーブ装置のうちの少なくとも1つが備える前記走行制御部は、前記走行制御信号を前記走行機構に出力するものであってもよい。   According to a fourth aspect of the present invention, in the work system according to the first aspect or the third aspect, at least one of the plurality of slave devices is a current state of the slave device based on the travel destination. A travel control signal identifying unit that identifies a travel control signal that causes the slave device to travel from a position to the travel destination, and the travel control unit included in at least one of the plurality of slave devices includes the travel control signal You may output to the said travel mechanism.

本発明の第5の態様によれば、第4の態様における作業システムにおいて、前記制御装置は、前記スレーブ装置の現在位置から前記走行先まで当該スレーブ装置を走行させる経路を特定する経路特定部と、前記経路を当該スレーブ装置に送信する送信部と、を備え、前記走行制御部は、前記送信部が送信した前記経路に基づいて前記走行機構による走行を制御するものであってもよい。   According to a fifth aspect of the present invention, in the work system according to the fourth aspect, the control device specifies a route for causing the slave device to travel from the current position of the slave device to the destination. A transmission unit that transmits the route to the slave device, and the traveling control unit may control traveling by the traveling mechanism based on the route transmitted by the transmitting unit.

本発明の第6の態様によれば、第5の態様における作業システムにおいて、前記制御装置は、前記対象物についての注文を取得する注文取得部、を備え、前記経路特定部は、前記注文取得部が取得した前記注文に基づいて前記経路を特定するものであってもよい。   According to a sixth aspect of the present invention, in the work system according to the fifth aspect, the control device includes an order acquisition unit that acquires an order for the object, and the route specifying unit includes the order acquisition. The route may be specified based on the order acquired by the department.

本発明の第7の態様によれば、第1の態様から第6の態様の何れか1つにおける作業システムにおいて、前記通信制御部は、前記スレーブ装置が所定の状態になった場合に、当該スレーブ装置以外の他のスレーブ装置であって、前記走行機構によって前記走行先までの走行を完了した状態のスレーブ装置を特定し、特定した前記スレーブ装置を、前記マスタ装置が前記把持制御信号を送信する送信先のスレーブ装置と決定するものであってもよい。   According to a seventh aspect of the present invention, in the work system according to any one of the first aspect to the sixth aspect, the communication control unit is configured such that when the slave device is in a predetermined state, A slave device other than the slave device, the slave device that has completed the travel to the travel destination by the travel mechanism is identified, and the master device transmits the grip control signal to the identified slave device The transmission destination slave device may be determined.

本発明の第8の態様によれば、第1の態様から第7の態様の何れか1つにおける作業システムにおいて、前記把持制御部は、人工知能を備え、当該人工知能による演算結果に基づいて、前記把持機構に前記対象物を把持させるものであってもよい。   According to an eighth aspect of the present invention, in the work system according to any one of the first aspect to the seventh aspect, the grip control unit includes artificial intelligence, based on a calculation result by the artificial intelligence. The gripping mechanism may grip the object.

本発明の第9の態様によれば、作業システムによる制御方法は、少なくとも1つのマスタ装置と、前記マスタ装置から受信する把持制御信号に基づいて対象物を把持して所定の位置まで移動させる把持機構、及び、前記把持機構によって前記対象物を把持して所定の位置まで移動させることのできる走行先まで走行可能な走行機構を有する複数のスレーブ装置と、制御装置とを有する作業システムによる制御方法であって、前記複数のスレーブ装置のそれぞれは、前記走行機構による走行を制御し、前記制御装置は、前記マスタ装置が前記把持制御信号を送信する送信先を前記走行先までの走行を完了した状態の前記スレーブ装置と決定し、前記マスタ装置は、操作者が行う操作を検出し、検出した操作に応じた前記把持制御信号を前記スレーブ装置へ送信する。   According to the ninth aspect of the present invention, the control method by the work system includes gripping that grips an object and moves it to a predetermined position based on at least one master device and a grip control signal received from the master device. A control method by a work system having a mechanism, a plurality of slave devices having a travel mechanism capable of traveling to a travel destination that can be gripped and moved to a predetermined position by the gripping mechanism, and a control device Each of the plurality of slave devices controls traveling by the traveling mechanism, and the control device completes traveling to the traveling destination as a transmission destination to which the master device transmits the grip control signal. The master device is determined to be the slave device in a state, and the master device detects an operation performed by an operator and sends the grip control signal corresponding to the detected operation to the thread device. And transmits it to the blanking apparatus.

本発明の態様によれば、遠隔操作可能なマスタ部とスレーブ部とを有する遠隔作業システムにおいて、マスタ部とスレーブ部との間の通信接続を効率よく行うことができる。   According to the aspect of the present invention, in a remote work system having a remotely operable master unit and slave unit, communication connection between the master unit and the slave unit can be efficiently performed.

本発明の第1の実施形態による作業システムの構成の一例を示す図である。It is a figure which shows an example of a structure of the work system by the 1st Embodiment of this invention. 本発明の第1の実施形態によるスレーブ部の構成の一例を示す図である。It is a figure which shows an example of a structure of the slave part by the 1st Embodiment of this invention. 本発明の第1の実施形態による走行制御信号の特定を説明するための図である。It is a figure for demonstrating specification of the traveling control signal by the 1st Embodiment of this invention. 本発明の第1の実施形態によるマスタ部の構成の一例を示す図である。It is a figure which shows an example of a structure of the master part by the 1st Embodiment of this invention. 本発明の第1の実施形態による管理サーバの構成の一例を示す図である。It is a figure which shows an example of a structure of the management server by the 1st Embodiment of this invention. 本発明の第1の実施形態による作業システムの処理フローを示す第1の図である。It is the 1st figure showing the processing flow of the work system by a 1st embodiment of the present invention. 本発明の第1の実施形態による作業システムの処理フローを示す第2の図である。It is a 2nd figure which shows the processing flow of the work system by the 1st Embodiment of this invention. 本発明の第2の実施形態によるスレーブ部の一例を示す図である。It is a figure which shows an example of the slave part by the 2nd Embodiment of this invention. 本発明の第3の実施形態における作業システムの処理フローを示す第1の図である。It is a 1st figure which shows the processing flow of the work system in the 3rd Embodiment of this invention. 本発明の第3の実施形態における作業システムの処理フローを示す第2の図である。It is a 2nd figure which shows the processing flow of the work system in the 3rd Embodiment of this invention. 本発明の別の実施形態におけるマスタ部の一例を示す図である。It is a figure which shows an example of the master part in another embodiment of this invention. 少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the computer which concerns on at least 1 embodiment.

<第1の実施形態>
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
なお、本発明の第1の実施形態では、作業システム1が設けられる作業場に複数の棚が置かれている。各棚には物品が置かれており、スレーブ部が作業場内の目的の棚まで走行して目的の対象物を把持する。対象物とは、注文された物品のことである。スレーブ部による把持は、マスタ部によって遠隔操作される。
(作業システム1の構成)
本発明の第1の実施形態による作業システム1の構成について説明する。
本発明の第1の実施形態による作業システム1は、スレーブ部10とマスタ部20との間の通信接続を対応付けて記憶するシステムである。作業システム1は、図1に示すように、複数のスレーブ部10(スレーブ装置の一例)と、マスタ部20(マスタ装置の一例)と、管理サーバ30(制御装置の一例)と、ネットワークNWと、を備える。
<First Embodiment>
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
In the first embodiment of the present invention, a plurality of shelves are placed in a work place where the work system 1 is provided. An article is placed on each shelf, and the slave unit travels to the target shelf in the work place and grips the target object. An object is an ordered item. The gripping by the slave unit is remotely operated by the master unit.
(Configuration of work system 1)
A configuration of the work system 1 according to the first embodiment of the present invention will be described.
The work system 1 according to the first embodiment of the present invention is a system that stores a communication connection between the slave unit 10 and the master unit 20 in association with each other. As shown in FIG. 1, the work system 1 includes a plurality of slave units 10 (an example of a slave device), a master unit 20 (an example of a master device), a management server 30 (an example of a control device), a network NW, .

(スレーブ部10の構成)
各スレーブ部10は、マスタ部20とは異なる場所(図1に示す例では倉庫A内)に配置されるロボットである。スレーブ部10は、倉庫A内の対象物Iの置かれている位置(例えば、対象物Iの置かれている棚の位置)まで走行する。ここでの対象物Iとは、例えば、通信回線を介して注文された商品である。
対象物Iの置かれている位置までの走行が完了するとスレーブ部10には、管理サーバ30によってネットワークNWを介してマスタ部20が接続される。マスタ部20が接続されたスレーブ部10は、マスタ部20からネットワークNWを介して受信する把持制御信号に従って動作する。ここでの動作とは、対象物Iを所定の位置(例えば、注文された商品を発送するための容器M内)まで移動させる動作である。スレーブ部10がマスタ部20から把持制御信号を受信し、スレーブ部10がその把持制御信号に従って動作する場合、スレーブ部10とマスタ部20とは、マスタ・スレーブ型の遠隔作業システムを構成する。スレーブ部10は、図2に示すように、通信部101と、撮影部102と、把持部103(把持機構の一例)と、走行機構104と、走行制御部105(走行制御信号特定部の一例)と、胴体106と、記憶部107と、を備える。
(Configuration of slave unit 10)
Each slave unit 10 is a robot arranged in a place different from the master unit 20 (in the warehouse A in the example shown in FIG. 1). The slave unit 10 travels to the position where the object I is placed in the warehouse A (for example, the position of the shelf where the object I is placed). The object I here is, for example, a product ordered via a communication line.
When the travel to the position where the object I is placed is completed, the master unit 20 is connected to the slave unit 10 by the management server 30 via the network NW. The slave unit 10 to which the master unit 20 is connected operates according to a grip control signal received from the master unit 20 via the network NW. The operation here is an operation of moving the object I to a predetermined position (for example, in the container M for shipping the ordered product). When the slave unit 10 receives a grip control signal from the master unit 20 and the slave unit 10 operates according to the grip control signal, the slave unit 10 and the master unit 20 constitute a master-slave type remote work system. As shown in FIG. 2, the slave unit 10 includes a communication unit 101, an imaging unit 102, a gripping unit 103 (an example of a gripping mechanism), a travel mechanism 104, and a travel control unit 105 (an example of a travel control signal specifying unit). ), A body 106, and a storage unit 107.

通信部101は、ネットワークNWを介してマスタ部20と通信を行う。通信部101がマスタ部20と通信を行いスレーブ部10とマスタ部20とマスタ・スレーブ型の遠隔作業システムを構成する。   The communication unit 101 communicates with the master unit 20 via the network NW. The communication unit 101 communicates with the master unit 20 to configure the slave unit 10, the master unit 20, and a master / slave type remote work system.

撮影部102は、胴体106に設けられ、把持可能な範囲を撮影する。スレーブ部10が対象物Iの置かれた位置まで走行することで、撮影部102は、把持する対象物Iを撮影する。撮影部102が撮影する画像は、物体が立体的に見える立体画像である。例えば、立体画像は、視差を有する2つの画像から成るステレオ画像である。また、例えば、立体画像は、奥行き情報を有する3次元グラフィックからなる画像である。撮影部102は、撮影した画像を通信部101を介してマスタ部20に送信する。   The photographing unit 102 is provided on the body 106 and photographs a grippable range. As the slave unit 10 travels to the position where the object I is placed, the imaging unit 102 images the object I to be gripped. An image photographed by the photographing unit 102 is a stereoscopic image in which an object looks three-dimensional. For example, the stereoscopic image is a stereo image composed of two images having parallax. Further, for example, a stereoscopic image is an image made up of three-dimensional graphics having depth information. The imaging unit 102 transmits the captured image to the master unit 20 via the communication unit 101.

把持部103は、胴体106に設けられ、マスタ部20から通信部101を介して受信した把持制御信号に従って動作する。ここでの動作は、例えば、対象物Iを把持し、その対象物Iを所定の位置まで移動させる動作である。把持部103は、例えば、ロボットアームである。   The grip unit 103 is provided on the body 106 and operates according to a grip control signal received from the master unit 20 via the communication unit 101. The operation here is, for example, an operation of gripping the object I and moving the object I to a predetermined position. The grip part 103 is, for example, a robot arm.

走行機構104は、胴体106を支持し、走行可能に構成される。走行機構104は、例えば倉庫A内の対象物Iが置かれた場所(対象物Iを所定の位置まで移動できる状態となる走行先)までスレーブ部10を走行可能とする機構である。走行機構104は、走行制御部105から走行制御信号を受け、受けた走行制御信号に応じた速度と方向で走行する。走行機構104は、例えば、車輪、無限軌道、ホバークラフト(登録商標)などを含む機構である。   The traveling mechanism 104 is configured to support the body 106 and be able to travel. The traveling mechanism 104 is a mechanism that enables the slave unit 10 to travel to a place where the object I in the warehouse A is placed (a travel destination where the object I can be moved to a predetermined position). The traveling mechanism 104 receives a traveling control signal from the traveling control unit 105 and travels at a speed and direction according to the received traveling control signal. The traveling mechanism 104 is a mechanism including wheels, an endless track, a hovercraft (registered trademark), and the like.

走行制御部105は、管理サーバ30から対象物Iが置かれているスレーブ部10の走行先の情報を取得する。走行制御部105は、取得したスレーブ部10の走行先の情報に基づいて、スレーブ部10の現在位置から走行先までスレーブ部10を走行させる走行制御信号を特定する。
具体的には、例えば、走行制御部105は、所定の場所において起動したスレーブ部10の走行履歴に基づいて現在位置を特定する。なお、走行制御部105が走行履歴に基づいてスレーブ部10の現在位置を特定できない場合、例えば、走行経路上の位置を示すマークが設けられている場所まで走行し、そのマークを読み取って現在位置を特定する。スレーブ部10の現在位置から走行先までの走行経路は、例えば、予め記憶部107に書き込まれている。走行制御部105は、記憶部107から走行経路を読み出すことによって、自律走行によって現在位置から走行先までスレーブ部10を走行させる。
The travel control unit 105 acquires information on the travel destination of the slave unit 10 where the object I is placed from the management server 30. The travel control unit 105 specifies a travel control signal that causes the slave unit 10 to travel from the current position of the slave unit 10 to the travel destination based on the acquired travel destination information of the slave unit 10.
Specifically, for example, the traveling control unit 105 identifies the current position based on the traveling history of the slave unit 10 activated at a predetermined location. When the travel control unit 105 cannot identify the current position of the slave unit 10 based on the travel history, for example, the travel control unit 105 travels to a place where a mark indicating a position on the travel route is provided, reads the mark, and reads the current position. Is identified. The travel route from the current position of the slave unit 10 to the travel destination is written in the storage unit 107 in advance, for example. The travel control unit 105 reads the travel route from the storage unit 107 to cause the slave unit 10 to travel from the current position to the travel destination by autonomous travel.

記憶部107は、スレーブ部10が行う種々の処理に必要な情報を記憶する。記憶部107は、例えば、図3に示すような、スレーブ部10の走行経路上のある位置を示す第1の位置と別の位置を示す第2の位置との組み合わせ(図3に示す例では、第1の位置a1と第2の位置b1との組み合わせ、及び、第1の位置a2と第2の位置b2との組み合わせ)と、その組み合わせが示す第1の位置から第2の位置までの走行経路(図3に示す例では、走行経路c1及びc2)と、スレーブ部10にその走行経路を走行させる走行制御信号(図3に示す例では、走行制御信号sig1及びsig2)とを関連付けて記憶する。   The storage unit 107 stores information necessary for various processes performed by the slave unit 10. The storage unit 107 is, for example, a combination of a first position indicating a certain position on the travel route of the slave unit 10 and a second position indicating another position as illustrated in FIG. 3 (in the example illustrated in FIG. 3). , A combination of the first position a1 and the second position b1, and a combination of the first position a2 and the second position b2, and from the first position to the second position indicated by the combination The travel route (the travel routes c1 and c2 in the example shown in FIG. 3) and the travel control signal that causes the slave unit 10 to travel the travel route (the travel control signals sig1 and sig2 in the example shown in FIG. 3) are associated with each other. Remember.

(マスタ部20の構成)
マスタ部20は、スレーブ部10とは異なる場所(図1に示す例では操作者Oの勤務先である操作センタB)に配置される。マスタ部20は、スレーブ部10を動作させる制御信号を生成する。マスタ部20は、生成した制御信号をスレーブ部10に送信する。マスタ部20は、図4に示すように、通信部201と、画像再生部202と、操作入力部203と、を備える。
(Configuration of master unit 20)
The master unit 20 is arranged at a different location from the slave unit 10 (in the example shown in FIG. 1, the operation center B that is the work place of the operator O). The master unit 20 generates a control signal for operating the slave unit 10. The master unit 20 transmits the generated control signal to the slave unit 10. As shown in FIG. 4, the master unit 20 includes a communication unit 201, an image reproduction unit 202, and an operation input unit 203.

通信部201は、ネットワークNWを介してスレーブ部10及び管理サーバ30と通信を行う。
具体的には、通信部201は、管理サーバ30から接続指示信号を受信する。接続指示信号には、マスタ部20の識別子とスレーブ部10の識別子が含まれている。通信部201は、受信した接続指示信号の指示するスレーブ部10と通信を行う。
なお、通信を行うマスタ部20とスレーブ部10との組み合わせが変更される場合、変更された時刻と共にそれぞれの識別子が管理サーバ30に書き込まれる。
The communication unit 201 communicates with the slave unit 10 and the management server 30 via the network NW.
Specifically, the communication unit 201 receives a connection instruction signal from the management server 30. The connection instruction signal includes the identifier of the master unit 20 and the identifier of the slave unit 10. The communication unit 201 communicates with the slave unit 10 instructed by the received connection instruction signal.
In addition, when the combination of the master unit 20 and the slave unit 10 that perform communication is changed, each identifier is written in the management server 30 together with the changed time.

画像再生部202は、通信部201を介して操作対象のスレーブ部10から立体画像を受信する。画像再生部202は、受信した立体画像を表示する。画像再生部202は、例えば、立体画像を仮想現実(Virtual Reality)、拡張現実(Augmented Reality)、または、複合現実(Mixed Reality)と呼ばれる空間において立体画像を表示する。画像再生部202は、例えば、ヘッドマウントディスプレイ(Head Mounted Display)やスマートグラスなどである。   The image playback unit 202 receives a stereoscopic image from the slave unit 10 to be operated via the communication unit 201. The image reproduction unit 202 displays the received stereoscopic image. For example, the image reproduction unit 202 displays a stereoscopic image in a space called virtual reality, augmented reality, or mixed reality. The image reproducing unit 202 is, for example, a head mounted display or smart glass.

操作入力部203(把持制御部の一例)は、操作者Oが行う把持操作を検出する。操作入力部203は、検出した把持操作に応じた把持制御信号を通信部201を介して把持操作対象のスレーブ部10及び管理サーバ30に送信する。操作者Oが行う把持操作とは、例えば、画像再生部202が表示する立体画像を見ながら対象物Iを把持し、その対象物Iを所定の位置まで移動させる操作である。   The operation input unit 203 (an example of a grip control unit) detects a grip operation performed by the operator O. The operation input unit 203 transmits a grip control signal corresponding to the detected gripping operation to the slave unit 10 and the management server 30 that are the gripping operation target via the communication unit 201. The gripping operation performed by the operator O is, for example, an operation of gripping the target object I while viewing the stereoscopic image displayed by the image reproduction unit 202 and moving the target object I to a predetermined position.

(管理サーバ30の構成)
管理サーバ30は、図5に示すように、通信部301(送信部の一例)と、記憶部302と、把持操作管理部303(通信制御部の一例)と、走行操作管理部304(通信制御部の一例、注文取得部の一例)と、記憶部302と、を備える。
(Configuration of the management server 30)
As shown in FIG. 5, the management server 30 includes a communication unit 301 (an example of a transmission unit), a storage unit 302, a gripping operation management unit 303 (an example of a communication control unit), and a travel operation management unit 304 (communication control). Unit, an example of an order acquisition unit), and a storage unit 302.

通信部301は、ネットワークNWを介してスレーブ部10及びマスタ部20と通信を行う。
記憶部302は、マスタ部20の識別子と、そのマスタ部20の走行操作の対象であるスレーブ部10の識別子とを関連付けて記憶する。また、記憶部302は、マスタ部20の識別子と、そのマスタ部20の把持操作の対象であるスレーブ部10の識別子とを関連付けて記憶する。なお、マスタ部20とスレーブ部10との組み合わせが変更される場合、記憶部302は、変更された時刻と共にそれぞれの識別子を記憶する。
The communication unit 301 communicates with the slave unit 10 and the master unit 20 via the network NW.
The storage unit 302 stores the identifier of the master unit 20 and the identifier of the slave unit 10 that is the target of the driving operation of the master unit 20 in association with each other. In addition, the storage unit 302 stores the identifier of the master unit 20 and the identifier of the slave unit 10 that is the target of the gripping operation of the master unit 20 in association with each other. In addition, when the combination of the master part 20 and the slave part 10 is changed, the memory | storage part 302 memorize | stores each identifier with the changed time.

把持操作管理部303は、走行先までの走行が完了したスレーブ部10へ把持を制御する把持制御信号をマスタ部20から送信できるように通信を接続する。例えば、把持操作管理部303は、走行先までの走行を完了した順に、接続先のスレーブ部10の識別子をマスタ部20に通知し、マスタ部20がその識別子のスレーブ部10にアクセスすることによって、マスタ部20がスレーブ部10へ把持制御信号を送信できるようにスレーブ部10と1対1の通信を行う。また、例えば、把持操作管理部303は、対象物Iの注文順に、走行先までの走行を完了したスレーブ部10の識別子をマスタ部20に通知し、マスタ部20がその識別子のスレーブ部10にアクセスすることによって、マスタ部20がスレーブ部10へ把持制御信号を送信できるようにスレーブ部10と1対1の通信を行う。
走行操作管理部304は、購入希望者Pが対象物Iを購入する操作を行ったパーソナルコンピュータPCから注文内容を受け取る。走行操作管理部304は、注文内容に応じたスレーブ部10の走行先を示す情報をスレーブ部10に送信する。
記憶部302は、管理サーバ30が行う種々の処理に必要な情報を記憶する。例えば、記憶部302は、注文内容に含まれる対象物Iの識別子と、その識別子が示す対象物Iが置かれているスレーブ部10の走行先(例えば、商品棚の位置)とを関連付けて記憶する。
The grip operation management unit 303 connects communication so that a grip control signal for controlling grip can be transmitted from the master unit 20 to the slave unit 10 that has traveled to the travel destination. For example, the gripping operation management unit 303 notifies the master unit 20 of the identifier of the slave unit 10 that is the connection destination in the order in which the travel to the travel destination is completed, and the master unit 20 accesses the slave unit 10 of the identifier. The master unit 20 performs one-to-one communication with the slave unit 10 so that the master unit 20 can transmit a grip control signal to the slave unit 10. Further, for example, the gripping operation management unit 303 notifies the master unit 20 of the identifier of the slave unit 10 that has completed the travel to the travel destination in the order of the object I, and the master unit 20 notifies the slave unit 10 of the identifier. By accessing, the master unit 20 performs one-to-one communication with the slave unit 10 so that the master unit 20 can transmit a grip control signal to the slave unit 10.
The travel operation management unit 304 receives the order contents from the personal computer PC on which the purchase applicant P has performed an operation of purchasing the object I. The travel operation management unit 304 transmits information indicating the travel destination of the slave unit 10 according to the order contents to the slave unit 10.
The storage unit 302 stores information necessary for various processes performed by the management server 30. For example, the storage unit 302 stores the identifier of the target object I included in the order contents and the travel destination (for example, the position of the product shelf) of the slave unit 10 where the target object I indicated by the identifier is placed. To do.

(作業システム1の処理)
次に、本発明の第1の実施形態による作業システム1の処理について説明する。
ここでは、図6A、6Bに示す本発明の第1の実施形態による作業システム1の処理フローについて説明する。
(Processing of work system 1)
Next, processing of the work system 1 according to the first embodiment of the present invention will be described.
Here, the processing flow of the work system 1 according to the first embodiment of the present invention shown in FIGS. 6A and 6B will be described.

購入希望者Pがショッピングサイトで対象物Iを注文する(購入する)手続きを行ったとする。
走行操作管理部304は、対象物Iを注文する手続きが行われる度に、例えば購入希望者Pが操作するパーソナルコンピュータPCから、注文内容を受け取る(ステップS1)。走行操作管理部304は、受け取った注文内容から対象物Iを特定する(ステップS2)。走行操作管理部304は、記憶部302において、注文内容から特定した対象物Iと同一の対象物Iを特定する(ステップS3)。走行操作管理部304は、記憶部302において特定した対象物Iに関連付けられているスレーブ部10の走行先を特定する(ステップS4)。走行操作管理部304は、特定したスレーブ部10の走行先の情報を、走行中でなく、かつ、把持操作中でないスレーブ部10のうちの何れか1つに送信する(ステップS5)。例えば、走行操作管理部304は、スレーブ部10の走行先の情報とともにスレーブ部10の識別子の情報を、走行中でなく、かつ、把持操作中でないスレーブ部10のうちの何れか1つに送信することによって、特定のスレーブ部10に走行先の情報を送信することが可能となる。なお、走行操作管理部304は、例えば、送信中の把持制御信号を把持操作管理部303に問い合わせることによって、走行中でなく、かつ、把持操作中でないスレーブ部10を知ることができる。
It is assumed that the purchase applicant P performs a procedure for ordering (purchasing) the object I at the shopping site.
Each time the procedure for ordering the object I is performed, the travel operation management unit 304 receives the order content from, for example, the personal computer PC operated by the purchase applicant P (step S1). The traveling operation management unit 304 identifies the object I from the received order content (step S2). The traveling operation management unit 304 identifies the same object I as the object I identified from the order details in the storage unit 302 (step S3). The travel operation management unit 304 identifies the travel destination of the slave unit 10 associated with the object I identified in the storage unit 302 (step S4). The traveling operation management unit 304 transmits information on the identified traveling destination of the slave unit 10 to any one of the slave units 10 that are not traveling and are not performing a gripping operation (step S5). For example, the travel operation management unit 304 transmits the information on the identifier of the slave unit 10 together with the travel destination information of the slave unit 10 to any one of the slave units 10 that are not traveling and are not performing a gripping operation. By doing so, it becomes possible to transmit the information of the travel destination to the specific slave unit 10. The traveling operation management unit 304 can know the slave unit 10 that is not traveling and is not performing a gripping operation, for example, by inquiring the gripping operation management unit 303 about the grip control signal being transmitted.

走行操作管理部304は、管理サーバ30を、新たな注文内容及び走行先の情報を送信したスレーブ部10の走行完了報知信号を受け取れる状態にする(ステップS6)。具体的には、走行操作管理部304は、走行操作管理部304自身を、新たな注文内容を受け取れる状態にし、把持操作管理部303を、スレーブ部10の走行先までの走行を完了したスレーブ部10から、その走行の完了を示す走行完了報知信号を受信できる状態にする。なお、走行完了報知信号は、走行が完了したスレーブ部10の識別子の情報を含む。   The traveling operation management unit 304 sets the management server 30 in a state where it can receive the traveling completion notification signal of the slave unit 10 that has transmitted the new order details and the traveling destination information (step S6). Specifically, the travel operation management unit 304 sets the travel operation management unit 304 itself to be able to receive new order contents, and sets the grip operation management unit 303 to the slave unit that has completed the travel to the travel destination of the slave unit 10. 10, the vehicle is in a state where it can receive a travel completion notification signal indicating the completion of the travel. The travel completion notification signal includes information on the identifier of the slave unit 10 that has traveled.

管理サーバ30は、所定時間後(例えば、1秒後)に、新たな注文内容を受け取ったか否かを判定する(ステップS7)。具体的には、走行操作管理部304は、所定時間後に、新たな注文内容を受け取ったか否かを判定する。   The management server 30 determines whether a new order has been received after a predetermined time (for example, after 1 second) (step S7). Specifically, the traveling operation management unit 304 determines whether a new order content has been received after a predetermined time.

走行操作管理部304は、新たな注文内容を受け取ったと判定した場合(ステップS7においてYES)、ステップS2の処理に戻す。
また、走行操作管理部304が新たな注文内容を受け取っていないと判定した場合(ステップS7においてNO)、把持操作管理部303は、スレーブ部10の何れかから走行完了報知信号を受け取ったか否かを判定する(ステップS8)。
If it is determined that new order details have been received (YES in step S7), traveling operation management unit 304 returns to the process in step S2.
If it is determined that the travel operation management unit 304 has not received new order contents (NO in step S7), the grip operation management unit 303 has received a travel completion notification signal from any of the slave units 10. Is determined (step S8).

把持操作管理部303は、走行完了報知信号を受け取っていないと判定した場合(ステップS8においてNO)、ステップS7の処理に戻す。
また、把持操作管理部303は、走行完了報知信号を受け取ったと判定した場合(ステップS8においてYES)、マスタ部20と走行を完了したスレーブ部10との間の通信を確立させるステップS15の処理に進める。なお、ステップS15のマスタ部20と走行の完了したスレーブ部10との間の通信を確立させる処理についての詳細は、後述する。
When it is determined that the travel completion notification signal has not been received (NO in step S8), the grip operation management unit 303 returns to the process in step S7.
In addition, when it is determined that the travel completion notification signal has been received (YES in step S8), the gripping operation management unit 303 establishes communication between the master unit 20 and the slave unit 10 that has completed travel in step S15. Proceed. Details of the process for establishing communication between the master unit 20 and the slave unit 10 that has completed traveling in step S15 will be described later.

走行制御部105は、管理サーバ30がステップS5の処理によって送信したスレーブ部10の走行先の情報を取得する(ステップS9)。走行制御部105は、取得したスレーブ部10の走行先の情報に基づいて、現在位置から走行先までスレーブ部10を走行させる走行制御信号を記憶部107において特定する(ステップS10)。例えば、走行制御部105は、スレーブ部10の現在位置が第1の位置a1であり、取得したスレーブ部10の走行先の情報がスレーブ部10の走行先として第2の位置b1を示す場合、記憶部107が記憶する図3に示すような関連を示す情報において走行制御信号sig1を特定する。
走行制御部105は、特定した走行制御信号を走行機構104に出力する(ステップS11)。
The travel control unit 105 acquires the travel destination information of the slave unit 10 transmitted by the management server 30 through the process of step S5 (step S9). The travel control unit 105 identifies a travel control signal for causing the slave unit 10 to travel from the current position to the travel destination based on the acquired travel destination information of the slave unit 10 (step S10). For example, when the current position of the slave unit 10 is the first position a1 and the acquired travel destination information of the slave unit 10 indicates the second position b1 as the travel destination of the slave unit 10, The travel control signal sig1 is specified in the information indicating the relationship as shown in FIG.
The traveling control unit 105 outputs the identified traveling control signal to the traveling mechanism 104 (step S11).

走行機構104は、走行制御部105から走行制御信号を受ける(ステップS12)。走行機構104は、受けた走行制御信号に応じた速度と方向で、スレーブ部10を現在位置から走行先まで走行させる(ステップS13)。   The traveling mechanism 104 receives a traveling control signal from the traveling control unit 105 (step S12). The travel mechanism 104 causes the slave unit 10 to travel from the current position to the travel destination at a speed and direction according to the received travel control signal (step S13).

走行制御部105は、スレーブ部10が現在位置から走行先までの走行を終えると、走行先までの走行が完了したことを報知する走行完了報知信号を管理サーバ30に送信する(ステップS14)。   When the slave unit 10 finishes traveling from the current position to the travel destination, the travel control unit 105 transmits a travel completion notification signal for notifying that the travel to the travel destination is completed to the management server 30 (step S14).

ステップS8の処理において、把持操作管理部303は、走行完了報知信号を受け取ったと判定した場合、マスタ部20と走行が完了したスレーブ部10との間の通信を確立させる通信確立指令をマスタ部20に送信する(ステップS15)。例えば、把持操作管理部303は、走行先までの走行を完了した順に、接続先のスレーブ部10の識別子を含む通信確立指令をマスタ部20に通知する。また、例えば、把持操作管理部303は、対象物Iの注文順に、走行先までの走行を完了したスレーブ部10の識別子を含む通信確立指令をマスタ部20に通知する。   In step S8, when the gripping operation management unit 303 determines that the traveling completion notification signal has been received, the master unit 20 issues a communication establishment command for establishing communication between the master unit 20 and the slave unit 10 that has completed traveling. (Step S15). For example, the gripping operation management unit 303 notifies the master unit 20 of a communication establishment command including the identifier of the connection destination slave unit 10 in the order in which the travel to the travel destination is completed. Further, for example, the gripping operation management unit 303 notifies the master unit 20 of a communication establishment command including the identifier of the slave unit 10 that has completed the travel to the travel destination in the order of the object I.

マスタ部20の通信部201は、管理サーバ30から通信確立指令を受信する(ステップS16)。マスタ部20の通信部201は、通信確立指令に応じて、走行が完了したスレーブ部10へ把持制御信号を送信できるようにスレーブ部10と1対1の通信を行うために、その走行先までの走行が完了したスレーブ部10との間の通信を確立する(ステップS17)。操作者Oは、画像再生部202が表示する立体画像を見ながら対象物Iを把持し、その対象物Iを所定の位置まで移動させる操作を行う。
操作入力部203は、操作者Oが行う把持操作を検出する(ステップS18)。操作入力部203は、検出した把持操作に応じた把持制御信号を通信部201を介して把持操作対象のスレーブ部10及び管理サーバ30に送信する(ステップS19)。把持制御信号は、スレーブ部10の識別子を含む。
The communication unit 201 of the master unit 20 receives a communication establishment command from the management server 30 (step S16). In response to the communication establishment command, the communication unit 201 of the master unit 20 performs one-to-one communication with the slave unit 10 so that a grip control signal can be transmitted to the slave unit 10 that has completed traveling. Communication is established with the slave unit 10 that has completed the travel (step S17). The operator O performs an operation of grasping the target object I while viewing the stereoscopic image displayed by the image reproduction unit 202 and moving the target object I to a predetermined position.
The operation input unit 203 detects a grip operation performed by the operator O (step S18). The operation input unit 203 transmits a grip control signal corresponding to the detected grip operation to the slave unit 10 and the management server 30 that are targets of the grip operation via the communication unit 201 (step S19). The grip control signal includes the identifier of the slave unit 10.

把持操作管理部303は、マスタ部20から把持制御信号を受信する(ステップS20)。把持操作管理部303は、受信した時刻と把持制御信号に含まれるスレーブ部10の識別子とを関連付けて記憶部302に書き込む(ステップS21)。把持操作管理部303が受信した時刻と把持制御信号に含まれるスレーブ部10の識別子とを関連付けて記憶部302に書き込むことにより、例えば、経営者は、操作者Oの作業内容を把握することができ、操作者Oの賃金や査定などに反映させることができる。   The grip operation management unit 303 receives a grip control signal from the master unit 20 (step S20). The gripping operation management unit 303 associates the received time with the identifier of the slave unit 10 included in the gripping control signal and writes it in the storage unit 302 (step S21). By writing the time received by the gripping operation management unit 303 and the identifier of the slave unit 10 included in the gripping control signal in association with each other in the storage unit 302, for example, the manager can grasp the work contents of the operator O. It can be reflected in the wage and assessment of the operator O.

また、把持部103は、マスタ部20から通信部101を介して把持制御信号を受信する(ステップS22)。把持部103は、受信した把持制御信号に従って、対象物Iを把持し、その対象物Iを所定の位置まで移動させる(ステップS23)。   In addition, the grip unit 103 receives a grip control signal from the master unit 20 via the communication unit 101 (step S22). The gripper 103 grips the object I according to the received grip control signal, and moves the object I to a predetermined position (step S23).

操作者Oは、対象物Iが所定の位置まで移動し終えると、マスタ部20とスレーブ部10との間の通信を切断する操作を行う。例えば、操作者Oは、操作入力部203に対して、マスタ部20とスレーブ部10との間の通信を切断する操作を行う。
操作入力部203は、操作者Oによるマスタ部20とスレーブ部10との間の通信を切断する操作に応じて、通信部201を介してその通信を切断する通信切断指令を管理サーバ30に送信する(ステップS24)。そして、操作入力部203は、ステップS16の処理を行う状態に戻す。
また、把持部103は、操作者Oによるマスタ部20とスレーブ部10との間の通信を切断する操作に応じて、ステップS9の処理に戻す。
When the object I has finished moving to a predetermined position, the operator O performs an operation of disconnecting communication between the master unit 20 and the slave unit 10. For example, the operator O performs an operation for disconnecting communication between the master unit 20 and the slave unit 10 on the operation input unit 203.
The operation input unit 203 transmits a communication disconnection command to disconnect the communication to the management server 30 via the communication unit 201 in response to an operation by the operator O to disconnect the communication between the master unit 20 and the slave unit 10. (Step S24). And the operation input part 203 returns to the state which performs the process of step S16.
In addition, the gripping unit 103 returns to the process of step S <b> 9 in response to an operation by the operator O that disconnects communication between the master unit 20 and the slave unit 10.

把持操作管理部303は、マスタ部20から通信切断指令を受信する(ステップS25)。把持操作管理部303は、受信した通信切断指令に応じて、マスタ部20とスレーブ部10との間の通信を切断する(ステップS26)。そして、把持操作管理部303は、ステップS7の処理へ戻す。
なお、上述のステップS1〜S10の処理は、注文する手続きが行われる度に行われる。そのため、走行中、または、把持操作中のスレーブ部10が存在する場合、上述のステップS8の処理は、複数のスレーブ部10に対して行われることになる。また、走行中、または、把持操作中のスレーブ部10が存在する場合、上述のステップS9〜S14、S22〜S23の処理は、各スレーブ部10ごとに行われる。
The grip operation management unit 303 receives a communication disconnection command from the master unit 20 (step S25). The gripping operation management unit 303 disconnects communication between the master unit 20 and the slave unit 10 in response to the received communication disconnection command (step S26). Then, the gripping operation management unit 303 returns to the process of step S7.
In addition, the process of above-mentioned step S1-S10 is performed whenever the procedure to order is performed. For this reason, when there is a slave unit 10 that is running or in a gripping operation, the process of step S8 described above is performed on the plurality of slave units 10. In addition, when there is a slave unit 10 that is running or in a gripping operation, the processes in steps S9 to S14 and S22 to S23 described above are performed for each slave unit 10.

以上、本発明の第1の実施形態による作業システム1について説明した。
本発明の第1の実施形態による作業システム1において、走行機構104は、走行制御部105の制御に基づいてスレーブ部10を走行先まで走行させる。把持操作管理部303(通信制御部の一例)は、走行先に到着したスレーブ部10とマスタ部20との間の通信を確立する。操作入力部203は、把持制御信号をスレーブ部10へ送信し、スレーブ部10による対象物Iの移動を制御する。
このようにすれば、スレーブ部10が対象物Iを把持できる位置まで走行して対象物Iを所定の位置まで移動させる際に、スレーブ部10の総数以下のマスタ部20でスレーブ部10の把持操作を制御することができるようになる。すなわち、作業効率がよくなるようにマスタ部20とスレーブ部10とを接続することができる。
The work system 1 according to the first embodiment of the present invention has been described above.
In the work system 1 according to the first embodiment of the present invention, the travel mechanism 104 causes the slave unit 10 to travel to the travel destination based on the control of the travel control unit 105. The gripping operation management unit 303 (an example of a communication control unit) establishes communication between the slave unit 10 and the master unit 20 that have arrived at the travel destination. The operation input unit 203 transmits a grip control signal to the slave unit 10 and controls the movement of the object I by the slave unit 10.
In this way, when the slave unit 10 travels to a position where the object I can be gripped and moves the object I to a predetermined position, the master unit 20 holding the slave unit 10 with the total number of slave units 10 or less It becomes possible to control the operation. That is, the master unit 20 and the slave unit 10 can be connected so as to improve work efficiency.

<第2の実施形態>
(作業システム1の構成)
本発明の第2の実施形態による作業システム1の構成について説明する。
本発明の第2の実施形態による作業システム1は、本発明の第1の実施形態による作業システム1と同様に、複数のスレーブ部10(スレーブ装置の一例)と、マスタ部20(マスタ装置の一例)と、管理サーバ30(制御装置の一例)と、ネットワークNWと、を備える。
<Second Embodiment>
(Configuration of work system 1)
A configuration of the work system 1 according to the second embodiment of the present invention will be described.
The work system 1 according to the second embodiment of the present invention, like the work system 1 according to the first embodiment of the present invention, includes a plurality of slave units 10 (an example of a slave device) and a master unit 20 (of the master device). An example), a management server 30 (an example of a control device), and a network NW.

(スレーブ部10の構成)
本発明の第2の実施形態による複数のスレーブ部10のそれぞれは、図7に示すように、通信部101と、撮影部102と、把持部103(把持機構の一例)と、走行機構104と、走行制御部105と、胴体106と、記憶部107と、自律把持制御部108と、遠隔操作必要検知部109と、を備える。
(Configuration of slave unit 10)
As shown in FIG. 7, each of the plurality of slave units 10 according to the second embodiment of the present invention includes a communication unit 101, an imaging unit 102, a gripping unit 103 (an example of a gripping mechanism), a traveling mechanism 104, and the like. , A travel control unit 105, a body 106, a storage unit 107, an autonomous grip control unit 108, and a remote operation necessity detection unit 109.

自律把持制御部108は、遠隔操作不要時に、例えば画像情報などの入力情報に応じた人工知能AIに基づく処理によって把持制御信号を生成し、生成した把持制御信号を把持部103に出力する。   The autonomous grip control unit 108 generates a grip control signal by processing based on the artificial intelligence AI corresponding to input information such as image information, for example, and outputs the generated grip control signal to the grip unit 103 when remote operation is not required.

遠隔操作必要検知部109は、把持部103による対象物Iの所定の位置までの移動が困難であることを検知する。具体的には、遠隔操作必要検知部109は、撮影部102が撮影する画像において、把持部103の位置と、対象物Iの位置とを特定する。そして、遠隔操作必要検知部109は、対象物Iが所定の位置に到達するまでの間、把持部103の位置と対象物Iとの位置との相対距離が対象物Iを把持していないと判定するしきい値以上の距離となったか否かを判定する。遠隔操作必要検知部109は、把持部103の位置と対象物Iとの位置との相対距離がしきい値以上の距離となったと判定した場合に、対象物Iの所定の位置までの移動が困難である、すなわち遠隔操作が必要である(遠隔操作必要時である)と判定する。また、遠隔操作必要検知部109は、把持部103の位置と対象物Iとの位置との相対距離がしきい値未満の距離であると判定した場合、遠隔操作不要時であると判定する。
遠隔操作必要検知部109は、遠隔操作必要時であると判定した場合、通信部101を介して遠隔操作が必要となったスレーブ部10の識別子を管理サーバ30に送信する。
The remote operation necessity detection unit 109 detects that it is difficult for the grasping unit 103 to move the object I to a predetermined position. Specifically, the remote operation necessity detection unit 109 specifies the position of the grip unit 103 and the position of the object I in the image captured by the imaging unit 102. The remote operation necessity detection unit 109 determines that the relative distance between the position of the grip unit 103 and the position of the target object I is not gripping the target object I until the target object I reaches a predetermined position. It is determined whether or not the distance is equal to or greater than a threshold value for determination. When the remote operation necessity detection unit 109 determines that the relative distance between the position of the grasping unit 103 and the position of the object I is equal to or greater than the threshold, the movement of the object I to the predetermined position is performed. It is determined that it is difficult, that is, remote control is necessary (when remote control is necessary). Further, the remote operation necessity detection unit 109 determines that the remote operation is not necessary when it is determined that the relative distance between the position of the grip unit 103 and the position of the object I is less than a threshold value.
If it is determined that the remote operation is necessary, the remote operation necessity detection unit 109 transmits the identifier of the slave unit 10 that requires remote operation to the management server 30 via the communication unit 101.

(マスタ部20の構成)
本発明の第2の実施形態によるマスタ部20のそれぞれは、本発明の第1の実施形態によるマスタ部20と同様に、通信部201と、画像再生部202と、操作入力部203と、を備える。
(Configuration of master unit 20)
Each of the master units 20 according to the second embodiment of the present invention includes a communication unit 201, an image reproduction unit 202, and an operation input unit 203, as in the master unit 20 according to the first embodiment of the present invention. Prepare.

(管理サーバ30の構成)
本発明の第2の実施形態による管理サーバ30は、本発明の第1の実施形態による管理サーバ30と同様に、通信部301と、記憶部302と、把持操作管理部303と、走行操作管理部304と、を備える。
(Configuration of the management server 30)
Similar to the management server 30 according to the first embodiment of the present invention, the management server 30 according to the second embodiment of the present invention includes a communication unit 301, a storage unit 302, a gripping operation management unit 303, and a traveling operation management. Unit 304.

(作業システム1の処理)
次に、本発明の第2の実施形態による作業システム1の処理について説明する。
本発明の第2の実施形態による作業システム1では、スレーブ部10は走行先まで走行し終えると、自律把持制御部108が、遠隔操作不要時に、例えば画像情報などの入力情報に応じた人工知能AIに基づく処理によって把持制御信号を生成し、生成した把持制御信号を把持部103に出力する。把持部103は、把持制御信号に応じて対象物Iを把持する。
そして、自律把持制御部108は、対象物Iを所定の位置まで移動させることが困難であると判断した場合に、困難である旨を把持操作管理部303に報知する。
把持操作管理部303は、困難である旨をスレーブ部10から報知されると、報知された自律把持制御部108とマスタ部20との通信を確立し、操作者Oがマスタ部20を介してスレーブ部10の把持操作を制御する。
つまり、本発明の第1の実施形態による作業システム1は、スレーブ部10とマスタ部20との間の通信を確立し、操作者Oがマスタ部20を介してスレーブ部10の把持操作を制御するものである。それに対して、本発明の第2の実施形態による作業システム1は、走行先まで走行し終えたスレーブ部10が自律制御による対象物Iの所定の位置までの移動が困難であると判断した場合に、そのスレーブ部10とマスタ部20との間の通信を確立し、操作者Oがマスタ部20を介してスレーブ部10の把持操作を制御するものである。
(Processing of work system 1)
Next, processing of the work system 1 according to the second embodiment of the present invention will be described.
In the work system 1 according to the second embodiment of the present invention, when the slave unit 10 finishes traveling to the travel destination, the autonomous gripping control unit 108 performs artificial intelligence according to input information such as image information when remote operation is not required. A grip control signal is generated by processing based on the AI, and the generated grip control signal is output to the grip unit 103. The grip part 103 grips the object I according to the grip control signal.
When the autonomous grip control unit 108 determines that it is difficult to move the object I to a predetermined position, the autonomous grip control unit 108 notifies the grip operation management unit 303 that it is difficult.
When the gripping operation management unit 303 is notified from the slave unit 10 that it is difficult, it establishes communication between the notified autonomous gripping control unit 108 and the master unit 20, and the operator O passes through the master unit 20. The gripping operation of the slave unit 10 is controlled.
That is, the work system 1 according to the first embodiment of the present invention establishes communication between the slave unit 10 and the master unit 20, and the operator O controls the gripping operation of the slave unit 10 via the master unit 20. To do. On the other hand, in the work system 1 according to the second embodiment of the present invention, when the slave unit 10 that has finished traveling to the travel destination determines that it is difficult to move the object I to a predetermined position by autonomous control. In addition, communication between the slave unit 10 and the master unit 20 is established, and the operator O controls the gripping operation of the slave unit 10 via the master unit 20.

以上、本発明の第2の実施形態による作業システム1について説明した。
本発明の第2の実施形態による作業システム1において、スレーブ部10は走行先まで走行し終えると、自律把持制御部108が、遠隔操作不要時に、例えば画像情報などの入力情報に応じた人工知能AIに基づく処理によって把持制御信号を生成し、生成した把持制御信号を把持部103に出力する。把持部103は、把持制御信号に応じて対象物Iを把持する。自律把持制御部108は、対象物Iの所定の位置までの移動が困難であると判断した場合に、困難である旨を把持操作管理部303に報知する。把持操作管理部303は、困難である旨をスレーブ部10から報知されると、報知された自律把持制御部108とマスタ部20との通信を確立し、操作者Oがマスタ部20を介してスレーブ部10の把持操作を制御する。
このようにすれば、スレーブ部10が対象物Iを把持できる位置まで走行して対象物Iを所定の位置まで移動させる際に、自律制御による把持操作が困難な場合にのみ、そのスレーブ部10とマスタ部20との間の通信を確立し、操作者Oがマスタ部20を介してスレーブ部10の把持操作を制御する。その結果、本発明の第2の実施形態による作業システム1は、本発明の第1の実施形態による作業システム1に比べて、より効率的にマスタ部20とスレーブ部10とを接続することができる。
The work system 1 according to the second embodiment of the present invention has been described above.
In the work system 1 according to the second embodiment of the present invention, when the slave unit 10 finishes traveling to the travel destination, the autonomous grip control unit 108 performs artificial intelligence according to input information such as image information when remote operation is not required. A grip control signal is generated by processing based on the AI, and the generated grip control signal is output to the grip unit 103. The grip part 103 grips the object I according to the grip control signal. When the autonomous gripping control unit 108 determines that it is difficult to move the object I to a predetermined position, the autonomous gripping control unit 108 notifies the gripping operation management unit 303 that it is difficult. When the gripping operation management unit 303 is notified from the slave unit 10 that it is difficult, it establishes communication between the notified autonomous gripping control unit 108 and the master unit 20, and the operator O passes through the master unit 20. The gripping operation of the slave unit 10 is controlled.
In this way, when the slave unit 10 travels to a position where the target object I can be gripped and moves the target object I to a predetermined position, the slave unit 10 only when the gripping operation by autonomous control is difficult. And the master unit 20 are established, and the operator O controls the gripping operation of the slave unit 10 via the master unit 20. As a result, the work system 1 according to the second embodiment of the present invention can connect the master unit 20 and the slave unit 10 more efficiently than the work system 1 according to the first embodiment of the present invention. it can.

<第3の実施形態>
(作業システム1の構成)
本発明の第3の実施形態による作業システム1の構成について説明する。
本発明の第1〜2の実施形態において、作業システム1は、1つのマスタ部20を備えるものとして説明した。しかしながら、本発明の第3の実施形態では、作業システム1は、複数のマスタ部20を備え、管理サーバ30がマスタ部20とスレーブ部10との間の通信の切り替えを行うことにより、複数のマスタ部20のそれぞれが、本発明の第1の実施形態における1つのマスタ部20と同様に動作するものである。具体的には、本発明の第3の実施形態による作業システム1では、管理サーバ30は、スレーブ部10が所定の状態になった場合に、当該スレーブ部10以外の他のスレーブ部10であって、走行機構104によって走行先までの走行を完了した状態のスレーブ部10を特定し、マスタ部20が把持制御信号を送信する送信先を特定したスレーブ部10と決定するものである。
<Third Embodiment>
(Configuration of work system 1)
A configuration of the work system 1 according to the third embodiment of the present invention will be described.
In the first and second embodiments of the present invention, the work system 1 has been described as including one master unit 20. However, in the third embodiment of the present invention, the work system 1 includes a plurality of master units 20, and the management server 30 switches communication between the master unit 20 and the slave units 10. Each of the master units 20 operates in the same manner as the single master unit 20 in the first embodiment of the present invention. Specifically, in the work system 1 according to the third embodiment of the present invention, the management server 30 is a slave unit 10 other than the slave unit 10 when the slave unit 10 enters a predetermined state. Thus, the slave unit 10 in a state where the travel to the travel destination is completed by the travel mechanism 104 is specified, and the master unit 20 determines the slave unit 10 that has specified the transmission destination to which the grip control signal is transmitted.

本発明の第3の実施形態による作業システム1は、複数のスレーブ部10a、10b(スレーブ装置の一例)、複数のマスタ部20a、20b(マスタ装置の一例)、管理サーバ30(制御装置の一例)、ネットワークNWを備える。複数のスレーブ部10a、10bを総称して、スレーブ部10と呼ぶ。複数のマスタ部20a、20bを総称して、マスタ部20と呼ぶ。   The work system 1 according to the third embodiment of the present invention includes a plurality of slave units 10a and 10b (an example of a slave device), a plurality of master units 20a and 20b (an example of a master device), and a management server 30 (an example of a control device). And a network NW. The plurality of slave units 10a and 10b are collectively referred to as a slave unit 10. The plurality of master units 20a and 20b are collectively referred to as a master unit 20.

(スレーブ部10の構成)
本発明の第3の実施形態によるスレーブ部10のそれぞれは、図7に示した本発明の第1の実施形態によるスレーブ部10と同様に、通信部101と、撮影部102と、把持部103(把持機構の一例)と、走行機構104と、走行制御部105と、胴体106と、記憶部107と、を備える。
(Configuration of slave unit 10)
Each of the slave units 10 according to the third embodiment of the present invention is similar to the slave unit 10 according to the first embodiment of the present invention shown in FIG. 7, the communication unit 101, the imaging unit 102, and the gripping unit 103. (An example of a gripping mechanism), a traveling mechanism 104, a traveling control unit 105, a body 106, and a storage unit 107 are provided.

(マスタ部20の構成)
本発明の第3の実施形態によるマスタ部20のそれぞれは、図4に示した本発明の第1の実施形態によるマスタ部20と同様に、通信部201と、画像再生部202と、操作入力部203と、を備える。
(Configuration of master unit 20)
Each of the master units 20 according to the third embodiment of the present invention is similar to the master unit 20 according to the first embodiment of the present invention shown in FIG. 4, and includes a communication unit 201, an image reproduction unit 202, and an operation input. Unit 203.

(管理サーバ30の構成)
本発明の第3の実施形態による管理サーバ30は、本発明の第1の実施形態による管理サーバ30と同様に、通信部301と、記憶部302と、把持操作管理部303と、走行操作管理部304と、を備える。
(Configuration of the management server 30)
Similar to the management server 30 according to the first embodiment of the present invention, the management server 30 according to the third embodiment of the present invention includes a communication unit 301, a storage unit 302, a gripping operation management unit 303, and a traveling operation management. Unit 304.

(作業システム1の処理)
次に、本発明の第3の実施形態による作業システム1の処理について説明する。
ここでは、図8に示す本発明の第3の実施形態による作業システム1の処理フローを参照して、作業システム1において、管理サーバ30が1度の注文において複数の異なる対象物I(ここでは、3つの対象物Ia、Ib、Ic)についての注文を受け、マスタ部20とスレーブ部10との間の通信を切り替える処理について説明する。
なお、ここでは、購入希望者P1が対象物IaとIbを注文し、購入希望者P2が対象物Icを注文した場合の作業システム1の処理について説明する。作業システム1の処理としては、複数のマスタ部20と複数のスレーブ部10との間の通信の切り替えの例を示すために、通信の切り替えに注目して説明する。ただし、特に説明しない場合であっても、本発明の第3の実施形態による作業システム1におけるマスタ部20とスレーブ部10は、本発明の第1の実施形態におけるマスタ部20とスレーブ部10との間の通信と同様に、さまざまな情報を送受信しており、それらの情報に応じて動作している。
(Processing of work system 1)
Next, processing of the work system 1 according to the third embodiment of the present invention will be described.
Here, referring to the processing flow of the work system 1 according to the third embodiment of the present invention shown in FIG. 8, in the work system 1, the management server 30 makes a plurality of different objects I (here, A process of receiving an order for three objects Ia, Ib, and Ic) and switching communication between the master unit 20 and the slave unit 10 will be described.
Here, the processing of the work system 1 when the purchase applicant P1 orders the objects Ia and Ib and the purchase applicant P2 orders the object Ic will be described. The processing of the work system 1 will be described focusing on communication switching in order to show an example of communication switching between the plurality of master units 20 and the plurality of slave units 10. However, even if not specifically described, the master unit 20 and the slave unit 10 in the work system 1 according to the third embodiment of the present invention are the same as the master unit 20 and the slave unit 10 in the first embodiment of the present invention. Similar to the communication between them, various information is transmitted and received, and the operation is performed according to the information.

購入希望者P1がショッピングサイトで対象物Ia、Ib、Icを注文する手続きを行う。
走行操作管理部304は、対象物Ia、Ibを注文する手続きが行われると、例えば購入希望者P1が操作するパーソナルコンピュータPCから、注文内容を受け取る(ステップS31)。例えば、走行操作管理部304は、対象物Ia、Ibの注文内容を受け取る。走行操作管理部304は、受け取った注文内容から対象物のそれぞれを特定する(ステップS32)。走行操作管理部304は、記憶部302において、注文内容から特定した対象物と同一の対象物を特定する(ステップS33)。走行操作管理部304は、記憶部302において特定した対象物に関連付けられている対象物が置かれている位置のすべて(すなわち、スレーブ部10の走行先)を特定する(ステップS34)。例えば、走行操作管理部304は、対象物Iaが置かれている位置Paと対象物Ibが置かれている位置Pbとを特定する。走行操作管理部304は、送信中の把持制御信号を把持操作管理部303に問い合わせることによって、走行中でなく、かつ、把持操作中でないスレーブ部10のうちの1つ(例えば、スレーブ部10a)を知る。走行操作管理部304は、特定したスレーブ部10の走行先の情報を、そのスレーブ部10に送信する(ステップS35)。
The purchase applicant P1 performs a procedure for ordering the objects Ia, Ib, and Ic at the shopping site.
When the procedure for ordering the objects Ia and Ib is performed, the traveling operation management unit 304 receives the order content from, for example, the personal computer PC operated by the purchase applicant P1 (step S31). For example, the traveling operation management unit 304 receives the order contents of the objects Ia and Ib. The traveling operation management unit 304 identifies each object from the received order details (step S32). The traveling operation management unit 304 identifies the same object as the object identified from the order content in the storage unit 302 (step S33). The traveling operation management unit 304 identifies all positions where the objects associated with the objects identified in the storage unit 302 are placed (that is, the traveling destination of the slave unit 10) (step S34). For example, the traveling operation management unit 304 identifies the position Pa where the object Ia is placed and the position Pb where the object Ib is placed. The travel operation management unit 304 inquires of the grip operation management unit 303 about the grip control signal being transmitted, so that one of the slave units 10 that are not traveling and is not performing the grip operation (for example, the slave unit 10a). Know. The traveling operation management unit 304 transmits information on the identified traveling destination of the slave unit 10 to the slave unit 10 (step S35).

走行操作管理部304は、管理サーバ30を、新たな注文内容及び走行先の情報を送信したスレーブ部10の走行完了報知信号を受け取れる状態にする(ステップS36)。具体的には、走行操作管理部304は、走行操作管理部304自身を、新たな注文内容を受け取れる状態にし、把持操作管理部303を、走行先までの走行を完了したスレーブ部10から、その走行の完了を示す走行完了報知信号を受信できる状態にする。   The travel operation management unit 304 sets the management server 30 in a state where it can receive the travel completion notification signal of the slave unit 10 that has transmitted the new order details and travel destination information (step S36). Specifically, the travel operation management unit 304 makes the travel operation management unit 304 itself ready to receive new order details, and the grip operation management unit 303 is moved from the slave unit 10 that has completed the travel to the travel destination to A state in which a travel completion notification signal indicating the completion of travel can be received is set.

走行操作管理部304は、所定時間後(例えば、1秒後)に、新たな注文内容を受け取ったか否かを判定する(ステップS37)。   The traveling operation management unit 304 determines whether a new order has been received after a predetermined time (for example, after 1 second) (step S37).

走行操作管理部304は、新たな注文内容を受け取ったと判定した場合(ステップS37においてYES)、ステップS32の処理に戻す。
また、走行操作管理部304が新たな注文内容を受け取っていないと判定した場合(ステップS37においてNO)、把持操作管理部303は、スレーブ部10の何れかから走行完了報知信号を受け取ったか否かを判定する(ステップS38)。
If it is determined that new order details have been received (YES in step S37), traveling operation management unit 304 returns to the process in step S32.
If it is determined that the travel operation management unit 304 has not received new order contents (NO in step S37), the gripping operation management unit 303 has received a travel completion notification signal from any of the slave units 10. Is determined (step S38).

把持操作管理部303は、走行完了報知信号を受け取っていないと判定した場合(ステップS38においてNO)、ステップS37の処理に戻す。
また、把持操作管理部303は、走行完了報知信号を受け取ったと判定した場合(ステップS38においてYES)、操作が行われていないマスタ部20と、受け取った走行完了報知信号のスレーブ部10との間の通信を確立させるために、マスタ部20と走行が完了したスレーブ部10との間の通信を確立させる通信確立指令を、操作が行われていないマスタ部20(例えば、マスタ部20a)に送信する(ステップS39)。なお、ステップS35のマスタ部20と走行の完了したスレーブ部10との間の通信を確立させる処理は、前述のステップS15と同様である。
When it is determined that the travel completion notification signal has not been received (NO in step S38), the grip operation management unit 303 returns to the process of step S37.
Further, when it is determined that the travel completion notification signal has been received (YES in step S38), the grip operation management unit 303 is between the master unit 20 that has not been operated and the slave unit 10 that has received the travel completion notification signal. In order to establish communication, a communication establishment command for establishing communication between the master unit 20 and the slave unit 10 that has completed traveling is transmitted to the master unit 20 that has not been operated (for example, the master unit 20a). (Step S39). In addition, the process which establishes communication between the master part 20 of step S35 and the slave part 10 which completed driving | running | working is the same as that of above-mentioned step S15.

管理サーバ30がステップS35の処理によって送信したスレーブ部10の走行制御部105は、スレーブ部10の走行先の情報を取得する(ステップS40)。ここでは、ステップS40の処理によって走行先の情報を取得したスレーブ部10をスレーブ部10aとして説明する。スレーブ部10aの走行制御部105は、取得したスレーブ部10aの走行先の情報に基づいて、現在位置から走行先までスレーブ部10aを走行させる走行制御信号をスレーブ部10aの記憶部107において特定する(ステップS41)。スレーブ部10aの走行制御部105は、特定した走行制御信号をスレーブ部10aの走行機構104に出力する(ステップS42)。   The travel control unit 105 of the slave unit 10 transmitted by the management server 30 through the process of step S35 acquires information on the travel destination of the slave unit 10 (step S40). Here, the slave unit 10 that has acquired the travel destination information by the process of step S40 will be described as the slave unit 10a. The travel control unit 105 of the slave unit 10a specifies a travel control signal for causing the slave unit 10a to travel from the current position to the travel destination based on the acquired travel destination information of the slave unit 10a. (Step S41). The traveling control unit 105 of the slave unit 10a outputs the identified traveling control signal to the traveling mechanism 104 of the slave unit 10a (step S42).

スレーブ部10aの走行機構104は、スレーブ部10aの走行制御部105から走行制御信号を受ける(ステップS43)。スレーブ部10aの走行機構104は、受けた走行制御信号に応じた速度と方向で、スレーブ部10aを現在位置から走行先である位置Paまで走行させる(ステップS44)。   The travel mechanism 104 of the slave unit 10a receives a travel control signal from the travel control unit 105 of the slave unit 10a (step S43). The travel mechanism 104 of the slave unit 10a causes the slave unit 10a to travel from the current position to the travel destination position Pa at a speed and direction according to the received travel control signal (step S44).

スレーブ部10aの走行制御部105は、スレーブ部10aが現在位置から走行先までの走行を終えると、走行先までの走行が完了したことを報知する走行完了報知信号を管理サーバ30に送信する(ステップS45)。
また、このタイミングで管理サーバ30が新たな注文内容(対象物Ic)を受けたとする。
When the slave unit 10a finishes traveling from the current position to the travel destination, the travel control unit 105 of the slave unit 10a transmits a travel completion notification signal to the management server 30 to notify that the travel to the travel destination is completed ( Step S45).
Further, it is assumed that the management server 30 receives new order contents (object Ic) at this timing.

走行操作管理部304は、ステップS37の処理により、新たな注文内容(対象物Ic)を受け取る。そして、対象物IcについてステップS32〜S34の処理が行われ、走行中でなく、かつ、把持操作中でないスレーブ部10のうちの1つ(例えば、スレーブ部10b)が特定される。そして、対象物IcについてのステップS35の処理において、走行操作管理部304は、特定したスレーブ部10の走行先の情報(対象物Icが置かれている位置Pcの情報)を、その特定したスレーブ部10に送信する。   The traveling operation management unit 304 receives new order details (object Ic) by the process of step S37. And the process of step S32-S34 is performed about the target object Ic, and one (for example, slave part 10b) of the slave parts 10 which are not driving | running | working and is not gripping operation is specified. Then, in the process of step S35 for the object Ic, the traveling operation management unit 304 uses the identified slave unit 10 to identify the traveling destination information (information about the position Pc where the object Ic is placed). To the unit 10.

管理サーバ30が対象物IcについてのステップS35の処理によって送信したスレーブ部10の走行制御部105は、スレーブ部10の走行先の情報を取得する(ステップS46)。ここでは、ステップS46の処理によって走行先の情報を取得したスレーブ部10をスレーブ部10bとして説明する。スレーブ部10bの走行制御部105は、取得したスレーブ部10bの走行先の情報に基づいて、現在位置から走行先までスレーブ部10bを走行させる走行制御信号をスレーブ部10bの記憶部107において特定する(ステップS47)。スレーブ部10bの走行制御部105は、特定した走行制御信号をスレーブ部10bの走行機構104に出力する(ステップS48)。   The traveling control unit 105 of the slave unit 10 transmitted by the management server 30 by the process of step S35 for the object Ic acquires information on the traveling destination of the slave unit 10 (step S46). Here, the slave unit 10 that has acquired the travel destination information by the process of step S46 will be described as the slave unit 10b. The travel control unit 105 of the slave unit 10b specifies, in the storage unit 107 of the slave unit 10b, a travel control signal that causes the slave unit 10b to travel from the current position to the travel destination based on the acquired travel destination information of the slave unit 10b. (Step S47). The traveling control unit 105 of the slave unit 10b outputs the identified traveling control signal to the traveling mechanism 104 of the slave unit 10b (step S48).

スレーブ部10bの走行機構104は、スレーブ部10bの走行制御部105から走行制御信号を受ける(ステップS49)。スレーブ部10bの走行機構104は、受けた走行制御信号に応じた速度と方向で、スレーブ部10bを現在位置から走行先まで走行させる(ステップS50)。   The travel mechanism 104 of the slave unit 10b receives a travel control signal from the travel control unit 105 of the slave unit 10b (step S49). The travel mechanism 104 of the slave unit 10b causes the slave unit 10b to travel from the current position to the travel destination at a speed and direction according to the received travel control signal (step S50).

把持操作管理部303は、ステップS45の処理によって送信された走行完了報知信号をスレーブ部10aから受け取る。把持操作管理部303は、ステップS38の処理において、走行完了報知信号を受け取ったと判定する。把持操作管理部303は、ステップS39の処理において、操作が行われていないマスタ部20のうちの1つ(例えば、マスタ部20a)と、走行が完了したスレーブ部10aとの間の通信を確立させるスレーブ部10aの識別子を含む通信確立指令を、マスタ部20に送信する。ここでは、操作が行われていないマスタ部20のうちの1つをマスタ部20aとして説明する。   The grip operation management unit 303 receives the travel completion notification signal transmitted by the process of step S45 from the slave unit 10a. The gripping operation management unit 303 determines that a travel completion notification signal has been received in the process of step S38. In the process of step S39, the gripping operation management unit 303 establishes communication between one of the master units 20 that has not been operated (for example, the master unit 20a) and the slave unit 10a that has finished traveling. A communication establishment command including the identifier of the slave unit 10a to be transmitted is transmitted to the master unit 20. Here, one of the master units 20 that is not operated will be described as the master unit 20a.

マスタ部20aの通信部201は、管理サーバ30から通信確立指令を受信する(ステップS51)。マスタ部20aの通信部201は、通信確立指令に応じて、走行が完了したスレーブ部10aへ把持制御信号を送信できるようにスレーブ部10aと1対1の通信を行うために、その走行先までの走行が完了したスレーブ部10aとの間の通信を確立する(ステップS52)。操作者Oは、マスタ部20aの画像再生部202が表示する立体画像を見ながら対象物Iaを把持し、その対象物Iaを所定の位置まで移動させる操作を行う。
マスタ部20aの操作入力部203は、操作者Oが行う把持操作を検出する(ステップS53)。マスタ部20aの操作入力部203は、検出した把持操作に応じた把持制御信号をマスタ部20aの通信部201を介して把持操作対象のスレーブ部10a及び管理サーバ30に送信する(ステップS54)。把持制御信号は、スレーブ部10aの識別子を含む。
The communication unit 201 of the master unit 20a receives a communication establishment command from the management server 30 (step S51). In response to the communication establishment command, the communication unit 201 of the master unit 20a communicates with the slave unit 10a in a one-to-one manner so that a grip control signal can be transmitted to the slave unit 10a that has completed traveling. The communication with the slave unit 10a that has completed the travel of is established (step S52). The operator O performs an operation of grasping the target object Ia while viewing the stereoscopic image displayed by the image reproduction unit 202 of the master unit 20a and moving the target object Ia to a predetermined position.
The operation input unit 203 of the master unit 20a detects a gripping operation performed by the operator O (step S53). The operation input unit 203 of the master unit 20a transmits a grip control signal corresponding to the detected grip operation to the slave unit 10a to be gripped and the management server 30 via the communication unit 201 of the master unit 20a (step S54). The grip control signal includes the identifier of the slave unit 10a.

把持操作管理部303は、マスタ部20aから把持制御信号を受信する(ステップS55)。把持操作管理部303は、受信した時刻と把持制御信号に含まれるスレーブ部10aの識別子とを関連付けて記憶部302に書き込む(ステップS56)。   The grip operation management unit 303 receives a grip control signal from the master unit 20a (step S55). The gripping operation management unit 303 writes the received time and the identifier of the slave unit 10a included in the gripping control signal in the storage unit 302 in association with each other (step S56).

また、スレーブ部10aの把持部103は、マスタ部20aからスレーブ部10aの通信部101を介して把持制御信号を受信する(ステップS57)。スレーブ部10aの把持部103は、受信した把持制御信号に従って、対象物Iaを把持し、その対象物Iaを所定の位置まで移動させる(ステップS58)。   The grip unit 103 of the slave unit 10a receives a grip control signal from the master unit 20a via the communication unit 101 of the slave unit 10a (step S57). In accordance with the received grip control signal, the grip portion 103 of the slave unit 10a grips the target object Ia and moves the target object Ia to a predetermined position (step S58).

操作者Oは、対象物Iaが所定の位置まで移動し終えると、マスタ部20aとスレーブ部10aとの間の通信を切断する操作を行う。例えば、操作者Oは、マスタ部20aの操作入力部203に対して、マスタ部20aとスレーブ部10aとの間の通信を切断する操作を行う。
マスタ部20aの操作入力部203は、操作者Oによるマスタ部20aとスレーブ部10aとの間の通信を切断する操作に応じて、マスタ部20aの通信部201を介してその通信を切断する通信切断指令を管理サーバ30に送信する(ステップS59)。そして、マスタ部20aの操作入力部203は、ステップS51の処理を行う状態に戻す。
When the object Ia has finished moving to a predetermined position, the operator O performs an operation of disconnecting communication between the master unit 20a and the slave unit 10a. For example, the operator O performs an operation for disconnecting communication between the master unit 20a and the slave unit 10a on the operation input unit 203 of the master unit 20a.
The operation input unit 203 of the master unit 20a is a communication that disconnects the communication via the communication unit 201 of the master unit 20a in response to an operation by the operator O that disconnects the communication between the master unit 20a and the slave unit 10a. A disconnection command is transmitted to the management server 30 (step S59). And the operation input part 203 of the master part 20a returns to the state which performs the process of step S51.

把持操作管理部303は、マスタ部20aから通信切断指令を受信する(ステップS60)。把持操作管理部303は、受信した通信切断指令に応じて、マスタ部20aとスレーブ部10aとの間の通信を切断する(ステップS61)。そして、把持操作管理部303は、ステップS37の処理へ戻す。   The gripping operation management unit 303 receives a communication disconnection command from the master unit 20a (Step S60). The gripping operation management unit 303 disconnects communication between the master unit 20a and the slave unit 10a in response to the received communication disconnection command (step S61). Then, the gripping operation management unit 303 returns to the process of step S37.

また、スレーブ部10aの走行制御部105は、操作者Oによるマスタ部20aとスレーブ部10aとの間の通信を切断する操作に応じて、走行制御信号をスレーブ部10aの走行機構104に出力する(ステップS62)。
スレーブ部10aの走行機構104は、スレーブ部10aの走行制御部105から走行制御信号を受ける(ステップS63)。スレーブ部10aの走行機構104は、受けた走行制御信号に応じた速度と方向で、スレーブ部10aを現在位置から走行先である位置Pbまで走行させる(ステップS64)。
また、このタイミングでスレーブ部10bが現在位置から走行先までの走行を終えるとする。
Moreover, the traveling control unit 105 of the slave unit 10a outputs a traveling control signal to the traveling mechanism 104 of the slave unit 10a in response to an operation by the operator O that disconnects communication between the master unit 20a and the slave unit 10a. (Step S62).
The travel mechanism 104 of the slave unit 10a receives a travel control signal from the travel control unit 105 of the slave unit 10a (step S63). The travel mechanism 104 of the slave unit 10a causes the slave unit 10a to travel from the current position to the travel destination position Pb at a speed and direction according to the received travel control signal (step S64).
Further, at this timing, the slave unit 10b finishes traveling from the current position to the travel destination.

スレーブ部10bの走行制御部105は、スレーブ部10bが現在位置から走行先までの走行を終えると、走行先までの走行が完了したことを報知する走行完了報知信号を管理サーバ30に送信する(ステップS65)。   When the slave unit 10b finishes traveling from the current position to the travel destination, the travel control unit 105 of the slave unit 10b transmits a travel completion notification signal for notifying that the travel to the travel destination is completed to the management server 30 ( Step S65).

把持操作管理部303は、走行完了報知信号をスレーブ部10bから受け取る。把持操作管理部303は、ステップS38の処理において、走行完了報知信号を受け取ったと判定する。把持操作管理部303は、ステップS39の処理において、操作が行われていないマスタ部20のうちの1つ(例えば、マスタ部20a)と、走行が完了したスレーブ部10bとの間の通信を確立させるスレーブ部10bの識別子を含む通信確立指令を、マスタ部20に送信する。ここでは、操作が行われていないマスタ部20のうちの1つをマスタ部20aとして説明する。   The grip operation management unit 303 receives a travel completion notification signal from the slave unit 10b. The gripping operation management unit 303 determines that a travel completion notification signal has been received in the process of step S38. In the process of step S39, the gripping operation management unit 303 establishes communication between one of the master units 20 that has not been operated (for example, the master unit 20a) and the slave unit 10b that has completed traveling. A communication establishment command including the identifier of the slave unit 10b to be transmitted is transmitted to the master unit 20. Here, one of the master units 20 that is not operated will be described as the master unit 20a.

ステップS51の処理において、マスタ部20aの通信部201は、管理サーバ30から通信確立指令を受信する。ステップS52の処理において、マスタ部20aの通信部201は、通信確立指令に応じて、走行が完了したスレーブ部10bへ把持制御信号を送信できるようにスレーブ部10bと1対1の通信を行うために、その走行先までの走行が完了したスレーブ部10bとの間の通信を確立する。操作者Oは、マスタ部20aの画像再生部202が表示する立体画像を見ながら対象物Icを把持し、その対象物Icを所定の位置まで移動させる操作を行う。
ステップS53の処理において、マスタ部20aの操作入力部203は、操作者Oが行う把持操作を検出する。ステップS54の処理において、マスタ部20aの操作入力部203は、検出した把持操作に応じた把持制御信号をマスタ部20aの通信部201を介して把持操作対象のスレーブ部10b及び管理サーバ30に送信する。把持制御信号は、スレーブ部10bの識別子を含む。
In the process of step S <b> 51, the communication unit 201 of the master unit 20 a receives a communication establishment command from the management server 30. In the process of step S52, the communication unit 201 of the master unit 20a performs one-to-one communication with the slave unit 10b so that a grip control signal can be transmitted to the slave unit 10b that has finished traveling in response to the communication establishment command. In addition, communication with the slave unit 10b that has completed traveling to the destination is established. The operator O performs an operation of grasping the object Ic while viewing the stereoscopic image displayed by the image reproduction unit 202 of the master unit 20a and moving the object Ic to a predetermined position.
In the process of step S53, the operation input unit 203 of the master unit 20a detects a gripping operation performed by the operator O. In the process of step S54, the operation input unit 203 of the master unit 20a transmits a grip control signal corresponding to the detected gripping operation to the slave unit 10b and the management server 30 that are the gripping operation target via the communication unit 201 of the master unit 20a. To do. The grip control signal includes the identifier of the slave unit 10b.

ステップS55の処理において、把持操作管理部303は、マスタ部20aから把持制御信号を受信し、ステップS56の処理において、受信した時刻と把持制御信号に含まれるスレーブ部10bの識別子とを関連付けて記憶部302に書き込む。   In the process of step S55, the grip operation management unit 303 receives the grip control signal from the master unit 20a, and in the process of step S56, stores the received time and the identifier of the slave unit 10b included in the grip control signal in association with each other. Write to part 302.

また、スレーブ部10bの把持部103は、マスタ部20aからスレーブ部10bの通信部101を介して把持制御信号を受信する(ステップS66)。スレーブ部10bの把持部103は、受信した把持制御信号に従って、対象物Icを把持し、その対象物Icを所定の位置まで移動させる(ステップS67)。   In addition, the grip unit 103 of the slave unit 10b receives a grip control signal from the master unit 20a via the communication unit 101 of the slave unit 10b (step S66). The gripping unit 103 of the slave unit 10b grips the target object Ic according to the received grip control signal, and moves the target object Ic to a predetermined position (step S67).

操作者Oは、対象物Icが所定の位置まで移動し終えると、マスタ部20aとスレーブ部10bとの間の通信を切断する操作を行う。例えば、操作者Oは、マスタ部20aの操作入力部203に対して、マスタ部20aとスレーブ部10bとの間の通信を切断する操作を行う。
マスタ部20aの操作入力部203は、ステップS59の処理において、操作者Oによるマスタ部20aとスレーブ部10bとの間の通信を切断する操作に応じて、マスタ部20aの通信部201を介してその通信を切断する通信切断指令を管理サーバ30に送信する。そして、マスタ部20aの操作入力部203は、ステップS51の処理を行う状態に戻す。
When the object Ic has finished moving to a predetermined position, the operator O performs an operation of disconnecting communication between the master unit 20a and the slave unit 10b. For example, the operator O performs an operation of disconnecting communication between the master unit 20a and the slave unit 10b on the operation input unit 203 of the master unit 20a.
The operation input unit 203 of the master unit 20a, via the communication unit 201 of the master unit 20a, in response to an operation by the operator O that disconnects communication between the master unit 20a and the slave unit 10b in the process of step S59. A communication disconnection command for disconnecting the communication is transmitted to the management server 30. And the operation input part 203 of the master part 20a returns to the state which performs the process of step S51.

ステップS60の処理において、把持操作管理部303は、マスタ部20aから通信切断指令を受信する。ステップS61の処理において、把持操作管理部303は、受信した通信切断指令に応じて、マスタ部20aとスレーブ部10bとの間の通信を切断する。そして、把持操作管理部303は、ステップS37の処理へ戻す。
スレーブ部10bの走行制御部105は、操作者Oによるマスタ部20aとスレーブ部10bとの間の通信を切断する操作に応じて、ステップS46の処理に戻す。
また、このタイミングでスレーブ部10aが現在位置から走行先(位置Pb)までの走行を終えるとする。
In the process of step S60, the gripping operation management unit 303 receives a communication disconnection command from the master unit 20a. In the process of step S61, the gripping operation management unit 303 disconnects communication between the master unit 20a and the slave unit 10b according to the received communication disconnection command. Then, the gripping operation management unit 303 returns to the process of step S37.
The traveling control unit 105 of the slave unit 10b returns to the process of step S46 according to an operation performed by the operator O to disconnect the communication between the master unit 20a and the slave unit 10b.
Further, at this timing, the slave unit 10a finishes traveling from the current position to the travel destination (position Pb).

スレーブ部10aの走行制御部105は、スレーブ部10aが現在位置から走行先までの走行を終えると、走行先までの走行が完了したことを報知する走行完了報知信号を管理サーバ30に送信する(ステップS71)。   When the slave unit 10a finishes traveling from the current position to the travel destination, the travel control unit 105 of the slave unit 10a transmits a travel completion notification signal to the management server 30 to notify that the travel to the travel destination is completed ( Step S71).

把持操作管理部303は、走行完了報知信号をスレーブ部10aから受け取る。把持操作管理部303は、ステップS38の処理において、走行完了報知信号を受け取ったと判定する。把持操作管理部303は、ステップS39の処理において、操作が行われていないマスタ部20のうちの1つ(例えば、マスタ部20b)と、走行が完了したスレーブ部10aとの間の通信を確立させるスレーブ部10aの識別子を含む通信確立指令を、マスタ部20に送信する。ここでは、操作が行われていないマスタ部20のうちの1つをマスタ部20bとして説明する。   The grip operation management unit 303 receives a travel completion notification signal from the slave unit 10a. The gripping operation management unit 303 determines that a travel completion notification signal has been received in the process of step S38. In the process of step S39, the gripping operation management unit 303 establishes communication between one of the master units 20 that has not been operated (for example, the master unit 20b) and the slave unit 10a that has finished traveling. A communication establishment command including the identifier of the slave unit 10a to be transmitted is transmitted to the master unit 20. Here, one of the master units 20 that is not operated will be described as the master unit 20b.

マスタ部20bの通信部201は、管理サーバ30から通信確立指令を受信する(ステップS72)。マスタ部20bの通信部201は、通信確立指令に応じて、走行が完了したスレーブ部10aへ把持制御信号を送信できるようにスレーブ部10aと1対1の通信を行うために、その走行先までの走行が完了したスレーブ部10aとの間の通信を確立する(ステップS73)。操作者Oは、マスタ部20bの画像再生部202が表示する立体画像を見ながら対象物Ibを把持し、その対象物Ibを所定の位置まで移動させる操作を行う。
マスタ部20bの操作入力部203は、操作者Oが行う把持操作を検出する(ステップS74)。マスタ部20bの操作入力部203は、検出した把持操作に応じた把持制御信号をマスタ部20bの通信部201を介して把持操作対象のスレーブ部10a及び管理サーバ30に送信する(ステップS75)。把持制御信号は、スレーブ部10aの識別子を含む。
The communication unit 201 of the master unit 20b receives a communication establishment command from the management server 30 (step S72). In response to the communication establishment command, the communication unit 201 of the master unit 20b communicates with the slave unit 10a in a one-to-one manner so that a grip control signal can be transmitted to the slave unit 10a that has completed traveling. Communication is established with the slave unit 10a that has completed the travel (step S73). The operator O performs an operation of grasping the object Ib while viewing the stereoscopic image displayed by the image reproduction unit 202 of the master unit 20b and moving the object Ib to a predetermined position.
The operation input unit 203 of the master unit 20b detects a gripping operation performed by the operator O (step S74). The operation input unit 203 of the master unit 20b transmits a grip control signal corresponding to the detected gripping operation to the slave unit 10a to be gripped and the management server 30 via the communication unit 201 of the master unit 20b (Step S75). The grip control signal includes the identifier of the slave unit 10a.

ステップS55の処理において、把持操作管理部303は、マスタ部20bから把持制御信号を受信し、ステップS56の処理において、受信した時刻と把持制御信号に含まれるスレーブ部10aの識別子とを関連付けて記憶部302に書き込む。   In the process of step S55, the gripping operation management unit 303 receives the grip control signal from the master unit 20b, and in the process of step S56, the received time and the identifier of the slave unit 10a included in the grip control signal are stored in association with each other. Write to part 302.

また、スレーブ部10aの把持部103は、マスタ部20bからスレーブ部10aの通信部101を介して把持制御信号を受信する(ステップS76)。スレーブ部10aの把持部103は、受信した把持制御信号に従って、対象物Ibを把持し、その対象物Ibを所定の位置まで移動させる(ステップS77)。   In addition, the grip unit 103 of the slave unit 10a receives a grip control signal from the master unit 20b via the communication unit 101 of the slave unit 10a (step S76). In accordance with the received grip control signal, the grip portion 103 of the slave unit 10a grips the target object Ib and moves the target object Ib to a predetermined position (step S77).

操作者Oは、対象物Ibが所定の位置まで移動し終えると、マスタ部20bとスレーブ部10aとの間の通信を切断する操作を行う。例えば、操作者Oは、マスタ部20bの操作入力部203に対して、マスタ部20bとスレーブ部10aとの間の通信を切断する操作を行う。
マスタ部20bの操作入力部203は、操作者Oによるマスタ部20bとスレーブ部10aとの間の通信を切断する操作に応じて、マスタ部20bの通信部201を介してその通信を切断する通信切断指令を管理サーバ30に送信する(ステップS78)。そして、マスタ部20bの操作入力部203は、ステップS72の処理を行う状態に戻す。
When the object Ib has finished moving to a predetermined position, the operator O performs an operation of disconnecting communication between the master unit 20b and the slave unit 10a. For example, the operator O performs an operation of disconnecting communication between the master unit 20b and the slave unit 10a on the operation input unit 203 of the master unit 20b.
The operation input unit 203 of the master unit 20b is a communication that disconnects the communication via the communication unit 201 of the master unit 20b in response to an operation by the operator O that disconnects the communication between the master unit 20b and the slave unit 10a. A disconnection command is transmitted to the management server 30 (step S78). And the operation input part 203 of the master part 20b returns to the state which performs the process of step S72.

ステップS60の処理において、把持操作管理部303は、マスタ部20bから通信切断指令を受信する。ステップS61の処理において、把持操作管理部303は、受信した通信切断指令に応じて、マスタ部20bとスレーブ部10aとの間の通信を切断する。そして、把持操作管理部303は、ステップS37の処理へ戻す。
スレーブ部10aの走行制御部105は、操作者Oによるマスタ部20bとスレーブ部10aとの間の通信を切断する操作に応じて、ステップS40の処理に戻す。
In the process of step S60, the gripping operation management unit 303 receives a communication disconnection command from the master unit 20b. In the process of step S61, the gripping operation management unit 303 disconnects communication between the master unit 20b and the slave unit 10a according to the received communication disconnection command. Then, the gripping operation management unit 303 returns to the process of step S37.
The traveling control unit 105 of the slave unit 10a returns to the process of step S40 in response to an operation performed by the operator O to disconnect the communication between the master unit 20b and the slave unit 10a.

以上、本発明の第3の実施形態による作業システム1について説明した。
本発明の第3の実施形態による作業システム1において、管理サーバ30は、スレーブ部10が所定の状態、すなわち、マスタ部20とスレーブ部10との間の通信が切断された場合に、当該スレーブ部10以外の他のスレーブ部10であって、走行機構104によって走行先までの走行を完了した状態のスレーブ部10を特定し、マスタ部20が把持制御信号を送信する送信先を特定したスレーブ部10と決定する。そして、管理サーバ30は、特定したスレーブ部10と、マスタ部20との間の通信を確立する。
このようにすれば、マスタ部20は、スレーブ部10の移動中に、他のスレーブ部10を操作することができる。すなわち、作業効率がよくなるようにマスタ部20とスレーブ部10とを接続することができる。
The work system 1 according to the third embodiment of the present invention has been described above.
In the work system 1 according to the third embodiment of the present invention, when the slave unit 10 is in a predetermined state, that is, when the communication between the master unit 20 and the slave unit 10 is disconnected, the management server 30 The slave unit 10 other than the unit 10 that identifies the slave unit 10 that has completed traveling to the travel destination by the travel mechanism 104, and identifies the transmission destination to which the master unit 20 transmits the grip control signal Part 10 is determined. Then, the management server 30 establishes communication between the identified slave unit 10 and the master unit 20.
In this way, the master unit 20 can operate other slave units 10 while the slave unit 10 is moving. That is, the master unit 20 and the slave unit 10 can be connected so as to improve work efficiency.

なお、本発明の第1〜3の実施形態において、スレーブ部10は、自律走行するものとして説明した。
本発明の別の実施形態では、SLAM(Simultaneous Localization and Mapping)技術を用いて倉庫A内をマッピングし、各対象物Iとマッピングした倉庫Aの位置を関連付けたデータテーブルを作成する。注文内容から対象物Iを特定し、倉庫A内の対象物Iを把持できる位置、すなわちスレーブ部10の走行先を特定する。そして、スレーブ部10が距離画像センサや音響センサなどを用いてスレーブ部10の現在位置から走行先まで走行するものであってもよい。
また、本発明の別の実施形態では、スレーブ部10を走行させる走行専門の担当者が遠隔操作によりスレーブ部10の現在位置から走行先まで走行させるものであってもよい。 例えば、マスタ部20は、図9に示すように、走行情報入力部204を備える。走行情報入力部204は、操作者Oが行う走行操作を検出する。走行情報入力部204は、検出した走行操作に応じた速度と走行方向とを含む走行制御信号を通信部201を介して走行操作対象のスレーブ部10及び管理サーバ30に送信する。マスタ部20が図9に示すような走行情報入力部204を備え、操作者Oなどの人物がスレーブ部10の走行を制御する場合、スレーブ部10は、走行方向を示す矢印や対象物Iの位置を示すランプなどが示されることによって、走行がアシストされてもよい。
In the first to third embodiments of the present invention, the slave unit 10 has been described as traveling autonomously.
In another embodiment of the present invention, the inside of the warehouse A is mapped using SLAM (Simultaneous Localization and Mapping) technology, and a data table in which the position of the warehouse A mapped with each object I is created is created. The object I is specified from the order contents, and the position where the object I in the warehouse A can be gripped, that is, the destination of the slave unit 10 is specified. The slave unit 10 may travel from the current position of the slave unit 10 to the travel destination using a distance image sensor, an acoustic sensor, or the like.
Further, in another embodiment of the present invention, a travel specialist in charge of traveling the slave unit 10 may travel from the current position of the slave unit 10 to the travel destination by remote control. For example, the master unit 20 includes a travel information input unit 204 as shown in FIG. The travel information input unit 204 detects a travel operation performed by the operator O. The travel information input unit 204 transmits a travel control signal including a speed and a travel direction according to the detected travel operation to the slave unit 10 and the management server 30 that are travel operation targets via the communication unit 201. When the master unit 20 includes a travel information input unit 204 as illustrated in FIG. 9 and a person such as the operator O controls the travel of the slave unit 10, the slave unit 10 may have an arrow indicating a travel direction or an object I. The driving may be assisted by displaying a lamp indicating the position.

なお、本発明の第3の実施形態による作業システム1おいて、スレーブ部10のそれぞれは、本発明の第1の実施形態によるスレーブ部10と同様に、通信部101と、撮影部102と、把持部103(把持機構の一例)と、走行機構104と、走行制御部105と、胴体106と、記憶部107と、を備えるものとして説明した。しかしながら、本発明の別の実施形態による作業システム1では、スレーブ部10のそれぞれは、本発明の第2の実施形態によるスレーブ部10と同様に、通信部101と、撮影部102と、把持部103(把持機構の一例)と、走行機構104と、走行制御部105と、胴体106と、記憶部107と、自律把持制御部108と、遠隔操作必要検知部109と、を備え、本発明の第3の実施形態による作業システム1と同様に、複数のマスタ部20と複数のスレーブ部10との間の通信接続を切り替えるものであってもよい。   In the work system 1 according to the third embodiment of the present invention, each of the slave units 10 is similar to the slave unit 10 according to the first embodiment of the present invention, and includes a communication unit 101, a photographing unit 102, It has been described that the gripping unit 103 (an example of a gripping mechanism), the travel mechanism 104, the travel control unit 105, the body 106, and the storage unit 107 are provided. However, in the work system 1 according to another embodiment of the present invention, each of the slave units 10 is similar to the slave unit 10 according to the second embodiment of the present invention, and includes a communication unit 101, a photographing unit 102, and a gripping unit. 103 (an example of a gripping mechanism), a traveling mechanism 104, a traveling control unit 105, a body 106, a storage unit 107, an autonomous gripping control unit 108, and a remote operation necessity detecting unit 109, Similarly to the work system 1 according to the third embodiment, the communication connection between the plurality of master units 20 and the plurality of slave units 10 may be switched.

また、本発明の第3の実施形態では、所定の状態の一例として、マスタ部20とスレーブ部10との間の通信が切断された状態を例示したが、所定の状態は、マスタ部20とスレーブ部10との間の通信が切断された状態に限定するものではない。例えば、上記のように、スレーブ部10のそれぞれが、本発明の第2の実施形態によるスレーブ部10と同様の構成であり、複数のマスタ部20と複数のスレーブ部10との間の通信接続を切り替える場合、マスタ部20による操作は、対象物Iを把持するのみで、その後の対象物の移動をスレーブ部10が自律して行う場合がある。その場合には、マスタ部20により対象物Iを把持した状態が所定の状態である。また、スレーブ部10のそれぞれが、本発明の第2の実施形態によるスレーブ部10と同様の構成であり、複数のマスタ部20と複数のスレーブ部10との間の通信接続を切り替える場合、マスタ部20による操作は、対象物Iを把持し、ある位置まで移動させた時点で、その後の対象物の移動をスレーブ部10が自律して行う場合がある。その場合には、マスタ部20により対象物Iをある位置まで移動させた状態が所定の状態である。   In the third embodiment of the present invention, the state where communication between the master unit 20 and the slave unit 10 is disconnected is illustrated as an example of the predetermined state. It is not limited to the state in which the communication with the slave unit 10 is disconnected. For example, as described above, each of the slave units 10 has the same configuration as that of the slave unit 10 according to the second embodiment of the present invention, and communication connection between the plurality of master units 20 and the plurality of slave units 10. In the case of switching, the operation by the master unit 20 only holds the object I, and the slave unit 10 may autonomously move the object thereafter. In that case, the state in which the object I is gripped by the master unit 20 is a predetermined state. Further, when each of the slave units 10 has the same configuration as that of the slave unit 10 according to the second embodiment of the present invention, and the communication connection between the plurality of master units 20 and the plurality of slave units 10 is switched, The operation by the unit 20 may be performed when the slave unit 10 autonomously moves the target object after the target object I is gripped and moved to a certain position. In that case, the state in which the object I is moved to a certain position by the master unit 20 is a predetermined state.

なお、本発明の第1〜3の実施形態では、マスタ部20とスレーブ部10との間の通信の確立は、スレーブ部10の走行先までの走行の完了した順に行うものとして説明した。しかしながら、本発明の別の実施形態では、マスタ部20とスレーブ部10との間の通信の確立は、スレーブ部10の走行先までの走行の完了した順に行うものに限定しない。例えば、マスタ部20とスレーブ部10との間の通信の確立は、管理サーバ30が注文を受けた順に、その注文の対象物Iの置かれた走行先まで走行したスレーブ部10について行う(すなわち、把持操作管理部303は、マスタ部20が把持制御信号を送信する送信先を、対象物Iの注文を受け当該対象物Iの置かれた走行先へ走行した順のスレーブ部10と決定する)ものであってもよい。   In the first to third embodiments of the present invention, the establishment of communication between the master unit 20 and the slave unit 10 has been described as being performed in the order in which the travel to the travel destination of the slave unit 10 is completed. However, in another embodiment of the present invention, establishment of communication between the master unit 20 and the slave unit 10 is not limited to that performed in the order in which the travel to the travel destination of the slave unit 10 is completed. For example, establishment of communication between the master unit 20 and the slave unit 10 is performed for the slave unit 10 that has traveled to the travel destination where the target object I is placed in the order in which the management server 30 received the order (that is, The gripping operation management unit 303 determines the transmission destination to which the master unit 20 transmits the gripping control signal as the slave unit 10 in the order of receiving the order of the target object I and traveling to the travel destination where the target object I is placed. ).

なお、本発明の別の実施形態では、管理サーバ30がスレーブ部10の現在位置から移動先までスレーブ部10を走行させる経路を特定する経路特定部と、経路特定部が特定した経路を当該スレーブ部10に送信部とを備え、走行制御部105が、通信部101が送信した経路に基づいて走行機構104による走行を制御するものであってもよい。   In another embodiment of the present invention, the management server 30 specifies a route for the slave unit 10 to travel from the current position of the slave unit 10 to the destination, and the route specified by the route specification unit is the slave. The unit 10 may include a transmission unit, and the traveling control unit 105 may control traveling by the traveling mechanism 104 based on the route transmitted by the communication unit 101.

なお、本発明の各実施形態による作業システム1が行う対象物Iを把持する作業として、倉庫において対象物Iを把持する例を挙げて説明した。しかしながら、本発明の各実施形態による作業システム1が行う対象物Iを把持する作業、倉庫において対象物Iを把持する作業に限定するものではない。本発明の他の実施形態による作業システム1が行う対象物Iを把持する作業は、倉庫内に限らずオフィス、スーパー、病院、図書館、実験室等における対象物Iを把持する作業であってもよく、たねまき、仕分け、開梱や梱包、検品、組立などの他の遠隔作業を行うものであってもよい。   In addition, as an operation of gripping the object I performed by the work system 1 according to each embodiment of the present invention, an example of gripping the object I in the warehouse has been described. However, the present invention is not limited to the operation of gripping the object I performed by the work system 1 according to each embodiment of the present invention and the operation of gripping the object I in the warehouse. The operation of gripping the object I performed by the work system 1 according to another embodiment of the present invention is not limited to being performed in the warehouse, but may be the operation of gripping the object I in an office, supermarket, hospital, library, laboratory, or the like. Often, other remote operations such as onion, sorting, unpacking, packing, inspection, and assembly may be performed.

なお、本発明の各実施形態によるスレーブ部10のそれぞれは、2つ以上の異なる場所(例えば、倉庫Aと倉庫D)のそれぞれに配置されてもよい。
また、本発明の各実施形態によるマスタ部20のそれぞれは、2つ以上の異なる場所(例えば、操作センタBと操作センタE)のそれぞれに配置されてもよい。
In addition, each of the slave part 10 by each embodiment of this invention may be arrange | positioned in each of two or more different places (for example, warehouse A and warehouse D).
In addition, each of the master units 20 according to each embodiment of the present invention may be disposed in each of two or more different locations (for example, the operation center B and the operation center E).

なお、本発明の第1の実施形態及び第2の実施形態における作業システム1の処理について、スレーブ部10が対象物Iを把持できる位置まで倉庫A内を走行するものとして説明した。しかしながら、対象物Iの置かれている棚がスレーブ部10の方向へ移動するものであってもよい。   In addition, the process of the work system 1 in the first embodiment and the second embodiment of the present invention has been described on the assumption that the slave unit 10 travels in the warehouse A to the position where the object I can be gripped. However, the shelf on which the object I is placed may move toward the slave unit 10.

なお、本発明の各実施形態における記憶部302、その他の記憶部は、適切な情報の送受信が行われる範囲においてどこに備えられていてもよい。また、記憶部302、その他の記憶部は、適切な情報の送受信が行われる範囲において複数存在しデータを分散して記憶していてもよい。   Note that the storage unit 302 and other storage units in each embodiment of the present invention may be provided anywhere as long as appropriate information is transmitted and received. In addition, a plurality of storage units 302 and other storage units may exist in a range where appropriate information is transmitted and received, and data may be distributed and stored.

なお、本発明の第2の実施形態では、自律把持制御における遠隔操作必要時は、対象物Iの所定の位置までの移動が困難であると判断したときのこととして説明した。しかしながら、本発明の別の実施形態では、自律把持制御における遠隔操作必要時は、例えば、現在操作を制御している自律把持制御部108よりも習熟度が高い(例えば、スコアが高い)操作者Oへ操作を切り替える場合、現在操作している操作者Oが操作している場所から離れた地域で操作可能な操作者O、または、稼働時間帯の異なる操作者Oに切り替える場合などを含んでもよい。   In the second embodiment of the present invention, the case where it is determined that it is difficult to move the object I to a predetermined position when the remote operation in the autonomous gripping control is necessary has been described. However, in another embodiment of the present invention, when remote operation is required in autonomous grip control, for example, an operator with a higher proficiency level (for example, higher score) than the autonomous grip control unit 108 that currently controls the operation In the case of switching the operation to O, the operation may include switching to an operator O that can be operated in an area away from the place where the currently operated operator O is operating, or an operator O that has a different operating time. Good.

なお、本発明の実施形態における処理フローは、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。   In the processing flow in the embodiment of the present invention, the order of processing may be changed within a range where appropriate processing is performed.

本発明の実施形態における記憶部や記憶装置(レジスタ、ラッチを含む)のそれぞれは、適切な情報の送受信が行われる範囲においてどこに備えられていてもよい。また、記憶部や記憶装置のそれぞれは、適切な情報の送受信が行われる範囲において複数存在しデータを分散して記憶していてもよい。   Each of the storage unit and the storage device (including the register and the latch) in the embodiment of the present invention may be provided anywhere as long as appropriate information is transmitted and received. In addition, each of the storage unit and the storage device may exist in a plurality of ranges within a range where appropriate information is transmitted and received, and may store data in a distributed manner.

本発明の実施形態について説明したが、上述のスレーブ部10、マスタ部20、管理サーバ30、その他の制御装置は内部に、コンピュータシステムを有していてもよい。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。コンピュータの具体例を以下に示す。
図10は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ5は、図10に示すように、CPU6、メインメモリ7、ストレージ8、インターフェース9を備える。
例えば、上述のスレーブ部10、マスタ部20、管理サーバ30、その他の制御装置のそれぞれは、コンピュータ5に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ8に記憶されている。CPU6は、プログラムをストレージ8から読み出してメインメモリ7に展開し、当該プログラムに従って上記処理を実行する。また、CPU6は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ7に確保する。
Although the embodiment of the present invention has been described, the above-described slave unit 10, master unit 20, management server 30, and other control devices may have a computer system therein. The process described above is stored in a computer-readable recording medium in the form of a program, and the above process is performed by the computer reading and executing this program. A specific example of a computer is shown below.
FIG. 10 is a schematic block diagram illustrating a configuration of a computer according to at least one embodiment.
As shown in FIG. 10, the computer 5 includes a CPU 6, a main memory 7, a storage 8, and an interface 9.
For example, each of the slave unit 10, the master unit 20, the management server 30, and other control devices described above is mounted on the computer 5. The operation of each processing unit described above is stored in the storage 8 in the form of a program. The CPU 6 reads the program from the storage 8 and develops it in the main memory 7 and executes the above processing according to the program. Further, the CPU 6 secures a storage area corresponding to each of the above-described storage units in the main memory 7 according to the program.

ストレージ8の例としては、HDD(Hard Disk Drive)、SSD(Solid State Drive)、磁気ディスク、光磁気ディスク、CD−ROM(Compact Disc Read Only Memory)、DVD−ROM(Digital Versatile Disc Read Only Memory)、半導体メモリ等が挙げられる。ストレージ8は、コンピュータ5のバスに直接接続された内部メディアであってもよいし、インターフェース9または通信回線を介してコンピュータ5に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ5に配信される場合、配信を受けたコンピュータ5が当該プログラムをメインメモリ7に展開し、上記処理を実行してもよい。少なくとも1つの実施形態において、ストレージ8は、一時的でない有形の記憶媒体である。   Examples of the storage 8 include an HDD (Hard Disk Drive), an SSD (Solid State Drive), a magnetic disk, a magneto-optical disk, a CD-ROM (Compact Disc Read Only Memory), and a DVD-ROM (Digital Versatile Disc Disk). And semiconductor memory. The storage 8 may be an internal medium directly connected to the bus of the computer 5 or may be an external medium connected to the computer 5 via the interface 9 or a communication line. When this program is distributed to the computer 5 through a communication line, the computer 5 that has received the distribution may develop the program in the main memory 7 and execute the above processing. In at least one embodiment, the storage 8 is a non-transitory tangible storage medium.

また、上記プログラムは、前述した機能の一部を実現してもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるファイル、いわゆる差分ファイル(差分プログラム)であってもよい。   The program may realize part of the functions described above. Further, the program may be a so-called difference file (difference program) that can realize the above-described functions in combination with a program already recorded in the computer system.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例であり、発明の範囲を限定しない。これらの実施形態は、発明の要旨を逸脱しない範囲で、種々の追加、種々の省略、種々の置き換え、種々の変更を行ってよい。   Although several embodiments of the present invention have been described, these embodiments are examples and do not limit the scope of the invention. These embodiments may be variously added, variously omitted, variously replaced, and variously changed without departing from the gist of the invention.

1・・・作業システム
5・・・コンピュータ
6・・・CPU
7・・・メインメモリ
8・・・ストレージ
9・・・インターフェース
10・・・スレーブ部
20・・・マスタ部
30・・・管理サーバ
101、201、301・・・通信部
102・・・撮影部
103・・・把持部
104・・・走行機構
105・・・走行制御部
106・・・胴体
107、302・・・記憶部
108・・・自律把持制御部
109・・・遠隔操作必要検知部
202・・・画像再生部
203・・・操作入力部
204・・・走行情報入力部
303・・・把持操作管理部
304・・・走行操作管理部
I・・・対象物
M・・・容器
NW・・・ネットワーク
1 ... Work system 5 ... Computer 6 ... CPU
7 ... main memory 8 ... storage 9 ... interface 10 ... slave unit 20 ... master unit 30 ... management servers 101, 201, 301 ... communication unit 102 ... photographing unit DESCRIPTION OF SYMBOLS 103 ... Grasping part 104 ... Traveling mechanism 105 ... Traveling control part 106 ... Body 107, 302 ... Memory | storage part 108 ... Autonomous gripping control part 109 ... Remote operation necessity detection part 202 ... Image reproduction unit 203 ... Operation input unit 204 ... Travel information input unit 303 ... Grip operation management unit 304 ... Travel operation management unit I ... Object M ... Container NW ··network

Claims (9)

複数のスレーブ装置と、少なくとも1つのマスタ装置と、制御装置とを有する作業システムであって、
前記複数のスレーブ装置のそれぞれは、
前記マスタ装置から受信する把持制御信号に基づいて対象物を把持して所定の位置まで移動させる把持機構と、
前記対象物を把持して所定の位置まで移動させることのできる走行先まで走行可能な走行機構と、
前記走行機構による走行を制御する走行制御部と、
を備え、
前記マスタ装置は、
操作者が行う操作を検出し、検出した操作に応じた前記把持制御信号を前記スレーブ装置へ送信する把持制御部、
を備え、
前記制御装置は、
前記マスタ装置が前記把持制御信号を送信する送信先を、前記走行先までの走行を完了した状態の前記スレーブ装置と決定する通信制御部、
を備える作業システム。
A work system having a plurality of slave devices, at least one master device, and a control device,
Each of the plurality of slave devices is
A gripping mechanism for gripping an object and moving it to a predetermined position based on a grip control signal received from the master device;
A travel mechanism capable of traveling to a travel destination capable of gripping and moving the object to a predetermined position;
A travel control unit for controlling travel by the travel mechanism;
With
The master device is
A grip control unit that detects an operation performed by an operator and transmits the grip control signal corresponding to the detected operation to the slave device;
With
The controller is
A communication control unit that determines a transmission destination to which the master device transmits the grip control signal as the slave device in a state in which traveling to the traveling destination is completed;
Work system with.
前記通信制御部は、
前記マスタ装置が前記把持制御信号を送信する送信先を、前記走行先までの走行を完了した前記スレーブ装置の順のスレーブ装置と決定する、
請求項1に記載の作業システム。
The communication control unit
The transmission destination to which the master device transmits the grip control signal is determined as the slave device in the order of the slave device that has completed the travel to the travel destination.
The work system according to claim 1.
前記通信制御部は、
前記マスタ装置が前記把持制御信号を送信する送信先を、前記対象物の注文が取得され当該注文の取得した順に前記対象物の置かれた走行先へ走行した前記スレーブ装置の順のスレーブ装置と決定する、
請求項1に記載の作業システム。
The communication control unit
A slave device in the order of the slave device that has traveled to the travel destination where the target object is placed in the order in which the order of the target object is acquired and the order is acquired, as the transmission destination to which the master device transmits the grip control signal decide,
The work system according to claim 1.
前記複数のスレーブ装置のうちの少なくとも1つは、
前記走行先に基づいて、前記スレーブ装置の現在位置から前記走行先まで当該スレーブ装置を走行させる走行制御信号を特定する走行制御信号特定部、
を備え、
当該複数のスレーブ装置のうちの少なくとも1つが備える前記走行制御部は、
前記走行制御信号を前記走行機構に出力する、
請求項1から請求項3の何れか一項に記載の作業システム。
At least one of the plurality of slave devices is
A travel control signal identifying unit that identifies a travel control signal that causes the slave device to travel from the current position of the slave device to the travel destination based on the travel destination;
With
The travel control unit provided in at least one of the plurality of slave devices,
Outputting the travel control signal to the travel mechanism;
The work system according to any one of claims 1 to 3.
前記制御装置は、
前記スレーブ装置の現在位置から前記走行先まで当該スレーブ装置を走行させる経路を特定する経路特定部と、
前記経路を当該スレーブ装置に送信する送信部と、
を備え、
前記走行制御部は、
前記送信部が送信した前記経路に基づいて前記走行機構による走行を制御する、
請求項4に記載の作業システム。
The controller is
A route specifying unit for specifying a route for driving the slave device from the current position of the slave device to the destination;
A transmission unit for transmitting the path to the slave device;
With
The travel controller is
Controlling traveling by the traveling mechanism based on the route transmitted by the transmitting unit;
The work system according to claim 4.
前記制御装置は、
前記対象物についての注文を取得する注文取得部、
を備え、
前記経路特定部は、
前記注文取得部が取得した前記注文に基づいて前記経路を特定する、
請求項5に記載の作業システム。
The controller is
An order obtaining unit for obtaining an order for the object;
With
The route specifying unit
Identifying the route based on the order acquired by the order acquisition unit;
The work system according to claim 5.
前記通信制御部は、
前記スレーブ装置が所定の状態になった場合に、当該スレーブ装置以外の他のスレーブ装置であって、前記走行機構によって前記走行先までの走行を完了した状態のスレーブ装置を特定し、特定した前記スレーブ装置を、前記マスタ装置が前記把持制御信号を送信する送信先のスレーブ装置と決定する、
請求項1から請求項6の何れか一項に記載の作業システム。
The communication control unit
When the slave device is in a predetermined state, the slave device is a slave device other than the slave device, and the slave device in a state where the travel to the travel destination has been completed by the travel mechanism is identified and identified Determining the slave device as a slave device to which the master device transmits the grip control signal;
The work system according to any one of claims 1 to 6.
前記把持制御部は、
人工知能を備え、当該人工知能による演算結果に基づいて、前記把持機構に前記対象物を把持させる、
請求項1から請求項7の何れか一項に記載の作業システム。
The grip control unit
Provided with artificial intelligence, based on the calculation result by the artificial intelligence, causing the grasping mechanism to grasp the object;
The work system according to any one of claims 1 to 7.
少なくとも1つのマスタ装置と、前記マスタ装置から受信する把持制御信号に基づいて対象物を把持して所定の位置まで移動させる把持機構、及び、前記把持機構によって前記対象物を把持して所定の位置まで移動させることのできる走行先まで走行可能な走行機構を有する複数のスレーブ装置と、制御装置とを有する作業システムによる制御方法であって、
前記複数のスレーブ装置のそれぞれは、前記走行機構による走行を制御し、
前記制御装置は、前記マスタ装置が前記把持制御信号を送信する送信先を前記走行先までの走行を完了した状態の前記スレーブ装置と決定し、
前記マスタ装置は、
操作者が行う操作を検出し、検出した操作に応じた前記把持制御信号を前記スレーブ装置へ送信する、
作業システムによる制御方法。
At least one master device, a gripping mechanism for gripping and moving the object to a predetermined position based on a grip control signal received from the master device, and a predetermined position by gripping the object by the gripping mechanism A control method by a work system having a plurality of slave devices having a traveling mechanism capable of traveling to a traveling destination that can be moved to a control device,
Each of the plurality of slave devices controls traveling by the traveling mechanism,
The control device determines a transmission destination to which the master device transmits the grip control signal as the slave device in a state in which traveling to the traveling destination is completed,
The master device is
Detecting an operation performed by an operator, and transmitting the grip control signal corresponding to the detected operation to the slave device;
Control method by work system.
JP2018040206A 2018-03-06 2018-03-06 Work system and control method by work system Active JP7113634B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018040206A JP7113634B2 (en) 2018-03-06 2018-03-06 Work system and control method by work system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018040206A JP7113634B2 (en) 2018-03-06 2018-03-06 Work system and control method by work system

Publications (2)

Publication Number Publication Date
JP2019153252A true JP2019153252A (en) 2019-09-12
JP7113634B2 JP7113634B2 (en) 2022-08-05

Family

ID=67946571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018040206A Active JP7113634B2 (en) 2018-03-06 2018-03-06 Work system and control method by work system

Country Status (1)

Country Link
JP (1) JP7113634B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017165873A1 (en) * 2016-03-25 2017-09-28 Locus Robotics Corporation Robot queueing order-fulfillment operations

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017165873A1 (en) * 2016-03-25 2017-09-28 Locus Robotics Corporation Robot queueing order-fulfillment operations

Also Published As

Publication number Publication date
JP7113634B2 (en) 2022-08-05

Similar Documents

Publication Publication Date Title
US11534907B2 (en) Management system and control method
US11878421B2 (en) Robot navigation and robot-IoT interactive task planning using augmented reality
JP6440745B2 (en) Method and system for augmented reality displaying a virtual representation of the action of a robotic device
JP6373899B2 (en) Device control method and apparatus
JP6255706B2 (en) Display control apparatus, display control method, display control program, and information providing system
US8886829B1 (en) Methods and systems for robot cloud computing using slug trails
CN110888428B (en) Mobile robot, remote terminal, computer readable medium, control system, and control method
JP2023541619A (en) Warehouse storage robot positioning and map creation method, robot and storage medium
JP2019121136A (en) Information processing apparatus, information processing system and information processing method
JPWO2019064916A1 (en) Robot simulator
JP2018153874A (en) Presentation device, presentation method, program and work system
CN113301306A (en) Intelligent inspection method and system
JP5965430B2 (en) Social network service providing system and method for setting relationship between users using position and movement pattern of mobile terminal
KR20140055054A (en) 3d display apparatus and method for providing user interface
JP7113634B2 (en) Work system and control method by work system
JP2019063952A (en) Management system and control method
JP6791082B2 (en) Monitoring system
JP2019063953A (en) Work system, method for controlling work system and program
WO2022085539A1 (en) Information processing device, information processing method, and storage medium
JP7416072B2 (en) Conveyance system, control device, and conveyance method
JP6971754B2 (en) Management system, management system control method and program
EP4024152A1 (en) Transport system, control device, transport method, and program
JP2018153875A (en) Management system, management method and program
JP2021070149A (en) Robot control system, robot control device, robot control method and program
JP2022072184A (en) Communication system, robot, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220726

R150 Certificate of patent or registration of utility model

Ref document number: 7113634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150