JP2017047518A - Method for setting movement path of carrier - Google Patents

Method for setting movement path of carrier Download PDF

Info

Publication number
JP2017047518A
JP2017047518A JP2015174639A JP2015174639A JP2017047518A JP 2017047518 A JP2017047518 A JP 2017047518A JP 2015174639 A JP2015174639 A JP 2015174639A JP 2015174639 A JP2015174639 A JP 2015174639A JP 2017047518 A JP2017047518 A JP 2017047518A
Authority
JP
Japan
Prior art keywords
transport vehicle
box
robot arm
picking
movement path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015174639A
Other languages
Japanese (ja)
Other versions
JP6641804B2 (en
Inventor
宏平 菊地
Kohei Kikuchi
宏平 菊地
原田　研介
Kensuke Harada
研介 原田
徳生 辻
Norio Tsuji
徳生 辻
和之 永田
Kazuyuki Nagata
和之 永田
弘 音田
Hiroshi Onda
弘 音田
河井　良浩
Yoshihiro Kawai
良浩 河井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Toyota Motor Corp
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST, Toyota Motor Corp filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2015174639A priority Critical patent/JP6641804B2/en
Publication of JP2017047518A publication Critical patent/JP2017047518A/en
Application granted granted Critical
Publication of JP6641804B2 publication Critical patent/JP6641804B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a method for setting a movement path of a carrier, with which a movement path can be set for performing efficient transfer work.SOLUTION: In the method for setting a movement path of a carrier according to one embodiment of the present invention, a carrier comprising plural robotic arms 5 extracts picking objects (for example, components 3) from multiple boxes 2 arranged in proximity to each other and transfers the picking objects using the robotic arms 5. In this method, there are acquired a picking possible position of a carrier 1 at which an entire internal space of a box 2 is included within a robotic arm movable range in which picking is possible using at least one of the robotic arms 5, and a common area of picking possible positions with respect to the multiple boxes 2, in order to set a stop position of the carrier 1 in the common area when performing picking work from the multiple boxes 2.SELECTED DRAWING: Figure 1

Description

本発明は、搬送車の移動経路設定方法に関する。   The present invention relates to a method for setting a travel route of a transport vehicle.

特許文献１には、ロボットアームをピッキング対象物に向かって移動させる移動台車を備えるロボット装置が開示されている。当該ロボット装置は、ピッキング対象物の位置情報に基づいて移動台車及びロボットアームを移動させて当該ピッキング対象物に多指ハンド部を近づけていき、多指ハンド部の指先力センサの出力に基づいてピッキング対象物に対する実際の接触位置を検出し、検出した接触位置に基づいてピッキング対象物の位置情報を修正する構成とされている。   Patent Document 1 discloses a robot apparatus including a moving carriage that moves a robot arm toward a picking target. The robot apparatus moves the moving carriage and the robot arm based on the position information of the picking object to bring the multi-finger hand part closer to the picking object, and based on the output of the fingertip force sensor of the multi-finger hand part. The actual contact position with respect to the picking object is detected, and the position information of the picking object is corrected based on the detected contact position.

特開２０１２−１１５３１号公報JP2012-11511A

一般的にロボットアームの方が移動台車よりも移動速度が速いため、複数のロボットアームを移動台車に配置した方が良い。しかし、複数のロボットアームを備えた搬送車によって近接して配置された複数の箱からピッキング作業を実施する場合、これまでの搬送車に対する経路設定ではピッキング対象物の効率的な搬送作業が行えない。   Since a robot arm generally has a higher moving speed than a moving carriage, it is better to arrange a plurality of robot arms on the moving carriage. However, when picking work is performed from a plurality of boxes arranged close to each other by a transporting vehicle equipped with a plurality of robot arms, efficient transporting of the picking object cannot be performed by setting the route for the conventional transporting vehicle. .

上記課題に鑑み本発明は、ピッキング対象物の効率的な搬送作業を行うことが可能な移動経路を設定できる搬送車の移動経路設定方法を実現する。   In view of the above problems, the present invention realizes a moving route setting method for a transport vehicle capable of setting a moving route capable of performing an efficient transporting operation of a picking target.

本発明に係る搬送車の移動経路設定方法は、複数のロボットアームを備え、近接して配置された複数の箱の中に入っているピッキング対象物を前記ロボットアームによって取り出して搬送する搬送車の移動経路設定方法であって、
少なくとも何れか１つのロボットアームによるピッキングが可能なロボットアーム可動範囲内に箱内の全ての空間が含まれる搬送車のピッキング可能位置を取得し、
前記複数の箱に対する前記ピッキング可能位置の共通領域を取得し、
前記複数の箱からピッキング作業を行う際の前記搬送車の停止位置を前記共通領域内に設定する。 A method for setting a movement path of a transport vehicle according to the present invention includes: a transport vehicle that includes a plurality of robot arms and picks up and picks up a picking object contained in a plurality of closely arranged boxes by the robot arm. A travel route setting method,
Obtaining a pickable position of the transport vehicle in which all spaces in the box are included in a movable range of the robot arm that can be picked by at least one robot arm;
Obtaining a common area of the pickable positions for the plurality of boxes;
A stop position of the transport vehicle when picking from the plurality of boxes is set in the common area.

本発明により、ピッキング対象物の効率的な搬送作業を行うことが可能な移動経路を設定できる。   According to the present invention, it is possible to set a movement path capable of performing an efficient conveyance work of a picking object.

実施の形態の搬送車を用いてピッキング対象物を搬送するために当該搬送車が設定された移動経路に沿って移動する様子を模式的に示す図である。It is a figure which shows typically a mode that the said conveyance vehicle moves along the movement path | route set in order to convey a picking target object using the conveyance vehicle of embodiment. 実施の形態の搬送車の構成を示すブロック図である。It is a block diagram which shows the structure of the conveyance vehicle of embodiment. 実施の形態のピッキング対象物を搬送する流れを示すフローチャート図である。It is a flowchart figure which shows the flow which conveys the picking target object of embodiment. 実施の形態での搬送車のスタート位置及びゴール位置を模式的に示す図である。It is a figure which shows typically the start position and goal position of the conveyance vehicle in embodiment. 実施の形態での搬送車におけるロボットアームのピッキング可能位置を模式的に示す図である。It is a figure which shows typically the pickable position of the robot arm in the conveyance vehicle in embodiment. ロボットアームの軌道生成の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of the trajectory generation of a robot arm.

以下、図面を参照して本発明の搬送車の移動経路設定方法（以下、単に移動経路設定方法と省略する場合がある。）の実施の形態を説明する。先ず、本実施の形態の移動経路設定方法に用いる搬送車の構成を説明する。図１は、本実施の形態の搬送車を用いてピッキング対象物を搬送するために当該搬送車が設定された移動経路に沿って移動する様子を模式的に示す図である。図２は、本実施の形態の搬送車の構成を示すブロック図である。   Hereinafter, an embodiment of a moving route setting method (hereinafter, simply referred to as a moving route setting method) of a transport vehicle according to the present invention will be described with reference to the drawings. First, the structure of the conveyance vehicle used for the movement path | route setting method of this Embodiment is demonstrated. FIG. 1 is a diagram schematically illustrating a state in which the transport vehicle moves along a set movement path in order to transport the picking target using the transport vehicle of the present embodiment. FIG. 2 is a block diagram illustrating a configuration of the transport vehicle according to the present embodiment.

本実施の形態の搬送車１は、図１に示すように、複数の箱２内に収容されたピッキング対象物（把持対象物）である部品３を当該箱２から夫々ピッキング（把持）して搬送するために、設定され移動経路に沿って移動する搬送ロボットである。   As shown in FIG. 1, the transport vehicle 1 according to the present embodiment picks (grips) the parts 3 that are picking objects (gripping objects) housed in a plurality of boxes 2 from the boxes 2. In order to carry, it is a conveyance robot set and moved along a movement route.

図示例では、第１の棚４ａに第１の箱２ａ及び第２の箱２ｂが配置されており、第２の棚４ｂに第３の箱２ｃが配置されている。第１の箱２ａに第１の部品３ａが収容され、第２の箱２ｂに第２の部品３ｂが収容され、第３の箱２ｃに第３の部品３ｃが収容されている。そして、搬送車１は、第１の箱２ａから第１の部品３ａを把持し、第２の箱２ｂから第２の部品３ｂを把持し、第３の箱２ｃから第３の部品３ｃを把持して搬送する。但し、棚、箱及び部品の数などは特に限定されない。   In the illustrated example, a first box 2a and a second box 2b are arranged on the first shelf 4a, and a third box 2c is arranged on the second shelf 4b. The first component 3a is accommodated in the first box 2a, the second component 3b is accommodated in the second box 2b, and the third component 3c is accommodated in the third box 2c. The transport vehicle 1 grips the first part 3a from the first box 2a, grips the second part 3b from the second box 2b, and grips the third part 3c from the third box 2c. Then transport. However, the number of shelves, boxes, and parts is not particularly limited.

このような搬送車１は、図１及び図２に示すように、ロボットアーム５及び移動台車６を備えている。ロボットアーム５は、移動台車６に固定されている。ロボットアーム５としては、一般的なマニピュレータを用いることができ、例えば、先端部に多指ハンド（以下、単にハンドと省略する場合がある。）５ａを備えている。このようなロボットアーム５は、処理部９から出力される制御指令データに基づいて制御される。   Such a transport vehicle 1 includes a robot arm 5 and a movable carriage 6 as shown in FIGS. 1 and 2. The robot arm 5 is fixed to the moving carriage 6. As the robot arm 5, a general manipulator can be used. For example, a multi-finger hand (hereinafter sometimes simply referred to as a hand) 5 a is provided at the tip. Such a robot arm 5 is controlled based on control command data output from the processing unit 9.

移動台車６は、図２に示すように、検出部７、左右の駆動輪８Ｌ、８Ｒ、処理部９及び記憶部１０を備えている。ちなみに、移動台車６は、図示を省略するが、部品３を載置する載置部（例えば、通箱）を備えていることが好ましい。   As shown in FIG. 2, the movable carriage 6 includes a detection unit 7, left and right drive wheels 8 </ b> L and 8 </ b> R, a processing unit 9, and a storage unit 10. Incidentally, although illustration is abbreviate | omitted, the mobile trolley | bogie 6 is preferable to be provided with the mounting part (for example, box) which mounts the components 3. FIG.

検出部７は、搬送車１の周辺環境を検出する。検出部７としては、例えば、Ｋｉｎｅｃｔ（登録商標）センサなどを用いることができる。但し、検出部７は、搬送車１の周辺環境を検出することができるセンサであれば、特に限定されない。検出部７は、検出した周辺環境データを処理部９に出力する。   The detection unit 7 detects the surrounding environment of the transport vehicle 1. As the detection unit 7, for example, a Kinect (registered trademark) sensor or the like can be used. However, the detection part 7 will not be specifically limited if it is a sensor which can detect the surrounding environment of the conveyance vehicle 1. FIG. The detection unit 7 outputs the detected surrounding environment data to the processing unit 9.

左右の駆動輪８Ｌ、８Ｒは、図示を省略した、車輪、モータ、減速機及びエンコーダなどを備えている。エンコーダは、検出したモータの回転角速度データを処理部９に出力する。このような左右の駆動輪８Ｌ、８Ｒのモータは、処理部９から出力される制御指令データに基づいて制御される。   The left and right drive wheels 8L and 8R include wheels, motors, speed reducers, encoders, and the like, which are not shown. The encoder outputs the detected rotational angular velocity data of the motor to the processing unit 9. The motors of the left and right drive wheels 8L and 8R are controlled based on control command data output from the processing unit 9.

処理部９は、詳細は後述するが、複数の箱２内に収容された部品３を当該箱２から夫々把持して搬送するために、移動経路を設定する。また、処理部９は、設定した移動経路に沿って搬送車１が移動しつつ、箱２から部品３を把持するように、左右の駆動輪８Ｌ、８Ｒのモータの制御指令データ及びロボットアーム５の制御指令データを生成して出力する。   Although the details will be described later, the processing unit 9 sets a movement path in order to grasp and convey the parts 3 accommodated in the plurality of boxes 2 from the boxes 2 respectively. Further, the processing unit 9 controls the motor control command data of the left and right drive wheels 8L and 8R and the robot arm 5 so that the parts 1 are gripped from the box 2 while the transport vehicle 1 moves along the set movement route. Control command data is generated and output.

記憶部１０は、箱２の形状及び配置を示すデータ、箱２に収容されている部品３の種類を示すデータ、部品３の形状及び重量などを示すデータ、把持する部品３の種類を示すデータ、棚４の形状及び配置を示すデータ、ロボットアーム５の可動範囲を示すデータ及びハンド５ａの把持姿勢のデータベースなどが格納される。   The storage unit 10 includes data indicating the shape and arrangement of the box 2, data indicating the type of the component 3 accommodated in the box 2, data indicating the shape and weight of the component 3, and data indicating the type of the component 3 to be gripped. Further, data indicating the shape and arrangement of the shelf 4, data indicating the movable range of the robot arm 5, a database of gripping postures of the hand 5a, and the like are stored.

次に、本実施の形態の搬送車１の移動経路設定方法によって当該搬送車１の移動経路を設定し、設定した移動経路に沿って把持対象物を搬送する流れを説明する。図３は、本実施の形態の把持対象物を搬送する流れを示すフローチャート図である。図４は、本実施の形態での搬送車のスタート位置及びゴール位置を模式的に示す図である。図５は、本実施の形態での搬送車におけるロボットアームのピッキング可能位置を模式的に示す図である。   Next, the flow of setting the movement route of the conveyance vehicle 1 by the movement route setting method of the conveyance vehicle 1 of the present embodiment and conveying the gripping object along the set movement route will be described. FIG. 3 is a flowchart showing a flow of conveying the gripping object according to the present embodiment. FIG. 4 is a diagram schematically showing the start position and the goal position of the transport vehicle in the present embodiment. FIG. 5 is a diagram schematically showing a pickable position of the robot arm in the transport vehicle according to the present embodiment.

先ず、処理部９は、搬送車１の移動経路を設定するために、記憶部１０から箱２の形状及び配置を示すデータ、箱２に収容されている部品３の種類を示すデータ、部品３の形状及び重量などを示すデータ、把持する部品３の種類を示すデータ、棚４の形状及び配置を示すデータ、ロボットアーム５の可動範囲を示すデータなどを読み出す（Ｓ１）。   First, the processing unit 9 sets data on the shape and arrangement of the box 2 from the storage unit 10, data indicating the type of the component 3 accommodated in the box 2, and the component 3 in order to set the movement route of the transport vehicle 1. Data indicating the shape and weight of the robot, data indicating the type of the part 3 to be gripped, data indicating the shape and arrangement of the shelf 4, data indicating the movable range of the robot arm 5 and the like are read (S1).

次に、搬送車１が部品３を把持する際のハンド５ａの把持姿勢のデータベースを構築する（Ｓ２）。ここで、データベースの構築は、図示を省略したシミュレータなどを用いて行う。このようなデータベースを構築する手順は、例えば、以下のフェーズを備えている。   Next, a database of gripping postures of the hand 5a when the transport vehicle 1 grips the component 3 is constructed (S2). Here, the database is constructed using a simulator or the like not shown. The procedure for constructing such a database includes, for example, the following phases.

＜フェーズ１＞
先ず、シミュレータは、部品３の形状（幾何モデル）に対して最適な分割数を決めるための評価指標を導き出す。詳細には、シミュレータは、領域分割数決定方法によって、以下の条件１を満たすまでクラスタをマージする。 <Phase 1>
First, the simulator derives an evaluation index for determining an optimal division number for the shape (geometric model) of the part 3. Specifically, the simulator merges clusters until the following condition 1 is satisfied by the method for determining the number of divided areas.

＜条件１＞
誤差（error）＞０．０１、且つ、クラスタの重なり度＜０．２であって、クラスタの重なり度は、以下の＜数１＞のように導き出す。 <Condition 1>
Error> 0.01 and cluster overlap degree <0.2, and the cluster overlap degree is derived as in the following <Equation 1>.

Figure 2017047518
但し、volmaxは最大クラスタ領域のバウンディングボックスの体積、overlapvoliは最大クラスタ領域とクラスタｉのバウンディングボックスが重なった領域の体積である。
Figure 2017047518
 Where vol max is the volume of the bounding box of the maximum cluster region, and overlap voli is the volume of the region where the maximum cluster region and the bounding box of cluster i overlap.

＜フェーズ２＞
シミュレータは、＜フェーズ１＞で導き出した評価指標を最小化するように、部品３の幾何モデルを一般的な方法（例えば、辻、原田、山野辺、永田、中村、長谷川、”一般物体把持のための把持姿勢変換”、ロボティクスシンポジア講演稿集、pp.219-224、2013）に基づいて分割（クラスタリング）する。これにより、部品３の幾何モデルに複数の２次曲面が割り当てられる。 <Phase 2>
The simulator uses a general method (for example, Sakai, Harada, Yamanobe, Nagata, Nakamura, Hasegawa, “for general object grasping” so as to minimize the evaluation index derived in <Phase 1>. Clustering) based on "Transformation of gripping posture", Robotics Symposia Proceedings, pp.219-224, 2013). Thereby, a plurality of quadric surfaces are assigned to the geometric model of the part 3.

＜フェーズ３＞
シミュレータは、２次曲面として楕円や円が割り当てられたものに対しては、これらのバウンディングボックスを導き出す。なお、バウンディングボックスの３辺長が部品３全体のバウンディングボックスの３辺長の０．１５倍（但し、倍数は適宜変更することができる。）より小さいクラスタ領域は、把持点探索の対象外とする。 <Phase 3>
The simulator derives these bounding boxes for a quadratic curved surface to which an ellipse or a circle is assigned. Note that a cluster area whose three side lengths of the bounding box are smaller than 0.15 times the three side lengths of the entire part 3 (however, the multiple can be changed as appropriate) is excluded from the gripping point search target. To do.

＜フェーズ４＞
シミュレータは、＜フェーズ３＞で導き出したバウンディングボックスを、例えば、原田、辻、金子、金広、丸山、”直方体モデルに基づく多指ハンドの把握計画”、日本機械学会誌（Ｃ編）、vol.76、no.762、pp.331-339、2010で定義したＧＲＣ（Grasping Rectangular Convex）とみなし、ＧＲＣの曲面に離散化した点を仮定し、この点にアプローチするように仮想的にハンド５ａを動かす。 <Phase 4>
The simulator uses the bounding box derived in <Phase 3>, for example, Harada, Kaoru, Kaneko, Kanehiro, Maruyama, "Multi-fingered hand grasp planning based on a rectangular parallelepiped model", Journal of the Japan Society of Mechanical Engineers (C), vol. Assuming the GRC (Grasping Rectangular Convex) defined in .76, no.762, pp.331-339, 2010, assuming a discrete point on the curved surface of the GRC, and virtually approaching this point 5a Move.

＜フェーズ５＞
シミュレータは、＜フェーズ４＞におけるハンド５ａの姿勢から当該ハンド５ａの指が部品３と接触するまで仮想的に当該指を閉じる。 <Phase 5>
The simulator virtually closes the finger from the posture of the hand 5a in <Phase 4> until the finger of the hand 5a contacts the part 3.

＜フェーズ６＞
シミュレータは、仮想的に全ての指が部品３と接触した時点で、例えば、原田、辻、宇都、山野辺、永田、”ソフトフィンガ型把持の安定性解析”、計測自動制御学会システムインテグレーション部門講演会予稿集、2013に開示された手法で把持安定性をチェックする。チェックを行って安定性が満たされないと判断した場合は、チェックをしたハンド５ａの把持姿勢は対象体とする。 <Phase 6>
For example, when all fingers are in contact with the part 3 virtually, the simulator, for example, Harada, Sakai, Utsu, Yamanobe, Nagata, “Soft finger gripping stability analysis”, Society of Instrument and Control Engineers System Integration Division Lecture Check the stability of gripping with the method disclosed in Proceedings 2013. When it is determined that the stability is not satisfied by performing a check, the gripping posture of the checked hand 5a is set as a target object.

上述の離散化した点に対して＜フェーズ５＞及び＜フェーズ６＞を繰り返すことで、各部品３に対してハンド５ａの把持姿勢のデータベースを構築することができる。なお、データベースにおける各データは、部品３の座標系からみたロボットアーム５の手首の位置データ、部品３の座標系からみたロボットアーム５の手首の姿勢行列データ、及びハンド５ａの指の関節角度ベクトルデータを備える。   By repeating <Phase 5> and <Phase 6> on the above-discretized points, a database of gripping postures of the hand 5a can be constructed for each component 3. Each data in the database includes the position data of the wrist of the robot arm 5 viewed from the coordinate system of the part 3, the posture matrix data of the wrist of the robot arm 5 viewed from the coordinate system of the part 3, and the joint angle vector of the finger of the hand 5a. Provide data.

上述の＜フェーズ１＞〜＜フェーズ６＞を部品３とハンド５ａとの全てのペアに対して行って、部品３とハンド５ａとの全てのペアに対して当該ハンド５ａの把持姿勢のデータベースを構築し、当該データベースを記憶部１０に格納する。なお、ハンド５ａの把持姿勢のデータベースは、予め記憶部１０に格納されていてもよい。   The above <Phase 1> to <Phase 6> are performed for all pairs of the component 3 and the hand 5a, and a database of gripping postures of the hand 5a is created for all the pairs of the component 3 and the hand 5a. And the database is stored in the storage unit 10. Note that a database of gripping postures of the hand 5a may be stored in the storage unit 10 in advance.

次に、処理部９は、搬送車１、ひいては移動台車６の位置の系列（移動経路）を設定する（Ｓ３）。移動台車６の移動経路を設定する手順は、例えば、以下のフェーズを備えている。ここで、搬送車１は、図４に示す位置をスタート位置及びゴール位置とする。   Next, the processing unit 9 sets a series (movement route) of positions of the transport vehicle 1 and eventually the moving carriage 6 (S3). The procedure for setting the movement route of the mobile carriage 6 includes the following phases, for example. Here, the transport vehicle 1 sets the positions shown in FIG. 4 as the start position and the goal position.

＜フェーズＩ＞
処理部９は、箱２内のどの位置に部品３が置かれていても、左右どちらか一方のロボットアーム５を用いて部品３を把持することができるような移動台車６の位置に関する領域（ピッキング可能位置）を導き出す。つまり、処理部９は、箱２の形状並びに配置、箱２に収容されている部品３の種類、部品３の形状及び重量、把持する部品３の種類、棚４の形状及び配置、ロボットアーム５の可動範囲及びハンド５ａの把持姿勢のデータベースなどに基づいて、少なくとも何れか１つのロボットアーム５による部品３の把持が可能なロボットアーム可動範囲内に箱２内の全ての空間が含まれる搬送車１のピッキング可能位置を取得する。ここで、＜フェーズＩ＞の搬送車１のピッキング可能位置を導き出す手順は、以下のステップを備えている。 <Phase I>
The processing unit 9 is an area (position relating to the position of the movable carriage 6) that can hold the part 3 using either the left or right robot arm 5, regardless of where the part 3 is placed in the box 2. Derived position) That is, the processing unit 9 includes the shape and arrangement of the box 2, the type of the component 3 accommodated in the box 2, the shape and weight of the component 3, the type of the component 3 to be gripped, the shape and arrangement of the shelf 4, and the robot arm 5. Based on the movable range and the gripping posture database of the hand 5a, etc., the transporting vehicle in which all the space in the box 2 is included in the movable range of the robot arm in which at least one of the robot arms 5 can grip the component 3 1 pickable position is acquired. Here, the procedure for deriving the pickable position of the transport vehicle 1 in <Phase I> includes the following steps.

＜ステップ１＞
処理部９は、箱２の底面を離散化した全ての点に対して、部品３をハンド５ａで安定して把持できるような移動台車６の位置を導き出す。 <Step 1>
The processing unit 9 derives the position of the movable carriage 6 so that the part 3 can be stably gripped by the hand 5a with respect to all points obtained by discretizing the bottom surface of the box 2.

＜ステップ２＞
処理部９は、移動台車６の動作領域（移動台車６が走行可能な領域）を離散化した点のうち、＜ステップ１＞で導き出した点（例えば、箱２の四隅のうち一つの角部）に最も近い点を選び、移動台車６を選んだ点に置いた場合に箱２の底面を離散化した点全てに部品３を置いてもハンド５ａが安定して部品３を把持できるか否かをチェックする。安定して把持できないと判断した場合は、チェックした点は対象外とする。 <Step 2>
Of the points where the operation area of the mobile carriage 6 (the area in which the mobile carriage 6 can travel) is discretized, the processing section 9 is the point derived in <Step 1> (for example, one corner of the four corners of the box 2). ) If the point closest to) is selected and the movable carriage 6 is placed at the selected point, whether the hand 5a can stably hold the part 3 even if the part 3 is placed at all points where the bottom surface of the box 2 is discretized To check. If it is determined that it cannot be gripped stably, the checked points are excluded.

＜ステップ３＞
処理部９は、＜ステップ２＞で導き出した点から始め、移動台車６の動作領域を離散化した点のうち、隣接した点（例えば、箱２の四隅のうち残りの三つの角部及び当該箱２の中央位置に最も近い点）について順次、箱２の底面を離散化した点全てに部品３を置いてもハンド５ａが安定して当該部品３を把持できるか否かをチェックする。安定して把持できないと判断した場合は、チェックした点は対象外とする。 <Step 3>
The processing unit 9 starts from the points derived in <Step 2>, and among the points obtained by discretizing the operation region of the mobile carriage 6, the adjacent points (for example, the remaining three corners of the four corners of the box 2 and the relevant points) It is sequentially checked whether or not the hand 5a can stably hold the part 3 even if the part 3 is placed on all points where the bottom surface of the box 2 is discretized. If it is determined that it cannot be gripped stably, the checked points are excluded.

本実施の形態では、上述の＜ステップ１＞〜＜ステップ３＞により搬送車１のピッキング可能位置を導き出した場合、図５に示すように、領域１が第１の箱２ａ内の全ての第１の部品３ａを右側のロボットアーム５で把持可能な搬送車１のピッキング可能位置となり、領域２が第１の箱２ａ内の全ての第１の部品３ａを左側のロボットアーム５で把持可能な搬送車１のピッキング可能位置となる。また、領域３が第２の箱２ｂ内の全ての第２の部品３ｂを右側のロボットアーム５で把持可能な搬送車１のピッキング可能位置となり、領域４が第２の箱２ｂ内の全ての第２の部品３ｂを左側のロボットアーム５で把持可能な搬送車１のピッキング可能位置となる。さらに、領域５が第３の箱２ｃ内の全ての第３の部品３ｃを右側のロボットアーム５で把持可能な搬送車１のピッキング可能位置となり、領域６が第３の箱２ｃ内の全ての第３の部品３ｃを左側のロボットアーム５で把持可能な搬送車１のピッキング可能位置となる。   In the present embodiment, when the pickable position of the transport vehicle 1 is derived by the above-described <Step 1> to <Step 3>, as shown in FIG. 5, the region 1 is all the first boxes 2a in the first box 2a. 1 part 3a becomes a pickable position of the transport vehicle 1 that can be gripped by the right robot arm 5, and the region 2 can grip all the first parts 3a in the first box 2a by the left robot arm 5. This is a pickable position of the transport vehicle 1. In addition, the region 3 is a pickable position of the transport vehicle 1 that can grip all the second parts 3b in the second box 2b with the right robot arm 5, and the region 4 is all the components in the second box 2b. This is a pickable position of the transport vehicle 1 where the second part 3b can be gripped by the left robot arm 5. Further, the region 5 is a pickable position of the transport vehicle 1 that can grip all the third parts 3c in the third box 2c by the right robot arm 5, and the region 6 is all the components in the third box 2c. This is the pickable position of the transport vehicle 1 where the third part 3c can be gripped by the left robot arm 5.

＜フェーズII＞
処理部９は、＜フェーズＩ＞で導き出した搬送車１のピッキング可能位置に基づいて、移動台車６が停止した状態で左右のロボットアーム５を選択的に利用して、二つ以上の箱２から部品３を把持できる領域を導き出す。つまり、処理部９は、複数の箱２に対するピッキング可能位置の共通領域を取得する。 <Phase II>
Based on the pickable position of the transport vehicle 1 derived in <Phase I>, the processing unit 9 selectively uses the left and right robot arms 5 in a state where the moving carriage 6 is stopped, so that two or more boxes 2 From this, an area where the part 3 can be gripped is derived. That is, the processing unit 9 acquires a common area of pickable positions for the plurality of boxes 2.

本実施の形態では、領域１並びに領域２を含む第１の箱２ａの第１の部品３ａを把持可能な領域７と、領域３並びに領域４を含む第２の箱２ｂの第２の部品３ｂを把持可能な領域８と、の共通領域、及び領域８と、領域５並びに領域６を含む第３の箱２ｃの第３の部品３ｃを把持可能な領域９と、の共通領域、及び領域７と領域９との共通領域を夫々導き出す。その結果、本実施の形態では、図５に示すように、領域７と領域８との共通領域として領域１０を取得する。   In the present embodiment, a region 7 capable of gripping the first part 3a of the first box 2a including the region 1 and the region 2, and a second part 3b of the second box 2b including the region 3 and the region 4 are included. The common area of the area 8 that can grip the third part 3c of the third box 2c including the area 8 and the area 5 and the area 6, and the common area of the area 9 that can grip the third part 3c. And a common area with the area 9 are derived. As a result, in the present embodiment, as shown in FIG. 5, the region 10 is acquired as a common region of the region 7 and the region 8.

＜フェーズIII＞
処理部９は、＜フェーズＩ＞で導き出した搬送車１のピッキング可能位置及び＜フェーズII＞で導き出した共通領域に基づいて、搬送車１の停止回数が最小で、且つ移動距離が最小になる搬送車１の移動経路を分岐限定法とシミュレーティッドアニーリング法とに基づいて導き出して設定する。このとき、処理部９は、複数の箱２から搬送作業を行う際の搬送車１の停止位置を＜フェーズII＞で導き出した共通領域内に設定する。本実施の形態では、領域１０内に搬送車１の停止位置を設定する。ここで、図示例では、・で搬送車１の停止位置を示し、破線で搬送車１の移動経路を示している。 <Phase III>
Based on the pickable position of the transport vehicle 1 derived in <Phase I> and the common area derived in <Phase II>, the processing unit 9 minimizes the number of stops of the transport vehicle 1 and minimizes the moving distance. The movement route of the transport vehicle 1 is derived and set based on the branch and bound method and the simulated annealing method. At this time, the processing unit 9 sets the stop position of the transport vehicle 1 when transporting from a plurality of boxes 2 within the common area derived in <Phase II>. In the present embodiment, the stop position of the transport vehicle 1 is set in the region 10. Here, in the illustrated example, the stop position of the transport vehicle 1 is indicated by ·, and the movement path of the transport vehicle 1 is indicated by a broken line.

分岐限定法とシミュレーティッドアニーリング法とに基づいて搬送車１の移動経路を導き出す手法は、例えば、原田、辻、菊地、永田、音田、河井、”双腕移動ロボットによる部品供給作業計画”、ロボティクスシンポジア講演予稿集の７章に開示の手法を用いることができる。   The method of deriving the movement path of the transport vehicle 1 based on the branch and bound method and the simulated annealing method is, for example, Harada, Sakai, Kikuchi, Nagata, Onda, Kawai, “Parts supply work plan by a double-armed mobile robot”, The method disclosed in Chapter 7 of the Robotics Symposia Proceedings can be used.

次に、処理部９は、図１に示すように、Ｓ３の工程で設定した搬送車１の移動経路に沿って当該搬送車１が移動するように左右の駆動輪８Ｌ、８Ｒを制御する（Ｓ４）。そして、処理部９は、搬送車１がゴール位置に到達したか否かを判定する（Ｓ５）。   Next, as shown in FIG. 1, the processing unit 9 controls the left and right drive wheels 8 </ b> L and 8 </ b> R so that the transport vehicle 1 moves along the travel route of the transport vehicle 1 set in step S <b> 3 ( S4). Then, the processing unit 9 determines whether or not the transport vehicle 1 has reached the goal position (S5).

処理部９は、搬送車１がゴール位置に到達していないと判断した場合（Ｓ５のＮＯ）、部品３の位置・姿勢を導き出す（Ｓ６）。つまり、搬送車１が移動経路内の所定の停止位置に到達すると、検出部７を用いて部品３の位置・姿勢を導き出す。本実施の形態では、検出部７を用いて箱２内の一つの部品３のポイントクラウドを検出し、処理部９が部品３のポイントクラウドを記憶部１０から読み出した情報が示す部品３の形状と照らし合わせて、部品３の位置・姿勢を導き出す。   When it is determined that the transport vehicle 1 has not reached the goal position (NO in S5), the processing unit 9 derives the position / posture of the component 3 (S6). That is, when the transport vehicle 1 reaches a predetermined stop position in the movement path, the position / posture of the component 3 is derived using the detection unit 7. In the present embodiment, the shape of the component 3 indicated by the information obtained by detecting the point cloud of one component 3 in the box 2 using the detection unit 7 and the processing unit 9 reading the point cloud of the component 3 from the storage unit 10 is used. The position / posture of the part 3 is derived.

次に、処理部９は、部品３の把持動作を実行する（Ｓ７）。詳細には、処理部９は、箱２に収容されている部品３の位置・姿勢を導き出すと、この絶対座標系からみた部品３の位置を表す３次元の位置ベクトルをＰｏとし、部品３の姿勢を表す３×３の回転行列をＲｏとする。ここで、Ｓ１の工程で、部品３毎にハンド５ａの把持姿勢のデータベースが得られている。   Next, the processing unit 9 performs a gripping operation for the component 3 (S7). Specifically, when the processing unit 9 derives the position / orientation of the part 3 accommodated in the box 2, the three-dimensional position vector representing the position of the part 3 viewed from the absolute coordinate system is set as Po, and Let Ro be a 3 × 3 rotation matrix representing the posture. Here, a database of gripping postures of the hand 5a is obtained for each component 3 in the step S1.

次に、処理部９は、データベースの第ｉ番目のデータに含まれる部品３の座標系からみたロボットアーム５の手首の位置をｏＰｗｉ、ロボットアーム５の手首の姿勢を表す行列をｏＲｗｉ、ハンド５ａの指関節の関節角ベクトルをｑｉとし、絶対座標系からみたロボットアーム５の手首の目標位置・姿勢を以下の＜式１＞により定義する。   Next, the processing unit 9 displays the wrist position of the robot arm 5 as viewed from the coordinate system of the part 3 included in the i-th data in the database, oPwi, the matrix indicating the wrist posture of the robot arm 5 as oRwi, and the hand 5a. Let qi be the joint angle vector of the finger joint, and the target position / posture of the wrist of the robot arm 5 as viewed from the absolute coordinate system is defined by the following <Formula 1>.

＜式１＞
Ｐｗｉ＝Ｐｏ＋Ｒｏ×ｏＰｗｉ
Ｒｗｉ＝Ｒｏ×ｏＲｗｉ <Formula 1>
Pwi = Po + Ro × oPwi
Rwi = Ro × oRwi

処理部９は、定義したロボットアーム５の手首の位置・姿勢に対して逆運動学計算を解く。これにより、ロボットアーム５の把持姿勢における目標関節角度が得られる。この逆運動学計算をデータベースの最初のデータから順次行う。   The processing unit 9 solves the inverse kinematics calculation for the wrist position / posture of the defined robot arm 5. Thereby, the target joint angle in the holding posture of the robot arm 5 is obtained. This inverse kinematic calculation is performed sequentially from the first data in the database.

処理部９は、逆運動学計算が解けると、初期姿勢から部品３の把持姿勢まで、さらに部品３の把持姿勢から当該部品３を移動台車６の載置部に置く姿勢まで、ロボットアーム５が障害物を避けながら動作する軌道を生成する。軌道生成は、例えば、G.Sanchez and J.-C. Latombe, “A Single-Query Bi-Directional Probabilistic Roadmap Planner with Lazy Collision Checking”, Robotics Research, Springer Tracts in Advanced Robotics, vol.6, pp.403-417,2003に開示の手法を用いることができる。   When the inverse kinematics calculation is solved, the processing unit 9 moves the robot arm 5 from the initial posture to the gripping posture of the component 3 and further from the gripping posture of the component 3 to the posture of placing the component 3 on the mounting portion of the movable carriage 6. Generate a trajectory that moves while avoiding obstacles. For example, G. Sanchez and J.-C. Latombe, “A Single-Query Bi-Directional Probabilistic Roadmap Planner with Lazy Collision Checking”, Robotics Research, Springer Tracts in Advanced Robotics, vol.6, pp.403 -417,2003 can be used.

ここで、図６は、ロボットアームの軌道生成の流れを示すフローチャート図であり、上述のロボットアーム５の軌道生成の流れを図で表すと、図６に示すフローチャート図となる。   Here, FIG. 6 is a flowchart showing the flow of generating the trajectory of the robot arm, and the flow of generating the trajectory of the robot arm 5 is shown in the flowchart of FIG.

処理部９は、搬送車１がゴール位置に到達していると判断した場合（Ｓ５のＹＥＳ）、部品３の搬送作業を終了する。   When it is determined that the transport vehicle 1 has reached the goal position (YES in S5), the processing unit 9 ends the transport operation of the component 3.

このように本実施の形態の搬送車１の移動経路設定方法は、複数の箱２に対して部品３を把持可能な領域内に、当該複数の箱２から搬送作業を行う際の搬送車１の停止位置を設定する。つまり、移動台車６に対して動作速度が速いロボットアーム５を積極的に動作させて、当該ロボットアーム５によって複数の箱２から部品３を把持する。そのため、ロボットアーム５に対して動作速度が遅い移動台車６の移動距離を抑制することができ、効率的な部品３の搬送作業を行うことができる。   As described above, the moving path setting method for the transport vehicle 1 according to the present embodiment is configured so that the transport vehicle 1 is used when transporting from the plurality of boxes 2 within the region where the parts 3 can be gripped with respect to the plurality of boxes 2. Set the stop position. That is, the robot arm 5 having a high operating speed is actively operated with respect to the moving carriage 6, and the parts 3 are gripped from the plurality of boxes 2 by the robot arm 5. Therefore, the moving distance of the moving carriage 6 whose operation speed is slow relative to the robot arm 5 can be suppressed, and an efficient work of conveying the component 3 can be performed.

以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。   Although the present invention has been described with reference to the above embodiment, the present invention is not limited only to the configuration of the above embodiment, and within the scope of the invention of the claims of the present application. It goes without saying that various modifications, corrections, and combinations that can be made by those skilled in the art are included.

１ 搬送車
２ 箱、２ａ 第１の箱、２ｂ 第２の箱、２ｃ 第３の箱
３ 部品、３ａ 第１の部品、３ｂ 第２の部品、３ｃ 第３の部品
４ 棚、４ａ 第１の棚、４ｂ 第２の棚
５ ロボットアーム、５ａ ハンド
６ 台車
７ 検出部
８Ｌ、８Ｒ 駆動輪
９ 処理部
１０ 記憶部 DESCRIPTION OF SYMBOLS 1 Carrier vehicle 2 box, 2a 1st box, 2b 2nd box, 2c 3rd box 3 parts, 3a 1st parts, 3b 2nd parts, 3c 3rd parts 4 shelf, 4a 1st Shelf, 4b Second shelf 5 Robot arm, 5a Hand 6 Cart 7 Detection unit 8L, 8R Drive wheel 9 Processing unit 10 Storage unit

Claims (1)

複数のロボットアームを備え、近接して配置された複数の箱の中に入っているピッキング対象物を前記ロボットアームによって取り出して搬送する搬送車の移動経路設定方法であって、
少なくとも何れか１つのロボットアームによるピッキングが可能なロボットアーム可動範囲内に箱内の全ての空間が含まれる搬送車のピッキング可能位置を取得し、
前記複数の箱に対する前記ピッキング可能位置の共通領域を取得し、
前記複数の箱からピッキング作業を行う際の前記搬送車の停止位置を前記共通領域内に設定する、搬送車の移動経路設定方法。 A method for setting a movement path of a transport vehicle that includes a plurality of robot arms and picks up and transports picking objects contained in a plurality of closely arranged boxes by the robot arm,
Obtaining a pickable position of the transport vehicle in which all spaces in the box are included in a movable range of the robot arm that can be picked by at least one robot arm;
Obtaining a common area of the pickable positions for the plurality of boxes;
A method for setting a movement path of a transport vehicle, wherein a stop position of the transport vehicle when picking work from the plurality of boxes is set in the common area.
JP2015174639A 2015-09-04 2015-09-04 How to set the moving route of the carrier Active JP6641804B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015174639A JP6641804B2 (en) 2015-09-04 2015-09-04 How to set the moving route of the carrier

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015174639A JP6641804B2 (en) 2015-09-04 2015-09-04 How to set the moving route of the carrier

Publications (2)

Publication Number Publication Date
JP2017047518A true JP2017047518A (en) 2017-03-09
JP6641804B2 JP6641804B2 (en) 2020-02-05

Family

ID=58278433

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015174639A Active JP6641804B2 (en) 2015-09-04 2015-09-04 How to set the moving route of the carrier

Country Status (1)

Country Link
JP (1) JP6641804B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022244127A1 (en) * 2021-05-19 2022-11-24 ファナック株式会社 Robot system
WO2022259600A1 (en) * 2021-06-08 2022-12-15 ソニーグループ株式会社 Information processing device, information processing system, information processing method, and program

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63267189A (en) * 1987-04-25 1988-11-04 フアナツク株式会社 Regulator for position of setting of robot
JPH06320364A (en) * 1993-05-19 1994-11-22 Ricoh Co Ltd Part automatic assembling device
JPH07308877A (en) * 1994-05-18 1995-11-28 Matsushita Electric Works Ltd Robot device
US5675229A (en) * 1994-09-21 1997-10-07 Abb Robotics Inc. Apparatus and method for adjusting robot positioning
JP2006159359A (en) * 2004-12-08 2006-06-22 Toyota Motor Corp Method for controlling action of robot with very redundant degree of freedom
JP2007118176A (en) * 2005-09-27 2007-05-17 Yaskawa Electric Corp Mobile manipulator
JP2009279663A (en) * 2008-05-19 2009-12-03 Kawada Kogyo Kk Method and apparatus for position identification of robot
JP2011121405A (en) * 2009-12-08 2011-06-23 Mitsubishi Motors Corp Vehicle body production device
JP2013111737A (en) * 2011-12-01 2013-06-10 Sony Corp Robot apparatus, control method thereof, and computer program
JP2013132707A (en) * 2011-12-26 2013-07-08 Seiko Epson Corp Robot installation position determination device and robot installation position determination method
JP2014210306A (en) * 2013-04-18 2014-11-13 株式会社安川電機 Moving robot, positioning system of moving robot, and positioning method of moving robot
JP2015089578A (en) * 2013-11-05 2015-05-11 セイコーエプソン株式会社 Robot system
CN104690732A (en) * 2015-02-10 2015-06-10 赵言正 Dish sending robot

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63267189A (en) * 1987-04-25 1988-11-04 フアナツク株式会社 Regulator for position of setting of robot
JPH06320364A (en) * 1993-05-19 1994-11-22 Ricoh Co Ltd Part automatic assembling device
JPH07308877A (en) * 1994-05-18 1995-11-28 Matsushita Electric Works Ltd Robot device
US5675229A (en) * 1994-09-21 1997-10-07 Abb Robotics Inc. Apparatus and method for adjusting robot positioning
JP2006159359A (en) * 2004-12-08 2006-06-22 Toyota Motor Corp Method for controlling action of robot with very redundant degree of freedom
JP2007118176A (en) * 2005-09-27 2007-05-17 Yaskawa Electric Corp Mobile manipulator
JP2009279663A (en) * 2008-05-19 2009-12-03 Kawada Kogyo Kk Method and apparatus for position identification of robot
JP2011121405A (en) * 2009-12-08 2011-06-23 Mitsubishi Motors Corp Vehicle body production device
JP2013111737A (en) * 2011-12-01 2013-06-10 Sony Corp Robot apparatus, control method thereof, and computer program
JP2013132707A (en) * 2011-12-26 2013-07-08 Seiko Epson Corp Robot installation position determination device and robot installation position determination method
JP2014210306A (en) * 2013-04-18 2014-11-13 株式会社安川電機 Moving robot, positioning system of moving robot, and positioning method of moving robot
JP2015089578A (en) * 2013-11-05 2015-05-11 セイコーエプソン株式会社 Robot system
CN104690732A (en) * 2015-02-10 2015-06-10 赵言正 Dish sending robot

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022244127A1 (en) * 2021-05-19 2022-11-24 ファナック株式会社 Robot system
WO2022259600A1 (en) * 2021-06-08 2022-12-15 ソニーグループ株式会社 Information processing device, information processing system, information processing method, and program

Also Published As

Publication number Publication date
JP6641804B2 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
CN109318226B (en) Robot control device, robot control method, and storage medium
JP6807949B2 (en) Interference avoidance device
CN110914024B (en) Path output method, path output system, and path output program
JP6359756B2 (en) Manipulator, manipulator operation planning method, and manipulator control system
US9244463B2 (en) Automated guided vehicle and method of operating an automated guided vehicle
US10759051B2 (en) Architecture and methods for robotic mobile manipulation system
TWI682839B (en) Multi-joint mechanical arm and control method of multi-joint mechanical arm
JP6572687B2 (en) Grasping determination method
TW201641232A (en) Robot system
Kaldestad et al. Collision avoidance with potential fields based on parallel processing of 3D-point cloud data on the GPU
US11518042B2 (en) Robotic assistant
JP6641804B2 (en) How to set the moving route of the carrier
JP2020163502A (en) Object detection method, object detection device, and robot system
CN109641706B (en) Goods picking method and system, and holding and placing system and robot applied to goods picking method and system
JP2020181485A (en) Unmanned transportation robot system
CN105269556B (en) The motion look-ahead approach of robot
Ata et al. COLLISION-FREE TRAJECTORY PLANNING FOR MANIPULATORS USING GENERALIZED PATTERN SEARCH.
JP2008264901A (en) Mobile robot, its automatic coupling method, and drive control method for parallel link mechanism
JP2011248648A (en) Moving body
Suthakorn et al. An enhanced robotic library system for an off-site shelving facility
Gu et al. Dexterous obstacle-avoidance motion control of Rope Driven Snake Manipulator based on the bionic path following
CN114258380A (en) Management system and control method of management system
CN110370263B (en) Robot teaching method and device and robot
JPH06143170A (en) Auto-nomic conveying device
WO2023243334A1 (en) Robot

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20151005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180808

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191216

R151 Written notification of patent or utility model registration

Ref document number: 6641804

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151