JP2021146403A - Control device and program - Google Patents
Control device and program Download PDFInfo
- Publication number
- JP2021146403A JP2021146403A JP2020045226A JP2020045226A JP2021146403A JP 2021146403 A JP2021146403 A JP 2021146403A JP 2020045226 A JP2020045226 A JP 2020045226A JP 2020045226 A JP2020045226 A JP 2020045226A JP 2021146403 A JP2021146403 A JP 2021146403A
- Authority
- JP
- Japan
- Prior art keywords
- article
- priority
- articles
- control device
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 73
- 230000008569 process Effects 0.000 claims abstract description 67
- 238000003384 imaging method Methods 0.000 claims abstract description 29
- 238000000926 separation method Methods 0.000 claims abstract description 21
- 230000008859 change Effects 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 5
- 230000005484 gravity Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Abstract
Description
本発明の実施形態は、制御装置及びプログラムに関する。 Embodiments of the present invention relate to control devices and programs.
従来、ロボットアーム等の移動装置を用いることで荷物等の物品の荷役（移動）が行われている。例えば、移動対象の物品が置かれた場所を撮像することで得られた画像から物品の位置、形状及び姿勢を認識し、周囲がクリアな物品から順番に把持を行う技術が知られている。 Conventionally, cargo handling (movement) of goods such as luggage has been performed by using a moving device such as a robot arm. For example, there is known a technique of recognizing the position, shape, and posture of an article from an image obtained by imaging a place where an article to be moved is placed, and grasping the article in order from an article having a clear surrounding.
しかしながら、従来の技術では、把持対象（移動対象）の物品と当該物品の周囲に存在する他の物品との距離に基づき順番を決定するため、物品全体の位置関係を考慮することはできず、効率性の観点から更なる改善の余地がある。 However, in the conventional technique, since the order is determined based on the distance between the article to be gripped (moving object) and other articles existing around the article, the positional relationship of the entire article cannot be considered. There is room for further improvement in terms of efficiency.
本発明が解決しようとする課題は、物品の移動を効率的に行うことが可能な制御装置及びプログラムを提供することである。 An object to be solved by the present invention is to provide a control device and a program capable of efficiently moving an article.
実施形態の制御装置は、第１の接続部と、第２の接続部と、制御部とを備える。第１の接続部は、載置部に載置された物品を把持して当該物品の移動を行う荷役装置に接続される。第２の接続部は、前記載置部を上方から撮像する撮像装置に接続される。制御部は、前記撮像装置で撮像された画像を前記第２の接続部を介して取得し、取得した前記画像から前記載置部に載置された前記物品を認識する認識処理を実行し、前記認識処理で認識された前記物品の物品間の離間距離を算出し、前記離間距離に基づいて移動順序に係る優先度を前記物品に設定し、前記第１の接続部を介して前記荷役装置を制御することで、前記優先度に応じた順序で前記物品を移動させる。 The control device of the embodiment includes a first connection unit, a second connection unit, and a control unit. The first connecting portion is connected to a cargo handling device that grips the article placed on the mounting portion and moves the article. The second connecting portion is connected to an imaging device that images the above-mentioned mounting portion from above. The control unit acquires an image captured by the image pickup device via the second connection unit, executes a recognition process for recognizing the article placed on the above-described storage unit from the acquired image, and executes a recognition process. The separation distance between the articles of the articles recognized by the recognition process is calculated, the priority related to the movement order is set for the articles based on the separation distance, and the cargo handling device is set via the first connection portion. By controlling the above, the article is moved in an order according to the priority.
以下、実施形態に係る制御装置及び荷役システムを、図面を参照して説明する。 Hereinafter, the control device and the cargo handling system according to the embodiment will be described with reference to the drawings.
（第１の実施形態）
図１は、第１の実施形態に係る荷役システムの構成の一例を示す図である。
(First Embodiment)
FIG. 1 is a diagram showing an example of a configuration of a cargo handling system according to the first embodiment.
図１に示すように、荷役システム１は、荷役装置１０と、カメラ２０と、制御装置３０とを有する。ここで、荷役装置１０及びカメラ２０と、制御装置３０とは、例えばシリアルケーブルやＬＡＮ（Local Area Network）等を介して接続される。
As shown in FIG. 1, the
荷役装置１０は、荷役装置の一例である。荷役装置１０は、パレット２の上面２ａに載置された物品Ｗを目的位置に荷役（移動）するための装置である。物品Ｗの目的位置は、物品Ｗの移動先であればよく、例えばコンベアとすることができる。パレット２は、載置部の一例であり、例えば水平な床面Ｇに配置される。物品Ｗは、例えば定形又は不定形の立体物であり、パレット２の上面２ａに１又は複数個載置される。なお、本実施形態では、物品Ｗをパレット２に載置した例を示しているが、これに限らず、例えば床面Ｇ上に載置される形態としてもよい。この場合、物品Ｗが載置される床面Ｇ上の領域が載置部に対応することになる。
The
荷役装置１０は、基台１１１と、基台１１１に支持されたアーム部１１２と、アーム部１１２の先端に設けられた把持部１１３とを備える。基台１１１は、床面Ｇに固定された筐体である。以下では、床面Ｇと平行な方向、すなわち重力の作用する方向に直交する方向を水平方向ともいう。また、床面Ｇに直交する方向、すなわち重力の作用する方向及びその逆方向を上下方向ともいう。
The
アーム部１１２は、一例として多関節ロボットアームである。アーム部１１２は、把持部１１３によって保持された物品Ｗを上下方向に移動する動作、及び水平方向に移動する動作を実行可能に構成されている。
The
例えば、アーム部１１２は、１軸又は２軸回りに回動可能な複数の関節により連結された３つの可動部１１２ａ〜１１２ｃで構成される。可動部１１２ａは、基台１１１から延出している。可動部１１２ｂは、可動部１１２ａから延出している。可動部１１２ｃは、可動部１１２ｂから延出している。
For example, the
アーム部１１２（可動部１１２ｃ）の先端には、把持部１１３が取り付けられている。把持部１１３は、物品Ｗを挟み込んで把持する。なお、物品Ｗの把持は、挟持による把持方法に限定されない。例えば、把持部１１３に代えて、負圧によって物品Ｗを吸着把持する吸着部を用いてもよい。以下、把持部１１３によって物品Ｗを把持する動作、又は物品Ｗを把持する動作及び当該物品Ｗをアーム部１１２によって目的位置まで移動する動作を「ピッキング」ともいう。なお、アーム部１１２や把持部１１３には、物品Ｗのピッキング状態を検出するためのセンサ装置（例えば、接触センサ、重量センサ等）が設けられているものとする。
A
カメラ２０は、撮像装置の一例である。カメラ２０は、パレット２の上方に設けられ、パレット２の上面２ａを上方から撮像する。カメラ２０は、ＲＧＢカメラ２１と、３次元カメラ２２とを有する。なお、ＲＧＢカメラ２１及び３次元カメラ２２の何れも、パレット２を撮像範囲（図中の破線範囲）に含むものとする。
The
ＲＧＢカメラ２１は、２次元画像を撮像する第１の撮像装置の一例である。ＲＧＢカメラ２１は、カラー画像を撮像することが可能な撮像装置である。ＲＧＢカメラ２１は、撮像によって得られた２次元画像（以下、ＲＧＢ画像ともいう）を制御装置３０に出力する。かかるＲＧＢ画像には、パレット２の上面２ａに載置された物品Ｗを上方から見た状態が写し出されることになる。なお、２次元画像は、ＲＧＢ画像に限らず、グレースケールの画像であってもよい。
The
３次元カメラ２２は、第２の撮像装置の一例である。３次元カメラ２２は、ステレオカメラや３Ｄレーザスキャナ装置等によって構成される。３次元カメラ２２は、パレット２の上面２ａを上方から撮像（又は計測）することで、パレット２の上面２ａに載置された物品Ｗの高さや形状を３次元的に表した３次元情報を取得する。
The three-
また、３次元カメラ２２は、取得した３次元情報からデプス（Depth）画像と点群データ（point cloud）とを生成し、制御装置３０に出力する。ここで、デプス画像は、３次元カメラ２２からパレット２の上面２ａに載置された物品Ｗまでの距離情報を画像に変換したものである。また、点群データは、パレット２の上面２ａに載置された物品Ｗの表面の形状を３次元の点群で表したデータである。以下、デプス画像及び点群データを総称して３次元画像ともいう。
Further, the three-
ＲＧＢカメラ２１及び３次元カメラ２２は、制御装置３０からの撮像要求に応じて撮像を実行し、当該撮像によって得られたＲＧＢ画像及び３次元画像を制御装置３０に送信する。また、ＲＧＢカメラ２１及び３次元カメラ２２の一方を指定した撮像要求も可能となっており、この場合には、指定されたカメラ側が撮像を個別に実行する。
The
なお、本実施形態では、３次元画像の生成を３次元カメラ２２が行う構成とするが、これに限らず、制御装置３０で３次元画像の生成を行う構成としてもよい。この場合、３次元カメラ２２は、撮像によって取得した３次元情報を制御装置３０に出力することで、３次元画像の生成が制御装置３０によって行われる。
In the present embodiment, the three-dimensional image is generated by the three-
制御装置３０は、本実施形態における制御装置の一例である。制御装置３０は、カメラ２０の撮像結果に基づいて、荷役装置１０の動作を制御する。具体的には、制御装置３０は、カメラ２０から入力されるＲＧＢ画像及び３次元画像に基づいて、パレット２の上面２ａに載置された物品Ｗの各々を認識し、認識した各物品Ｗのピッキング順序を決定する。そして、制御装置３０は、荷役装置１０の動作を制御することで、パレット２の上面２ａに載置された物品Ｗの各々を、決定したピッキング順序で目的位置まで移動させる。
The
なお、本実施形態では、制御装置３０を荷役装置１０と別体としたが、荷役装置１０と制御装置３０とを一体的に構成する形態としてもよい。この場合、荷役装置１０と制御装置３０とを、荷役装置と定義してもよい。また、荷役装置１０及び制御装置３０に、カメラ２０を含めた構成を荷役装置と定義してもよい。
In the present embodiment, the
次に、上述した制御装置３０ハードウェア構成について説明する。図２は、制御装置３０のハードウェア構成の一例を示す図である。
Next, the hardware configuration of the
図２に示すように、制御装置３０は、プロセッサ３１、ＲＯＭ（Read Only Memory）３２、ＲＡＭ（Random Access Memory）３３、カメラインタフェース３４、荷役装置インタフェース３５及び記憶部３６を備える。
As shown in FIG. 2, the
プロセッサ３１は、制御部及びコンピュータの一例である。プロセッサ３１は、制御装置３０の動作を統括的に制御する。プロセッサ３１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）等によって実現することができる。
The processor 31 is an example of a control unit and a computer. The processor 31 comprehensively controls the operation of the
ＲＯＭ３２は、プロセッサ３１が実行する各種のプログラムや設定情報等を記憶する。ＲＡＭ３３は、プロセッサ３１のワークエリアとして使用される。
The
カメラインタフェース３４は、第２の接続部の一例である。カメラインタフェース３４は、カメラ２０を接続するための通信インタフェースである。カメラインタフェース３４は、カメラ２０と通信可能に接続され、プロセッサ３１の制御の下、自装置とカメラ２０との間の通信を制御する。
The camera interface 34 is an example of the second connection portion. The camera interface 34 is a communication interface for connecting the
例えば、プロセッサ３１は、カメラインタフェース３４を介して、カメラ２０（ＲＧＢカメラ２１、３次元カメラ２２）に撮像要求を送信する。また、プロセッサ３１は、カメラインタフェース３４を介して、カメラ２０から送信されるＲＧＢ画像及び３次元画像を取得する。
For example, the processor 31 transmits an imaging request to the camera 20 (
荷役装置インタフェース３５は、第１の接続部の一例である。荷役装置インタフェース３５は、荷役装置１０を接続するための通信インタフェースである。荷役装置インタフェース３５は、荷役装置１０と通信可能に接続され、プロセッサ３１の制御の下、自装置と荷役装置１０との間の通信を制御する。
The cargo handling device interface 35 is an example of the first connection portion. The cargo handling device interface 35 is a communication interface for connecting the
例えば、プロセッサ３１は、荷役装置インタフェース３５を介し、荷役装置１０の動作を制御する。また、プロセッサ３１は、荷役装置インタフェース３５を介して、荷役装置１０のピッキング状態を示すセンシング結果を取得する。
For example, the processor 31 controls the operation of the
記憶部３６は、例えば、フラッシュメモリ等の半導体メモリ素子やハードディスク等の補助記憶装置によって実現される。記憶部３６は、プロセッサ３１が実行する各種のプログラムや設定情報等を記憶する。また、記憶部３６は、荷役装置１０の上下方向及び水平方向の移動限界位置や、荷役装置１０の可動範囲、荷役装置１０が把持可能な物品の寸法の上限及び下限等を示した限界情報を記憶する。かかる限界情報は、例えば、後述する移動計画の導出に用いられる。
The storage unit 36 is realized by, for example, a semiconductor memory element such as a flash memory or an auxiliary storage device such as a hard disk. The storage unit 36 stores various programs and setting information executed by the processor 31. Further, the storage unit 36 stores limit information indicating the vertical and horizontal movement limit positions of the
次に、図３を参照して、制御装置３０が備える機能構成について説明する。図３は、制御装置３０の機能構成の一例を示す図である。
Next, with reference to FIG. 3, the functional configuration included in the
図３に示すように、制御装置３０は、取得部３１１と、認識部３１２と、計画部３１３と、計画実行部３１４とを機能部として備える。これら機能部の一部又は全ては、プロセッサ３１が、ＲＯＭ３２又は記憶部３６に記憶されたプログラムを実行することで実現されるソフトウェア構成であってもよい。また、上述した機能部の一部又は全ては、プロセッサ３１が備える専用回路によって実現されるハードウェア構成であってもよい。このように、本実施形態においてはプロセッサ３１が制御部の一例として機能する。
As shown in FIG. 3, the
取得部３１１は、カメラインタフェース３４を介して、カメラ２０で撮像されたＲＧＢ画像及び３次元画像を取得する。具体的には、取得部３１１は、認識部３１２からの指示に応じて、ＲＧＢカメラ２１及び３次元カメラ２２の各々に対し撮像要求を送信する。そして、取得部３１１は、ＲＧＢカメラ２１及び３次元カメラ２２の各々から送信されたＲＧＢ画像と３次元画像とを取得する。
The
なお、３次元カメラ２２から三次元情報が出力される場合には、取得部３１１は、カメラインタフェース３４を介して、３次元カメラ２２で取得された３次元情報を取得する。
When the three-dimensional information is output from the three-
認識部３１２は、ＲＧＢ画像及び３次元画像に基づいて、パレット２の上面２ａに載置された物品Ｗの位置、形状、姿勢等を認識する。具体的には、認識部３１２は、計画部３１３からの認識要求に応じて、取得部３１１に対し画像の取得を指示する信号を送信する。そして、認識部３１２は、取得部３１１が取得したＲＧＢ画像及び３次元画像に基づいて、パレット２の上面２ａに存在する物品Ｗ各々の位置、形状、姿勢等を認識する。
The
物品Ｗの認識方法は特に問わず、公知の技術を用いることができる。例えば、認識部３１２は、ＲＧＢ画像とデプス画像とに基づいて、パレット２の上面２ａに存在する各物品Ｗの位置（水平方向の位置）及び高さ（上下方向の高さ）等を認識する。また、認識部３１２は、点群データに基づいて、パレット２の上面２ａに存在する各物品Ｗの形状や姿勢等を認識する。
The method of recognizing the article W is not particularly limited, and a known technique can be used. For example, the
なお、取得部３１１が３次元情報を取得した場合には、認識部３１２は、３次元情報に基づきデプス画像や点群データを生成する。そして、認識部３１２は、ＲＧＢ画像とともに、生成したデプス画像や点群データを用いて、パレット２の上面２ａに載置された物品Ｗの各々を認識する。
When the
計画部３１３は、認識部３１２の認識結果に基づいて、パレット２の上面２ａに載置された各物品Ｗを目的位置まで移動させるための移動計画を導出する。
Based on the recognition result of the
具体的には、計画部３１３は、取得部３１１に対し画像の取得を指示する信号を送信することで、パレット２の上面２ａに存在する物品Ｗの認識を認識部３１２に指示する。計画部３１３は、認識部３１２で認識された物品Ｗの物品間の離間距離を算出し、算出した離間距離に基づいて、ピッキング順序に係る優先度を物品Ｗに設定する。そして、計画部３１３は、優先度に応じた順序で物品Ｗを目的位置まで移動させるための移動計画を導出する。
Specifically, the planning unit 313 instructs the
ここで、図４〜図６を用いて、計画部３１３が物品Ｗに優先度を設定する際の動作例について説明する。 Here, an operation example when the planning unit 313 sets a priority for the article W will be described with reference to FIGS. 4 to 6.
図４〜図６は、計画部３１３の動作を説明するための図であり、認識部３１２によって認識された物品Ｗの状態を模式的に表している。同図において、物品Ｗの末尾に示す番号１〜４は、認識部３１２の認識によって付された各物品Ｗを識別するためのアイテム番号を意味する。以下では、物品Ｗを特定する場合には、物品Ｗとアイテム番号とを組み合わせた物品Ｗｎ（ｎはアイテム番号）と表記する。
4 to 6 are views for explaining the operation of the planning unit 313, and schematically represent the state of the article W recognized by the
まず、計画部３１３は、認識部３１２によりパレット２の上面２ａに存在する物品Ｗが認識されると、認識された物品Ｗの中から、最初のピッキング対象となる物品Ｗを選定する。具体的には、計画部３１３は、以下に示す２つの条件の一方又は両方を充足する物品Ｗを、最初のピッキング対象に選定する。
First, when the
第１の条件は、高さが最大の物品Ｗであることである。第２の条件は、複数の物品Ｗで複数存在する場合の条件であり、物品Ｗ群の端部又は角部に存在する物品Ｗであることである。ここで、第１の条件は、物品Ｗを上方からピッキングする際の取りやすさを考慮したものである。また、第２の条件は、後述する処理において、ピッキング対象となる物品Ｗ間の離間距離をより大きく確保するための条件である。 The first condition is that the article W has the maximum height. The second condition is a condition when a plurality of articles W are present, and is an article W existing at an end or a corner of the article W group. Here, the first condition is in consideration of ease of picking the article W from above. The second condition is a condition for ensuring a larger separation distance between the articles W to be picked in the process described later.
例えば、図４に示した物品Ｗ１〜物品Ｗ４のうち、左上の端部（角部）に位置する物品Ｗ１の高さが最大であるとすると、計画部３１３は、物品Ｗ１を最初にピッキングするため最上位の優先度１を設定する。なお、図４では、優先度の設定対象となった物品Ｗを識別するため、物品Ｗ１に縦線のハッチングを施している（以下同様）。
For example, if the height of the article W1 located at the upper left end (corner) of the articles W1 to W4 shown in FIG. 4 is the maximum, the planning unit 313 picks the article W1 first. Therefore, the
図４の例の場合、計画部３１３は、優先度１を設定した物品Ｗ１を最初にピッキングすることを指示した移動計画を導出することで、後述する計画実行部３１４の制御により、物品Ｗ１のピッキングが最初に実行される。
In the case of the example of FIG. 4, the planning unit 313 derives a movement plan instructed to pick the article W1 for which the
また、計画部３１３は、次にピッキングする物品Ｗを選定するため、優先度１を設定した物品Ｗ１と、他の物品Ｗ２〜Ｗ４の各々との間の離間距離を算出する。なお、図５では、ピッキング済の物品Ｗを識別するため、物品Ｗ１に斜線のハッチングを施している（以下同様）。
Further, the planning unit 313 calculates the separation distance between the article W1 for which the
具体的には、計画部３１３は、図５に示すように、認識部３１２で認識された物品Ｗ１〜Ｗ４の形状に基づき、物品Ｗ１〜Ｗ４の各々に外接する円（以下、外接円ともいう）Ｃ１〜Ｃ４をそれぞれ設定する。ここで「外接円」は、物品Ｗを包含し、且つ当該物品の外縁の少なくとも２点に接（外接）する円を意味する。 Specifically, as shown in FIG. 5, the planning unit 313 circumscribes each of the articles W1 to W4 based on the shape of the articles W1 to W4 recognized by the recognition unit 312 (hereinafter, also referred to as an circumscribed circle). ) Set C1 to C4 respectively. Here, the "circumscribed circle" means a circle that includes the article W and is in contact (circumscribed) with at least two points on the outer edge of the article.
次いで、計画部３１３は、先の処理で優先度が設定された物品Ｗ１を基点とし、その外接円Ｃ１の中心から、他の物品Ｗ２〜Ｗ４の各々に係る外接円Ｃ２〜Ｃ４の中心までの中心間距離ｄ１２、ｄ１３、ｄ１４を離間距離としてそれぞれ算出する。以下、物品Ｗ間の離間距離を中心間距離とも表記する。 Next, the planning unit 313 uses the article W1 whose priority has been set in the previous process as a base point, and extends from the center of the circumscribed circle C1 to the center of the circumscribed circles C2 to C4 related to each of the other articles W2 to W4. The center-to-center distances d12, d13, and d14 are calculated as the separation distances, respectively. Hereinafter, the distance between the articles W is also referred to as the distance between the centers.
また、計画部３１３は、物品Ｗ１に係る外接円Ｃ１の半径ｒ１と、他の外接円Ｃ２〜Ｃ４の半径ｒ２〜ｒ４とをそれぞれ加算することで、半径和ｒ１２（＝ｒ１＋ｒ２）、ｒ１３（＝ｒ１＋ｒ３）、ｒ１４（＝ｒ１＋ｒ４）をそれぞれ算出する。 Further, the planning unit 313 adds the radii r1 of the circumscribed circle C1 related to the article W1 and the radii r2 to r4 of the other circumscribed circles C2 to C4, respectively, to sum the radii r12 (= r1 + r2) and r13 (=). r1 + r3) and r14 (= r1 + r4) are calculated, respectively.
計画部３１３は、物品Ｗ２〜Ｗ４毎に中心間距離と半径和とを比較し、中心間距離が半径和よりも大きな物品Ｗを抽出する。例えば、図５の場合、物品Ｗ３は、中心間距離ｄ１３が半径和ｒ１３よりも大きいため、計画部３１３は、物品Ｗ３をピッキング候補として抽出する。また、物品Ｗ４も、中心間距離ｄ１４が半径和ｒ１４よりも大きいため、計画部３１３は、物品Ｗ４をピッキング候補として抽出する。また、物品Ｗ２は、中心間距離ｄ１２が半径和ｒ１２以下となるため、計画部３１３は、この物品Ｗ２をピッキング対象から除外する。 The planning unit 313 compares the center-to-center distance and the sum of radii for each of the articles W2 to W4, and extracts the article W whose inter-center distance is larger than the sum of radii. For example, in the case of FIG. 5, since the center-to-center distance d13 of the article W3 is larger than the sum of radii r13, the planning unit 313 extracts the article W3 as a picking candidate. Further, since the distance d14 between the centers of the article W4 is larger than the sum of radii r14, the planning unit 313 extracts the article W4 as a picking candidate. Further, since the distance d12 between the centers of the article W2 is equal to or less than the sum of radii r12, the planning unit 313 excludes the article W2 from the picking target.
ここで、中心間距離が半径和以下の物品Ｗ２は、基点とした物品Ｗ１のピッキングの際に接触等の影響を受けた（或いは受ける）可能性がある。この場合、物品Ｗ２を次のピッキング対象としても、認識処理で認識された物品Ｗ２の位置や姿勢からズレが発生している可能性があるため、ピッキングを正常に完了できない可能性がある。そのため、物品Ｗ２をピッキング対象から除外しておくことで、複数の物品Ｗを連続してピッキングする際の動作を円滑に行うことができる。 Here, the article W2 whose center-to-center distance is less than or equal to the sum of radii may be affected (or affected) by contact or the like during picking of the article W1 as the base point. In this case, even if the article W2 is the next picking target, the picking may not be completed normally because there is a possibility that the position or posture of the article W2 recognized by the recognition process is deviated. Therefore, by excluding the article W2 from the picking target, it is possible to smoothly perform the operation when a plurality of articles W are continuously picked.
なお、認識部３１２で新たな認識が行われるまでの間、物品Ｗ２に対する除外設定は維持される。また、ピッキング済の物品Ｗについても、ピッキング対象から除外されるものとする。
The exclusion setting for the article W2 is maintained until the
続いて、計画部３１３は、ピッキング候補として抽出した物品Ｗ３と物品Ｗ４との間で中心間距離ｄ１３、ｄ１４を比較し、中心間距離がより大きな物品Ｗ、つまり中心間距離が最大の物品Ｗを一つ選定する。図５の例では、物品Ｗ４に係る中心間距離ｄ１４の方が、物品Ｗ３に係る中心間距離ｄ１３よりも大きいため、計画部３１３は、物品Ｗ４を選定する。そして、計画部３１３は、選定した物品Ｗ４に対し次位の優先度２を設定する。この場合、計画部３１３は、優先度２を設定した物品Ｗ２をピッキングすることを指示した移動計画を導出する。
Subsequently, the planning unit 313 compares the center-to-center distances d13 and d14 between the articles W3 and the articles W4 extracted as picking candidates, and the article W having a larger center-to-center distance, that is, the article W having the maximum center-to-center distance. Select one. In the example of FIG. 5, since the center-to-center distance d14 related to the article W4 is larger than the center-to-center distance d13 related to the article W3, the planning unit 313 selects the article W4. Then, the planning unit 313 sets the
さらに、計画部３１３は、優先度２を設定した物品Ｗ４を基点とし、上述と同様の処理を行うことで、物品Ｗ３に対し次位の優先度３を設定する。そして、計画部３１３は、優先度３を設定した物品Ｗ３をピッキングすることを指示した移動計画を導出する。
Further, the planning unit 313 sets the next-order priority 3 for the article W3 by performing the same processing as described above with the article W4 for which the
図６は、図４及び図５で説明した物品Ｗ１〜Ｗ４に対する優先度の設定結果を示している。上述したように、物品Ｗ１、物品Ｗ３、物品Ｗ４のそれぞれに対し、優先度１、優先度３、優先度２が設定される。この場合、図中矢印で示すように、優先度の順、つまり物品Ｗ１→物品Ｗ４→物品Ｗ３の順にピッキングが行われることになる。なお、図６では、ピッキング候補から除外された物品Ｗを識別するため、物品Ｗ２に対し×印を付している。
FIG. 6 shows the result of setting the priority for the articles W1 to W4 described with reference to FIGS. 4 and 5. As described above,
なお、計画部３１３は、上述の処理において、ピッキング候補の物品Ｗが存在しないと判断した場合には、認識部３１２に対し認識要求を出力することで、カメラ２０で撮像される新たなＲＧＢ画像及び３次元画像に基づく認識処理を実行させる。そして、計画部３１３は、認識部３１２によって取得された新たな認識結果に基づき優先度の設定を再度行う。
When the planning unit 313 determines in the above process that the picking candidate article W does not exist, the planning unit 313 outputs a recognition request to the
このように、計画部３１３は、上位の優先度を設定した物品Ｗとの離間距離が最大となる他の物品Ｗに次位の優先度を順次設定する。つまり、計画部３１３は、先にピッキングを行う物品Ｗから最も離れた位置に存在する他の物品Ｗを、次のピッキング対象に設定する。これにより、物品Ｗのピッキング時に、当該物品Ｗの周辺に存在する他の物品Ｗに把持部１１３等が接触したような場合であっても、次にピッキング対象の物品Ｗへの影響を抑えることができる。したがって、計画部３１３は、複数の物品Ｗを連続してピッキングする動作を効率的に行うことができる。
In this way, the planning unit 313 sequentially sets the next priority to the other articles W having the maximum separation distance from the article W for which the higher priority is set. That is, the planning unit 313 sets the other article W that exists at the position farthest from the article W to be picked first as the next picking target. As a result, even if the
また、計画部３１３が離間距離の算出に用いる物品Ｗの外接円は、荷役装置１０が物品Ｗを把持する際の重心位置や回転範囲を規定するものとなる。具体的には、荷役装置１０の把持部１１３が物品Ｗを把持する際の重心位置は、物品Ｗの外接円の中心に略対応する。また、荷役装置１０が物品Ｗをピッキングする際に物品Ｗを水平方向に回転させる場合があるが、その回転範囲は物品Ｗの外接円に略対応する。そのため、外接円の中心間距離や半径和を基準にピッキング候補の選定と除外とを行うことで、ピッキング時に発生する接触や荷崩れ等の影響を低減化した順序で物品Ｗのピッキングを行うことができる。また、例えば物品Ｗ４のように不定形の物品Ｗをピッキングする場合であっても、当該物品Ｗの重心位置や回転範囲を規定することができるため、当該物品Ｗのピッキングを効率的に行うことができる。
Further, the circumscribed circle of the article W used by the planning unit 313 to calculate the separation distance defines the position of the center of gravity and the rotation range when the
また、計画部３１３は、一度の認識処理で得られた認識結果からピッキング候補を抽出できなくなるまでの間、当該認識結果を継続して用いることで、複数の物品Ｗの移動計画を導出する。これにより、制御装置３０では、カメラ２０によるＲＧＢ画像及び３次元画像の撮像回数や、認識部３１２が実行する認識処理の実行回数を抑えることができるため、処理負荷を低減するとともにピッキングの高速化を図ることができる。
Further, the planning unit 313 derives a movement plan of a plurality of articles W by continuously using the recognition result until the picking candidate cannot be extracted from the recognition result obtained by one recognition process. As a result, in the
なお、計画部３１３は、荷役装置１０から通知される物品Ｗのピッキング状態を監視し、ピッキング状態の異常を検出した場合には、上記と同様、認識部３１２に認識要求を送信することで、新たなＲＧＢ画像及び３次元画像に基づく認識処理を実行させる。ここで、ピッキング状態の異常とは、例えば、予定された物品Ｗをピッキングできない場合や、物品Ｗの脱落等、ピッキングが失敗した場合等が挙げられる。
The planning unit 313 monitors the picking state of the article W notified from the
図３に戻り、計画実行部３１４は、計画部３１３で導出された移動計画に基づいて、荷役装置１０の動作（駆動機構）を制御する。具体的には、計画実行部３１４は、移動計画に基づき荷役装置１０の動作を制御することで、パレット２の上面に載置されたピッキング対象の物品Ｗを把持させ、当該物品Ｗを目的位置まで移動させる。
Returning to FIG. 3, the plan execution unit 314 controls the operation (drive mechanism) of the
上述した機能構成により、制御装置３０は、パレット２の上面２ａに載置された物品Ｗを、荷役装置１０を用いて目的位置まで移動させることができる。より詳細には、制御装置３０は、パレット２の上面２ａに載置された物品Ｗの各々を、設定した優先度の順に目的位置まで順次移動させることができる。
With the above-mentioned functional configuration, the
以下、上述した制御装置３０の動作例について説明する。ここで、図７は、制御装置３０が実行する処理の一例を示すフローチャートである。
Hereinafter, an operation example of the
まず、計画部３１３は、認識部３１２を介し取得部３１１に撮像要求を送信させることで、カメラ２０で撮像されたＲＧＢ画像及び３次元画像を取得部３１１に取得させる（ステップＳ１１）。認識部３１２は、取得されたＲＧＢ画像及び３次元画像に基づき、物品Ｗを認識するための認識処理を実行する（ステップＳ１２）。
First, the planning unit 313 causes the
続いて、計画部３１３は、優先度の値を規定するインデックスｎを１に設定する（ステップＳ１３）。次いで、計画部３１３は、ステップＳ１２の認識結果に基づき、物品Ｗが存在するか否かを判定する（ステップＳ１４）。より詳細には、計画部３１３は、認識結果の中にピッキング済とされた物品Ｗ以外の物品Ｗが存在するか否かを判定する。 Subsequently, the planning unit 313 sets the index n that defines the priority value to 1 (step S13). Next, the planning unit 313 determines whether or not the article W exists based on the recognition result in step S12 (step S14). More specifically, the planning unit 313 determines whether or not there is an article W other than the picked article W in the recognition result.
物品Ｗが存在すると判定した場合（ステップＳ１４；Ｙｅｓ）、計画部３１３は、インデックスｎの値が１か否かを判定する（ステップＳ１５）。ここで、ｎ＝１と判定した場合（ステップＳ１５；Ｙｅｓ）、計画部３１３は、ステップＳ１２の認識処理で認識された物品Ｗの中から、上述した第１の条件及び第２の条件の何れか一方又は両方に該当する物品Ｗを一つ選定する（ステップＳ１６）。次いで、計画部３１３は、ステップＳ１６で選定した物品Ｗに優先度ｎ、つまり優先度１を設定した後（ステップＳ１７）、ステップＳ２２に移行する。
When it is determined that the article W exists (step S14; Yes), the planning unit 313 determines whether or not the value of the index n is 1 (step S15). Here, when it is determined that n = 1 (step S15; Yes), the planning unit 313 has selected any of the above-mentioned first condition and second condition from the article W recognized in the recognition process in step S12. One article W corresponding to one or both is selected (step S16). Next, the planning unit 313 sets the priority n, that is, the
続くステップＳ２２において、計画部３１３は、優先度ｎを設定した物品Ｗの移動計画を導出する（ステップＳ２２）。次いで、計画実行部３１４は、ステップＳ２２で導出された移動計画に基づき荷役装置１０を動作させることで、優先度ｎが設定された物品Ｗのピッキングを開始する（ステップＳ２３）。
In the following step S22, the planning unit 313 derives the movement plan of the article W for which the priority n is set (step S22). Next, the plan execution unit 314 operates the
計画部３１３は、荷役装置１０から送信されるセンシング結果に基づいてピッキングの状態を監視する。計画部３１３は、ピッキング状態の異常を検出すると（ステップＳ２４；Ｙｅｓ）、ステップＳ１１に処理を戻すことで、新たに撮像されるＲＧＢ画像及び３次元画像に基づく認識処理を実行させる。
The planning unit 313 monitors the picking state based on the sensing result transmitted from the
荷役装置１０によるピッキングが正常に完了した場合には（ステップＳ２４；Ｎｏ）、計画部３１３は、認識結果に含まれた物品Ｗのうち、直近の処理で優先度ｎを設定した物品Ｗの状態をピッキング済に変更する消し込み処理を行う（ステップＳ２５）。次いで、計画部３１３は、インデックスｎの値を１インクリメントし（ステップＳ２６）、ステップＳ１４に処理を戻す。
When the picking by the
一方、ステップＳ１５で、ｎ≠１と判定した場合、つまりｎの値が２以上の場合（ステップＳ１５；Ｎｏ）、計画部３１３は、直前の処理で優先度ｎ−１を設定した物品Ｗを基点に、他の物品Ｗとの中心間距離及び半径和を算出する（ステップＳ１８）。 On the other hand, when it is determined in step S15 that n ≠ 1, that is, when the value of n is 2 or more (step S15; No), the planning unit 313 sets the article W whose priority n-1 is set in the immediately preceding process. At the base point, the distance between the centers and the sum of radii with the other article W is calculated (step S18).
続いて、計画部３１３は、ステップＳ１８の算出結果に基づき、中心間距離が半径和以下となる物品Ｗをピッキング候補から除外する（ステップＳ１９）。次いで、計画部３１３は、ピッキング済（又は優先度設定済）の物品Ｗ及びステップＳ１９で除外した物品Ｗ以外の残りの物品Ｗの中に、中心間距離が半径和よりも大きい物品Ｗが存在するか否かを判定する（ステップＳ２０）。ここで、存在しないと判定した場合には（ステップＳ２０；Ｎｏ）、計画部３１３は、ステップＳ１１に処理を戻すことで、新たに撮像されるＲＧＢ画像及び３次元画像に基づく認識処理を実行させる。 Subsequently, the planning unit 313 excludes the article W whose center-to-center distance is equal to or less than the sum of radii from the picking candidates based on the calculation result in step S18 (step S19). Next, the planning unit 313 has an article W whose center-to-center distance is larger than the sum of radii among the picked (or priority-set) article W and the remaining articles W other than the article W excluded in step S19. It is determined whether or not to do so (step S20). Here, if it is determined that the image does not exist (step S20; No), the planning unit 313 returns the process to step S11 to execute the recognition process based on the newly captured RGB image and the three-dimensional image. ..
また、中心間距離が半径和よりも大きい物品Ｗが存在すると判定した場合（ステップＳ２０；Ｙｅｓ）、計画部３１３は、中心間距離が最大の物品Ｗに優先度ｎを設定し（ステップＳ２１）、ステップＳ２２に移行する。 Further, when it is determined that there is an article W whose center-to-center distance is larger than the sum of radii (step S20; Yes), the planning unit 313 sets the priority n for the article W having the maximum center-to-center distance (step S21). , Step S22.
上述したステップＳ１６〜Ｓ２１の処理により、一度の認識処理で認識された物品Ｗの各々に対し優先度が順次設定される。また、物品Ｗに優先度が設定される毎に、当該物品Ｗの移動計画の導出とピッキングとが実行されることで、優先度の順に物品Ｗのピッキングが行われる。 By the processes of steps S16 to S21 described above, the priority is sequentially set for each of the articles W recognized in one recognition process. Further, every time the priority is set for the article W, the movement plan of the article W is derived and picked, so that the article W is picked in the order of priority.
そして、計画部３１３は、全ての物品Ｗを移動した等の理由により、ステップＳ１４で物品Ｗが存在しないと判定すると（ステップＳ１４；Ｙｅｓ）、本処理を終了する。 Then, when the planning unit 313 determines in step S14 that the article W does not exist due to reasons such as moving all the articles W (step S14; Yes), this process ends.
ここで、図８を参照して、上述した図７の処理の動作例を説明する。なお、図８は、制御装置３０の動作例を説明するための図であり、認識部３１２によって認識されたパレット２の上面２ａでの物品Ｗの状態を模式的に示している。なお、図８では、図４及び図５と同様に、新たに優先度が設定された物品Ｗを縦線のハッチングで表し、ピッキングが完了した物品Ｗ、つまり消し込み処理が完了した物品Ｗ１１を斜線のハッチングで表している。
Here, an operation example of the above-described processing of FIG. 7 will be described with reference to FIG. Note that FIG. 8 is a diagram for explaining an operation example of the
図８（ａ）に示すように、認識部３１２の認識結果に物品Ｗが存在する場合、計画部３１３は、上述した第１の条件及び第２の条件に基づき、最初のピッキング対象となる物品Ｗを選定する。例えば、計画部３１３は、図８（ａ）に示した１１個の物品Ｗ（Ｗ１１〜Ｗ２１）の中から、左上端部（角度）の物品Ｗ１１を選定すると、この物品Ｗ１１に最上位の優先度１を設定する。優先度１が設定された物品Ｗ１１は、上述したステップＳ２２及びＳ２３の処理を経ることでピッキングが実行される。
As shown in FIG. 8A, when the article W is present in the recognition result of the
なお、計画部３１３は、物品Ｗ１１のピッキングが正常に完了した後も、認識部３１２の認識結果を継続して利用するため、物品Ｗ１１の存在は認識結果に残ることになる。そのため、計画部３１３は、続く図８（ｂ）に示すように、認識結果に存在する物品Ｗ１１の状態をピッキング済に変更するための消し込み処理を行う。
Since the planning unit 313 continues to use the recognition result of the
続いて、計画部３１３は、図８（ｂ）に示すように、直前の処理で優先度を設定した物品Ｗ１１を基点に、他の物品との中心間距離及び半径和をそれぞれ算出する。ここで、物品Ｗ１１と物品Ｗ２１との中心間距離が最大であるとすると、計画部３１３は、この物品Ｗ２１に対し次位の優先度２を設定する。優先度２が設定された物品Ｗ２１は、上述したステップＳ２２及びＳ２３の処理を経ることでピッキングが実行される。
Subsequently, as shown in FIG. 8B, the planning unit 313 calculates the center-to-center distance and the sum of radii with other articles, respectively, with the article W11 whose priority was set in the immediately preceding process as the base point. Here, assuming that the distance between the centers of the article W11 and the article W21 is the maximum, the planning unit 313 sets the
物品Ｗ２１のピッキングが正常に完了すると、計画部３１３は、図８（ｃ）示すように、物品Ｗ２１の消し込み処理を実行する。次いで、計画部３１３は、直前の処理で優先度を設定した物品Ｗ２１を基点に、物品Ｗ１１を除いた他の物品との中心間距離及び半径和をそれぞれ算出する。ここで、物品Ｗ２０に係る中心間距離が半径和以下であったとすると、計画部３１３は、この物品Ｗ２０をピッキング対象から除外する。また、物品Ｗ２１と物品Ｗ１８との中心間距離が最大であるとすると、計画部３１３は、この物品Ｗ１８に対し次位の優先度３を設定する。優先度３が設定された物品Ｗ１８は、上述したステップＳ２２及びＳ２３の処理を経ることでピッキングが実行される。 When the picking of the article W21 is normally completed, the planning unit 313 executes the erasing process of the article W21 as shown in FIG. 8C. Next, the planning unit 313 calculates the center-to-center distance and the sum of radii with the other articles excluding the article W11, based on the article W21 whose priority was set in the immediately preceding process. Here, assuming that the distance between the centers of the article W20 is less than or equal to the sum of radii, the planning unit 313 excludes the article W20 from the picking target. Further, assuming that the distance between the centers of the article W21 and the article W18 is the maximum, the planning unit 313 sets the next priority 3 for the article W18. The article W18 for which the priority 3 is set is picked by undergoing the processes of steps S22 and S23 described above.
物品Ｗ１８のピッキングが正常に完了すると、計画部３１３は、図８（ｄ）示すように、物品Ｗ１８の消し込み処理を実行する。次いで、計画部３１３は、直前の処理で優先度を設定した物品Ｗ１８を基点に、物品Ｗ１１及びＷ２１を除いた他の物品との中心間距離及び半径和をそれぞれ算出する。なお、図８（ｄ）では、前回の処理（図８（ｃ））でピッキング対象から除外された物品Ｗ２０を×印で表している。 When the picking of the article W18 is normally completed, the planning unit 313 executes the erasing process of the article W18 as shown in FIG. 8D. Next, the planning unit 313 calculates the center-to-center distance and the sum of radii with the articles W11 and other articles excluding the articles W11 and W21, respectively, based on the article W18 whose priority was set in the immediately preceding process. In FIG. 8D, the article W20 excluded from the picking target in the previous process (FIG. 8C) is indicated by a cross.
ここで、物品Ｗ１８と物品Ｗ１４との中心間距離が最大であるとすると、計画部３１３は、この物品Ｗ１４に対し次位の優先度４を設定する。優先度４が設定された物品Ｗ１４は、上述したステップＳ２２及びＳ２３の処理を経ることでピッキングが実行される。 Here, assuming that the distance between the centers of the article W18 and the article W14 is the maximum, the planning unit 313 sets the next priority 4 for the article W14. The article W14 for which the priority 4 is set is picked by undergoing the processes of steps S22 and S23 described above.
以降、計画部３１３は、残りの物品Ｗに対し同様の処理を繰り返し行うことで、図８（ｅ）、図８（ｆ）に示すように、物品Ｗ１９、物品Ｗ１２のピッキングが順次行われる。また、処理を経ることでピッキング対象から除外された物品Ｗも累積し、図８（ｇ）の状態では、ピッキング済の物品Ｗ（Ｗ１１、Ｗ１２、Ｗ１４、Ｗ１８、Ｗ１９、Ｗ２１）以外の残りの物品Ｗ（Ｗ１３、Ｗ１５、Ｗ１６、Ｗ１７、Ｗ２０）が、全てピッキング対象から除外された状態となる。 After that, the planning unit 313 repeatedly performs the same processing on the remaining articles W, so that the articles W19 and the articles W12 are picked in sequence as shown in FIGS. 8 (e) and 8 (f). In addition, the articles W excluded from the picking target by the processing are also accumulated, and in the state of FIG. 8 (g), the remaining articles W (W11, W12, W14, W18, W19, W21) other than the picked articles W (W11, W12, W14, W18, W19, W21). The articles W (W13, W15, W16, W17, W20) are all excluded from the picking target.
この場合、計画部３１３は、ステップＳ２０の処理において、中心間距離が半径和より大きな物品が存在しないと判断することで、ステップＳ１１へと処理を戻す。これにより、カメラ２０による撮像が新たに行われるため、認識部３１２が新たに行う認識処理の認識結果には、図８（ｈ）に示すように、残りの物品Ｗ１３、Ｗ１５、Ｗ１６、Ｗ１７及びＷ２０が存在することになる。
In this case, the planning unit 313 returns to step S11 by determining that there is no article whose center-to-center distance is larger than the sum of radii in the process of step S20. As a result, imaging by the
そして、計画部３１３は、図８（ｈ）の認識結果に基づき、各物品Ｗ１３、Ｗ１５、Ｗ１６、Ｗ１７及びＷ２０の各々に優先度を設定する処理を新たに開始することで、当該優先度の順にピッキングを行わせることができる。 Then, the planning unit 313 newly starts a process of setting a priority for each of the articles W13, W15, W16, W17, and W20 based on the recognition result of FIG. 8 (h), so that the priority can be set. Picking can be performed in order.
以上のように、制御装置３０によれば、カメラ２０で撮像された画像（ＲＧＢ画像、３次元画像）からパレット２に載置された物品Ｗを認識する認識処理を実行し、認識処理で認識された物品Ｗの物品間の離間距離を算出し、算出した離間距離に基づいて移動順序に係る優先度を物品Ｗに設定し、荷役装置１０を制御することで、優先度に応じた順序で物品Ｗを移動させる。また、制御装置３０は、上記の優先度の設定に際し、上位の優先度を設定した前記物品との離間距離が最大となる他の物品に次位の優先度を順次設定する。
As described above, according to the
上記の構成により、制御装置３０は、パレット２の上面２ａに載置された物品Ｗ全体の位置関係からピッキングを行う順序を決定することができるため、先にピッキングを行う物品Ｗと、次にピッキングを行う物品Ｗとの離間距離を大きく確保することができる。これにより、制御装置３０では、先のピッキングにより生じる影響が、次のピッキング対象の物品Ｗに及ぶことを抑えることができるため、複数の物品Ｗを連続してピッキングする際の動作を効率的に行うことができる。したがって、制御装置３０では、物品Ｗのピッキングを効率的に行うことができる。
With the above configuration, the
また、制御装置３０では、一度の認識処理で得られた認識結果から、複数の物品の優先度を順次設定し、当該優先度の順にピッキングを行わせることができる。これにより、制御装置３０では、カメラ２０によるＲＧＢ画像及び３次元画像の撮像回数や、認識部３１２が実行する認識処理の実行回数を抑えることができるため、処理負荷を低減するとともにピッキングの高速化を図ることができる。したがって、制御装置３０では、物品Ｗのピッキングを効率的に行うことができる。
Further, in the
以上説明した実施形態は、上述の各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。 The embodiment described above can be appropriately modified and implemented by changing a part of the configuration or function of each of the above-mentioned devices. Therefore, in the following, some modifications according to the above-described embodiment will be described as other embodiments. In the following, points different from the above-described embodiment will be mainly described, and detailed description of points common to the contents already described will be omitted. Further, the modifications described below may be carried out individually or in combination as appropriate.
（変形例１）
上述の実施形態では、基点となる物品Ｗとの中心間距離が最大となる他の物品Ｗを次のピッキング対象とする形態を説明したが、ピッキング対象の選定条件はこれに限らず、更なる条件を付加してもよい。
(Modification example 1)
In the above-described embodiment, the mode in which the other article W having the maximum distance from the center to the article W as the base point is set as the next picking target has been described, but the picking target selection condition is not limited to this, and further Conditions may be added.
例えば、基点となる物品Ｗとの中心間距離が最大となる他の物品Ｗを特定した後、当該他の物品Ｗとその周辺に存在する物品Ｗ（以下、周辺物品ともいう）との配置関係が所定の条件を満たす場合にのみ、特定した他の物品Ｗをピッキング対象に選定する構成としてもよい。以下、図９を参照して、本変形例の選定条件について説明する。 For example, after identifying another article W having the maximum distance between the centers of the article W as a base point, the arrangement relationship between the other article W and the article W existing in the vicinity (hereinafter, also referred to as a peripheral article). May be configured to select the specified other article W as the picking target only when the predetermined condition is satisfied. Hereinafter, the selection conditions of this modification will be described with reference to FIG.
図９は、変形例１に係る選定条件を説明するための図である。ここで、図９に示す物品Ｗ３１、Ｗ３２、Ｗ３３の各々は、何れも認識部３１２によって認識された物品Ｗである。また、計画部３１３は、物品Ｗ３１を基点に、物品Ｗ３２及び物品Ｗ３３との中心間距離をそれぞれ算出し、中心間距離が最大の物品Ｗ３３を特定済みであるとする。
FIG. 9 is a diagram for explaining the selection conditions according to the first modification. Here, each of the articles W31, W32, and W33 shown in FIG. 9 is an article W recognized by the
上述した実施形態では、計画部３１３は、特定した物品Ｗ３３に次位の優先度を設定することで、次のピッキング対象に選定する。しかしながら、この場合、物品Ｗ３３と当該物品Ｗ３３周辺の周辺物品との関係は考慮されていない。そのため、例えば、図９に示すように、物品Ｗ３３の一部に物品Ｗ３２が重畳して配置されているような場合には、物品Ｗ３３のピッキングを行うことで、物品Ｗ３２への接触や物品Ｗ３２の荷崩れが発生する可能性がある。 In the above-described embodiment, the planning unit 313 selects the specified article W33 as the next picking target by setting the next priority. However, in this case, the relationship between the article W33 and the peripheral articles around the article W33 is not considered. Therefore, for example, as shown in FIG. 9, when the article W32 is superposed on a part of the article W33, the article W33 can be picked to contact the article W32 or the article W32. There is a possibility that the load will collapse.
そこで、計画部３１３は、物品Ｗ３３を特定した後、その物品Ｗ３３と、周辺物品である物品Ｗ３２との配置関係が所定の条件を満たすか否かを判定し、荷崩れ等の可能性がないことが確認できた場合にのみ、物品Ｗ３３を次のピッキング対象に選定する。 Therefore, after identifying the article W33, the planning unit 313 determines whether or not the arrangement relationship between the article W33 and the peripheral article W32 satisfies a predetermined condition, and there is no possibility of the load collapsing or the like. Only when it is confirmed that the article W33 is selected as the next picking target.
ここで、判定条件は、任意に設定できるものとする。例えば、物品Ｗ３３と物品Ｗ３２との中心間距離がその半径和より大きいことを判定条件としてもよい。また、例えば、特定した物品Ｗ３３の高さが、物品Ｗ３２よりも高いことを判定条件としてもよい。このような判定条件を付加することで、周辺物品との接触や荷崩れが発生する可能性が低い物品Ｗを、次のピッキング対象に選定することができる。 Here, it is assumed that the determination conditions can be set arbitrarily. For example, the determination condition may be that the distance between the centers of the article W33 and the article W32 is larger than the sum of the radii. Further, for example, the determination condition may be that the height of the specified article W33 is higher than that of the article W32. By adding such a determination condition, the article W, which is unlikely to come into contact with peripheral articles or collapse the load, can be selected as the next picking target.
なお、中心間距離に基づき特定した物品Ｗが上記の判定条件を充足しない場合、計画部３１３は、物品Ｗ３１との中心間距離が最大となった物品Ｗ３３に次位の優先度を設定することなく、当該物品Ｗ３３（及び物品Ｗ３２）をピッキング対象から除外する。この場合、計画部３１３は、物品Ｗ３３及び物品Ｗ３２を除いた残りの物品Ｗ（図示せず）の中から、物品Ｗ３１との中心間距離が最大となる物品Ｗを選定し、当該物品Ｗに次位の優先度を設定するものとする。 If the article W specified based on the center-to-center distance does not satisfy the above determination conditions, the planning unit 313 sets the next priority to the article W33 having the maximum center-to-center distance from the article W31. The article W33 (and the article W32) is excluded from the picking target. In this case, the planning unit 313 selects the article W having the maximum distance from the center to the article W31 from the remaining articles W (not shown) excluding the article W33 and the article W32, and selects the article W as the article W. The next priority shall be set.
（変形例２）
上述の実施形態では、優先度を設定する毎に移動計画を導出してピッキングを行わせる形態を説明したが、これに限定されるものではない。例えば、計画部３１３は、認識された各物品Ｗの優先度を先に設定した後、その優先度に応じた順序でピッキングを行わせるための移動計画を一度に導出する形態としてもよい。
(Modification 2)
In the above-described embodiment, the mode in which the movement plan is derived and picking is performed each time the priority is set has been described, but the present invention is not limited to this. For example, the planning unit 313 may set the priority of each recognized article W in advance, and then derive a movement plan for picking in an order according to the priority at once.
具体的には、計画部３１３は、上述したステップＳ１６及びＳ１７の処理を実行することで一の物品Ｗに優先度１を選定した後、インデックスｎを１インクリメントしながら、上述したステップＳ１８〜Ｓ２１の処理を繰り返し実行する。これにより、認識された物品Ｗの各々に優先度を順次設定することができる。
Specifically, the planning unit 313 selects
そして、計画部３１３は、例えば中心間距離が半径和より大きな物品が存在しないと判定した場合に（ステップＳ２０；Ｎｏ）、それまでに設定した各物品Ｗの優先度に基づき、優先度に応じた順序でピッキングを行わせるための移動計画を導出する。なお、ピッキング最中に異常が検出された場合には、移動計画を破棄した後、ステップＳ１１に処理を戻すものとする。 Then, when the planning unit 313 determines that there is no article whose center-to-center distance is larger than the sum of radii (step S20; No), the planning unit 313 responds to the priority based on the priority of each article W set up to that point. A movement plan for picking is derived in this order. If an abnormality is detected during picking, the movement plan is discarded and then the process is returned to step S11.
このような構成とすることで、上述の実施形態と同様の効果を奏することができるため、上述の実施形態と同様に物品Ｗのピッキングを効率的に行うことができる。 With such a configuration, the same effect as that of the above-described embodiment can be obtained, so that the picking of the article W can be efficiently performed as in the above-mentioned embodiment.
（第２の実施形態）
次に第２の実施形態について説明する。本実施形態では、ピッキング前後の物品Ｗの状態を比較することで、荷崩れ等の発生を検出することが可能な形態について説明する。なお、第１の実施形態と同様の構成については同一の符号を付与し説明を省略する。
(Second Embodiment)
Next, the second embodiment will be described. In the present embodiment, a mode in which the occurrence of load collapse or the like can be detected by comparing the states of the article W before and after picking will be described. The same reference numerals are given to the same configurations as those of the first embodiment, and the description thereof will be omitted.
図１０は、第２の実施形態に係る制御装置３０ａの機能構成の一例を示す図である。図１０に示すように、制御装置３０ａは、取得部３１１と、認識部３１２と、計画部３１３ａと、計画実行部３１４とを機能部として備える。
FIG. 10 is a diagram showing an example of the functional configuration of the control device 30a according to the second embodiment. As shown in FIG. 10, the control device 30a includes an
ここで、計画部３１３ａは、第１の実施形態の計画部３１３に対応する機能部であり、計画部３１３と同様の機能を備える。また、計画部３１３ａは、計画部３１３にはない固有の機能として、荷役装置１０によるピッキングが完了した場合に、認識部３１２を介して、ＲＧＢ画像の撮像をカメラ２０に要求する。計画部３１３ａは、取得部３１１により新たに取得されたＲＧＢ画像と、認識部３１２の認識で使用された前回のＲＧＢ画像とに基づき、ピッキングの前後で生じた物品Ｗに係る変化量を検出する差分チェックを行う。
Here, the planning unit 313a is a functional unit corresponding to the planning unit 313 of the first embodiment, and has the same function as the planning unit 313. Further, as a unique function that the planning unit 313 does not have, the planning unit 313 requests the
具体的には、計画部３１３ａは、前回のＲＧＢ画像と新たなＲＧＢ画像とで、物品Ｗの各々が存在する画像上の領域の変化量を検出し、当該変化量が閾値を上回る場合に差分ありと判定する。なお、差分の有無の判定方法は特に問わず、公知の技術を用いることが可能である。例えば、新旧の両ＲＧＢ画像において、同一画素位置の画素毎に画素値の差分を算出し、算出した差分の平均値と、予め定めた閾値とを比較することで差分の有無を判定してもよい。また、例えば、２つの画像（画像領域）から両画像間の差分の有無を出力（推論）するよう機能付けられた機械学習モデルを用いることで、差分の有無を判定してもよい。 Specifically, the planning unit 313a detects the amount of change in the region on the image in which each of the articles W exists in the previous RGB image and the new RGB image, and when the amount of change exceeds the threshold value, the difference is obtained. Judge as yes. It should be noted that a known technique can be used regardless of the method for determining the presence or absence of the difference. For example, in both old and new RGB images, the difference in pixel value is calculated for each pixel at the same pixel position, and the presence or absence of the difference can be determined by comparing the average value of the calculated difference with a predetermined threshold value. good. Further, for example, the presence or absence of a difference may be determined by using a machine learning model that is functioned to output (infer) the presence or absence of a difference between the two images (image area).
なお、計画部３１３ａは、認識部３１２で認識された物品Ｗのうち、消し込み処理が実行済の物品Ｗ、つまりピッキングが完了した物品Ｗについては差分チェックの対象から除外し、残りの物品Ｗを差分チェックの対象とする。具体的には、計画部３１３ａは、認識結果等に記録されたピッキング済の状態か否かを示す状態情報に基づいて、ピッキングが未完了の物品Ｗを特定し、特定した物品Ｗを差分チェックの対象とする。また、本実施形態において、差分なしの状態とは、新旧のＲＧＢ画像で完全に一致する状態に限らず、ある程度の誤差を許容する略同等の状態を含む概念である。
In addition, among the articles W recognized by the
差分チェックで差分ありと判定された場合、物品Ｗの配置位置や姿勢がピッキングの前後で変化したことを意味する。これは、物品Ｗをピッキングした際に他の物品Ｗに接触した可能性や荷崩れが発生した可能性があることを意味する。このような場合、前回の認識結果を基に導出した移動計画では、物品Ｗの位置を捕捉することができないため正常にピッキングを行うことができない可能性がある。 When it is determined that there is a difference in the difference check, it means that the arrangement position and posture of the article W have changed before and after picking. This means that when the article W is picked, it may have come into contact with another article W or a load collapse may have occurred. In such a case, the movement plan derived based on the previous recognition result may not be able to capture the position of the article W, so that picking may not be performed normally.
そこで、計画部３１３ａは、差分チェックで差分ありと判定した場合、認識部３１２を介して、３次元画像の撮像をカメラ２０に要求する。次いで、計画部３１３ａは、取得部３１１により新たに取得された３次元画像と、先に取得しておいたＲＧＢ画像とを用いて認識部３１２に認識処理を実行させる。そして、計画部３１３ａは、新たな認識結果に基づき、認識された物品Ｗの各々の移動計画を導出する。
Therefore, when the planning unit 313a determines that there is a difference in the difference check, the planning unit 313a requests the
以下、上述した制御装置３０ａの動作例について説明する。ここで、図１１は、制御装置３０ａが実行する処理の一例を示すフローチャートである。なお、ステップＳ３１〜Ｓ４４の処理は、第１の実施形態で説明した図７のステップＳ１１〜Ｓ２４の処理と同様であるため説明を省略する。 Hereinafter, an operation example of the control device 30a described above will be described. Here, FIG. 11 is a flowchart showing an example of the process executed by the control device 30a. Since the processing of steps S31 to S44 is the same as the processing of steps S11 to S24 of FIG. 7 described in the first embodiment, the description thereof will be omitted.
ステップＳ４４において、ピッキングが正常に完了すると（ステップＳ４４；Ｎｏ）、計画部３１３ａは、認識部３１２を介して取得部３１１にＲＧＢ画像の撮像要求を送信させることで、ＲＧＢカメラ２１で撮像されたＲＧＢ画像を取得部３１１に取得させる（ステップＳ４５）。
When the picking is normally completed in step S44 (step S44; No), the planning unit 313a is imaged by the
続いて、計画部３１３ａは、ステップＳ４５で取得されたＲＧＢ画像と、ステップＳ３１で取得されたＲＧＢ画像（前回のＲＧＢ画像）と、ステップＳ３２の認識結果（前回の認識結果）とに基づき、ピッキング前後の物品Ｗの状態を比較する差分チェックを実行する（ステップＳ４６）。次いで、計画部３１３は、差分チェックの結果に基づき、差分の有無を判定する（ステップＳ４７）。 Subsequently, the planning unit 313a picks based on the RGB image acquired in step S45, the RGB image acquired in step S31 (previous RGB image), and the recognition result in step S32 (previous recognition result). A difference check for comparing the states of the articles W before and after is executed (step S46). Next, the planning unit 313 determines the presence or absence of the difference based on the result of the difference check (step S47).
ここで、「差分なし」と判定した場合には（ステップＳ４７；Ｎｏ）、計画部３１３ａは、ステップＳ４８、Ｓ４９の処理を実行した後、ステップＳ３４に処理を戻す。なお、ステップＳ４８及びＳ４９の処理は、第１の実施形態で説明した図７のステップＳ２５、Ｓ２６と同様であるため説明を省略する。 Here, if it is determined that there is no difference (step S47; No), the planning unit 313a executes the processes of steps S48 and S49, and then returns the process to step S34. Since the processes of steps S48 and S49 are the same as those of steps S25 and S26 of FIG. 7 described in the first embodiment, the description thereof will be omitted.
一方、「差分あり」と判定した場合（ステップＳ４７；Ｙｅｓ）、計画部３１３ａは、認識部３１２を介して取得部３１１に３次元画像の撮像要求を送信させることで、３次元カメラ２２で撮像された３次元画像を取得部３１１に取得させる（ステップＳ５０）。続いて、計画部３１３ａは、ステップＳ３２に処理を戻し、ステップＳ４５で取得されたＲＧＢ画像とステップＳ５０で取得された３次元画像とに基づき、認識部３１２に認識処理を実行させる。
On the other hand, when it is determined that there is a "difference" (step S47; Yes), the planning unit 313a causes the
以上のように、制御装置３０ａは、物品Ｗのピッキングが完了した後、ピッキング後に撮像された新たなＲＧＢ画像と、認識処理で使用されたＲＧＢ画像及び当該認識処理の認識結果とに基づいて、ピッキングの前後で生じた変化を検出する差分チェックを実行する。そして、制御装置３０ａは、差分チェックの結果、変化あり（差分あり）と判定すると、新たなＲＧＢ画像及び３次元画像を用いて認識処理を新たに行い、当該認識処理の認識結果に基づいて優先度の設定を行う。 As described above, the control device 30a is based on the new RGB image captured after the picking of the article W, the RGB image used in the recognition process, and the recognition result of the recognition process. Perform a diff check to detect changes that occur before and after picking. Then, when the control device 30a determines as a result of the difference check that there is a change (there is a difference), the control device 30a newly performs a recognition process using a new RGB image and a three-dimensional image, and gives priority based on the recognition result of the recognition process. Set the degree.
これにより、制御装置３０ａでは、ピッキング時の接触や荷崩れ等の発生によりパレット２の上面２ａに載置された物品Ｗの状態が変化した場合であっても、変化後の状態を反映した認識結果に基づき物品Ｗのピッキングを継続させることができる。したがって、制御装置３０では、物品Ｗのピッキングを効率的に行うことができる。
As a result, the control device 30a recognizes that even if the state of the article W placed on the
以上説明した実施形態は、上述の各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。 The embodiment described above can be appropriately modified and implemented by changing a part of the configuration or function of each of the above-mentioned devices. Therefore, in the following, some modifications according to the above-described embodiment will be described as other embodiments. In the following, points different from the above-described embodiment will be mainly described, and detailed description of points common to the contents already described will be omitted. Further, the modifications described below may be carried out individually or in combination as appropriate.
（変形例１）
上述の実施形態では、図１１で説明したステップＳ４７の処理において、差分ありと判定されたことを条件に３次元画像の撮像要求を行う形態を説明した。しかしながら、３次元画像を取得するタイミングはこれに限らず、ステップＳ４４〜Ｓ４７の任意のタイミングで撮像要求を行う形態としてもよい。一例として、ステップＳ４５でＲＧＢ画像の撮像要求を行ったタイミングで３次元画像の撮像要求を行ってもよい。
(Modification example 1)
In the above-described embodiment, in the process of step S47 described with reference to FIG. 11, a mode in which an imaging request for a three-dimensional image is performed on the condition that it is determined that there is a difference has been described. However, the timing for acquiring the three-dimensional image is not limited to this, and an imaging request may be made at any timing in steps S44 to S47. As an example, a three-dimensional image imaging request may be made at the timing when the RGB image imaging request is made in step S45.
上記の処理内容とすることで、ステップＳ４７で差分ありと判定された場合に、より速やかに、新たなＲＧＢ画像及び３次元画像を用いた認識処理に移行することができる。なお、ステップＳ４７で差分なしと判定された場合には、取得した３次元画像は破棄されるものとする。 By adopting the above processing contents, when it is determined in step S47 that there is a difference, it is possible to more quickly shift to the recognition processing using a new RGB image and a three-dimensional image. If it is determined in step S47 that there is no difference, the acquired three-dimensional image is discarded.
以上、本発明のいくつかの実施形態（変形例）を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments (modifications) of the present invention have been described above, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
１ 荷役システム
１０ 荷役装置
２０ カメラ
２１ ＲＧＢカメラ
２２ ３次元カメラ
３０ 制御装置
３１１ 取得部
３１２ 認識部
３１３ 計画部
３１４ 計画実行部
1
Claims (11)
前記載置部を上方から撮像する撮像装置に接続される第２の接続部と、
前記撮像装置で撮像された画像を前記第２の接続部を介して取得し、取得した前記画像から前記載置部に載置された前記物品を認識する認識処理を実行し、前記認識処理で認識された前記物品の物品間の離間距離を算出し、前記離間距離に基づいて移動順序に係る優先度を前記物品に設定し、前記第１の接続部を介して前記荷役装置を制御することで、前記優先度に応じた順序で前記物品を移動させる制御部と、
を備える制御装置。 A first connecting portion connected to a cargo handling device that grips an article placed on the loading portion and moves the article, and a first connecting portion.
A second connection part connected to an imaging device that images the above-mentioned place part from above, and
An image captured by the image pickup apparatus is acquired via the second connection portion, and a recognition process for recognizing the article placed on the above-described placement portion is executed from the acquired image, and the recognition process is performed. To calculate the recognized separation distance between articles of the article, set the priority related to the movement order to the article based on the separation distance, and control the cargo handling device via the first connection portion. Then, the control unit that moves the article in the order according to the priority, and
A control device comprising.
前記制御部は、前記第１の撮像装置及び前記第２の撮像装置で撮像された前記２次元画像及び前記３次元画像に基づき、前記載置部に載置された前記物品の位置、形状及び姿勢を認識する請求項１乃至９に記載の制御装置。 The second connection portion is connected to a first imaging device that captures a two-dimensional image and a second imaging device that captures a three-dimensional image.
The control unit is based on the two-dimensional image and the three-dimensional image captured by the first image pickup device and the second image pickup device, and the position, shape, and position of the article placed on the above-mentioned placement section. The control device according to claim 1 to 9, which recognizes an attitude.
前記撮像装置で撮像された画像を前記第２の接続部を介して取得する取得ステップと、
前記取得ステップで取得した前記画像から前記載置部に載置された前記物品を認識する認識処理を実行する認識ステップと、
前記認識ステップで認識された前記物品の物品間の離間距離を算出する算出ステップと、
前記離間距離に基づいて移動順序に係る優先度を前記物品に設定する設定ステップと、
前記第１の接続部を介して前記荷役装置を制御することで、前記優先度に応じた順序で前記物品を移動させる制御ステップと、
を実行させるためのプログラム。 A first connection portion connected to a cargo handling device that grips an article placed on the mounting portion and moves the article, and a second connection portion connected to an imaging device that images the above-mentioned placement portion from above. To the computer of the control device equipped with the connection part
An acquisition step of acquiring an image captured by the imaging device via the second connection portion, and
A recognition step for executing a recognition process for recognizing the article placed on the above-mentioned placement portion from the image acquired in the acquisition step, and a recognition step.
A calculation step for calculating the separation distance between the articles recognized in the recognition step, and a calculation step.
A setting step of setting a priority related to the movement order for the article based on the separation distance, and
A control step of moving the article in an order according to the priority by controlling the cargo handling device via the first connection portion, and a control step.
A program to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020045226A JP2021146403A (en) | 2020-03-16 | 2020-03-16 | Control device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020045226A JP2021146403A (en) | 2020-03-16 | 2020-03-16 | Control device and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021146403A true JP2021146403A (en) | 2021-09-27 |
Family
ID=77850331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020045226A Pending JP2021146403A (en) | 2020-03-16 | 2020-03-16 | Control device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021146403A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102649596B1 (en) * | 2023-10-12 | 2024-03-20 | 라온피플 주식회사 | Apparatus and method for providing operating data controlling robot |
-
2020
- 2020-03-16 JP JP2020045226A patent/JP2021146403A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102649596B1 (en) * | 2023-10-12 | 2024-03-20 | 라온피플 주식회사 | Apparatus and method for providing operating data controlling robot |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10839261B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP7466150B2 (en) | Robotic system with automatic package registration mechanism and method of operation thereof | |
| JP7191569B2 (en) | gripping device | |
| US7966094B2 (en) | Workpiece picking apparatus | |
| JP4087874B2 (en) | Work picking device | |
| US11285603B2 (en) | Information processing apparatus, control method, robot system, and storage medium | |
| JP2019063984A (en) | Information processor, method, and robot system | |
| CN111683798B (en) | Workpiece pickup device and workpiece pickup method | |
| US20070274812A1 (en) | Workpiece picking device and method | |
| JP6444499B1 (en) | Control device, picking system, distribution system, program, and control method | |
| JP6697204B1 (en) | Robot system control method, non-transitory computer-readable recording medium, and robot system control device | |
| JP7005388B2 (en) | Information processing equipment and sorting system | |
| JP6258556B1 (en) | Control device, picking system, distribution system, program, control method, and production method | |
| JP7377627B2 (en) | Object detection device, object grasping system, object detection method, and object detection program | |
| JP6363294B1 (en) | Information processing apparatus, picking system, distribution system, program, and information processing method | |
| CN114670189B (en) | Storage medium, and method and system for generating control program of robot | |
| JP2021146403A (en) | Control device and program | |
| JP2021115693A (en) | Control device of robot system, control method of robot system, computer control program and robot system | |
| US20230030852A1 (en) | Control apparatus for robotic system, control method for robotic system, computer-readable storage medium storing a computer control program, and robotic system | |
| JP2021146404A (en) | Control device and program | |
| CN111470244B (en) | Control method and control device for robot system | |
| JP2020040193A (en) | Information processing device and picking system | |
| JP2020151781A (en) | Cargo handling device and cargo handling system | |
| JP2023037715A (en) | Picking device and picking method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240305 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240409 |