JP2020125916A - Transfer target workpiece storage system - Google Patents
Transfer target workpiece storage system Download PDFInfo
- Publication number
- JP2020125916A JP2020125916A JP2019017028A JP2019017028A JP2020125916A JP 2020125916 A JP2020125916 A JP 2020125916A JP 2019017028 A JP2019017028 A JP 2019017028A JP 2019017028 A JP2019017028 A JP 2019017028A JP 2020125916 A JP2020125916 A JP 2020125916A
- Authority
- JP
- Japan
- Prior art keywords
- transfer target
- target work
- work
- dimensional
- transfer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、パレット上に積まれた複数の段ボール箱等のワークを移載する移載対象ワークを記憶する移載対象ワーク記憶システムに関する。
BACKGROUND OF THE
近年、物流業界において、倉庫内の仕分け、積込み、荷卸し等の作業の自動化が求められており、様々な自動化システムの導入が進められている(例えば、特許文献1参照)。 In recent years, in the physical distribution industry, automation of operations such as sorting, loading, and unloading in a warehouse has been required, and various automation systems have been introduced (for example, refer to Patent Document 1).
しかしながら、パレット上に積まれた複数の段ボール箱等のワークを一つ一つ取り分ける作業、すなわち、デパレタイズ作業工程を行うにあたり、隣接するワークの境界部分が上手く検出できないことがあり、もって、移載対象ワークの位置や向きが正確に認識できない場合があるといった問題があった。 However, when performing the work of separating the work such as a plurality of cardboard boxes stacked on the pallet one by one, that is, the depalletizing work process, the boundary part of the adjacent work may not be detected well, so it is transferred. There is a problem that the position and orientation of the target work may not be recognized accurately.
そこで、そのような問題を解決すべく、移載対象ワークをモデルマッチングで推定する方法が考えられる。 Therefore, in order to solve such a problem, a method of estimating the transfer target work by model matching can be considered.
しかしながら、倉庫管理システム等の上位システム側に、ワークの形状が保持されていない場合、又は、ワークの形状の概略の範囲しか定まっていない場合、或いは、当初指示していたワークの形状と移載現場に届いたワークの形状が異なる場合等の状況があり、上記のようなモデルマッチングを実施する前提条件が整わない場合があり、移載対象ワークの位置や向きが正確に認識できず、もって、上記問題を解決することができないという問題があった。 However, if the shape of the work is not held on the upper-level system side such as the warehouse management system, or if only the approximate range of the shape of the work is determined, or the shape of the work that was originally instructed and transfer There are situations such as when the shape of the workpiece that arrived at the site is different, the prerequisites for performing the above model matching may not be met, and the position and orientation of the workpiece to be transferred cannot be accurately recognized. There was a problem that the above problems could not be solved.
そこで、本発明は、上記問題に鑑み、移載対象ワークを正確に認識することができるようにする移載対象ワーク記憶システムを提供することを目的としている。 Therefore, in view of the above problems, it is an object of the present invention to provide a transfer target work storage system capable of accurately recognizing a transfer target work.
上記本発明の目的は、以下の手段によって達成される。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。 The above-mentioned object of the present invention is achieved by the following means. In addition, although the reference numerals of the embodiments described later are given in the parentheses, the present invention is not limited thereto.
請求項1の発明に係る移載対象ワーク記憶システムは、荷積みされた複数のワーク(例えば、図1に示すワークWa)のうち、移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)を三次元計測する三次元計測手段(例えば、図2に示すステップS2)と、
前記三次元計測手段(例えば、図2に示すステップS2)にて前記移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)を計測した際、該移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)の境界が明確であるか否かを判定する判定手段(例えば、図2に示すステップS3)と、
前記判定手段(例えば、図2に示すステップS3)にて、前記移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)の境界が明確であると判定された場合、前記移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)と所定の内容を比較する比較手段(例えば、図2に示すステップS4)と、
前記比較手段(例えば、図2に示すステップS4)にて、比較した結果が、所定範囲内であれば、前記移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)を記憶手段(例えば、図1に示す計測結果記憶部56)に記憶させる記憶指示手段(例えば、図2に示すステップS6)と、を有してなることを特徴としている。
The transfer target work storage system according to the invention of
When the transfer target work (for example, the work Wa at the position indicated by the broken line N shown in FIG. 4A) is measured by the three-dimensional measuring means (for example, step S2 shown in FIG. 2), the transfer is performed. Determination means (for example, step S3 shown in FIG. 2) for determining whether or not the boundary of the target work (for example, the work Wa at the position shown by the broken line N shown in FIG. 4A) is clear,
The determination unit (eg, step S3 shown in FIG. 2) determines that the boundary of the transfer target work (eg, the work Wa at the position indicated by the broken line N shown in FIG. 4A) is clear. In this case, the transfer target work (for example, the work Wa at the position indicated by the broken line N shown in FIG. 4A) and a comparison means (for example, step S4 shown in FIG. 2) for comparing predetermined contents,
If the result of comparison by the comparison means (for example, step S4 shown in FIG. 2) is within a predetermined range, it is at the position indicated by the broken line N shown in FIG. 4(a). A storage instruction unit (for example, step S6 shown in FIG. 2) for storing the work Wa) in a storage unit (for example, the measurement
また、請求項2の発明によれば、上記請求項1に記載の移載対象ワーク記憶システムにおいて、前記判定手段(例えば、図2に示すステップS3)にて、前記移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)の境界が不明確であると判定された場合、前記移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)の境界部分が不明確であると判断し、不明確な部分を含めて移載対象ワーク(例えば、図4(c)に示す切り出した部分T)であると推定する、又は、前記比較手段(例えば、図2に示すステップS4)にて、比較した結果が、所定範囲外であれば、前記移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)の境界部分が不明確であると判断し、不明確な部分を含めて移載対象ワーク(例えば、図4(b)に示す切り出した部分T)であると推定する推定手段(例えば、図2に示すステップS7、ステップS8)と、
前記推定手段(例えば、図2に示すステップS7、ステップS8)にて推定された移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を所定距離だけずらし動作させるずらし動作手段(例えば、図2に示すステップS9、図1に示すロボット2)と、
前記ずらし動作手段(例えば、図2に示すステップS9、図1に示すロボット2)にて所定距離だけずらし動作された移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を、再度三次元計測する三次元再計測手段(例えば、図2に示すステップS12、ステップS13)と、
前記三次元再計測手段(例えば、図2に示すステップS12、ステップS13)にて再度三次元計測された移載対象ワーク(例えば、図5(b)に示すずらし量Y1だけずれたワークWa)と所定の内容を比較する再計測比較手段(例えば、図2に示すステップS14)と、
前記三次元再計測手段(例えば、図2に示すステップS12、ステップS13)にて再度三次元計測された移載対象ワーク(例えば、図5(b)に示すずらし量Y1だけずれたワークWa)を記憶手段(例えば、図1に示す計測結果記憶部56)に記憶させる再計測記憶指示手段(例えば、図2に示すステップS15)と、をさらに有してなることを特徴としている。
According to the invention of claim 2, in the transfer target work storage system according to
The transfer target work estimated by the estimation means (for example, step S7 and step S8 shown in FIG. 2) (for example, the estimated transfer target work Wa1 shown in FIG. 4B and the transfer target work Wa1 shown in FIG. 4C are shown. Shift operation means (for example, step S9 shown in FIG. 2, robot 2 shown in FIG. 1) for moving the estimated transfer target work Wa2) by a predetermined distance,
The transfer target work (for example, the estimated transfer target work illustrated in FIG. 4B) that has been displaced by a predetermined distance by the shift operation unit (for example, step S9 illustrated in FIG. 2 and the robot 2 illustrated in FIG. 1). Wa1 and a three-dimensional re-measurement means (for example, step S12 and step S13 shown in FIG. 2) for three-dimensionally measuring the estimated transfer target work Wa2 shown in FIG. 4C again.
The transfer target work (for example, the work Wa deviated by the shift amount Y1 illustrated in FIG. 5B) that is three-dimensionally measured again by the three-dimensional remeasurement unit (for example, step S12 and step S13 illustrated in FIG. 2). And re-measurement comparing means for comparing predetermined contents (for example, step S14 shown in FIG. 2),
The transfer target work (for example, the work Wa deviated by the shift amount Y1 illustrated in FIG. 5B) that is three-dimensionally measured again by the three-dimensional remeasurement unit (for example, step S12 and step S13 illustrated in FIG. 2). Is further included in the storage means (for example, the measurement
さらに、請求項3の発明によれば、上記請求項2に記載の移載対象ワーク記憶システムにおいて、前記再計測記憶指示手段(例えば、図2に示すステップS15)は、前記再計測比較手段(例えば、図2に示すステップS14)にて、前記三次元再計測手段(例えば、図2に示すステップS12、ステップS13)にて再度三次元計測された移載対象ワーク(例えば、図5(b)に示すずらし量Y1だけずれたワークWa)と所定の内容を比較した結果が、誤差が大きいか否かを示す所定範囲外であれば、所定の警告を発すると共に、前記三次元再計測手段(例えば、図2に示すステップS12、ステップS13)にて再度三次元計測された移載対象ワーク(例えば、図5(b)に示すずらし量Y1だけずれたワークWa)を記憶手段(例えば、図1に示す計測結果記憶部56)に記憶させてなることを特徴としている。
Furthermore, according to the invention of
一方、請求項4の発明によれば、上記請求項1〜3の何れか1項に記載の移載対象ワーク記憶システムにおいて、前記所定の内容は、予め定められている移載の仕様、又は、上位システム側からの指示であることを特徴としている。
On the other hand, according to the invention of claim 4, in the transfer target work storage system according to any one of
他方、請求項5の発明によれば、上記請求項2〜4の何れか1項に記載の移載対象ワーク記憶システムにおいて、前記ずらし動作手段(例えば、図2に示すステップS9、図1に示すロボット2)は、ロボット(例えば、図1に示すロボット2)のロボットハンド(例えば、図1に示すロボットハンド22)を用いて、前記推定手段(例えば、図2に示すステップS7、ステップS8)にて推定された移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を所定距離だけずらし動作させ、
前記三次元再計測手段(例えば、図2に示すステップS12、ステップS13)は、前記ロボットハンド(例えば、図1に示すロボットハンド22)を退避させた後、前記ずらし動作手段(例えば、図2に示すステップS9、図1に示すロボット2)にて所定距離だけずらし動作された移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を、再度三次元計測してなることを特徴としている。
On the other hand, according to the invention of
The three-dimensional remeasurement means (for example, step S12 and step S13 shown in FIG. 2) retracts the robot hand (for example, the robot hand 22 shown in FIG. 1) and then the shift operation means (for example, FIG. 2). In step S9 shown in FIG. 1, the transfer target work displaced by a predetermined distance by the robot 2 shown in FIG. 1 (for example, the estimated transfer target work Wa1 shown in FIG. 4B and the transfer target work Wa1 shown in FIG. 4C) are shown. It is characterized in that the estimated transfer target work Wa2) is three-dimensionally measured again.
一方、請求項6の発明によれば、上記請求項2〜4の何れか1項に記載の移載対象ワーク記憶システムにおいて、前記ずらし動作手段(例えば、図2に示すステップS9、図1に示すロボット2)は、ロボット(例えば、図1に示すロボット2)のロボットハンド(例えば、図1に示すロボットハンド22)を用いて、前記推定手段(例えば、図2に示すステップS7、ステップS8)にて推定された移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を所定距離だけずらし動作させた後、該所定距離だけずらし動作された移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を、本来の移載場所とは異なる場所に、一旦、移載させ、
前記三次元再計測手段(例えば、図2に示すステップS12、ステップS13)は、前記異なる場所に、一旦、移載された移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を、再度三次元計測してなることを特徴としている。
On the other hand, according to the invention of claim 6, in the transfer target work storage system according to any one of claims 2 to 4, the shift operation means (for example, step S9 shown in FIG. The shown robot 2) uses the robot hand (for example, the robot hand 22 shown in FIG. 1) of the robot (for example, the robot 2 shown in FIG. 1) to perform the estimation means (for example, steps S7 and S8 shown in FIG. 2). 4) the transfer target work (for example, the estimated transfer target work Wa1 shown in FIG. 4B and the estimated transfer target work Wa2 shown in FIG. 4C) is moved by a predetermined distance. After that, the transfer target work moved by the predetermined distance (for example, the estimated transfer target work Wa1 shown in FIG. 4B, the estimated transfer target work Wa2 shown in FIG. 4C), Once transferred to a place different from the original transfer place,
The three-dimensional remeasurement means (for example, step S12 and step S13 shown in FIG. 2) is a transfer target work temporarily transferred to the different place (for example, estimated transfer shown in FIG. 4B). It is characterized in that the target work Wa1 and the estimated transfer target work Wa2 shown in FIG. 4C are three-dimensionally measured again.
また一方、請求項7の発明によれば、上記請求項2〜4の何れか1項に記載の移載対象ワーク記憶システムにおいて、前記ずらし動作手段(例えば、図2に示すステップS9、図1に示すロボット2)は、ロボット(例えば、図1に示すロボット2)のロボットハンド(例えば、図1に示すロボットハンド22)を用いて、前記推定手段(例えば、図2に示すステップS7、ステップS8)にて推定された移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を所定距離だけずらし動作させた後、該所定距離だけずらし動作された移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を移載させ、
前記三次元再計測手段(例えば、図2に示すステップS12、ステップS13)は、前記移載されている最中の移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を、再度三次元計測してなることを特徴としている。
On the other hand, according to the invention of claim 7, in the transfer target work storage system according to any one of claims 2 to 4, the shift operation means (for example, step S9 shown in FIG. 2, FIG. 1). 2) using the robot hand (for example, the robot hand 22 shown in FIG. 1) of the robot (for example, the robot 2 shown in FIG. 1), the estimation means (for example, step S7 and step shown in FIG. 2). The transfer target work estimated in S8) (for example, the estimated transfer target work Wa1 shown in FIG. 4B and the estimated transfer target work Wa2 shown in FIG. 4C) is moved by a predetermined distance. After that, the transfer target work displaced by the predetermined distance (for example, the estimated transfer target work Wa1 shown in FIG. 4B, the estimated transfer target work Wa2 shown in FIG. 4C) is moved. Transfer,
The three-dimensional remeasurement means (for example, step S12 and step S13 shown in FIG. 2) is the transfer target work being transferred (for example, the estimated transfer target work shown in FIG. 4B). Wa1 and the estimated transfer target work Wa2 shown in FIG. 4C are three-dimensionally measured again.
次に、本発明の効果について、図面の参照符号を付して説明する。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。 Next, the effects of the present invention will be described with reference numerals in the drawings. In addition, although the reference numerals of the embodiments described later are given in the parentheses, the present invention is not limited thereto.
請求項1に係る発明によれば、移載の現場で、正確に認識できた移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)を自動的に記憶することで、次回以降の認識精度を向上させることができ、もって、移載対象ワークを正確に認識することができるようにすることができる。
According to the invention of
また、請求項2に係る発明によれば、移載対象ワークの境界部分が不明確であったとしても、ずらし動作させて、再計測した結果を自動的に記憶することで、次回以降の認識精度をより向上させることができ、もって、移載対象ワークをより正確に認識することができるようにすることができる。 Further, according to the invention of claim 2, even if the boundary part of the transfer target work is unclear, the shift operation is performed and the result of the remeasurement is automatically stored, so that the subsequent recognition can be performed. It is possible to further improve the accuracy, and thus it is possible to recognize the transfer target work more accurately.
さらに、請求項3に係る発明によれば、再計測した結果を自動的に記憶すると共に、予め定められている移載の仕様、又は、上位システム側からの指示との誤差が大きければ、警告を発しているため、作業者は、誤差が大きいものが記憶されたことを即座に認識することができる。
Further, according to the invention of
また、比較する所定の内容としては、請求項4に係る発明に示すように、予め定められている移載の仕様、又は、上位システム側からの指示であることが好適である。 Further, as the predetermined content to be compared, as shown in the invention according to claim 4, it is preferable that a predetermined transfer specification or an instruction from the host system side is given.
一方、再計測するにあたっては、請求項5に係る発明に示すように、ロボットハンド(例えば、図1に示すロボットハンド22)を退避させた後、再計測するのが好適である。または、請求項6に係る発明に示すように、本来の移載場所とは異なる場所に、一旦、移載させた後、再計測するのが好適である。またさらには、請求項7に係る発明に示すように、移載中に再計測するのが好適である。
On the other hand, in re-measurement, it is preferable that the robot hand (for example, the robot hand 22 shown in FIG. 1) is retracted and then re-measured as shown in the invention according to
以下、本発明に係る移載対象ワーク記憶システムの一実施形態を、図面を参照して具体的に説明する。なお、以下の説明において、上下左右の方向を示す場合は、図示正面から見た場合の上下左右をいうものとする。 An embodiment of a transfer target work storage system according to the present invention will be specifically described below with reference to the drawings. In the following description, the up, down, left, and right directions indicate the up, down, left, and right as viewed from the front of the figure.
図1に示すように、移載対象ワーク記憶システム1は、ロボット2と、このロボット2を制御するロボット制御装置3と、カメラ4と、画像処理装置5と、で構成されている。なお、符号Wは、搬送用ベルトコンベアB上に載置されたパレットP上に、隣接して荷積された複数の段ボール箱形状等からなるワークWaの荷姿を示すものである。
As shown in FIG. 1, the transfer target
ロボット2は、床や壁等の設置面に固定される土台20と、土台20に対して基端が回転可能に連結されているロボットアーム部21と、ロボットアーム部21の先端に取り付けられ、ワークWaを吸着・挟み込み・支持等によって把持することができるロボットハンド22とを備えている。
The robot 2 includes a base 20 fixed to an installation surface such as a floor or a wall, a robot arm 21 having a base end rotatably connected to the
一方、ロボット制御装置3は、画像処理装置5より出力されるデータ、又は、ロボット2より出力されるデータに基づき、ロボット2の稼動を制御するものである。
On the other hand, the
カメラ4は、パレットP上に、隣接して荷積された複数のワークWaの三次元座標を示す三次元点群情報を取得することができる三次元ビジョンセンサからなるものである。 The camera 4 is composed of a three-dimensional vision sensor capable of acquiring three-dimensional point cloud information indicating the three-dimensional coordinates of a plurality of works Wa loaded adjacently on the pallet P.
画像処理装置5は、CPU50と、マウスやキーボード、タッチパネル等にて外部から所定データを画像処理装置5に入力することができる入力部51と、画像処理装置5外に所定データを出力することができる出力部52と、所定のプログラム等を格納した書込み可能なフラッシュROM等からなるROM53と、作業領域やバッファメモリ等として機能するRAM54と、LCD(Liquid Crystal Display)等からなる表示部55と、後述するワークWa等の計測結果を記憶する計測結果記憶部56と、で構成されている。
The
かくして、上記のような移載対象ワーク記憶システムを使用するにあたっては、作業者が、図1に示す画像処理装置5の入力部51を用いて、図1に示すROM53内に格納されているプログラムの起動を指示する。これにより、画像処理装置5のCPU50(図1参照)は、図2に示すような処理を行う。以下、図2を参照して説明する。なお、図2に示すプログラムの処理内容はあくまで一例であり、これに限定されるものではない。
Thus, when using the transfer target work storage system as described above, the operator uses the
まず、CPU50(図1参照)は、カメラ4にて取得されたワークWaの三次元座標を示す三次元点群情報を取得し、その三次元点群情報からワークWaの形状を計測し、その計測結果を計測結果記憶部56に記憶する(ステップS1)。より詳しく説明すると、パレットP上に積まれたワークWaを一つ一つ取り分ける作業、すなわち、デパレタイズ作業工程を行う前に、図3(a)に示すワークWaの形状を計測する。すなわち、デパレタイズ作業工程を行う荷姿W(図1参照)の中から、1個のワークWaを取り出し、カメラ4にて、その取り出した1個のワークWaの三次元座標を示す三次元点群情報を取得する。そして、CPU50は、その三次元点群情報を取得し、その三次元点群情報からワークWaの形状を計測する。すなわち、三次元点群情報は、X方向,Y方向,Z方向の三次元座標を備えていることから、これを用いれば、図3(a)に示すように、ワークWaの高さH、幅W、長さLが分かることとなり、もって、ワークWaの形状を計測することができることとなる。そして、ワークWaの計測結果は、CPU50にて、計測結果記憶部56に記憶されることとなる。なお、この作業は、全てのワークWaにて行われることとなる。これにより、荷姿Wの中から、所定のワークWaを移載する際、移載対象のワークWaの位置が認識できることとなる。
First, the CPU 50 (see FIG. 1) acquires three-dimensional point cloud information indicating the three-dimensional coordinates of the work Wa acquired by the camera 4, measures the shape of the work Wa from the three-dimensional point cloud information, and The measurement result is stored in the measurement result storage unit 56 (step S1). More specifically, before the work of separating the works Wa stacked on the pallet P one by one, that is, the depalletizing work process, the shape of the works Wa shown in FIG. 3A is measured. That is, one work Wa is taken out from the package W (see FIG. 1) in which the depalletizing work process is performed, and the camera 4 causes the three-dimensional point group indicating the three-dimensional coordinates of the one work Wa taken out. Get information. Then, the
ところで、1個のワークWaの形状を計測するにあたっては、上記のような方法に限らず、次のような方法でも良い。すなわち、デパレタイズ作業工程を行う荷姿W(図3(b)参照)の三次元座標を示す三次元点群情報をカメラ4にて取得する。その後、図3(c)に示すように、荷姿Wの中から、1個のワークWaを取り出し、取り出した1個のワークWaが無い状態の荷姿W1の三次元座標を示す三次元点群情報をカメラ4にて取得する。そして、CPU50は、カメラ4にて取得された荷姿W、W1の三次元座標を示す三次元点群情報を取得し、その差分を取る。これにより、三次元点群情報が、X方向,Y方向,Z方向の三次元座標を備えていることから、図3(c)に示すように、取り出されたワークWaの高さH、幅W、長さLが分かることとなり、もって、ワークWaの形状を計測することができることとなる。しかして、この作業を荷姿Wから全てのワークWaが取り出されるまで続けていけば、全てのワークWaの高さH、幅W、長さLが分かることとなり、もって、このようにしても、ワークWaの形状を計測することができることとなる。なお、ワークWaの計測結果は、CPU50にて、計測結果記憶部56に記憶されることとなる。
By the way, when measuring the shape of one work Wa, the following method is not limited to the above method. That is, the camera 4 acquires the three-dimensional point cloud information indicating the three-dimensional coordinates of the package W (see FIG. 3B) on which the depalletizing work process is performed. After that, as shown in FIG. 3C, one workpiece Wa is taken out from the package W, and a three-dimensional point indicating the three-dimensional coordinates of the package W1 in the state where the one workpiece Wa is not taken out. The group information is acquired by the camera 4. Then, the
次いで、上記ステップS1の終了後、予め定められている移載の仕様(移載するワークの形状の情報を含む)、又は、倉庫管理システム(図示せず)からの指示(移載するワークの形状の情報を含む)に基づき、CPU50は、図1に示す荷姿Wの中から移載対象のワークWaを認識し、計測する(ステップS2)。具体的に説明すると、カメラ4にて、図4(a)に示すような荷姿Wの上面側が撮像され、その上面側の荷姿Wの三次元座標を示す三次元点群情報が取得されると、CPU50は、その三次元点群情報を取得する。そして、CPU50は、その取得した三次元点群情報と、計測結果記憶部56に記憶されている上記ステップS1にて計測したワークWaの計測結果を照合した上で、予め定められている移載の仕様、又は、倉庫管理システム(図示せず)からの指示対象である移載対象のワークWaが、図4(a)に示す破線Nで示す位置にあると認識する。続いて、CPU50は、その認識した図4(a)に示す破線Nの位置にある部分を、図4(b),(c)に示すように切り出し、その切り出した部分Tの三次元点群情報から、移載対象のワークWaを計測する。
Then, after the step S1 is completed, a predetermined transfer specification (including information on the shape of the transferred work) or an instruction from the warehouse management system (not shown) (of the transferred work) Based on the shape information), the
次いで、CPU50は、切り出した部分Tの三次元点群情報から、隣接点との奥行き値の差分が大きい点群を抽出し、デプスエッジ等の特徴が明確に出ているか否かを確認する。すなわち、隣接するワークWa同士の境界部分には、僅かな隙間や凹みがあることが多いため、その僅かな隙間や凹み部分に、デプスエッジ等の特徴が明確に出やすい。それゆえ、CPU50は、デプスエッジ等の特徴が明確に出ているか否かを確認し、隣接するワークWa同士の境界部分が明確か否かを確認する(ステップS3)。
Next, the
図4(b)に示すように、隣接するワークWa同士の境界部分K1が明確であれば(ステップS3:YES)、CPU50は、切り出した部分Tの三次元点群情報と、予め定められている移載の仕様、又は、倉庫管理システム(図示せず)から指示された移載するワークの形状とを比較する(ステップS4)。
As shown in FIG. 4B, if the boundary portion K1 between the adjacent works Wa is clear (step S3: YES), the
次いで、CPU50は、ROM53内に予め格納されている許容誤差内か否かの情報を読み出し、上記ステップS4にて比較した比較結果が、その予め格納されている許容誤差内か否かを確認する(ステップS5)。許容誤差内であれば(ステップS5:YES)、図4(b)に示す切り出し部分TのワークWaをそれぞれ移載対象のワークWaとして計測結果記憶部56に記憶する(ステップS6)。
Next, the
一方、許容誤差外であれば(ステップS5:NO)、隣接するワークWa同士の境界部分が不明確であるとして、CPU50は、図4(b)に示す切り出し部分Tをすべて移載対象ワークWa1であると推定する(ステップS7)。
On the other hand, if it is out of the allowable error (step S5: NO), the
他方、図4(c)に示すように、隣接するワークWa同士の境界部分K2が不明確(図示では、不明確であることを破線で示している)であれば(ステップS3:NO)、CPU50は、不明確な部分を含めて移載対象ワークであると推定する(ステップS8)。すなわち、本実施形態においては、図4(c)に示す切り出し部分Tをすべて移載対象ワークWa2であると推定する。
On the other hand, as shown in FIG. 4C, if the boundary portion K2 between the adjacent works Wa is unclear (in the figure, the unclearness is indicated by a broken line) (step S3: NO), The
次いで、CPU50は、上記ステップS7又はステップS8の処理後、推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2をわずかに移動、すなわち、ずらして、移載対象を特定するため、ずらし動作をさせるべく、CPU50は、ずらし動作をするよう出力部52(図1参照)を介してロボット制御装置3に出力する(ステップS9)。これを受けて、ロボット制御装置3は、その情報に基づき、ロボット2(図1参照)を制御し、もって、ロボット2(図1参照)のロボットハンド22(図1参照)にて、推定した移載対象ワークWa1、又は、移載対象ワークWa2が、図5(a)に示す状態から、図5(b)に示す状態(推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2の一部だけが、ずらし量Y1だけずれている)にずらし動作されることとなる。
Next, the
次いで、CPU50は、ずらし動作の結果を確認する(ステップS10)。具体的に説明すると、図5(b)に示す、ずらし動作が行われた後の荷姿Wの三次元座標を示す三次元点群情報をカメラ4にて取得する。そして、CPU50は、カメラ4にて取得されたずらし動作後の荷姿Wの三次元座標を示す三次元点群情報を取得し、ずらし動作前の荷姿W(図5(a)参照)の三次元座標を示す三次元点群情報との差分を取る。これにより、CPU50は、図5(b)に示すように、推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2の一部だけが、ずらし量Y1だけずれていれば、推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2が一体として動作しなかったと判定する。一方、推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2の全体がずらし量Y1だけずれていれば、推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2が一体として動作したと判定する。
Next, the
かくして、このようにして、推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2が一体として動作したか否かを判定し、一体として動作していなければ(ステップS11:NO)、ずらし動作がされた移載対象ワークWa(図5(b)に示すずらし量Y1だけずれたワークWa)を再計測する(ステップS12)。 Thus, in this way, it is determined whether or not the estimated transfer target work Wa1 or the estimated transfer target work Wa2 has operated as a unit (step S11: NO), The transfer target work Wa that has been moved (the work Wa deviated by the shift amount Y1 shown in FIG. 5B) is remeasured (step S12).
一方、一体として動作していれば(ステップS11:YES)、推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2を移載対象ワークとして再計測する(ステップS13)。 On the other hand, if they are operating together (step S11: YES), the estimated transfer target work Wa1 or the estimated transfer target work Wa2 is remeasured as the transfer target work (step S13).
ところで、上記のような再計測にあたっては、以下のような方法で再計測を行う。すなわち、ロボットハンド22を退避させた後、再計測する移載対象ワークの三次元座標を示す三次元点群情報取得をカメラ4にて取得する。そして、CPU50は、その三次元点群情報を取得し、その取得した三次元点群情報に基づいて、移載対象ワークの形状を計測する。
By the way, in the above re-measurement, re-measurement is performed by the following method. That is, after the robot hand 22 is retracted, the camera 4 acquires the 3D point group information acquisition indicating the 3D coordinates of the transfer target work to be remeasured. Then, the
一方、推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2が一体として動作したか否かを判定した後、CPU50は、移載の実行を指示する情報を、出力部52(図1参照)を介してロボット制御装置3に出力する。これを受けて、ロボット制御装置3は、その情報に基づき、ロボット2を制御し、もって、ロボット2のロボットハンド22にて、移載対象ワークWa(Wa1,Wa2)の移載を実行することとなる。この際、移載対象ワークWa(Wa1,Wa2)が移載中に、一旦別の場所に移載されるよう、CPU50は、出力部52を介してロボット制御装置3に、その指示内容を出力する。これを受けて、ロボット制御装置3は、その情報に基づき、ロボット2を制御し、もって、ロボット2のロボットハンド22にて、移載対象ワークWa(Wa1,Wa2)が一旦別の場所に移載されることとなる。その後、一旦別の場所に移載された移載対象ワークWa(Wa1,Wa2)の三次元座標を示す三次元点群情報取得をカメラ4にて取得する。そして、CPU50は、その三次元点群情報を取得し、その取得した三次元点群情報に基づいて、移載対象ワークWa(Wa1,Wa2)の形状を計測する。
On the other hand, after determining whether the estimated transfer target work Wa1 or the estimated transfer target work Wa2 integrally operates, the
また一方、推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2が一体として動作したか否かを判定した後、CPU50は、移載の実行を指示する情報を、出力部52(図1参照)を介してロボット制御装置3に出力する。これを受けて、ロボット制御装置3は、その情報に基づき、ロボット2を制御し、もって、ロボット2のロボットハンド22にて、移載対象ワークWa(Wa1,Wa2)の移載を実行することとなる。この際、移載対象ワークWa(Wa1,Wa2)が移載中に、移載対象ワークWa(Wa1,Wa2)が空中に位置した際、カメラ4にて三次元座標を示す三次元点群情報取得を取得する。そして、CPU50は、その三次元点群情報を取得し、その取得した三次元点群情報に基づいて、移載対象ワークWa(Wa1,Wa2)の形状を計測する。
On the other hand, after determining whether the estimated transfer target work Wa1 or the estimated transfer target work Wa2 integrally operates, the
かくして、上記のような方法を用いて、再計測を行った後、CPU50は、その再計測を行った三次元点群情報と、予め定められている移載の仕様、又は、倉庫管理システム(図示せず)から指示された移載するワークの形状とを比較する(ステップS14)。
Thus, after re-measurement is performed by using the above method, the
次いで、CPU50は、ROM53内に予め格納されている誤差が大きいか否かを示す所定範囲の情報を読み出し、上記ステップS14にて比較した比較結果が、その予め格納されている所定範囲内か否かを確認する。所定範囲外であれば、差が大きすぎることとなるため、CPU50は、表示部55に警告内容を表示すると共に、その再計測した移載対象ワークWa(Wa1,Wa2)を移載対象ワークとして計測結果記憶部56に記憶する。また、所定範囲内であれば、差が大きすぎないため、CPU50は、表示部55に警告内容を表示せず、再計測した移載対象ワークWa(Wa1,Wa2)を移載対象ワークとして計測結果記憶部56に記憶する(ステップS15)。
Next, the
次いで、CPU50は、ステップS6又はステップS15にて計測結果記憶部56に記憶された移載対象ワークの情報に基づいて、移載の実行を指示する情報を、出力部52(図1参照)を介してロボット制御装置3に出力する(ステップS16)。これを受けて、ロボット制御装置3は、その情報に基づき、ロボット2を制御し、もって、ロボット2のロボットハンド22にて移載対象ワークWa(Wa1,Wa2)の移載を実行することとなる。なお、再計測にあたって、一時的に移載指示をした場合は、この指示が最終の移載指示となる。
Next, the
しかして、以上説明した本実施形態によれば、移載の現場で、正確に認識できた移載対象ワークを自動的に記憶することで、次回以降の認識精度を向上させることができ、もって、移載対象ワークを正確に認識することができるようにすることができる。 Therefore, according to the present embodiment described above, by automatically storing the transfer target work that can be accurately recognized at the transfer site, it is possible to improve the recognition accuracy from the next time onward. , It is possible to accurately recognize the work to be transferred.
また、本実施形態によれば、移載対象ワークの境界部分が不明確であったとしても、ずらし動作させて、再計測した結果を自動的に記憶することで、次回以降の認識精度をより向上させることができ、もって、移載対象ワークをより正確に認識することができるようにすることができる。 Further, according to the present embodiment, even if the boundary portion of the transfer target work is unclear, by performing the shift operation and automatically storing the re-measured result, the recognition accuracy of the next time or later can be further improved. Therefore, the work to be transferred can be recognized more accurately.
さらに、本実施形態によれば、再計測した結果を自動的に記憶すると共に、予め定められている移載の仕様、又は、上位システム側からの指示との誤差が大きければ、警告を発しているため、作業者は、誤差が大きいものが記憶されたことを即座に認識することができる。 Furthermore, according to the present embodiment, the result of remeasurement is automatically stored, and a warning is issued if there is a large error between the predetermined transfer specification or the instruction from the host system side. Therefore, the operator can immediately recognize that the one with a large error is stored.
なお、本実施形態にて例示した内容は、あくまで一例であり、特許請求の範囲に記載された本発明の要旨の範囲内において種々の変形・変更が可能である。 The contents illustrated in the present embodiment are merely examples, and various modifications and changes can be made within the scope of the gist of the present invention described in the claims.
例えば、本実施形態においては、ワークWaとして箱状のものを例示したが、それに限らず、八角形状等、どのような形状にも適用可能である。 For example, in the present embodiment, the work Wa has a box shape, but the work Wa is not limited to this, and the work Wa can be applied to any shape such as an octagon.
また、本実施形態においては、同サイズのワークWaが荷積みされた例を示したが、それに限らず、異なるサイズ、或いは、異なる種類のワークが荷積みされたものにも適用可能である。 Further, in the present embodiment, an example in which works Wa of the same size are loaded has been shown, but the present invention is not limited to this, and is applicable to works in which works of different sizes or different types are loaded.
一方、本実施形態においては、カメラ4を別に設ける例を示したが、それに限らず、カメラ4をロボット2に組み込むようにしても良い。また、ロボット制御装置3と画像処理装置5とを別々に設ける例を示したが、ロボット制御装置3と画像処理装置5を一体化しても良い。
On the other hand, in the present embodiment, an example in which the camera 4 is separately provided has been described, but the present invention is not limited to this, and the camera 4 may be incorporated in the robot 2. Further, the example in which the
1 移載対象ワーク記憶システム
2 ロボット
22 ロボットハンド
3 ロボット制御装置
4 カメラ
5 画像処理装置
50 CPU
56 計測結果記憶部(記憶手段)
W 荷姿
Wa ワーク
Wa1、Wa2 推定した移載対象ワーク
Y1 ずらし量
T (移載対象ワークが位置する部分を)切り出した部分
1 Work Storage System for Transferring 2 Robot 22
56 measurement result storage unit (storage means)
W Packaging Wa Work Wa1, Wa2 Estimated transfer target work Y1 Shift amount T (the part where the transfer target work is located)
Claims (7)
前記三次元計測手段にて前記移載対象ワークを計測した際、該移載対象ワークの境界が明確であるか否かを判定する判定手段と、
前記判定手段にて、前記移載対象ワークの境界が明確であると判定された場合、前記移載対象ワークと所定の内容を比較する比較手段と、
前記比較手段にて、比較した結果が、所定範囲内であれば、前記移載対象ワークを記憶手段に記憶させる記憶指示手段と、を有してなる移載対象ワーク記憶システム。 A three-dimensional measuring means for three-dimensionally measuring a transfer target work among a plurality of loaded works,
When measuring the transfer target work by the three-dimensional measuring means, a determination means for determining whether the boundary of the transfer target work is clear,
When the determination unit determines that the boundary of the transfer target work is clear, a comparison unit that compares the transfer target work with predetermined contents,
A transfer target work storage system comprising: a storage instruction unit that stores the transfer target work in a storage unit if the result of comparison by the comparison unit is within a predetermined range.
前記推定手段にて推定された移載対象ワークを所定距離だけずらし動作させるずらし動作手段と、
前記ずらし動作手段にて所定距離だけずらし動作された移載対象ワークを、再度三次元計測する三次元再計測手段と、
前記三次元再計測手段にて再度三次元計測された移載対象ワークと所定の内容を比較する再計測比較手段と、
前記三次元再計測手段にて再度三次元計測された移載対象ワークを記憶手段に記憶させる再計測記憶指示手段と、をさらに有してなる請求項1に記載の移載対象ワーク記憶システム。 When the determination means determines that the boundary of the transfer target work is unclear, it is determined that the boundary part of the transfer target work is unclear, and transfer including the unclear part is performed. If it is estimated that the work is a target work, or if the comparison result is outside the predetermined range, it is determined that the boundary part of the transfer target work is unclear, and the unclear part is Including the estimation means to estimate that it is a transfer target work,
Shift operation means for moving the transfer target work estimated by the estimating means by a predetermined distance,
Three-dimensional re-measurement means for three-dimensionally measuring again the transfer target work that has been moved by a predetermined distance by the shift operation means,
Re-measurement comparing means for comparing the predetermined content with the transfer target work that has been three-dimensionally measured again by the three-dimensional re-measuring means,
The transfer target work storage system according to claim 1, further comprising a remeasurement storage instruction unit that stores in the storage unit the transfer target work that has been three-dimensionally measured again by the three-dimensional remeasurement unit.
前記三次元再計測手段は、前記ロボットハンドを退避させた後、前記ずらし動作手段にて所定距離だけずらし動作された移載対象ワークを、再度三次元計測してなる請求項2〜4の何れか1項に記載の移載対象ワーク記憶システム。 The shift operation means uses the robot hand of the robot to move the transfer target work estimated by the estimation means by a predetermined distance,
5. The three-dimensional re-measurement means performs three-dimensional measurement again on the transfer target work that has been moved by the predetermined distance by the shift operation means after the robot hand is retracted. The work storage system to be transferred according to item 1.
前記三次元再計測手段は、前記異なる場所に、一旦、移載された移載対象ワークを、再度三次元計測してなる請求項2〜4の何れか1項に記載の移載対象ワーク記憶システム。 The shift operation means shifts the transfer target work estimated by the estimating means by a predetermined distance by using the robot hand of the robot, and then moves the transfer target work shifted by the predetermined distance, Once transferred to a place different from the original transfer place,
The transfer target work storage according to any one of claims 2 to 4, wherein the three-dimensional remeasurement unit measures the transfer target work once transferred to the different location three-dimensionally again. system.
前記三次元再計測手段は、前記移載されている最中の移載対象ワークを、再度三次元計測してなる請求項2〜4の何れか1項に記載の移載対象ワーク記憶システム。
The shift operation means uses the robot hand of the robot to move the transfer target work estimated by the estimation means by a predetermined distance, and then transfers the transfer target work moved by the predetermined distance. Put it,
The transfer target work storage system according to any one of claims 2 to 4, wherein the three-dimensional remeasurement means performs three-dimensional measurement again on the transfer target work being transferred.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019017028A JP7261597B2 (en) | 2019-02-01 | 2019-02-01 | Work storage system to be transferred |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019017028A JP7261597B2 (en) | 2019-02-01 | 2019-02-01 | Work storage system to be transferred |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020125916A true JP2020125916A (en) | 2020-08-20 |
JP7261597B2 JP7261597B2 (en) | 2023-04-20 |
Family
ID=72083801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019017028A Active JP7261597B2 (en) | 2019-02-01 | 2019-02-01 | Work storage system to be transferred |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7261597B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023238465A1 (en) * | 2022-06-09 | 2023-12-14 | 日産自動車株式会社 | Component inspection method and device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11333770A (en) * | 1998-03-20 | 1999-12-07 | Kobe Steel Ltd | Loading position and attitude recognizing device |
JP2003172605A (en) * | 2001-12-10 | 2003-06-20 | Daifuku Co Ltd | Article position recognizing device |
US20170246744A1 (en) * | 2016-02-26 | 2017-08-31 | Kinema Systems Inc. | Locating, separating, and picking boxes with a sensor-guided robot |
-
2019
- 2019-02-01 JP JP2019017028A patent/JP7261597B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11333770A (en) * | 1998-03-20 | 1999-12-07 | Kobe Steel Ltd | Loading position and attitude recognizing device |
JP2003172605A (en) * | 2001-12-10 | 2003-06-20 | Daifuku Co Ltd | Article position recognizing device |
US20170246744A1 (en) * | 2016-02-26 | 2017-08-31 | Kinema Systems Inc. | Locating, separating, and picking boxes with a sensor-guided robot |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023238465A1 (en) * | 2022-06-09 | 2023-12-14 | 日産自動車株式会社 | Component inspection method and device |
Also Published As
Publication number | Publication date |
---|---|
JP7261597B2 (en) | 2023-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111776762B (en) | Robotic system with automated package scanning and registration mechanism and method of operation thereof | |
US11780101B2 (en) | Automated package registration systems, devices, and methods | |
US9415511B2 (en) | Apparatus and method for picking up article randomly piled using robot | |
JP7065632B2 (en) | Box-shaped object picking device and its method | |
JP5616478B1 (en) | Robot system equipped with a robot for transporting workpieces | |
JP6879238B2 (en) | Work picking device and work picking method | |
JP4655309B2 (en) | Picking order determination method, apparatus and program thereof, and picking system | |
JP2010207989A (en) | Holding system of object and method of detecting interference in the same system | |
JP7261597B2 (en) | Work storage system to be transferred | |
JP7232652B2 (en) | Work transfer system | |
JP2019181573A (en) | Picking device and method for the same | |
JPH10118975A (en) | Handling position recognizing method and recognizing device | |
JP7022036B2 (en) | Goods removal system | |
JP7398763B2 (en) | Robot system equipped with overlap processing mechanism and its operating method | |
EP4395965A1 (en) | Robotic system with overlap processing mechanism and methods for operating the same | |
CN115609569A (en) | Robot system with image-based sizing mechanism and method of operating the same | |
CN115258510A (en) | Robot system with object update mechanism and method for operating the robot system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230310 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230410 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7261597 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |