JP2020125916A - Transfer target workpiece storage system - Google Patents

Transfer target workpiece storage system Download PDF

Info

Publication number
JP2020125916A
JP2020125916A JP2019017028A JP2019017028A JP2020125916A JP 2020125916 A JP2020125916 A JP 2020125916A JP 2019017028 A JP2019017028 A JP 2019017028A JP 2019017028 A JP2019017028 A JP 2019017028A JP 2020125916 A JP2020125916 A JP 2020125916A
Authority
JP
Japan
Prior art keywords
transfer target
target work
work
dimensional
transfer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019017028A
Other languages
Japanese (ja)
Other versions
JP7261597B2 (en
Inventor
エドモンド ワイ イェン ソ
Edmond Wai Yan So
エドモンド ワイ イェン ソ
暁明 牛
Xiaoming Niu
暁明 牛
佳苗 和田
Kanae Wada
佳苗 和田
晋輔 樫原
Shinsuke Kashihara
晋輔 樫原
徐 剛
Xu Gang
剛 徐
大澤 弘幸
Hiroyuki Osawa
弘幸 大澤
伸明 桑原
Nobuaki Kuwabara
伸明 桑原
勉 石田
Tsutomu Ishida
勉 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyoto Robotics Corp
Original Assignee
Kyoto Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyoto Robotics Corp filed Critical Kyoto Robotics Corp
Priority to JP2019017028A priority Critical patent/JP7261597B2/en
Publication of JP2020125916A publication Critical patent/JP2020125916A/en
Application granted granted Critical
Publication of JP7261597B2 publication Critical patent/JP7261597B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

To provide a transfer target workpiece storage system capable of accurately recognizing a transfer target workpiece.SOLUTION: The transfer target workpiece storage system includes: three-dimensional measuring means (step S2) for three-dimensionally measuring a transfer target workpiece among a plurality of loaded workpieces; determination means (step S3) for determining whether or not a boundary of the transfer target workpiece is clear when the transfer target workpiece is measured by the three-dimensional measuring means (step S2); comparison means (step S4) for comparing the transfer target workpiece with a predetermined content, when it is determined that the boundary of the transfer target workpiece is clear by the determination means (step S3); and storage instruction means (step S6) for storing the transfer target workpiece in storage means, if the comparison result by the comparison means (step S4) is within a predetermined range.SELECTED DRAWING: Figure 2

Description

本発明は、パレット上に積まれた複数の段ボール箱等のワークを移載する移載対象ワークを記憶する移載対象ワーク記憶システムに関する。 BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a transfer target work storage system that stores a transfer target work for transferring a plurality of cardboard boxes and the like stacked on a pallet.

近年、物流業界において、倉庫内の仕分け、積込み、荷卸し等の作業の自動化が求められており、様々な自動化システムの導入が進められている(例えば、特許文献1参照)。 In recent years, in the physical distribution industry, automation of operations such as sorting, loading, and unloading in a warehouse has been required, and various automation systems have been introduced (for example, refer to Patent Document 1).

特開平06−055477号公報JP, 06-055477, A

しかしながら、パレット上に積まれた複数の段ボール箱等のワークを一つ一つ取り分ける作業、すなわち、デパレタイズ作業工程を行うにあたり、隣接するワークの境界部分が上手く検出できないことがあり、もって、移載対象ワークの位置や向きが正確に認識できない場合があるといった問題があった。 However, when performing the work of separating the work such as a plurality of cardboard boxes stacked on the pallet one by one, that is, the depalletizing work process, the boundary part of the adjacent work may not be detected well, so it is transferred. There is a problem that the position and orientation of the target work may not be recognized accurately.

そこで、そのような問題を解決すべく、移載対象ワークをモデルマッチングで推定する方法が考えられる。 Therefore, in order to solve such a problem, a method of estimating the transfer target work by model matching can be considered.

しかしながら、倉庫管理システム等の上位システム側に、ワークの形状が保持されていない場合、又は、ワークの形状の概略の範囲しか定まっていない場合、或いは、当初指示していたワークの形状と移載現場に届いたワークの形状が異なる場合等の状況があり、上記のようなモデルマッチングを実施する前提条件が整わない場合があり、移載対象ワークの位置や向きが正確に認識できず、もって、上記問題を解決することができないという問題があった。 However, if the shape of the work is not held on the upper-level system side such as the warehouse management system, or if only the approximate range of the shape of the work is determined, or the shape of the work that was originally instructed and transfer There are situations such as when the shape of the workpiece that arrived at the site is different, the prerequisites for performing the above model matching may not be met, and the position and orientation of the workpiece to be transferred cannot be accurately recognized. There was a problem that the above problems could not be solved.

そこで、本発明は、上記問題に鑑み、移載対象ワークを正確に認識することができるようにする移載対象ワーク記憶システムを提供することを目的としている。 Therefore, in view of the above problems, it is an object of the present invention to provide a transfer target work storage system capable of accurately recognizing a transfer target work.

上記本発明の目的は、以下の手段によって達成される。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。 The above-mentioned object of the present invention is achieved by the following means. In addition, although the reference numerals of the embodiments described later are given in the parentheses, the present invention is not limited thereto.

請求項1の発明に係る移載対象ワーク記憶システムは、荷積みされた複数のワーク(例えば、図1に示すワークWa)のうち、移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)を三次元計測する三次元計測手段(例えば、図2に示すステップS2)と、
前記三次元計測手段(例えば、図2に示すステップS2)にて前記移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)を計測した際、該移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)の境界が明確であるか否かを判定する判定手段(例えば、図2に示すステップS3)と、
前記判定手段(例えば、図2に示すステップS3)にて、前記移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)の境界が明確であると判定された場合、前記移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)と所定の内容を比較する比較手段(例えば、図2に示すステップS4)と、
前記比較手段(例えば、図2に示すステップS4)にて、比較した結果が、所定範囲内であれば、前記移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)を記憶手段(例えば、図1に示す計測結果記憶部56)に記憶させる記憶指示手段(例えば、図2に示すステップS6)と、を有してなることを特徴としている。
The transfer target work storage system according to the invention of claim 1 is a transfer target work (for example, a broken line shown in FIG. 4A) among a plurality of loaded works (for example, the work Wa shown in FIG. 1). Three-dimensional measuring means (for example, step S2 shown in FIG. 2) for three-dimensionally measuring the workpiece Wa at the position indicated by N,
When the transfer target work (for example, the work Wa at the position indicated by the broken line N shown in FIG. 4A) is measured by the three-dimensional measuring means (for example, step S2 shown in FIG. 2), the transfer is performed. Determination means (for example, step S3 shown in FIG. 2) for determining whether or not the boundary of the target work (for example, the work Wa at the position shown by the broken line N shown in FIG. 4A) is clear,
The determination unit (eg, step S3 shown in FIG. 2) determines that the boundary of the transfer target work (eg, the work Wa at the position indicated by the broken line N shown in FIG. 4A) is clear. In this case, the transfer target work (for example, the work Wa at the position indicated by the broken line N shown in FIG. 4A) and a comparison means (for example, step S4 shown in FIG. 2) for comparing predetermined contents,
If the result of comparison by the comparison means (for example, step S4 shown in FIG. 2) is within a predetermined range, it is at the position indicated by the broken line N shown in FIG. 4(a). A storage instruction unit (for example, step S6 shown in FIG. 2) for storing the work Wa) in a storage unit (for example, the measurement result storage unit 56 shown in FIG. 1) is provided.

また、請求項2の発明によれば、上記請求項1に記載の移載対象ワーク記憶システムにおいて、前記判定手段(例えば、図2に示すステップS3)にて、前記移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)の境界が不明確であると判定された場合、前記移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)の境界部分が不明確であると判断し、不明確な部分を含めて移載対象ワーク(例えば、図4(c)に示す切り出した部分T)であると推定する、又は、前記比較手段(例えば、図2に示すステップS4)にて、比較した結果が、所定範囲外であれば、前記移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)の境界部分が不明確であると判断し、不明確な部分を含めて移載対象ワーク(例えば、図4(b)に示す切り出した部分T)であると推定する推定手段(例えば、図2に示すステップS7、ステップS8)と、
前記推定手段(例えば、図2に示すステップS7、ステップS8)にて推定された移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を所定距離だけずらし動作させるずらし動作手段(例えば、図2に示すステップS9、図1に示すロボット2)と、
前記ずらし動作手段(例えば、図2に示すステップS9、図1に示すロボット2)にて所定距離だけずらし動作された移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を、再度三次元計測する三次元再計測手段(例えば、図2に示すステップS12、ステップS13)と、
前記三次元再計測手段(例えば、図2に示すステップS12、ステップS13)にて再度三次元計測された移載対象ワーク(例えば、図5(b)に示すずらし量Y1だけずれたワークWa)と所定の内容を比較する再計測比較手段(例えば、図2に示すステップS14)と、
前記三次元再計測手段(例えば、図2に示すステップS12、ステップS13)にて再度三次元計測された移載対象ワーク(例えば、図5(b)に示すずらし量Y1だけずれたワークWa)を記憶手段(例えば、図1に示す計測結果記憶部56)に記憶させる再計測記憶指示手段(例えば、図2に示すステップS15)と、をさらに有してなることを特徴としている。
According to the invention of claim 2, in the transfer target work storage system according to claim 1, the transfer target work (for example, step S3 shown in FIG. 2) is transferred to the transfer target work (for example, When it is determined that the boundary of the work Wa at the position shown by the broken line N shown in FIG. 4A is unclear, the transfer target work (for example, the position shown by the broken line N shown in FIG. 4A). It is judged that the boundary part of the work Wa) in (1) is unclear, and it is presumed to be a transfer target work (for example, the cut out part T shown in FIG. 4C) including the unclear part, or If the result of comparison by the comparison means (for example, step S4 shown in FIG. 2) is outside the predetermined range, the work to be transferred (for example, at the position indicated by the broken line N shown in FIG. 4A). Estimating means for judging that the boundary portion of a certain work Wa) is unclear and presuming that it is a transfer target work (for example, the cut-out portion T shown in FIG. 4B) including the unclear portion ( For example, steps S7 and S8 shown in FIG.
The transfer target work estimated by the estimation means (for example, step S7 and step S8 shown in FIG. 2) (for example, the estimated transfer target work Wa1 shown in FIG. 4B and the transfer target work Wa1 shown in FIG. 4C are shown. Shift operation means (for example, step S9 shown in FIG. 2, robot 2 shown in FIG. 1) for moving the estimated transfer target work Wa2) by a predetermined distance,
The transfer target work (for example, the estimated transfer target work illustrated in FIG. 4B) that has been displaced by a predetermined distance by the shift operation unit (for example, step S9 illustrated in FIG. 2 and the robot 2 illustrated in FIG. 1). Wa1 and a three-dimensional re-measurement means (for example, step S12 and step S13 shown in FIG. 2) for three-dimensionally measuring the estimated transfer target work Wa2 shown in FIG. 4C again.
The transfer target work (for example, the work Wa deviated by the shift amount Y1 illustrated in FIG. 5B) that is three-dimensionally measured again by the three-dimensional remeasurement unit (for example, step S12 and step S13 illustrated in FIG. 2). And re-measurement comparing means for comparing predetermined contents (for example, step S14 shown in FIG. 2),
The transfer target work (for example, the work Wa deviated by the shift amount Y1 illustrated in FIG. 5B) that is three-dimensionally measured again by the three-dimensional remeasurement unit (for example, step S12 and step S13 illustrated in FIG. 2). Is further included in the storage means (for example, the measurement result storage unit 56 shown in FIG. 1) and a remeasurement storage instruction means (for example, step S15 shown in FIG. 2).

さらに、請求項3の発明によれば、上記請求項2に記載の移載対象ワーク記憶システムにおいて、前記再計測記憶指示手段(例えば、図2に示すステップS15)は、前記再計測比較手段(例えば、図2に示すステップS14)にて、前記三次元再計測手段(例えば、図2に示すステップS12、ステップS13)にて再度三次元計測された移載対象ワーク(例えば、図5(b)に示すずらし量Y1だけずれたワークWa)と所定の内容を比較した結果が、誤差が大きいか否かを示す所定範囲外であれば、所定の警告を発すると共に、前記三次元再計測手段(例えば、図2に示すステップS12、ステップS13)にて再度三次元計測された移載対象ワーク(例えば、図5(b)に示すずらし量Y1だけずれたワークWa)を記憶手段(例えば、図1に示す計測結果記憶部56)に記憶させてなることを特徴としている。 Furthermore, according to the invention of claim 3, in the transfer target work storage system according to claim 2, the remeasurement storage instruction means (for example, step S15 shown in FIG. 2) is the remeasurement comparison means ( For example, in step S14 shown in FIG. 2, the transfer target work (for example, FIG. 5B, which is three-dimensionally measured again by the three-dimensional remeasurement unit (for example, step S12 and step S13 shown in FIG. 2). If the result of comparing the work Wa) deviated by the shift amount Y1 shown in) and the predetermined content is outside a predetermined range indicating whether or not the error is large, a predetermined warning is issued and the three-dimensional remeasurement means is provided. (For example, the work to be transferred (for example, the work Wa deviated by the shift amount Y1 shown in FIG. 5B) that is three-dimensionally measured again in step S12 and step S13 shown in FIG. It is characterized by being stored in the measurement result storage unit 56) shown in FIG.

一方、請求項4の発明によれば、上記請求項1〜3の何れか1項に記載の移載対象ワーク記憶システムにおいて、前記所定の内容は、予め定められている移載の仕様、又は、上位システム側からの指示であることを特徴としている。 On the other hand, according to the invention of claim 4, in the transfer target work storage system according to any one of claims 1 to 3, the predetermined content is a predetermined transfer specification, or The instruction is from the upper system side.

他方、請求項5の発明によれば、上記請求項2〜4の何れか1項に記載の移載対象ワーク記憶システムにおいて、前記ずらし動作手段(例えば、図2に示すステップS9、図1に示すロボット2)は、ロボット(例えば、図1に示すロボット2)のロボットハンド(例えば、図1に示すロボットハンド22)を用いて、前記推定手段(例えば、図2に示すステップS7、ステップS8)にて推定された移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を所定距離だけずらし動作させ、
前記三次元再計測手段(例えば、図2に示すステップS12、ステップS13)は、前記ロボットハンド(例えば、図1に示すロボットハンド22)を退避させた後、前記ずらし動作手段(例えば、図2に示すステップS9、図1に示すロボット2)にて所定距離だけずらし動作された移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を、再度三次元計測してなることを特徴としている。
On the other hand, according to the invention of claim 5, in the transfer target work storage system according to any one of claims 2 to 4, the shift operation means (for example, step S9 shown in FIG. The shown robot 2) uses the robot hand (for example, the robot hand 22 shown in FIG. 1) of the robot (for example, the robot 2 shown in FIG. 1) to perform the estimation means (for example, steps S7 and S8 shown in FIG. 2). 4) the transfer target work (for example, the estimated transfer target work Wa1 shown in FIG. 4B and the estimated transfer target work Wa2 shown in FIG. 4C) is moved by a predetermined distance. ,
The three-dimensional remeasurement means (for example, step S12 and step S13 shown in FIG. 2) retracts the robot hand (for example, the robot hand 22 shown in FIG. 1) and then the shift operation means (for example, FIG. 2). In step S9 shown in FIG. 1, the transfer target work displaced by a predetermined distance by the robot 2 shown in FIG. 1 (for example, the estimated transfer target work Wa1 shown in FIG. 4B and the transfer target work Wa1 shown in FIG. 4C) are shown. It is characterized in that the estimated transfer target work Wa2) is three-dimensionally measured again.

一方、請求項6の発明によれば、上記請求項2〜4の何れか1項に記載の移載対象ワーク記憶システムにおいて、前記ずらし動作手段(例えば、図2に示すステップS9、図1に示すロボット2)は、ロボット(例えば、図1に示すロボット2)のロボットハンド(例えば、図1に示すロボットハンド22)を用いて、前記推定手段(例えば、図2に示すステップS7、ステップS8)にて推定された移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を所定距離だけずらし動作させた後、該所定距離だけずらし動作された移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を、本来の移載場所とは異なる場所に、一旦、移載させ、
前記三次元再計測手段(例えば、図2に示すステップS12、ステップS13)は、前記異なる場所に、一旦、移載された移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を、再度三次元計測してなることを特徴としている。
On the other hand, according to the invention of claim 6, in the transfer target work storage system according to any one of claims 2 to 4, the shift operation means (for example, step S9 shown in FIG. The shown robot 2) uses the robot hand (for example, the robot hand 22 shown in FIG. 1) of the robot (for example, the robot 2 shown in FIG. 1) to perform the estimation means (for example, steps S7 and S8 shown in FIG. 2). 4) the transfer target work (for example, the estimated transfer target work Wa1 shown in FIG. 4B and the estimated transfer target work Wa2 shown in FIG. 4C) is moved by a predetermined distance. After that, the transfer target work moved by the predetermined distance (for example, the estimated transfer target work Wa1 shown in FIG. 4B, the estimated transfer target work Wa2 shown in FIG. 4C), Once transferred to a place different from the original transfer place,
The three-dimensional remeasurement means (for example, step S12 and step S13 shown in FIG. 2) is a transfer target work temporarily transferred to the different place (for example, estimated transfer shown in FIG. 4B). It is characterized in that the target work Wa1 and the estimated transfer target work Wa2 shown in FIG. 4C are three-dimensionally measured again.

また一方、請求項7の発明によれば、上記請求項2〜4の何れか1項に記載の移載対象ワーク記憶システムにおいて、前記ずらし動作手段(例えば、図2に示すステップS9、図1に示すロボット2)は、ロボット(例えば、図1に示すロボット2)のロボットハンド(例えば、図1に示すロボットハンド22)を用いて、前記推定手段(例えば、図2に示すステップS7、ステップS8)にて推定された移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を所定距離だけずらし動作させた後、該所定距離だけずらし動作された移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を移載させ、
前記三次元再計測手段(例えば、図2に示すステップS12、ステップS13)は、前記移載されている最中の移載対象ワーク(例えば、図4(b)に示す推定した移載対象ワークWa1、図4(c)に示す推定した移載対象ワークWa2)を、再度三次元計測してなることを特徴としている。
On the other hand, according to the invention of claim 7, in the transfer target work storage system according to any one of claims 2 to 4, the shift operation means (for example, step S9 shown in FIG. 2, FIG. 1). 2) using the robot hand (for example, the robot hand 22 shown in FIG. 1) of the robot (for example, the robot 2 shown in FIG. 1), the estimation means (for example, step S7 and step shown in FIG. 2). The transfer target work estimated in S8) (for example, the estimated transfer target work Wa1 shown in FIG. 4B and the estimated transfer target work Wa2 shown in FIG. 4C) is moved by a predetermined distance. After that, the transfer target work displaced by the predetermined distance (for example, the estimated transfer target work Wa1 shown in FIG. 4B, the estimated transfer target work Wa2 shown in FIG. 4C) is moved. Transfer,
The three-dimensional remeasurement means (for example, step S12 and step S13 shown in FIG. 2) is the transfer target work being transferred (for example, the estimated transfer target work shown in FIG. 4B). Wa1 and the estimated transfer target work Wa2 shown in FIG. 4C are three-dimensionally measured again.

次に、本発明の効果について、図面の参照符号を付して説明する。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。 Next, the effects of the present invention will be described with reference numerals in the drawings. In addition, although the reference numerals of the embodiments described later are given in the parentheses, the present invention is not limited thereto.

請求項1に係る発明によれば、移載の現場で、正確に認識できた移載対象ワーク(例えば、図4(a)に示す破線Nで示す位置にあるワークWa)を自動的に記憶することで、次回以降の認識精度を向上させることができ、もって、移載対象ワークを正確に認識することができるようにすることができる。 According to the invention of claim 1, the transfer target work (for example, the work Wa located at the position indicated by the broken line N shown in FIG. 4A) that has been correctly recognized at the transfer site is automatically stored. By doing so, it is possible to improve the recognition accuracy from the next time onward, and thus it is possible to accurately recognize the transfer target work.

また、請求項2に係る発明によれば、移載対象ワークの境界部分が不明確であったとしても、ずらし動作させて、再計測した結果を自動的に記憶することで、次回以降の認識精度をより向上させることができ、もって、移載対象ワークをより正確に認識することができるようにすることができる。 Further, according to the invention of claim 2, even if the boundary part of the transfer target work is unclear, the shift operation is performed and the result of the remeasurement is automatically stored, so that the subsequent recognition can be performed. It is possible to further improve the accuracy, and thus it is possible to recognize the transfer target work more accurately.

さらに、請求項3に係る発明によれば、再計測した結果を自動的に記憶すると共に、予め定められている移載の仕様、又は、上位システム側からの指示との誤差が大きければ、警告を発しているため、作業者は、誤差が大きいものが記憶されたことを即座に認識することができる。 Further, according to the invention of claim 3, the result of re-measurement is automatically stored, and if there is a large error from the predetermined transfer specifications or the instruction from the host system side, a warning is issued. The operator can immediately recognize that the one with a large error is stored.

また、比較する所定の内容としては、請求項4に係る発明に示すように、予め定められている移載の仕様、又は、上位システム側からの指示であることが好適である。 Further, as the predetermined content to be compared, as shown in the invention according to claim 4, it is preferable that a predetermined transfer specification or an instruction from the host system side is given.

一方、再計測するにあたっては、請求項5に係る発明に示すように、ロボットハンド(例えば、図1に示すロボットハンド22)を退避させた後、再計測するのが好適である。または、請求項6に係る発明に示すように、本来の移載場所とは異なる場所に、一旦、移載させた後、再計測するのが好適である。またさらには、請求項7に係る発明に示すように、移載中に再計測するのが好適である。 On the other hand, in re-measurement, it is preferable that the robot hand (for example, the robot hand 22 shown in FIG. 1) is retracted and then re-measured as shown in the invention according to claim 5. Alternatively, as shown in the invention according to claim 6, it is preferable that the transfer is once performed at a place different from the original transfer place, and then the measurement is performed again. Furthermore, as shown in the invention according to claim 7, it is preferable to perform remeasurement during transfer.

本発明の一実施形態に係る移載対象ワーク記憶システムの概略全体図である。1 is a schematic overall view of a transfer target work storage system according to an embodiment of the present invention. 同実施形態に係る移載対象ワーク記憶システムの制御手順を示すフローチャート図である。It is a flowchart figure which shows the control procedure of the transfer target work storage system which concerns on the same embodiment. (a)は、デパレタイズ作業工程を行う前に、1個のワークの形状を計測した例を示す斜視図、(b)は、デパレタイズ作業工程を行う前に、荷姿を撮像した例を示す斜視図、(c)は、(b)に示す荷姿から1個のワークを取り外し、新たに荷姿を撮像し、1個のワークの形状を計測した例を示す斜視図である。(A) is a perspective view showing an example in which the shape of one work is measured before performing a depalletizing work process, and (b) is a perspective view showing an example of a package appearance before performing a depalletizing work process. FIG. 1C is a perspective view showing an example in which one work is removed from the packing shown in FIG. 1B, a new packing is imaged, and the shape of one work is measured. (a)は、荷姿の上面側が撮像された例を示す斜視図、(b)は、(a)から移載対象ワークが位置する部分を切り出し、隣接するワーク同士の境界部分が明確な場合を示す斜視図、(c)は、(a)から移載対象ワークが位置する部分を切り出し、隣接するワーク同士の境界部分が不明確な場合を示す斜視図である。(A) is a perspective view showing an example in which an upper surface side of a package is imaged, and (b) shows a case where a portion where a transfer target work is located is cut out from (a) and a boundary portion between adjacent works is clear. And (c) is a perspective view showing a case where a portion where a transfer target work is located is cut out from (a) and a boundary portion between adjacent works is unclear. (a)は、荷姿の上面側が撮像された例を示す斜視図、(b)は、(a)の荷姿からずらし量分ワークがずれた状態を示す斜視図である。(A) is a perspective view showing an example in which the upper surface side of the package is imaged, and (b) is a perspective view showing a state in which the workpiece is displaced from the package as shown in (a) by a shift amount.

以下、本発明に係る移載対象ワーク記憶システムの一実施形態を、図面を参照して具体的に説明する。なお、以下の説明において、上下左右の方向を示す場合は、図示正面から見た場合の上下左右をいうものとする。 An embodiment of a transfer target work storage system according to the present invention will be specifically described below with reference to the drawings. In the following description, the up, down, left, and right directions indicate the up, down, left, and right as viewed from the front of the figure.

図1に示すように、移載対象ワーク記憶システム1は、ロボット2と、このロボット2を制御するロボット制御装置3と、カメラ4と、画像処理装置5と、で構成されている。なお、符号Wは、搬送用ベルトコンベアB上に載置されたパレットP上に、隣接して荷積された複数の段ボール箱形状等からなるワークWaの荷姿を示すものである。 As shown in FIG. 1, the transfer target work storage system 1 includes a robot 2, a robot control device 3 that controls the robot 2, a camera 4, and an image processing device 5. It should be noted that the symbol W indicates the packing form of the works Wa formed of a plurality of corrugated cardboard boxes and the like which are stacked adjacent to each other on the pallet P placed on the conveyor belt conveyor B.

ロボット2は、床や壁等の設置面に固定される土台20と、土台20に対して基端が回転可能に連結されているロボットアーム部21と、ロボットアーム部21の先端に取り付けられ、ワークWaを吸着・挟み込み・支持等によって把持することができるロボットハンド22とを備えている。 The robot 2 includes a base 20 fixed to an installation surface such as a floor or a wall, a robot arm 21 having a base end rotatably connected to the base 20, and a robot arm 21 attached to the tip of the robot arm 21. The robot hand 22 is capable of gripping Wa by suction, sandwiching, supporting, or the like.

一方、ロボット制御装置3は、画像処理装置5より出力されるデータ、又は、ロボット2より出力されるデータに基づき、ロボット2の稼動を制御するものである。 On the other hand, the robot controller 3 controls the operation of the robot 2 based on the data output from the image processing device 5 or the data output from the robot 2.

カメラ4は、パレットP上に、隣接して荷積された複数のワークWaの三次元座標を示す三次元点群情報を取得することができる三次元ビジョンセンサからなるものである。 The camera 4 is composed of a three-dimensional vision sensor capable of acquiring three-dimensional point cloud information indicating the three-dimensional coordinates of a plurality of works Wa loaded adjacently on the pallet P.

画像処理装置5は、CPU50と、マウスやキーボード、タッチパネル等にて外部から所定データを画像処理装置5に入力することができる入力部51と、画像処理装置5外に所定データを出力することができる出力部52と、所定のプログラム等を格納した書込み可能なフラッシュROM等からなるROM53と、作業領域やバッファメモリ等として機能するRAM54と、LCD(Liquid Crystal Display)等からなる表示部55と、後述するワークWa等の計測結果を記憶する計測結果記憶部56と、で構成されている。 The image processing apparatus 5 can output the predetermined data to the outside of the image processing apparatus 5 and the CPU 50, the input unit 51 that can input the predetermined data to the image processing apparatus 5 from the outside with a mouse, a keyboard, a touch panel, or the like. An output unit 52, a ROM 53 including a writable flash ROM that stores a predetermined program and the like, a RAM 54 that functions as a work area and a buffer memory, and a display unit 55 including an LCD (Liquid Crystal Display), The measurement result storage unit 56 stores a measurement result of a work Wa or the like, which will be described later.

かくして、上記のような移載対象ワーク記憶システムを使用するにあたっては、作業者が、図1に示す画像処理装置5の入力部51を用いて、図1に示すROM53内に格納されているプログラムの起動を指示する。これにより、画像処理装置5のCPU50(図1参照)は、図2に示すような処理を行う。以下、図2を参照して説明する。なお、図2に示すプログラムの処理内容はあくまで一例であり、これに限定されるものではない。 Thus, when using the transfer target work storage system as described above, the operator uses the input unit 51 of the image processing apparatus 5 shown in FIG. 1 to store the program stored in the ROM 53 shown in FIG. Command to start. As a result, the CPU 50 (see FIG. 1) of the image processing device 5 performs the processing shown in FIG. Hereinafter, description will be given with reference to FIG. The processing contents of the program shown in FIG. 2 are merely examples, and the present invention is not limited to this.

まず、CPU50(図1参照)は、カメラ4にて取得されたワークWaの三次元座標を示す三次元点群情報を取得し、その三次元点群情報からワークWaの形状を計測し、その計測結果を計測結果記憶部56に記憶する(ステップS1)。より詳しく説明すると、パレットP上に積まれたワークWaを一つ一つ取り分ける作業、すなわち、デパレタイズ作業工程を行う前に、図3(a)に示すワークWaの形状を計測する。すなわち、デパレタイズ作業工程を行う荷姿W(図1参照)の中から、1個のワークWaを取り出し、カメラ4にて、その取り出した1個のワークWaの三次元座標を示す三次元点群情報を取得する。そして、CPU50は、その三次元点群情報を取得し、その三次元点群情報からワークWaの形状を計測する。すなわち、三次元点群情報は、X方向,Y方向,Z方向の三次元座標を備えていることから、これを用いれば、図3(a)に示すように、ワークWaの高さH、幅W、長さLが分かることとなり、もって、ワークWaの形状を計測することができることとなる。そして、ワークWaの計測結果は、CPU50にて、計測結果記憶部56に記憶されることとなる。なお、この作業は、全てのワークWaにて行われることとなる。これにより、荷姿Wの中から、所定のワークWaを移載する際、移載対象のワークWaの位置が認識できることとなる。 First, the CPU 50 (see FIG. 1) acquires three-dimensional point cloud information indicating the three-dimensional coordinates of the work Wa acquired by the camera 4, measures the shape of the work Wa from the three-dimensional point cloud information, and The measurement result is stored in the measurement result storage unit 56 (step S1). More specifically, before the work of separating the works Wa stacked on the pallet P one by one, that is, the depalletizing work process, the shape of the works Wa shown in FIG. 3A is measured. That is, one work Wa is taken out from the package W (see FIG. 1) in which the depalletizing work process is performed, and the camera 4 causes the three-dimensional point group indicating the three-dimensional coordinates of the one work Wa taken out. Get information. Then, the CPU 50 acquires the three-dimensional point cloud information and measures the shape of the work Wa from the three-dimensional point cloud information. That is, since the three-dimensional point cloud information has three-dimensional coordinates in the X direction, the Y direction, and the Z direction, the height H of the work Wa, the height H of the work Wa, and the like as shown in FIG. Since the width W and the length L are known, the shape of the work Wa can be measured. Then, the measurement result of the work Wa is stored in the measurement result storage unit 56 by the CPU 50. It should be noted that this work is performed on all the works Wa. As a result, when a predetermined work Wa is transferred from the package W, the position of the transfer target work Wa can be recognized.

ところで、1個のワークWaの形状を計測するにあたっては、上記のような方法に限らず、次のような方法でも良い。すなわち、デパレタイズ作業工程を行う荷姿W(図3(b)参照)の三次元座標を示す三次元点群情報をカメラ4にて取得する。その後、図3(c)に示すように、荷姿Wの中から、1個のワークWaを取り出し、取り出した1個のワークWaが無い状態の荷姿W1の三次元座標を示す三次元点群情報をカメラ4にて取得する。そして、CPU50は、カメラ4にて取得された荷姿W、W1の三次元座標を示す三次元点群情報を取得し、その差分を取る。これにより、三次元点群情報が、X方向,Y方向,Z方向の三次元座標を備えていることから、図3(c)に示すように、取り出されたワークWaの高さH、幅W、長さLが分かることとなり、もって、ワークWaの形状を計測することができることとなる。しかして、この作業を荷姿Wから全てのワークWaが取り出されるまで続けていけば、全てのワークWaの高さH、幅W、長さLが分かることとなり、もって、このようにしても、ワークWaの形状を計測することができることとなる。なお、ワークWaの計測結果は、CPU50にて、計測結果記憶部56に記憶されることとなる。 By the way, when measuring the shape of one work Wa, the following method is not limited to the above method. That is, the camera 4 acquires the three-dimensional point cloud information indicating the three-dimensional coordinates of the package W (see FIG. 3B) on which the depalletizing work process is performed. After that, as shown in FIG. 3C, one workpiece Wa is taken out from the package W, and a three-dimensional point indicating the three-dimensional coordinates of the package W1 in the state where the one workpiece Wa is not taken out. The group information is acquired by the camera 4. Then, the CPU 50 acquires the three-dimensional point cloud information indicating the three-dimensional coordinates of the package shapes W and W1 acquired by the camera 4, and takes the difference. Accordingly, since the three-dimensional point cloud information has three-dimensional coordinates in the X direction, the Y direction, and the Z direction, as shown in FIG. 3C, the height H and the width of the extracted work Wa. Since W and the length L are known, the shape of the work Wa can be measured. Then, if this work is continued until all the works Wa are taken out from the package W, the height H, width W, and length L of all the works Wa can be known. , The shape of the work Wa can be measured. The measurement result of the work Wa is stored in the measurement result storage unit 56 by the CPU 50.

次いで、上記ステップS1の終了後、予め定められている移載の仕様(移載するワークの形状の情報を含む)、又は、倉庫管理システム(図示せず)からの指示(移載するワークの形状の情報を含む)に基づき、CPU50は、図1に示す荷姿Wの中から移載対象のワークWaを認識し、計測する(ステップS2)。具体的に説明すると、カメラ4にて、図4(a)に示すような荷姿Wの上面側が撮像され、その上面側の荷姿Wの三次元座標を示す三次元点群情報が取得されると、CPU50は、その三次元点群情報を取得する。そして、CPU50は、その取得した三次元点群情報と、計測結果記憶部56に記憶されている上記ステップS1にて計測したワークWaの計測結果を照合した上で、予め定められている移載の仕様、又は、倉庫管理システム(図示せず)からの指示対象である移載対象のワークWaが、図4(a)に示す破線Nで示す位置にあると認識する。続いて、CPU50は、その認識した図4(a)に示す破線Nの位置にある部分を、図4(b),(c)に示すように切り出し、その切り出した部分Tの三次元点群情報から、移載対象のワークWaを計測する。 Then, after the step S1 is completed, a predetermined transfer specification (including information on the shape of the transferred work) or an instruction from the warehouse management system (not shown) (of the transferred work) Based on the shape information), the CPU 50 recognizes and measures the workpiece Wa to be transferred from the package W shown in FIG. 1 (step S2). More specifically, the camera 4 captures an image of the upper surface side of the package W as shown in FIG. 4A, and three-dimensional point cloud information indicating the three-dimensional coordinates of the package W on the upper surface side is acquired. Then, the CPU 50 acquires the three-dimensional point cloud information. Then, the CPU 50 collates the acquired three-dimensional point cloud information with the measurement result of the workpiece Wa measured in step S1 stored in the measurement result storage unit 56, and then transfers it in advance. 4 or the transfer target work Wa which is an instruction target from a warehouse management system (not shown) is recognized to be at a position indicated by a broken line N shown in FIG. Subsequently, the CPU 50 cuts out the recognized portion at the position of the broken line N shown in FIG. 4A as shown in FIGS. 4B and 4C, and the three-dimensional point group of the cut-out portion T. The work Wa to be transferred is measured from the information.

次いで、CPU50は、切り出した部分Tの三次元点群情報から、隣接点との奥行き値の差分が大きい点群を抽出し、デプスエッジ等の特徴が明確に出ているか否かを確認する。すなわち、隣接するワークWa同士の境界部分には、僅かな隙間や凹みがあることが多いため、その僅かな隙間や凹み部分に、デプスエッジ等の特徴が明確に出やすい。それゆえ、CPU50は、デプスエッジ等の特徴が明確に出ているか否かを確認し、隣接するワークWa同士の境界部分が明確か否かを確認する(ステップS3)。 Next, the CPU 50 extracts a point cloud having a large difference in depth value from an adjacent point from the three-dimensional point cloud information of the cut out portion T, and confirms whether a feature such as a depth edge is clear. That is, since there are often slight gaps or dents in the boundary portion between the adjacent works Wa, the features such as depth edges are likely to appear clearly in the slight gaps or dents. Therefore, the CPU 50 confirms whether the features such as the depth edge are clear, and confirms whether the boundary portion between the adjacent works Wa is clear (step S3).

図4(b)に示すように、隣接するワークWa同士の境界部分K1が明確であれば(ステップS3:YES)、CPU50は、切り出した部分Tの三次元点群情報と、予め定められている移載の仕様、又は、倉庫管理システム(図示せず)から指示された移載するワークの形状とを比較する(ステップS4)。 As shown in FIG. 4B, if the boundary portion K1 between the adjacent works Wa is clear (step S3: YES), the CPU 50 determines the three-dimensional point cloud information of the cut-out portion T and the predetermined information. The specifications of the transfer or the shape of the transferred work instructed by the warehouse management system (not shown) are compared (step S4).

次いで、CPU50は、ROM53内に予め格納されている許容誤差内か否かの情報を読み出し、上記ステップS4にて比較した比較結果が、その予め格納されている許容誤差内か否かを確認する(ステップS5)。許容誤差内であれば(ステップS5:YES)、図4(b)に示す切り出し部分TのワークWaをそれぞれ移載対象のワークWaとして計測結果記憶部56に記憶する(ステップS6)。 Next, the CPU 50 reads the information stored in the ROM 53 as to whether it is within the allowable error or not, and confirms whether the comparison result compared in step S4 is within the previously stored allowable error or not. (Step S5). If it is within the allowable error (step S5: YES), the workpiece Wa of the cutout portion T shown in FIG. 4B is stored in the measurement result storage unit 56 as the workpiece Wa to be transferred (step S6).

一方、許容誤差外であれば(ステップS5:NO)、隣接するワークWa同士の境界部分が不明確であるとして、CPU50は、図4(b)に示す切り出し部分Tをすべて移載対象ワークWa1であると推定する(ステップS7)。 On the other hand, if it is out of the allowable error (step S5: NO), the CPU 50 determines that the boundary portion between the adjacent works Wa is unclear, and the CPU 50 transfers all the cutout parts T shown in FIG. 4B to the transfer target work Wa1. Is estimated (step S7).

他方、図4(c)に示すように、隣接するワークWa同士の境界部分K2が不明確(図示では、不明確であることを破線で示している)であれば(ステップS3:NO)、CPU50は、不明確な部分を含めて移載対象ワークであると推定する(ステップS8)。すなわち、本実施形態においては、図4(c)に示す切り出し部分Tをすべて移載対象ワークWa2であると推定する。 On the other hand, as shown in FIG. 4C, if the boundary portion K2 between the adjacent works Wa is unclear (in the figure, the unclearness is indicated by a broken line) (step S3: NO), The CPU 50 estimates that it is a transfer target work including an unclear part (step S8). That is, in the present embodiment, it is estimated that all the cutout portions T shown in FIG. 4C are the transfer target work Wa2.

次いで、CPU50は、上記ステップS7又はステップS8の処理後、推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2をわずかに移動、すなわち、ずらして、移載対象を特定するため、ずらし動作をさせるべく、CPU50は、ずらし動作をするよう出力部52(図1参照)を介してロボット制御装置3に出力する(ステップS9)。これを受けて、ロボット制御装置3は、その情報に基づき、ロボット2(図1参照)を制御し、もって、ロボット2(図1参照)のロボットハンド22(図1参照)にて、推定した移載対象ワークWa1、又は、移載対象ワークWa2が、図5(a)に示す状態から、図5(b)に示す状態(推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2の一部だけが、ずらし量Y1だけずれている)にずらし動作されることとなる。 Next, the CPU 50 slightly moves, that is, shifts the estimated transfer target work Wa1 or the estimated transfer target work Wa2 after the processing in step S7 or step S8 to specify the transfer target, In order to perform the shift operation, the CPU 50 outputs the shift operation to the robot controller 3 via the output unit 52 (see FIG. 1) (step S9). In response to this, the robot control device 3 controls the robot 2 (see FIG. 1) based on the information, and thus estimates it by the robot hand 22 (see FIG. 1) of the robot 2 (see FIG. 1). The transfer target work Wa1 or the transfer target work Wa2 changes from the state shown in FIG. 5A to the state shown in FIG. 5B (estimated transfer target work Wa1 or estimated transfer target work). Only a part of Wa2 is displaced by the displacement amount Y1).

次いで、CPU50は、ずらし動作の結果を確認する(ステップS10)。具体的に説明すると、図5(b)に示す、ずらし動作が行われた後の荷姿Wの三次元座標を示す三次元点群情報をカメラ4にて取得する。そして、CPU50は、カメラ4にて取得されたずらし動作後の荷姿Wの三次元座標を示す三次元点群情報を取得し、ずらし動作前の荷姿W(図5(a)参照)の三次元座標を示す三次元点群情報との差分を取る。これにより、CPU50は、図5(b)に示すように、推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2の一部だけが、ずらし量Y1だけずれていれば、推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2が一体として動作しなかったと判定する。一方、推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2の全体がずらし量Y1だけずれていれば、推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2が一体として動作したと判定する。 Next, the CPU 50 confirms the result of the shift operation (step S10). More specifically, the camera 4 acquires the three-dimensional point group information indicating the three-dimensional coordinates of the package W after the shifting operation shown in FIG. 5B. Then, the CPU 50 obtains the three-dimensional point group information indicating the three-dimensional coordinates of the package W after the shifting operation acquired by the camera 4, and determines the package W before the shifting operation (see FIG. 5A). The difference from the 3D point group information indicating the 3D coordinates is calculated. Thereby, as shown in FIG. 5B, the CPU 50 estimates if only a part of the estimated transfer target work Wa1 or the estimated transfer target work Wa2 is displaced by the shift amount Y1. It is determined that the transfer target work Wa1 or the estimated transfer target work Wa2 did not work together. On the other hand, if the estimated transfer target work Wa1 or the estimated transfer target work Wa2 is entirely displaced by the shift amount Y1, the estimated transfer target work Wa1 or the estimated transfer target work Wa2 is integrated. Is determined to have operated.

かくして、このようにして、推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2が一体として動作したか否かを判定し、一体として動作していなければ(ステップS11:NO)、ずらし動作がされた移載対象ワークWa(図5(b)に示すずらし量Y1だけずれたワークWa)を再計測する(ステップS12)。 Thus, in this way, it is determined whether or not the estimated transfer target work Wa1 or the estimated transfer target work Wa2 has operated as a unit (step S11: NO), The transfer target work Wa that has been moved (the work Wa deviated by the shift amount Y1 shown in FIG. 5B) is remeasured (step S12).

一方、一体として動作していれば(ステップS11:YES)、推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2を移載対象ワークとして再計測する(ステップS13)。 On the other hand, if they are operating together (step S11: YES), the estimated transfer target work Wa1 or the estimated transfer target work Wa2 is remeasured as the transfer target work (step S13).

ところで、上記のような再計測にあたっては、以下のような方法で再計測を行う。すなわち、ロボットハンド22を退避させた後、再計測する移載対象ワークの三次元座標を示す三次元点群情報取得をカメラ4にて取得する。そして、CPU50は、その三次元点群情報を取得し、その取得した三次元点群情報に基づいて、移載対象ワークの形状を計測する。 By the way, in the above re-measurement, re-measurement is performed by the following method. That is, after the robot hand 22 is retracted, the camera 4 acquires the 3D point group information acquisition indicating the 3D coordinates of the transfer target work to be remeasured. Then, the CPU 50 acquires the three-dimensional point cloud information, and measures the shape of the transfer target work based on the acquired three-dimensional point cloud information.

一方、推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2が一体として動作したか否かを判定した後、CPU50は、移載の実行を指示する情報を、出力部52(図1参照)を介してロボット制御装置3に出力する。これを受けて、ロボット制御装置3は、その情報に基づき、ロボット2を制御し、もって、ロボット2のロボットハンド22にて、移載対象ワークWa(Wa1,Wa2)の移載を実行することとなる。この際、移載対象ワークWa(Wa1,Wa2)が移載中に、一旦別の場所に移載されるよう、CPU50は、出力部52を介してロボット制御装置3に、その指示内容を出力する。これを受けて、ロボット制御装置3は、その情報に基づき、ロボット2を制御し、もって、ロボット2のロボットハンド22にて、移載対象ワークWa(Wa1,Wa2)が一旦別の場所に移載されることとなる。その後、一旦別の場所に移載された移載対象ワークWa(Wa1,Wa2)の三次元座標を示す三次元点群情報取得をカメラ4にて取得する。そして、CPU50は、その三次元点群情報を取得し、その取得した三次元点群情報に基づいて、移載対象ワークWa(Wa1,Wa2)の形状を計測する。 On the other hand, after determining whether the estimated transfer target work Wa1 or the estimated transfer target work Wa2 integrally operates, the CPU 50 outputs information instructing execution of transfer to the output unit 52 (FIG. 1)) to the robot controller 3. In response to this, the robot control device 3 controls the robot 2 on the basis of the information, so that the robot hand 22 of the robot 2 executes the transfer of the transfer target work Wa (Wa1, Wa2). Becomes At this time, the CPU 50 outputs the instruction content to the robot control device 3 via the output unit 52 so that the transfer target works Wa (Wa1, Wa2) are transferred to another place once during transfer. To do. In response to this, the robot control device 3 controls the robot 2 based on the information, and thus the transfer target work Wa (Wa1, Wa2) is temporarily moved to another place by the robot hand 22 of the robot 2. Will be posted. After that, the camera 4 acquires the three-dimensional point cloud information acquisition indicating the three-dimensional coordinates of the transfer target work Wa (Wa1, Wa2) that has been transferred to another place. Then, the CPU 50 acquires the three-dimensional point cloud information and measures the shape of the transfer target work Wa (Wa1, Wa2) based on the acquired three-dimensional point cloud information.

また一方、推定した移載対象ワークWa1、又は、推定した移載対象ワークWa2が一体として動作したか否かを判定した後、CPU50は、移載の実行を指示する情報を、出力部52(図1参照)を介してロボット制御装置3に出力する。これを受けて、ロボット制御装置3は、その情報に基づき、ロボット2を制御し、もって、ロボット2のロボットハンド22にて、移載対象ワークWa(Wa1,Wa2)の移載を実行することとなる。この際、移載対象ワークWa(Wa1,Wa2)が移載中に、移載対象ワークWa(Wa1,Wa2)が空中に位置した際、カメラ4にて三次元座標を示す三次元点群情報取得を取得する。そして、CPU50は、その三次元点群情報を取得し、その取得した三次元点群情報に基づいて、移載対象ワークWa(Wa1,Wa2)の形状を計測する。 On the other hand, after determining whether the estimated transfer target work Wa1 or the estimated transfer target work Wa2 integrally operates, the CPU 50 outputs information instructing execution of transfer to the output unit 52 ( (See FIG. 1) to the robot controller 3. In response to this, the robot control device 3 controls the robot 2 on the basis of the information, so that the robot hand 22 of the robot 2 executes the transfer of the transfer target work Wa (Wa1, Wa2). Becomes At this time, when the transfer target work Wa (Wa1, Wa2) is being transferred and the transfer target work Wa (Wa1, Wa2) is located in the air, three-dimensional point group information indicating three-dimensional coordinates by the camera 4 is displayed. To get to get. Then, the CPU 50 acquires the three-dimensional point cloud information and measures the shape of the transfer target work Wa (Wa1, Wa2) based on the acquired three-dimensional point cloud information.

かくして、上記のような方法を用いて、再計測を行った後、CPU50は、その再計測を行った三次元点群情報と、予め定められている移載の仕様、又は、倉庫管理システム(図示せず)から指示された移載するワークの形状とを比較する(ステップS14)。 Thus, after re-measurement is performed by using the above method, the CPU 50 causes the re-measured three-dimensional point cloud information and predetermined transfer specifications or the warehouse management system ( The shape of the transferred work instructed from (not shown) is compared (step S14).

次いで、CPU50は、ROM53内に予め格納されている誤差が大きいか否かを示す所定範囲の情報を読み出し、上記ステップS14にて比較した比較結果が、その予め格納されている所定範囲内か否かを確認する。所定範囲外であれば、差が大きすぎることとなるため、CPU50は、表示部55に警告内容を表示すると共に、その再計測した移載対象ワークWa(Wa1,Wa2)を移載対象ワークとして計測結果記憶部56に記憶する。また、所定範囲内であれば、差が大きすぎないため、CPU50は、表示部55に警告内容を表示せず、再計測した移載対象ワークWa(Wa1,Wa2)を移載対象ワークとして計測結果記憶部56に記憶する(ステップS15)。 Next, the CPU 50 reads out the information of a predetermined range stored in the ROM 53, which indicates whether or not the error is large, and the comparison result compared in step S14 is within the predetermined range stored in advance. Check if If the difference is out of the predetermined range, the difference is too large. Therefore, the CPU 50 displays the warning content on the display unit 55 and sets the re-measured transfer target work Wa (Wa1, Wa2) as the transfer target work. It is stored in the measurement result storage unit 56. If the difference is within the predetermined range, the difference is not too large, and therefore the CPU 50 does not display the warning content on the display unit 55 and measures the re-measured transfer target work Wa (Wa1, Wa2) as the transfer target work. The result is stored in the result storage unit 56 (step S15).

次いで、CPU50は、ステップS6又はステップS15にて計測結果記憶部56に記憶された移載対象ワークの情報に基づいて、移載の実行を指示する情報を、出力部52(図1参照)を介してロボット制御装置3に出力する(ステップS16)。これを受けて、ロボット制御装置3は、その情報に基づき、ロボット2を制御し、もって、ロボット2のロボットハンド22にて移載対象ワークWa(Wa1,Wa2)の移載を実行することとなる。なお、再計測にあたって、一時的に移載指示をした場合は、この指示が最終の移載指示となる。 Next, the CPU 50 causes the output unit 52 (see FIG. 1) to output the information for instructing the transfer based on the information of the transfer target work stored in the measurement result storage unit 56 in step S6 or step S15. It is output to the robot control device 3 via (step S16). In response to this, the robot control device 3 controls the robot 2 on the basis of the information, so that the robot hand 22 of the robot 2 executes the transfer of the transfer target work Wa (Wa1, Wa2). Become. If a transfer instruction is issued temporarily during the remeasurement, this instruction becomes the final transfer instruction.

しかして、以上説明した本実施形態によれば、移載の現場で、正確に認識できた移載対象ワークを自動的に記憶することで、次回以降の認識精度を向上させることができ、もって、移載対象ワークを正確に認識することができるようにすることができる。 Therefore, according to the present embodiment described above, by automatically storing the transfer target work that can be accurately recognized at the transfer site, it is possible to improve the recognition accuracy from the next time onward. , It is possible to accurately recognize the work to be transferred.

また、本実施形態によれば、移載対象ワークの境界部分が不明確であったとしても、ずらし動作させて、再計測した結果を自動的に記憶することで、次回以降の認識精度をより向上させることができ、もって、移載対象ワークをより正確に認識することができるようにすることができる。 Further, according to the present embodiment, even if the boundary portion of the transfer target work is unclear, by performing the shift operation and automatically storing the re-measured result, the recognition accuracy of the next time or later can be further improved. Therefore, the work to be transferred can be recognized more accurately.

さらに、本実施形態によれば、再計測した結果を自動的に記憶すると共に、予め定められている移載の仕様、又は、上位システム側からの指示との誤差が大きければ、警告を発しているため、作業者は、誤差が大きいものが記憶されたことを即座に認識することができる。 Furthermore, according to the present embodiment, the result of remeasurement is automatically stored, and a warning is issued if there is a large error between the predetermined transfer specification or the instruction from the host system side. Therefore, the operator can immediately recognize that the one with a large error is stored.

なお、本実施形態にて例示した内容は、あくまで一例であり、特許請求の範囲に記載された本発明の要旨の範囲内において種々の変形・変更が可能である。 The contents illustrated in the present embodiment are merely examples, and various modifications and changes can be made within the scope of the gist of the present invention described in the claims.

例えば、本実施形態においては、ワークWaとして箱状のものを例示したが、それに限らず、八角形状等、どのような形状にも適用可能である。 For example, in the present embodiment, the work Wa has a box shape, but the work Wa is not limited to this, and the work Wa can be applied to any shape such as an octagon.

また、本実施形態においては、同サイズのワークWaが荷積みされた例を示したが、それに限らず、異なるサイズ、或いは、異なる種類のワークが荷積みされたものにも適用可能である。 Further, in the present embodiment, an example in which works Wa of the same size are loaded has been shown, but the present invention is not limited to this, and is applicable to works in which works of different sizes or different types are loaded.

一方、本実施形態においては、カメラ4を別に設ける例を示したが、それに限らず、カメラ4をロボット2に組み込むようにしても良い。また、ロボット制御装置3と画像処理装置5とを別々に設ける例を示したが、ロボット制御装置3と画像処理装置5を一体化しても良い。 On the other hand, in the present embodiment, an example in which the camera 4 is separately provided has been described, but the present invention is not limited to this, and the camera 4 may be incorporated in the robot 2. Further, the example in which the robot control device 3 and the image processing device 5 are separately provided has been described, but the robot control device 3 and the image processing device 5 may be integrated.

1 移載対象ワーク記憶システム
2 ロボット
22 ロボットハンド
3 ロボット制御装置
4 カメラ
5 画像処理装置
50 CPU
56 計測結果記憶部(記憶手段)
W 荷姿
Wa ワーク
Wa1、Wa2 推定した移載対象ワーク
Y1 ずらし量
T (移載対象ワークが位置する部分を)切り出した部分









1 Work Storage System for Transferring 2 Robot 22 Robot Hand 3 Robot Control Device 4 Camera 5 Image Processing Device 50 CPU
56 measurement result storage unit (storage means)
W Packaging Wa Work Wa1, Wa2 Estimated transfer target work Y1 Shift amount T (the part where the transfer target work is located)









Claims (7)

荷積みされた複数のワークのうち、移載対象ワークを三次元計測する三次元計測手段と、
前記三次元計測手段にて前記移載対象ワークを計測した際、該移載対象ワークの境界が明確であるか否かを判定する判定手段と、
前記判定手段にて、前記移載対象ワークの境界が明確であると判定された場合、前記移載対象ワークと所定の内容を比較する比較手段と、
前記比較手段にて、比較した結果が、所定範囲内であれば、前記移載対象ワークを記憶手段に記憶させる記憶指示手段と、を有してなる移載対象ワーク記憶システム。
A three-dimensional measuring means for three-dimensionally measuring a transfer target work among a plurality of loaded works,
When measuring the transfer target work by the three-dimensional measuring means, a determination means for determining whether the boundary of the transfer target work is clear,
When the determination unit determines that the boundary of the transfer target work is clear, a comparison unit that compares the transfer target work with predetermined contents,
A transfer target work storage system comprising: a storage instruction unit that stores the transfer target work in a storage unit if the result of comparison by the comparison unit is within a predetermined range.
前記判定手段にて、前記移載対象ワークの境界が不明確であると判定された場合、前記移載対象ワークの境界部分が不明確であると判断し、不明確な部分を含めて移載対象ワークであると推定する、又は、前記比較手段にて、比較した結果が、所定範囲外であれば、前記移載対象ワークの境界部分が不明確であると判断し、不明確な部分を含めて移載対象ワークであると推定する推定手段と、
前記推定手段にて推定された移載対象ワークを所定距離だけずらし動作させるずらし動作手段と、
前記ずらし動作手段にて所定距離だけずらし動作された移載対象ワークを、再度三次元計測する三次元再計測手段と、
前記三次元再計測手段にて再度三次元計測された移載対象ワークと所定の内容を比較する再計測比較手段と、
前記三次元再計測手段にて再度三次元計測された移載対象ワークを記憶手段に記憶させる再計測記憶指示手段と、をさらに有してなる請求項1に記載の移載対象ワーク記憶システム。
When the determination means determines that the boundary of the transfer target work is unclear, it is determined that the boundary part of the transfer target work is unclear, and transfer including the unclear part is performed. If it is estimated that the work is a target work, or if the comparison result is outside the predetermined range, it is determined that the boundary part of the transfer target work is unclear, and the unclear part is Including the estimation means to estimate that it is a transfer target work,
Shift operation means for moving the transfer target work estimated by the estimating means by a predetermined distance,
Three-dimensional re-measurement means for three-dimensionally measuring again the transfer target work that has been moved by a predetermined distance by the shift operation means,
Re-measurement comparing means for comparing the predetermined content with the transfer target work that has been three-dimensionally measured again by the three-dimensional re-measuring means,
The transfer target work storage system according to claim 1, further comprising a remeasurement storage instruction unit that stores in the storage unit the transfer target work that has been three-dimensionally measured again by the three-dimensional remeasurement unit.
前記再計測記憶指示手段は、前記再計測比較手段にて、前記三次元再計測手段にて再度三次元計測された移載対象ワークと所定の内容を比較した結果が、誤差が大きいか否かを示す所定範囲外であれば、所定の警告を発すると共に、前記三次元再計測手段にて再度三次元計測された移載対象ワークを記憶手段に記憶させてなる請求項2に記載の移載対象ワーク記憶システム。 The remeasurement storage instruction means determines whether or not the result of comparing the predetermined content with the transfer target work re-three-dimensionally measured by the three-dimensional re-measurement means by the re-measurement comparison means. The transfer target work according to claim 2, wherein a predetermined warning is issued and a transfer target work which has been three-dimensionally measured again by the three-dimensional re-measurement means is stored in the storage means when the transfer target work is outside the predetermined range. Target work storage system. 前記所定の内容は、予め定められている移載の仕様、又は、上位システム側からの指示である請求項1〜3の何れか1項に記載の移載対象ワーク記憶システム。 The transfer target work storage system according to any one of claims 1 to 3, wherein the predetermined content is a predetermined transfer specification or an instruction from a host system side. 前記ずらし動作手段は、ロボットのロボットハンドを用いて、前記推定手段にて推定された移載対象ワークを所定距離だけずらし動作させ、
前記三次元再計測手段は、前記ロボットハンドを退避させた後、前記ずらし動作手段にて所定距離だけずらし動作された移載対象ワークを、再度三次元計測してなる請求項2〜4の何れか1項に記載の移載対象ワーク記憶システム。
The shift operation means uses the robot hand of the robot to move the transfer target work estimated by the estimation means by a predetermined distance,
5. The three-dimensional re-measurement means performs three-dimensional measurement again on the transfer target work that has been moved by the predetermined distance by the shift operation means after the robot hand is retracted. The work storage system to be transferred according to item 1.
前記ずらし動作手段は、ロボットのロボットハンドを用いて、前記推定手段にて推定された移載対象ワークを所定距離だけずらし動作させた後、該所定距離だけずらし動作された移載対象ワークを、本来の移載場所とは異なる場所に、一旦、移載させ、
前記三次元再計測手段は、前記異なる場所に、一旦、移載された移載対象ワークを、再度三次元計測してなる請求項2〜4の何れか1項に記載の移載対象ワーク記憶システム。
The shift operation means shifts the transfer target work estimated by the estimating means by a predetermined distance by using the robot hand of the robot, and then moves the transfer target work shifted by the predetermined distance, Once transferred to a place different from the original transfer place,
The transfer target work storage according to any one of claims 2 to 4, wherein the three-dimensional remeasurement unit measures the transfer target work once transferred to the different location three-dimensionally again. system.
前記ずらし動作手段は、ロボットのロボットハンドを用いて、前記推定手段にて推定された移載対象ワークを所定距離だけずらし動作させた後、該所定距離だけずらし動作された移載対象ワークを移載させ、
前記三次元再計測手段は、前記移載されている最中の移載対象ワークを、再度三次元計測してなる請求項2〜4の何れか1項に記載の移載対象ワーク記憶システム。

The shift operation means uses the robot hand of the robot to move the transfer target work estimated by the estimation means by a predetermined distance, and then transfers the transfer target work moved by the predetermined distance. Put it,
The transfer target work storage system according to any one of claims 2 to 4, wherein the three-dimensional remeasurement means performs three-dimensional measurement again on the transfer target work being transferred.

JP2019017028A 2019-02-01 2019-02-01 Work storage system to be transferred Active JP7261597B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019017028A JP7261597B2 (en) 2019-02-01 2019-02-01 Work storage system to be transferred

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019017028A JP7261597B2 (en) 2019-02-01 2019-02-01 Work storage system to be transferred

Publications (2)

Publication Number Publication Date
JP2020125916A true JP2020125916A (en) 2020-08-20
JP7261597B2 JP7261597B2 (en) 2023-04-20

Family

ID=72083801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019017028A Active JP7261597B2 (en) 2019-02-01 2019-02-01 Work storage system to be transferred

Country Status (1)

Country Link
JP (1) JP7261597B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023238465A1 (en) * 2022-06-09 2023-12-14 日産自動車株式会社 Component inspection method and device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11333770A (en) * 1998-03-20 1999-12-07 Kobe Steel Ltd Loading position and attitude recognizing device
JP2003172605A (en) * 2001-12-10 2003-06-20 Daifuku Co Ltd Article position recognizing device
US20170246744A1 (en) * 2016-02-26 2017-08-31 Kinema Systems Inc. Locating, separating, and picking boxes with a sensor-guided robot

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11333770A (en) * 1998-03-20 1999-12-07 Kobe Steel Ltd Loading position and attitude recognizing device
JP2003172605A (en) * 2001-12-10 2003-06-20 Daifuku Co Ltd Article position recognizing device
US20170246744A1 (en) * 2016-02-26 2017-08-31 Kinema Systems Inc. Locating, separating, and picking boxes with a sensor-guided robot

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023238465A1 (en) * 2022-06-09 2023-12-14 日産自動車株式会社 Component inspection method and device

Also Published As

Publication number Publication date
JP7261597B2 (en) 2023-04-20

Similar Documents

Publication Publication Date Title
CN111776762B (en) Robotic system with automated package scanning and registration mechanism and method of operation thereof
US11780101B2 (en) Automated package registration systems, devices, and methods
US9415511B2 (en) Apparatus and method for picking up article randomly piled using robot
JP7065632B2 (en) Box-shaped object picking device and its method
JP5616478B1 (en) Robot system equipped with a robot for transporting workpieces
JP6879238B2 (en) Work picking device and work picking method
JP4655309B2 (en) Picking order determination method, apparatus and program thereof, and picking system
JP2010207989A (en) Holding system of object and method of detecting interference in the same system
JP7261597B2 (en) Work storage system to be transferred
JP7232652B2 (en) Work transfer system
JP2019181573A (en) Picking device and method for the same
JPH10118975A (en) Handling position recognizing method and recognizing device
JP7022036B2 (en) Goods removal system
JP7398763B2 (en) Robot system equipped with overlap processing mechanism and its operating method
EP4395965A1 (en) Robotic system with overlap processing mechanism and methods for operating the same
CN115609569A (en) Robot system with image-based sizing mechanism and method of operating the same
CN115258510A (en) Robot system with object update mechanism and method for operating the robot system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230410

R150 Certificate of patent or registration of utility model

Ref document number: 7261597

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350