JP2017170567A - Workpiece recognition method and random picking method - Google Patents
Workpiece recognition method and random picking method Download PDFInfo
- Publication number
- JP2017170567A JP2017170567A JP2016059314A JP2016059314A JP2017170567A JP 2017170567 A JP2017170567 A JP 2017170567A JP 2016059314 A JP2016059314 A JP 2016059314A JP 2016059314 A JP2016059314 A JP 2016059314A JP 2017170567 A JP2017170567 A JP 2017170567A
- Authority
- JP
- Japan
- Prior art keywords
- workpiece
- height
- reference image
- image
- workpieces
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 230000036544 posture Effects 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、ロボットアームの先端に設けられたハンドによりバラ積みされたワークを把持し取出すランダムピッキングのためのワーク認識方法及びランダムピッキング方法に関する。 The present invention relates to a workpiece recognition method and a random picking method for random picking that grips and takes out a workpiece stacked in bulk by a hand provided at the tip of a robot arm.
今日、多くの製造現場では、ワーク（部品）の搬入搬出作業等をロボットを用い自動化することで生産性向上、安全性向上、コスト削減を図っている。これまでにも種々のワーク認識方法、ロボットシステムが開発されているが、今後も、より迅速なワーク認識方法、安価で迅速に、またより簡単に操作可能なロボットシステムの開発が期待される。 Today, many manufacturing sites are working to improve productivity, improve safety, and reduce costs by automating work (parts) loading and unloading operations using robots. Various work recognition methods and robot systems have been developed so far, but in the future, it is expected to develop a faster work recognition method, and a robot system that can be operated cheaply, quickly, and more easily.
ロボットアームの先端に設けられたハンドによりバラ積みされたワークを把持し取出すランダムピッキングにおいても、事前に保持するデータ量が少なく、かつ短い計算時間でワークの取出しが行えるワーク取出し装置、ロボットシステム、また少ない計算量で精度よくワークの位置、姿勢を検出する方法等が提案されている（例えば特許文献１、特許文献２、特許文献３参照）。 Even in random picking, which picks up and picks up workpieces stacked by the hand provided at the tip of the robot arm, the workpiece picking device, robot system, which can take out workpieces in a short calculation time with a small amount of data to hold in advance In addition, a method for accurately detecting the position and orientation of a workpiece with a small amount of calculation has been proposed (see, for example, Patent Document 1, Patent Document 2, and Patent Document 3).
バラ積みされたワークのピッキングにおいては、ワークが重なり合って積載されている場合が多く、予め算出した把持姿勢とのマッチングが難しい、また長さのあるワークや複雑な形状のワークにおいてはワークの取出し時に他のワークに引っ掛かるという課題が指摘されている。さらにバラ積みされたワークのピッキングにおいては、次のような課題もある。 When picking up loosely stacked workpieces, the workpieces are often stacked and stacked, and it is difficult to match the gripping posture calculated in advance, and for workpieces with long or complex shapes, the workpiece can be removed. The problem of getting caught in other works has been pointed out. Furthermore, there are the following problems in picking workpieces stacked in bulk.
バラ積みされたワークのピッキングでは、ピッキングに伴い山積み高さが変化する。このためワーク認識のための画像処理が複雑で処理時間が長くなり、またワーク認識精度が低下するという問題がある。しかしながらこれまでこのような問題は特に提起されておらず、当然、これを解決するための手段も提案されていない。 In picking of workpieces stacked in bulk, the pile height changes with picking. For this reason, there are problems that image processing for workpiece recognition is complicated and processing time is long, and workpiece recognition accuracy is lowered. However, such a problem has not been raised so far, and naturally, no means for solving this problem has been proposed.
またバラ積みされたワークのピッキングにおいては、ワークの迅速な認識の他に、ワークの確実な把持も課題である。バラ積みされたワークは、ワーク毎に位置、姿勢が異なり、さらにピッキングに伴い山積み高さが変化するためワークを確実に把持するための工夫も必要となる。 Moreover, in picking of workpieces stacked in bulk, not only quick recognition of workpieces but also reliable gripping of workpieces is an issue. The workpieces stacked in bulk have different positions and postures for each workpiece, and the pile height changes with picking. Therefore, it is necessary to devise a device for securely gripping the workpieces.
本発明の目的は、高い精度で迅速にワークの認識を行うことができるワーク認識方法、及びワークを確実に把持し取出すことができるランダムピッキング方法を提供することである。 An object of the present invention is to provide a workpiece recognition method capable of quickly recognizing a workpiece with high accuracy and a random picking method capable of reliably grasping and taking out the workpiece.
本発明は、ロボットアームの先端に設けられたハンドによりバラ積みされたワークを把持し取出すランダムピッキングのためのワーク認識方法であって、バラ積みされたワークの平面画像及び距離画像を取得する画像取得ステップと、前記距離画像から最も高い位置にあるワークの高さを検出する高さ検出ステップと、記憶手段に格納された基準画像の中から、前記高さ検出ステップで検出された高さに最も近い高さで撮像された基準画像を選出する基準画像選出ステップと、前記基準画像選出ステップで選出した基準画像を用い前記画像取得ステップで取得した平面画像のパターンマッチングを行い、予め定める閾値以上の相関値を有するワークを検出するワーク検出ステップと、前記ワーク検出ステップで検出されたワークの中から相関値の最も大きいワークを選出するワーク選出ステップと、前記ワーク選出ステップで選出されたワークの中心座標及び傾きを算出するワーク位置・姿勢算出ステップと、を含み、前記記憶手段は、１個のワークに対して異なる高さで撮像された複数の平面画像からなる基準画像を格納することを特徴とするワーク認識方法である。 The present invention relates to a workpiece recognition method for random picking that grips and takes out a workpiece stacked by a hand provided at the tip of a robot arm, and acquires a plane image and a distance image of the workpiece stacked. An acquisition step; a height detection step for detecting the height of the workpiece at the highest position from the distance image; and a height detected in the height detection step from a reference image stored in a storage means. A reference image selection step for selecting a reference image picked up at the closest height, and pattern matching of the planar image acquired in the image acquisition step using the reference image selected in the reference image selection step, and a predetermined threshold value or more A workpiece detection step for detecting a workpiece having a correlation value of the workpiece, and a correlation among the workpieces detected in the workpiece detection step A workpiece selecting step for selecting a workpiece having the largest size, and a workpiece position / posture calculating step for calculating center coordinates and an inclination of the workpiece selected in the workpiece selecting step, and the storage means includes one workpiece. On the other hand, it is a work recognition method characterized by storing a reference image composed of a plurality of planar images taken at different heights.
本発明のワーク認識方法によれば、最も高い位置にあるワークの高さを検出し、この高さに最も近い基準画像を用いてパターンマッチングを行うので、高い精度で迅速にワークの認識を行うことができる。また高い位置のワークほど相関値が高く選出され易く、さらに基準画像には、ワークの平面画像が使用されるので、姿勢が水平又は鉛直状態なものほど選出され易くなる。ロボットハンドによるバラ積みされたワークの把持及び取出しは、山の頂部付近に位置し、水平又は鉛直状態のワークほど容易であるため、本発明のワーク認識方法を使用することで、把持し取出し易いワークを優先的に選出し、ワークを確実に把持し取出すことができる。 According to the workpiece recognition method of the present invention, the height of the workpiece at the highest position is detected, and pattern matching is performed using the reference image closest to the height, so that the workpiece is recognized quickly with high accuracy. be able to. Further, the higher the workpiece is, the higher the correlation value is, and the higher the correlation value is, the more easily the plane image of the workpiece is used as the reference image. It is easy to grip and take out the workpieces stacked by the robot hand because it is located near the top of the mountain and the workpiece in the horizontal or vertical state is easier. The workpiece can be selected preferentially, and the workpiece can be securely grasped and taken out.
本発明のワーク認識方法は、前記基準画像選出ステップに代えて、１個のワークに対して既知の高さで撮像された１枚の平面画像からなる基準画像を元データとし、計算により前記高さ検出ステップで検出された高さの基準画像を算出する基準画像算出ステップを含み、前記ワーク検出ステップでは、前記基準画像算出ステップで算出した基準画像を用い前記画像取得ステップで取得した平面画像のパターンマッチングを行い、前記記憶手段は、１個のワークに対して既知の高さで撮像された１枚の平面画像からなる基準画像を格納することを特徴とする。 In the workpiece recognition method of the present invention, instead of the reference image selection step, a reference image composed of a single planar image captured at a known height for one workpiece is used as original data, and the height is calculated by calculation. A reference image calculation step of calculating a reference image of the height detected in the height detection step, wherein the workpiece detection step uses the reference image calculated in the reference image calculation step and the planar image acquired in the image acquisition step Pattern matching is performed, and the storage means stores a reference image made up of a single planar image captured at a known height with respect to a single workpiece.
本発明によれば、高さ検出ステップで検出された高さの基準画像を用いてパターンマッチングを行うことができるので、高い精度で迅速にワークの認識を行うことができる。また記憶手段には、１枚の平面画像からなる基準画像を格納すればよいので記憶容量を少なくすることができる。本発明のワーク認識方法を使用することで、把持し取出し易いワークを優先的に選出し、ワークを確実に把持し取出すことができる。 According to the present invention, since pattern matching can be performed using the reference image of the height detected in the height detection step, the workpiece can be quickly recognized with high accuracy. In addition, since the storage means only needs to store a reference image consisting of a single planar image, the storage capacity can be reduced. By using the workpiece recognition method of the present invention, it is possible to preferentially select a workpiece that is easily grasped and taken out, and to securely grasp and take out the workpiece.
本発明のワーク認識方法において、前記ワークは、箱内にバラ積みされており、さらに前記画像取得ステップで取得した平面画像に対してマッチングを行う領域を設定するマッチング領域設定ステップを含み、前記ワーク検出ステップは、前記画像取得ステップで取得した平面画像に代えて、前記マッチング領域設定ステップで設定された領域内でパターンマッチングを行い、マッチング領域は、箱の底面から、ロボットのアームが前記箱の側壁に接触しワークを把持できない領域を除外した領域に設定されていることを特徴とする。 In the work recognition method of the present invention, the work is stacked in a box, and further includes a matching area setting step for setting an area for matching with the planar image acquired in the image acquisition step, In the detection step, pattern matching is performed within the area set in the matching area setting step instead of the planar image acquired in the image acquisition step. The matching area is formed from the bottom of the box by the robot arm. It is set to the area | region which excluded the area | region which contacts a side wall and cannot hold | grip a workpiece | work.
箱内にバラ積みされたワークのピッキングにおいては、ワークの位置・姿勢を認識してもロボットアームが箱の側壁に接触するため把持できない場合もある。本発明のワーク認識方法では、ワークが把持できない領域を除外してパターンマッチングを行うので、把持可能なワークのみを選出することができ、無駄なピッキング操作を防止することができる。さらに本発明のワーク認識方法は、ワークが把持できない領域を除外してパターンマッチングを行うのでマッチング領域が狭く、結果、迅速にワークを選出することができる。 In picking a workpiece stacked in a box, the robot arm may contact the side wall of the box even if the position / posture of the workpiece is recognized, and may not be gripped. In the workpiece recognition method of the present invention, pattern matching is performed by excluding an area where a workpiece cannot be gripped, so that only grippable workpieces can be selected and useless picking operations can be prevented. Furthermore, since the workpiece recognition method of the present invention performs pattern matching by excluding the area where the workpiece cannot be gripped, the matching area is narrow, and as a result, the workpiece can be selected quickly.
また本発明のワーク認識方法において、前記閾値は、形態の異なるワークに対して異なる値が設定され、前記閾値と前記ワークの形態との間に相関関係が成立することを特徴とする。 In the workpiece recognition method of the present invention, a different value is set as the threshold value for workpieces having different forms, and a correlation is established between the threshold value and the workpiece form.
ロボットハンドによるワークの把持は、ワークが球であれば、バラ積みの状態に係わらず姿勢が同一であるので把持し易い。円柱状のワークであれば、立った状態よりも、水平に倒れている状態の方が把持し易い。一方、特定の凸部を把持するような特異な形態のワークであれば、ワークが特定の位置・姿勢でなければ把持することはできない。以上のようにロボットハンドによるバラ積みされたワークの把持及び取出しの容易性は、ワークの形態により大きく異なる。把持し易いワークは、ワークの位置、姿勢に対する制約が緩やかであるためパターンマッチングの閾値を低く設定してもよい。一方、把持し難いワークは、ワークの位置、姿勢に対する制約が厳しいのでパターンマッチングの閾値を高く設定する必要がある。本発明によれば、ワーク検出のための閾値を形態の異なるワーク毎に設定することができるので、確実に把持し取出すことができるワークを高い精度で迅速に選出することができる。 The gripping of the workpiece by the robot hand is easy to grip if the workpiece is a sphere, since the posture is the same regardless of the stacked state. If it is a columnar workpiece, it is easier to grip in a state of being tilted horizontally than in a standing state. On the other hand, if the workpiece has a unique shape that grips a specific convex portion, it cannot be gripped unless the workpiece is in a specific position / posture. As described above, the ease of gripping and taking out the workpieces stacked by the robot hand greatly varies depending on the form of the workpiece. For a work that is easy to grip, restrictions on the position and posture of the work are gentle, and the pattern matching threshold may be set low. On the other hand, a workpiece that is difficult to grip has severe restrictions on the position and posture of the workpiece, and therefore it is necessary to set a high threshold for pattern matching. According to the present invention, since the threshold for workpiece detection can be set for each workpiece having different forms, a workpiece that can be reliably grasped and taken out can be quickly selected with high accuracy.
本発明は、ロボットアームの先端に設けられたハンドによりバラ積みされたワークを把持し取出すランダムピッキング方法であって、前記ワーク認識方法を含み、前記ワーク選出ステップで選出されたワークをロボットアームの先端に設けられたハンドで把持するワーク把持ステップと、前記ロボットアームを動かし、ワークを把持した状態で把持したワークの周囲のワークの配置状態を掻き乱す撹乱ステップと、を含み、前記撹乱ステップが、前記ワーク把持ステップ後に毎回実施されることを特徴とするランダムピッキング方法である。 The present invention is a random picking method for grasping and taking out a workpiece stacked by a hand provided at the tip of a robot arm, including the workpiece recognition method, wherein the workpiece selected in the workpiece selection step is A workpiece gripping step for gripping with a hand provided at a tip; and a disturbing step for disturbing an arrangement state of workpieces around the workpiece gripped while moving the robot arm and gripping the workpiece. The random picking method is performed every time after the workpiece gripping step.
バラ積みされたワークのランダムピッキングにおいては、基本的に把持し易いワークから順次、把持し取り出される。このため後半になるほど取り出し難いワークが残り、ワークを把持しに行っても把持できない場合もある。これに対して本発明のランダムピッキング方法では、ワークを把持した状態で把持したワークの周囲のワークの配置状態を掻き乱す撹乱操作をワークの把持操作毎に行うので、バラ積みされたワークが平滑化され易く、ピッキングの後半においてもワークを確実に把持し取出すことができる。 In the random picking of the workpieces stacked in bulk, the workpieces that are basically easy to grip are basically gripped and taken out sequentially. For this reason, there is a case where a work that is difficult to take out remains in the second half and cannot be gripped even if the work is performed. On the other hand, in the random picking method of the present invention, since the disturbance operation that disturbs the arrangement of the workpieces around the workpiece that is gripped is performed for each workpiece gripping operation, The workpiece can be reliably grasped and taken out even in the latter half of picking.
本発明によれば、高い精度で迅速にワークの認識を行うことができるワーク認識方法及びワークを確実に把持し取出すことができるランダムピッキング方法を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the workpiece | work recognition method which can recognize a workpiece | work rapidly with high precision and the random picking method which can hold | grip and take out a workpiece | work reliably can be provided.
図１は、本発明のワーク認識方法及びランダムピッキング方法を使用するランダムピッキングシステム１の構成図、図２は、ランダムピッキングシステム１のワーク認識方法及びランダムピッキング方法の処理手順を示すフローチャートである。以下、上面が全面開口した長方体形状の箱１０１にバラ積みされた長さの短い円筒状のワークＷ（図４（ａ）参照）をピッキングする場合を例として説明する。 FIG. 1 is a configuration diagram of a random picking system 1 that uses the work recognition method and random picking method of the present invention, and FIG. 2 is a flowchart showing the processing procedure of the work recognition method and random picking method of the random picking system 1. Hereinafter, a case where a short cylindrical work W (see FIG. 4A) stacked in a rectangular box 101 having an open top surface is stacked will be described as an example.
ランダムピッキングシステム１は、ロボットアーム３５の先端に設けられたハンド３６によりバラ積みされたワークＷを把持し取出す装置であり、バラ積みされたワークＷを撮像する撮像装置１１と、撮像装置１１を介して取得されるバラ積みされたワークＷの画像データを基に把持するワークＷを選出するワーク認識装置２１と、ワークＷを把持し取り出すロボット３１とを含む。 The random picking system 1 is a device that grips and takes out a workpiece W stacked in bulk by a hand 36 provided at the tip of the robot arm 35. The random picking system 1 includes an imaging device 11 that images the stacked workpiece W, and an imaging device 11. A workpiece recognition device 21 that selects a workpiece W to be gripped based on image data of the workpieces W stacked in bulk, and a robot 31 that grips and takes out the workpiece W.
撮像装置１１は、箱１０１にバラ積みされたワークＷの平面画像を取得するカラー画像センサー１２と距離画像を取得する距離画像センサー１３とを含む。カラー画像センサー１２及び距離画像センサー１３とも特定のセンサーに限定されるものではなく、カラー画像センサー１２にはＲＧＢカメラ、距離画像センサー１３にはレーザースキャン、ステレオカメラ等の公知のセンサーを使用することができる。なお、カラー画像センサー１２に代え、モノクロカメラでワークＷの平面画像を取得してもよい。 The imaging device 11 includes a color image sensor 12 that acquires a planar image of the workpiece W stacked in a box 101 and a distance image sensor 13 that acquires a distance image. The color image sensor 12 and the distance image sensor 13 are not limited to specific sensors, and the color image sensor 12 uses a known sensor such as an RGB camera and the distance image sensor 13 such as a laser scan or a stereo camera. Can do. Instead of the color image sensor 12, a plane image of the workpiece W may be acquired with a monochrome camera.
カラー画像センサー１２及び距離画像センサー１３は、箱１０１の上方に固定され、ワーク認識装置２１からの指令に基づき、箱１０１にバラ積みされたワークＷの平面画像及び距離画像を取得し、これら画像データをワーク認識装置２１に送信する。図３（ａ）にカラー画像センサー１２で得られた箱１０１にバラ積みされたワークＷの平面画像を示す。 The color image sensor 12 and the distance image sensor 13 are fixed above the box 101, and based on a command from the workpiece recognition device 21, acquire a plane image and a distance image of the workpiece W stacked in the box 101, and these images. Data is transmitted to the work recognition device 21. FIG. 3A shows a planar image of the workpiece W stacked in a box 101 obtained by the color image sensor 12.
ワーク認識装置２１は、撮像装置１１を介して取得されるバラ積みされたワークＷの画像データを基に把持するワークＷを選出し、当該ワークＷの位置・姿勢を算出する。さらにこれらデータをロボット座標に変換し、ロボット制御装置３３に送信する。 The workpiece recognizing device 21 selects a workpiece W to be gripped based on the image data of the stacked workpiece W acquired through the imaging device 11 and calculates the position / orientation of the workpiece W. Further, these data are converted into robot coordinates and transmitted to the robot controller 33.
ワーク認識装置２１は、データの入出力を行う入出力手段２２、データの入出力等を制御する制御手段２３、基準画像等を格納する記憶手段２４及びワークＷの選出等を実行する演算手段２５を含む。記憶手段２４には、１個のワークＷに対して異なる高さで撮像された複数枚の平面画像が基準画像として格納されている。図４（ｂ）に異なる高さＨｉで撮影された複数枚の基準画像を示す。基準画像は、添え字ｉの数の小さいものほどワークＷの置かれた位置が高く、ワークＷとカラー画像センサー１３との距離が短い。 The workpiece recognition device 21 includes an input / output unit 22 for inputting / outputting data, a control unit 23 for controlling input / output of data, a storage unit 24 for storing a reference image, and a calculation unit 25 for selecting a workpiece W, etc. including. In the storage unit 24, a plurality of plane images captured at different heights for one workpiece W are stored as reference images. FIG. 4B shows a plurality of reference images taken at different heights Hi. In the reference image, the smaller the number of subscripts i, the higher the position where the work W is placed, and the distance between the work W and the color image sensor 13 is short.
演算手段２５は、画像入力部２６、画像処理部２７、ワーク位置・姿勢処理部２８、ロボットデータ処理部２９を有し、ロボットが把持し取り出すためのワークＷを選定し、そのワークＷの位置・姿勢を算出し、ロボットに把持させるためのロボット座標への変換処理を行う。 The calculation means 25 includes an image input unit 26, an image processing unit 27, a workpiece position / posture processing unit 28, and a robot data processing unit 29, selects a workpiece W to be gripped and taken out by the robot, and positions of the workpiece W・ Calculate posture and convert to robot coordinates for robot to grip.
画像入力部２６は、撮像装置１１が撮像したバラ積みされたワークＷの平面画像データ及び距離画像データの読み込みを行う。 The image input unit 26 reads planar image data and distance image data of the workpieces W stacked in bulk, which are captured by the imaging device 11.
画像処理部２７は、バラ積みされたワークＷの中から把持し易いワークＷを１個選出する。具体的には、距離画像データからワークＷの最大高さＨ（図３（ａ）参照）を求め、この高さに最も近い高さＨｉで撮像された基準画像を読み出し、当該基準画像を用い平面画像のパターンマッチングを行い、予め定める閾値以上の相関値を有するワークＷを検出し、最終的に相関値の最も大きいワークＷを選出する。 The image processing unit 27 selects one workpiece W that is easy to grip from the stacked workpieces W. Specifically, determine the maximum height H of the workpiece W (see FIG. 3 (a)) from the distance image data, reads out the reference image captured by the nearest height H i to the height, the reference image The pattern image is used for pattern matching, a workpiece W having a correlation value equal to or greater than a predetermined threshold value is detected, and finally the workpiece W having the largest correlation value is selected.
ところで本実施形態に示すように深さのある箱１０１にバラ積みされたワークＷのうち、深い位置にあり箱１０１の側壁１０３に接触するようなワークＷは、ロボットアーム３５が箱１０１の側壁１０３に接触するため把持することができない。このような把持することのできないワークＷまでもパターンマッチングすることは時間の無駄である。そこで画像処理部２７は、パターンマッチングに先立ち、平面画像に対してマッチングする領域を設定する。 By the way, as shown in the present embodiment, among the workpieces W stacked in a box 101 having a depth, the workpiece W which is in a deep position and contacts the side wall 103 of the box 101 has a robot arm 35 of the side wall of the box 101. Since it contacts 103, it cannot be gripped. It is a waste of time to perform pattern matching even for a workpiece W that cannot be gripped. Therefore, prior to pattern matching, the image processing unit 27 sets a region to be matched with the planar image.
平面画像に対してマッチングする領域は、箱１０１の底面１０５から、ロボットアーム３５が箱１０１の側壁１０３に接触しワークＷを把持できない領域を除外した領域に設定される。図３（ｂ）に示す枠（設定枠）１０７内がマッチングする領域である。ロボットアーム３５が箱１０１の側壁１０３に接触しワークＷを把持できない領域は、箱１０１の大きさ、形状、ロボット３１の位置、さらにはワークＷの形態により異なるので、予め実験等を行い取得される。ワークＷが把持できない領域を除外してパターンマッチングを行うことでマッチング領域が狭くなり、結果、迅速にワークＷを選出することができる。 The area that matches the planar image is set from the bottom surface 105 of the box 101 to an area that excludes the area where the robot arm 35 contacts the side wall 103 of the box 101 and cannot grip the workpiece W. A frame (setting frame) 107 shown in FIG. 3B is a matching area. The area in which the robot arm 35 contacts the side wall 103 of the box 101 and cannot hold the workpiece W varies depending on the size and shape of the box 101, the position of the robot 31, and the form of the workpiece W. The By performing pattern matching by excluding the area where the workpiece W cannot be gripped, the matching area becomes narrow, and as a result, the workpiece W can be selected quickly.
ワーク位置・姿勢算出部２８は、ロボットハンド３６でワークＷを把持し取り出すために必要なワークＷの位置・姿勢を算出する。具体的には、ワークＷの孔Ｎに外接するＸ軸，Ｙ軸に平行な四角形Ｓの各頂点の座標から中心点Ｏの座標（Ｘ，Ｙ，Ｚ）を求める。ワークＷの傾きは、四角形ＳとワークＷの外形との間に４つの基準点Ｐ１〜Ｐ４を設け、当該基準点Ｐ１〜Ｐ４を用い、三角法によりＸ−Ｚ平面に対する傾き、Ｙ−Ｚ平面に対する傾きを求める。基準点Ｐ１及びＰ４はＸ軸に平行に、基準点Ｐ２及びＰ３はＹ軸に平行に、それぞれ中心点Ｏから等距離に設けられる。なお、ワークＷの中心座標及びワークＷの傾きの算出方法は、本方法に限定されるものではない。 The workpiece position / orientation calculation unit 28 calculates the position / orientation of the workpiece W necessary for gripping and taking out the workpiece W by the robot hand 36. Specifically, the coordinates (X, Y, Z) of the center point O are obtained from the coordinates of the vertices of the quadrilateral S circumscribing the hole N of the workpiece W and parallel to the Y axis. As for the inclination of the workpiece W, four reference points P 1 to P 4 are provided between the quadrangle S and the outer shape of the workpiece W, and the reference points P 1 to P 4 are used to incline the XZ plane by triangulation. The inclination with respect to the YZ plane is obtained. The reference points P 1 and P 4 are provided in parallel to the X axis, and the reference points P 2 and P 3 are provided in parallel to the Y axis and equidistant from the center point O, respectively. In addition, the calculation method of the center coordinate of the workpiece | work W and the inclination of the workpiece | work W is not limited to this method.
本実施形態のように物理的挟持によりワークＷを把持するハンド３６の場合、ワークＷに対してどのような角度でアプローチし、ワークＷのどの部分をどのように把持するかは、把持成功率を高める上で非常に重要である。ここではワークＷの位置・姿勢が算出されるので、ワークＷに対して、ロボットアーム３５の先端に設けられたハンド３６を把持し易い方向からアプローチさせることで、ワークＷを確実に把持することができる。 In the case of the hand 36 that grips the workpiece W by physical clamping as in the present embodiment, the angle at which the workpiece W is approached and the portion of the workpiece W that is gripped is determined by the gripping success rate. It is very important in enhancing. Here, since the position / orientation of the workpiece W is calculated, the workpiece W can be reliably gripped by approaching the workpiece W from the direction in which the hand 36 provided at the tip of the robot arm 35 is easily gripped. Can do.
ロボットデータ処理部２９は、選出されたワークＷの位置・姿勢に対応し、ロボットアーム３５の角度補正処理及びワークＷの位置・姿勢座標からロボット座標への変換処理を行う。 The robot data processing unit 29 performs an angle correction process of the robot arm 35 and a conversion process from the position / orientation coordinates of the workpiece W to the robot coordinates in accordance with the selected position / orientation of the workpiece W.
以上からなるワーク認識装置２１は、制御手順、さらには演算手段２５を画像入力部２６、画像処理部２７、ワーク位置・姿勢算出部２８、ロボットデータ処理部２９として機能させるためのプログラムを搭載したコンピュータを用いて実現することができる。 The workpiece recognition apparatus 21 configured as described above is equipped with a control procedure and a program for causing the calculation means 25 to function as the image input unit 26, the image processing unit 27, the workpiece position / orientation calculation unit 28, and the robot data processing unit 29. It can be realized using a computer.
ロボット３１は、ワーク認識装置２１が選出したワークＷを把持し取り出すロボット本体３２と、ロボット本体３２の動作を制御するロボット制御装置３３とを含む。 The robot 31 includes a robot body 32 that grips and takes out the workpiece W selected by the workpiece recognition device 21, and a robot control device 33 that controls the operation of the robot body 32.
ロボット本体３２は、アーム３５の先端部にワークＷを把持するハンド３６を備える、公知の多関節型ロボットである。ハンド３６には、フィンガでワークＷを物理的に挟む挟持タイプのハンド、ワークＷを吸引し吸着するタイプのハンド等があるが、ワークＷの形態に応じて適したハンド３６を使用すればよい。ここではハンド３６には、ワークＷの穴Ｎにフィンガを差し込み拡張することでワークＷを把持する、フィンガを拡げるタイプのハンド３６を使用する。 The robot body 32 is a known articulated robot that includes a hand 36 that holds a workpiece W at the tip of an arm 35. The hand 36 includes a sandwiching type hand in which the workpiece W is physically pinched by a finger, a type of hand that sucks and sucks the workpiece W, and the hand 36 suitable for the form of the workpiece W may be used. . Here, as the hand 36, a hand 36 of a type in which a finger is expanded by inserting a finger into the hole N of the workpiece W and expanding the finger is used.
ロボット制御装置３３は、ワーク認識装置２１とデータを送受信可能に接続し、ワーク認識装置２１の指令を受け、ロボット本体３２にワークＷを把持させるための命令を発する。またロボット制御装置３３は、ワークＷを把持した状態でロボットアーム３５を動かし、把持したワークＷの周囲のワークＷの配置状態を掻き乱すように制御する。 The robot control device 33 is connected to the workpiece recognition device 21 so as to be able to transmit and receive data, receives a command from the workpiece recognition device 21, and issues a command for causing the robot body 32 to grip the workpiece W. In addition, the robot control device 33 moves the robot arm 35 in a state where the workpiece W is gripped, and controls so as to disturb the arrangement state of the workpieces W around the gripped workpiece W.
次にバラ積みされたワークＷの中からピッキングするためのワークＷの認定方法及びピッキング方法の手順について説明する。 Next, the work W certifying method and picking method procedure for picking from the stacked workpieces W will be described.
ワーク認識装置２１は、カラー画像センサー１２及び距離画像センサー１３を介して箱１０１にバラ積みされたワークＷの平面画像及び距離画像を取得する（ステップＳ１）。 The workpiece recognition device 21 acquires a planar image and a distance image of the workpiece W stacked in the box 101 via the color image sensor 12 and the distance image sensor 13 (step S1).
続いて、ワーク認識装置２１は、ステップＳ１で取得した平面画像に対して、基準点（０，０），Ｘ軸の基準点及びＹ軸の基準点、さらに予め設定された寸法の設定枠１０７を設ける（ステップＳ２）。 Subsequently, the workpiece recognizing device 21 applies the reference point (0, 0), the X-axis reference point, the Y-axis reference point, and a preset size setting frame 107 to the plane image acquired in step S1. Is provided (step S2).
一方、距離画像からは、バラ積みされたワークＷのうち一番高いワークＷの高さＨ（図３（ａ）参照）を算出する（ステップＳ３）。一番高いワークＷは、距離画像センサー１３に最も近いワークＷである。 On the other hand, the height H (see FIG. 3A) of the highest workpiece W among the stacked workpieces W is calculated from the distance image (step S3). The highest workpiece W is the workpiece W closest to the distance image sensor 13.
ステップＳ３で一番高いワークＷの高さＨを算出すると、記憶手段２４に格納された基準画像の中からワークＷの高さＨに最も近い高さＨｉで撮像された基準画像（図４（ｂ）参照）を読み出す（ステップＳ４）。なお、ステップＳ２〜Ｓ４の順番は、入れ替わってもよい。 After calculating the height H of the highest workpiece W at step S3, the reference image captured by the nearest height H i to the height H of the workpiece W from the stored reference image in the storage unit 24 (FIG. 4 (B) is read out (step S4). Note that the order of steps S2 to S4 may be changed.
続いて、ステップＳ４で得られた基準画像Ｈｉを用い、ステップＳ２で得られる設定枠１０７が設けられた平面画像のパターンマッチングを行い、予め定める閾値以上の相関値のワークＷを検出する（ステップＳ５）。相関値は、正規化相互相関など一般的な画像処理方法を用いて算出することができる。基準画像は、水平に置かれた１個のワークの平面画像ゆえ、水平状態に近く、基準画像の高さに近いワークＷの相関値が高くなり、これらが優先的に選定される。 Subsequently, using the reference image H i obtained in step S4, pattern matching of the planar image provided with the setting frame 107 obtained in step S2 is performed, and a workpiece W having a correlation value equal to or greater than a predetermined threshold is detected ( Step S5). The correlation value can be calculated using a general image processing method such as normalized cross-correlation. Since the reference image is a plane image of one workpiece placed horizontally, the correlation value of the workpiece W close to the horizontal state and close to the height of the reference image is high, and these are preferentially selected.
ステップＳ５で検出されたワークＷの中から相関値の最大のものを選出し（ステップＳ６）、選出されたワークＷの座標から中心座標Ｏ及びワークＷの傾斜を算出する（ステップＳ７）。ステップＳ７が、ワークＷの位置・姿勢を算出する工程である。 The workpiece having the maximum correlation value is selected from the workpieces W detected in step S5 (step S6), and the center coordinate O and the inclination of the workpiece W are calculated from the selected coordinates of the workpiece W (step S7). Step S7 is a step of calculating the position / posture of the workpiece W.
続いて、ステップＳ７で算出したワークＷの中心座標Ｏ及びワークＷの傾斜に基づき、ロボットハンド３６の傾きを演算し（ステップＳ８）、ロボットアーム３５及びハンド３６を動作させワークＷを把持する（ステップＳ９）。続いて、ワークＷを把持した状態で、ロボットアーム３５を動かし、把持したワークＷの周囲のワークＷを掻き乱し（ステップＳ１０）、その後、箱１０１の外にワークＷを取出す（ステップＳ１１）。 Subsequently, based on the center coordinate O of the workpiece W calculated in step S7 and the tilt of the workpiece W, the tilt of the robot hand 36 is calculated (step S8), and the robot arm 35 and the hand 36 are operated to grip the workpiece W (step S8). Step S9). Subsequently, in a state where the workpiece W is gripped, the robot arm 35 is moved to disturb the workpiece W around the gripped workpiece W (step S10), and then the workpiece W is taken out of the box 101 (step S11). .
ワークＷの取出しが終了すると、再度ステップＳ１に戻り、ステップＳ１からステップＳ１１の操作を繰り返しながらワークＷのピッキングを行う。 When the removal of the workpiece W is completed, the process returns to step S1 again, and the workpiece W is picked while repeating the operations from step S1 to step S11.
以上、実施形態を用いて説明したように本発明のワークの認識方法は、バラ積みされたワークＷのうち最も高い位置にあるワークＷの高さＨを検出し、この高さＨに最も近い高さＨｉで撮像された平面画像からなる基準画像を用いてパターンマッチングを行いワークＷを選定するので、高い精度で迅速にワークＷの認識（選出）を行うことができる。また把持し易く取出し易いワークＷが優先的に選出されるので、ワークＷを確実に把持し取出すことができる。 As described above, the workpiece recognition method of the present invention detects the height H of the workpiece W at the highest position among the stacked workpieces W as described using the embodiment, and is closest to the height H. Since the workpiece W is selected by performing pattern matching using a reference image composed of a planar image captured at the height H i , the workpiece W can be recognized (selected) quickly with high accuracy. In addition, since the workpiece W that is easy to grip and easily pick out is preferentially selected, the workpiece W can be reliably gripped and removed.
また本発明のワークの認識方法は、設定枠１０７を設けることで把持可能なワークＷのみを対象としてワークＷを選出することができるのでマッチング領域が狭く、結果、迅速にワークＷを選出することができる。また無駄なピッキング操作を防止することができる。 In the workpiece recognition method of the present invention, since the workpiece W can be selected only for the grippable workpiece W by providing the setting frame 107, the matching area is narrow, and as a result, the workpiece W can be selected quickly. Can do. In addition, useless picking operations can be prevented.
また本発明のランダムピッキング方法は、ワークＷを把持した状態で把持したワークＷの周囲のワークＷの配置状態を掻き乱す撹乱操作をワークＷの把持操作毎に行うので、バラ積みされたワークＷが平滑化され易く、ピッキングの後半においてもワークＷを確実に把持し取出すことができる。 In addition, the random picking method of the present invention performs the disturbance operation for disturbing the arrangement state of the workpieces W around the workpiece W gripped in the state of gripping the workpiece W for each gripping operation of the workpiece W. Is easily smoothed, and the workpiece W can be reliably grasped and taken out even in the latter half of picking.
本発明のワークの認識方法及びランダムピッキング方法は、上記実施形態に限定されるものではなく要旨を変更しない範囲で変形して使用することができる。以下に本発明のワークの認識方法及びランダムピッキング方法の変形例を示す。 The workpiece recognition method and random picking method of the present invention are not limited to the above-described embodiment, and can be used by being modified without changing the gist. The modification of the workpiece | work recognition method and random picking method of this invention is shown below.
上記実施形態では、予め記憶手段２４に基準画像として、１個のワークＷに対して異なる高さで撮像された複数枚の平面画像を格納し、図２に示すように距離画像データからバラ積みされたワークＷのうち一番高いワークＷの高さＨを算出し（ステップＳ３）、格納された基準画像の中からワークＷの高さＨに最も近い高さＨｉで撮像された基準画像を読み出し（ステップＳ４）、これを用いてパターンマッチングを行う（ステップＳ５）が、これを以下のように変形することもできる。 In the above-described embodiment, a plurality of planar images captured at different heights for one workpiece W are stored in advance in the storage unit 24 as a reference image, and are accumulated from the distance image data as shown in FIG. has been to calculate the height H of the highest workpiece W of the workpiece W (step S3), and stored reference image captured by the nearest height H i to the height H of the workpiece W from the reference image Is read out (step S4) and pattern matching is performed using this (step S5), but this can be modified as follows.
１個のワークＷに対して所定（既知）の高さで撮像された１枚の平面画像を取得し、これを記憶手段２４に基準画像の元データとして格納する。パターンマッチングを行う際には、バラ積みされたワークＷのうち一番高いワークＷの高さＨに対応した基準画像を、先の基準画像の元データを基に計算により求める（ステップＳ４）。基準画像の大きさは、ワークＷの高さに対して一次的（直線的）に比例し、バラ積み高さが高くワークＷとカラー画像センサー１３との距離が短いほど大きくなる。高さが既知の１つの基準画像があれば、それを元に異なる高さの基準画像を容易に算出することができる。 One plane image captured at a predetermined (known) height for one workpiece W is acquired and stored in the storage unit 24 as original data of a reference image. When performing pattern matching, a reference image corresponding to the height H of the highest workpiece W among the stacked workpieces W is obtained by calculation based on the original data of the previous reference image (step S4). The size of the reference image is linearly (linearly) proportional to the height of the workpiece W, and increases as the stacking height increases and the distance between the workpiece W and the color image sensor 13 decreases. If there is one reference image having a known height, a reference image having a different height can be easily calculated based on the reference image.
元データとなる基準画像を撮像する高さは、特に限定されるものではないが、ワークＷのバラ積み高さのほぼ中央が好ましい。元データとなる基準画像の高さが求める高さと近い程、誤差が小さくなる。本方法は、基準画像となる元データが１つあればよいので、記憶手段２４の容量を小さくすることができる。 The height at which the reference image serving as the original data is picked up is not particularly limited, but is preferably about the center of the stacked height of the workpieces W. The closer the height of the reference image as the original data is to the desired height, the smaller the error. In this method, since only one original data serving as a reference image is required, the capacity of the storage unit 24 can be reduced.
ロボットハンド３６によるワークＷの把持の容易性、把持成功率は、ワークＷの形態により大きく異なる。例えばワークＷが球であれば、バラ積みの状態に係わらず姿勢が同一であるので把持し易い。円柱状のワークであれば、立った状態よりも、水平に倒れている状態の方が把持し易い。一方、特定の凸部を把持するような特異な形態のワークＷであれば、特定の位置・姿勢でなければ把持することはできない。 The ease of gripping the workpiece W by the robot hand 36 and the success rate of gripping vary greatly depending on the form of the workpiece W. For example, if the workpiece W is a sphere, it is easy to grip because the posture is the same regardless of the state of bulk loading. If it is a columnar workpiece, it is easier to grip in a state of being tilted horizontally than in a standing state. On the other hand, if the workpiece W has a unique shape that grips a specific convex portion, it cannot be gripped unless it is in a specific position / posture.
以上のことから把持し易いワークＷは、ワークＷの位置、姿勢に対する制約が緩やかであるためパターンマッチングの閾値を低く設定してもよい。一方、把持し難いワークＷは、ワークＷの位置、姿勢に対する制約が厳しいので閾値を高く設定する必要がある。ワークの認識方法において、形態の異なるワークＷに対して異なる閾値を設定可能とし、把持し易いワークＷは閾値を低く、把持し難いワークＷは閾値を高く設定することで、把持可能なワークＷを迅速に選出し、かつワークＷを確実に把持し取出すことが可能となる。 As described above, the workpiece W that is easy to grip may be set to a low threshold value for pattern matching because restrictions on the position and posture of the workpiece W are gentle. On the other hand, since the work W that is difficult to grip has severe restrictions on the position and posture of the work W, it is necessary to set a high threshold. In the workpiece recognition method, different threshold values can be set for workpieces W of different forms, the workpiece W that is easy to grip is set to a low threshold value, and the workpiece W that is difficult to grip is set to a high threshold value. Can be selected quickly, and the workpiece W can be reliably grasped and taken out.
上記実施形態では、平面画像に設定された設定枠１０７内全体をパターンマッチングするが、設定枠１０７内全体をパターンマッチングすることなく所定の数のワークＷが検出された時点で、パターンマッチングを終了し、その中から閾値の最も高いワークＷを選出するようにしてもよい。 In the above embodiment, pattern matching is performed on the entire setting frame 107 set in the planar image, but pattern matching is terminated when a predetermined number of workpieces W are detected without pattern matching on the entire setting frame 107. Then, the workpiece W having the highest threshold value may be selected from among them.
ロボットハンド３６でワークＷを把持する場合、ロボットハンド３６を傾斜させることなく鉛直状態でアプローチし把持することができれば、ワークＷのピックアップを迅速に行うことができる。ロボットハンド３６を傾斜させることなく鉛直状態でアプローチしワークＷを把持できる領域を予め把握し、これを平面画像に重ね合せこの領域内でワークＷを選出するようにすれば、ワークＷを迅速に選出し、ワークＷのピックアップを迅速に行なえる。 When gripping the workpiece W with the robot hand 36, if the robot hand 36 can be approached and gripped in a vertical state without tilting, the workpiece W can be picked up quickly. If the robot hand 36 is approached in a vertical state without being tilted and a region where the workpiece W can be gripped is grasped in advance and this is overlapped with a planar image so that the workpiece W is selected in this region, the workpiece W can be quickly moved. Select and pick up the workpiece W quickly.
図３（ｃ）にロボットハンド３６を傾斜させることなく鉛直状態でアプローチしワークＷを把持できる領域１０９を示した。ロボットハンド３６を傾斜させることなく鉛直状態でアプローチしワークＷを把持できる領域１０９は、箱１０１とロボット本体３２との位置関係、さらには箱１０１の大きさ等により異なるので、予め実験等によりその領域１０９を確認しておく必要がある。 FIG. 3C shows an area 109 in which the robot W 36 can be approached in a vertical state without tilting and the workpiece W can be gripped. The region 109 in which the robot W 36 can be approached in a vertical state without tilting and can hold the workpiece W varies depending on the positional relationship between the box 101 and the robot body 32, the size of the box 101, and the like. The area 109 needs to be confirmed.
上記実施形態に示すランダムピッキング方法では、ワークＷを把持した状態で把持したワークＷの周囲のワークＷの配置状態を掻き乱す撹乱操作をワークＷの把持操作毎に行うが、ワークＷを把持できなかった場合にのみ、ワークＷを把持しに行った場所の周囲のワークＷの配置状態を掻き乱す撹乱操作を行うようにしてもよい。 In the random picking method shown in the above embodiment, a disturbance operation that disturbs the arrangement state of the workpiece W around the workpiece W held in the state of holding the workpiece W is performed for each gripping operation of the workpiece W. Only when there is not, a disturbance operation that disturbs the arrangement state of the workpiece W around the place where the workpiece W was held may be performed.
予め定める閾値以上の相関値を有するワークＷが１個も検出されない場合には、箱１０１の中にロボットハンド３６を突っ込みワークＷを掻き乱し、又は箱１０１を振動させる装置を設け、箱１０１を振動させることで箱１０１内のワークＷを掻き乱すようにするのがよい。それでもワークＷを検出できないとは、警告を発するのがよい。 If no workpiece W having a correlation value equal to or greater than a predetermined threshold value is detected, a device is provided in which the robot hand 36 is pushed into the box 101 to disturb the workpiece W or vibrate the box 101. It is preferable to disturb the work W in the box 101 by vibrating. If the work W is still not detected, a warning should be issued.
ワーク認識方法で選出されるワークＷは、相関値が最大のワークＷゆえ、当該ワークＷが把持できなかった場合、次回も当該ワークＷが選出される可能性が高い。そこで把持できなかったワークＷが次回も選出されないように当該ワークＷのデータを欠損させてもよい。 Since the workpiece W selected by the workpiece recognition method has the maximum correlation value, if the workpiece W cannot be gripped, there is a high possibility that the workpiece W will be selected next time. Therefore, the data of the workpiece W may be lost so that the workpiece W that could not be gripped is not selected next time.
以上のとおり、図面を参照しながら好適な実施形態を説明したが、当業者であれば、本明細書を見て、自明な範囲内で種々の変更及び修正を容易に想定するであろう。従って、そのような変更及び修正は、請求の範囲から定まる発明の範囲内のものと解釈される。 As described above, the preferred embodiments have been described with reference to the drawings. However, those skilled in the art will readily understand various changes and modifications within the obvious scope by looking at the present specification. Therefore, such changes and modifications are interpreted as being within the scope of the invention defined by the claims.
１ ランダムピッキングシステム
１１ 撮像装置
１２ カラー画像センサー
１３ 距離画像センサー
２１ ワーク認識装置
２２ 入出力手段
２３ 制御手段
２４ 記憶手段
２５ 演算手段
２６ 画像入力部
２７ 画像処理部
２８ ワーク位置・姿勢算出部
２９ ロボットデータ処理部
３１ ロボット
３２ ロボット本体
３３ ロボット制御装置
３５ ロボットアーム
３６ ロボットハンド
１０１ 箱
１０３ 箱の側面（側壁）
１０５ 箱の底面
１０７ 枠（設定枠）
１０９ 領域
Ｈ ワークの高さ
Ｈｉ 基準画像の高さ
Ｎ ワークＷの孔
Ｗ ワーク
DESCRIPTION OF SYMBOLS 1 Random picking system 11 Imaging device 12 Color image sensor 13 Distance image sensor 21 Work recognition device 22 Input / output means 23 Control means 24 Storage means 25 Calculation means 26 Image input part 27 Image processing part 28 Work position / attitude calculation part 29 Robot data Processing unit 31 Robot 32 Robot body 33 Robot control device 35 Robot arm 36 Robot hand 101 Box 103 Side (side wall) of box
105 Bottom of box 107 Frame (setting frame)
109 Region H Work height H i Reference image height N Work W hole W Work
Claims (5)
バラ積みされたワークの平面画像及び距離画像を取得する画像取得ステップと、
前記距離画像から最も高い位置にあるワークの高さを検出する高さ検出ステップと、
記憶手段に格納された基準画像の中から、前記高さ検出ステップで検出された高さに最も近い高さで撮像された基準画像を選出する基準画像選出ステップと、
前記基準画像選出ステップで選出した基準画像を用い前記画像取得ステップで取得した平面画像のパターンマッチングを行い、予め定める閾値以上の相関値を有するワークを検出するワーク検出ステップと、
前記ワーク検出ステップで検出されたワークの中から相関値の最も大きいワークを選出するワーク選出ステップと、
前記ワーク選出ステップで選出されたワークの中心座標及び傾きを算出するワーク位置・姿勢算出ステップと、
を含み、
前記記憶手段は、１個のワークに対して異なる高さで撮像された複数の平面画像からなる基準画像を格納することを特徴とするワーク認識方法。 A workpiece recognition method for random picking that grips and takes out workpieces stacked by a hand provided at the tip of a robot arm,
An image acquisition step of acquiring a plane image and a distance image of the workpieces stacked in bulk;
A height detecting step for detecting the height of the workpiece at the highest position from the distance image;
A reference image selection step of selecting a reference image captured at a height closest to the height detected in the height detection step from the reference images stored in the storage means;
Performing pattern matching of the planar image acquired in the image acquisition step using the reference image selected in the reference image selection step, and detecting a workpiece having a correlation value equal to or higher than a predetermined threshold;
A workpiece selection step of selecting a workpiece having the largest correlation value from the workpieces detected in the workpiece detection step;
A workpiece position / posture calculation step for calculating center coordinates and inclination of the workpiece selected in the workpiece selection step;
Including
The work recognizing method, wherein the storage means stores a reference image made up of a plurality of plane images taken at different heights for one work.
前記ワーク検出ステップでは、前記基準画像算出ステップで算出した基準画像を用い前記画像取得ステップで取得した平面画像のパターンマッチングを行い、
前記記憶手段は、１個のワークに対して既知の高さで撮像された１枚の平面画像からなる基準画像を格納することを特徴とする請求項１に記載のワーク認識方法。 Instead of the reference image selection step, a reference image composed of a single planar image captured at a known height with respect to a single workpiece is used as original data, and the height detected in the height detection step is calculated. A reference image calculation step of calculating a reference image of
In the workpiece detection step, pattern matching of the planar image acquired in the image acquisition step is performed using the reference image calculated in the reference image calculation step,
The work recognizing method according to claim 1, wherein the storage unit stores a reference image composed of a single planar image captured at a known height with respect to a single work.
さらに前記画像取得ステップで取得した平面画像に対してマッチングを行う領域を設定するマッチング領域設定ステップを含み、
前記ワーク検出ステップは、前記画像取得ステップで取得した平面画像に代えて、前記マッチング領域設定ステップで設定された領域内でパターンマッチングを行い、
マッチング領域は、箱の底面から、ロボットのアームが前記箱の側壁に接触しワークを把持できない領域を除外した領域に設定されていることを特徴とする請求項１又は請求項２に記載のワーク認識方法。 The workpieces are stacked in a box,
Furthermore, including a matching area setting step for setting an area for matching with the planar image acquired in the image acquisition step,
In the workpiece detection step, pattern matching is performed in the region set in the matching region setting step, instead of the planar image acquired in the image acquisition step.
3. The workpiece according to claim 1, wherein the matching area is set to an area excluding an area where the robot arm is in contact with the side wall of the box and cannot hold the workpiece from the bottom surface of the box. Recognition method.
前記閾値と前記ワークの形態との間に相関関係が成立することを特徴とする請求項１から請求項３のいずれか１項に記載のワーク認識方法。 As the threshold value, different values are set for workpieces having different forms,
The work recognition method according to claim 1, wherein a correlation is established between the threshold value and the form of the work.
請求項１から請求項４のいずれか１項に記載のワーク認識方法を含み、
前記ワーク選出ステップで選出されたワークをロボットアームの先端に設けられたハンドで把持するワーク把持ステップと、
前記ロボットアームを動かし、ワークを把持した状態で把持したワークの周囲のワークの配置状態を掻き乱す撹乱ステップと、
を含み、
前記撹乱ステップが、前記ワーク把持ステップ後に毎回実施されることを特徴とするランダムピッキング方法。 A random picking method for grasping and taking out a workpiece stacked in bulk by a hand provided at the tip of a robot arm,
A workpiece recognition method according to any one of claims 1 to 4, comprising:
A workpiece gripping step of gripping the workpiece selected in the workpiece selection step with a hand provided at the tip of the robot arm;
A disturbing step of moving the robot arm and disturbing an arrangement state of a workpiece around the workpiece grasped in a state of grasping the workpiece;
Including
The random picking method, wherein the disturbing step is performed every time after the workpiece gripping step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016059314A JP6666764B2 (en) | 2016-03-24 | 2016-03-24 | Work recognition method and random picking method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016059314A JP6666764B2 (en) | 2016-03-24 | 2016-03-24 | Work recognition method and random picking method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017170567A true JP2017170567A (en) | 2017-09-28 |
| JP6666764B2 JP6666764B2 (en) | 2020-03-18 |
Family
ID=59969950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016059314A Expired - Fee Related JP6666764B2 (en) | 2016-03-24 | 2016-03-24 | Work recognition method and random picking method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6666764B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020050405A1 (en) * | 2018-09-07 | 2020-03-12 | Ntn株式会社 | Work device |
| WO2020049774A1 (en) * | 2018-09-07 | 2020-03-12 | オムロン株式会社 | Manipulator and mobile robot |
| DE102019001038B4 (en) | 2018-02-19 | 2022-04-21 | Fanuc Corporation | Simulation device that simulates the workflow of a robot |
| WO2024090328A1 (en) * | 2022-10-24 | 2024-05-02 | ソフトバンクグループ株式会社 | Information processing device, information processing method, and information processing program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013101045A (en) * | 2011-11-08 | 2013-05-23 | Fanuc Ltd | Recognition device and recognition method of three-dimensional position posture of article |
| JP2015079374A (en) * | 2013-10-17 | 2015-04-23 | セイコーエプソン株式会社 | Object recognition device, object recognition method, object recognition program, robot system, and robot |
-
2016
- 2016-03-24 JP JP2016059314A patent/JP6666764B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013101045A (en) * | 2011-11-08 | 2013-05-23 | Fanuc Ltd | Recognition device and recognition method of three-dimensional position posture of article |
| JP2015079374A (en) * | 2013-10-17 | 2015-04-23 | セイコーエプソン株式会社 | Object recognition device, object recognition method, object recognition program, robot system, and robot |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102019001038B4 (en) | 2018-02-19 | 2022-04-21 | Fanuc Corporation | Simulation device that simulates the workflow of a robot |
| US11446822B2 (en) | 2018-02-19 | 2022-09-20 | Fanuc Corporation | Simulation device that simulates operation of robot |
| WO2020050405A1 (en) * | 2018-09-07 | 2020-03-12 | Ntn株式会社 | Work device |
| WO2020049774A1 (en) * | 2018-09-07 | 2020-03-12 | オムロン株式会社 | Manipulator and mobile robot |
| JP2020040144A (en) * | 2018-09-07 | 2020-03-19 | オムロン株式会社 | Manipulator and mobile robot |
| JPWO2020050405A1 (en) * | 2018-09-07 | 2021-09-02 | Ntn株式会社 | Working equipment |
| JP7021620B2 (en) | 2018-09-07 | 2022-02-17 | オムロン株式会社 | Manipulators and mobile robots |
| WO2024090328A1 (en) * | 2022-10-24 | 2024-05-02 | ソフトバンクグループ株式会社 | Information processing device, information processing method, and information processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6666764B2 (en) | 2020-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102650492B1 (en) | A robotic system with automated package registration mechanism and methods of operating the same | |
| JP6140204B2 (en) | Transport robot system with 3D sensor | |
| JP4938115B2 (en) | Work take-out device and work take-out method | |
| US10894324B2 (en) | Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method | |
| JP6529302B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| JP4226623B2 (en) | Work picking device | |
| JP2019063984A (en) | Information processor, method, and robot system | |
| JP2019509559A (en) | Box location, separation, and picking using a sensor-guided robot | |
| US10434652B2 (en) | Workpiece picking system | |
| JP2018161692A (en) | Information processing system, information processing method and program | |
| JP6666764B2 (en) | Work recognition method and random picking method | |
| JP7191569B2 (en) | gripping device | |
| US11213954B2 (en) | Workpiece identification method | |
| JP6697204B1 (en) | Robot system control method, non-transitory computer-readable recording medium, and robot system control device | |
| JP2019181622A (en) | Hand control device and hand control system | |
| KR101919463B1 (en) | Gripper robot control system for picking of atypical form package | |
| JP2019150904A (en) | Information processing device and sorting system | |
| US20190126473A1 (en) | Information processing apparatus and robot arm control system | |
| JP2016196077A (en) | Information processor, information processing method, and program | |
| JP2022066611A (en) | Information processing device, information processing method, program, and unloading system | |
| JP5458807B2 (en) | Object gripping region extraction device and robot system using object gripping region extraction device | |
| CN113269112A (en) | Method and device for identifying capture area, electronic equipment and storage medium | |
| JP2019199335A (en) | Information processing device, information processing program, and sorting system | |
| CN116175542B (en) | Method, device, electronic equipment and storage medium for determining clamp grabbing sequence | |
| JP2020075340A (en) | Operation system, control device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20160328 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191226 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191225 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200221 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6666764 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |