JP2017124450A

JP2017124450A - Pickup device

Info

Publication number: JP2017124450A
Application number: JP2016003645A
Authority: JP
Inventors: 大輔三池; Daisuke Miike; 弘二郎大島; Kojiro Oshima; 二大吉満; Tsuguhiro Yoshimitsu; 弘典楠木; Hironori Kusuki
Original assignee: SOFT SERVICE KK
Current assignee: SOFT SERVICE KK
Priority date: 2016-01-12
Filing date: 2016-01-12
Publication date: 2017-07-20

Abstract

PROBLEM TO BE SOLVED: To provide a pickup device capable of accurately taking out work-pieces placed in bulk in a short period of time, and aligning them in predetermined positions.SOLUTION: A pickup device comprises: a first imaging part 4 capable of imaging substantially whole area of a take-out part S1; a second imaging part 5 disposed in a handling part 3; first position/attitude information determination means 20 for determining approximate position information and approximate attitude information of a work-piece WA on the basis of a first image G1 acquired from the first imaging part 4; driving means 15 for driving a robot arm 2 and/or the handling part 3 on the basis of the approximate position information and approximate attitude information so that the second imaging part 5 can approach the work-piece to face it; and second position/attitude information determination means 23 for determining precise position information and precise attitude information of the work-piece WA on the basis of a second image G2 acquired from the second imaging part 5.SELECTED DRAWING: Figure 1

Description

本発明は、多品種のバラ積みされたワークを一つずつ取り出して所定の場所に整列させることが可能なピックアップ装置に関するものである。 The present invention relates to a pick-up device that can take out a wide variety of loosely stacked workpieces one by one and align them at a predetermined location.

バラ積みされたワークを一つずつ取り出すことが可能な装置としては、例えば特許文献１に示されるような装置が知られている。この装置では、ロボットアームの先端にハンドと三次元視覚センサとを設けていて、三次元視覚センサで得られるワークの画像データに基づいてロボットアームとハンドとを動かすことにより、ワークの取り出しができるとしている。 As an apparatus capable of taking out workpieces stacked one by one, for example, an apparatus as shown in Patent Document 1 is known. In this device, a hand and a three-dimensional visual sensor are provided at the tip of the robot arm, and the workpiece can be taken out by moving the robot arm and the hand based on the image data of the workpiece obtained by the three-dimensional visual sensor. It is said.

また、ロボットアームの先端にハンドを設ける一方、ロボットアームとは分離させてバラ積みされたワークの上方に三次元撮像装置を設置した装置も知られている（例えば特許文献２参照）。 There is also known an apparatus in which a hand is provided at the tip of a robot arm and a three-dimensional imaging device is installed above a workpiece that is separated from the robot arm and stacked (see, for example, Patent Document 2).

特開２００４−２３０５１３号公報JP 2004-230513 A 特開２０１５−２１３９７３号公報Japanese Patent Laying-Open No. 2015-213773

ところで、特許文献１に記載の装置では、一旦ロボットアームを駆動させ、三次元視覚センサをワークの一つに近づけなければワークの状況が確認できないものである。すなわち、三次元視覚センサで認識したワークが他のワークが邪魔になって取り出しが行えない場合は、更にロボットアームを駆動させて別のワークを認識させなければならないため、ワークの取り出しに時間を要することがあった。これに対して特許文献２に記載の装置では、ワークの上方に設置した三次元撮像装置によってバラ積みされたワーク全体を認識することができるため、取り出し可能なワークを選択してロボットアームを駆動することが可能である。しかし、このような三次元撮像装置ではワークの認識精度が劣るため、ワークの位置や姿勢を誤認識してしまうおそれがあった。特に、多品種のワークが混在してバラ積みされた状態では、誤認識が高い頻度で生じるおそれがあった。 By the way, in the apparatus described in Patent Document 1, the state of the workpiece cannot be confirmed unless the robot arm is once driven and the three-dimensional visual sensor is brought close to one of the workpieces. In other words, if the workpiece recognized by the 3D visual sensor cannot be removed due to the interference of another workpiece, the robot arm must be further driven to recognize another workpiece. It sometimes took. On the other hand, in the apparatus described in Patent Document 2, since the whole work stacked by the three-dimensional imaging device installed above the work can be recognized, the pickable work is selected and the robot arm is driven. Is possible. However, since such a three-dimensional imaging apparatus has inferior workpiece recognition accuracy, the workpiece position and orientation may be erroneously recognized. In particular, in the state where a variety of workpieces are mixed and stacked, there is a possibility that erroneous recognition occurs frequently.

本発明はこのような問題点を解決することを課題とするものであり、多品種のバラ積みされたワークを短時間で且つ正確に取り出して所定の場所に整列させることができるピックアップ装置を提案することを目的とする。 The present invention has an object to solve such problems, and proposes a pickup device that can take out a wide variety of workpieces stacked in a short time and accurately and align them in a predetermined place. The purpose is to do.

本発明は、取り出し部にバラ積みされたワークの画像を取得する撮像部と、ロボットアーム及び該ロボットアームに設けたハンドリング部を、該ワークを取り出すとともに整列部に並べるように該ワークの画像に基づいて駆動させる制御部とを備えるピックアップ装置であって、前記撮像部は、前記取り出し部の略全域を撮像可能な第一撮像部と、前記ハンドリング部に設けられる第二撮像部とを備え、前記制御部は、前記第一撮像部から得られる前記ワークを含む第一画像から該ワークの概略位置情報及び概略姿勢情報を算出する第一位置姿勢算出手段と、該概略位置情報及び該概略姿勢情報に基づいて前記ロボットアーム及び／又は前記ハンドリング部を駆動させて前記第二撮像部を該ワークに正対させるように近づける駆動手段と、該第二撮像部から得られる第二画像から該ワークの詳細位置情報及び詳細姿勢情報を算出する第二位置姿勢算出手段とを備え、更に前記駆動手段は、該詳細位置情報及び該詳細姿勢情報に基づいて該ワークを該取り出し部から取り出して前記整列部に並べるように該ロボットアーム及び／又は該ハンドリング部を駆動するピックアップ装置である。 According to the present invention, an image pickup unit that acquires an image of a workpiece stacked in a pick-up unit, a robot arm, and a handling unit provided on the robot arm are extracted into the image of the work so that the workpiece is picked up and arranged in the alignment unit. A pickup unit including a control unit to be driven based on the imaging unit, the imaging unit includes a first imaging unit capable of imaging the entire entire area of the take-out unit, and a second imaging unit provided in the handling unit, The control unit includes first position and orientation calculation means for calculating approximate position information and approximate posture information of the workpiece from a first image including the workpiece obtained from the first imaging unit, the approximate position information and the approximate posture. Driving means for driving the robot arm and / or the handling unit based on information to bring the second imaging unit close to the workpiece; and Second position and orientation calculation means for calculating detailed position information and detailed posture information of the workpiece from the second image obtained from the second imaging unit, and the driving means is based on the detailed position information and the detailed posture information A pickup device that drives the robot arm and / or the handling unit so that the workpiece is taken out from the take-out unit and arranged in the alignment unit.

前記制御部は、前記ワークのマッチングモデルを複数記憶した記憶手段と、該マッチングモデルと前記第一画像とのマッチングを行って該第一画像中に該マッチングモデルに基づくワーク領域を特定する第一マッチング手段とを備え、該第一マッチング手段は、該記憶手段に記憶した該マッチングモデルのうち、ワークの面積が大きいマッチングモデルから順にマッチングを行うことが好ましい。 The control unit specifies a work area based on the matching model in the first image by storing a plurality of matching models of the work and performing matching between the matching model and the first image. It is preferable that the first matching unit performs matching in order from a matching model having a larger work area among the matching models stored in the storage unit.

前記第一マッチング手段は、一のマッチングモデルによってマッチングを行って前記第一画像中に該一のマッチングモデルに基づくワーク領域が特定されている場合は、このワーク領域以外の部分に対して他のマッチングモデルとのマッチングを行うことが好ましい。 The first matching means performs matching by using one matching model, and when a work area based on the one matching model is specified in the first image, another part other than the work area It is preferable to perform matching with a matching model.

前記制御部は、前記取り出し部における二以上の前記ワークのそれぞれに対して、前記ワーク領域におけるマッチングスコア、最大高さ、平均高さ、中央値高さ、重なり有無スコア、重なり面積比率の少なくとも１つを変数として含む評価関数を算出し、且つ該評価関数の値順に優先度を与え、更に該優先度が最も高い取り出し対象ワークに対して前記第二撮像部が近づくように前記駆動手段に指令を与える優先度設定手段を備えることが好ましい。 The control unit has at least one of a matching score, a maximum height, an average height, a median height, an overlap score, and an overlap area ratio in the work area for each of the two or more works in the take-out part. An evaluation function including two as variables, giving priorities in the order of the evaluation function values, and further instructing the driving means to bring the second imaging unit closer to the workpiece to be picked up with the highest priority. It is preferable to provide priority setting means for providing

前記制御部は、前記取り出し対象ワークを含む前記第二画像と前記マッチングモデルとのマッチングを行って、該第二画像中に取り出し対象ワーク領域と他のワーク領域とを特定する第二マッチング手段と、該取り出し対象ワーク領域に対して該他のワーク領域が重なる部位を特定するとともに、この重なる部位に応じて前記ハンドリング部で該取り出し対象ワークを保持する位置を変更するように前記駆動手段に指令を与えるピックアップ選択手段とを備えることが好ましい。 The control unit performs matching between the second image including the workpiece to be picked up and the matching model, and specifies second picking-up workpiece regions and other workpiece regions in the second image; And specifying the part where the other work area overlaps the work area to be taken out, and instructing the driving means to change the position at which the handling part holds the work to be taken out in accordance with the overlapping part It is preferable to include pickup selection means for providing

前記第一撮像部及び／又は前記第二撮像部は、前記第一画像及び／又は前記第二画像として、二次元画像と、高さ情報を含む二次元画像である三次元画像とを取得するものであり、前記マッチングモデルは前記ワークの三次元データと二次元画像とを紐付けしたものであり、前記制御部は、更に高さ補正手段を有するものであって、前記第一マッチング手段及び／又は前記第二マッチング手段は、該マッチングモデルと二次元画像の該第一画像及び／又は該第二画像とのマッチングを行って前記ワーク領域を特定するとともに該マッチングモデルの三次元データから得られる高さ情報を取得し、前記高さ補正手段は、該マッチングモデルと三次元画像の該第一画像及び／又は該第二画像とのマッチングを行うとともに、このマッチングから得られる高さ情報を用いて該マッチングモデルの三次元データから得られる高さ情報を補正することが好ましい。 The first imaging unit and / or the second imaging unit acquires a two-dimensional image and a three-dimensional image that is a two-dimensional image including height information as the first image and / or the second image. The matching model is obtained by associating the three-dimensional data and the two-dimensional image of the workpiece, and the control unit further includes a height correction unit, and the first matching unit and The second matching means specifies the work area by matching the matching model with the first image and / or the second image of a two-dimensional image, and obtains from the three-dimensional data of the matching model. The height correction means performs matching between the matching model and the first image and / or the second image of the three-dimensional image, and obtains from the matching. It is preferable to correct the height information obtained from three-dimensional data of the matching model using the height information.

前記取り出し部は、バラ積みされた前記ワークを収容するトレイを載置可能であって、前記制御部は、前記第一画像から該トレイ及び該ワークのエッジを抽出し、該トレイの内部を複数のエリアに区画するとともに、それぞれのエリアにおいて該ワークのエッジ有無スコアを算出し、更に該トレイの奥側に位置する奥側エリア群、手前側に位置する手前側エリア群、右側に位置する右側エリア群、左側に位置する左側エリア群毎に該エッジ有無スコアの合計を算出して、最も合計スコアの大きいエリア群とこのエリア群に対向するエリア群との間で該トレイを振動させるように前記駆動手段に指令を与える片寄り補正手段を備えることが好ましい。 The take-out unit can place a tray that accommodates the stacked workpieces, and the control unit extracts the tray and an edge of the workpiece from the first image, and a plurality of the insides of the tray are extracted. In each area, the edge presence / absence score of the workpiece is calculated, and the back side area group located on the far side of the tray, the near side area group located on the near side, and the right side located on the right side The sum of the edge presence / absence score is calculated for each area group and the left area group located on the left side, and the tray is vibrated between the area group having the largest total score and the area group facing this area group. It is preferable to provide a deviation correction means for giving a command to the driving means.

本発明のピックアップ装置は、ワークの画像を取得する撮像部として、バラ積みされたワークが載置される取り出し部の略全体を撮像可能な第一撮像部と、ハンドリング部に設けられる第二撮像部とを備えるものである。そして、第一撮像部から得られる第一画像からワークの概略位置情報及び概略姿勢情報を第一位置姿勢算出手段によって算出し、この概略位置情報及び概略姿勢情報に基づいて、ロボットアーム及び／又はハンドリング部を駆動手段によって駆動させて第二撮像部がワークに正対するように近づける。そして、第二撮像部から得られる第二画像から、第二位置姿勢算出手段によってワークの詳細位置情報及び詳細姿勢情報を取得することができる。すなわち、第一撮像部によって取り出し可能なワークを選択することができるうえ、ワークに正対するように近づけた第二撮像部によってワークの詳細な位置や姿勢を取得することができるので、バラ積みされたワークを短時間で且つ正確に取り出して所定の場所に整列させることが可能になる。また、ワークの形状等も正確に把握することができるので、多品種のワークが混在していても、意図したものを正確に取り出すことができる。 The pickup device according to the present invention has a first imaging unit capable of imaging substantially the entire takeout unit on which the stacked workpieces are placed, and a second imaging provided in the handling unit, as an imaging unit that acquires an image of the workpiece. Part. Then, the first position and orientation calculation means calculates the approximate position information and approximate orientation information of the workpiece from the first image obtained from the first imaging unit, and based on the approximate position information and approximate orientation information, the robot arm and / or The handling unit is driven by the driving means so that the second imaging unit approaches the workpiece. And the detailed position information and detailed posture information of a workpiece | work can be acquired from the 2nd image obtained from a 2nd imaging part by a 2nd position and orientation calculation means. That is, a work that can be taken out by the first image pickup unit can be selected, and a detailed position and posture of the work can be acquired by the second image pickup unit that is brought close to the work so that they are stacked. It is possible to take out the workpieces in a short time and accurately and align them at a predetermined place. In addition, since the shape of the workpiece can be accurately grasped, the intended object can be accurately taken out even when a variety of workpieces are mixed.

本発明に従うピックアップ装置の一実施形態を示す斜視図である。It is a perspective view which shows one Embodiment of the pick-up apparatus according to this invention. 図２（ａ）は図１に示すハンドリング部を拡大して示す斜視図であり、図２（ｂ）はその底面図である。2A is an enlarged perspective view showing the handling portion shown in FIG. 1, and FIG. 2B is a bottom view thereof. 図１に示すピックアップ装置の構成を示すブロック図である。It is a block diagram which shows the structure of the pick-up apparatus shown in FIG. 片寄り補正手段によるエッジ有無スコアの付与方法を説明する図であって、図４（ａ）はトレイの内部を複数のエリアに分割した状態を示す図であり、図４（ｂ）はワークがトレイ内で片寄っている状態を示す図である。FIGS. 4A and 4B are diagrams for explaining a method for assigning an edge presence / absence score by a deviation correction unit, in which FIG. 4A shows a state in which the inside of the tray is divided into a plurality of areas, and FIG. It is a figure which shows the state which has shifted in the tray. 第一位置姿勢算出手段による概略位置情報及び概略姿勢情報の算出方法を説明する図である。It is a figure explaining the calculation method of the approximate position information and approximate attitude information by the first position and orientation calculation means. ピックアップ選択手段によるワークを保持する位置の変更方法を説明する図であって、図６（ａ）はワーク（鋏）の概略図であり、図６（ｂ）は他のワークとの重なりやフィンガーとの干渉に対応させてピックアップの仕方を変更することを示す表である。FIGS. 6A and 6B are diagrams for explaining a method of changing a position for holding a workpiece by a pickup selection unit, in which FIG. 6A is a schematic diagram of the workpiece (鋏), and FIG. 5 is a table showing that the way of pickup is changed in response to interference with ピックアップ選択手段によるワークを保持する位置の変更方法を説明する図であって、図７（ａ）はワーク（鉗子）の概略図であり、図７（ｂ）は他のワークとの重なりやフィンガーとの干渉に対応させてピックアップの仕方を変更することを示す表である。FIG. 7A is a schematic diagram of a work (forceps), and FIG. 7B is an overlap view of another work and fingers. 5 is a table showing that the way of pickup is changed in response to interference with ピックアップ選択手段によるワークを保持する位置の変更方法を説明する図であって、図８（ａ）はワーク（ピンセット（横向き））の概略図であり、図８（ｂ）は他のワークとの重なりやフィンガーとの干渉に対応させてピックアップの仕方を変更することを示す表である。FIGS. 8A and 8B are diagrams for explaining a method of changing a position for holding a workpiece by a pickup selection unit, in which FIG. 8A is a schematic diagram of the workpiece (tweezers (laterally)), and FIG. It is a table | surface which shows changing the method of a pick-up according to an overlap and interference with a finger. ピックアップ選択手段によるワークを保持する位置の変更方法を説明する図であって、図９（ａ）はワーク（ピンセット（縦向き））の概略図であり、図９（ｂ）は他のワークとの重なりやフィンガーとの干渉に対応させてピックアップの仕方を変更することを示す表である。FIGS. 9A and 9B are diagrams for explaining a method of changing a position for holding a workpiece by a pickup selection unit, in which FIG. 9A is a schematic diagram of the workpiece (tweezers (vertical orientation)), and FIG. 4 is a table showing that the way of picking up is changed in response to the overlap of the finger and the interference with the finger. トレイＴ内に種々のワークがバラ積みされている状態を示す図である。It is a figure which shows the state by which the various workpiece | work is piled up in the tray.

図１を参照しつつ、本発明に従うピックアップ装置の一実施形態について説明する。図中、符号１は本発明に従うピックアップ装置の一実施形態を示す。ピックアップ装置１は、ワークＷＡ（図１では鋏）がバラ積み状態で載置される取り出し部Ｓ１と、取り出し部Ｓ１から取り出されたワークＷＡを開いた状態で並べて載置する整列部Ｓ２とを備えていて、更に取り出し部Ｓ１と整列部Ｓ２の間には、取り出し部Ｓ１から取り出したワークＷＡを一旦載置する仮置き部Ｓ３と、閉じた状態のワークＷＡを開いた状態にする鋏開き部Ｓ４が設けられている。なお、取り出し部Ｓ１と整列部Ｓ２にはトレイＴが載置され、ワークＷＡはトレイＴ内に載置される。 An embodiment of a pickup device according to the present invention will be described with reference to FIG. In the figure, reference numeral 1 denotes an embodiment of a pickup device according to the present invention. The pick-up device 1 includes a take-out unit S1 on which the workpieces WA (the baskets in FIG. 1) are placed in a stacked state, and an alignment unit S2 that places and places the workpieces WA taken out from the take-out unit S1 in an open state. Further, a temporary placement unit S3 for temporarily placing the work WA taken out from the take-out unit S1 and a fold-opening for opening the closed work WA between the take-out unit S1 and the alignment unit S2 Part S4 is provided. The tray T is placed on the take-out part S1 and the alignment part S2, and the workpiece WA is placed in the tray T.

またピックアップ装置１は、ワークＷＡを取り出し部Ｓ１から取り出して整列部Ｓ２に並べるものとして、ロボットアーム２とハンドリング部３とを備えている。本実施形態のロボットアーム２は、多関節ロボットのアームであるが、例えばパラレルリンクロボットのアーム（リンク機構）であってもよい。なお、ハンドリング部３の詳細な構成については後述する。 Further, the pickup device 1 includes a robot arm 2 and a handling unit 3 for taking out the workpiece WA from the take-out unit S1 and arranging it on the alignment unit S2. The robot arm 2 of the present embodiment is an articulated robot arm, but may be a parallel link robot arm (link mechanism), for example. The detailed configuration of the handling unit 3 will be described later.

更にピックアップ装置１は、ワークＷＡの画像を取得する撮像部として、取り出し部Ｓ１の上方に設けられる第一撮像部４と、ハンドリング部３に設けられる第二撮像部５（図２（ｂ）参照）とを備えている。第一撮像部４は、取り出し部Ｓ１の略全域を撮像可能であって、取り出し部Ｓ１に載置されたトレイＴ及びバラ積みされたワークＷＡの平面での配置を示す二次元画像と、二次元画像に高さの情報を含めた三次元画像とを取得することが可能である。また第二撮像部５は、第一撮像部４よりも狭い領域を撮像するものであって、ロボットアーム２を移動させることによって任意のワークＷＡに対する二次元画像と三次元画像を取得することが可能である。なお以下、第一撮像部４によって得られる画像を「第一画像Ｇ１」と称し、第二撮像部５によって得られる画像を「第二画像Ｇ２」と称する。また本実施形態の三次元画像は、第一撮像部４や第二撮像部５から撮像対象までの距離に応じて濃淡値が変化する高さ画像（距離画像）である。 Further, the pickup device 1 has a first imaging unit 4 provided above the take-out unit S1 and a second imaging unit 5 provided in the handling unit 3 (see FIG. 2B) as an imaging unit that acquires an image of the workpiece WA. ). The first imaging unit 4 can image substantially the entire area of the take-out unit S1, and includes a two-dimensional image showing the arrangement of the tray T placed on the take-out unit S1 and the stacked workpieces WA in a plane, and two It is possible to acquire a three-dimensional image including height information in a three-dimensional image. The second imaging unit 5 captures an area narrower than the first imaging unit 4, and can acquire a two-dimensional image and a three-dimensional image for an arbitrary workpiece WA by moving the robot arm 2. Is possible. Hereinafter, the image obtained by the first imaging unit 4 is referred to as “first image G1”, and the image obtained by the second imaging unit 5 is referred to as “second image G2”. The three-dimensional image of the present embodiment is a height image (distance image) in which the gray value changes according to the distance from the first imaging unit 4 or the second imaging unit 5 to the imaging target.

次に、図２（ａ）、（ｂ）を参照しながら、第二撮像部５が設けられるハンドリング部３の詳細な構成について説明する。 Next, a detailed configuration of the handling unit 3 in which the second imaging unit 5 is provided will be described with reference to FIGS.

ハンドリング部３は、板状になる保持部６を備えていて、その上面に第二撮像部５（本実施形態では１台のカメラ）を保持している。第二撮像部５の外側には、一対のプロジェクター７が設けられている。保持部６の中央部には開口部８が設けられていて、第二撮像部５及びプロジェクター７は、この開口部８を通してワークＷＡの画像を取得することができる。本実施形態では、２つのプロジェクター７から種々のパターンでワークＷＡに光を照射し、第二撮像部５では、ワークＷＡからの反射光を捉えるとともに所定の画像処理を行って三次元画像を生成している。なお、三次元画像を生成するにあたっては、上述した構成の他、例えば２つのカメラを用いて三角測量の原理で計測を行う等、種々の構成を用いることができる。また保持部６の上面には、ロボットアーム２に保持される部位として、第二撮像部５及びプロジェクター７を取り囲むような門型形状の装着部９を備えている。 The handling unit 3 includes a plate-shaped holding unit 6 and holds the second imaging unit 5 (one camera in the present embodiment) on the upper surface thereof. A pair of projectors 7 is provided outside the second imaging unit 5. An opening 8 is provided at the center of the holding unit 6, and the second imaging unit 5 and the projector 7 can acquire an image of the workpiece WA through the opening 8. In the present embodiment, the workpiece WA is irradiated with light from the two projectors 7 in various patterns, and the second imaging unit 5 captures reflected light from the workpiece WA and performs predetermined image processing to generate a three-dimensional image. doing. In generating a three-dimensional image, in addition to the above-described configuration, various configurations can be used, such as measurement using the principle of triangulation using two cameras. Further, on the upper surface of the holding unit 6, as a part held by the robot arm 2, a gate-shaped mounting unit 9 that surrounds the second imaging unit 5 and the projector 7 is provided.

保持部６の下面には、ワークＷＡを保持する４本のフィンガー（第一フィンガー１０〜第四フィンガー１３）が設けられている。また第一フィンガー１０〜第四フィンガー１３の先端には、これらのフィンガーの軸線方向に対して直交する向きに延在する爪部１０ａ〜１３ａが設けられている。本実施形態の爪部１０ａ〜１３ａは、各フィンガーの軸線を挟んで両側に延在するように設けられている。なお図示は省略するが、第一フィンガー１０〜第四フィンガー１３は上下に二分割されるともに、その下部分は上部分に対して下向きの付勢力を持ちつつ上下動可能に設けられている。すなわち、第一フィンガー１０〜第四フィンガー１３がワークＷＡに対して上方から押し当たることがあっても、第一フィンガー１０〜第四フィンガー１３の下部分を上方に逃がすことができる。 On the lower surface of the holding portion 6, four fingers (first finger 10 to fourth finger 13) that hold the workpiece WA are provided. Further, claw portions 10a to 13a extending in a direction orthogonal to the axial direction of these fingers are provided at the tips of the first finger 10 to the fourth finger 13. The claw portions 10a to 13a of the present embodiment are provided so as to extend on both sides across the axis of each finger. Although illustration is omitted, the first finger 10 to the fourth finger 13 are divided into two parts in the vertical direction, and the lower part thereof is provided so as to move up and down while having a downward biasing force with respect to the upper part. That is, even if the first finger 10 to the fourth finger 13 are pressed against the workpiece WA from above, the lower portions of the first finger 10 to the fourth finger 13 can be released upward.

第一フィンガー１０〜第四フィンガー１３は、図２（ａ）、（ｂ）に示す矢印Ｘ、Ｙに沿って移動可能に設けられている。本実施形態では、第一フィンガー１０、第二フィンガー１１をともにＸ方向に移動させるＸ方向第一駆動部と、第三フィンガー１２、第四フィンガー１３をともにＸ方向に移動させるＸ方向第二駆動部と、第一フィンガー１０、第二フィンガー１１をそれぞれＹ方向に移動させるＹ方向第一、第二駆動部と、第三フィンガー１２、第四フィンガー１３をそれぞれＹ方向に移動させるＹ方向第三、第四駆動部とから構成されている。なお、Ｘ方向第一駆動部等は、直線状に延在する固定子と固定子に対してスライド可能に設けられた可動子とからなるリニアモータを、複数組み合わせて構成したものである。 The first finger 10 to the fourth finger 13 are provided so as to be movable along arrows X and Y shown in FIGS. In the present embodiment, an X-direction first drive unit that moves both the first finger 10 and the second finger 11 in the X direction, and an X-direction second drive that moves both the third finger 12 and the fourth finger 13 in the X direction. Y-direction first and second drive parts for moving the part, the first finger 10 and the second finger 11 in the Y-direction, respectively, and the Y-direction third for moving the third finger 12 and the fourth finger 13 in the Y-direction, respectively. And the fourth drive unit. Note that the X-direction first drive unit and the like are configured by combining a plurality of linear motors including a linearly extending stator and a mover provided to be slidable with respect to the stator.

更にピックアップ装置１は、図３に示す制御部１４を備えている。制御部１４は、第一撮像部４と第二撮像部５から得られる第一画像Ｇ１と第二画像Ｇ２に基づいて、ロボットアーム２とハンドリング部３とを駆動させ、取り出し部Ｓ１からワークＷＡを取り出して整列部Ｓ２に並べるように機能するものである。本実施形態の制御部１４は、ロボットアーム２とハンドリング部３とを駆動させる駆動手段１５を備えている。更に制御部１４は、片寄り補正手段１６と、記憶手段１７と、第一マッチング手段１８と、優先度設定手段１９と、第一位置姿勢算出手段２０と、第二マッチング手段２１と、ピックアップ選択手段２２と、第二位置姿勢算出手段２３と、高さ補正手段２４とを備えている。 Further, the pickup device 1 includes a control unit 14 shown in FIG. The control unit 14 drives the robot arm 2 and the handling unit 3 based on the first image G1 and the second image G2 obtained from the first imaging unit 4 and the second imaging unit 5, and the workpiece WA from the take-out unit S1. Are taken out and arranged in the alignment unit S2. The control unit 14 according to the present embodiment includes a driving unit 15 that drives the robot arm 2 and the handling unit 3. Further, the control unit 14 includes a deviation correction unit 16, a storage unit 17, a first matching unit 18, a priority setting unit 19, a first position / orientation calculation unit 20, a second matching unit 21, and a pickup selection. Means 22, second position and orientation calculation means 23, and height correction means 24 are provided.

次に、このような構成になるピックアップ装置１によって、取り出し部Ｓ１に載置されたワークＷＡを取り出して整列部Ｓ２に並べる方法について説明する。 Next, a description will be given of a method of taking out the workpieces WA placed on the take-out unit S1 and arranging them on the alignment unit S2 by the pickup device 1 having such a configuration.

取り出し部Ｓ１に載置されたワークＷＡを取り出すにあたり、ワークＷＡがトレイＴの端に偏って載置されていると、トレイＴの縁が邪魔になってハンドリング部３で取り出すことができないおそれがある。このため本実施形態のピックアップ装置１では、ワークＷＡがトレイＴ内に偏って載置されている場合には、片寄り補正手段１６の作用によってトレイＴを振動させて、ワークＷＡをトレイＴの中央付近に寄せるようにしている。 When the work WA placed on the take-out part S1 is taken out, if the work WA is placed on the end of the tray T, the edge of the tray T may be in the way and cannot be taken out by the handling part 3. is there. For this reason, in the pickup device 1 of the present embodiment, when the workpiece WA is biased and placed in the tray T, the tray T is vibrated by the action of the deviation correction means 16 so that the workpiece WA is placed on the tray T. I try to bring it close to the center.

まずピックアップ装置１は、取り出し部Ｓ１に載置されたトレイＴとバラ積みされたワークＷＡを第一撮像部４で撮像して第一画像Ｇ１を取得する。なお、本実施形態では三次元画像（高さ画像）を取得しているが、ワークの形状等によっては二次元画像を取得しても、或いは両方を取得してもよい。 First, the pickup device 1 acquires the first image G <b> 1 by imaging the tray T placed on the take-out unit S <b> 1 and the workpieces WA stacked in bulk by the first imaging unit 4. In this embodiment, a three-dimensional image (height image) is acquired. However, depending on the shape of the workpiece, a two-dimensional image may be acquired, or both may be acquired.

次に片寄り補正手段１６によって、第一画像Ｇ１におけるトレイＴとワークＷＡのエッジを抽出する。本実施形態の片寄り補正手段１６では、第一画像Ｇ１として三次元画像を使用している。そしてトレイＴのエッジを抽出した後は、図４（ａ）に示すように、トレイＴの内部を複数のエリアに分割する（本実施形態ではエリアＥ１〜Ｅ２５の合計２５個）。更に、エリアＥ１〜Ｅ２５のそれぞれにおいて、ワークＷＡのエッジ有無スコアを算出する。ここでエッジ有無スコアとは、例えばエリアＥ１内にワークＷＡのエッジがある場合はエリアＥ１に１点付与し、エッジが無い場合は点数付けしない（０点）とするものである。そしてこれらのエリアＥ１〜Ｅ２５を、トレイＴの奥側に位置する奥側エリア群、手前側に位置する手前側エリア群、右側に位置する右側エリア群、左側に位置する左側エリア群の４つに振りわけて、それぞれのエリア群毎にエッジ有無スコアの合計を算出する。本実施形態では、Ｅ１〜Ｅ５、Ｅ７〜Ｅ９を奥側エリア群とし、Ｅ１７〜１９、Ｅ２１〜Ｅ２５を手前側エリア群とし、Ｅ１、Ｅ６、Ｅ１１、Ｅ１６、Ｅ２１、Ｅ７、Ｅ１２、Ｅ１７を左側エリア群とし、Ｅ９、Ｅ１４、Ｅ１９、Ｅ５、Ｅ１０、Ｅ１５、Ｅ２０、Ｅ２５を右側エリア群としている。 Next, the deviation correction means 16 extracts the edges of the tray T and the workpiece WA in the first image G1. In the deviation correction means 16 of this embodiment, a three-dimensional image is used as the first image G1. Then, after extracting the edges of the tray T, as shown in FIG. 4A, the inside of the tray T is divided into a plurality of areas (in this embodiment, a total of 25 areas E1 to E25). Further, an edge presence / absence score of the workpiece WA is calculated in each of the areas E1 to E25. Here, the edge presence / absence score is, for example, that one point is given to the area E1 when there is an edge of the work WA in the area E1, and no score is given (0 point) when there is no edge. These areas E1 to E25 are divided into four groups: a back side area group located on the back side of the tray T, a front side area group located on the near side, a right side area group located on the right side, and a left side area group located on the left side. In other words, the sum of edge presence / absence scores is calculated for each area group. In this embodiment, E1 to E5 and E7 to E9 are the back side area group, E17 to 19 and E21 to E25 are the front side area group, and E1, E6, E11, E16, E21, E7, E12, and E17 are on the left side. An area group is set, and E9, E14, E19, E5, E10, E15, E20, and E25 are set as the right area group.

例えば図４（ｂ）のようにワークＷＡがトレイＴの手前側に片寄っている場合は、手前側エリア群の合計スコアが最も大きくなる。この場合、片寄り補正手段１６は駆動手段１５に指令を与え、ハンドリング部３でトレイＴの縁を掴み、更にロボットアーム２を手前側と奥側とを往復させるように動かしてトレイＴに振動を与える。これにより手前側に片寄っていたワークＷＡをトレイＴの中央付近に移動させることができる。なお、エッジ有無スコアの点数に応じて振動状態（振幅や周期等）を変えても良い。またトレイＴに振動を与える際には、ハンドリング部３でトレイＴの手前側の縁を若干持ち上げてトレイＴが傾いた状態で行うことが好ましい。また、図示は省略するが、取り出し部Ｓ１自体を、手前側と奥側或いは左右両側に動く可動ステージ（振動ステージ）として構成してもよい。 For example, as shown in FIG. 4B, when the work WA is shifted to the near side of the tray T, the total score of the near side area group becomes the largest. In this case, the deviation correction means 16 gives a command to the drive means 15, grips the edge of the tray T by the handling unit 3, and further moves the robot arm 2 so as to reciprocate between the near side and the far side to vibrate the tray T. give. As a result, the workpiece WA that has been offset toward the front side can be moved to the vicinity of the center of the tray T. The vibration state (amplitude, period, etc.) may be changed according to the score of the edge presence / absence score. Further, when applying vibration to the tray T, it is preferable that the handling unit 3 slightly lifts the front edge of the tray T and tilts the tray T. Although not shown, the take-out part S1 itself may be configured as a movable stage (vibration stage) that moves to the near side and the far side or to the left and right sides.

なお本実施形態では、各エリアＥ１〜Ｅ２５のエッジ有無スコアを算出するにあたって、第一画像Ｇ１から得られる高さ情報に基づいて、トレイＴの上面により近いエッジにはより高い点数を更に付与するようにしている。高さ情報に基づく点数付けがなくてもワークＷＡの片寄りを把握することは可能であるが、このような高さ情報に基づく点数付けを行う事で、ワークＷＡのエッジを誤認識することがあっても、合計スコアに及ぼす影響が少なくなるという利点がある。 In the present embodiment, when calculating the edge presence / absence scores of the areas E1 to E25, a higher score is further given to the edge closer to the upper surface of the tray T based on the height information obtained from the first image G1. I am doing so. Although it is possible to grasp the deviation of the workpiece WA without scoring based on the height information, by performing scoring based on such height information, the edges of the workpiece WA are erroneously recognized. Even if there is, there is an advantage that the influence on the total score is reduced.

またトレイＴ内にワークＷＡが入っていない場合は、エリアＥ１〜Ｅ２５の全てでエッジ有無スコアが０点になるので、片寄り補正手段１６をワークＷＡの有無確認手段として使用することが可能である。 Further, when there is no work WA in the tray T, the edge presence / absence score is 0 in all the areas E1 to E25, so that the deviation correction means 16 can be used as the work WA presence / absence confirmation means. is there.

ワークＷＡの片寄りを補正した後は、取得した第一画像Ｇ１に対してワークＷＡの領域を特定する。本実施形態では、第一マッチング手段１８によって、予め記憶手段１７に記憶した複数のマッチングモデルと第一画像Ｇ１とのマッチングを行ってワークＷＡの領域を特定する。 After correcting the deviation of the workpiece WA, the region of the workpiece WA is specified for the acquired first image G1. In the present embodiment, the first matching unit 18 matches the plurality of matching models stored in the storage unit 17 in advance with the first image G1 to identify the area of the workpiece WA.

ここでマッチングモデルとは、ワークＷＡの姿勢に応じた二次元画像であるが、例えばワークＷＡの三次元ＣＡＤデータがある場合には、その三次元情報を二次元画像に紐付けしたものをマッチングモデルとしてもよい。複数種類のワークを取り出す場合には、その種類に応じたマッチングモデルを記憶させておくものとする。また第一マッチング手段１８によるマッチングは、ワークの形状に応じて種々の手法で行うことが可能であって、例えば３Ｄ−ＣＡＤマッチングや透視歪みマッチング、サーフェスマッチングなどで行うことができる。ワークＷＡは比較的厚みが薄いため、本実施形態では第一画像Ｇ１として三次元画像を使用して、透視歪みマッチングによってワークＷＡの領域を特定している。 Here, the matching model is a two-dimensional image corresponding to the posture of the workpiece WA. For example, when there is three-dimensional CAD data of the workpiece WA, matching is performed by associating the three-dimensional information with the two-dimensional image. It may be a model. When a plurality of types of workpieces are taken out, matching models corresponding to the types are stored. The matching by the first matching unit 18 can be performed by various methods according to the shape of the workpiece, and can be performed by, for example, 3D-CAD matching, perspective distortion matching, surface matching, and the like. Since the workpiece WA is relatively thin, in the present embodiment, a three-dimensional image is used as the first image G1, and the region of the workpiece WA is specified by perspective distortion matching.

第一画像Ｇ１に対してワークＷＡの領域を特定した後は、マッチングによって特定した領域に基づいて、取り出し部Ｓ１のワークＷＡを取り出す順番を決める優先度を定める。本実施形態では、優先度設定手段１９によって、特定したワークＷＡの領域におけるマッチングスコア、最大高さ、平均高さ、中央値高さ、重なり有無スコア、重なり面積比率の少なくとも１つを変数として含む評価関数を算出し、評価関数の値順に優先度を定めている。本実施形態では、下記の式で評価関数を算出している。
評価関数＝ａ＊マッチングスコア＋ｂ＊最大高さ＋ｃ＊平均高さ＋ｄ＊中央値高さ＋ｅ＊重なり有無スコア＋ｆ＊重なり面積比率
（ａ〜ｆは重み付け値であり、種々の条件に応じて適切な値が選択される） After the area of the work WA is specified for the first image G1, the priority for determining the order of taking out the work WA of the pick-up unit S1 is determined based on the area specified by the matching. In the present embodiment, the priority setting means 19 includes at least one of a matching score, a maximum height, an average height, a median height, an overlap score, and an overlap area ratio in the specified area of the workpiece WA as a variable. Evaluation functions are calculated, and priorities are determined in the order of evaluation function values. In this embodiment, the evaluation function is calculated by the following formula.
Evaluation function = a * matching score + b * maximum height + c * average height + d * median height + e * overlap presence score + f * overlapping area ratio (af is a weighted value and is appropriate according to various conditions Is selected)

ここでマッチングスコアとは、第一マッチング手段１８によってマッチングを行った際のマッチングモデルとの適合率を点数化したものであって、マッチングによって特定したワークＷＡの領域とマッチングモデルとの適合率が高いほど高い点数を与えている。また最大高さとは、マッチングによって特定したワークＷＡの領域内での高さデータの最大値であり、平均高さとは、マッチングによって特定したワークＷＡの領域内での高さデータの平均値であり、中央値高さとは、マッチングによって特定したワークＷＡの領域内での高さデータの中央値であり、重なり有無スコアとは、マッチングによって特定したワークＷＡの領域が他のワークＷＡの領域と重なる場合は所定のスコアを付け、重なりが無い場合は重なる場合よりも低いスコアを付ける（或いはスコア無し）とするものであり、重なり面積比率とは、他のワークＷＡの領域と重なる部分の面積を、マッチングによって特定したワークＷＡの領域の面積で除した値である。 Here, the matching score is obtained by scoring the matching rate with the matching model when matching is performed by the first matching means 18, and the matching rate between the area of the workpiece WA specified by matching and the matching model is Higher points give higher scores. The maximum height is the maximum value of the height data in the area of the workpiece WA specified by matching, and the average height is the average value of the height data in the area of the workpiece WA specified by matching. The median height is the median value of the height data in the area of the workpiece WA specified by the matching, and the overlap presence / absence score is the area of the workpiece WA identified by the matching with the area of the other workpiece WA. In this case, a predetermined score is assigned, and when there is no overlap, a lower score is given (or no score) than when overlapping, and the overlap area ratio is the area of the part that overlaps the area of another work WA. The value divided by the area of the region of the workpiece WA specified by the matching.

そして優先度設定手段１９は、取り出し部Ｓ１におけるワークＷＡに対応する、マッチングによって特定したワークＷＡの領域のそれぞれに対して、上述した評価関数の大きいものから順に優先度を与える。本実施形態では、より高い位置にあるワークＷＡの優先度が高くなり、また他のワークＷＡが上に重なるワークＷＡの優先度が低くなるように評価関数を設定している。なお、優先度が最も高いワークＷＡを「取り出し対象ワーク」と称する。 And the priority setting means 19 gives a priority to the area | region of the workpiece | work WA specified by the matching corresponding to the workpiece | work WA in taking-out part S1 in an order from the thing with the largest evaluation function mentioned above. In the present embodiment, the evaluation function is set so that the priority of the work WA at a higher position becomes higher and the priority of the work WA overlaid with another work WA becomes lower. The workpiece WA having the highest priority is referred to as a “take-out workpiece”.

取り出し対象ワークが定まった後は、この取り出し対象ワークの位置と姿勢（傾き）を特定する。本実施形態では、第一位置姿勢算出手段２０によって、第一画像Ｇ１から取り出し対象ワークの位置情報（概略位置情報）と姿勢情報（概略姿勢情報）を算出する。例えば第一画像Ｇ１が三次元画像であって、取り出し対象ワークが図５に示すように示される場合、第一位置姿勢算出手段２０は、第一画像Ｇ１中のエッジ等をもとに３点の座標Ｐ_１（ｘ_１，ｙ_１，ｚ_１）、Ｐ_２（ｘ_２，ｙ_２，ｚ_２）、Ｐ_３（ｘ_３，ｙ_３，ｚ_３）を算出することによって概略位置情報を取得する。また、Ｐ_１とＰ_２の中点をＰ_ｃ（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）とする場合、Ｐ_１Ｐ_２ベクトルとＰ_３Ｐ_ｃベクトルの外積から３点の通る平面が算出できるため、これをもとに取り出し対象ワークの概略姿勢情報を得ることができる。 After the workpiece to be taken out is determined, the position and posture (tilt) of the workpiece to be taken out are specified. In the present embodiment, the first position / orientation calculation means 20 calculates position information (rough position information) and attitude information (rough position information) of the workpiece to be taken out from the first image G1. For example, when the first image G1 is a three-dimensional image and the workpiece to be taken out is shown as shown in FIG. 5, the first position / orientation calculation means 20 uses three points based on the edges in the first image G1. The approximate position information is obtained by calculating the coordinates P ₁ (x ₁ , y ₁ , z ₁ ), P ₂ (x ₂ , y ₂ , z ₂ ), and P ₃ (x ₃ , y ₃ , z ₃ ) To do. Also, _{P 1} and the middle point of the _P c of _{_{_{P 2 (x c, y c}}} , z c) If _a, P 1 _{P 2} vector and _P 3 _{P c} since it planes calculated through the three points from the cross product of the vector Based on this, it is possible to obtain general posture information of the workpiece to be taken out.

そして第一位置姿勢算出手段２０は、取り出し対象ワークの概略位置情報と概略姿勢情報に基づいて駆動手段１５に指令を与え、ロボットアーム２及びハンドリング部３を駆動させて第二撮像部５を取り出し対象ワークに正対させるように近づける。 Then, the first position / orientation calculation means 20 gives a command to the driving means 15 based on the approximate position information and approximate attitude information of the workpiece to be taken out, drives the robot arm 2 and the handling unit 3 and takes out the second imaging unit 5. Move closer to the target workpiece.

その後は、第二撮像部５で取り出し対象ワークを撮像して第二画像Ｇ２を取得する。本実施形態の第二画像Ｇ２は、第一画像Ｇ１と同様に三次元画像であるが、ワークの形状等によっては二次元画像を取得しても、或いは両方を取得してもよい。 Thereafter, the second imaging unit 5 captures the workpiece to be taken out and acquires the second image G2. The second image G2 of the present embodiment is a three-dimensional image like the first image G1, but a two-dimensional image or both may be acquired depending on the shape of the workpiece.

そして、第二画像Ｇ２を取得した後は、第二マッチング手段２１によって、記憶手段１７に記憶した複数のマッチングモデルと第二画像Ｇ２とのマッチングを行って取り出し対象ワークの領域を特定する。なお、取り出し対象ワークの周辺にある他のワークについてもその領域を特定しておく。 After obtaining the second image G2, the second matching means 21 matches the plurality of matching models stored in the storage means 17 with the second image G2, and specifies the area of the workpiece to be taken out. In addition, the area | region is pinpointed also about the other workpiece | work in the circumference | surroundings of the extraction object workpiece | work.

ここで、取り出し対象ワークをハンドリング部３で取り出すにあたっては、取り出し対象ワークに対してその周辺にある他のワークが重なる部位によっては、他のワークが邪魔をして保持することができないことがある。このため本実施形態では、ピックアップ選択手段２２よって、第二マッチング手段２１で得られた取り出し対象ワーク領域に対して他のワーク領域が重なる部位を特定するとともに、この重なる部位に応じてハンドリング部３で取り出し対象ワークを保持する位置を変更するように駆動手段１５に指令を与えている。更に本実施形態のピックアップ選択手段２２では、第一フィンガー１０〜第四フィンガー１３が他のワークと干渉する場合があることも考慮して駆動手段１５に指令を与えている。 Here, when the workpiece to be taken out is taken out by the handling unit 3, depending on the part where the other workpiece in the vicinity of the workpiece to be taken out overlaps, the other workpiece may not be able to be held in the way. . For this reason, in the present embodiment, the pickup selection means 22 specifies a part where another work area overlaps the pick-up target work area obtained by the second matching means 21, and the handling unit 3 according to this overlapping part. A command is given to the drive means 15 to change the position for holding the workpiece to be taken out. Furthermore, in the pickup selection means 22 of the present embodiment, a command is given to the driving means 15 taking into consideration that the first finger 10 to the fourth finger 13 may interfere with other workpieces.

具体的には、図６（ａ）に示すように取り出し対象ワークが鋏である場合、ピックアップ選択手段２２は、取り出し対象ワークのグリップ部、中央部、支点部、先端部のそれぞれの部位に対して、取り出し対象ワークと他のワークとの重なりと、第一フィンガー１０〜第四フィンガー１３と他のワークとの干渉を確認する。そして図６（ｂ）に示す組み合わせに応じて取り出し対象ワークを保持する位置を変更している。ここで図６（ｂ）中、４本ピックアップ（支点）とは、例えば第一フィンガー１０と第二フィンガー１１とをグリップ部の穴にそれぞれ挿入した後、互いに離れる向きに動かして爪部１０ａと爪部１１ａとがグリップ部に引っ掛かるようにして保持し、第三フィンガー１２と第四フィンガー１３は、支点部を両側から挟むように保持するものである。また４本ピックアップ（中央）とは、４本ピックアップ（支点）に対して支点部の代わりに中央部を両側から挟むようにしたものであり、４本ピックアップ（先端）とは、４本ピックアップ（支点）に対して支点部の代わりに先端部を両側から挟むようにしたものである。なお、図６（ｂ）に示す組み合わせ以外でも取り出し対象ワークをバラ積みのワークから取り出すことができる。例えば、図６（ａ）を参照しつつ説明すると、取り出し対象ワークの先端部に他のワークが重なっているものの、それ以外の部位は重なっておらず、また取り出し対象ワークのグリップ部の後方（グリップ部から見て中央部の反対側）に他のワークが存在していない状態であれば、第一フィンガー１０〜第四フィンガー１３でグリップ部を保持した後、取り出し対象ワークをグリップ部の後方へ移動させる（先端部を他のワークから引き抜く）ことによって、取り出すことができる。なお、図６（ｂ）に示すようにピックアップ不可の組み合わせになる場合は、優先度設定手段１９で定めた順に優先度が高い別のワークの取り出しを行うものとする。 Specifically, as shown in FIG. 6A, when the workpiece to be taken out is a scissors, the pick-up selection means 22 applies the grip portion, the center portion, the fulcrum portion, and the tip portion of the workpiece to be taken out. Then, the overlap between the workpiece to be taken out and the other workpiece and the interference between the first finger 10 to the fourth finger 13 and the other workpiece are confirmed. And the position which hold | maintains the take-out object workpiece | work is changed according to the combination shown in FIG.6 (b). Here, in FIG. 6B, the four pickups (fulcrum points) are, for example, the first finger 10 and the second finger 11 inserted into the holes of the grip part, and then moved away from each other to move the claw part 10a. The claw portion 11a is held so as to be caught by the grip portion, and the third finger 12 and the fourth finger 13 are held so as to sandwich the fulcrum portion from both sides. The 4-pickup (center) is a 4-pickup (center) with the center part sandwiched from both sides instead of the fulcrum part. The tip is sandwiched from both sides instead of the fulcrum. It should be noted that the workpieces to be taken out can be taken out from the loosely stacked workpieces other than the combinations shown in FIG. For example, with reference to FIG. 6 (a), although other workpieces overlap the tip of the workpiece to be taken out, other portions do not overlap, and the rear portion of the grip portion of the workpiece to be taken out ( If there is no other workpiece on the opposite side of the central portion as viewed from the grip portion, the grip portion is held by the first finger 10 to the fourth finger 13, and then the workpiece to be taken out is placed behind the grip portion. It can be taken out by moving the tip to (moving the tip from another workpiece). In the case of a combination incapable of being picked up as shown in FIG. 6B, it is assumed that another workpiece having a higher priority is taken out in the order determined by the priority setting means 19.

なお、実際に第一フィンガー１０〜第四フィンガー１３で取り出し対象ワークを保持する動作を行うにあたっては、第二位置姿勢算出手段２３によって第二画像Ｇ２から取り出し対象ワークの詳細位置情報と詳細姿勢情報を算出しておくようにする。ここで、取り出し対象ワークの詳細位置情報と詳細姿勢情報の算出方法は、前述の第一位置姿勢算出手段２０と同様であるので説明を省略する。 When actually performing the operation of holding the workpiece to be picked up by the first finger 10 to the fourth finger 13, the detailed position information and detailed posture information of the workpiece to be picked up from the second image G2 by the second position and orientation calculation means 23. Is calculated in advance. Here, the calculation method of the detailed position information and the detailed posture information of the workpiece to be picked up is the same as that of the first position / posture calculation unit 20 described above, and thus the description thereof is omitted.

そして、第一フィンガー１０〜第四フィンガー１３で保持された取り出し対象ワークは、第二位置姿勢算出手段２３の指令を受けて駆動手段１５で駆動されるロボットアーム２及びハンドリング部３によって取り出し部Ｓ１から取り出される。その後、取り出し対象ワークは仮置き部Ｓ３に一旦載置され、ハンドリング部３によって持ち直された後、僅かに開いた状態で鋏開き部Ｓ４に載置される。そして図１に示すように取り出し対象ワークを矢印の方向へ大きく開いた後（鋏の一方は、鋏開き部Ｓ４に設けた突起で保持されているので、鋏の他方のグリップ部に第一フィンガー１０〜第四フィンガー１３の何れか一つを差し込んで、ロボットアーム２を矢印の方向へ移動させる）、再度ハンドリング部３で保持して整列部Ｓ２へ移動させる。なお、上述した図６（ｂ）のうち、４本ピックアップ（支点）の保持位置であれば、取り出し部Ｓ１から取り出した直後から取り出し対象ワークを僅かに開くことができるため、仮置き部Ｓ３に載置することなく鋏開き部Ｓ４に載置することができる。 The workpiece to be taken out held by the first finger 10 to the fourth finger 13 is taken out by the robot arm 2 and the handling unit 3 driven by the driving unit 15 in response to a command from the second position / orientation calculating unit 23. Is taken out of. Thereafter, the workpiece to be taken out is temporarily placed on the temporary placement portion S3, and after being picked up by the handling portion 3, it is placed on the reed opening portion S4 in a slightly opened state. Then, as shown in FIG. 1, after the workpiece to be taken out is greatly opened in the direction of the arrow (since one of the ridges is held by a protrusion provided on the heel opening portion S4, the first finger is attached to the other grip portion of the ridge The robot arm 2 is moved in the direction of the arrow by inserting any one of the tenth to fourth fingers 13), held again by the handling unit 3, and moved to the alignment unit S <b> 2. In FIG. 6 (b) described above, if it is the holding position of the four pickups (fulcrum), the workpiece to be taken out can be slightly opened immediately after being taken out from the taking-out portion S1, so that the temporary placement portion S3 It can be mounted on the opening part S4 without mounting.

本実施形態によれば、閉じた状態のワークであっても開いた状態にして整列させることができるため、たとえば医療現場で使用したワークの洗浄、滅菌する場合に使用して好適である。 According to the present embodiment, even a closed work can be opened and aligned, which is suitable for use in, for example, cleaning and sterilizing a work used in a medical field.

なお上述した取り出し方法は、取り出し対象ワークが鋏の時に用いられるが、他のものであっても、同様な手法で取り出すことができる。例えば取り出し対象ワークが図７（ａ）に示す鉗子である場合は、ピックアップ選択手段２２は、駆動手段１５に対して、図７（ｂ）に示す組み合わせに対応する位置で取り出し対象ワークを保持するように指令する。ここで、４本ピックアップ（通常）とは、例えば第一フィンガー１０と第二フィンガー１１とをグリップ部の穴にそれぞれ挿入した後、互いに離れる向きに動かして爪部１０ａと爪部１１ａとがグリップ部に引っ掛かるようにして保持し、第三フィンガー１２と第四フィンガー１３は、支点部を両側から挟むように保持するものである。また４本ピックアップ（中央）とは、４本ピックアップ（通常）に対して支点部の代わりに中央部を両側から挟むようにしたものであり、２本ピックアップ（先端退避）とは、４本ピックアップ（通常）に対してグリップ部の保持は同様にして他の２本は周囲に存在する他のワークにあたらない位置に配置したものであり、２本ピックアップ（デフォルト位置）とは、４本ピックアップ（通常）に対してグリップ部の保持は同様にして他の２本は支点部の側方へ配置したものである。なお、支点部の側方へ配置した他の２本については、他のワークと干渉することになるが、本実施形態の第一フィンガー１０〜第四フィンガー１３は、下部分が上下動可能であるので、この場合であっても取り出し対象ワークを保持することができる。なお、取り出しワークの先端部に他のワークが重なっている場合でも、先に説明した鋏の場合と同様に取り出し対象ワークをグリップ部の後方へ移動させることによって、取り出すことができる。 In addition, although the taking-out method mentioned above is used when the picking-out object workpiece | work is dredge, even if it is another thing, it can take out with the same method. For example, when the work to be taken out is the forceps shown in FIG. 7A, the pickup selection means 22 holds the work to be taken out at a position corresponding to the combination shown in FIG. To command. Here, the four pickups (ordinary) means that, for example, the first finger 10 and the second finger 11 are inserted into the holes of the grip part and then moved away from each other to grip the claw part 10a and the claw part 11a. The third finger 12 and the fourth finger 13 hold the fulcrum part from both sides. The 4-pickup (center) is a 4-pickup (normal) with the center part sandwiched from both sides instead of the fulcrum, and the 2-pickup (tip retracted) is 4-pickup. In contrast to (normal), the grip part is held in the same manner and the other two are arranged at positions that do not correspond to other workpieces in the surroundings. The two pickups (default position) are the four pickups. In contrast to (normal), the grip portion is held in the same manner, and the other two are arranged to the side of the fulcrum portion. In addition, about the other 2 arrange | positioned to the side of a fulcrum part, it will interfere with another workpiece | work, but the lower part of the 1st finger 10-the 4th finger 13 of this embodiment can move up and down. Therefore, even in this case, the workpiece to be taken out can be held. Even when another workpiece overlaps the leading end of the workpiece to be taken out, it can be taken out by moving the workpiece to be taken out to the rear of the grip portion in the same manner as the case described above.

更に、対象ワークが図８（ａ）に示す向きのピンセット（水平方向に開閉する向き（横向き））である場合は、図８（ｂ）に示す組み合わせに対応する位置で保持することができる。ここで４本ピックアップとは、重心位置と保持部をそれぞれ２本のフィンガーで挟むようにして保持するものであり、２本ピックアップ（重心）とは、重心位置を２本のフィンガーで挟むようにして保持するものであり、２本ピックアップ（根元）とは、根元を２本のフィンガーで挟むようにして保持するものであり、上側２本ピックアップとは、二股に分かれたピンセットの奥側部分を２本のフィンガーで挟むように保持するものであり、下側２本ピックアップとは、二股に分かれたピンセットの手前側部分を２本のフィンガーで挟むように保持するものである。なお取り出し対象ワークがピンセットの場合は、取り出し対象ワークが鋏である場合に説明した如き鋏開き部Ｓ４を経由せずに整列部Ｓ２へ載置すればよい。 Further, when the target workpiece is tweezers in the direction shown in FIG. 8A (horizontal opening / closing direction (lateral direction)), it can be held at a position corresponding to the combination shown in FIG. 8B. Here, the 4-pickup means holding the center of gravity position and the holding part so as to be sandwiched between two fingers, and the 2-pickup (center of gravity) means holding the center of gravity position so as to be sandwiched between two fingers. The two-pickup (base) is to hold the base so that it is sandwiched between two fingers, and the upper two-pickup is to sandwich the back side portion of the tweezers divided into two forks. The lower two pick-up is to hold the front side portion of the tweezers divided into two branches so as to be sandwiched between two fingers. If the work to be taken out is tweezers, it may be placed on the aligning section S2 without going through the reed opening part S4 as described when the work to be taken out is a scissors.

更に、対象ワークが図９（ａ）に示す向きのピンセット（上下方向に開閉する向き（縦向き））である場合は、図９（ｂ）に示す組み合わせに対応する位置で保持することができる。ここで４本ピックアップとは、中央部と先端部をそれぞれ２本のフィンガーで挟むようにして保持するものであり、２本ピックアップ（中央部）とは、中央部を２本のフィンガーで挟むようにして保持するものである。 Furthermore, when the target workpiece is tweezers in the orientation shown in FIG. 9A (the orientation that opens and closes in the vertical direction (vertical orientation)), it can be held at a position corresponding to the combination shown in FIG. 9B. . Here, the 4-pickup means holding the center part and the tip part so as to be sandwiched between two fingers, and the 2-pickup (center part) means holding the center part so as to be sandwiched between two fingers. Is.

次に、図１０を参照しながら他のワーク（例えばナットのような比較的厚みがあるものを含む）を用いる場合に本実施形態のピックアップ装置１で取り出す方法を説明する。 Next, with reference to FIG. 10, a method of picking up with the pickup device 1 of the present embodiment when using another workpiece (including a relatively thick workpiece such as a nut) will be described.

まず、トレイＴとバラ積みされたワークＷＢ、ＷＣ、ＷＤ、ＷＥを第一撮像部４で撮像して第一画像Ｇ１を取得する。本実施形態では二次元画像と三次元画像（高さ画像）の両方を取得している。 First, the first image pickup unit 4 captures the workpieces WB, WC, WD, and WE stacked with the tray T to obtain the first image G1. In the present embodiment, both a two-dimensional image and a three-dimensional image (height image) are acquired.

次に片寄り補正手段１６によって第一画像Ｇ１におけるトレイＴとワークＷＢ、ＷＣ、ＷＤ、ＷＥのエッジを抽出する。ここでは第一画像Ｇ１として三次元画像を使用していて、エッジ有無スコアを算出するにあたっては、ワークＷＡの場合と同様に高さ情報に基づく点数付けも併せて行っている。 Next, the deviation correction means 16 extracts the tray T and the edges of the workpieces WB, WC, WD, and WE in the first image G1. Here, a three-dimensional image is used as the first image G1, and when calculating the edge presence / absence score, scoring based on height information is also performed in the same manner as in the case of the workpiece WA.

ワークＷＢ、ＷＣ、ＷＤ、ＷＥの片寄りを補正した後は、第一マッチング手段１８によって記憶手段１７に記憶した複数のマッチングモデルと第一画像Ｇ１とのマッチングを行う。ここで本実施形態のマッチングモデルは、三次元ＣＡＤデータから得られた三次元情報を二次元画像に紐付けしたものである。また第一画像Ｇ１は、二次元画像を用いている。そして３Ｄ−ＣＡＤマッチングによって第一画像Ｇ１中にワークＷＢ、ＷＣ、ＷＤ、ＷＥの領域を特定する。 After correcting the deviation of the workpieces WB, WC, WD, and WE, the first matching unit 18 performs matching between the plurality of matching models stored in the storage unit 17 and the first image G1. Here, the matching model of this embodiment is obtained by associating 3D information obtained from 3D CAD data with a 2D image. The first image G1 is a two-dimensional image. And the area | region of the workpiece | work WB, WC, WD, and WE is specified in the 1st image G1 by 3D-CAD matching.

ここで、複数のマッチングモデルによってマッチングを行うにあたっては、より確実にマッチングができるように、ワークの面積が大きいマッチングモデルから順にマッチングを行うようにしている。また、他のマッチングモデルの要素を含むマッチングモデルがある場合（以下、他のマッチングモデルは「少要素マッチングモデル」と称し、他のマッチングモデルの要素を含むマッチングモデルは「多要素マッチングモデル」と称する）は、少要素マッチングモデルよりも多要素マッチングモデルから先にマッチングを行うようにしている。本実施形態では、六角ナットであるワークＷＥが少要素マッチングモデルであり、六角ナットとプレートの組み合わせであるワークＷＤが多要素マッチングモデルである。ここで、少要素マッチングモデルからマッチングを行うと、多要素マッチングモデルに含まれる要素に対してマッチングされてしまうおそれがあるが、多要素マッチングモデルから先にマッチングを行えば、このような不具合を防ぐことができる。なお、ワークの面積が大きいマッチングモデルと多要素マッチングモデルの何れを優先するかは適宜選択することができるが、本実施形態ではワークの面積が大きいマッチングモデルを優先させていて、図１０に示す例では、ワークＷＢ、ＷＣ、ＷＤ、ＷＥの順にマッチングさせている。なおマッチングを行う順は、他のマッチングモデルに含まれない要素を持つものから行うなど、マッチングしやすいものから順に行うことが好ましい。 Here, when matching is performed using a plurality of matching models, matching is performed in order from a matching model having a larger work area so that matching can be performed more reliably. In addition, when there is a matching model that includes elements of other matching models (hereinafter, other matching models are referred to as “small element matching models”, and matching models that include elements of other matching models are referred to as “multi-element matching models”. In this case, matching is performed prior to the multi-element matching model rather than the small-element matching model. In the present embodiment, the workpiece WE that is a hexagon nut is a small element matching model, and the workpiece WD that is a combination of a hexagon nut and a plate is a multi-element matching model. Here, if matching is performed from the small element matching model, there is a possibility that the elements included in the multi-element matching model may be matched. Can be prevented. Note that it is possible to appropriately select which of the matching model having a large workpiece area and the multi-element matching model is to be prioritized. However, in the present embodiment, the matching model having a large workpiece area is prioritized, as shown in FIG. In the example, the workpieces WB, WC, WD, and WE are matched in this order. Note that it is preferable to perform the matching in order from the one that is easy to match, such as the one having elements not included in other matching models.

なお、図示は省略するが、長さの異なるボルトや径の異なるボルトなどの類似品が含まれる場合は、マッチングによって特定したワーク領域のエッジを基にしてボルトの長さや径等を測定し、マッチングモデルとの比較を行って正しくマッチングできているかチェックを行うことが好ましい。なお、ここで説明したチェックは、後述する第二マッチング手段２１で行ってもよい。またこのチェックは、タクトタイム等に影響を及ぼさなければ類似品以外にも適用することが好ましい。 Although illustration is omitted, if similar products such as bolts with different lengths or bolts with different diameters are included, measure the length and diameter of the bolts based on the edge of the work area specified by matching, It is preferable to check whether the matching is correctly performed by comparing with the matching model. In addition, you may perform the check demonstrated here by the 2nd matching means 21 mentioned later. Further, this check is preferably applied to products other than similar products as long as the tact time is not affected.

また、第一マッチング手段１８でマッチングを行うに際しては、既に一のマッチングモデルによってマッチングを行って第一画像Ｇ１中にこの一のマッチングモデルに基づくワーク領域が特定されている場合は、このワーク領域以外の部分に対して他のマッチングモデルとのマッチングを行うことが好ましい。例えばワークＷＢに対応するマッチングモデルでマッチングを行った場合は、次のワークＷＣのマッチングは、ワークＷＢで特定した領域以外の領域に対してマッチングを行うものとする。これにより、ワークＷＣでマッチングを行う領域を減らすことができるので、より短いタクトタイムでマッチングを完了させることが可能になる。 Further, when matching is performed by the first matching means 18, if the work area based on this one matching model has already been specified in the first image G <b> 1 by matching with the one matching model, this work area It is preferable to perform matching with other matching models for other parts. For example, when matching is performed using a matching model corresponding to the workpiece WB, the next matching of the workpiece WC is performed on a region other than the region specified by the workpiece WB. Thereby, since the area | region which performs matching with the workpiece | work WC can be reduced, it becomes possible to complete matching by shorter tact time.

第一マッチング手段１８によるマッチングが終了した後は、優先度設定手段１９によってワークＷＢ、ＷＣ、ＷＤ、ＷＥに優先度を与える。本実施形態では、評価関数として高さに関係する変数のみを使用して優先度を定めている。そして、最も優先度が高いワーク（取り出し対象ワーク）に対して第一位置姿勢算出手段２０によって概略位置情報と概略姿勢情報を算出する。本実施形態では、マッチングモデルとして三次元ＣＡＤデータから得られた三次元情報を二次元画像に紐付けしたものを用いているため、この三次元情報を概略位置情報と概略姿勢情報に利用することができる。 After the matching by the first matching unit 18 is finished, the priority setting unit 19 gives priority to the workpieces WB, WC, WD, and WE. In this embodiment, the priority is determined using only the variable related to height as the evaluation function. Then, the first position / orientation calculation means 20 calculates the approximate position information and the approximate attitude information for the work with the highest priority (work to be taken out). In this embodiment, since the 3D information obtained from the 3D CAD data is linked to the 2D image as the matching model, this 3D information is used for the approximate position information and the approximate posture information. Can do.

なお、三次元情報を利用して概略位置情報と概略姿勢情報を定める場合は、特に高さの精度が劣ることがある。このような場合には、高さ補正手段２４を用いて高さ方向の補正を行うことが好ましい。本実施形態の高さ補正手段２４では、三次元画像である第一画像Ｇ１を使用してマッチングモデルとのマッチングを行って高さ情報を取得している。そして、先に算出した三次元情報を利用した概略位置情報の高さ情報と、三次元画像から得た高さ情報との差を求め、その平均を補正値として、先の概略位置情報における高さ情報を補正している。 Note that when the approximate position information and the approximate posture information are determined using the three-dimensional information, the height accuracy may be particularly inferior. In such a case, it is preferable to perform height correction using the height correction means 24. In the height correction means 24 of the present embodiment, the first image G1 that is a three-dimensional image is used to perform matching with the matching model to acquire height information. Then, the difference between the height information of the approximate position information using the previously calculated three-dimensional information and the height information obtained from the three-dimensional image is obtained, and the average is used as a correction value to determine the height in the previous approximate position information. The information is corrected.

その後は、ロボットアーム２及びハンドリング部３を駆動させて第二撮像部５を取り出し対象ワークに正対させ、第二撮像部５で取り出し対象ワークを撮像して第二画像Ｇ２（二次元画像及び三次元画像）を取得し、第二マッチング手段２１によって二次元画像の第二画像Ｇ２とマッチングモデルとのマッチングを行う。なお、本実施形態においては、第一フィンガー１０〜第四フィンガー１３を細くしていて、取り出し対象ワークを取り出す時に周囲に存在する他のワークの影響を受けにくくしているので、ピックアップ選択手段２２の適用は省略している。その後は、第二位置姿勢算出手段２３によって第二画像Ｇ２から取り出し対象ワークの詳細位置情報と詳細姿勢情報を算出する。なお、ここで使用する第二画像Ｇ２は二次元画像であって、本実施形態では前述の高さ補正手段２４によって詳細位置情報における高さ情報を補正している。その後はハンドリング部３で取り出し対象ワークを保持して取り出し部Ｓ１から取り出し、状況によっては仮置き部Ｓ３を経由した後、整列部Ｓ２に並べて載置する。 After that, the robot arm 2 and the handling unit 3 are driven so that the second imaging unit 5 faces the workpiece to be taken out, the second imaging unit 5 takes an image of the workpiece to be taken out, and the second image G2 (two-dimensional image and 3D image) is acquired, and the second matching means 21 matches the second image G2 of the two-dimensional image with the matching model. In the present embodiment, the first finger 10 to the fourth finger 13 are thinned so that they are not easily affected by other workpieces existing around when the workpiece to be taken out is taken out. Application of is omitted. Thereafter, the second position / orientation calculation means 23 calculates the detailed position information and detailed attitude information of the workpiece to be taken out from the second image G2. Note that the second image G2 used here is a two-dimensional image, and in the present embodiment, the height information in the detailed position information is corrected by the height correction means 24 described above. Thereafter, the workpiece to be taken out is held by the handling unit 3 and taken out from the take-out unit S1, and depending on the situation, after passing through the temporary placement unit S3, it is placed side by side on the alignment unit S2.

以上説明したように、本実施形態のピックアップ装置１では、第一撮像部４によって取り出し可能なワークを選択することができるため、そのワークに対して第二撮像部５を移動させることができる。そして第二撮像部５は、取り出し可能なワークに対して正対するように近づけられるので、ワークの詳細な位置や姿勢を取得することができる。従って、バラ積みされたワークを短時間で且つ正確に取り出して所定の場所に整列させることができる。更に、第二撮像部５が整列部Ｓ２や仮置き部Ｓ３、鋏開き部Ｓ４に移動している最中に、第一撮像部４では第一画像Ｇ１の取得を行うことが可能であるため、複数の動作を同時期に重ねて行うことができることからタクトタイムの短縮が更に可能になる。また、マッチング対象のワークの種類が多い場合は、複数のマッチングモデルを、ワークの大きさや形状が似たもので一括りとしたマッチングモデル群に分けておくことが好ましい。これにより、第一マッチング手段１８では、そのうちの代表的なマッチングモデルとのマッチングを行うことによって複数のマッチングモデル群から特定のマッチングモデル群を選定し、第二位置姿勢算出手段２３は、その特定のマッチングモデル群から特定のマッチングモデルを選定するとともに取り出し対象となるワークの詳細位置情報と詳細姿勢情報を算出するようにすることで、より短い時間でワークを取り出すことができる。 As described above, in the pickup device 1 of the present embodiment, a work that can be taken out by the first imaging unit 4 can be selected, and therefore the second imaging unit 5 can be moved with respect to the work. And since the 2nd imaging part 5 is approached so that it may oppose with respect to the workpiece | work which can be taken out, the detailed position and attitude | position of a workpiece | work can be acquired. Therefore, it is possible to accurately take out the stacked workpieces in a short time and align them in a predetermined place. Furthermore, the first imaging unit 4 can acquire the first image G1 while the second imaging unit 5 is moving to the alignment unit S2, the temporary placement unit S3, and the eyelid opening unit S4. Since a plurality of operations can be performed in the same period, the tact time can be further shortened. When there are many types of workpieces to be matched, it is preferable to divide a plurality of matching models into a group of matching models that are similar in size and shape of workpieces. As a result, the first matching means 18 selects a specific matching model group from a plurality of matching model groups by performing matching with a representative matching model, and the second position / orientation calculation means 23 selects the specific matching model group. By selecting a specific matching model from the matching model group and calculating the detailed position information and detailed posture information of the work to be taken out, the work can be taken out in a shorter time.

本発明に従うピックアップ装置は、上述した実施形態に限定されるものではなく、特許請求の範囲に従う範囲で種々の適用が可能である。例えば、制御部に含まれる各手段は、必要に応じて省略してもよい。またワークは、上述したものに限られず、例えば他の医療機器（メスなど）であってもよい。 The pickup device according to the present invention is not limited to the above-described embodiment, and various applications are possible within the scope according to the claims. For example, each means included in the control unit may be omitted as necessary. The workpiece is not limited to the above-described one, and may be another medical device (such as a female), for example.

１：ピックアップ装置
２：ロボットアーム
３：ハンドリング部
４：第一撮像部
５：第二撮像部
６：保持部
７：プロジェクター
８：開口部
９：装着部
１０：第一フィンガー
１１：第二フィンガー
１２：第三フィンガー
１３：第四フィンガー
１４：制御部
１５：駆動手段
１６：片寄り補正手段
１７：記憶手段
１８：第一マッチング手段
１９：優先度設定手段
２０：第一位置姿勢算出手段
２１：第二マッチング手段
２２：ピックアップ選択手段
２３：第二位置姿勢算出手段
２４：高さ補正手段
Ｇ１：第一画像
Ｇ２：第二画像
Ｓ１：取り出し部
Ｓ２：整列部
Ｓ３：仮置き部
Ｓ４：鋏開き部
Ｔ：トレイ
ＷＡ：ワーク 1: pickup device 2: robot arm 3: handling unit 4: first imaging unit 5: second imaging unit 6: holding unit 7: projector 8: opening 9: mounting unit 10: first finger 11: second finger 12 : Third finger 13: Fourth finger 14: Control unit 15: Drive means 16: Deviation correction means 17: Storage means 18: First matching means 19: Priority setting means 20: First position / orientation calculation means 21: First Two matching means 22: pickup selection means 23: second position / orientation calculation means 24: height correction means G1: first image G2: second image S1: take-out part S2: alignment part S3: temporary placement part S4: reed opening part T: Tray WA: Work

Claims

An imaging unit that acquires an image of a work stacked on the take-out unit, a robot arm and a handling unit provided on the robot arm are driven based on the image of the work so that the work is taken out and arranged in the alignment unit. A pickup device comprising a control unit,
The imaging unit includes a first imaging unit capable of imaging substantially the entire area of the extraction unit, and a second imaging unit provided in the handling unit,
The control unit includes first position and orientation calculation means for calculating approximate position information and approximate posture information of the workpiece from a first image including the workpiece obtained from the first imaging unit, the approximate position information and the approximate posture. Driving means for driving the robot arm and / or the handling unit based on information to bring the second imaging unit closer to the workpiece, and a second image obtained from the second imaging unit. Second position and orientation calculation means for calculating detailed position information and detailed posture information of
Further, the drive means drives the robot arm and / or the handling unit so that the work is taken out from the take-out unit and arranged in the alignment unit based on the detailed position information and the detailed posture information.

The control unit specifies a work area based on the matching model in the first image by storing a plurality of matching models of the work and performing matching between the matching model and the first image. Matching means,
2. The pickup device according to claim 1, wherein the first matching unit performs matching in order from a matching model having a larger work area among the matching models stored in the storage unit.

The first matching means performs matching by using one matching model, and when a work area based on the one matching model is specified in the first image, another part other than the work area The pickup device according to claim 2, wherein matching with a matching model is performed.

The control unit has at least one of a matching score, a maximum height, an average height, a median height, an overlap score, and an overlap area ratio in the work area for each of the two or more works in the take-out part. An evaluation function including two as variables, giving priorities in the order of the evaluation function values, and further instructing the driving means to bring the second imaging unit closer to the workpiece to be picked up with the highest priority. The pickup device according to claim 2, further comprising priority setting means for providing

The control unit performs matching between the second image including the workpiece to be picked up and the matching model, and specifies second picking-up workpiece regions and other workpiece regions in the second image; And specifying the part where the other work area overlaps the work area to be taken out, and instructing the driving means to change the position at which the handling part holds the work to be taken out in accordance with the overlapping part The pickup device according to claim 4, further comprising pickup selection means for providing

The first imaging unit and / or the second imaging unit acquires a two-dimensional image and a three-dimensional image that is a two-dimensional image including height information as the first image and / or the second image. The matching model is obtained by associating the three-dimensional data of the workpiece with a two-dimensional image, and the control unit further includes a height correction unit,
The first matching means and / or the second matching means specify the work area by performing matching between the matching model and the first image and / or the second image of a two-dimensional image, and the matching model. Get height information obtained from 3D data
The height correction means performs matching between the matching model and the first image and / or the second image of a three-dimensional image, and uses the height information obtained from the matching to perform three-dimensional matching of the matching model. The pickup device according to claim 5, wherein height information obtained from the data is corrected.

The take-out part can be loaded with a tray for storing the workpieces stacked in bulk,
The control unit extracts the tray and the edge of the work from the first image, divides the inside of the tray into a plurality of areas, calculates an edge presence / absence score of the work in each area, Calculate the total of the edge presence score for each of the back side area group located on the back side of the tray, the near side area group located on the near side, the right side area group located on the right side, and the left side area group located on the left side, 7. A deviation correction unit that gives a command to the driving unit to vibrate the tray between an area group having the largest total score and an area group facing the area group. The pickup device described in 1.