JP2012135820A - Automatic picking device and automatic picking method - Google Patents

Automatic picking device and automatic picking method Download PDF

Info

Publication number
JP2012135820A
JP2012135820A JP2010287775A JP2010287775A JP2012135820A JP 2012135820 A JP2012135820 A JP 2012135820A JP 2010287775 A JP2010287775 A JP 2010287775A JP 2010287775 A JP2010287775 A JP 2010287775A JP 2012135820 A JP2012135820 A JP 2012135820A
Authority
JP
Japan
Prior art keywords
end effector
information
component
robot
control signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010287775A
Other languages
Japanese (ja)
Inventor
Takeyoshi Eguchi
武芳 江口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2010287775A priority Critical patent/JP2012135820A/en
Publication of JP2012135820A publication Critical patent/JP2012135820A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an automatic picking device that reduces the risk of breakage of a hand and a picking target component when executing automatic picking.SOLUTION: The automatic picking device includes: a measuring device 20 for acquiring visual information including height information of components 60; an allowable tolerance control device 21 that determines whether the height difference between the components 60 exceeds the allowable tolerance and generates an uppermost-component moving command for moving an uppermost component 60a when the height difference d exceeds the allowable tolerance; a component position/posture information arithmetic unit 22 for calculating position information and posture information of the components 60; a robot control device 30 that generates a robot control signal for controlling the motion and posture of a robot 10 with respect to the uppermost component 60a or the components 60 and controls the robot 10 by the robot control signal; and an end effector control device 40 that generates an end effector control signal for controlling an end effector 16 mounted to the tip of the robot 10 and controls the end effector 16 by the end effector control signal.

Description

本発明は、ロボットによる自動ピッキング装置に関し、特に、ピッキング動作時にハンド及びピッキング対象部品の破損リスクを低くする自動ピッキング装置及び自動ピッキング方法に関する。   The present invention relates to an automatic picking apparatus using a robot, and more particularly to an automatic picking apparatus and an automatic picking method that reduce the risk of damage to a hand and a part to be picked during a picking operation.

容器内に山積みされた部品の位置・姿勢を、3次元(3D)レーザ計測技術等を利用した物体認識システムによる視覚情報をもとに認識し、ロボットマニピュレータ(以下、単に「ロボット」と称す)の手先に取り付けられたハンドで部品を取り出す、自動ピッキング装置が採用されている。   A robot manipulator (hereinafter simply referred to as a “robot”) recognizes the position and orientation of the components stacked in the container based on visual information from an object recognition system using 3D (3D) laser measurement technology, etc. An automatic picking device is used to pick up parts with a hand attached to the tip of the hand.

従来の自動ピッキング装置では、部品へハンドをアプローチさせる際にどうしても容器及び部品等と干渉が発生する場合には自動ピッキングを一旦停止し、干渉を回避させるために人が介在する必要があった。人を介在させない自動化のための対策として、干渉が発生する可能性が高いと認識された場合に、容器内の部品をハンドで攪拌させる提案がされている(例えば、特許文献1参照。)。   In the conventional automatic picking apparatus, when the hand is approached to the part, if the interference with the container, the part or the like inevitably occurs, it is necessary to temporarily stop the automatic picking and to intervene in order to avoid the interference. As a countermeasure for automation without human intervention, there has been a proposal of stirring a part in a container by hand when it is recognized that there is a high possibility that interference will occur (see, for example, Patent Document 1).

また、従来の自動ピッキング装置では、何度もピッキングを失敗してしまうことがあった。この問題の対策として、ハンドが部品の把持に失敗した場合に、部品を容器の中央に引き寄せることでピッキングの失敗を減らす提案がされている(例えば、特許文献2参照。)。この問題の他の対策として、取り出し不能と判断された部品を移動させるための指示を出し、移動作業をすることでピッキングの失敗を減らす提案がされている(例えば、特許文献3参照。)。   In addition, in the conventional automatic picking apparatus, picking may fail many times. As a countermeasure for this problem, there is a proposal to reduce picking failure by pulling the component to the center of the container when the hand fails to grip the component (see, for example, Patent Document 2). As another countermeasure against this problem, there is a proposal to reduce picking failure by issuing an instruction to move a part that is determined to be untaken and performing a moving operation (see, for example, Patent Document 3).

しかしながら、特許文献1〜3の提案は、部品を攪拌したり移動させたりするときに、ハンドと部品との干渉、部品と部品との干渉によるハンドや部品の破損リスクに対処できていない。例えば、容器の中央部の部品ばかりがピッキングされた場合では、容器の壁の近傍に多くの部品が残ってしまい中央部との高さの差が顕著になってしまうことで部品が落下し、部品やハンドを破損させることがある。特に、部品が数kg以上あるような中重量物の自動ピッキングの際には、ハンド及び部品の破損リスクが高くなってしまう。   However, the proposals in Patent Documents 1 to 3 cannot cope with the risk of damage to the hand or the component due to the interference between the hand and the component or the interference between the component and the component when the component is stirred or moved. For example, when only the parts in the center of the container are picked, many parts remain in the vicinity of the wall of the container, and the difference in height from the center becomes significant, so the parts fall, Parts and hands may be damaged. In particular, when automatically picking a medium-weight article having parts of several kg or more, the risk of breakage of the hand and parts increases.

特開昭63−174890号公報JP-A 63-174890 特開2001−179669号公報JP 2001-179669 A 特開平8−305433号公報JP-A-8-305433

本発明は上記実情に鑑みてなされたものであって、自動ピッキングを行う際に、ハンド及びピッキング対象部品の破損リスクを低くする自動ピッキング装置及び自動ピッキング方法を提供することを目的とする。   The present invention has been made in view of the above circumstances, and an object thereof is to provide an automatic picking apparatus and an automatic picking method that reduce the risk of damage to a hand and a part to be picked when automatic picking is performed.

本願発明の一態様によれば、部品容器内に収容された複数の部品の高さ情報を含む視覚情報を取得する計測装置と、視覚情報に基づいて、部品どうしの高さの差が許容値以上になったか判断し、高さの差が許容値以上である場合には、部品の中で最も高い位置に存在している最上部品を認定し、最上部品を移動させる最上部品移動命令を生成する許容差制御装置と、視覚情報に基づいて、部品の位置情報及び姿勢情報を演算する部品位置姿勢情報演算装置と、最上部品移動命令、位置情報、及び姿勢情報に基づいて、作業対象となる最上部品又は部品に対するロボットの姿勢及び動作を制御するロボット制御信号を生成し、ロボット制御信号によりロボットの駆動を制御するロボット制御装置と、最上部品移動命令、位置情報、姿勢情報、及びロボット制御信号に基づいて、ロボットの先端に取り付けられたエンドエフェクタの姿勢及び動作を制御するエンドエフェクタ制御信号を生成し、エンドエフェクタ制御信号によりエンドエフェクタの駆動を制御するエンドエフェクタ制御装置とを備える自動ピッキング装置であることを要旨とする。   According to one aspect of the present invention, a height difference between components based on visual information and a measuring device that acquires visual information including height information of a plurality of components housed in a component container is an allowable value. If the difference in height is greater than or equal to the allowable value, the top part present at the highest position among the parts is identified and the top part movement command for moving the top part is generated. A tolerance control device, a component position / orientation information calculation device that calculates component position information and orientation information based on visual information, and a work target based on the top component movement command, position information, and orientation information A robot control device that generates a robot control signal for controlling the posture and operation of the robot with respect to the uppermost component or the component, and controls the driving of the robot by the robot control signal, and the uppermost component movement command, position information, posture information, and An end effector control device that generates an end effector control signal for controlling the posture and operation of an end effector attached to the tip of the robot based on the robot control signal, and controls the driving of the end effector by the end effector control signal. The gist is that it is an automatic picking device.

本願発明の他の態様によれば、部品容器内に収容された複数の部品の高さ情報を含む視覚情報を取得する工程と、視覚情報に基づいて、部品どうしの高さの差が許容値以上になったか判断する工程と、部品どうしの高さの差が許容値以上になったか判断する工程にて、許容値以上であると判断された場合には、部品の中で最も高い位置に存在している最上部品を認定する工程と、最上部品を移動させる工程と、部品どうしの高さの差が許容値以上になったか判断する工程にて、許容値以下であると判断された場合には、視覚情報に基づいて、部品の位置情報及び姿勢情報を演算する工程と、位置情報及び姿勢情報に基づいて、作業対象となる部品に対するロボットの姿勢及び動作を制御するロボット制御信号を生成し、ロボット制御信号によりロボットの駆動を制御する工程と、位置情報、姿勢情報、及びロボット制御信号に基づいて、ロボットの先端に取り付けられたエンドエフェクタの姿勢及び動作を制御するエンドエフェクタ制御信号を生成し、エンドエフェクタ制御信号によりエンドエフェクタの駆動を制御する工程とを含む自動ピッキング方法であることを要旨とする。   According to another aspect of the present invention, a step of obtaining visual information including height information of a plurality of parts housed in a part container, and a difference in height between parts based on the visual information is an allowable value. If it is determined that the difference is higher than the allowable value in the step of determining whether or not the difference in height between the components is equal to or higher than the allowable value, the highest position among the parts is determined. When it is determined that the difference is below the allowable value in the process of qualifying the existing top part, the process of moving the top part, and the step of determining whether the height difference between the parts exceeds the allowable value Based on visual information, calculating the position information and posture information of the component, and generating a robot control signal for controlling the posture and motion of the robot with respect to the component to be worked on based on the position information and posture information The robot control signal Based on the step of controlling the driving of the robot, the position information, the posture information, and the robot control signal, an end effector control signal for controlling the posture and operation of the end effector attached to the tip of the robot is generated, and the end effector control is performed. The present invention is summarized as an automatic picking method including a step of controlling driving of an end effector by a signal.

本願発明の他の態様によれば、部品容器内に収容された複数の部品の高さ情報を含む視覚情報を取得する工程と、視覚情報に基づいて、部品の位置情報及び姿勢情報を演算する工程と、位置情報及び姿勢情報に基づいて、作業対象となる部品に対するロボットの姿勢及び動作を制御するロボット制御信号を生成する工程と、位置情報、姿勢情報、及びロボット制御信号に基づいて、部品どうしの高さの差が許容値以上になったか判断する工程と、部品どうしの高さの差が許容値以上になったか判断する工程にて、許容値以上であると判断された場合には、部品の中で最も高い位置に存在している最上部品を認定する工程と、最上部品を移動させる工程と、部品どうしの高さの差が許容値以上になったか判断する工程にて、許容値以下であると判断された場合には、位置情報、姿勢情報、及びロボット制御信号に基づいて、ロボットの先端に取り付けられたエンドエフェクタの姿勢及び動作を制御するエンドエフェクタ制御信号を生成し、エンドエフェクタ制御信号によりエンドエフェクタの駆動を制御する工程とを含む自動ピッキング方法。   According to another aspect of the present invention, a step of obtaining visual information including height information of a plurality of components housed in a component container, and calculating position information and posture information of the component based on the visual information. A step of generating a robot control signal for controlling the posture and operation of the robot with respect to the component to be worked based on the step, the position information and the posture information; and the component based on the position information, the posture information and the robot control signal. If it is determined that the difference in height is greater than the allowable value in the step of determining whether the difference in height is greater than the allowable value or the step of determining whether the difference in height between components is greater than the allowable value Permitted in the process of certifying the highest part existing at the highest position among the parts, the process of moving the top part, and the process of judging whether the height difference between the parts exceeds the allowable value If it is less than the value In the case of disconnection, an end effector control signal for controlling the posture and operation of the end effector attached to the tip of the robot is generated based on the position information, posture information, and robot control signal. Controlling the drive of the end effector.

本発明によれば、自動ピッキングを行う際に、ハンド及びピッキング対象部品の破損リスクを低くする自動ピッキング装置及び自動ピッキング方法を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, when performing automatic picking, the automatic picking apparatus and the automatic picking method which can reduce the risk of breakage of the hand and the part to be picked can be provided.

本発明の第1の実施の形態に係る自動ピッキング装置の概略図である。1 is a schematic diagram of an automatic picking apparatus according to a first embodiment of the present invention. 本発明の第1の実施の形態に係る自動ピッキング方法を示すフローチャートである。It is a flowchart which shows the automatic picking method which concerns on the 1st Embodiment of this invention. 図3(a)は、部品上面の平面図であり、図3(b)は、部品側面の平面図である。3A is a plan view of the top surface of the component, and FIG. 3B is a plan view of the side surface of the component. 本発明の第1の実施の形態に係る自動ピッキング装置において、移動用ハンドを用いて最上部品を移動させる一例を示す図である。In the automatic picking apparatus which concerns on the 1st Embodiment of this invention, it is a figure which shows an example which moves the uppermost component using the hand for a movement. 本発明の第1の実施の形態に係る自動ピッキング装置において、移動用ハンドを用いずに把持用ハンドを用いて最上部品を移動させる一例を示す図である。In the automatic picking apparatus according to the first embodiment of the present invention, it is a diagram showing an example of moving the uppermost part using a gripping hand without using a moving hand. 本発明の第1の実施の形態に係る自動ピッキング装置において、移動用ハンドを用いずに特殊な把持用ハンドを用いて最上部品を移動させる一例を示す図である。In the automatic picking apparatus which concerns on the 1st Embodiment of this invention, it is a figure which shows an example which moves the uppermost components using a special gripping hand, without using a moving hand. 本発明の第2の実施の形態に係る自動ピッキング方法を示すフローチャートである。It is a flowchart which shows the automatic picking method which concerns on the 2nd Embodiment of this invention. 図3(a)は、部品容器内の部品の様子を示す側面図であり、図3(b)は、図3(a)のA方向からみた部品の様子を示す側面図である。Fig.3 (a) is a side view which shows the mode of the components in a component container, FIG.3 (b) is a side view which shows the mode of the components seen from the A direction of Fig.3 (a). 部品容器内の部品の様子を示す上面図である。It is a top view which shows the mode of the components in a components container. 最上部品の移動判定をするために用いる部品の高さデータマップ(その1)である。It is a height data map (part 1) of a part used for determining the movement of the top part. 最上部品の移動判定をするために用いる部品の高さデータマップ(その2)である。It is the height data map (2) of the components used in order to determine the movement of the top component.

以下に図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号で表している。但し、図面は模式的なものであり、厚みと平面寸法との関係、各層の厚みの比率等は現実のものとは異なる。したがって、具体的な厚みや寸法は以下の説明を照らし合わせて判断するべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。   Embodiments of the present invention will be described below with reference to the drawings. In the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals. However, the drawings are schematic, and the relationship between the thickness and the planar dimensions, the ratio of the thickness of each layer, and the like are different from the actual ones. Therefore, specific thicknesses and dimensions should be determined in light of the following description. Moreover, it is a matter of course that portions having different dimensional relationships and ratios are included between the drawings.

(第1の実施の形態)
本発明の第1の実施の形態に係る自動ピッキング装置は、図1に示すように、ロボット10と、計測装置20と、許容差制御装置21と、部品位置姿勢情報演算装置22と、ロボット制御装置30と、エンドエフェクタ制御装置40とを備える。
(First embodiment)
As shown in FIG. 1, the automatic picking apparatus according to the first embodiment of the present invention includes a robot 10, a measuring device 20, a tolerance control device 21, a component position / orientation information calculation device 22, and a robot control. A device 30 and an end effector control device 40 are provided.

計測装置20は、図1に示すように、部品容器50内に収容された複数の部品60を測定することができる位置に設けられ、部品容器50に収容された部品の高さ情報を含む視覚情報を取得するセンサである。部品容器50には、1種類の部品60が収容され、整列配置して部品60が収容されていても良く、乱雑なバラ積みであっても良い。計測装置20で視覚情報を取得する方法としては、レーザスキャナを使用する方法、及びステレオカメラを使用する方法等を採用することができる。   As shown in FIG. 1, the measuring device 20 is provided at a position where a plurality of components 60 accommodated in the component container 50 can be measured, and includes a visual information including height information of the components accommodated in the component container 50. It is a sensor that acquires information. In the component container 50, one type of component 60 may be accommodated, and the components 60 may be accommodated in an aligned arrangement, or may be messy bulk stacking. As a method for acquiring visual information with the measuring device 20, a method using a laser scanner, a method using a stereo camera, and the like can be employed.

計測装置20としてレーザスキャナを使用する方法では、まず、パルス状の赤外線レーザを測定対象(部品容器50に収容された部品60)に照射する。そして、測定対象等で反射したレーザ光をCCDカメラ等で受光して位相を測定し、測定対象までの距離を算出する。更に、計測装置20の照射方向を2次元的にスキャンさせながら距離を連続的に測定することで、測定対象までの距離と方位の3Dデータを取得することができる。測定対象までの距離算出としては、パルス状の赤外線レーザの位相測定の他に、三角測量および反射時間計測によっても距離を算出することができる。   In the method of using a laser scanner as the measuring device 20, first, a pulsed infrared laser is irradiated onto the measurement target (the component 60 accommodated in the component container 50). Then, the laser beam reflected by the measurement object or the like is received by a CCD camera or the like, the phase is measured, and the distance to the measurement object is calculated. Furthermore, by continuously measuring the distance while scanning the irradiation direction of the measuring device 20 two-dimensionally, it is possible to acquire 3D data of the distance to the measurement object and the azimuth. The distance to the measurement target can be calculated by triangulation and reflection time measurement in addition to the phase measurement of the pulsed infrared laser.

計測装置20としてステレオカメラを使用する方法では、まず、複数台のカメラで測定対象を同時に撮影する。そして、各カメラで得られたその物体の画像上での映る位置の違い(視差)から位置、距離、立体的な形状を測定することで、測定対象の3Dデータを取得することができる。   In the method of using a stereo camera as the measuring device 20, first, the measurement object is simultaneously photographed by a plurality of cameras. And 3D data of a measuring object can be acquired by measuring a position, a distance, and a three-dimensional shape from the difference (parallax) of the position on the image of the object obtained by each camera.

許容差制御装置21は、計測装置20及び部品位置姿勢情報演算装置22に接続されている。許容差制御装置21には、エンドエフェクタ16及び部品60の耐久性に依存して決定された許容値が記憶されている。許容差制御装置21に許容値を記憶させる手段としては、キーボード、マウス、ボイスデバイス又はライトペン等の入力装置(図示せず)により許容値を入力して記憶させる手段や、エンドエフェクタ16及び部品60の耐久性に関する値を入力することにより許容値を算出することで記憶させる手段等がある。   The tolerance control device 21 is connected to the measurement device 20 and the component position / orientation information calculation device 22. In the tolerance control device 21, tolerance values determined depending on the durability of the end effector 16 and the component 60 are stored. Means for storing tolerance values in the tolerance control device 21 include means for inputting and storing tolerance values with an input device (not shown) such as a keyboard, mouse, voice device, or light pen, and the end effector 16 and components. There are means for storing by calculating an allowable value by inputting a value related to durability of 60.

許容差制御装置21は、計測装置20から視覚情報を受信し、視覚情報に基づいて、部品60どうしの高さの差dが許容値以上になったか判断する。許容差制御装置21は、部品60どうしの高さの差dが許容値以上である場合には、部品60の中で最も高い位置に存在している最上部品60aを認定し、最上部品60aを移動させる最上部品移動命令を生成する。高さの差dとは、計測装置20によって得られる部品60の視覚情報(表面データ)に基づいて算出される高さデータの差をいう。図1では、1箇所の部品60どうしの高さの差dを示しているが、実際には複数箇所で高さの差dを測定し、許容値以上であるか判断する。   The tolerance control device 21 receives the visual information from the measuring device 20, and determines whether the height difference d between the components 60 is equal to or greater than the tolerance based on the visual information. When the difference d between the heights of the components 60 is equal to or greater than the allowable value, the tolerance control device 21 recognizes the uppermost component 60a present at the highest position among the components 60, and determines the uppermost component 60a. A top part movement command to be moved is generated. The height difference d is a difference in height data calculated based on visual information (surface data) of the component 60 obtained by the measuring device 20. In FIG. 1, the height difference d between the parts 60 at one place is shown, but actually, the height difference d is measured at a plurality of places to determine whether the difference is greater than the allowable value.

部品位置姿勢情報演算装置22は、計測装置20及びロボット制御装置30に接続されている。部品位置姿勢情報演算装置22は、視覚情報に基づいて、ロボット10がピッキング等の作業対象となる部品60の位置情報及び姿勢情報を演算する。   The component position / orientation information calculation device 22 is connected to the measurement device 20 and the robot control device 30. The component position / orientation information calculation device 22 calculates position information and posture information of the component 60 that is a work target such as picking by the robot 10 based on the visual information.

ロボット制御装置30は、ロボット10、許容差制御装置21、部品位置姿勢情報演算装置22、及びエンドエフェクタ制御装置40に接続されている。ロボット制御装置30は、許容差制御装置21から最上部品移動命令を受信し、部品位置姿勢情報演算装置22から部品60の位置情報及び姿勢情報を受信する。ロボット制御装置30は、最上部品移動命令、位置情報、及び姿勢情報に基づいて、作業対象となる最上部品60a又は部品60に対するロボット10の姿勢及び動作を制御するロボット制御信号を生成する。ロボット制御装置30は、ロボット制御信号によりロボット10の駆動を制御する。   The robot control device 30 is connected to the robot 10, the tolerance control device 21, the component position / orientation information calculation device 22, and the end effector control device 40. The robot control device 30 receives the uppermost component movement command from the tolerance control device 21 and receives the position information and posture information of the component 60 from the component position / orientation information calculation device 22. The robot control device 30 generates a robot control signal for controlling the posture and operation of the robot 10 with respect to the uppermost component 60a or the component 60 to be worked based on the uppermost component movement command, the position information, and the posture information. The robot control device 30 controls driving of the robot 10 by a robot control signal.

エンドエフェクタ制御装置40は、ロボット10及びロボット制御装置30に接続されている。エンドエフェクタ制御装置40は、最上部品移動命令、位置情報、姿勢情報、及びロボット制御信号に基づいて、ロボット10の先端に取り付けられたエンドエフェクタ16の姿勢及び動作を制御するエンドエフェクタ制御信号を生成する。エンドエフェクタ制御装置40は、エンドエフェクタ制御信号によりエンドエフェクタ16の駆動を制御する。   The end effector control device 40 is connected to the robot 10 and the robot control device 30. The end effector control device 40 generates an end effector control signal for controlling the posture and operation of the end effector 16 attached to the tip of the robot 10 based on the uppermost component movement command, position information, posture information, and robot control signal. To do. The end effector control device 40 controls driving of the end effector 16 by an end effector control signal.

エンドエフェクタ制御装置40は、最上部品移動命令を受信した場合に、最上部品60aを移動させるためのエンドエフェクタである移動用ハンドに交換する制御を行う。移動用ハンドは、移動させる最上部品60aの形状によって決定され、例えば、最上部品60aに凹部等があれば凹部に挿入可能な棒状とすることができる。移動用ハンドは、最上部品60aを移動させることが可能であれば、大きさや長さに特に制限はない。   When the end effector control device 40 receives the uppermost component movement command, the end effector control device 40 performs control for exchanging with a moving hand that is an end effector for moving the uppermost component 60a. The moving hand is determined by the shape of the uppermost component 60a to be moved. For example, if the uppermost component 60a has a recess or the like, it can be formed into a rod shape that can be inserted into the recess. The moving hand is not particularly limited in size and length as long as it can move the uppermost component 60a.

ロボット制御信号及びエンドエフェクタ制御信号は、測定対象である部品を計測装置20で認識し、例えば、把持する部品の箇所(例えば、ボルトの中心)のXYZ座標位置と、把持する方向・姿勢(オイラー角やロール・ピッチ・ヨー角など、3角度A、B、C角)の6次元情報である。   The robot control signal and the end effector control signal recognize the part to be measured by the measuring device 20, for example, the XYZ coordinate position of the part to be gripped (for example, the center of the bolt) and the gripping direction / posture (Euler). 6-dimensional information of 3 angles A, B, and C angles such as a corner, a roll, a pitch, and a yaw angle.

また、ロボット制御装置30は、作業者等によって入力されたロボット10がピッキング等の作業をする作業対象の部品60についての部品形状情報部品情報を記憶することができ、エンドエフェクタ制御装置40は、ロボット10の先端に取り付けられたエンドエフェクタ16のエンドエフェクタ形状情報を記憶することができる。部品形状情報部品情報及びエンドエフェクタ形状情報は、例えば、周知の磁気テープ、磁気ドラム、磁気ディスク、光ディスク、光磁気ディスク、あるいはROM、RAMなどの半導体メモリ等の記憶装置に記憶される。   Further, the robot control device 30 can store part shape information part information about the work target part 60 on which the robot 10 input by an operator or the like performs work such as picking, and the end effector control apparatus 40 The end effector shape information of the end effector 16 attached to the tip of the robot 10 can be stored. Component shape information Component information and end effector shape information are stored in a storage device such as a known magnetic tape, magnetic drum, magnetic disk, optical disk, magneto-optical disk, or semiconductor memory such as ROM or RAM.

ロボット10は、基台11側から順に第1アーム部12a、第2アーム部12b、第3アーム部12c、第4アーム部12dを有している。基台11と第1アーム部12aはA1軸13aで回転可能に連結されている。第1アーム部12aと第2アーム部12bはA2軸13bで回転可能に連結されている。第2アーム部12bと第3アーム部12cはA3軸13cで回転可能に連結されている。第3アーム部12cの先端側(第4アーム部12d側)はA4軸13dにより、基端側(第2アーム部12b側)に対して回転可能とされている。第3アーム部12cと第4アーム部12dはA5軸13eで回転可能に連結されている。第4アーム部12dの先端には、A6軸13fを介してロボット側オートツールチェンジャ14が回転可能に連結されている。このように構成された本実施形態のロボット10においては、A1軸13a〜A6軸13fの各軸用のロータリアクチュエータに、ロボット制御装置30から適切な制御値を与えることで、基台11に対して第1〜第4アーム部12a〜12dを適切な姿勢とする。   The robot 10 includes a first arm portion 12a, a second arm portion 12b, a third arm portion 12c, and a fourth arm portion 12d in order from the base 11 side. The base 11 and the first arm portion 12a are rotatably connected by an A1 shaft 13a. The 1st arm part 12a and the 2nd arm part 12b are connected with the A2 axis | shaft 13b so that rotation is possible. The 2nd arm part 12b and the 3rd arm part 12c are connected so that rotation with the A3 axis 13c is possible. The distal end side (fourth arm portion 12d side) of the third arm portion 12c is rotatable with respect to the proximal end side (second arm portion 12b side) by an A4 shaft 13d. The 3rd arm part 12c and the 4th arm part 12d are connected with the A5 axis 13e so that rotation is possible. A robot-side auto tool changer 14 is rotatably connected to the tip of the fourth arm portion 12d via an A6 shaft 13f. In the robot 10 of this embodiment configured as described above, an appropriate control value is given from the robot control device 30 to the rotary actuator for each of the A1 axis 13a to A6 axis 13f, so that the base 11 can be controlled. Thus, the first to fourth arm portions 12a to 12d are set to appropriate postures.

ロボット10のロボット側オートツールチェンジャ14は、ハンド側オートツールチェンジャ15と接続可能である。ハンド側オートツールチェンジャ15には、エンドエフェクタ16が回転可能に連結されている。但し、エンドエフェクタ16は、ロボット10の出荷段階ではロボット側オートツールチェンジャ14に取り付けられていない。エンドエフェクタ16は、ロボット10の受け入れ先において、ロボット10を使用するシステム上の作業に適したものが適宜取り付けられる。ロボット側オートツールチェンジャ14に取り付けられたエンドエフェクタ16は、ロボット側オートツールチェンジャ14に対するエンドエフェクタ16の立設方向と平行に延在する回転軸であるA6軸13fの周りに、A6軸13f用のロータリアクチュエータによって回転することができる。エンドエフェクタ16としては、例えば、部品60をピッキングするための2爪グリッパ及び吸着ハンド等を採用することができる。吸着ハンドの吸着手段としては、吸引、磁力、粘着材料等の種々の手段を用いることができる。   The robot-side auto tool changer 14 of the robot 10 can be connected to the hand-side auto tool changer 15. An end effector 16 is rotatably connected to the hand side auto tool changer 15. However, the end effector 16 is not attached to the robot-side auto tool changer 14 when the robot 10 is shipped. The end effector 16 is appropriately attached at the receiving destination of the robot 10 and is suitable for work on the system using the robot 10. The end effector 16 attached to the robot side auto tool changer 14 is for the A6 axis 13f around the A6 axis 13f that is a rotation axis extending in parallel with the standing direction of the end effector 16 with respect to the robot side auto tool changer 14. The rotary actuator can be rotated. As the end effector 16, for example, a two-claw gripper and a suction hand for picking the component 60 can be adopted. Various means such as suction, magnetic force, and adhesive material can be used as the suction means of the suction hand.

エンドエフェクタ16は、エンドエフェクタ制御装置40によって作成されたエンドエフェクタ制御信号に基づいて動作が制御される。本実施形態のエンドエフェクタ16において、例えば、2爪グリッパを採用した場合は、2爪の把持部17の開閉動作等がエンドエフェクタ制御信号によって制御される。   The operation of the end effector 16 is controlled based on the end effector control signal created by the end effector control device 40. In the end effector 16 of the present embodiment, for example, when a two-claw gripper is adopted, the opening / closing operation or the like of the two-claw gripping portion 17 is controlled by the end effector control signal.

以下に、本発明の第1の実施の形態に係る自動ピッキング方法について、図2のフローチャートを参照しながら説明する。   The automatic picking method according to the first embodiment of the present invention will be described below with reference to the flowchart of FIG.

ステップS11において、計測装置20を用いて部品容器50内の部品60を計測し、部品容器50内に収容された複数の部品60の高さ情報を含む視覚情報を取得する。計測装置20は、取得した視覚情報を許容差制御装置21及び部品位置姿勢情報演算装置22へ送信する。   In step S <b> 11, the component 60 in the component container 50 is measured using the measuring device 20, and visual information including height information of the plurality of components 60 accommodated in the component container 50 is acquired. The measuring device 20 transmits the acquired visual information to the tolerance control device 21 and the component position / orientation information calculation device 22.

次に、ステップS12において、許容差制御装置21は、受信した視覚情報に基づいて、部品60どうしの高さの差dが許容値以上になったか判断する。高さの差dとは、ステップS11において、計測装置20によって得られる部品60の視覚情報(表面データ)に基づいて算出される部品60どうしの高さデータの差をいう。部品60どうしの高さの差dが許容値以上であると判断された場合は、ステップS13へ移行する。部品60どうしの高さの差dが許容値以上でないと判断された場合は、ステップS15へ移行する。   Next, in step S12, the tolerance control device 21 determines whether the height difference d between the components 60 is equal to or greater than the tolerance based on the received visual information. The height difference d means a difference in height data between the parts 60 calculated based on visual information (surface data) of the parts 60 obtained by the measuring device 20 in step S11. If it is determined that the height difference d between the components 60 is greater than or equal to the allowable value, the process proceeds to step S13. If it is determined that the height difference d between the components 60 is not greater than the allowable value, the process proceeds to step S15.

許容値は、ステップS12で判断される前に許容差制御装置21に記憶されている。例えば、エンドエフェクタ16及び部品60の耐久性に関する値を許容差制御装置21に入力することで、許容差制御装置21がエンドエフェクタ16及び部品60の耐久性に依存する許容値を決定し、許容差制御装置21に許容値を記憶する。あるいは、許容差制御装置21に許容値を直接入力することで記憶させても構わない。   The tolerance value is stored in the tolerance controller 21 before being determined in step S12. For example, by inputting a value related to the durability of the end effector 16 and the component 60 to the tolerance control device 21, the tolerance control device 21 determines a tolerance value depending on the durability of the end effector 16 and the component 60, and allows An allowable value is stored in the difference control device 21. Alternatively, the tolerance control device 21 may store the tolerance by directly inputting the tolerance.

次に、ステップS13において、許容差制御装置21は、部品60の中で最も高い位置に存在している最上部品60aを認定する。許容差制御装置21は、認定した最上部品60aを移動させる最上部品移動命令を生成し、ロボット制御装置30及びエンドエフェクタ制御装置40へ送信する。   Next, in step S <b> 13, the tolerance control device 21 recognizes the uppermost component 60 a existing at the highest position among the components 60. The tolerance control device 21 generates an uppermost component movement command for moving the recognized uppermost component 60a and transmits the command to the robot control device 30 and the end effector control device 40.

ここで、エンドエフェクタ制御装置40は、最上部品移動命令を受信した場合に、最上部品を移動させるためのエンドエフェクタである移動用ハンドに交換する制御を行うことがある。例えば、部品60(最上部品60a)が図3に示すように、凹部(穴部)61を有する場合、図4に示すような凹部61に挿入可能な棒状の移動用ハンド18に交換することで、最上部品60aを容易に移動させることができる。エンドエフェクタ16を移動用ハンド18に交換しなかった場合に、最上部品60aを動かそうとロボット10を動作させると、図5に示すように、部品容器50や他の部品60と接触してしまうことがある。エンドエフェクタ16を移動用ハンド18に交換することで、部品容器50や他の部品60との接触を回避することができる。   Here, when the end effector control device 40 receives the uppermost component movement command, the end effector control device 40 may perform control for exchanging with a moving hand that is an end effector for moving the uppermost component. For example, when the component 60 (uppermost component 60a) has a recess (hole) 61 as shown in FIG. 3, it can be replaced with a rod-shaped moving hand 18 that can be inserted into the recess 61 as shown in FIG. The uppermost component 60a can be easily moved. If the end effector 16 is not replaced with the moving hand 18 and the robot 10 is operated to move the uppermost component 60a, the component container 50 and other components 60 come into contact with each other as shown in FIG. Sometimes. By exchanging the end effector 16 with the moving hand 18, it is possible to avoid contact with the component container 50 and other components 60.

次に、ステップS14において、ロボット制御装置30は、最上部品移動命令に基づいて、作業対象となる最上部品60aに対するロボット10の位置姿勢情報を演算し、ロボット10の姿勢及び動作を制御するロボット制御信号を生成する。ロボット制御装置30は、ロボット制御信号により最上部品60aを移動させるための位置姿勢になるようにロボット10の駆動を制御する。一方、エンドエフェクタ制御装置40は、最上部品移動命令に基づいて、ロボット10の先端に取り付けられたエンドエフェクタ16の姿勢及び動作を制御するエンドエフェクタ制御信号を生成する。エンドエフェクタ制御装置40は、エンドエフェクタ制御信号によりエンドエフェクタ16の駆動を制御して、最上部品60aを移動させる。最上部品60aを移動させることで、部品60どうしの高さの差dが許容値以下になる。この後、再びステップS11へ移行する。   Next, in step S14, the robot control device 30 calculates the position and orientation information of the robot 10 with respect to the uppermost component 60a to be worked based on the uppermost component movement command, and controls the posture and operation of the robot 10. Generate a signal. The robot control device 30 controls the drive of the robot 10 so as to be in a position and orientation for moving the uppermost component 60a by the robot control signal. On the other hand, the end effector control device 40 generates an end effector control signal for controlling the posture and operation of the end effector 16 attached to the tip of the robot 10 based on the uppermost component movement command. The end effector control device 40 controls the drive of the end effector 16 by the end effector control signal to move the uppermost component 60a. By moving the uppermost component 60a, the height difference d between the components 60 becomes less than the allowable value. Thereafter, the process proceeds to step S11 again.

次に、ステップS15において、部品位置姿勢情報演算装置22は、視覚情報に基づいて、ロボット10がピッキング等の作業対象となる部品60の位置情報及び姿勢情報を演算する。そして、部品位置姿勢情報演算装置22は、位置情報及び姿勢情報をロボット制御装置30へ送信する。   Next, in step S15, the component position / orientation information calculation device 22 calculates position information and orientation information of the component 60 that is a work target such as picking by the robot 10 based on the visual information. Then, the component position / orientation information calculation device 22 transmits the position information and orientation information to the robot control device 30.

次に、ステップS16において、ロボット制御装置30は、位置情報及び姿勢情報に基づいて、作業対象となる部品60に対するロボット10の位置姿勢情報を演算し、ロボット10の姿勢及び動作を制御するロボット制御信号を生成する。そして、ステップS17において、ロボット制御装置30は、ロボット制御信号によりピッキング位置姿勢になるようにロボット10の駆動を制御する。   Next, in step S <b> 16, the robot control device 30 calculates the position / orientation information of the robot 10 with respect to the component 60 to be worked based on the position information and the attitude information, and controls the attitude and operation of the robot 10. Generate a signal. In step S <b> 17, the robot control device 30 controls the driving of the robot 10 so as to be in the picking position / posture by the robot control signal.

次に、ステップS18において、エンドエフェクタ制御装置40は、位置情報、姿勢情報及びロボット制御信号に基づいて、ロボット10の先端に取り付けられたエンドエフェクタ16の姿勢及び動作を制御するエンドエフェクタ制御信号を生成する。エンドエフェクタ制御装置40は、エンドエフェクタ制御信号によりエンドエフェクタ16の駆動を制御して、作業対象となる部品60を把持(ピッキング)する。   Next, in step S18, the end effector control device 40 generates an end effector control signal for controlling the posture and operation of the end effector 16 attached to the tip of the robot 10 based on the position information, the posture information, and the robot control signal. Generate. The end effector control device 40 controls the driving of the end effector 16 by the end effector control signal, and grips (picks) the component 60 to be worked.

次に、ステップS19において、把持された部品60は、指示された箇所に搬送される。そして、ステップS20において、搬送されるべき部品60の数量等が所定の状態になっているか判断し、所定の状態になっている場合は作業を終了し、所定の状態になっていない場合は再度ステップS11へ移行する。   Next, in step S19, the gripped component 60 is conveyed to the designated location. Then, in step S20, it is determined whether the quantity of the parts 60 to be transported is in a predetermined state. If it is in the predetermined state, the operation is terminated, and if it is not in the predetermined state, it is performed again. The process proceeds to step S11.

以上の工程により、自動ピッキングが行われる。   Automatic picking is performed through the above steps.

第1の実施の形態に係る自動ピッキング装置及び自動ピッキング方法によれば、高さの差が許容値を超えてしまった場合に、最上部品60aを移動させるので、部品60が落下して部品60やエンドエフェクタ(ハンド)16を破損させる程度の高さの差になることがない。したがって、部品60が落下した場合でも、部品60やエンドエフェクタ16が破損してしまう破損リスクを低減させることができる。   According to the automatic picking apparatus and the automatic picking method according to the first embodiment, when the difference in height exceeds the allowable value, the uppermost component 60a is moved, so that the component 60 falls and the component 60 is dropped. Further, there is no difference in height that would damage the end effector (hand) 16. Therefore, even when the component 60 falls, the risk of breakage of the component 60 and the end effector 16 can be reduced.

また、第1の実施の形態に係る自動ピッキング装置及び自動ピッキング方法によれば、高さの差が許容値を超えてしまった場合に、最上部品60aを移動させるので、部品60を攪拌させることにもなり、部品60をピッキングしやすい状態になるので、ピッキングの失敗を減少させることができる。   Further, according to the automatic picking apparatus and the automatic picking method according to the first embodiment, when the difference in height exceeds the allowable value, the uppermost component 60a is moved, so that the component 60 is agitated. In addition, since the component 60 is easily picked, it is possible to reduce picking failures.

(第2の実施の形態)
本発明の第2の実施の形態に係る自動ピッキング装置は、図1に示した自動ピッキング装置と実質的に同様であるので、重複する記載を省略する。
(Second Embodiment)
The automatic picking apparatus according to the second embodiment of the present invention is substantially the same as the automatic picking apparatus shown in FIG.

許容差制御装置21は、エンドエフェクタ16及び部品60の耐久性に依存して決定された許容値が記憶されている。また、許容差制御装置21は、部品60の形状及び大きさ等に依存して決定された閾値Δzが記憶されている。閾値Δzとは、部品60を動かすことが可能な段差についての高さの閾値をいう。許容差制御装置21に許容値及び閾値Δzを記憶させる手段としては、キーボード、マウス、ボイスデバイス又はライトペン等の入力装置(図示せず)により許容値及び閾値Δzを入力して記憶させる手段や、エンドエフェクタ16及び部品60の耐久性、形状、及びサイズ等に関する値を入力することにより許容値及び閾値Δzを算出することで記憶させる手段等がある。   The tolerance control device 21 stores tolerance values determined depending on the durability of the end effector 16 and the component 60. The tolerance control device 21 stores a threshold value Δz determined depending on the shape and size of the component 60 and the like. The threshold value Δz is a height threshold value for a step where the component 60 can be moved. Means for storing the tolerance value and threshold value Δz in the tolerance control device 21 include means for inputting and storing the tolerance value and threshold value Δz with an input device (not shown) such as a keyboard, a mouse, a voice device, or a light pen. Further, there are means for storing by calculating an allowable value and a threshold value Δz by inputting values relating to durability, shape, size, and the like of the end effector 16 and the component 60.

許容差制御装置21は、計測装置20から視覚情報を受信し、視覚情報に基づいて、部品60どうしの高さの差dが許容値以上になったか判断する。許容差制御装置21は、部品60どうしの高さの差dが許容値以上である場合には、部品60の中で最も高い位置に存在している最上部品60aを認定し、最上部品60aを移動させる最上部品移動命令を生成する。高さの差dとは、部品位置姿勢情報演算装置22によって得られる部品60の位置情報、姿勢情報、及びロボット制御信号に基づいて算出される部品60どうしの高さデータの差をいう。具体的には、高さの差dは、それぞれの部品60の重心データ及び座標系原点からの距離を算出することで得られる。   The tolerance control device 21 receives the visual information from the measuring device 20, and determines whether the height difference d between the components 60 is equal to or greater than the tolerance based on the visual information. When the difference d between the heights of the components 60 is equal to or greater than the allowable value, the tolerance control device 21 recognizes the uppermost component 60a present at the highest position among the components 60, and determines the uppermost component 60a. A top part movement command to be moved is generated. The height difference d means a difference in height data between the parts 60 calculated based on the position information, the attitude information, and the robot control signal of the part 60 obtained by the part position / orientation information calculation device 22. Specifically, the height difference d is obtained by calculating the center of gravity data of each component 60 and the distance from the coordinate system origin.

以下に、本発明の第2の実施の形態に係る自動ピッキング方法について、図7のフローチャートを参照しながら説明する。   The automatic picking method according to the second embodiment of the present invention will be described below with reference to the flowchart of FIG.

ステップS11において、計測装置20を用いて部品容器50内の部品60を計測し、部品容器50内に収容された複数の部品60の高さ情報を含む視覚情報を取得する。計測装置20は、取得した視覚情報を許容差制御装置21及び部品位置姿勢情報演算装置22へ送信する。   In step S <b> 11, the component 60 in the component container 50 is measured using the measuring device 20, and visual information including height information of the plurality of components 60 accommodated in the component container 50 is acquired. The measuring device 20 transmits the acquired visual information to the tolerance control device 21 and the component position / orientation information calculation device 22.

次に、ステップS15において、部品位置姿勢情報演算装置22は、視覚情報に基づいて、ロボット10がピッキング等の作業対象となる部品60の位置情報及び姿勢情報を演算する。そして、部品位置姿勢情報演算装置22は、位置情報及び姿勢情報をロボット制御装置30へ送信する。   Next, in step S15, the component position / orientation information calculation device 22 calculates position information and orientation information of the component 60 that is a work target such as picking by the robot 10 based on the visual information. Then, the component position / orientation information calculation device 22 transmits the position information and orientation information to the robot control device 30.

次に、ステップS16において、ロボット制御装置30は、位置情報及び姿勢情報に基づいて、作業対象となる部品60に対するロボット10の位置姿勢情報を演算し、ロボット10の姿勢及び動作を制御するロボット制御信号を生成する。   Next, in step S <b> 16, the robot control device 30 calculates the position / orientation information of the robot 10 with respect to the component 60 to be worked based on the position information and the attitude information, and controls the attitude and operation of the robot 10. Generate a signal.

次に、ステップS12aにおいて、許容差制御装置21は、位置情報、姿勢情報、及びロボット制御信号に基づいて、部品60どうしの高さの差dが許容値以上になったか判断する。ここで、高さの差dとは、ステップS15において得られる部品60の位置情報、姿勢情報、及び、ステップS16において得られるロボット制御信号に基づいて算出される高さデータの差をいう。具体的には、高さの差dは、部品60の重心データ及び座標系原点を算出することで得られる。部品60どうしの高さの差dが許容値以上であると判断された場合は、ステップS13へ移行する。部品60どうしの高さの差dが許容値以上でないと判断された場合は、ステップS15へ移行する。   Next, in step S12a, the tolerance control device 21 determines whether the height difference d between the components 60 is equal to or greater than the tolerance based on the position information, the posture information, and the robot control signal. Here, the height difference d means a difference in height data calculated based on the position information and posture information of the component 60 obtained in step S15 and the robot control signal obtained in step S16. Specifically, the height difference d is obtained by calculating the gravity center data of the component 60 and the coordinate system origin. If it is determined that the height difference d between the components 60 is greater than or equal to the allowable value, the process proceeds to step S13. If it is determined that the height difference d between the components 60 is not greater than the allowable value, the process proceeds to step S15.

許容値は、ステップS12aで判断される前に許容差制御装置21に記憶されている。例えば、エンドエフェクタ16及び部品60の耐久性に関する値を許容差制御装置21に入力することで、許容差制御装置21がエンドエフェクタ16及び部品60の耐久性に依存する許容値を決定し、許容差制御装置21に許容値を記憶する。あるいは、許容差制御装置21に許容値を直接入力することで記憶させても構わない。   The tolerance value is stored in the tolerance controller 21 before being determined in step S12a. For example, by inputting a value related to the durability of the end effector 16 and the component 60 to the tolerance control device 21, the tolerance control device 21 determines a tolerance value depending on the durability of the end effector 16 and the component 60, and allows An allowable value is stored in the difference control device 21. Alternatively, the tolerance control device 21 may store the tolerance by directly inputting the tolerance.

次に、ステップS21において、許容差制御装置21は、位置情報、姿勢情報、及び高さの差dに基づいて、作業対象となる(ピッキング可能な)部品60が存在するか否かを判断する。作業対象となる部品60が在る場合にはステップS17に移行し、作業対象となる部品60が無い場合にはステップS13に移行する。   Next, in step S <b> 21, the tolerance control device 21 determines whether there is a part 60 to be worked (pickable) based on the position information, the posture information, and the height difference d. . If there is a part 60 to be worked, the process proceeds to step S17, and if there is no part 60 to be worked, the process proceeds to step S13.

次に、ステップS13において、許容差制御装置21は、図8及び図9に示すように、部品60の中で最も高い位置に存在している最上部品60aを認定する。そして、許容差制御装置21は、図9に示すように、最上部品60aに在る最も高い点Phを中心とする半径rのエリア(一点鎖線の円エリア)において、角度θずつ計測データの高さマップを作成する。そして、作成した高さマップを基に、部品容器50の範囲内である線分Rを中心とする幅Wのエリア内(網掛け部)であって、ベクトルR方向に低い点から高い点に閾値Δzがない場合、ベクトルR方向に最上部品60aを距離Dだけ動かす。   Next, in step S13, the tolerance control device 21 recognizes the uppermost component 60a present at the highest position among the components 60, as shown in FIGS. Then, as shown in FIG. 9, the tolerance control device 21 increases the measurement data by an angle θ in an area with a radius r centered on the highest point Ph in the uppermost component 60a (a circular area with a chain line). Create a map. Then, based on the created height map, within the area of the width W centered on the line segment R within the range of the component container 50 (shaded portion), from a low point to a high point in the vector R direction When there is no threshold Δz, the uppermost component 60a is moved by the distance D in the vector R direction.

そして、許容差制御装置21は、作成した高さマップを基に、部品容器50の範囲内である線分Rを中心とする幅Wのエリア内(網掛け部)であって、ベクトルR方向に低い点から高い点への差分を計測し、閾値Δzと比較する。図10に示すように、ベクトルR方向に低い点から高い点への高さの差が閾値Δz以上である場合は、最上部品60aを動かすことができないので、他の方向への移動可能性を再検討する。図11に示すように、ベクトルR方向に低い点から高い点への高さの差が閾値Δz以下である場合は、ベクトルR方向を最上部品60aの移動方向に決定し、最上部品60aを距離Dだけ動かす。   Then, the tolerance control device 21 is based on the created height map and is within an area (shaded portion) having a width W centered on the line segment R within the range of the component container 50, and in the vector R direction. The difference from the low point to the high point is measured and compared with the threshold value Δz. As shown in FIG. 10, when the difference in height from the low point to the high point in the vector R direction is equal to or larger than the threshold value Δz, the uppermost component 60a cannot be moved, so that the possibility of movement in other directions is increased. revise. As shown in FIG. 11, when the difference in height from the low point to the high point in the vector R direction is equal to or less than the threshold value Δz, the vector R direction is determined as the moving direction of the uppermost component 60a, and the uppermost component 60a is determined as the distance. Move only D.

閾値Δzは、ステップS13で判断される前に許容差制御装置21に記憶されている。例えば、部品60の形状及びサイズ等に関する値を許容差制御装置21に入力することで、許容差制御装置21が移動させる部品60の閾値Δzを決定し、許容差制御装置21に許容値を記憶する。あるいは、許容差制御装置21に閾値Δzを直接入力することで記憶させても構わない。   The threshold value Δz is stored in the tolerance control device 21 before being determined in step S13. For example, by inputting values related to the shape, size, etc. of the component 60 to the tolerance control device 21, the threshold value Δz of the component 60 to be moved by the tolerance control device 21 is determined, and the tolerance value is stored in the tolerance control device 21. To do. Alternatively, the threshold value Δz may be directly input to the tolerance control device 21 and stored.

許容差制御装置21は、移動可能であると認定した最上部品60aを移動させる最上部品移動命令を生成し、ロボット制御装置30及びエンドエフェクタ制御装置40へ送信する。   The tolerance control device 21 generates an uppermost component movement command for moving the uppermost component 60a that is recognized as being movable, and transmits it to the robot control device 30 and the end effector control device 40.

次に、ステップS14において、ロボット制御装置30は、最上部品移動命令に基づいて、作業対象となる最上部品60aに対するロボット10の位置姿勢情報を演算し、ロボット10の姿勢及び動作を制御するロボット制御信号を生成する。ロボット制御装置30は、ロボット制御信号により最上部品60aを移動させるための位置姿勢になるようにロボット10の駆動を制御する。一方、エンドエフェクタ制御装置40は、最上部品移動命令に基づいて、ロボット10の先端に取り付けられたエンドエフェクタ16の姿勢及び動作を制御するエンドエフェクタ制御信号を生成する。エンドエフェクタ制御装置40は、エンドエフェクタ制御信号によりエンドエフェクタ16の駆動を制御して、最上部品60aを移動させる。最上部品60aを移動させることで、部品60どうしの高さの差dが許容値以下になる。この後、再びステップS11へ移行する。   Next, in step S14, the robot control device 30 calculates the position and orientation information of the robot 10 with respect to the uppermost component 60a to be worked based on the uppermost component movement command, and controls the posture and operation of the robot 10. Generate a signal. The robot control device 30 controls the drive of the robot 10 so as to be in a position and orientation for moving the uppermost component 60a by the robot control signal. On the other hand, the end effector control device 40 generates an end effector control signal for controlling the posture and operation of the end effector 16 attached to the tip of the robot 10 based on the uppermost component movement command. The end effector control device 40 controls the drive of the end effector 16 by the end effector control signal to move the uppermost component 60a. By moving the uppermost component 60a, the height difference d between the components 60 becomes less than the allowable value. Thereafter, the process proceeds to step S11 again.

次に、ステップS17において、ロボット制御装置30は、ロボット制御信号によりピッキング位置姿勢になるようにロボット10の駆動を制御する。   Next, in step S <b> 17, the robot control device 30 controls the driving of the robot 10 so as to be in the picking position / posture by the robot control signal.

次に、ステップS18において、エンドエフェクタ制御装置40は、位置情報、姿勢情報及びロボット制御信号に基づいて、ロボット10の先端に取り付けられたエンドエフェクタ16の姿勢及び動作を制御するエンドエフェクタ制御信号を生成する。エンドエフェクタ制御装置40は、エンドエフェクタ制御信号によりエンドエフェクタ16の駆動を制御して、作業対象となる部品60を把持(ピッキング)する。   Next, in step S18, the end effector control device 40 generates an end effector control signal for controlling the posture and operation of the end effector 16 attached to the tip of the robot 10 based on the position information, the posture information, and the robot control signal. Generate. The end effector control device 40 controls the driving of the end effector 16 by the end effector control signal, and grips (picks) the component 60 to be worked.

次に、ステップS19において、把持された部品60は、指示された箇所に搬送される。そして、ステップS20において、搬送されるべき部品60の数量等が所定の状態になっているか判断し、所定の状態になっている場合は作業を終了し、所定の状態になっていない場合は再度ステップS11へ移行する。   Next, in step S19, the gripped component 60 is conveyed to the designated location. Then, in step S20, it is determined whether the quantity of the parts 60 to be transported is in a predetermined state. If it is in the predetermined state, the operation is terminated, and if it is not in the predetermined state, it is performed again. The process proceeds to step S11.

以上の工程により、自動ピッキングが行われる。   Automatic picking is performed through the above steps.

第2の実施の形態に係る自動ピッキング装置及び自動ピッキング方法でも、第1の実施の形態に係る自動ピッキング装置及び自動ピッキング方法と同様の効果を得ることができる。   The automatic picking apparatus and the automatic picking method according to the second embodiment can achieve the same effects as the automatic picking apparatus and the automatic picking method according to the first embodiment.

また、第2の実施の形態に係る自動ピッキング装置及び自動ピッキング方法によれば、高さの差が許容値を超えてしまった場合に、最上部品60aを移動させる方向を選択して移動させるので、最上部品60aを移動させる際に他の部品60等に引っかかることによる装置の停止を防ぐことができる。   Moreover, according to the automatic picking apparatus and the automatic picking method according to the second embodiment, when the height difference exceeds the allowable value, the direction in which the uppermost component 60a is moved is selected and moved. When the uppermost part 60a is moved, it is possible to prevent the apparatus from being stopped due to being caught by another part 60 or the like.

(その他の実施の形態)
上記のように、本発明は実施の形態によって記載したが、この開示の一部をなす記述及び図面はこの発明を限定するものであると理解するべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかになるはずである。
(Other embodiments)
As described above, the present invention has been described according to the embodiment. However, it should not be understood that the description and drawings constituting a part of this disclosure limit the present invention. From this disclosure, various alternative embodiments, examples and operational techniques should be apparent to those skilled in the art.

実施の形態において、エンドエフェクタ16を移動用ハンド18に交換することで、部品容器50や他の部品60との接触を回避することができると記載したが、移動用ハンド18に交換しなくても接触を回避できるエンドエフェクタ16もある。例えば、図6に示すように、エンドエフェクタ16には、把持部17a、17bがあり、一方の把持部17aが最上部品60aを移動させるために延伸する機能を有するときは交換しなくても、他の部品等と接触しないで最上部品60aを移動させることができる。   In the embodiment, it has been described that the contact with the component container 50 and the other components 60 can be avoided by replacing the end effector 16 with the moving hand 18, but it is not necessary to replace it with the moving hand 18. There is also an end effector 16 that can avoid contact. For example, as shown in FIG. 6, the end effector 16 has gripping portions 17a and 17b, and when one gripping portion 17a has a function of extending to move the uppermost component 60a, the end effector 16 does not have to be replaced. The uppermost component 60a can be moved without contacting other components.

実施の形態の自動ピッキング方法において、最上部品60aを移動させる工程の前に、視覚情報に基づいて、最上部品60aの位置情報及び姿勢情報を演算すれば、最上部品60aの移動の精度が上がり、移動させるときの失敗を低減させることができる。   In the automatic picking method of the embodiment, if the position information and the posture information of the uppermost component 60a are calculated based on visual information before the step of moving the uppermost component 60a, the accuracy of movement of the uppermost component 60a is improved. Failure to move can be reduced.

また、実施の形態において、ロボット10は、図1に示したように、6自由度である軸数が6軸の多関節ロボットであると示したが、ロボット10の軸数は、6軸に限られず、4軸、5軸であっても構わない。但し、ロボット10は、軸数が多いほど汎用性が高くなるので、軸数が多い方が好ましい。   In the embodiment, the robot 10 has been shown to be an articulated robot having six axes with six degrees of freedom as shown in FIG. 1, but the number of axes of the robot 10 is six axes. It is not limited, and it may be 4 axes or 5 axes. However, since the robot 10 has higher versatility as the number of axes increases, it is preferable that the number of axes is larger.

このように、本発明はここでは記載していない様々な実施の形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。   Thus, it should be understood that the present invention includes various embodiments and the like not described herein. Therefore, the present invention is limited only by the invention specifying matters in the scope of claims reasonable from this disclosure.

10…ロボット
11…基台
12a…第1アーム部
12b…第2アーム部
12c…第3アーム部
12d…第4アーム部
13a…A1軸
13b…A2軸
13c…A3軸
13d…A4軸
13e…A5軸
13f…A6軸
14…ロボット側オートツールチェンジャ
15…ハンド側オートツールチェンジャ
16…エンドエフェクタ
20…計測装置
21…許容差制御装置
22…部品位置姿勢情報演算装置
30…ロボット制御装置
40…エンドエフェクタ制御装置
50…部品容器
60…部品
60a…最上部品
DESCRIPTION OF SYMBOLS 10 ... Robot 11 ... Base 12a ... 1st arm part 12b ... 2nd arm part 12c ... 3rd arm part 12d ... 4th arm part 13a ... A1 axis 13b ... A2 axis 13c ... A3 axis 13d ... A4 axis 13e ... A5 Axis 13f ... A6 axis 14 ... Robot-side auto tool changer 15 ... Hand-side auto tool changer 16 ... End effector 20 ... Measurement device 21 ... Tolerance control device 22 ... Part position / orientation information calculation device 30 ... Robot control device 40 ... End effector Control device 50 ... Part container 60 ... Part 60a ... Top part

Claims (9)

部品容器内に収容された複数の部品の高さ情報を含む視覚情報を取得する計測装置と、
前記視覚情報に基づいて、前記部品どうしの高さの差が許容値以上になったか判断し、高さの差が前記許容値以上である場合には、前記部品の中で最も高い位置に存在している最上部品を認定し、前記最上部品を移動させる最上部品移動命令を生成する許容差制御装置と、
前記視覚情報に基づいて、前記部品の位置情報及び姿勢情報を演算する部品位置姿勢情報演算装置と、
前記最上部品移動命令、前記位置情報、及び前記姿勢情報に基づいて、作業対象となる前記最上部品又は前記部品に対するロボットの姿勢及び動作を制御するロボット制御信号を生成し、前記ロボット制御信号により前記ロボットの駆動を制御するロボット制御装置と、
前記最上部品移動命令、前記位置情報、前記姿勢情報、及び前記ロボット制御信号に基づいて、前記ロボットの先端に取り付けられたエンドエフェクタの姿勢及び動作を制御するエンドエフェクタ制御信号を生成し、前記エンドエフェクタ制御信号により前記エンドエフェクタの駆動を制御するエンドエフェクタ制御装置
とを備えることを特徴とする自動ピッキング装置。
A measuring device for acquiring visual information including height information of a plurality of components housed in a component container;
Based on the visual information, it is determined whether the difference in height between the components is greater than or equal to an allowable value. If the difference in height is greater than or equal to the allowable value, the difference is present at the highest position among the components. A tolerance control device that certifies the top part and generates a top part movement command to move the top part;
Based on the visual information, a component position and orientation information calculation device that calculates position information and posture information of the component;
Based on the uppermost component movement command, the position information, and the posture information, a robot control signal for controlling the posture and operation of the robot with respect to the uppermost component or the component to be worked is generated, and the robot control signal A robot control device for controlling the drive of the robot;
Based on the top part movement command, the position information, the posture information, and the robot control signal, an end effector control signal for controlling the posture and operation of an end effector attached to the tip of the robot is generated, and the end And an end effector control device that controls driving of the end effector according to an effector control signal.
前記エンドエフェクタ制御装置は、前記最上部品移動命令を受信した場合に、前記最上部品を移動させるための前記エンドエフェクタである移動用ハンドに交換する制御を行うことを特徴とする請求項1に記載の自動ピッキング装置。   The said end effector control apparatus performs control which replaces | exchanges for the movement hand which is the said end effector for moving the said top component, when the said top component movement command is received. Automatic picking device. 前記許容差制御装置には、前記エンドエフェクタ及び前記部品の耐久性に依存して決定された前記許容値が記憶されていることを特徴とする請求項1又は2に記載の自動ピッキング装置。   The automatic picking device according to claim 1 or 2, wherein the tolerance control device stores the tolerance value determined depending on durability of the end effector and the component. 部品容器内に収容された複数の部品の高さ情報を含む視覚情報を取得する工程と、
前記視覚情報に基づいて、前記部品どうしの高さの差が許容値以上になったか判断する工程と、
前記部品どうしの高さの差が前記許容値以上になったか判断する工程にて、前記許容値以上であると判断された場合には、前記部品の中で最も高い位置に存在している最上部品を認定する工程と、
前記最上部品を移動させる工程と、
前記部品どうしの高さの差が前記許容値以上になったか判断する工程にて、前記許容値以下であると判断された場合には、前記視覚情報に基づいて、前記部品の位置情報及び姿勢情報を演算する工程と、
前記位置情報及び前記姿勢情報に基づいて、作業対象となる前記部品に対するロボットの姿勢及び動作を制御するロボット制御信号を生成し、前記ロボット制御信号により前記ロボットの駆動を制御する工程と、
前記位置情報、前記姿勢情報、及び前記ロボット制御信号に基づいて、前記ロボットの先端に取り付けられたエンドエフェクタの姿勢及び動作を制御するエンドエフェクタ制御信号を生成し、前記エンドエフェクタ制御信号により前記エンドエフェクタの駆動を制御する工程
とを含むことを特徴とする自動ピッキング方法。
Obtaining visual information including height information of a plurality of parts housed in the parts container;
Determining based on the visual information whether the difference in height between the components is greater than or equal to an allowable value;
In the step of determining whether the difference in height between the components is equal to or greater than the allowable value, if it is determined that the height difference is equal to or greater than the allowable value, the highest position present at the highest position among the components. The process of qualifying parts;
Moving the uppermost part;
In the step of determining whether the difference in height between the components is equal to or greater than the allowable value, if it is determined that the height difference is equal to or less than the allowable value, the position information and orientation of the component are determined based on the visual information. A process of calculating information;
Generating a robot control signal for controlling the posture and movement of the robot with respect to the part to be worked based on the position information and the posture information, and controlling the driving of the robot by the robot control signal;
Based on the position information, the posture information, and the robot control signal, an end effector control signal for controlling the posture and operation of an end effector attached to the tip of the robot is generated, and the end effector control signal generates the end effector control signal. Controlling the drive of the effector.
部品容器内に収容された複数の部品の高さ情報を含む視覚情報を取得する工程と、
前記視覚情報に基づいて、前記部品の位置情報及び姿勢情報を演算する工程と、
前記位置情報及び前記姿勢情報に基づいて、作業対象となる前記部品に対するロボットの姿勢及び動作を制御するロボット制御信号を生成する工程と、
前記位置情報、前記姿勢情報、及び前記ロボット制御信号に基づいて、前記部品どうしの高さの差が許容値以上になったか判断する工程と、
前記部品どうしの高さの差が前記許容値以上になったか判断する工程にて、前記許容値以上であると判断された場合には、前記部品の中で最も高い位置に存在している最上部品を認定する工程と、
前記最上部品を移動させる工程と、
前記部品どうしの高さの差が前記許容値以上になったか判断する工程にて、前記許容値以下であると判断された場合には、前記位置情報、前記姿勢情報、及び前記ロボット制御信号に基づいて、前記ロボットの先端に取り付けられたエンドエフェクタの姿勢及び動作を制御するエンドエフェクタ制御信号を生成し、前記エンドエフェクタ制御信号により前記エンドエフェクタの駆動を制御する工程
とを含むことを特徴とする自動ピッキング方法。
Obtaining visual information including height information of a plurality of parts housed in the parts container;
Calculating the position information and the posture information of the component based on the visual information;
Generating a robot control signal for controlling the posture and operation of the robot with respect to the part to be worked based on the position information and the posture information;
Determining whether a difference in height between the components is equal to or greater than an allowable value based on the position information, the posture information, and the robot control signal;
In the step of determining whether the difference in height between the components is equal to or greater than the allowable value, if it is determined that the height difference is equal to or greater than the allowable value, the highest position present at the highest position among the components. The process of qualifying parts;
Moving the uppermost part;
In the step of determining whether the difference in height between the components is equal to or greater than the allowable value, if it is determined that the difference is equal to or less than the allowable value, the position information, the posture information, and the robot control signal are included in the position information. And generating an end effector control signal for controlling the posture and operation of an end effector attached to the tip of the robot, and controlling the driving of the end effector by the end effector control signal. Automatic picking method to do.
前記最上部品を移動させる工程の前に、前記エンドエフェクタを前記最上部品を移動させるための移動用ハンドに交換する工程を更に含むことを特徴とする請求項4又は5に記載の自動ピッキング方法。   6. The automatic picking method according to claim 4, further comprising a step of replacing the end effector with a moving hand for moving the uppermost part before the step of moving the uppermost part. 前記最上部品を移動させる工程の前に、前記視覚情報に基づいて、前記最上部品の位置情報及び姿勢情報を演算する工程を更に含むことを特徴とする請求項4〜6のいずれか1項に記載の自動ピッキング方法。   The method according to any one of claims 4 to 6, further comprising a step of calculating position information and posture information of the uppermost part based on the visual information before the step of moving the uppermost part. Automatic picking method as described. 前記許容値以上になったか判断する工程の前に、前記エンドエフェクタ及び前記部品の耐久性に依存する前記許容値を決定する工程を更に含むことを特徴とする請求項4〜7のいずれか1項に記載の自動ピッキング方法。   8. The method according to claim 4, further comprising a step of determining the tolerance value depending on durability of the end effector and the component before the step of determining whether the tolerance value is exceeded. The automatic picking method according to item. 前記最上部品を移動させる工程の前に、前記最上部品の移動方向を決定する工程を更に含むことを特徴とする請求項4〜8のいずれか1項に記載の自動ピッキング方法。   The automatic picking method according to claim 4, further comprising a step of determining a moving direction of the uppermost part before the step of moving the uppermost part.
JP2010287775A 2010-12-24 2010-12-24 Automatic picking device and automatic picking method Pending JP2012135820A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010287775A JP2012135820A (en) 2010-12-24 2010-12-24 Automatic picking device and automatic picking method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010287775A JP2012135820A (en) 2010-12-24 2010-12-24 Automatic picking device and automatic picking method

Publications (1)

Publication Number Publication Date
JP2012135820A true JP2012135820A (en) 2012-07-19

Family

ID=46673714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010287775A Pending JP2012135820A (en) 2010-12-24 2010-12-24 Automatic picking device and automatic picking method

Country Status (1)

Country Link
JP (1) JP2012135820A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014024142A (en) * 2012-07-26 2014-02-06 Fanuc Ltd Apparatus and method for taking out bulk articles by robot
WO2018225827A1 (en) * 2017-06-09 2018-12-13 川崎重工業株式会社 Workpiece recognition device, and method for recognizing workpiece
DE102016009030B4 (en) 2015-07-31 2019-05-09 Fanuc Corporation Machine learning device, robot system and machine learning system for learning a workpiece receiving operation
US10363664B2 (en) 2015-11-30 2019-07-30 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and recording medium
JP2019164836A (en) * 2019-06-19 2019-09-26 株式会社Preferred Networks Learning device, learning method, learning model, detection device, and holding system
DE102018000730B4 (en) * 2017-02-06 2019-10-31 Fanuc Corporation Workpiece receiving device and workpiece receiving method for improving the picking operation of a workpiece
JP2020110851A (en) * 2019-01-08 2020-07-27 株式会社島津製作所 Picking system
DE102018202406B4 (en) * 2017-02-21 2021-03-18 Fanuc Corporation Workpiece holding system

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103568014A (en) * 2012-07-26 2014-02-12 发那科株式会社 Apparatus and method of taking out bulk stored articles by manipulator
US9079310B2 (en) 2012-07-26 2015-07-14 Fanuc Corporation Apparatus and method of taking out bulk stored articles by robot
JP2014024142A (en) * 2012-07-26 2014-02-06 Fanuc Ltd Apparatus and method for taking out bulk articles by robot
DE102016009030B4 (en) 2015-07-31 2019-05-09 Fanuc Corporation Machine learning device, robot system and machine learning system for learning a workpiece receiving operation
US10363664B2 (en) 2015-11-30 2019-07-30 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and recording medium
DE102018000730B4 (en) * 2017-02-06 2019-10-31 Fanuc Corporation Workpiece receiving device and workpiece receiving method for improving the picking operation of a workpiece
US10603790B2 (en) 2017-02-06 2020-03-31 Fanuc Corporation Workpiece picking device and workpiece picking method for improving picking operation of workpieces
DE102018202406B4 (en) * 2017-02-21 2021-03-18 Fanuc Corporation Workpiece holding system
WO2018225827A1 (en) * 2017-06-09 2018-12-13 川崎重工業株式会社 Workpiece recognition device, and method for recognizing workpiece
CN110799311A (en) * 2017-06-09 2020-02-14 川崎重工业株式会社 Workpiece recognition device and workpiece recognition method
JP2018202593A (en) * 2017-06-09 2018-12-27 川崎重工業株式会社 Workpiece recognition device and workpiece recognition method
CN110799311B (en) * 2017-06-09 2022-06-24 川崎重工业株式会社 Workpiece recognition device and workpiece recognition method
JP2020110851A (en) * 2019-01-08 2020-07-27 株式会社島津製作所 Picking system
JP2019164836A (en) * 2019-06-19 2019-09-26 株式会社Preferred Networks Learning device, learning method, learning model, detection device, and holding system

Similar Documents

Publication Publication Date Title
JP7548516B2 (en) Robotic system with automated package scanning and registration mechanism and method of operation thereof
JP2012135820A (en) Automatic picking device and automatic picking method
US9604364B2 (en) Picking apparatus and picking method
JP2024133556A (en) Control device and control method for robot system
EP3392002A1 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
JP2011167815A (en) Object recognizing robot system
JP5685027B2 (en) Information processing apparatus, object gripping system, robot system, information processing method, object gripping method, and program
JP5765355B2 (en) Robot picking system and workpiece manufacturing method
JP5620445B2 (en) Article takeout device for determining holding position and posture of robot based on selection condition
JP5977544B2 (en) Information processing apparatus and information processing method
US9902066B2 (en) Apparatus for automated removal of workpieces arranged in a container
US8948904B2 (en) Work picking system
JP6088563B2 (en) Work picking robot system having position and orientation conversion operation function, and work picking method
JP6697204B1 (en) Robot system control method, non-transitory computer-readable recording medium, and robot system control device
WO2018043525A1 (en) Robot system, robot system control device, and robot system control method
JP6810173B2 (en) Object grasping system
JP2011093014A (en) Control device of hand-eye bin picking robot
JP7454132B2 (en) Robot system control device, robot system control method, computer control program, and robot system
JP2011093015A (en) Control device of hand-eye bin picking robot
JP7398662B2 (en) Robot multi-sided gripper assembly and its operating method
CN115922702A (en) Path planning method of mechanical arm and self-moving equipment
WO2022014133A1 (en) Mobile manipulator, method for controlling same, program
WO2021149429A1 (en) Robot system control device, robot system control method, computer control program, and robot system
WO2022190423A1 (en) Conveyance system and control method thereof
WO2022030414A1 (en) Robot device for detecting interference of constituent member of robot