JP2015160264A - gripping method and gripping device - Google Patents
gripping method and gripping device Download PDFInfo
- Publication number
- JP2015160264A JP2015160264A JP2014035665A JP2014035665A JP2015160264A JP 2015160264 A JP2015160264 A JP 2015160264A JP 2014035665 A JP2014035665 A JP 2014035665A JP 2014035665 A JP2014035665 A JP 2014035665A JP 2015160264 A JP2015160264 A JP 2015160264A
- Authority
- JP
- Japan
- Prior art keywords
- imaging device
- arm
- feature
- robot arm
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Manipulator (AREA)
Abstract
Description
本発明は、対象物の位置と姿勢を求めて対象物を把持する方法と装置に関する。 The present invention relates to a method and apparatus for grasping an object by determining the position and orientation of the object.
対象物を把持する把持装置は、例えば機械の部品である対象物を把持して、別の場所へ移動させたり、他の部品に組み付けたりするロボットである。 A gripping device that grips an object is, for example, a robot that grips an object that is a part of a machine and moves the object to another place or assembles it to another part.
把持装置は、記憶部と撮像装置とマッチング処理部と位置姿勢取得部と制御部とロボットアームと把持部を有する。記憶部は、対象物の形状データを記憶している。撮像装置は、対象物を含む領域を撮像することにより画像を生成する。マッチング処理部は、生成された画像において、記憶部内の対象物の形状データに基づいて、パターンマッチングにより対象物を特定する。位置姿勢取得部は、特定された対象物に基づいて対象物の位置と姿勢を求める。制御部は、求めた対象物の位置と姿勢に基づいて、対象物を把持するようにロボットアームの動作を制御する。ロボットアームは、制御部に制御されることにより、その先端部に取り付けられた把持部により対象物を把持する。把持部は、例えば、対象物を挟んで把持する複数の爪や、対象物に吸着して対象物を把持するバキュームカップなどである。 The gripping device includes a storage unit, an imaging device, a matching processing unit, a position and orientation acquisition unit, a control unit, a robot arm, and a gripping unit. The storage unit stores shape data of the object. The imaging device generates an image by imaging a region including the object. The matching processing unit identifies the object by pattern matching based on the shape data of the object in the storage unit in the generated image. The position and orientation acquisition unit obtains the position and orientation of the object based on the identified object. The control unit controls the operation of the robot arm so as to hold the object based on the obtained position and orientation of the object. The robot arm grips an object by a gripping part attached to the tip of the robot arm as controlled by the control part. The gripping unit is, for example, a plurality of claws that grip the target object, a vacuum cup that is attracted to the target object and grips the target object.
下記の特許文献１では、対象物の上面に穴が形成されている場合に、次のように対象物を把持している。記憶部は、対象物の外形形状と対象物における穴の位置とを記憶している。撮像装置は、対象物を上方から撮像することにより、対象物を含む領域を撮像する。マッチング処理部は、記憶部のデータに基づいて、パターンマッチングにより、撮像装置により得た画像において対象物の穴の位置を推定する。位置姿勢取得部は、推定した穴の位置に探索範囲を狭めて、穴の位置を高精度に求め、対象物の位置と姿勢を求める。制御部は、求めた対象物の位置と姿勢に基づいて、対象物を把持するようにロボットアームの動作を制御する。 In the following Patent Document 1, when a hole is formed on the upper surface of the object, the object is gripped as follows. The storage unit stores the outer shape of the object and the position of the hole in the object. The imaging device images a region including the object by imaging the object from above. The matching processing unit estimates the position of the hole of the object in the image obtained by the imaging device by pattern matching based on the data in the storage unit. The position and orientation acquisition unit narrows the search range to the estimated hole position, obtains the hole position with high accuracy, and obtains the position and orientation of the object. The control unit controls the operation of the robot arm so as to hold the object based on the obtained position and orientation of the object.
パターンマッチングにおいて、対象物の特徴部（特許文献１では、複数の穴）を利用することにより、精度よく対象物の位置と姿勢を求めることができる。この場合には、対象物の特徴部（例えば穴）が画像に明瞭に写っている必要がある。 In the pattern matching, the position and orientation of the object can be obtained with high accuracy by using the characteristic part of the object (a plurality of holes in Patent Document 1). In this case, the characteristic part (for example, hole) of the target object needs to be clearly shown in the image.
しかし、対象物の表面における照明状態の不良により、得られた画像において対象物の特徴部が明瞭に写っていないことがある。例えば、対象物の表面において、特徴部に照明が十分に当たらないことにより、または、特徴部からの照明の反射光が強くなり過ぎることにより、画像において対象物の特徴部が明瞭に写っていないことがある。このような対象物の表面における照明状態の不良は、対象物と撮像装置と照明装置の位置関係によって生じる。このように、画像において特徴部が明瞭に写っていない場合には、パターンマッチングにより、対象物の特徴部を特定できない。 However, the feature of the object may not be clearly shown in the obtained image due to a poor illumination state on the surface of the object. For example, on the surface of the object, the feature portion of the object is not clearly shown in the image because the feature portion is not sufficiently illuminated or the reflected light of the illumination from the feature portion becomes too strong. Sometimes. Such a poor illumination state on the surface of the object is caused by the positional relationship between the object, the imaging device, and the illumination device. As described above, when the feature portion is not clearly shown in the image, the feature portion of the object cannot be specified by pattern matching.
そこで、本発明の目的は、対象物に照明を当て、対象物を撮像して画像を生成し、この画像から、パターンマッチングにより対象物の特徴部を特定し、特定した特徴部から対象物の位置と姿勢を求め、求めた対象物の位置と姿勢に基づいて対象物を把持することにおいて、対象物の表面における照明状態の不良によりパターンマッチングが失敗した場合に、照明状態を改善することにより、パターンマッチングで対象物の特徴部を特定できるようにすることにある。 Accordingly, an object of the present invention is to illuminate an object, capture an image of the object, generate an image, specify a feature portion of the object by pattern matching from the image, and identify an object from the identified feature portion. By obtaining the position and orientation, and grasping the object based on the obtained position and orientation of the object, by improving the illumination state when pattern matching fails due to the illumination state failure on the surface of the object In other words, the feature of the object can be specified by pattern matching.
上述の目的を達成するため、本発明によると、対象物の位置と姿勢を求めて対象物を把持する方法であって、
対象物を把持する把持部を有するロボットアームと、
対象物に照明を当てる照明装置と、
対象物を含む画像を生成する撮像装置と、
生成した画像に基づいて対象物の位置と姿勢を求める画像処理装置と、
求めた対象物の位置と姿勢に基づいて、対象物を把持するようにロボットアームの動作を制御する制御部と、を用意し、
撮像装置は、ロボットアームに取り付けられており、
（Ａ）対象物における特徴部の形状を表わす特徴形状データを予め作成し、
（Ｂ）照明装置により照明が当てられた対象物を、撮像装置により撮像して対象物を含む画像を生成し、
（Ｃ）画像処理装置により、生成した画像において、特徴形状データに整合する特徴部を特定するパターンマッチングを行い、
（Ｄ）パターンマッチングにより特徴部を特定できた場合に、画像処理装置により、特徴部に基づいて対象物の位置と姿勢を求め、
（Ｅ）制御部により、求めた対象物の位置と姿勢に基づいて、対象物を把持するようにロボットアームの動作を制御し、
前記（Ｃ）において、パターンマッチングにより特徴部を特定できなかった場合に、前記（Ｂ）で撮像した対象物が撮像装置の撮像範囲内に存在し、照明装置による照明がこの対象物に当たる状態を保ちつつ、この対象物と撮像装置と照明装置との間の相対位置または相対姿勢が変わるように、制御部によりロボットアームを動作させ、再び、前記（Ｂ）（Ｃ）を行う、ことを特徴とする把持方法が提供される。
In order to achieve the above-described object, according to the present invention, a method for obtaining a position and posture of an object and gripping the object,
A robot arm having a gripping part for gripping an object;
An illumination device that illuminates the object;
An imaging device for generating an image including an object;
An image processing device for determining the position and orientation of an object based on the generated image;
A control unit that controls the operation of the robot arm so as to hold the target object based on the obtained position and orientation of the target object, and
The imaging device is attached to the robot arm,
(A) Preliminarily creating feature shape data representing the shape of the feature in the object;
(B) The object illuminated by the illumination device is imaged by the imaging device to generate an image including the object,
(C) The image processing apparatus performs pattern matching that identifies a feature portion that matches feature shape data in the generated image,
(D) When the feature portion can be specified by pattern matching, the position and orientation of the target object are obtained based on the feature portion by the image processing device,
(E) The control unit controls the operation of the robot arm so as to grip the object based on the obtained position and orientation of the object,
In (C), when the feature portion cannot be specified by pattern matching, the object imaged in (B) exists in the imaging range of the imaging device, and the illumination by the illumination device hits this object. The robot arm is operated by the control unit so as to change the relative position or relative posture between the object, the imaging device, and the illumination device while maintaining the above, and (B) and (C) are performed again. A gripping method is provided.
本発明の好ましい実施形態によると、ロボットアームは、前記把持部が先端部に取り付けられた第１アーム部と、第１アーム部の後端部に連結された第２アーム部を有し、第１アーム部には、撮像装置が取り付けられており、第１アーム部は、第１アーム部の軸回りに、第２アーム部に対し回転可能になっており、
前記（Ｃ）のパターンマッチングにより特徴部を特定できなかった場合に、制御部により、第１アーム部を、第２アーム部に対して、第１アーム部の軸回りに設定角だけ回転させ、再び、前記（Ｂ）（Ｃ）を行う。
According to a preferred embodiment of the present invention, the robot arm has a first arm part with the gripping part attached to the tip part, and a second arm part connected to the rear end part of the first arm part, An imaging device is attached to one arm part, and the first arm part is rotatable about the axis of the first arm part with respect to the second arm part,
When the characteristic part cannot be specified by the pattern matching of (C), the control unit rotates the first arm unit with respect to the second arm unit by a set angle around the axis of the first arm unit, Again, (B) and (C) are performed.
好ましくは、対象物は、正多角形の上面を有し、この上面が鉛直方向を向くように、設置スペースに対象物が置かれており、
制御部により、ロボットアームを動作させて、対象物の上方に撮像装置を位置させ、この状態で、前記各（Ｂ）を行い、
前記設定角は、前記正多角形の一つの内角の半分の角度である。
Preferably, the object has an upper surface of a regular polygon, and the object is placed in the installation space so that the upper surface faces a vertical direction,
The robot arm is operated by the control unit, the imaging device is positioned above the object, and in this state, each (B) is performed,
The set angle is half of one interior angle of the regular polygon.
好ましくは、照明装置は、ロボットアームに固定されている。 Preferably, the lighting device is fixed to the robot arm.
また、上述の目的を達成するため、本発明によると、対象物の位置と姿勢を求めて対象物を把持する装置であって、
対象物を把持する把持部を有するロボットアームと、
対象物に照明を当てる照明装置と、
照明装置により照明が当てられた対象物を撮像して、対象物を含む画像を生成する撮像装置と、
生成した画像に基づいて対象物の位置と姿勢を求める画像処理装置と、
求めた対象物の位置と姿勢に基づいて、対象物を把持するようにロボットアームの動作を制御する制御部と、を備え、
撮像装置は、ロボットアームに取り付けられており、
画像処理装置は、
対象物における特徴部の形状を表わす特徴形状データを記憶する記憶部と、
撮像装置が生成した画像において、特徴形状データに整合する特徴部を特定するパターンマッチングを行うマッチング処理部と、
パターンマッチングにより特徴部を特定できた場合に、特徴部に基づいて対象物の位置と姿勢を求める位置姿勢取得部と、を有し、
マッチング処理部が、パターンマッチングにより特徴部を特定できなかった場合に、撮像装置により撮像した前記対象物が撮像装置の撮像範囲内に存在し、照明装置による照明がこの対象物に当たる状態を保ちつつ、この対象物と撮像装置と照明装置との間の相対位置または相対姿勢が変わるように、制御部は、ロボットアームを動作させ、撮像装置に対象物を再び撮像させ、これにより生成された画像に対し、マッチング処理部は再びパターンマッチングを行う、ことを特徴とする把持装置が提供される。
Further, in order to achieve the above-described object, according to the present invention, an apparatus for grasping an object by obtaining the position and orientation of the object,
A robot arm having a gripping part for gripping an object;
An illumination device that illuminates the object;
An imaging device that captures an image of an object illuminated by the illumination device and generates an image including the object;
An image processing device for determining the position and orientation of an object based on the generated image;
A control unit that controls the operation of the robot arm so as to hold the target object based on the obtained position and orientation of the target object,
The imaging device is attached to the robot arm,
The image processing device
A storage unit for storing feature shape data representing the shape of the feature in the object;
A matching processing unit that performs pattern matching to identify a feature that matches feature shape data in an image generated by the imaging device;
A position and orientation acquisition unit that obtains the position and orientation of an object based on the feature when the feature is identified by pattern matching;
When the matching processing unit cannot identify the characteristic part by pattern matching, the object imaged by the imaging device exists in the imaging range of the imaging device, and the illumination by the illumination device is kept in a state where the object hits the object. The control unit operates the robot arm so that the relative position or relative posture between the object, the imaging device, and the illumination device changes, and causes the imaging device to image the object again, and an image generated thereby On the other hand, a gripping device is provided in which the matching processing unit performs pattern matching again.
本発明によると、次のように、対象物の表面における照明状態の不良によりパターンマッチングが失敗した場合に、照明状態を改善することにより、パターンマッチングで対象物の特徴部を特定できる。対象物の表面における照明状態の不良によりパターンマッチングが失敗した場合に、撮像装置により撮像した前記対象物が撮像装置の撮像範囲内に存在し、照明装置による照明がこの対象物に当たる状態を保ちつつ、この対象物と撮像装置と照明装置との間の相対位置または相対姿勢が変わるように、制御部により、撮像装置が取り付けられたロボットアームを動作させる。したがって、対象物の表面における照明状態を改善することができる。よって、再度の撮像により得られた画像において、パターンマッチングで対象物の特徴部を特定することができる。 According to the present invention, as described below, when pattern matching fails due to a poor illumination state on the surface of an object, the feature of the object can be identified by pattern matching by improving the illumination state. When pattern matching fails due to a poor illumination state on the surface of the object, the object imaged by the imaging device is present in the imaging range of the imaging device, and the illumination by the illumination device is kept in a state where it hits the object Then, the robot arm to which the imaging device is attached is operated by the control unit so that the relative position or relative posture between the object, the imaging device, and the illumination device changes. Therefore, the illumination state on the surface of the object can be improved. Therefore, in the image obtained by re-imaging, the feature part of the target can be specified by pattern matching.
本発明の好ましい実施形態を図面に基づいて説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。 A preferred embodiment of the present invention will be described with reference to the drawings. In addition, the same code | symbol is attached | subjected to the common part in each figure, and the overlapping description is abbreviate | omitted.
図１（Ａ）は、本発明の実施形態による把持装置１０を示す。把持装置１０は、対象物１の位置と姿勢を求めて対象物１を把持するように構成されている。把持装置１０は、ロボットアーム３と、撮像装置５と、画像処理装置７と、制御部９と、照明装置１１とを備える。図１（Ｂ）は、図１（Ａ）のＢ−Ｂ線矢視図であり、撮像装置５と照明装置１１のみを示す。 FIG. 1A shows a gripping device 10 according to an embodiment of the present invention. The grasping device 10 is configured to obtain the position and orientation of the object 1 and grasp the object 1. The gripping device 10 includes a robot arm 3, an imaging device 5, an image processing device 7, a control unit 9, and an illumination device 11. FIG. 1B is a BB line arrow view of FIG. 1A and shows only the imaging device 5 and the illumination device 11.
ロボットアーム３は、対象物１を把持する把持部１３と、把持部１３が先端部に取り付けられた第１アーム部１５とを有する。把持部１３は、図１（Ａ）の例では、開閉動作する複数の爪１３ａを有する。複数の爪１３ａは、閉じられることにより、対象物１を挟んで把持し、開かれることにより、把持していた対象物１を解放する。 The robot arm 3 includes a grip portion 13 that grips the object 1 and a first arm portion 15 that has the grip portion 13 attached to the tip portion. In the example of FIG. 1A, the gripping portion 13 has a plurality of claws 13a that open and close. The plurality of claws 13a are gripped by sandwiching the object 1 by being closed, and are released by being opened.
本実施形態によると、ロボットアーム３は、第１アーム部１５の後端部に先端部が連結された第２アーム部１６を有する。第１アーム部１５は、第１回転軸Ｃ１回りに、第２アーム部１６に対し回転可能になっている。第１回転軸Ｃ１は、第１アーム部１５の軸に一致している。 According to the present embodiment, the robot arm 3 has the second arm portion 16 having a tip portion connected to the rear end portion of the first arm portion 15. The first arm portion 15 is rotatable with respect to the second arm portion 16 around the first rotation axis C1. The first rotation axis C <b> 1 coincides with the axis of the first arm portion 15.
図１（Ａ）の例では、ロボットアーム３は、さらに、第３アーム部１７と、第４アーム部１８と、第５アーム部１９と、第６アーム部２０とを有する。 In the example of FIG. 1A, the robot arm 3 further includes a third arm portion 17, a fourth arm portion 18, a fifth arm portion 19, and a sixth arm portion 20.
第２アーム部１６の後端部に、第３アーム部１７の先端部が連結されている。第２アーム部１６は、第２回転軸Ｃ２回りに、第３アーム部１７に対して回転可能になっている。第２回転軸Ｃ２は、第２アーム部１６と第３アーム部１７の連結部を通り、第２アーム部１６の軸方向と直交する。 The distal end portion of the third arm portion 17 is connected to the rear end portion of the second arm portion 16. The second arm portion 16 is rotatable with respect to the third arm portion 17 around the second rotation axis C2. The second rotation axis C <b> 2 passes through the connecting portion between the second arm portion 16 and the third arm portion 17 and is orthogonal to the axial direction of the second arm portion 16.
第３アーム部１７の後端部に、第４アーム部１８の先端部が連結されている。第３アーム部１７は、第３回転軸Ｃ３回りに、第４アーム部１８に対して回転可能になっている。第３回転軸Ｃ３は、第３アーム部１７の軸と一致する。 The distal end portion of the fourth arm portion 18 is connected to the rear end portion of the third arm portion 17. The third arm portion 17 is rotatable with respect to the fourth arm portion 18 around the third rotation axis C3. The third rotation axis C3 coincides with the axis of the third arm portion 17.
第４アーム部１８の後端部に、第５アーム部１９の先端部が連結されている。第４アーム部１８は、第４回転軸Ｃ４回りに、第５アーム部１９に対して回転可能になっている。第４回転軸Ｃ４は、第４アーム部１８と第５アーム部１９の連結部を通り、第４アーム部１８の軸方向と直交する。 The distal end portion of the fifth arm portion 19 is connected to the rear end portion of the fourth arm portion 18. The fourth arm portion 18 is rotatable with respect to the fifth arm portion 19 around the fourth rotation axis C4. The fourth rotation axis C <b> 4 passes through the connecting portion between the fourth arm portion 18 and the fifth arm portion 19 and is orthogonal to the axial direction of the fourth arm portion 18.
第５アーム部１９の後端部に、第６アーム部２０の先端部が連結されている。第５アーム部１９は、第５回転軸Ｃ５回りに、第６アーム部２０に対して回転可能になっている。第５回転軸Ｃ５は、第５アーム部１９と第６アーム部２０の連結部を通り、第５アーム部１９の軸方向と直交する。 The distal end portion of the sixth arm portion 20 is connected to the rear end portion of the fifth arm portion 19. The fifth arm portion 19 is rotatable with respect to the sixth arm portion 20 around the fifth rotation axis C5. The fifth rotation axis C <b> 5 passes through the connecting portion between the fifth arm portion 19 and the sixth arm portion 20 and is orthogonal to the axial direction of the fifth arm portion 19.
第６アーム部２０は、第６回転軸Ｃ６回りに、基台２１に対し回転可能になっている。第６回転軸Ｃ６は、第６アーム部２０の軸であり鉛直方向を向いている。なお、基台２１は静止している。 The sixth arm portion 20 is rotatable with respect to the base 21 around the sixth rotation axis C6. The sixth rotation axis C6 is an axis of the sixth arm unit 20 and faces the vertical direction. The base 21 is stationary.
撮像装置５は、対象物１を撮像することにより対象物１を含む画像を生成する。本実施形態では、撮像装置５の撮像方向が第１アーム部１５の先端側を向くように、撮像装置５が第１アーム部１５に取り付けられている。 The imaging device 5 generates an image including the target object 1 by imaging the target object 1. In the present embodiment, the imaging device 5 is attached to the first arm unit 15 so that the imaging direction of the imaging device 5 faces the distal end side of the first arm unit 15.
画像処理装置７は、撮像装置５により生成された画像に基づいて対象物１の位置と姿勢を求める。画像処理装置７は、記憶部７ａと、マッチング処理部７ｂと、位置姿勢取得部７ｃとを有する。記憶部７ａは、対象物１における特徴部の形状を表わす特徴形状データを記憶する。記憶部７ａは、対象物１の全体を表す全体形状データも記憶していてもよい。マッチング処理部７ｂは、撮像装置５により生成された画像において、特徴形状データに整合する特徴部を特定するパターンマッチングを行う。このパターンマッチングは、全体形状データも用いて行われてよい。パターンマッチングにより、画像において対象物１の特徴部を特定できた場合に、位置姿勢取得部７ｃは、特定された特徴部に基づいて対象物１の位置と姿勢を精密に求める。 The image processing device 7 obtains the position and orientation of the target 1 based on the image generated by the imaging device 5. The image processing apparatus 7 includes a storage unit 7a, a matching processing unit 7b, and a position / orientation acquisition unit 7c. The storage unit 7a stores feature shape data representing the shape of the feature portion of the object 1. The memory | storage part 7a may also memorize | store the whole shape data showing the whole target object 1. FIG. The matching processing unit 7b performs pattern matching for specifying a feature matching the feature shape data in the image generated by the imaging device 5. This pattern matching may be performed using the entire shape data. When the feature portion of the target object 1 can be specified in the image by pattern matching, the position / orientation acquisition unit 7c accurately obtains the position and posture of the target object 1 based on the specified feature portion.
特徴部は、その姿勢（向き）が特定できる形状を有している。したがって、位置姿勢取得部７ｃは、特定された特徴部の姿勢を求め、対象物１の姿勢（向き）を求めることができる。例えば、特徴部は、複数の穴からなっていてよい。後述する図３（Ａ）では、特徴部は、４つの穴１ｂからなる。 The characteristic part has a shape that can specify its posture (orientation). Therefore, the position / orientation acquisition unit 7c can obtain the posture of the identified feature and can obtain the posture (orientation) of the target object 1. For example, the characteristic part may consist of a plurality of holes. In FIG. 3A, which will be described later, the characteristic portion includes four holes 1b.
制御部９は、画像処理装置７により求めた対象物１の位置と姿勢に基づいて、対象物１を把持するようにロボットアーム３の動作を制御する。図１（Ａ）の例では、各アーム部１５、１６、１７、１８、１９、２０を、それぞれ、各回転軸Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６回りに回転させる複数の駆動装置の一部または全部を制御する。これにより、把持部１３が対象物１を把持できる位置に、把持部１３を移動させる。次いで、制御部９は、対象物１を把持するように把持部１３の動作を制御する。 The control unit 9 controls the operation of the robot arm 3 so as to hold the target 1 based on the position and posture of the target 1 obtained by the image processing device 7. In the example of FIG. 1 (A), a plurality of driving devices that rotate the respective arm portions 15, 16, 17, 18, 19, 20 around the respective rotation axes C1, C2, C3, C4, C5, C6. Control some or all. Thereby, the grip part 13 is moved to a position where the grip part 13 can grip the object 1. Next, the control unit 9 controls the operation of the gripping unit 13 so as to grip the object 1.
照明装置１１は、第１アーム部１５に取り付けられ、対象物１に照明を当てる。本実施形態では、照明装置１１は、第１アーム部１５に固定された状態で、第１アーム部１５の先端側に照明光を発するようになっている。したがって、照明装置１１は、第１アーム部１５の先端側における領域を照らす。図１の例では、照明装置１１は、適宜の手段により撮像装置５に取り付けられていることにより、第１アーム部１５に固定されている。 The illumination device 11 is attached to the first arm unit 15 and illuminates the object 1. In the present embodiment, the illumination device 11 emits illumination light to the distal end side of the first arm portion 15 while being fixed to the first arm portion 15. Therefore, the illuminating device 11 illuminates a region on the distal end side of the first arm portion 15. In the example of FIG. 1, the illumination device 11 is fixed to the first arm portion 15 by being attached to the imaging device 5 by appropriate means.
図２は、本発明の実施形態による把持方法を示すフローチャートである。この方法は、上述の把持装置１０を用いて行われる。 FIG. 2 is a flowchart illustrating a gripping method according to an embodiment of the present invention. This method is performed using the gripping device 10 described above.
ステップＳ１において、ロボットアーム３の動作により、対象物１を撮像できる位置へ撮像装置５を移動させる。好ましくは、ステップＳ１では、図１（Ａ）に示すように、ロボットアーム３の動作により、第１アーム部１５の軸を鉛直方向にし、かつ、第１アーム部１５を、撮像する対象物１の上方に位置させる。ステップＳ１において、ロボットアーム３の動作は、制御部９により制御される。 In step S <b> 1, the imaging device 5 is moved to a position where the object 1 can be imaged by the operation of the robot arm 3. Preferably, in step S1, as shown in FIG. 1A, the axis of the first arm unit 15 is set in the vertical direction by the operation of the robot arm 3, and the first arm unit 15 is imaged. Located above. In step S <b> 1, the operation of the robot arm 3 is controlled by the control unit 9.
ステップＳ２において、撮像装置５により、照明装置１１により照明が当てられた対象物１を撮像することにより対象物１を含む画像を生成する。本実施形態によると、ステップＳ２では、撮像装置５の撮像方向は、第１アーム部１５の軸方向であって第１アーム部１５の先端側を向いている。ステップＳ２において、撮像装置５による撮像は、制御部９に制御される。 In step S <b> 2, the imaging device 5 generates an image including the target object 1 by capturing the target object 1 illuminated by the lighting device 11. According to the present embodiment, in step S <b> 2, the imaging direction of the imaging device 5 is the axial direction of the first arm unit 15 and faces the distal end side of the first arm unit 15. In step S <b> 2, imaging by the imaging device 5 is controlled by the control unit 9.
ステップＳ３において、マッチング処理部７ｂにより、特徴形状データに整合する特徴部を特定するパターンマッチングを行う。ステップＳ３において、特徴部を特定できなかった場合には、ステップＳ４へ進み、特徴部を特定できた場合には、ステップＳ６へ進む。 In step S3, the matching processing unit 7b performs pattern matching for specifying a feature portion that matches the feature shape data. In step S3, if the characteristic part cannot be specified, the process proceeds to step S4. If the characteristic part can be specified, the process proceeds to step S6.
ステップＳ４において、制御部９は、同じ対象物１についてステップＳ２を、設定回数だけ行ったかを判断する。この判断が肯定である場合には、エラーであるとして、当該対象物１を把持するための図２のフローを終える。この場合、別の対象物１について、図２のフローをステップＳ１から開始してもよい。ステップＳ４の判断が否定である場合には、ステップＳ５へ進む。 In step S <b> 4, the control unit 9 determines whether step S <b> 2 has been performed for the same object 1 a set number of times. If this determination is affirmative, it is determined that an error has occurred, and the flow of FIG. 2 for gripping the object 1 is ended. In this case, for another object 1, the flow of FIG. 2 may be started from step S1. If the determination in step S4 is negative, the process proceeds to step S5.
ステップＳ５において、本実施形態では、制御部９により、第１アーム部１５をその軸回りに設定角だけ回転させ、ステップＳ２へ戻る。この設定角は、３６０度より小さい角度であり、一例では、１８０度より小さい角度であり、好ましくは、４５度以下の角度である。 In step S5, in the present embodiment, the control unit 9 rotates the first arm unit 15 around the axis by a set angle, and the process returns to step S2. This set angle is an angle smaller than 360 degrees, and in one example, an angle smaller than 180 degrees, and preferably an angle of 45 degrees or less.
ステップＳ５によって、この対象物１と撮像装置５と照明装置１１との間の相対位置または相対姿勢は変わるが、前回のステップＳ２で撮像した対象物１が撮像装置５の撮像範囲内に存在し、照明装置１１による照明がこの対象物１に当たる状態は保たれる。 Although the relative position or relative orientation among the object 1, the imaging device 5, and the illumination device 11 is changed by step S <b> 5, the object 1 imaged in the previous step S <b> 2 exists within the imaging range of the imaging device 5. The state where the illumination by the lighting device 11 hits the object 1 is maintained.
ステップＳ６において、画像処理装置７により、直前のステップＳ３で特定した特徴部に基づいて対象物１の位置と姿勢を求める。すなわち、位置姿勢取得部７ｃは、特徴部の位置を求めることにより対象物１の位置を求めるとともに、特徴部の向きを求めることにより、対象物１の向き（姿勢）を求める。この時、位置姿勢取得部７ｃは、対象物１の位置（対象物１における基準点）と、対象物１における特徴部との既知の相対位置および相対姿勢に基づいて、対象物１の位置と姿勢を求める。 In step S <b> 6, the position and orientation of the target object 1 are obtained by the image processing device 7 based on the characteristic part specified in the immediately preceding step S <b> 3. That is, the position / orientation acquisition unit 7c determines the position of the target object 1 by determining the position of the feature part, and determines the direction (posture) of the target object 1 by determining the direction of the feature part. At this time, the position / orientation acquisition unit 7c determines the position of the object 1 based on the known relative position and relative orientation of the position of the object 1 (reference point in the object 1) and the feature of the object 1. Ask for posture.
ステップＳ７において、制御部９により、求めた対象物１の位置と姿勢に基づいて、対象物１を把持するようにロボットアーム３の動作を制御する。 In step S <b> 7, the control unit 9 controls the operation of the robot arm 3 so as to hold the target 1 based on the obtained position and orientation of the target 1.
対象物１が正多角形の上面１ａを有し、この上面１ａが鉛直方向を向くように、設置スペースに置かれている場合には、次のようにするのがよい。ステップＳ１において、制御部９は、ロボットアーム３を動作させて、対象物１の上方に撮像装置５を位置させる。この状態で、ステップＳ２において、制御部９は、対象物１の上面１ａを含む領域を上方から（好ましくは鉛直方向に）撮像装置５に撮像させる。ステップＳ３のパターンマッチングにより特徴部を特定できなかった場合には、ステップＳ５における上述の設定角が、前記正多角形の一つの内角の半分の角度であるとして、上述のステップＳ５を行う。これにより、撮像装置５および照明装置１１に対する対象物１の上面１ａの位置または姿勢が最も大きく変わるので、対象物１の上面１ａにおいて、照明装置１１による照明状態が最も大きく変わる。したがって、次のステップＳ３で特徴部を特定できる可能性が高くなる。この場合、ステップＳ５を２回行うと、撮像装置５および照明装置１１と対象物１の上面１ａ（正多角形）との相対位置または相対姿勢は、元に近い状態に戻るので、上述のステップＳ４における設定回数は２回にするのがよい。 When the object 1 has a regular polygonal upper surface 1a and is placed in the installation space so that the upper surface 1a faces the vertical direction, the following is preferable. In step S <b> 1, the control unit 9 operates the robot arm 3 to position the imaging device 5 above the object 1. In this state, in step S <b> 2, the control unit 9 causes the imaging device 5 to image the region including the upper surface 1 a of the object 1 from above (preferably in the vertical direction). If the feature cannot be identified by the pattern matching in step S3, the above-described step S5 is performed assuming that the above-described set angle in step S5 is an angle that is half of one interior angle of the regular polygon. As a result, the position or posture of the upper surface 1a of the object 1 with respect to the imaging device 5 and the illumination device 11 changes the most, so that the illumination state by the illumination device 11 changes the most on the upper surface 1a of the object 1. Therefore, there is a high possibility that the feature part can be specified in the next step S3. In this case, when step S5 is performed twice, the relative position or relative orientation of the imaging device 5 and the illumination device 11 and the upper surface 1a (regular polygon) of the object 1 returns to the original state, so the above-described steps The set number of times in S4 should be two.
このように、対象物１が正多角形の上面１ａを有し、この上面１ａが鉛直方向を向くように、設置スペースに置かれている場合の一例を説明する。この例では、図３（Ａ）に示すように、対象物１が正方形の上面１ａを有し、特徴部は、この正方形の４つの頂点近傍にそれぞれ形成された４つの穴１ｂからなる。図３（Ａ）は、図１（Ａ）のＩＩＩＡ−ＩＩＩＡ線矢視図に相当し、１回目のステップＳ２で得られた画像を示す。図３（Ｂ）は、図３（Ａ）と同じ対象物１を示すが、２回目のステップＳ２で得られた画像を示す。すなわち、図３（Ａ）の画像では、対象物１の上面１ａにおいて、照明の当たりが、他の部分より弱い部分Ｘがあるため、１回目のステップＳ３で対象物１の特徴部（複数の穴１ｂ）を特定できず、ステップＳ５で、第１アーム部１５をその軸Ｃ１回りに設定角（４５度）だけ回転させ、その後、２回目のステップＳ２で得た画像が図３（Ｂ）である。図３（Ｂ）では、対象物１の上面１ａの全範囲において、照明が適切に当たっているので、２回目のステップＳ３で特徴部を特定することができる。 As described above, an example in which the object 1 has the upper surface 1a of a regular polygon and is placed in the installation space so that the upper surface 1a faces the vertical direction will be described. In this example, as shown in FIG. 3 (A), the object 1 has a square upper surface 1a, and the characteristic part is composed of four holes 1b formed in the vicinity of the four apexes of the square. FIG. 3A corresponds to the view taken along the line IIIA-IIIA in FIG. 1A and shows the image obtained in the first step S2. FIG. 3 (B) shows the same object 1 as FIG. 3 (A), but shows the image obtained in the second step S2. That is, in the image of FIG. 3A, since there is a portion X where the illumination hit is weaker than the other portions on the upper surface 1a of the target object 1, in the first step S 3, The hole 1b) cannot be specified, and in step S5, the first arm portion 15 is rotated by a set angle (45 degrees) about its axis C1, and then the image obtained in the second step S2 is shown in FIG. It is. In FIG. 3B, since the illumination is appropriately applied over the entire range of the upper surface 1a of the object 1, the feature portion can be specified in the second step S3.
なお、ステップＳ５において、３次元空間における撮像装置５の位置が変わらないように、第１アーム部１５をその軸回りに設定角だけ回転させてもよい。図１（Ａ）の例では、第１アーム部１５を、第２アーム部１６に対して第１回転軸Ｃ１回りに回転させると３次元空間における撮像装置５の位置が変化する。したがって、ステップＳ５において、第１アーム部１５を、第２アーム部１６に対して第１回転軸Ｃ１回りに回転させることに加えて、ロボットアーム３における第１アーム部１５以外の部分も動作させることより、撮像装置５の位置が変わらないようにする。その結果、ステップＳ５を行っても、撮像装置５の撮像範囲内（好ましくは、撮像範囲の中央）に、対象物１がより確実に位置する。 In step S5, the first arm unit 15 may be rotated about the axis by a set angle so that the position of the imaging device 5 in the three-dimensional space does not change. In the example of FIG. 1A, when the first arm unit 15 is rotated around the first rotation axis C1 with respect to the second arm unit 16, the position of the imaging device 5 in the three-dimensional space changes. Therefore, in step S5, in addition to rotating the first arm unit 15 around the first rotation axis C1 with respect to the second arm unit 16, the robot arm 3 other than the first arm unit 15 is also operated. Thus, the position of the imaging device 5 is prevented from changing. As a result, even if step S5 is performed, the target 1 is more reliably located within the imaging range of the imaging device 5 (preferably in the center of the imaging range).
上述した本発明の実施形態の把持装置１０と把持方法によると、以下の効果が得られる。 According to the gripping apparatus 10 and the gripping method of the embodiment of the present invention described above, the following effects are obtained.
次のように、対象物１の表面における照明状態の不良によりパターンマッチングが失敗した場合に、照明状態を改善することにより、パターンマッチングで対象物１の特徴部を特定できる。対象物１の表面における照明状態の不良によりパターンマッチングが失敗した場合に、前回のステップＳ２で撮像した対象物１が撮像装置５の撮像範囲内に存在し、照明装置１１による照明がこの対象物１に当たる状態を保ちつつ、撮像装置５を設定角だけ回転させるようにロボットアーム３を動作させる。これにより、対象物１と照明装置１１と撮像装置５との間における相対位置または相対姿勢を変えることができる。したがって、対象物１の表面における照明状態を改善することができる。よって、再度の撮像により得られた画像において、パターンマッチングで対象物１の特徴部を特定することができる。 As described below, when the pattern matching fails due to a poor illumination state on the surface of the object 1, the feature of the object 1 can be specified by pattern matching by improving the illumination state. When pattern matching fails due to a poor illumination state on the surface of the target object 1, the target object 1 imaged in the previous step S2 exists in the imaging range of the imaging device 5, and the illumination by the lighting device 11 is illuminated by this target object. The robot arm 3 is operated so as to rotate the imaging device 5 by a set angle while maintaining the state corresponding to 1. Thereby, the relative position or relative posture among the target object 1, the illumination device 11, and the imaging device 5 can be changed. Therefore, the illumination state on the surface of the object 1 can be improved. Therefore, in the image obtained by re-imaging, the feature part of the target 1 can be specified by pattern matching.
また、次のように、第１アーム部１５の回転による撮像範囲の変化を小さく抑えることができる。撮像装置５は、撮像方向が第１アーム部１５の先端側を向くように、第１アーム部１５に、その軸Ｃ１の近傍位置にて取り付けられている。したがって、第１アーム部１５がその軸Ｃ１回りに回転しても、撮像装置５による撮像範囲の変化を小さく抑えることができる。 Further, the change in the imaging range due to the rotation of the first arm unit 15 can be suppressed as follows. The imaging device 5 is attached to the first arm portion 15 at a position in the vicinity of the axis C1 so that the imaging direction faces the distal end side of the first arm portion 15. Therefore, even if the first arm portion 15 rotates about the axis C1, the change in the imaging range by the imaging device 5 can be suppressed to a small level.
第１アーム部１５は、第１アーム部１５の軸Ｃ１回りに、第２アーム部１６に対し回転可能になっているので、軸Ｃ１回りの第１アーム部１５の回転という簡単な動作により、対象物１と照明装置１１と撮像装置５との間における相対位置または相対姿勢を変えることができる。 Since the first arm portion 15 is rotatable around the axis C1 of the first arm portion 15 with respect to the second arm portion 16, a simple operation of rotating the first arm portion 15 around the axis C1 The relative position or relative posture among the object 1, the illumination device 11, and the imaging device 5 can be changed.
対象物１を照らす照明装置１１が、第１アーム部１５に固定されているので、第１アーム部１５の回転により、対象物１における特徴部と照明装置１１との相対位置または相対姿勢を変えることができる。 Since the illuminating device 11 that illuminates the object 1 is fixed to the first arm unit 15, the relative position or the relative posture between the characteristic part of the object 1 and the illuminating device 11 is changed by the rotation of the first arm unit 15. be able to.
図３（Ａ）を参照して上述したように、対象物１の上面１ａが正多角形である場合に、ステップＳ５における上述の設定角が、前記正多角形の一つの内角の半分の角度であるとして、上述のステップＳ５を行う。これにより、撮像装置５および照明装置１１に対する対象物１の上面１ａの位置または姿勢を最も大きく変えることができる。したがって、対象物１の上面１ａにおいて、照明装置１１による照明状態を最も大きく変えることができる。よって、次のステップＳ３で特徴部を特定できる可能性を高くすることができる。 As described above with reference to FIG. 3A, when the upper surface 1a of the object 1 is a regular polygon, the above-mentioned set angle in step S5 is an angle that is half of one interior angle of the regular polygon. As described above, step S5 described above is performed. Thereby, the position or attitude | position of the upper surface 1a of the target object 1 with respect to the imaging device 5 and the illuminating device 11 can be changed most greatly. Therefore, the illumination state by the illumination device 11 can be changed most greatly on the upper surface 1a of the object 1. Therefore, the possibility that the feature part can be specified in the next step S3 can be increased.
本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更を加え得ることは勿論である。例えば、以下の変更例１、２の一方または両方を採用してもよい。この場合、他の点は、上述と同じである。 The present invention is not limited to the above-described embodiment, and various changes can be made without departing from the scope of the present invention. For example, one or both of the following modified examples 1 and 2 may be adopted. In this case, the other points are the same as described above.
（変更例１）
上述では、照明装置１１は、第１アーム部１５に固定されていたが、照明装置１１は、ロボットアーム３以外の構造体に固定されていてもよい。この構造体は静止していてよい。
代わりに、照明装置１１は、ロボットアーム３の他の部分に取り付けられていてもよい。この場合、ステップＳ５においてロボットアーム３の動作により撮像装置５が回転した後においても、前回のステップＳ２で撮像した対象物１に、照明装置１１が照明を当てられるように、制御部９は、ステップＳ５でロボットアーム３を動作させる。
(Modification 1)
In the above description, the lighting device 11 is fixed to the first arm unit 15, but the lighting device 11 may be fixed to a structure other than the robot arm 3. This structure may be stationary.
Instead, the illumination device 11 may be attached to another part of the robot arm 3. In this case, even after the imaging device 5 is rotated by the operation of the robot arm 3 in step S5, the control unit 9 is configured so that the illumination device 11 can illuminate the target 1 imaged in the previous step S2. In step S5, the robot arm 3 is operated.
（変更例２）
上述では、ステップＳ５において、第１アーム部１５の軸Ｃ１回りに（軸Ｃ１を中心として）、第１アーム部１５を第２アーム部１６に対して回転させていたが、本発明はこれに限定されない。
(Modification 2)
In the above description, in step S5, the first arm unit 15 is rotated with respect to the second arm unit 16 around the axis C1 of the first arm unit 15 (centered on the axis C1). It is not limited.
すなわち、本発明では、ステップＳ５において、前回のステップ２で撮像装置５により撮像した対象物１が、撮像装置５の撮像範囲内に存在する状態を保ちつつ、かつ、この対象物１と撮像装置５と照明装置１１との間の相対位置または相対姿勢が変わるように、制御部９は、ロボットアーム３を動作させさえすればよい。このようなロボットアーム３の動作により、撮像装置５は、回転と平行移動の一方または両方を行う。 That is, in the present invention, in step S5, the object 1 imaged by the imaging device 5 in the previous step 2 is kept in the imaging range of the imaging device 5, and the object 1 and the imaging device are maintained. The control unit 9 only needs to operate the robot arm 3 so that the relative position or relative posture between the lighting device 11 and the lighting device 11 changes. By such an operation of the robot arm 3, the imaging device 5 performs one or both of rotation and translation.
この場合、撮像装置５は、ロボットアーム３において上述の第１アーム部１５以外の位置に設けられていてもよく、また、ロボットアーム３の構成は、上述の構成以外のものであってもよい。 In this case, the imaging device 5 may be provided on the robot arm 3 at a position other than the first arm unit 15 described above, and the configuration of the robot arm 3 may be other than the configuration described above. .
１ 対象物、１ａ 上面、１ｂ 穴、３ ロボットアーム、５ 撮像装置、７ 画像処理装置、７ａ 記憶部、７ｂ マッチング処理部、７ｃ 位置姿勢取得部、９ 制御部、１０ 把持装置、１１ 照明装置、１３ 把持部、１３ａ 爪、１５〜２０ アーム部、２１ 基台、Ｃ１〜Ｃ６ 回転軸 DESCRIPTION OF SYMBOLS 1 Target object, 1a Upper surface, 1b hole, 3 Robot arm, 5 Imaging device, 7 Image processing device, 7a Memory | storage part, 7b Matching processing part, 7c Position and orientation acquisition part, 9 Control part, 10 Gripping apparatus, 11 Illumination device, 13 gripping part, 13a claw, 15-20 arm part, 21 base, C1-C6 rotating shaft
Claims (5)
対象物を把持する把持部を有するロボットアームと、
対象物に照明を当てる照明装置と、
対象物を含む画像を生成する撮像装置と、
生成した画像に基づいて対象物の位置と姿勢を求める画像処理装置と、
求めた対象物の位置と姿勢に基づいて、対象物を把持するようにロボットアームの動作を制御する制御部と、を用意し、
撮像装置は、ロボットアームに取り付けられており、
（Ａ）対象物における特徴部の形状を表わす特徴形状データを予め作成し、
（Ｂ）照明装置により照明が当てられた対象物を、撮像装置により撮像して対象物を含む画像を生成し、
（Ｃ）画像処理装置により、生成した画像において、特徴形状データに整合する特徴部を特定するパターンマッチングを行い、
（Ｄ）パターンマッチングにより特徴部を特定できた場合に、画像処理装置により、特徴部に基づいて対象物の位置と姿勢を求め、
（Ｅ）制御部により、求めた対象物の位置と姿勢に基づいて、対象物を把持するようにロボットアームの動作を制御し、
前記（Ｃ）において、パターンマッチングにより特徴部を特定できなかった場合に、前記（Ｂ）で撮像した対象物が撮像装置の撮像範囲内に存在し、照明装置による照明がこの対象物に当たる状態を保ちつつ、この対象物と撮像装置と照明装置との間の相対位置または相対姿勢が変わるように、制御部によりロボットアームを動作させ、再び、前記（Ｂ）（Ｃ）を行う、ことを特徴とする把持方法。 A method for obtaining a position and posture of an object and gripping the object,
A robot arm having a gripping part for gripping an object;
An illumination device that illuminates the object;
An imaging device for generating an image including an object;
An image processing device for determining the position and orientation of an object based on the generated image;
A control unit that controls the operation of the robot arm so as to hold the target object based on the obtained position and orientation of the target object, and
The imaging device is attached to the robot arm,
(A) Preliminarily creating feature shape data representing the shape of the feature in the object;
(B) The object illuminated by the illumination device is imaged by the imaging device to generate an image including the object,
(C) The image processing apparatus performs pattern matching that identifies a feature portion that matches feature shape data in the generated image,
(D) When the feature portion can be specified by pattern matching, the position and orientation of the target object are obtained based on the feature portion by the image processing device,
(E) The control unit controls the operation of the robot arm so as to grip the object based on the obtained position and orientation of the object,
In (C), when the feature portion cannot be specified by pattern matching, the object imaged in (B) exists in the imaging range of the imaging device, and the illumination by the illumination device hits this object. The robot arm is operated by the control unit so as to change the relative position or relative posture between the object, the imaging device, and the illumination device while maintaining the above, and (B) and (C) are performed again. Grasping method.
前記（Ｃ）のパターンマッチングにより特徴部を特定できなかった場合に、制御部により、第１アーム部を、第２アーム部に対して、第１アーム部の軸回りに設定角だけ回転させ、再び、前記（Ｂ）（Ｃ）を行う、ことを特徴とする請求項１に記載の把持方法。 The robot arm has a first arm part with the gripping part attached to the tip part, and a second arm part connected to the rear end part of the first arm part. Attached, the first arm portion is rotatable relative to the second arm portion about the axis of the first arm portion,
When the characteristic part cannot be specified by the pattern matching of (C), the control unit rotates the first arm unit with respect to the second arm unit by a set angle around the axis of the first arm unit, The gripping method according to claim 1, wherein (B) and (C) are performed again.
制御部により、ロボットアームを動作させて、対象物の上方に撮像装置を位置させ、この状態で、前記各（Ｂ）を行い、
前記設定角は、前記正多角形の一つの内角の半分の角度である、ことを特徴とする請求項２に記載の把持方法。 The object has an upper surface of a regular polygon, and the object is placed in the installation space so that the upper surface faces the vertical direction.
The robot arm is operated by the control unit, the imaging device is positioned above the object, and in this state, each (B) is performed,
The gripping method according to claim 2, wherein the set angle is an angle that is half of one interior angle of the regular polygon.
対象物を把持する把持部を有するロボットアームと、
対象物に照明を当てる照明装置と、
照明装置により照明が当てられた対象物を撮像して、対象物を含む画像を生成する撮像装置と、
生成した画像に基づいて対象物の位置と姿勢を求める画像処理装置と、
求めた対象物の位置と姿勢に基づいて、対象物を把持するようにロボットアームの動作を制御する制御部と、を備え、
撮像装置は、ロボットアームに取り付けられており、
画像処理装置は、
対象物における特徴部の形状を表わす特徴形状データを記憶する記憶部と、
撮像装置が生成した画像において、特徴形状データに整合する特徴部を特定するパターンマッチングを行うマッチング処理部と、
パターンマッチングにより特徴部を特定できた場合に、特徴部に基づいて対象物の位置と姿勢を求める位置姿勢取得部と、を有し、
マッチング処理部が、パターンマッチングにより特徴部を特定できなかった場合に、撮像装置により撮像した前記対象物が撮像装置の撮像範囲内に存在し、照明装置による照明がこの対象物に当たる状態を保ちつつ、この対象物と撮像装置と照明装置との間の相対位置または相対姿勢が変わるように、制御部は、ロボットアームを動作させ、撮像装置に対象物を再び撮像させ、これにより生成された画像に対し、マッチング処理部は再びパターンマッチングを行う、ことを特徴とする把持装置。 A device for grasping an object by determining the position and orientation of the object,
A robot arm having a gripping part for gripping an object;
An illumination device that illuminates the object;
An imaging device that captures an image of an object illuminated by the illumination device and generates an image including the object;
An image processing device for determining the position and orientation of an object based on the generated image;
A control unit that controls the operation of the robot arm so as to hold the target object based on the obtained position and orientation of the target object,
The imaging device is attached to the robot arm,
The image processing device
A storage unit for storing feature shape data representing the shape of the feature in the object;
A matching processing unit that performs pattern matching to identify a feature that matches feature shape data in an image generated by the imaging device;
A position and orientation acquisition unit that obtains the position and orientation of an object based on the feature when the feature is identified by pattern matching;
When the matching processing unit cannot identify the characteristic part by pattern matching, the object imaged by the imaging device exists in the imaging range of the imaging device, and the illumination by the illumination device is kept in a state where the object hits the object. The control unit operates the robot arm so that the relative position or relative posture between the object, the imaging device, and the illumination device changes, and causes the imaging device to image the object again, and an image generated thereby On the other hand, the gripping device is characterized in that the matching processing unit performs pattern matching again.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014035665A JP6308423B2 (en) | 2014-02-26 | 2014-02-26 | Holding method and holding device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014035665A JP6308423B2 (en) | 2014-02-26 | 2014-02-26 | Holding method and holding device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015160264A true JP2015160264A (en) | 2015-09-07 |
| JP6308423B2 JP6308423B2 (en) | 2018-04-11 |
Family
ID=54183721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014035665A Active JP6308423B2 (en) | 2014-02-26 | 2014-02-26 | Holding method and holding device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6308423B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018009815A1 (en) | 2017-12-20 | 2019-06-27 | Fanuc Corporation | An imaging device comprising a vision sensor for capturing the image of a workpiece |
| WO2019176809A1 (en) * | 2018-03-14 | 2019-09-19 | 日本電産株式会社 | Robot hand and robot |
| WO2023012894A1 (en) * | 2021-08-03 | 2023-02-09 | ファナック株式会社 | Robot system, control device, diagnosis method, and diagnosis program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000263482A (en) * | 1999-03-17 | 2000-09-26 | Denso Corp | Attitude searching method and attitude searching device of work, and work grasping method and work grasping device by robot |
| JP2009220247A (en) * | 2008-03-18 | 2009-10-01 | Ihi Corp | Robot apparatus and control method of robot apparatus |
| JP2009269110A (en) * | 2008-05-02 | 2009-11-19 | Olympus Corp | Assembly equipment |
| JP2010162638A (en) * | 2009-01-14 | 2010-07-29 | Toshiba Corp | Robot hand |
-
2014
- 2014-02-26 JP JP2014035665A patent/JP6308423B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000263482A (en) * | 1999-03-17 | 2000-09-26 | Denso Corp | Attitude searching method and attitude searching device of work, and work grasping method and work grasping device by robot |
| JP2009220247A (en) * | 2008-03-18 | 2009-10-01 | Ihi Corp | Robot apparatus and control method of robot apparatus |
| JP2009269110A (en) * | 2008-05-02 | 2009-11-19 | Olympus Corp | Assembly equipment |
| JP2010162638A (en) * | 2009-01-14 | 2010-07-29 | Toshiba Corp | Robot hand |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018009815A1 (en) | 2017-12-20 | 2019-06-27 | Fanuc Corporation | An imaging device comprising a vision sensor for capturing the image of a workpiece |
| DE102018009815A9 (en) | 2017-12-20 | 2020-01-23 | Fanuc Corporation | Imaging device comprising a vision sensor for capturing the image of a workpiece |
| US11267142B2 (en) | 2017-12-20 | 2022-03-08 | Fanuc Corporation | Imaging device including vision sensor capturing image of workpiece |
| DE102018009815B4 (en) | 2017-12-20 | 2024-04-18 | Fanuc Corporation | Imaging device comprising a visual sensor for capturing the image of a workpiece |
| WO2019176809A1 (en) * | 2018-03-14 | 2019-09-19 | 日本電産株式会社 | Robot hand and robot |
| WO2023012894A1 (en) * | 2021-08-03 | 2023-02-09 | ファナック株式会社 | Robot system, control device, diagnosis method, and diagnosis program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6308423B2 (en) | 2018-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5685027B2 (en) | Information processing apparatus, object gripping system, robot system, information processing method, object gripping method, and program | |
| JP2008087074A (en) | Workpiece picking apparatus | |
| JP6308423B2 (en) | Holding method and holding device | |
| US20140277694A1 (en) | Robot system and method for producing to-be-processed material | |
| JP5292998B2 (en) | Robot apparatus control method and robot apparatus | |
| WO2020022302A1 (en) | Grasping device | |
| JP2010112859A (en) | Robot system, robot control device, and method for controlling robot | |
| JP2018169275A (en) | Inspection system and controller for controlling inspection system and program | |
| JP2017100202A (en) | Robot system, control device, control method, and program | |
| JP2016203293A (en) | Picking device and picking method | |
| JP5088186B2 (en) | Robot apparatus and control method of robot apparatus | |
| WO2019049488A1 (en) | Robot diagnosis method | |
| JP2011056646A (en) | Method for controlling robot arm | |
| JP2008168372A (en) | Robot device and shape recognition method | |
| JP2011177863A (en) | Gripping device | |
| JP2017087337A (en) | Method for causing robot to fit male component in female component | |
| EP3290164A2 (en) | Robot, robot control device, and robot system | |
| JP2017047479A (en) | Robot, control device and robot system | |
| US10656097B2 (en) | Apparatus and method for generating operation program of inspection system | |
| JP2010188474A (en) | Workpiece conveyance apparatus and workpiece conveyance method using the same | |
| JP2020166371A (en) | Information processing method, information processing device, object detection device, and robot system | |
| JP5522532B2 (en) | Gripping apparatus and gripping method for workpiece having cutting part | |
| JP2016203266A (en) | Robot hand | |
| Macias et al. | Vision guided robotic block stacking | |
| WO2019176809A1 (en) | Robot hand and robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171020 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171018 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180301 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6308423 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |