JP2003039364A - Attitude recognition device of three-dimensional part and attitude recognition method therefor - Google Patents
Attitude recognition device of three-dimensional part and attitude recognition method thereforInfo
- Publication number
- JP2003039364A JP2003039364A JP2001235085A JP2001235085A JP2003039364A JP 2003039364 A JP2003039364 A JP 2003039364A JP 2001235085 A JP2001235085 A JP 2001235085A JP 2001235085 A JP2001235085 A JP 2001235085A JP 2003039364 A JP2003039364 A JP 2003039364A
- Authority
- JP
- Japan
- Prior art keywords
- master image
- image
- robot
- component
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は三次元部品姿勢認識
装置に関し、特に部品がバラ積み状態で収容されている
部品トレーからロボットハンドが対象部品を把持し、組
み付けや治具への整列を行う部品供給装置において、把
持すべき対象部品の三次元的な姿勢を認識し、その対象
部品を把持できる位置までロボットハンドを導くための
三次元姿勢認識装置及び姿勢認識方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional component posture recognizing device, and in particular, a robot hand grips a target component from a component tray in which the components are stored in a stacked state, and performs assembly or alignment with a jig. The present invention relates to a three-dimensional posture recognition device and a posture recognition method for recognizing a three-dimensional posture of a target component to be gripped and guiding a robot hand to a position where the target component can be gripped in a component supply device.
【０００２】[0002]
【従来の技術及び発明が解決しようとする課題】従来技
術として、例えば、特開平７−３１９５２５号公報（山
積み部品の高速ピッキング装置）には、山積みされた部
品の中から、ロボットハンドにより把持可能な部品の単
純形状からなる特定部位を高速に認識する技術が提案さ
れている。即ち、山積みされ位置決めされていない部品
の供給技術として、二次元形状の部品がランダムに積ま
れている状態をカメラで撮像し、二次元の画像処理によ
り部品の二次元の位置と回転角を計測し、ロボットにフ
ィードバックし部品を抽出する技術が提案されている。
しかしながら、この従来技術では、部品に対して二次元
の画像処理であるため、例えば部品が画像面に対して鉛
直方向の姿勢のときには対応することができない。2. Description of the Related Art As a conventional technique, for example, in Japanese Unexamined Patent Publication No. 7-319525 (high-speed picking device for piled parts), it is possible to grip a piled part by a robot hand. A technique for recognizing a specific portion having a simple shape of various parts at high speed has been proposed. In other words, as a technology for supplying parts that are piled up and not positioned, the camera captures the image of a state where two-dimensional parts are randomly stacked and the two-dimensional position and rotation angle of the parts are measured by two-dimensional image processing. However, there has been proposed a technique for feeding back to a robot and extracting parts.
However, in this conventional technique, since the two-dimensional image processing is performed on the component, for example, when the component is in a vertical posture with respect to the image plane, it is not possible to deal with it.
【０００３】また、三次元計測を行って部品の三次元的
な位置や姿勢を計測し、対象部品を抽出する方法も提案
されている。しかしながら、この方法では部品姿勢の認
識に多大な時間を要する問題がある。このように、部品
が部品トレーにバラ積みされた状態で、互いに接触した
り重なり合っている状態における対象部品の三次元姿勢
認識はまだ実用化されていない。Further, a method has also been proposed in which three-dimensional measurement is performed to measure the three-dimensional position and orientation of a component and the target component is extracted. However, this method has a problem that it takes a lot of time to recognize the component posture. As described above, the three-dimensional posture recognition of the target component in a state where the components are stacked on the component tray and are in contact with each other or overlap each other has not been put into practical use yet.
【０００４】そこで、本発明の目的は、ロボットハンド
が部品トレーにバラ積みされた部品の中から対象部品を
容易に把持することができる三次元部品姿勢認識装置及
び姿勢認識方法を提供することにある。Therefore, an object of the present invention is to provide a three-dimensional component posture recognizing apparatus and posture recognizing method which enable a robot hand to easily grasp a target component from among the components stacked in a component tray. is there.
【０００５】[0005]
【課題を解決するための手段】請求項１から６の発明に
よれば、対象部品とロボットカメラが正対するとき把持
姿勢の画像と、把持姿勢に対して各種の角度（例えば１
０°、５°、２．５°）傾けた場合の各傾き毎のマスタ
画像を予め用意し、それらのマスク画像と対象部品の姿
勢との間でマッチング処理を行い、その結果に基づいて
ロボットカメラの移動方向を決め、部品とロボットカメ
ラが正対する方向へロボットカメラを順次移動してい
く。この処理をマスタ画像の各傾き毎に繰り返し（本例
では、上述の３段階の傾きについて）実行して、部品姿
勢を段階的にロボットカメラと正対する位置に近づけて
いき、部品把持可能な位置まで確実にロボットハンドを
導きバラ積みの中から対象部品を容易に把持することが
できる。According to the first to sixth aspects of the present invention, an image of a gripping posture when a target component and a robot camera face each other and various angles (for example, 1
(0 °, 5 °, 2.5 °) A master image for each tilt when tilted is prepared in advance, a matching process is performed between the mask image and the posture of the target component, and the robot is based on the result. The direction of movement of the camera is determined, and the robot camera is sequentially moved in the direction in which the parts and the robot camera face each other. This process is repeated for each tilt of the master image (in the present example, for the above-described three-step tilts), and the component posture is gradually approached to the position directly facing the robot camera. It is possible to reliably guide the robot hand to easily grasp the target component from the bulk.
【０００６】[0006]
【発明の実施の形態】図１から図３は本発明の三次元部
品姿勢認識装置に使用するマスタ画像の説明図である。
ロボットハンドが部品を把持する姿勢（部品とロボット
カメラが正対する姿勢）から一定角度だけ傾けて部品を
観察したときのマスタ画像を各角度（本例では、１０
°、５°、２．５°）について予め用意しておく。図１
はロボットカメラが部品に対して正対する姿勢から１０
°傾けたときのマスタ画像（第１段階マスタ画像）であ
り、図２はロボットカメラが部品に対して正対する姿勢
から５°傾けたときのマスタ画像（第２段階マスタ画
像）であり、図３はロボットカメラが部品に対して正対
する姿勢から２．５°傾けたときのマスタ画像（第３段
階マスタ画像）である。1 to 3 are explanatory views of a master image used in the three-dimensional component posture recognition apparatus of the present invention.
The master image when the robot hand observes the component while tilting it by a certain angle from the posture in which the robot hand grips the component (the posture in which the robot and the robot camera face each other) is set at each angle (10 in this example).
, 5 °, 2.5 °) are prepared in advance. Figure 1
Is 10 from the position where the robot camera faces the part.
2 is a master image when tilted (first stage master image), and FIG. 2 is a master image (second stage master image) when tilted by 5 ° from the posture in which the robot camera faces the component. Reference numeral 3 is a master image (third-stage master image) when the robot camera is tilted by 2.5 ° from the attitude of facing the component.
【０００７】例えば、図１について説明すると、Ｘ軸
（ＲＸ）の「０」とＹ軸（ＲＹ）の「０」の交点（即
ち、画像の中心）にある画像Ｐ0は、ロボットカメラが
部品に対して正対する姿勢にある場合の正面図であり、
ロボットカメラを正面図に対して、例えば斜め上方に１
０°傾けた画像がＰ10である。即ち、第１段階マスタ画
像は、ロボットカメラを正対姿勢の画像Ｐ0に対して、
８方向にそれぞれ１０°傾けた画像Ｐ10で構成されてい
る。同様に、図２に示す第２段階マスタ画像は、ロボッ
トカメラを正対姿勢の画像Ｐ0に対して、８方向にそれ
ぞれ５°傾けた画像Ｐ5で構成されている。また、同様
に、図３に示す第３段階マスタ画像は、ロボットカメラ
を正対姿勢の画像Ｐ0に対して、８方向にそれぞれ２．
５°傾けた画像Ｐ2.5で構成されている。For example, referring to FIG. 1, the image P 0 at the intersection (that is, the center of the image) of “0” on the X-axis (RX) and “0” on the Y-axis (RY) is a part of the robot camera. It is a front view in the case where it is in a position facing directly with respect to
The robot camera, for example, 1 diagonally above the front view
The image tilted by 0 ° is P 10 . That is, in the first-stage master image, the robot camera is used for the image P 0 in the facing posture,
The image P 10 is tilted by 10 ° in each of the eight directions. Similarly, the second-stage master image shown in FIG. 2 is composed of an image P 5 in which the robot camera is tilted by 5 ° in each of 8 directions with respect to the image P 0 in the facing posture. Similarly, third stage master image shown in FIG. 3, the image P 0 positive versus posture robot camera, respectively in eight directions 2.
It is composed of an image P 2.5 tilted by 5 °.
【０００８】図４（Ａ）はバラ積みした部品の中から特
定した対象部品の説明図である。後述する図９に示すよ
うに、所定の部品トレーに部品がバラ積みされた状態
を、特定の部品について、ロボットカメラが上方から撮
像したものである。図中の正面に見える部品が把持すべ
き対象部品である。（Ｂ）はマッチング結果の説明図で
ある。本図は、図１と同様に１０°傾けたマスタ画像で
ある。後述するように、（Ａ）の対象部品の画像を、
（Ｂ）のマスタ画像の１つ１つと比較し、最も類似する
マスタ画像を抽出する。各数字は比較結果の類似度を示
し、数字が大きい程、一致度が高いことを示す。本例で
は、○で囲んだマスタ画像が、一致度０．８９２で最大
値を示し、１０°傾けたマスタ画像群では、このマスタ
画像が対象部品に最も類似する（マッチングしている）
ことを示している。FIG. 4 (A) is an explanatory view of the target part specified from among the parts stacked in bulk. As shown in FIG. 9, which will be described later, the robot camera takes an image of a state where the components are stacked in a predetermined component tray from above with respect to the specific component. The part visible in the front of the figure is the target part to be gripped. (B) is an explanatory view of a matching result. This figure is a master image tilted by 10 ° as in FIG. As will be described later, the image of the target part in (A) is
The most similar master image is extracted by comparing each of the master images of (B). Each number indicates the similarity of the comparison result, and the higher the number, the higher the degree of agreement. In this example, the master image surrounded by a circle shows the maximum value with a matching degree of 0.892, and in the master image group tilted by 10 °, this master image is most similar to the target part (matches).
It is shown that.
【０００９】図５から図７は、バラ積みの中から傾きが
１０°付近の対象部品をロボットハンドによる把持姿勢
に近づける過程の説明図である。各図において、左側は
傾けたマスタ画像の図（図１から図３に対応）であり、
中央はロボット（ロボットカメラ）の移動方向の説明図
であり、右側は部品の姿勢（傾き）の説明図である。FIG. 5 to FIG. 7 are explanatory diagrams of a process of bringing a target component having an inclination of about 10 ° from the bulk stack to a gripping posture by a robot hand. In each figure, the left side is a figure of the tilted master image (corresponding to FIG. 1 to FIG. 3),
The center is an explanatory diagram of the moving direction of the robot (robot camera), and the right side is an explanatory diagram of the posture (tilt) of the component.
【００１０】図５に示すように、まず、図４（Ｂ）で説
明した如く１０°傾けたマスタ画像で類似度処理（マッ
チング処理とも言う）を行う。マッチング処理の結果か
ら、一致度が最大になったマスタ画像（Ｐ10参照）を選
択し、ロボットの移動方向と移動量（１０°）を決定し
てロボットカメラを移動する（中央図の矢印及び右側図
の矢印参照）。このようなロボットカメラの移動によ
り、部品の傾きを５°以内に収束させる。右側図は部品
姿勢を正対から±５°以内に収束した場合の説明図であ
る。このときロボットカメラは−ＲＸ方向に１０°、−
ＲＹ方向に１０°移動（矢印参照）することを示してい
る。As shown in FIG. 5, first, as described with reference to FIG. 4B, similarity processing (also called matching processing) is performed on the master image tilted by 10 °. From the result of the matching process, the master image with the highest degree of coincidence (see P 10 ) is selected, the movement direction and movement amount (10 °) of the robot are determined, and the robot camera is moved (arrow and arrow in the central figure). See the arrow on the right). By such movement of the robot camera, the inclination of the component is converged within 5 °. The right side diagram is an explanatory view when the component postures are converged within ± 5 ° from the front. At this time, the robot camera moves 10 ° in the −RX direction,
It is shown that it moves 10 ° in the RY direction (see the arrow).
【００１１】次に、図６に示すように、５°傾けたマス
タ画像（図２参照）でマッチング処理を行う。上述と同
様に、マッチング処理の結果から、最大一致度となった
マスタ画像（Ｐ5参照）を選択し、ロボットカメラの移
動方向と移動量（５°）を決定してロボットカメラを移
動する（中央図の矢印及び右側図の矢印参照）。このよ
うなロボットカメラの移動により、部品の傾きを２．５
°以内に収束させる。右側図は部品姿勢を正対から±
２．５°以内に収束した場合の説明図である。ロボット
カメラをＸ軸上で（つまり、図５の右側図のカメラ移動
先のポイントから）−ＲＹ方向に５°移動（矢印参照）
する。Next, as shown in FIG. 6, a matching process is performed on the master image tilted by 5 ° (see FIG. 2). Similarly to the above, from the result of the matching process, the master image having the maximum degree of coincidence (see P 5 ) is selected, the moving direction and the moving amount (5 °) of the robot camera are determined, and the robot camera is moved ( (See the arrow in the center figure and the arrow in the right figure). By moving the robot camera in this way, the tilt of the parts is reduced to 2.5.
Converge within °. The figure on the right shows the component orientation ±
It is explanatory drawing at the time of converging within 2.5 degrees. Move the robot camera on the X-axis (that is, from the camera move destination point in the right side of FIG. 5) in the RY direction by 5 ° (see arrow).
To do.
【００１２】最後に、図７に示すように、２．５°傾け
たマスタ画像（図３参照）でマッチング処理を行う。上
述と同様に、マッチング処理の結果から、最大一致度と
なったマスタ画像（Ｐ2.5参照）を選択し、ロボットカ
メラの移動方向と移動量（２．５°）を決定してロボッ
トカメラを移動する（中央図の矢印及び右側図の矢印参
照）。このようなロボットカメラの移動により、部品の
傾きを１．２５°以内に収束させる。右側図は部品姿勢
を正対から±１．２５°以内に収束した場合の説明図で
ある。ロボットカメラをＸ軸上で（つまり、図６の右側
図のカメラ移動先のポイントから）＋ＲＹ方向に２．５
°移動（矢印参照）する。Finally, as shown in FIG. 7, the matching process is performed on the master image tilted by 2.5 ° (see FIG. 3). Similar to the above, from the result of the matching process, the master image with the highest degree of matching (see P 2.5 ) is selected, the movement direction and movement amount (2.5 °) of the robot camera are determined, and the robot camera is moved. (Refer to the arrow in the center diagram and the arrow in the right diagram). By such movement of the robot camera, the inclination of the component is converged within 1.25 °. The right side diagram is an explanatory diagram when the component posture is converged within ± 1.25 ° from the front. Set the robot camera on the X-axis (that is, from the camera movement destination point in the right side of FIG. 6) in the + RY direction by 2.5.
° Move (see arrow).
【００１３】図８は本発明による部品姿勢認識処理のフ
ローチャートである。本図は上述した図５から図７の説
明に対応するものである。即ち、ステップＳ１からＳ２
は図５の説明に対応し、Ｓ３からＳ４は図６の説明に対
応し、Ｓ５からＳ６は図７の説明に対応する。そして、
ロボットカメラに装着されたロボットハンドが、部品を
正対姿勢で把持できる位置に配置されると（Ｓ７）、対
象部品を把持（ピッキング）する（Ｓ８）。すなわち、
ステップＳ２，Ｓ４，Ｓ６ようにカメラの移動を繰り返
し行って、傾いている部品に対してロボットハンドを徐
々に把持姿勢に近づけていくことにより、ステップＳ６
の終了時点でロボットハンドは把持姿勢に対して±１．
２５°以内に存在するようになる。つまりロボットハン
ドの能力から要求される部品把持可能範囲（本例は正対
に対して±３°）内に対象部品が存在するため、対象部
品の把持が可能となる。FIG. 8 is a flowchart of the component posture recognition processing according to the present invention. This figure corresponds to the description of FIGS. 5 to 7 described above. That is, steps S1 to S2
Corresponds to the description of FIG. 5, S3 to S4 correspond to the description of FIG. 6, and S5 to S6 correspond to the description of FIG. And
When the robot hand attached to the robot camera is placed at a position where the robot can grip the component in the front facing posture (S7), the target component is gripped (picked) (S8). That is,
By repeatedly moving the camera as in steps S2, S4, and S6, the robot hand is gradually brought closer to the gripping posture with respect to the tilted component.
At the end of step, the robot hand moves within ± 1.
It comes to exist within 25 °. In other words, since the target component exists within the component grippable range (± 3 ° with respect to the direct pair) required by the capability of the robot hand, the target component can be gripped.
【００１４】図９は本発明による三次元部品姿勢認識装
置のブロック構成図である。図示のように、ロボット１
は、ロボットカメラ１１、ロボットハンド１２、ロボッ
トアーム１３等で構成されている。部品トレー２にはバ
ラ積みされた部品２１が収納されている。制御装置３
は、中央処理装置３１、画像処理装置３２、及び記憶装
置３３で構成され、画像処理装置３２は画像入力部３２
ａとマッチング処理部３２ｂを含み、記憶装置３３はマ
スタ画像格納領域３３ａと認識結果格納領域３３ｂを含
む。FIG. 9 is a block diagram of a three-dimensional component posture recognition apparatus according to the present invention. Robot 1 as shown
Is composed of a robot camera 11, a robot hand 12, a robot arm 13, and the like. The parts tray 2 accommodates the parts 21 stacked in bulk. Control device 3
Is composed of a central processing unit 31, an image processing unit 32, and a storage unit 33. The image processing unit 32 includes an image input unit 32.
The storage device 33 includes a master image storage area 33a and a recognition result storage area 33b.
【００１５】中央処理装置３１は図８に示す処理を実行
すべく制御するものである。マスタ画像格納領域３３ａ
には、例えば図１から図３に示す各角度のマスタ画像が
格納されている。画像入力部３２ａはロボットカメラ１
１で撮像された画像を取り込み、マッチング処理部３２
ｂに送る。マッチング処理部３２ｂは、マスタ画像格納
領域３３ａに格納された各角度のマスタ画像と比較し、
各角度のマスタ画像群中の最大に一致するマスタ画像を
抽出し、上述のように各角度ごとに繰り返し実行する。The central processing unit 31 controls to execute the processing shown in FIG. Master image storage area 33a
Stores master images at respective angles shown in FIGS. 1 to 3, for example. The image input unit 32a is the robot camera 1
The image picked up in 1 is taken in, and the matching processing unit 32
send to b. The matching processing unit 32b compares with the master image of each angle stored in the master image storage area 33a,
The maximum matching master image in the master image group for each angle is extracted and repeatedly executed for each angle as described above.
【００１６】上述の例は、部品トレーにバラ積みされた
中で対象部品の傾きが１０°付近である場合について説
明したが、次に対象部品の傾きがマスタ画像よりも大き
い場合について説明する。In the above-mentioned example, the case where the inclination of the target component is about 10 ° among the components stacked in the component tray has been described. Next, the case where the inclination of the target component is larger than that of the master image will be described.
【００１７】マスタ画像よりも対象部品の傾きが大きい
場合でも、その対象部品を把持する姿勢にロボットハン
ドを近づける手順は、基本的に上述した手順と同じであ
る。しかし、１０°傾けたマスタ画像での部品の傾き認
識範囲は、図１に示すように、−１５°〜１５°であ
る。従って、１０°よりも傾きが大きい部品を把持する
ためには、予め用意するマスタ画像の種類を増加する。
例えば、１５°傾けたマスタ画像や、２０°傾けたマス
タ画像を追加する。もしくはマスタ画像として登録する
部品傾きの間隔を大きくとる。即ち、上述の例では１０
°、５°、２．５°で設定したが、２０°、１０°、５
°に設定することもできる。Even when the inclination of the target component is larger than that of the master image, the procedure for bringing the robot hand closer to the posture of gripping the target component is basically the same as the procedure described above. However, the tilt recognition range of the component in the master image tilted by 10 ° is −15 ° to 15 ° as shown in FIG. Therefore, in order to grip a component having a larger inclination than 10 °, the types of master images prepared in advance are increased.
For example, a master image tilted by 15 ° or a master image tilted by 20 ° is added. Alternatively, increase the interval between component inclinations registered as a master image. That is, in the above example, 10
It was set at 5 °, 5 °, 20 °, 10 °, 5
It can also be set to °.
【００１８】また、本発明の前提条件として、対象部品
は立体形状を有していることを前提としているので、対
象部品の傾きが４５°よりも大きくなる場合には、対象
となる面以外の他の側面が見えているので、その側面を
正面画像にしてマスタ画像との比較を行えばよい。Further, as a precondition of the present invention, it is premised that the target component has a three-dimensional shape. Therefore, when the tilt of the target component is larger than 45 °, the target component is not a surface other than the target surface. Since the other side surface is visible, the side surface may be used as a front image for comparison with the master image.
【００１９】さらに、対象部品の傾きがマスタ画像より
も小さい場合について説明する。マスタ画像よりも対象
部品の傾きが小さい場合でも、その対象部品を把持する
姿勢にロボットハンドを近づける手順は、基本的に上述
した手順と同じである。しかし、最終的に求められる部
品の傾き（把持姿勢との誤差角度）によっては、３段階
目のマッチングが不必要な場合もある。例えば、図６の
処理が終了した時点では、部品傾きは正対から±２．５
°以内に収束しており、最終的な目標精度が±３°であ
れば、図７の処理は不必要になる。そのため、最終目標
精度によっては、３段階目のマッチングを行わずにロボ
ットハンドが部品を把持にいくようにすることもでき
る。Further, a case where the inclination of the target part is smaller than that of the master image will be described. Even if the inclination of the target component is smaller than that of the master image, the procedure of bringing the robot hand closer to the posture of gripping the target component is basically the same as the procedure described above. However, depending on the finally obtained inclination of the component (error angle with respect to the gripping posture), the third-stage matching may be unnecessary. For example, at the time when the process of FIG. 6 is completed, the component inclination is ± 2.5 from the front.
If it converges within ° and the final target accuracy is ± 3 °, the processing of FIG. 7 becomes unnecessary. Therefore, depending on the final target accuracy, it is possible to allow the robot hand to grip the component without performing the third-stage matching.
【図１】本発明の三次元部品姿勢認識装置に使用するマ
スタ画像の説明図（その１）である。FIG. 1 is an explanatory diagram (No. 1) of a master image used in the three-dimensional component attitude recognition device of the present invention.
【図２】本発明の三次元部品姿勢認識装置に使用するマ
スタ画像の説明図（その２）である。FIG. 2 is an explanatory diagram (No. 2) of a master image used in the three-dimensional component attitude recognition device of the present invention.
【図３】本発明の三次元部品姿勢認識装置に使用するマ
スタ画像の説明図（その３）である。FIG. 3 is an explanatory diagram (No. 3) of the master image used in the three-dimensional component posture recognition device of the present invention.
【図４】（Ａ）はバラ積みした部品の中から特定した対
象部品の説明図であり、（Ｂ）はマッチング結果の説明
図である。FIG. 4A is an explanatory diagram of a target component specified from among the components stacked in bulk, and FIG. 4B is an explanatory diagram of a matching result.
【図５】バラ積みの中から傾きが１０°付近の対象部品
をロボットハンドによる把持姿勢に近づける過程の説明
図（その１）である。FIG. 5 is an explanatory view (No. 1) of a process of bringing a target component having an inclination of about 10 ° into a gripping posture by a robot hand out of bulk stacking.
【図６】バラ積みの中から傾きが１０°付近の対象部品
をロボットハンドによる把持姿勢に近づける過程の説明
図（その２）である。FIG. 6 is an explanatory view (No. 2) of a process of bringing a target component having an inclination of about 10 ° into a gripping posture by a robot hand from the bulk pile.
【図７】バラ積みの中から傾きが１０°付近の対象部品
をロボットハンドによる把持姿勢に近づける過程の説明
図（その３）である。FIG. 7 is an explanatory view (No. 3) of the process of bringing the target component having an inclination of about 10 ° into the gripping posture by the robot hand from the bulk pile.
【図８】本発明による部品姿勢認識処理のフローチャー
トである。FIG. 8 is a flowchart of a component posture recognition process according to the present invention.
【図９】本発明による三次元部品姿勢認識装置のブロッ
ク構成図である。FIG. 9 is a block configuration diagram of a three-dimensional component posture recognition device according to the present invention.
１…ロボット １１…ロボットカメラ １２…ロボットハンド ２…バラ積み部品 ３…制御手段 ３１…中央処理装置 ３２ａ…画像入力部 ３２ｂ…マッチング処理部 ３３ａ…マスタ画像格納領域 ３３ｂ…認識結果格納領域 1 ... Robot 11 ... Robot camera 12 ... Robot hand 2 ... Bulk parts 3 ... Control means 31 ... Central processing unit 32a ... Image input section 32b ... Matching processing unit 33a ... Master image storage area 33b ... Recognition result storage area
───────────────────────────────────────────────────── フロントページの続き (72)発明者 松岡 博 愛知県刈谷市昭和町１丁目１番地 株式会 社デンソー内 Ｆターム(参考） 2F065 AA37 BB05 FF04 JJ03 QQ38 RR07 UU05 3C007 AS04 KS07 KS17 KT01 KT05 KT11 LT06 MT09 ─────────────────────────────────────────────────── ─── Continued front page (72) Inventor Hiroshi Matsuoka 1-1, Showa-cho, Kariya city, Aichi stock market Inside the company DENSO F term (reference) 2F065 AA37 BB05 FF04 JJ03 QQ38 RR07 UU05 3C007 AS04 KS07 KS17 KT01 KT05 KT11 LT06 MT09
Claims (6)
ンドを装着したロボットがバラ積みされた部品の中から
対象部品を把持するための三次元部品姿勢認識装置にお
いて、 前記対象部品について、段階的に異なる複数の傾き角毎
に、かつ各傾き角毎に複数の方向から撮像したマスタ画
像を予め格納するマスタ画像格納手段と、 前記ロボットカメラで撮像された前記対象部品の画像を
取り込む画像入力手段と、 前記画像入力手段から順次入力される入力画像と前記マ
スタ画像格納手段に格納された複数のマスタ画像を比較
し、前記入力画像とマスタ画像との一致度を検出するマ
ッチング処理手段とを備え、 前記マッチング処理手段は、各傾き角毎にマスタ画像と
前記入力画像とを順次比較し、前記対象部品と最大に一
致するマスタ画像を検出するとともに、正面のマスタ画
像からの方向と角度を検出し、検出した方向と角度を中
央処理装置に送出し、 前記中央処理装置は、前記対象部品に正対する方向に移
動させるべく前記ロボットカメラを前記検出した方向と
角度に移動させ、繰り返しマッチング処理を実行した
後、正対する位置に移動したときは前記対象部品を把持
させる指示を前記ロボットに送出することを特徴とする
三次元部品姿勢認識装置。1. A three-dimensional component posture recognition device for a robot equipped with at least a robot camera and a robot hand to grip a target component from among the components stacked in bulk, wherein a plurality of stepwise different target components are provided. A master image storage unit that stores in advance master images captured from a plurality of directions for each tilt angle and for each tilt angle; an image input unit that captures an image of the target component imaged by the robot camera; A matching processing unit that compares the input images sequentially input from the input unit with a plurality of master images stored in the master image storage unit and detects the degree of coincidence between the input images and the master image; The means sequentially compares the master image and the input image for each tilt angle, and detects the master image that has the maximum match with the target component. At the same time, it detects the direction and angle from the front master image, sends the detected direction and angle to the central processing unit, and the central processing unit moves the robot camera to move in the direction directly facing the target component. A three-dimensional component posture recognition device characterized in that, after moving to the detected direction and angle, repeatedly performing matching processing, and when moving to a facing position, an instruction to grip the target component is sent to the robot. .
なくとも大中小の３段階の傾き角である請求項１に記載
の三次元部品姿勢認識装置。2. The three-dimensional component attitude recognition device according to claim 1, wherein the plurality of stepwise different tilt angles are at least three levels of tilt angles of large, medium and small.
像を中心にして、上下、左右、右斜め上下、左斜め上
下、の８方向である請求項１に記載の三次元部品姿勢認
識装置。3. The three-dimensional component posture recognition according to claim 1, wherein the plurality of directions are eight directions of up and down, left and right, diagonally up and down right, and diagonally up and down left with respect to the front image of the target component. apparatus.
傾けたマスタ画像、５°傾けたマスタ画像、及び２．５
°傾けたマスタ画像である請求項１、２、又は３に記載
の三次元部品姿勢認識装置。4. The master image for each tilt angle is 10 °.
Tilted master image, 5 ° tilted master image, and 2.5
The three-dimensional component posture recognition apparatus according to claim 1, wherein the master image is a tilted master image.
の各傾き角より小さいときは、前記３段階の傾き角の内
の２段階でマッチング処理を実行する請求項２に記載の
三次元部品姿勢認識装置。5. The three-dimensional part according to claim 2, wherein when the tilt angle of the target part is smaller than each tilt angle of the master image, the matching process is executed in two steps out of the three step tilt angles. Attitude recognition device.
ンドを装着したロボットがバラ積みされた部品の中から
対象部品を把持するための三次元部品姿勢認識装置にお
ける姿勢認識方法であって、 対象部品に対して、最も大きい傾き角の第１段階マスタ
画像でマッチング処理を実行する段階と、 前記第１段階マスタ画像と入力画像の一致度が最大のマ
スタ画像を選択し、対象部品に正対する方向にロボット
カメラを移動する段階と、 対象部品に対して、次に大きい傾き角の第２段階マスタ
画像でマッチング処理を実行する段階と、 前記第２段階マスタ画像と入力画像の一致度が最大のマ
スタ画像を選択し、対象部品に正対する方向にロボット
カメラを移動する段階と、 対象部品に対して、最も小さい傾き角の第３段階マスタ
画像でマッチング処理を実行する段階と、 前記第３段階マスタ画像と入力画像の一致度が最大のマ
スタ画像を選択し、対象部品に正対する方向にロボット
カメラを移動する段階と、 前記対象部品に正対する方向にロボットカメラが移動す
ると、前記ロボットハンドが前記対象部品を把持する段
階と、を具備する三次元部品姿勢認識装置における姿勢
認識方法。6. A posture recognizing method in a three-dimensional component posture recognizing device for a robot equipped with at least a robot camera and a robot hand to grip a target component from among the components stacked in bulk. , Performing a matching process on the first stage master image having the largest inclination angle, selecting the master image having the highest degree of coincidence between the first stage master image and the input image, and selecting the robot camera in the direction directly facing the target part. , A step of performing a matching process on the target part with a second-stage master image having the next largest inclination angle, and a master image having the highest degree of coincidence between the second-stage master image and the input image. Select and move the robot camera in the direction directly facing the target part, and match the target part with the third stage master image with the smallest tilt angle. A step of executing a process, a step of selecting a master image having a maximum degree of coincidence between the third-stage master image and an input image, and moving the robot camera in a direction facing the target part, and a direction facing the target part. And a robot camera moves, the robot hand grips the target component, and the posture recognition method in a three-dimensional component posture recognition device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001235085A JP2003039364A (en) | 2001-08-02 | 2001-08-02 | Attitude recognition device of three-dimensional part and attitude recognition method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001235085A JP2003039364A (en) | 2001-08-02 | 2001-08-02 | Attitude recognition device of three-dimensional part and attitude recognition method therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003039364A true JP2003039364A (en) | 2003-02-13 |
Family
ID=19066587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001235085A Withdrawn JP2003039364A (en) | 2001-08-02 | 2001-08-02 | Attitude recognition device of three-dimensional part and attitude recognition method therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003039364A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1477934A2 (en) * | 2003-05-12 | 2004-11-17 | Fanuc Ltd | Image processing apparatus |
| JP2018001372A (en) * | 2016-07-06 | 2018-01-11 | 島根県 | Component supply device and method |
-
2001
- 2001-08-02 JP JP2001235085A patent/JP2003039364A/en not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1477934A2 (en) * | 2003-05-12 | 2004-11-17 | Fanuc Ltd | Image processing apparatus |
| JP2004333422A (en) * | 2003-05-12 | 2004-11-25 | Fanuc Ltd | Image processing device |
| KR100693262B1 (en) | 2003-05-12 | 2007-03-13 | 화낙 가부시끼가이샤 | Image processing apparatus |
| US7283661B2 (en) | 2003-05-12 | 2007-10-16 | Fanuc Ltd | Image processing apparatus |
| EP1477934A3 (en) * | 2003-05-12 | 2009-01-07 | Fanuc Ltd | Image processing apparatus |
| JP2018001372A (en) * | 2016-07-06 | 2018-01-11 | 島根県 | Component supply device and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6771744B2 (en) | Handling system and controller | |
| US9259844B2 (en) | Vision-guided electromagnetic robotic system | |
| US8295975B2 (en) | Object picking device | |
| US7283661B2 (en) | Image processing apparatus | |
| JP4940715B2 (en) | Picking system | |
| JP5685027B2 (en) | Information processing apparatus, object gripping system, robot system, information processing method, object gripping method, and program | |
| US20140277734A1 (en) | Robot system and a method for producing a to-be-processed material | |
| JP6912415B2 (en) | Hand control device and hand control system | |
| JP4001105B2 (en) | Grasping method of arbitrarily shaped object by robot | |
| US20140277694A1 (en) | Robot system and method for producing to-be-processed material | |
| WO2020022302A1 (en) | Grasping device | |
| JPH03228591A (en) | Work holding device, work and storing case thereof | |
| CN113858188A (en) | Industrial robot gripping method and apparatus, computer storage medium, and industrial robot | |
| JP2000263482A (en) | Attitude searching method and attitude searching device of work, and work grasping method and work grasping device by robot | |
| CN113165187B (en) | Image information processing device, gripping system, and image information processing method | |
| JP6666764B2 (en) | Work recognition method and random picking method | |
| JP2555824B2 (en) | High-speed picking device for piled parts | |
| CN111633649A (en) | Mechanical arm adjusting method and adjusting system thereof | |
| JP3225740B2 (en) | High-speed picking device for piled parts | |
| JP2002200588A (en) | Device and method for detecting holding position of component holdable by robot | |
| CN113269112A (en) | Method and device for identifying capture area, electronic equipment and storage medium | |
| JP2003039364A (en) | Attitude recognition device of three-dimensional part and attitude recognition method therefor | |
| JP2555823B2 (en) | High-speed picking device for piled parts | |
| JP2015226956A (en) | Robot, robot system and robot control device | |
| JP6644846B1 (en) | Work position and orientation recognition device and picking system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071003 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20081212 |