以下、実施形態について図面を参照して説明する。図面においては、実施形態を説明するため、一部分を大きく又は強調して表すなど適宜縮尺を変更して表現しており、実際の製品とは大きさ、形状が異なる場合がある。また、図面においては、ＸＹＺ座標系を用いて図中の方向を説明する場合がある。ＸＹＺ座標系においては、水平面に平行な面をＸ−Ｙ平面とする。Ｘ−Ｙ平面における一方向はＸ方向と表記し、Ｘ方向に直交する方向はＹ方向と表記する。なお、Ｘ−Ｙ平面に垂直な方向はＺ方向と表記する。
Hereinafter, embodiments will be described with reference to the drawings. In the drawings, in order to explain the embodiment, the scale is appropriately changed and expressed, such as by enlarging or emphasizing a part, and the size and shape may differ from the actual product. Further, in the drawings, the directions in the drawings may be described using the XYZ coordinate system. In the XYZ coordinate system, the plane parallel to the horizontal plane is defined as the XY plane. One direction in the XY plane is referred to as the X direction, and the direction orthogonal to the X direction is referred to as the Y direction. The direction perpendicular to the XY plane is referred to as the Z direction.
［第１実施形態］
第１実施形態を説明する。図１は、第１実施形態に係る観察システムの構成例を示す側面図である。図２は、第１実施形態に係る観察システムの構成例を示す正面図である。図３は、第１実施形態に係る観察システムの光学系の配置例を示す図である。図１から図３に示すように、観察システム１Ａは、マニピュレータ（ロボットマニピュレータ）２と、エンドエフェクタ３と、撮像部４と、光学系５（図３参照）と、ロボット制御装置７とを有する。本実施形態において、観察システム１Ａは、エンドエフェクタ３で保持する対象物ＯＢを、位置座標が予め指定されたステージ８を含む搬送元の位置Ｐ１から搬送先の位置Ｐ２まで搬送する。なお、観察システム１Ａが搬送先の予め指定された位置座標である位置Ｐ２に対象物ＯＢを搬送した後、例えば、ビジュアルサーボを用いて対象物ＯＢの搬送位置を微修正してもよい。ロボット制御装置７を除いた観察システム１Ａに含まれる各部は、「ロボットシステム」に対応する。
[First Embodiment]
The first embodiment will be described. FIG. 1 is a side view showing a configuration example of the observation system according to the first embodiment. FIG. 2 is a front view showing a configuration example of the observation system according to the first embodiment. FIG. 3 is a diagram showing an arrangement example of an optical system of the observation system according to the first embodiment. As shown in FIGS. 1 to 3, the observation system 1A includes a manipulator (robot manipulator) 2, an end effector 3, an imaging unit 4, an optical system 5 (see FIG. 3), and a robot control device 7. .. In the present embodiment, the observation system 1A transports the object OB held by the end effector 3 from the transport source position P1 including the stage 8 whose position coordinates are specified in advance to the transport destination position P2. After the observation system 1A transports the object OB to the position P2 which is the position coordinate specified in advance of the transport destination, the transport position of the object OB may be slightly modified by using, for example, a visual servo. Each part included in the observation system 1A excluding the robot control device 7 corresponds to the "robot system".
マニピュレータ２は、エンドエフェクタ３を装着可能なアーム２１を備える。アーム２１は、例えば、第１アーム２２と、第２アーム２３とを備える。第１アーム２２は、例えば、マニピュレータ２の図示しない基部に対する揺動、及びＺ軸回りの回動を可能に設けられる。第２アーム２３は、第１アーム２２の一端に、回動モータ２４を介して連結される。また、第２アーム２３は、回動モータ２４の駆動により、回動モータ２４の回動軸回りに回動可能に設けられる。第１アーム２２側とは反対の第２アーム２３の端部には、例えば、エンドエフェクタ３を着脱可能に装着するエフェクタ装着部（ジョイント）２５が設けられる。
The manipulator 2 includes an arm 21 to which the end effector 3 can be mounted. The arm 21 includes, for example, a first arm 22 and a second arm 23. The first arm 22 is provided so that, for example, the manipulator 2 can swing with respect to a base (not shown) and rotate around the Z axis. The second arm 23 is connected to one end of the first arm 22 via a rotation motor 24. Further, the second arm 23 is rotatably provided around the rotation axis of the rotation motor 24 by driving the rotation motor 24. At the end of the second arm 23 opposite to the first arm 22 side, for example, an effector mounting portion (joint) 25 for detachably mounting the end effector 3 is provided.
なお、マニピュレータ２は、第１アーム２２、第２アーム２３、及び回動モータ２４を備える構成に限られない。マニピュレータ２は、装着されたエンドエフェクタ３を搬送元の位置Ｐ１から搬送先の位置Ｐ２まで搬送できるのであれば、例えば、Ｘ方向、Ｙ方向、及びＺ方向のそれぞれに移動可能なアクチュエータを備える等、適宜他の構成としてもよい。
The manipulator 2 is not limited to the configuration including the first arm 22, the second arm 23, and the rotary motor 24. The manipulator 2 is provided with an actuator that can move the mounted end effector 3 from the transport source position P1 to the transport destination position P2, for example, in the X direction, the Y direction, and the Z direction. , Other configurations may be used as appropriate.
エンドエフェクタ３は、例えば、アーム２１のエフェクタ装着部２５に着脱可能に装着される。本実施形態において、エンドエフェクタ３は、対象物ＯＢを保持可能である。エンドエフェクタ３は、エフェクタ装着部２５に対して着脱可能なアーム接続部３１と、アーム接続部３１に設けられたハンド部３２とを備える。ハンド部３２は、例えば、基部３３と、ハンド本体３４Ａと、ハンド本体３４Ｂと、ハンド本体３４Ａ、３４Ｂに設けられた把持部３５Ａと、把持部３５Ｂとを備える。なお、ハンド本体３４Ａ、３４Ｂと、把持部３５Ａ、３５Ｂとは、「指部」に対応する。すなわち、エンドエフェクタ３は、対象物ＯＢを把持することにより保持する「指部」を有する。以下、エンドエフェクタ３が対象物ＯＢを「把持する」ことは、把持することにより「保持する」ことを含む。なお、エンドエフェクタ３は、ツールチェンジャとして交換可能であってもよく、また、マニピュレータ２と一体型であってもよい。
The end effector 3 is detachably attached to, for example, the effector mounting portion 25 of the arm 21. In the present embodiment, the end effector 3 can hold the object OB. The end effector 3 includes an arm connecting portion 31 that can be attached to and detached from the effector mounting portion 25, and a hand portion 32 provided on the arm connecting portion 31. The hand portion 32 includes, for example, a base portion 33, a hand main body 34A, a hand main body 34B, a grip portion 35A provided on the hand main bodies 34A and 34B, and a grip portion 35B. The hand bodies 34A and 34B and the gripping portions 35A and 35B correspond to "finger portions". That is, the end effector 3 has a "finger portion" that holds the object OB by grasping it. Hereinafter, "grasping" the object OB by the end effector 3 includes "holding" by gripping. The end effector 3 may be replaceable as a tool changer, or may be integrated with the manipulator 2.
基部３３は、例えば、アーム接続部３１と一体に設けられる。基部３３は、第２アーム２３の中心軸ＡＣ（以下、マニピュレータ２の中心軸ＡＣと呼ぶ場合がある）に直交する方向に沿って、アーム接続部３１から両側に延びている。本実施形態において、ハンド本体３４Ａ、３４Ｂは、基部３３の両方向の端部から、第２アーム２３の中心軸ＡＣと平行な方向に沿って、アーム２１側とは反対の方向に延びている。一つの態様として、二個一対のハンド本体３４Ａ、３４Ｂを採用する場合、ハンド本体３４Ａ、３４Ｂの中心位置は、エンドエフェクタ３の中心軸ＡＭとなる。すなわち、エンドエフェクタ３は、第２アーム２３のエフェクタ装着部２５にアーム接続部３１を接続した状態で、中心軸ＡＭが第２アーム２３の中心軸ＡＣに合致するように設けられてよい。
The base 33 is provided integrally with, for example, the arm connecting portion 31. The base portion 33 extends from the arm connecting portion 31 to both sides along a direction orthogonal to the central axis AC of the second arm 23 (hereinafter, may be referred to as the central axis AC of the manipulator 2). In the present embodiment, the hand bodies 34A and 34B extend from the ends of the base 33 in both directions along the direction parallel to the central axis AC of the second arm 23 in the direction opposite to the arm 21 side. In one embodiment, when two pairs of hand bodies 34A and 34B are adopted, the center position of the hand bodies 34A and 34B is the central axis AM of the end effector 3. That is, the end effector 3 may be provided so that the central axis AM matches the central axis AC of the second arm 23 in a state where the arm connecting portion 31 is connected to the effector mounting portion 25 of the second arm 23.
把持部３５Ａは、アーム接続部３１側とは反対のハンド本体３４Ａの端部に固定されて設けられる。把持部３５Ｂは、アーム接続部３１側とは反対のハンド本体３４Ｂの端部に固定されて設けられる。把持部３５Ａ、３５Ｂは、把持パッド３７をそれぞれ備える。把持パッド３７は、対象物ＯＢを把持していないとき、把持部３５Ａ、３５Ｂに収容される。把持パッド３７は、例えば、柔軟なプラスティックやゲル等であり、圧力が調整されることでハンド本体３４Ａ、３４Ｂ同士が対向する側（ハンド本体３４Ａ、３４Ｂの内側）に、ハンド本体３４Ａ、３４Ｂのそれぞれから突出するように弾性変形可能である。把持パッド３７は、例えば、対象物ＯＢを把持しようとするとき、対象物ＯＢの大きさや形状等に応じて変形する。なお、把持パッド３７のそれぞれは、「変形部」に対応する。
The grip portion 35A is fixedly provided at the end portion of the hand body 34A opposite to the arm connection portion 31 side. The grip portion 35B is fixedly provided at the end portion of the hand body 34B opposite to the arm connection portion 31 side. The grip portions 35A and 35B each include a grip pad 37. The gripping pad 37 is accommodated in the gripping portions 35A and 35B when the object OB is not gripped. The gripping pad 37 is, for example, a flexible plastic or gel, and the hand bodies 34A and 34B are placed on the side where the hand bodies 34A and 34B face each other (inside the hand bodies 34A and 34B) by adjusting the pressure. It can be elastically deformed so as to protrude from each. For example, when trying to grip the object OB, the grip pad 37 is deformed according to the size and shape of the object OB. Each of the gripping pads 37 corresponds to a "deformed portion".
また、ハンド本体３４Ａ、３４Ｂを、例えば、弾性変形可能な金属やプラスティック等で構成し、図示しないアクチュエータ等でハンド本体３４Ａ、３４Ｂを互いに接近する方向に押圧することにより、対象物ＯＢを把持してもよい。この場合、把持パッド３７が把持部３５Ａ、３５Ｂに収容されていなくても対象物ＯＢの把持が可能となる。このとき、ハンド本体３４Ａ、３４Ｂが互いに対向する方向に突出した状態で、ハンド本体３４Ａ、３４Ｂの内側に、把持パッド３７を保持してもよい。
Further, the hand bodies 34A and 34B are made of, for example, elastically deformable metal or plastic, and the hand bodies 34A and 34B are pressed in a direction approaching each other by an actuator (not shown) to grip the object OB. You may. In this case, the object OB can be gripped even if the gripping pad 37 is not housed in the gripping portions 35A and 35B. At this time, the gripping pad 37 may be held inside the hand bodies 34A and 34B with the hand bodies 34A and 34B protruding in the directions facing each other.
エンドエフェクタ３は、ハンド部３２のハンド本体３４Ａ、３４Ｂの間に対象物ＯＢが配置される状態で、それぞれ圧力が加えられる把持パッド３７を内側に突出させ、対象物ＯＢを把持する。エンドエフェクタ３は、このようにして、対象物ＯＢを把持することにより保持可能である。すなわち、エンドエフェクタ３は、対象物ＯＢの大きさや形状等に応じて把持パッド３７が弾性変形することで、対象物ＯＢを把持する。また、エンドエフェクタ３は、対象物ＯＢの少なくとも一部に柔軟な部分を有する場合、対象物ＯＢの大きさ、形状、及び姿勢等のうち少なくとも１つが把持する前に対して変化した状態で把持することがある。
The end effector 3 projects the gripping pad 37 to which pressure is applied inward while the object OB is arranged between the hand bodies 34A and 34B of the hand portion 32, and grips the object OB. The end effector 3 can be held by grasping the object OB in this way. That is, the end effector 3 grips the object OB by elastically deforming the grip pad 37 according to the size and shape of the object OB. Further, when the end effector 3 has a flexible portion in at least a part of the object OB, the end effector 3 is gripped in a state in which at least one of the size, shape, posture, etc. of the object OB is changed from that before being gripped. I have something to do.
なお、本実施形態におけるエンドエフェクタ３は、ハンド本体３４Ａ、３４Ｂから把持パッド３７を突出させることで対象物ＯＢを把持する形態に限らない。エンドエフェクタ３は、例えば、ハンド本体３４Ａ、３４Ｂを変位させることで対象物ＯＢを把持してもよい。また、ハンド本体は、ハンド本体３４Ａ、３４Ｂの２本に限らず、３本以上のハンド本体を備えてもよい。さらに、エンドエフェクタ３は、把持パッド３７を設けずに、例えば、磁気による吸着や真空吸着等により、対象物ＯＢを保持（把持）してもよい。さらに、エンドエフェクタ３は、ハンド本体３４Ａ、３４Ｂにピンセットやドライバ等の工具を保持させて、工具を介して対象物ＯＢを保持（把持）してもよい。
The end effector 3 in the present embodiment is not limited to the form in which the object OB is gripped by projecting the gripping pad 37 from the hand bodies 34A and 34B. The end effector 3 may grip the object OB by, for example, displacing the hand bodies 34A and 34B. Further, the hand body is not limited to two hand bodies 34A and 34B, and may include three or more hand bodies. Further, the end effector 3 may hold (grip) the object OB by, for example, magnetic suction or vacuum suction without providing the grip pad 37. Further, the end effector 3 may hold a tool such as tweezers or a screwdriver on the hand bodies 34A and 34B, and hold (grip) the object OB via the tool.
撮像部４は、図示しない撮像素子を備える。撮像部４の撮像素子は、例えば、複数の画素が二次元的に配列されたＣＭＯＳイメージセンサ、又はＣＣＤイメージセンサ等である。撮像部４は、撮像素子による撮像結果（観察結果、検出結果）を、ロボット制御装置７に対して出力する。
The image pickup unit 4 includes an image pickup element (not shown). The image sensor of the image pickup unit 4 is, for example, a CMOS image sensor in which a plurality of pixels are two-dimensionally arranged, a CCD image sensor, or the like. The image pickup unit 4 outputs an image pickup result (observation result, detection result) by the image pickup element to the robot control device 7.
本実施形態における撮像部４は、マニピュレータ２に設けられる。図２に示すように、マニピュレータ２は、撮像部４を支持する支持部材２６を備える。支持部材２６は、マニピュレータ２の第２アーム２３の第１アーム２２側とは反対の端部に設けられる。支持部材２６は、第２アーム２３の中心軸ＡＣに対して交差（直交）して延び、第２アーム２３から側方に突出する。撮像部４は、例えば、支持部材２６の端部に固定される。撮像部４は、マニピュレータ２の中心軸ＡＣに対して、撮像光軸ＡＰが該中心軸ＡＣに直交する方向に所定寸法だけ離間した位置で平行に設けられる。撮像部４の撮像光軸ＡＰと、マニピュレータ２の中心軸ＡＣとの離間寸法は、ベースラインＢＬと呼ばれる場合がある。なお、光学系５を介して対象物ＯＢを撮像する撮像部４の撮像光軸ＡＰの少なくとも一部は、Ｙ方向においてエンドエフェクタ３の中心軸ＡＭと一致する。
The imaging unit 4 in the present embodiment is provided in the manipulator 2. As shown in FIG. 2, the manipulator 2 includes a support member 26 that supports the imaging unit 4. The support member 26 is provided at an end of the second arm 23 of the manipulator 2 opposite to the first arm 22 side. The support member 26 extends so as to intersect (orthogonally) the central axis AC of the second arm 23, and projects laterally from the second arm 23. The imaging unit 4 is fixed to, for example, the end of the support member 26. The imaging unit 4 is provided parallel to the central axis AC of the manipulator 2 at a position where the imaging optical axis AP is separated by a predetermined dimension in the direction orthogonal to the central axis AC. The distance between the imaging optical axis AP of the imaging unit 4 and the central axis AC of the manipulator 2 may be referred to as the baseline BL. At least a part of the imaging optical axis AP of the imaging unit 4 that images the object OB via the optical system 5 coincides with the central axis AM of the end effector 3 in the Y direction.
撮像部４は、撮像部４の撮像光軸ＡＰに対するエンドエフェクタ３の作動軸（例えば、ハンド本体３４Ａ、３４Ｂ）の相対位置を撮像する。また、撮像部４は、エンドエフェクタ３が把持する（又は、把持している）対象物ＯＢを撮像する。より具体的には、撮像部４は、撮像部４の撮像光軸ＡＰにおいて、エンドエフェクタ３が把持する（又は、把持している）対象物ＯＢの位置や姿勢等を撮像する。なお、撮像光軸ＡＰの光路は、「撮像光路」に対応する。さらに、撮像部４は、エンドエフェクタ３が対象物ＯＢを把持していないときは、これから把持しようとする対象物ＯＢ（例えば、作業台等に載置された対象物ＯＢ）を撮像することもできる。
The imaging unit 4 images the relative position of the operating axis of the end effector 3 (for example, the hand bodies 34A and 34B) with respect to the imaging optical axis AP of the imaging unit 4. Further, the imaging unit 4 images the object OB gripped (or gripped by) by the end effector 3. More specifically, the imaging unit 4 images the position, posture, and the like of the object OB gripped (or held) by the end effector 3 in the imaging optical axis AP of the imaging unit 4. The optical path of the imaging optical axis AP corresponds to the “imaging optical path”. Further, when the end effector 3 does not grip the object OB, the imaging unit 4 may image the object OB to be gripped (for example, the object OB placed on a work table or the like). it can.
図３に示すように、光学系５は、エンドエフェクタ３が装着されたマニピュレータ２から独立して配置される場合がある。本実施形態における光学系５は、マニピュレータ２の基部（図示せず）と一体に固定されたステージ８に設けられる。光学系５は、１以上の光学素子（図３では、光学素子５１Ａ、光学素子５１Ｂ）と、ベース部材５２と、ミラー保持部材５３とを有する。ベース部材５２は、ステージ８においてＸ−Ｙ平面内に位置する上面８ａに直交するＺ方向の上方に延びている。ミラー保持部材５３は、ベース部材５２のステージ８側とは反対の端部からＸ−Ｙ平面に沿った方向に延びている。なお、ベース部材５２とミラー保持部材５３とは、一体として構成されてもよい。
As shown in FIG. 3, the optical system 5 may be arranged independently of the manipulator 2 to which the end effector 3 is mounted. The optical system 5 in this embodiment is provided on a stage 8 fixed integrally with a base portion (not shown) of the manipulator 2. The optical system 5 includes one or more optical elements (optical element 51A and optical element 51B in FIG. 3), a base member 52, and a mirror holding member 53. The base member 52 extends upward in the Z direction orthogonal to the upper surface 8a located in the XY plane in the stage 8. The mirror holding member 53 extends in the direction along the XY plane from the end of the base member 52 opposite to the stage 8 side. The base member 52 and the mirror holding member 53 may be integrally configured.
光学素子５１Ａ、５１Ｂは、平板上のミラーを含む。光学素子５１Ａ、５１Ｂは、ミラー保持部材５３の延伸方向に、間隔をあけてミラー保持部材５３に固定される。光学素子５１Ａ、５１Ｂは、例えば、ミラー保持部材５３の延伸方向に対して所定の角度（例えば、４５度）に傾斜して、互いに平行に設けられる。光学素子５１Ａ、５１ＢのＸ方向における間隔Ｓｍは、Ｘ方向における撮像部４の撮像光軸ＡＰと、エンドエフェクタ３の中心軸ＡＭとの間隔（上述したベースラインＢＬ）と等しい（ほぼ等しい）。すなわち、光学素子５１Ａ、５１Ｂは、ベースラインＢＬの間隔をあけて設けられる。なお、光学系５１に含まれる光学素子５１Ａ、５１Ｂ等の平板状のミラーは、「折り曲げミラー」に対応する。また、光学素子５１Ａ、５１Ｂを含む光学系５等のマニピュレータ２から独立して配置された光学系は、「第１光学系」に対応する。
The optical elements 51A and 51B include a mirror on a flat plate. The optical elements 51A and 51B are fixed to the mirror holding member 53 at intervals in the extending direction of the mirror holding member 53. The optical elements 51A and 51B are provided in parallel with each other, for example, inclined at a predetermined angle (for example, 45 degrees) with respect to the stretching direction of the mirror holding member 53. The distance Sm of the optical elements 51A and 51B in the X direction is equal to (almost equal to) the distance (almost equal to the baseline BL described above) between the imaging optical axis AP of the imaging unit 4 and the central axis AM of the end effector 3 in the X direction. That is, the optical elements 51A and 51B are provided at intervals of the baseline BL. The flat mirrors such as the optical elements 51A and 51B included in the optical system 51 correspond to "folding mirrors". Further, the optical system arranged independently from the manipulator 2 such as the optical system 5 including the optical elements 51A and 51B corresponds to the "first optical system".
図４は、第１実施形態に係る観察システムの撮像部の撮像光軸を、光学系の中心軸に合わせた状態の例を示す図である。図４に示すように、光学素子５１Ａは、撮像部４の撮像光軸ＡＰと光学素子５１ＡとのＸ−Ｙ平面内における位置を合わせるように設けられる。加えて、光学素子５１Ｂは、エンドエフェクタ３の中心軸ＡＭと光学素子５１ＢとのＸ−Ｙ平面内における位置を合わせるように設けられる。このような状態で、光学素子５１Ａ、５１Ｂは、エンドエフェクタ３のハンド本体３４Ａ、３４Ｂの間の像が、光学素子５１Ａ、５１Ｂを介して撮像部４の撮像素子上で結像するように設けられる。このとき、ミラー保持部材５３は、エンドエフェクタ３の基部３３と把持部３５Ａ、３５Ｂとの間に挿入された状態となる。すなわち、光学系５は、撮像部４の撮像光軸ＡＰの少なくとも一部がエンドエフェクタ３の中心軸ＡＭに一致するように配置される。これらにより、光学系５は、エンドエフェクタ３の端部、及びエンドエフェクタ３の端部が把持（保持）している対象物ＯＢの像を、撮像部４の撮像素子上に結像させる。また、光学系５は、対象物ＯＢの搬送元又は搬送先に応じて配置される。例えば、光学系５は、対象物ＯＢの搬送元から搬送先までの搬送経路の途中に配置される場合がある。なお、光学系５は、対象物ＯＢの像が撮像部４の撮像素子上に結像するように、Ｚ方向が調整されて位置が合うように設けられてもよい。但し、撮像部４にテレセントリック光学系を用いる場合は、Ｚ方向の調整は不要である。
FIG. 4 is a diagram showing an example of a state in which the imaging optical axis of the imaging unit of the observation system according to the first embodiment is aligned with the central axis of the optical system. As shown in FIG. 4, the optical element 51A is provided so as to align the image pickup optical axis AP of the image pickup unit 4 and the optical element 51A in the XY plane. In addition, the optical element 51B is provided so as to align the central axis AM of the end effector 3 and the optical element 51B in the XY plane. In such a state, the optical elements 51A and 51B are provided so that the image between the hand bodies 34A and 34B of the end effector 3 is formed on the image pickup element of the image pickup unit 4 via the optical elements 51A and 51B. Be done. At this time, the mirror holding member 53 is in a state of being inserted between the base portion 33 of the end effector 3 and the grip portions 35A and 35B. That is, the optical system 5 is arranged so that at least a part of the imaging optical axis AP of the imaging unit 4 coincides with the central axis AM of the end effector 3. As a result, the optical system 5 forms an image of the end portion of the end effector 3 and the object OB held (held) by the end portion of the end effector 3 on the image sensor of the image pickup unit 4. Further, the optical system 5 is arranged according to the transport source or transport destination of the object OB. For example, the optical system 5 may be arranged in the middle of the transport path from the transport source to the transport destination of the object OB. The optical system 5 may be provided so that the Z direction is adjusted and the positions are aligned so that the image of the object OB is formed on the image pickup device of the image pickup unit 4. However, when a telecentric optical system is used for the image pickup unit 4, adjustment in the Z direction is not necessary.
また、図３に示すように、ステージ８には、撮像部４の撮像光軸ＡＰと、ステージ８との位置合わせを行う基準部材９が設けられてもよい。基準部材９は、光学系５の光軸に対して所定の位置精度でステージ８上に設置される。基準部材９は、例えば、平板状であり、ステージ８の任意の場所に固定される。基準部材９には、Ｚ方向から見て、例えば十字状の基準マーク９１（図７参照）が形成される。
Further, as shown in FIG. 3, the stage 8 may be provided with a reference member 9 for aligning the imaging optical axis AP of the imaging unit 4 with the stage 8. The reference member 9 is installed on the stage 8 with a predetermined positional accuracy with respect to the optical axis of the optical system 5. The reference member 9 has, for example, a flat plate shape and is fixed at an arbitrary position on the stage 8. A cross-shaped reference mark 91 (see FIG. 7) is formed on the reference member 9 when viewed from the Z direction.
図５は、第１実施形態に係るロボット制御装置の機能的な構成例を示すブロック図である。ロボット制御装置７は、例えば、マニピュレータ２、エンドエフェクタ３、及び撮像部４の動作を制御する。具体的には、ロボット制御装置７は、マニピュレータ２の制御に関して、マニピュレータ２の移動を制御する。また、ロボット制御装置７は、エンドエフェクタ３の制御に関して、エンドエフェクタ３における対象物ＯＢの保持（把持）や解放の動作を制御する。また、ロボット制御装置７は、撮像部４の制御に関して、撮像部４に撮像処理を実行させる。ロボット制御装置７は、ＣＰＵ（Central Processing Unit）やメモリ等のハードウェアを備えるコンピュータ等の情報処理装置である。ロボット制御装置７では、ＣＰＵやメモリ等と、メモリ等が記憶するプログラムとが協働して所定の処理が実行される。
FIG. 5 is a block diagram showing a functional configuration example of the robot control device according to the first embodiment. The robot control device 7 controls, for example, the operations of the manipulator 2, the end effector 3, and the imaging unit 4. Specifically, the robot control device 7 controls the movement of the manipulator 2 with respect to the control of the manipulator 2. Further, the robot control device 7 controls the operation of holding (grasping) and releasing the object OB in the end effector 3 with respect to the control of the end effector 3. Further, the robot control device 7 causes the image pickup unit 4 to execute the image pickup process with respect to the control of the image pickup unit 4. The robot control device 7 is an information processing device such as a computer provided with hardware such as a CPU (Central Processing Unit) and a memory. In the robot control device 7, a CPU, a memory, and the like and a program stored in the memory and the like cooperate to execute a predetermined process.
ロボット制御装置７は、信号入力部７１と、記憶部７２と、算出部７３と、補正部７４と、移動制御部７５と、エンドエフェクタ制御部７６と、撮像制御部７７と、信号出力部７８とを有する。移動制御部７５及びエンドエフェクタ制御部７６のうち少なくとも１つは、「ロボット制御部」に対応する。
The robot control device 7 includes a signal input unit 71, a storage unit 72, a calculation unit 73, a correction unit 74, a movement control unit 75, an end effector control unit 76, an imaging control unit 77, and a signal output unit 78. And have. At least one of the movement control unit 75 and the end effector control unit 76 corresponds to the “robot control unit”.
信号入力部７１は、マニピュレータ２及びエンドエフェクタ３の位置情報や姿勢情報等を含む信号の入力を受け付ける。かかる信号は、マニピュレータ２及びエンドエフェクタ３等の各部に設けられたエンコーダやセンサ等から出力される。また、信号入力部７１は、撮像部４の撮像素子から出力される画像データの入力を受け付ける。記憶部７２は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶装置、ＵＳＢ（Universal Serial Bus）メモリやメモリカード等の不揮発性メモリのいずれかでよい。記憶部７２は、ロボット制御装置７のプログラム、各種の設定値、エンドエフェクタ３や対象物ＯＢの外部外形寸法、対象物ＯＢの搬送元の位置Ｐ１の座標、及び搬送先の位置Ｐ２の座標等の各種データを記憶する。
The signal input unit 71 receives input of a signal including position information, posture information, and the like of the manipulator 2 and the end effector 3. Such a signal is output from an encoder, a sensor, or the like provided in each part of the manipulator 2, the end effector 3, or the like. Further, the signal input unit 71 receives an input of image data output from the image sensor of the image pickup unit 4. The storage unit 72 may be, for example, any storage device such as an HDD (Hard Disk Drive) or SSD (Solid State Drive), or a non-volatile memory such as a USB (Universal Serial Bus) memory or a memory card. The storage unit 72 includes a program of the robot control device 7, various set values, external external dimensions of the end effector 3 and the object OB, coordinates of the transfer source position P1 of the object OB, coordinates of the transfer destination position P2, and the like. Stores various data of.
算出部７３は、エンドエフェクタ３が把持した対象物ＯＢを撮像部４により撮像した画像と、エンドエフェクタ３が把持した対象物ＯＢの大きさ及び形状等に関する情報とに基づいて、把持前に対して把持後の対象物ＯＢの状態の変化量を算出する。すなわち、算出部７３は、把持パッド３７の突出による対象物ＯＢの把持ずれ、対象物ＯＢの大きさや形状による対象物ＯＢの把持ずれ等により、把持前と把持後とにおける対象物ＯＢの状態（例えば、位置や姿勢等）が変化するため、変化量を算出する。また、算出部７３は、エンドエフェクタ３を撮像部４により撮像した画像と、予め撮像されたエンドエフェクタ３の所定画像とに基づいて、エンドエフェクタ３の中心軸ＡＭのずれを示す軸ずれ量を算出してもよい。なお、算出部７３による軸ずれ量の算出は、実施されなくてもよい。
The calculation unit 73 refers to the object before gripping based on an image obtained by the imaging unit 4 of the object OB gripped by the end effector 3 and information on the size and shape of the object OB gripped by the end effector 3. The amount of change in the state of the object OB after gripping is calculated. That is, the calculation unit 73 determines the state of the object OB before and after gripping due to the gripping deviation of the object OB due to the protrusion of the gripping pad 37, the gripping deviation of the object OB due to the size and shape of the object OB, and the like. For example, the position, posture, etc.) change, so the amount of change is calculated. Further, the calculation unit 73 determines the amount of axial deviation indicating the deviation of the central axis AM of the end effector 3 based on the image of the end effector 3 captured by the imaging unit 4 and the predetermined image of the end effector 3 captured in advance. It may be calculated. The calculation of the amount of shaft misalignment by the calculation unit 73 does not have to be performed.
補正部７４は、算出部７３が算出した変化量に基づいて、対象物ＯＢの搬送先におけるエンドエフェクタ３の位置及び姿勢のうち少なくとも１つを補正する。すなわち、補正部７４は、把持ずれによる対象物ＯＢの位置や姿勢等の変化量を考慮して補正を実施する。また、補正部７４は、算出部７３が算出した軸ずれ量に基づいて、対象物ＯＢの搬送先におけるエンドエフェクタ３の位置及び姿勢のうち少なくとも１つを補正してもよい。また、補正部７４は、撮像部４の撮像光軸ＡＰと、エンドエフェクタ３の中心軸ＡＭとの所定の間隔（ベースラインＢＬ）からのずれを示す間隔ずれ量に基づいて、対象物ＯＢの搬送先の位置Ｐ２を補正してもよい。
The correction unit 74 corrects at least one of the positions and postures of the end effector 3 at the transport destination of the object OB based on the amount of change calculated by the calculation unit 73. That is, the correction unit 74 performs correction in consideration of the amount of change in the position, posture, etc. of the object OB due to the gripping deviation. Further, the correction unit 74 may correct at least one of the positions and orientations of the end effector 3 at the transport destination of the object OB based on the amount of axial deviation calculated by the calculation unit 73. Further, the correction unit 74 of the object OB is based on an interval deviation amount indicating a deviation from a predetermined distance (baseline BL) between the image pickup optical axis AP of the image pickup unit 4 and the central axis AM of the end effector 3. The position P2 of the transport destination may be corrected.
なお、ベースラインＢＬは、所定の値（設定値）を用いる代わりに、予め計測されてもよい。また、補正部７４による軸ずれ量に基づく補正や、間隔ずれ量に基づく補正は、実施されなくてもよい。また、対象物ＯＢの搬送先における対象物ＯＢの位置や姿勢を予め記憶部（記憶部７２又は外部の記憶装置等）に記憶させ、記憶された対象物ＯＢの位置や姿勢に対して補正を行ってもよい。また、対象物ＯＢの搬送先において、対象物ＯＢの作業対象（例えば、作業台）を、撮像部４等を用いて撮像し、ビジュアルサーボ等により制御される対象物ＯＢの位置や姿勢に対して補正を行ってもよい。
The baseline BL may be measured in advance instead of using a predetermined value (set value). Further, the correction based on the amount of axial deviation and the correction based on the amount of interval deviation by the correction unit 74 may not be performed. Further, the position and orientation of the object OB at the transport destination of the object OB are stored in advance in a storage unit (storage unit 72 or an external storage device, etc.), and the stored position and orientation of the object OB are corrected. You may go. Further, at the transport destination of the object OB, the work object (for example, a work table) of the object OB is imaged by using the imaging unit 4 or the like, and the position or posture of the object OB controlled by the visual servo or the like is obtained. May be corrected.
移動制御部７５は、マニピュレータ２によるエンドエフェクタ３の移動の動作を制御する。より具体的には、移動制御部７５は、補正部７４が補正したマニピュレータ２の移動先の位置（搬送先の位置Ｐ２）に応じて、マニピュレータ２を動作させる。また、移動制御部７５は、マニピュレータ２から独立して配置された光学系５を介して、対象物ＯＢを撮像する撮像部４が、エンドエフェクタ３が把持する対象物ＯＢを撮像可能な位置に、マニピュレータ２を移動させる。また、移動制御部７５は、光学系５を介して対象物ＯＢを撮像する撮像部４の撮像光軸ＡＰの少なくとも一部と、エンドエフェクタ３の中心軸ＡＭとが一致する目標位置に、マニピュレータ２を移動させる。目標位置とは、例えば、撮像部４が光学系５を介してエンドエフェクタ３（又は、把持している対象物ＯＢ）を撮像可能な位置である。このとき、折り曲げミラーである光学素子５１Ｂは、対象物ＯＢとマニピュレータ２（エンドエフェクタ３を含む）との間に配置された状態となる。移動制御部７５は、補正部７４が補正した対象物ＯＢの搬送先の位置Ｐ２に基づいて、マニピュレータ２を動作させる。
The movement control unit 75 controls the movement operation of the end effector 3 by the manipulator 2. More specifically, the movement control unit 75 operates the manipulator 2 according to the position of the movement destination of the manipulator 2 corrected by the correction unit 74 (the position P2 of the transport destination). Further, the movement control unit 75 is located at a position where the imaging unit 4 that images the object OB can image the object OB held by the end effector 3 via the optical system 5 that is arranged independently of the manipulator 2. , Move the manipulator 2. Further, the movement control unit 75 is a manipulator at a target position where at least a part of the imaging optical axis AP of the imaging unit 4 that images the object OB via the optical system 5 and the central axis AM of the end effector 3 coincide with each other. Move 2. The target position is, for example, a position where the imaging unit 4 can image the end effector 3 (or the object OB being held) via the optical system 5. At this time, the optical element 51B, which is a bending mirror, is in a state of being arranged between the object OB and the manipulator 2 (including the end effector 3). The movement control unit 75 operates the manipulator 2 based on the position P2 of the transport destination of the object OB corrected by the correction unit 74.
エンドエフェクタ制御部７６は、エンドエフェクタ３における対象物ＯＢの把持（保持）や解放の動作を制御する。より具体的には、エンドエフェクタ制御部７６は、ハンド本体３４Ａ、３４Ｂの端部の把持部３５Ａ、３５Ｂによる対象物ＯＢの把持や解放の動作を制御する。対象物ＯＢの把持や解放の動作には、対象物ＯＢを把持している状態で、エンドエフェクタ３の姿勢を変化させることを含む。すなわち、エンドエフェクタ制御部７６は、補正部７４が補正した姿勢に基づいて、マニピュレータ２を制御してエンドエフェクタ３の姿勢を制御する。撮像制御部７７は、撮像部４における撮像を制御する。信号出力部７８は、移動制御部７５やエンドエフェクタ制御部７６、撮像制御部７７等から出力される、マニピュレータ２やエンドエフェクタ３、撮像部４に対する指令信号を各部のそれぞれに対して出力する。
The end effector control unit 76 controls the operation of gripping (holding) and releasing the object OB in the end effector 3. More specifically, the end effector control unit 76 controls the operation of gripping and releasing the object OB by the gripping portions 35A and 35B at the ends of the hand bodies 34A and 34B. The operation of gripping and releasing the object OB includes changing the posture of the end effector 3 while gripping the object OB. That is, the end effector control unit 76 controls the manipulator 2 to control the posture of the end effector 3 based on the posture corrected by the correction unit 74. The image pickup control unit 77 controls the image pickup in the image pickup unit 4. The signal output unit 78 outputs command signals for the manipulator 2, the end effector 3, and the image pickup unit 4 output from the movement control unit 75, the end effector control unit 76, the image pickup control unit 77, and the like to each of the units.
次に、ロボット制御装置７による観察システム１Ａの制御を説明する。観察システム１Ａの制御において、ロボット制御装置７が実行する各処理は、ロボット制御装置７等に予め記憶されたプログラムに基づいて実行される。かかるプログラムは、コンピュータ読み取り可能な記憶媒体（例、非一時的な記録媒体、non‐transitory tangible media）に記録されて提供されてもよい。
Next, the control of the observation system 1A by the robot control device 7 will be described. In the control of the observation system 1A, each process executed by the robot control device 7 is executed based on a program stored in advance in the robot control device 7 or the like. Such programs may be recorded and provided on computer-readable storage media (eg, non-transitory tangible media).
図６は、第１実施形態に係るロボット制御装置における処理の流れの例を示すフローチャートである。ステップＳ１において、ロボット制御装置７は、撮像部４のステージ８に対する位置合わせ（キャリブレーション）を行う。例えば、移動制御部７５は、記憶部７２等に記憶された初期値に応じてマニピュレータ２を移動させ、撮像部４の撮像光軸ＡＰのＸ−Ｙ平面内における位置を、ステージ８上の基準部材９の基準マーク９１の位置に合わせる。そして、撮像部４は、ロボット制御装置７の撮像制御部７７による制御に基づいて基準マーク９１を撮像する。撮像部４が撮像した撮像画像は、ロボット制御装置７に転送される（信号入力部７１が撮像画像を受け付ける）。
FIG. 6 is a flowchart showing an example of a processing flow in the robot control device according to the first embodiment. In step S1, the robot control device 7 aligns (calibrates) the imaging unit 4 with respect to the stage 8. For example, the movement control unit 75 moves the manipulator 2 according to the initial value stored in the storage unit 72 or the like, and determines the position of the image pickup optical axis AP of the image pickup unit 4 in the XY plane as a reference on the stage 8. Align with the position of the reference mark 91 of the member 9. Then, the image pickup unit 4 images the reference mark 91 based on the control by the image pickup control unit 77 of the robot control device 7. The captured image captured by the imaging unit 4 is transferred to the robot control device 7 (the signal input unit 71 receives the captured image).
図７は、第１実施形態に係る観察システムにおける撮像部の撮像光軸を基準部材の基準マークを用いて補正する際に撮像される撮像画像の一例を示す図である。移動制御部７５は、マニピュレータ２を制御して、撮像画像Ｉ１を撮像可能な位置に撮像部４を移動させる。このとき、移動先の座標を予め記憶部７２等に記憶させておき、移動制御部７５は、記憶部７２等に記憶された座標値に基づいて撮像部４を移動させてもよい。次に、算出部７３は、図７に示す撮像画像Ｉ１に基づいて、撮像部４の撮像光軸ＡＰと、基準マーク９１の中心（十字の交差部分）とのＸ−Ｙ平面内における位置ずれ量を算出する。補正部７４は、算出部７３が算出した位置ずれ量が予め定めた閾値以上であるかを判定する。このとき、位置ずれ量が閾値未満である場合は、ステップＳ１における処理が終了されステップＳ２における処理が実行される。一方、位置ずれ量が閾値以上である場合、補正部７４は、位置ずれ量に基づいて、撮像部４の撮像光軸ＡＰの位置をＸ−Ｙ平面内で補正し、補正結果を記憶部７２に格納する。これらにより、撮像部４の基準マーク９１に対する位置合わせ、すなわち撮像部４を備えたマニピュレータ２のステージ８に対する位置合わせが完了する。なお、上述したように、基準マーク９１を用いた位置ずれ量の算出や補正は、省略されてもよい。このような測定を行うことで、ロボットアーム（例えば、第１アーム２２と第２アーム２３とを備えるアーム２１等）の変形等による撮像部４の座標位置ずれ等を補正することができる。
FIG. 7 is a diagram showing an example of an captured image captured when the imaging optical axis of the imaging unit in the observation system according to the first embodiment is corrected by using the reference mark of the reference member. The movement control unit 75 controls the manipulator 2 to move the image pickup unit 4 to a position where the captured image I1 can be captured. At this time, the coordinates of the movement destination may be stored in the storage unit 72 or the like in advance, and the movement control unit 75 may move the image pickup unit 4 based on the coordinate values stored in the storage unit 72 or the like. Next, the calculation unit 73 shifts the position of the imaging optical axis AP of the imaging unit 4 and the center of the reference mark 91 (the intersection of the crosses) in the XY plane based on the captured image I1 shown in FIG. Calculate the amount. The correction unit 74 determines whether the amount of misalignment calculated by the calculation unit 73 is equal to or greater than a predetermined threshold value. At this time, if the amount of misalignment is less than the threshold value, the process in step S1 is completed and the process in step S2 is executed. On the other hand, when the amount of misalignment is equal to or greater than the threshold value, the correction unit 74 corrects the position of the imaging optical axis AP of the image pickup unit 4 in the XY plane based on the amount of misalignment, and stores the correction result in the storage unit 72. Store in. As a result, the alignment of the imaging unit 4 with respect to the reference mark 91, that is, the alignment of the manipulator 2 provided with the imaging unit 4 with respect to the stage 8 is completed. As described above, the calculation and correction of the amount of misalignment using the reference mark 91 may be omitted. By performing such a measurement, it is possible to correct the coordinate position deviation of the imaging unit 4 due to the deformation of the robot arm (for example, the arm 21 including the first arm 22 and the second arm 23).
ステップＳ２において、ロボット制御装置７は、エンドエフェクタ３の中心軸ＡＭの位置合わせを行う。例えば、移動制御部７５は、マニピュレータ２を動作させ、撮像部４の撮像光軸ＡＰを光学系５の光学素子５１Ａに対してＸ−Ｙ平面内で位置合わせする。そして、撮像部４は、ロボット制御装置７の撮像制御部７７による制御に基づいて撮像する。
In step S2, the robot control device 7 aligns the central axis AM of the end effector 3. For example, the movement control unit 75 operates the manipulator 2 to align the image pickup optical axis AP of the image pickup unit 4 with respect to the optical element 51A of the optical system 5 in the XY plane. Then, the image pickup unit 4 takes an image based on the control by the image pickup control unit 77 of the robot control device 7.
図８は、第１実施形態に係る観察システムにおけるエンドエフェクタの軸ずれを補正する際に撮像される撮像画像の一例を示す図である。図８に示すように、撮像部４における撮像の視野は、例えば、ハンド本体３４Ａ、３４Ｂの少なくとも端部が撮像の視野の範囲内となるように設定される。従って、撮像部４では、ハンド本体３４Ａ、３４Ｂの端部の像が、光学素子５１Ａ、５１Ｂを介して撮像素子上で結像する。撮像部４が撮像した撮像画像Ｉ２は、ロボット制御装置７に転送される（信号入力部７１が撮像画像Ｉ２を受け付ける）。
FIG. 8 is a diagram showing an example of an captured image captured when correcting the axial deviation of the end effector in the observation system according to the first embodiment. As shown in FIG. 8, the field of view for imaging in the imaging unit 4 is set so that, for example, at least the end portions of the hand bodies 34A and 34B are within the field of view for imaging. Therefore, in the image pickup unit 4, the images of the ends of the hand bodies 34A and 34B are imaged on the image pickup element via the optical elements 51A and 51B. The captured image I2 captured by the imaging unit 4 is transferred to the robot control device 7 (the signal input unit 71 receives the captured image I2).
ステップＳ２において、算出部７３は、撮像画像Ｉ２に基づいて、撮像部４の撮像光軸ＡＰと、エンドエフェクタ３の中心軸ＡＭとのずれを示す軸ずれ量を算出する。ここで、エンドエフェクタ３に関しては、ハンド本体３４Ａ、３４Ｂの端部のＸ−Ｙ平面内における間隔の設計値等が予め定められている。但し、エンドエフェクタ３においては、エンドエフェクタ３のアーム接続部３１と、マニピュレータ２のエフェクタ装着部２５とを接続したときに、Ｘ−Ｙ平面内におけるクリアランス等によって生じる取り付け誤差や、ロボットの作業中の振動等により生じる撮像部４のエンドエフェクタ３に対する取り付け角度の変化、位置ずれにより、撮像部４の撮像光軸ＡＰとエンドエフェクタ３の中心軸ＡＭとの間隔が設計値の間隔（ベースラインＢＬ）からずれる場合がある。かかる場合に、算出部７３は、エンドエフェクタ３の軸ずれ量を算出し、算出した軸ずれ量を、軸ずれ量の補正値として記憶部７２に格納する。なお、上述したように、軸ずれ量の算出や補正は、省略されてもよい。
In step S2, the calculation unit 73 calculates the amount of axis deviation indicating the deviation between the imaging optical axis AP of the imaging unit 4 and the central axis AM of the end effector 3 based on the captured image I2. Here, with respect to the end effector 3, the design value of the interval in the XY plane of the ends of the hand bodies 34A and 34B is predetermined. However, in the end effector 3, when the arm connecting portion 31 of the end effector 3 and the effector mounting portion 25 of the manipulator 2 are connected, a mounting error caused by a clearance in the XY plane or the like, or during robot work. The distance between the imaging optical axis AP of the imaging unit 4 and the central axis AM of the end effector 3 is the design value interval (baseline BL) due to changes in the mounting angle of the imaging unit 4 with respect to the end effector 3 and misalignment caused by vibration of the imaging unit 4. ) May deviate. In such a case, the calculation unit 73 calculates the amount of the axis deviation of the end effector 3, and stores the calculated amount of the axis deviation in the storage unit 72 as a correction value of the amount of the axis deviation. As described above, the calculation and correction of the amount of shaft misalignment may be omitted.
図９は、第１実施形態に係る観察システムにおいて、搬送元の位置にエンドエフェクタを移動させる状況の例を示す図である。ステップＳ３において、移動制御部７５は、マニピュレータ２を動作させ、記憶部７２等に予め記憶された対象物ＯＢの搬送元の位置Ｐ１にエンドエフェクタ３を移動させる。なお、搬送元の位置Ｐ１へのエンドエフェクタ３の移動に関しては、撮像部４による撮像に応じて対象物ＯＢを検出したうえで実施してもよい。具体的には、移動制御部７５は、撮像部４によって撮像された撮像画像をもとに対象物ＯＢを検出し、検出した位置からベースラインＢＬ（又は、後述するベースラインＢＬ’）分だけエンドエフェクタ３を移動させることにより実現してもよい。つまり、本実施形態では、対象物ＯＢの検出用と、対象物ＯＢの把持ずれ補正用との用途で、撮像部４を共用してもよい。
FIG. 9 is a diagram showing an example of a situation in which the end effector is moved to the position of the transport source in the observation system according to the first embodiment. In step S3, the movement control unit 75 operates the manipulator 2 to move the end effector 3 to the position P1 of the transport source of the object OB stored in advance in the storage unit 72 or the like. The movement of the end effector 3 to the position P1 of the transport source may be performed after detecting the object OB according to the imaging by the imaging unit 4. Specifically, the movement control unit 75 detects the object OB based on the captured image captured by the imaging unit 4, and only the baseline BL (or the baseline BL'described later) from the detected position. It may be realized by moving the end effector 3. That is, in the present embodiment, the imaging unit 4 may be shared for the purpose of detecting the object OB and for correcting the gripping deviation of the object OB.
ここで、搬送元の位置Ｐ１にエンドエフェクタ３を移動させる場合、移動制御部７５は、マニピュレータ２の中心軸ＡＣとエンドエフェクタ３の中心軸ＡＭとのずれが存在するのであれば、搬送元の位置Ｐ１の座標を補正して移動させてもよい。マニピュレータ２の中心軸ＡＣとエンドエフェクタ３の中心軸ＡＭとのずれは、装着するエンドエフェクタ３により異なる場合がある。ずれが発生するエンドエフェクタ３を装着する場合は、記憶部７２等に記憶されたずれ量を用いて搬送元の位置Ｐ１を補正する。移動制御部７５は、撮像部４による対象物ＯＢの検出後、エンドエフェクタ３の中心軸ＡＭの軸ずれに基づいて補正した補正後のベースラインＢＬ’分だけエンドエフェクタ３を移動させる。これにより、エンドエフェクタ３の中心軸ＡＭが、対象物ＯＢの搬送元の位置Ｐ１の座標上に位置する。このとき、ハンド本体３４Ａ、３４Ｂが、ステージ８上に載置された対象物ＯＢを挟んで両側に配置される。
Here, when the end effector 3 is moved to the position P1 of the transport source, the movement control unit 75 is the transport source if there is a deviation between the central axis AC of the manipulator 2 and the central axis AM of the end effector 3. The coordinates of the position P1 may be corrected and moved. The deviation between the central axis AC of the manipulator 2 and the central axis AM of the end effector 3 may differ depending on the end effector 3 to be mounted. When the end effector 3 in which the deviation occurs is mounted, the position P1 of the transport source is corrected by using the deviation amount stored in the storage unit 72 or the like. After the image pickup unit 4 detects the object OB, the movement control unit 75 moves the end effector 3 by the corrected baseline BL'corrected based on the axis deviation of the central axis AM of the end effector 3. As a result, the central axis AM of the end effector 3 is located on the coordinates of the transport source position P1 of the object OB. At this time, the hand bodies 34A and 34B are arranged on both sides of the object OB placed on the stage 8.
図１０は、第１実施形態に係る観察システムのエンドエフェクタで対象物を把持した状態の例を示す図である。ステップＳ４において、エンドエフェクタ制御部７６は、ハンド本体３４Ａ、３４Ｂの端部に設けられた把持部３５Ａ、３５Ｂに圧力を加えさせ、把持パッド３７のそれぞれを内側に突出させる。これにより、図１０に示すように、対象物ＯＢは、把持パッド３７のそれぞれに挟み込まれることで、エンドエフェクタ３に把持される。このとき、エンドエフェクタ３に把持された対象物ＯＢは、大きさ、形状、及び姿勢のうち少なくとも１つが変化した状態となる場合がある。
FIG. 10 is a diagram showing an example of a state in which an object is gripped by an end effector of the observation system according to the first embodiment. In step S4, the end effector control unit 76 applies pressure to the grip portions 35A and 35B provided at the ends of the hand bodies 34A and 34B to project each of the grip pads 37 inward. As a result, as shown in FIG. 10, the object OB is gripped by the end effector 3 by being sandwiched between the gripping pads 37. At this time, the object OB gripped by the end effector 3 may be in a state in which at least one of the size, shape, and posture has changed.
図１１は、第１実施形態に係る観察システムにおいて、対象物を把持したエンドエフェクタを光学系に移動させた状態の例を示す図である。ステップＳ５において、移動制御部７５は、マニピュレータ２を動作させ、対象物ＯＢを把持したエンドエフェクタ３を、光学系５が設けられたＸ−Ｙ平面内の位置に移動させる。すなわち、移動制御部７５は、目標位置にマニピュレータ２を移動させる。このとき、移動制御部７５は、記憶部７２等に予め記憶させた移動先の座標に基づいて、エンドエフェクタ３を移動させてもよい。このとき、折り曲げミラーである光学素子５１Ｂは、対象物ＯＢとマニピュレータ２（エンドエフェクタ３を含む）との間に配置された状態となる。また、エンドエフェクタ３の移動の際、補正部７４は、軸ずれ量の補正値に基づいて、光学系５が設けられたＸ−Ｙ平面内の位置の座標を補正してもよい。移動の結果、ハンド本体３４Ａ、３４Ｂの間に、光学系５のミラー保持部材５３が挿入された状態となる。換言すると、目標位置にマニピュレータ２が移動したときに、対象物ＯＢとマニピュレータ２との間に、光学系５の光学素子の少なくとも一つ（ここでは、光学素子５１Ｂ）が配置される。ステップＳ６において、撮像部４は、撮像制御部７７の制御に従って、エンドエフェクタ３の把持部３５Ａ、３５Ｂを撮像する。
FIG. 11 is a diagram showing an example of a state in which the end effector holding the object is moved to the optical system in the observation system according to the first embodiment. In step S5, the movement control unit 75 operates the manipulator 2 to move the end effector 3 holding the object OB to a position in the XY plane provided with the optical system 5. That is, the movement control unit 75 moves the manipulator 2 to the target position. At this time, the movement control unit 75 may move the end effector 3 based on the coordinates of the movement destination stored in advance in the storage unit 72 or the like. At this time, the optical element 51B, which is a bending mirror, is in a state of being arranged between the object OB and the manipulator 2 (including the end effector 3). Further, when the end effector 3 is moved, the correction unit 74 may correct the coordinates of the position in the XY plane provided with the optical system 5 based on the correction value of the amount of misalignment. As a result of the movement, the mirror holding member 53 of the optical system 5 is inserted between the hand bodies 34A and 34B. In other words, when the manipulator 2 moves to the target position, at least one of the optical elements of the optical system 5 (here, the optical element 51B) is arranged between the object OB and the manipulator 2. In step S6, the imaging unit 4 images the gripping units 35A and 35B of the end effector 3 under the control of the imaging control unit 77.
図１２は、第１実施形態に係る観察システムにおいて、エンドエフェクタで把持している対象物を撮像した撮像画像の例を示す図である。なお、図１２では、対象物ＯＢが円柱状である場合を例に挙げる。ステップＳ７において、算出部７３は、対象物ＯＢの円形の上面の半径ｒ、高さＨの設計値を記憶部７２から取得する。そして、算出部７３は、画像処理により、撮像画像Ｉ３における対象物ＯＢの上面の短径ａ（最短の半径）、長径（最長の半径）ｂ、及び高さｈを算出する。続いて、算出部７３は、対象物ＯＢの高さｈについて、Ｘ方向の成分ｈｘ、Ｙ方向の成分ｈｙを求め、（数１）及び（数２）に基づいて、対象物ＯＢのＺ方向に対する傾き角θを得る。また、算出部７３は、画像処理により、対象物ＯＢの上面（又は下面）の中心位置を求め、エンドエフェクタ３の中心軸ＡＭに対するずれ量（把持ずれ量に含む）を算出する。
FIG. 12 is a diagram showing an example of a captured image obtained by capturing an object held by an end effector in the observation system according to the first embodiment. In FIG. 12, the case where the object OB is columnar is taken as an example. In step S7, the calculation unit 73 acquires the design values of the radius r and the height H of the circular upper surface of the object OB from the storage unit 72. Then, the calculation unit 73 calculates the minor axis a (shortest radius), major axis (longest radius) b, and height h of the upper surface of the object OB in the captured image I3 by image processing. Subsequently, the calculation unit 73 obtains the component hx in the X direction and the component hy in the Y direction with respect to the height h of the object OB, and based on (Equation 1) and (Equation 2), the Z direction of the object OB. The tilt angle θ with respect to is obtained. Further, the calculation unit 73 obtains the center position of the upper surface (or lower surface) of the object OB by image processing, and calculates the deviation amount (included in the grip deviation amount) of the end effector 3 with respect to the central axis AM.
ｓｉｎθｙ＝ｈｘ／Ｈ ・・・（数１）
ｓｉｎθｘ＝ｈｙ／Ｈ ・・・（数２）
sinθy = hx / H ... (Equation 1)
sinθx = hy / H ... (Equation 2)
ステップＳ８において、補正部７４は、算出部７３が算出した変化量に基づいて、対象物ＯＢの搬送先におけるエンドエフェクタ３の位置及び姿勢のうち少なくとも１つを補正する。より具体的には、補正部７４は、エンドエフェクタ３で把持された対象物ＯＢの上面（又は下面）の中心位置を、対象物ＯＢの搬送先の位置Ｐ２に移動させるため、対象物ＯＢの上面（又は下面）の中心位置とエンドエフェクタ３の中心軸ＡＭとの位置ずれ量から、エンドエフェクタ３の中心軸ＡＭの搬送先の位置座標を補正する。さらに、補正部７４は、搬送先の位置Ｐ２において、エンドエフェクタ３に把持された対象物ＯＢの姿勢（例えば、傾き等）が補正されるように、エンドエフェクタ３の角度を補正する。エンドエフェクタ制御部７６は、補正部７４が補正したエンドエフェクタ３の角度に基づいてマニピュレータ２を制御することでエンドエフェクタ３の姿勢を制御する。なお、対象物ＯＢの変化量が所定の閾値以上となる場合は、搬送元や搬送先（任意の場所）で対象物ＯＢを作業台等に置いたうえで、対象物ＯＢをあらためて把持するようにエンドエフェクタ３を制御してもよい。また、対象物ＯＢの変化量がさらに大きくなり、上記の所定の閾値よりも大きい閾値以上となる場合は、エンドエフェクタ３から対象物ＯＢを除材するように制御してもよい。例えば、対象物ＯＢの変化量が大きく、対象物ＯＢを置き直してあらためて把持することが困難な状態においては、別途設ける除材のための専用台に対象物ＯＢを移動させて、搬送先での作業に供する対象から除外してもよい。
In step S8, the correction unit 74 corrects at least one of the positions and postures of the end effector 3 at the transport destination of the object OB based on the amount of change calculated by the calculation unit 73. More specifically, the correction unit 74 moves the center position of the upper surface (or lower surface) of the object OB gripped by the end effector 3 to the position P2 of the transport destination of the object OB, so that the object OB The position coordinates of the transport destination of the central axis AM of the end effector 3 are corrected from the amount of misalignment between the center position of the upper surface (or the lower surface) and the central axis AM of the end effector 3. Further, the correction unit 74 corrects the angle of the end effector 3 so that the posture (for example, inclination) of the object OB gripped by the end effector 3 is corrected at the position P2 of the transport destination. The end effector control unit 76 controls the posture of the end effector 3 by controlling the manipulator 2 based on the angle of the end effector 3 corrected by the correction unit 74. If the amount of change in the object OB is equal to or greater than a predetermined threshold value, place the object OB on a workbench or the like at the transfer source or destination (arbitrary place), and then grip the object OB again. The end effector 3 may be controlled. Further, when the amount of change in the object OB becomes larger than the above-mentioned predetermined threshold value or more, the end effector 3 may be controlled to remove the object OB. For example, in a state where the amount of change in the object OB is large and it is difficult to reposition the object OB and grasp it again, the object OB is moved to a separately provided dedicated table for removing materials, and the object OB is moved to the transport destination. It may be excluded from the target for the work of.
ステップＳ９において、移動制御部７５は、マニピュレータ２を動作させ、エンドエフェクタ３に把持された対象物ＯＢの上面又は下面の中心位置を搬送先の位置Ｐ２に合わせる。さらに、エンドエフェクタ制御部７６は、エンドエフェクタ３の角度を補正し、エンドエフェクタ３に把持された対象物ＯＢの中心軸をＺ方向に沿わせた状態とする。この状態で、移動制御部７５及びエンドエフェクタ制御部７６は、エンドエフェクタ３で把持した対象物ＯＢを、搬送先の位置Ｐ２においてステージ８上に載置する。その後、エンドエフェクタ制御部７６は、エンドエフェクタ３の把持パッド３７のそれぞれに加えている圧力を解除し、挟み込んでいる対象物ＯＢを解放させる。これらにより、対象物ＯＢの搬送元の位置Ｐ１から搬送先の位置Ｐ２への搬送が完了する。
In step S9, the movement control unit 75 operates the manipulator 2 to align the center position of the upper surface or the lower surface of the object OB gripped by the end effector 3 with the position P2 of the transport destination. Further, the end effector control unit 76 corrects the angle of the end effector 3 so that the central axis of the object OB gripped by the end effector 3 is aligned with the Z direction. In this state, the movement control unit 75 and the end effector control unit 76 place the object OB gripped by the end effector 3 on the stage 8 at the transfer destination position P2. After that, the end effector control unit 76 releases the pressure applied to each of the gripping pads 37 of the end effector 3 to release the sandwiched object OB. As a result, the transfer of the object OB from the transfer source position P1 to the transfer destination position P2 is completed.
エンドエフェクタ３が対象物ＯＢを把持して移動する場合は、移動による影響や、エンドエフェクタ３と対象物ＯＢとの間で生じる滑りの影響等によって、対象物ＯＢのさらなる把持ずれが発生する場合がある。このため、把持している対象物ＯＢの光学系５を介した撮像は、対象物ＯＢの搬送経路の途中のうち、搬送先の位置Ｐ２により近い位置で実施されることが好ましい。
When the end effector 3 grips and moves the object OB, the gripping deviation of the object OB may occur due to the influence of the movement, the influence of slippage between the end effector 3 and the object OB, and the like. There is. Therefore, it is preferable that the imaging of the gripped object OB via the optical system 5 is performed at a position closer to the transport destination position P2 in the middle of the transport path of the target object OB.
本実施形態によれば、観察システム１Ａは、マニピュレータ２から独立して配置された光学系５を介して、対象物ＯＢを撮像する撮像部４が、エンドエフェクタ３が保持（把持）する対象物ＯＢを撮像可能な位置に、マニピュレータ２を移動させる。また、観察システム１Ａは、マニピュレータ２から独立して配置された光学系５を介し、撮像部４の撮像光軸ＡＰの少なくとも一部と、エンドエフェクタ３の中心軸ＡＭとを一致させる目標位置にマニピュレータ２を移動させる。この結果、観察システム１Ａは、エンドエフェクタ３の基準軸（例えば、ハンド本体３４Ａ、３４Ｂの中心軸）と対象物ＯＢとの位置や角度の関係を高精度に把握することができ、対象物ＯＢの保持（把持）や搬送先での対象物ＯＢの解放時における作業精度を向上させることができる。また、観察システム１Ａは、撮像部４を基準として、エンドエフェクタ３や、エンドエフェクタ３で把持する対象物ＯＢの位置ずれを把握することができる。従って、観察システム１Ａは、マニピュレータ２に装着されたエンドエフェクタ３や、エンドエフェクタ３で把持した対象物ＯＢの位置を、より高精度に検出できる。また、本実施形態によれば、マニピュレータ２から独立して光学系５を配置するので、同一の光学系５を異なるマニピュレータ２（複数のマニピュレータ２）で共用するシステムを確立できる。
According to the present embodiment, in the observation system 1A, the image pickup unit 4 that images the object OB via the optical system 5 arranged independently of the manipulator 2 holds (grasps) the object by the end effector 3. The manipulator 2 is moved to a position where the OB can be imaged. Further, the observation system 1A is set at a target position where at least a part of the imaging optical axis AP of the imaging unit 4 and the central axis AM of the end effector 3 are aligned with each other via an optical system 5 arranged independently of the manipulator 2. Move the manipulator 2. As a result, the observation system 1A can grasp the relationship between the position and angle of the reference axis of the end effector 3 (for example, the central axes of the hand bodies 34A and 34B) and the object OB with high accuracy, and the object OB can be grasped with high accuracy. It is possible to improve the work accuracy at the time of holding (grasping) the object and releasing the object OB at the transport destination. Further, the observation system 1A can grasp the positional deviation of the end effector 3 and the object OB gripped by the end effector 3 with reference to the imaging unit 4. Therefore, the observation system 1A can detect the positions of the end effector 3 mounted on the manipulator 2 and the object OB gripped by the end effector 3 with higher accuracy. Further, according to the present embodiment, since the optical system 5 is arranged independently of the manipulator 2, it is possible to establish a system in which the same optical system 5 is shared by different manipulators 2 (plurality of manipulators 2).
上記実施形態では、ミラー保持部材５３を、Ｘ−Ｙ平面内で延びるように設けたが、これに限られない。図１３は、第１実施形態の変形例に係る観察システムの構成例を示す側面図である。例えば、図１３に示すように、ミラー保持部材５３Ｂが、Ｘ−Ｙ平面に対して傾いていてもよい。光学素子５１Ａｂ、光学素子５１Ｂｂは、ミラー保持部材５３Ｂの延伸方向に沿って間隔を空けて設けられる。また、光学素子５１Ａｂ、５１Ｂｂは、ミラー保持部材５３Ｂの延伸方向に傾斜して、互いに平行に設けられる。撮像部４の撮像光軸ＡＰは、撮像部４と光学素子５１Ａｂとの間、及び光学素子５１Ｂｂとステージ８との間で、それぞれ、Ｘ−Ｙ平面に直交してＺ方向に沿っている。図１３に示す観察システム１Ａの場合は、ミラー保持部材５３Ｂが傾斜していても撮像光軸ＡＰの鉛直性は保たれるため、テレセントリックによる誤差は生じない。但し、図１３に示す観察システム１Ａでは、ベースラインＢＬがわずかに変わるため、傾斜角度の測定に基づいて補正すればよい。なお、ミラー保持部材５３Ｂの傾きに合わせて、エンドエフェクタ３を傾斜させる制御を行ってもよい。
In the above embodiment, the mirror holding member 53 is provided so as to extend in the XY plane, but the present invention is not limited to this. FIG. 13 is a side view showing a configuration example of the observation system according to the modified example of the first embodiment. For example, as shown in FIG. 13, the mirror holding member 53B may be tilted with respect to the XY plane. The optical element 51Ab and the optical element 51Bb are provided at intervals along the stretching direction of the mirror holding member 53B. Further, the optical elements 51Ab and 51Bb are provided in parallel with each other so as to be inclined in the extending direction of the mirror holding member 53B. The image pickup optical axis AP of the image pickup unit 4 is orthogonal to the XY plane and along the Z direction between the image pickup unit 4 and the optical element 51Ab and between the optical element 51Bb and the stage 8, respectively. In the case of the observation system 1A shown in FIG. 13, even if the mirror holding member 53B is tilted, the verticality of the imaging optical axis AP is maintained, so that no error due to telecentricity occurs. However, in the observation system 1A shown in FIG. 13, since the baseline BL changes slightly, it may be corrected based on the measurement of the inclination angle. The end effector 3 may be tilted according to the tilt of the mirror holding member 53B.
［第２実施形態］
次に、第２実施形態を説明する。本実施形態において、上述した実施形態と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する場合がある。
[Second Embodiment]
Next, the second embodiment will be described. In the present embodiment, the same components as those in the above-described embodiment are designated by the same reference numerals, and the description thereof may be omitted or simplified.
図１４は、第２実施形態に係る観察システムの構成例を示す側面図である。図１４に示すように、観察システム１Ｂは、マニピュレータ（ロボットマニピュレータ）２と、エンドエフェクタ３と、撮像部４と、光学系５Ｂと、ロボット制御装置７とを有する。観察システム１Ｂは、上記実施形態で説明した観察システム１Ａに対して、光学系５Ｂの構成が主に異なる。
FIG. 14 is a side view showing a configuration example of the observation system according to the second embodiment. As shown in FIG. 14, the observation system 1B includes a manipulator (robot manipulator) 2, an end effector 3, an imaging unit 4, an optical system 5B, and a robot control device 7. The observation system 1B is mainly different in the configuration of the optical system 5B from the observation system 1A described in the above embodiment.
光学系５Ｂは、エンドエフェクタ３が装着されたマニピュレータ２から独立して配置される。対象物ＯＢは、ステージ８の上面８ａ上に設定された搬送元の位置Ｐ１から搬送先の位置Ｐ２まで、マニピュレータ２（エンドエフェクタ３）によって搬送される。つまり、ステージ８の上面８ａは、搬送元の位置Ｐ１、及び搬送先の位置Ｐ２を含む面である。本実施形態において、光学系５Ｂは、ステージ８の上面８ａの裏側、すなわちステージ８の下側に設けられる。
The optical system 5B is arranged independently of the manipulator 2 to which the end effector 3 is mounted. The object OB is conveyed by the manipulator 2 (end effector 3) from the transfer source position P1 set on the upper surface 8a of the stage 8 to the transfer destination position P2. That is, the upper surface 8a of the stage 8 is a surface including the transfer source position P1 and the transfer destination position P2. In the present embodiment, the optical system 5B is provided on the back side of the upper surface 8a of the stage 8, that is, on the lower side of the stage 8.
ステージ８には、少なくとも光学系５Ｂが設けられた領域に対して光を透過する透光部８ｓが設けられる。光学系５Ｂは、透光部８ｓの下方に、複数の光学素子５４Ａ、光学素子５４Ｂを有する。光学素子５４Ａ、５４Ｂは、平板状のミラーを含む。光学素子５４Ａ、５４Ｂは、ステージ８の上面８ａと略平行なＸ−Ｙ平面に沿った方向に、間隔をあけて図示しないミラー保持部材に設けられる。光学素子５４Ａ、５４ＢのＸ−Ｙ平面に沿った方向における間隔は、Ｘ−Ｙ平面に沿った方向における撮像部４の撮像光軸ＡＰと、エンドエフェクタ３の中心軸ＡＭとの間隔（ベースラインＢＬ）と等しい（ほぼ等しい）。光学系５Ｂは、対象物ＯＢの搬送元から搬送先までの搬送経路の途中に配置される場合がある。なお、透光部８ｓを設けずに、光が透過する領域は開口としてもよい。
The stage 8 is provided with a translucent portion 8s that transmits light to at least a region provided with the optical system 5B. The optical system 5B has a plurality of optical elements 54A and optical elements 54B below the light transmitting portion 8s. The optical elements 54A and 54B include a flat mirror. The optical elements 54A and 54B are provided on mirror holding members (not shown) at intervals in the direction along the XY plane substantially parallel to the upper surface 8a of the stage 8. The distance between the optical elements 54A and 54B in the direction along the XY plane is the distance (baseline) between the imaging optical axis AP of the imaging unit 4 and the central axis AM of the end effector 3 in the direction along the XY plane. BL) is equal to (almost equal). The optical system 5B may be arranged in the middle of the transport path from the transport source to the transport destination of the object OB. The region through which light is transmitted may be an opening without providing the light transmitting portion 8s.
光学素子５４Ａ、５４Ｂは、撮像部４の撮像光軸ＡＰと光学素子５４ＡとのＸ−Ｙ平面内における位置を合わせるとともに、エンドエフェクタ３の中心軸ＡＭと光学素子５４ＢとのＸ−Ｙ平面内における位置を合わせた状態で、ハンド本体３４Ａ、３４Ｂの間の像が、撮像部４の撮像素子上で結像するように設けられる。撮像部４では、ハンド本体３４Ａ、３４Ｂの端部、及び把持部３５Ａ、３５Ｂの間で把持した対象物ＯＢ等を含む像が、撮像素子上で結像する。
The optical elements 54A and 54B align the image pickup optical axis AP of the image pickup unit 4 and the optical element 54A in the XY plane, and the central axis AM of the end effector 3 and the optical element 54B in the XY plane. The image between the hand bodies 34A and 34B is provided so as to form an image on the image sensor of the image pickup unit 4 in the state of aligning the positions in the above. In the image pickup unit 4, an image including the ends of the hand bodies 34A and 34B and the object OB and the like gripped between the gripping portions 35A and 35B is imaged on the image sensor.
観察システム１Ｂでは、上述したステップＳ２、ステップＳ５、及びステップＳ６等において、エンドエフェクタ３の中心軸ＡＭの位置合わせの実施、把持パッド３７で把持された対象物ＯＢの撮像の実施の際、エンドエフェクタ３をＸ−Ｙ平面内で光学系５Ｂに位置を合わせる。また、本実施形態では、目標位置にマニピュレータ２が移動したときに、対象物ＯＢを挟んでマニピュレータ２の対面に、光学系５Ｂの光学素子の少なくとも一つ（ここでは、光学素子５４Ｂ）が配置される。
In the observation system 1B, in steps S2, S5, S6, and the like described above, when the central axis AM of the end effector 3 is aligned and the object OB gripped by the gripping pad 37 is imaged, the end is end. Align the effector 3 with the optical system 5B in the XY plane. Further, in the present embodiment, when the manipulator 2 moves to the target position, at least one of the optical elements of the optical system 5B (here, the optical element 54B) is arranged so as to face the manipulator 2 with the object OB sandwiched between them. Will be done.
本実施形態によれば、観察システム１Ｂは、マニピュレータ２から独立して配置された光学系５Ｂを介して、対象物ＯＢを撮像する撮像部４が、エンドエフェクタ３が保持（把持）する対象物ＯＢを撮像可能な位置に、マニピュレータ２を移動させる。また、観察システム１Ｂは、マニピュレータ２から独立して配置された光学系５Ｂを介して、撮像部４の撮像光軸ＡＰの少なくとも一部と、エンドエフェクタ３の中心軸ＡＭとを一致させる目標位置にマニピュレータ２を移動させる。この結果、観察システム１Ｂは、撮像部４の撮像光軸ＡＰの少なくとも一部と、エンドエフェクタ３の中心軸ＡＭとを一致させた状態で、撮像部４により、エンドエフェクタ３を撮像することができる。従って、観察システム１Ｂは、エンドエフェクタ３の基準軸（例えば、ハンド本体３４Ａ、３４Ｂの中心軸）と対象物ＯＢとの位置や角度の関係を高精度に把握することができ、対象物ＯＢの保持（把持）や搬送先での対象物ＯＢの解放時における作業精度を向上させることができる。また、観察システム１Ｂは、撮像部４を基準として、エンドエフェクタ３や、エンドエフェクタ３で把持する対象物ＯＢの位置ずれを把握することができる。従って、観察システム１Ｂは、マニピュレータ２に装着されたエンドエフェクタ３や、エンドエフェクタ３で把持した対象物ＯＢの位置を、より高精度に検出できる。加えて、観察システム１Ｂは、光学素子５４Ａ、５４Ｂがステージ８の下側（裏側）に設けられているので、ステージ８上に光学系５Ｂを要しない。この結果、観察システム１Ｂは、エンドエフェクタ３を備えるマニピュレータ２の動作や移動において、光学系５Ｂを避ける制御を要しない。さらに、マニピュレータ２の移動時に、障害となる物体がステージ８の上面８ａに配置されないことから、搬送元の近傍に観察システム１Ｂを配置することができる。このため、観察システム１Ｂの位置から搬送先までのマニピュレータ２による搬送距離を小さくすることができ、搬送時の振動等による対象物ＯＢの把持ずれの影響を抑制することが可能になる。また、本実施形態によれば、マニピュレータ２から独立して光学系５Ｂを配置するので、同一の光学系５Ｂを異なるマニピュレータ２（複数のマニピュレータ２）で共用するシステムを確立できる。
According to the present embodiment, in the observation system 1B, the image pickup unit 4 that images the object OB via the optical system 5B arranged independently of the manipulator 2 holds (grasps) the object by the end effector 3. The manipulator 2 is moved to a position where the OB can be imaged. Further, the observation system 1B has a target position at which at least a part of the imaging optical axis AP of the imaging unit 4 and the central axis AM of the end effector 3 are aligned with each other via an optical system 5B arranged independently of the manipulator 2. Move the manipulator 2 to. As a result, the observation system 1B can image the end effector 3 by the imaging unit 4 in a state where at least a part of the imaging optical axis AP of the imaging unit 4 and the central axis AM of the end effector 3 are aligned with each other. it can. Therefore, the observation system 1B can grasp the relationship between the position and angle of the reference axis of the end effector 3 (for example, the central axes of the hand bodies 34A and 34B) and the object OB with high accuracy, and can grasp the relationship of the position and angle of the object OB with high accuracy. It is possible to improve the work accuracy at the time of holding (grasping) and releasing the object OB at the transport destination. Further, the observation system 1B can grasp the positional deviation of the end effector 3 and the object OB gripped by the end effector 3 with reference to the imaging unit 4. Therefore, the observation system 1B can detect the positions of the end effector 3 mounted on the manipulator 2 and the object OB gripped by the end effector 3 with higher accuracy. In addition, the observation system 1B does not require an optical system 5B on the stage 8 because the optical elements 54A and 54B are provided on the lower side (back side) of the stage 8. As a result, the observation system 1B does not require control to avoid the optical system 5B in the operation and movement of the manipulator 2 including the end effector 3. Further, since the obstructive object is not arranged on the upper surface 8a of the stage 8 when the manipulator 2 is moved, the observation system 1B can be arranged in the vicinity of the transport source. Therefore, the transport distance by the manipulator 2 from the position of the observation system 1B to the transport destination can be reduced, and the influence of the gripping deviation of the object OB due to vibration during transport can be suppressed. Further, according to the present embodiment, since the optical system 5B is arranged independently of the manipulator 2, it is possible to establish a system in which the same optical system 5B is shared by different manipulators 2 (plural manipulators 2).
［第３実施形態］
次に、第３実施形態を説明する。本実施形態において、上述した実施形態と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する場合がある。
[Third Embodiment]
Next, the third embodiment will be described. In the present embodiment, the same components as those in the above-described embodiment are designated by the same reference numerals, and the description thereof may be omitted or simplified.
図１５は、第３実施形態に係る観察システムの構成例を示す側面図である。図１５に示すように、観察システム１Ｃは、マニピュレータ（ロボットマニピュレータ）２と、エンドエフェクタ３と、撮像部４と、光学系５Ｃと、ロボット制御装置７とを有する。観察システム１Ｃは、上記実施形態で説明した観察システム１Ａ、１Ｂに対して、光学系５Ｃの構成が主に異なる。
FIG. 15 is a side view showing a configuration example of the observation system according to the third embodiment. As shown in FIG. 15, the observation system 1C includes a manipulator (robot manipulator) 2, an end effector 3, an imaging unit 4, an optical system 5C, and a robot control device 7. The observation system 1C is mainly different from the observation systems 1A and 1B described in the above embodiment in the configuration of the optical system 5C.
光学系５Ｃは、エンドエフェクタ３が装着されたマニピュレータ２から独立して配置される。対象物ＯＢは、ステージ８の上面８ａ上に設定された搬送元の位置Ｐ１から搬送先の位置Ｐ２まで、マニピュレータ２（エンドエフェクタ３）によって搬送される。つまり、ステージ８の上面８ａは、搬送元の位置Ｐ１、及び搬送先の位置Ｐ２を含む面である。本実施形態において、光学系５Ｃは、ステージ８の上面８ａの裏側、すなわちステージ８の下側に設けられる。
The optical system 5C is arranged independently of the manipulator 2 to which the end effector 3 is mounted. The object OB is conveyed by the manipulator 2 (end effector 3) from the transfer source position P1 set on the upper surface 8a of the stage 8 to the transfer destination position P2. That is, the upper surface 8a of the stage 8 is a surface including the transfer source position P1 and the transfer destination position P2. In the present embodiment, the optical system 5C is provided on the back side of the upper surface 8a of the stage 8, that is, on the lower side of the stage 8.
ステージ８には、少なくとも光学系５Ｃが設けられた領域に対して光を透過する透光部８ｓが設けられる。光学系５Ｃは、透光部８ｓの下方に、複数の光学素子５４Ａ、光学素子５４Ｃを有する。光学素子５４Ａ、５４Ｃは、ステージ８の上面８ａと略平行なＸ−Ｙ平面に沿った方向に、間隔をあけて図示しないミラー保持部材に設けられる。光学素子５４Ａ、５４ＣのＸ−Ｙ平面に沿った方向における間隔は、Ｘ−Ｙ平面に沿った方向における撮像部４の撮像光軸ＡＰと、エンドエフェクタ３の中心軸ＡＭとの間隔（ベースラインＢＬ）と等しい（ほぼ等しい）。光学系５Ｃは、対象物ＯＢの搬送元から搬送先までの搬送経路の途中に配置される場合がある。なお、透光部８ｓを設けずに、光が透過する領域は開口としてもよい。
The stage 8 is provided with a translucent portion 8s that transmits light to at least a region provided with the optical system 5C. The optical system 5C has a plurality of optical elements 54A and optical elements 54C below the light transmitting portion 8s. The optical elements 54A and 54C are provided on mirror holding members (not shown) at intervals in the direction along the XY plane substantially parallel to the upper surface 8a of the stage 8. The distance between the optical elements 54A and 54C in the direction along the XY plane is the distance (baseline) between the imaging optical axis AP of the imaging unit 4 and the central axis AM of the end effector 3 in the direction along the XY plane. BL) is equal to (almost equal). The optical system 5C may be arranged in the middle of the transport path from the transport source to the transport destination of the object OB. The region through which light is transmitted may be an opening without providing the light transmitting portion 8s.
撮像部４の撮像光軸ＡＰに対応するように設けられた光学素子５４Ａは、平板状のミラー等である。また、エンドエフェクタ３の中心軸ＡＭに対応するように設けられた光学素子５４Ｃは、例えば、凸状に湾曲した反射面５４ｆを有する凸面鏡である。光学素子５４Ａ、５４Ｃは、撮像部４の撮像光軸ＡＰと光学素子５４ＡとのＸ−Ｙ平面内における位置を合わせるとともに、エンドエフェクタ３の中心軸ＡＭと光学素子５４ＣとのＸ−Ｙ平面内における位置を合わせた状態で、ハンド本体３４Ａ、３４Ｂの間の像が、撮像部４の撮像素子上で結像するように設けられる。撮像部４では、ハンド本体３４Ａ、３４Ｂの端部、及び把持部３５Ａ、３５Ｂの間で把持した対象物ＯＢ等を含む像が、撮像素子上で結像する。なお、光学系５Ｃに含まれる光学素子５４Ｃは、「曲面ミラー」に対応する。
The optical element 54A provided so as to correspond to the imaging optical axis AP of the imaging unit 4 is a flat plate-shaped mirror or the like. Further, the optical element 54C provided so as to correspond to the central axis AM of the end effector 3 is, for example, a convex mirror having a reflecting surface 54f curved in a convex shape. The optical elements 54A and 54C align the image pickup optical axis AP of the image pickup unit 4 and the optical element 54A in the XY plane, and the central axis AM of the end effector 3 and the optical element 54C in the XY plane. The image between the hand bodies 34A and 34B is provided so as to form an image on the image sensor of the image pickup unit 4 in the state of aligning the positions in the above. In the image pickup unit 4, an image including the ends of the hand bodies 34A and 34B and the object OB and the like gripped between the gripping portions 35A and 35B is imaged on the image sensor. The optical element 54C included in the optical system 5C corresponds to a "curved surface mirror".
観察システム１Ｃでは、上述したステップＳ２、ステップＳ５、及びステップＳ６等において、エンドエフェクタ３の中心軸ＡＭの位置合わせの実施、把持パッド３７で把持された対象物ＯＢの撮像の実施の際、エンドエフェクタ３をＸ−Ｙ平面内で光学系５Ｃに位置を合わせる。また、本実施形態では、目標位置にマニピュレータ２が移動したときに、対象物ＯＢを挟んでマニピュレータ２の対面に、光学系５Ｃの光学素子の少なくとも一つ（ここでは、光学素子５４Ｃ）が配置される。
In the observation system 1C, in steps S2, S5, S6, and the like described above, when the central axis AM of the end effector 3 is aligned and the object OB gripped by the gripping pad 37 is imaged, the end is end. Align the effector 3 with the optical system 5C in the XY plane. Further, in the present embodiment, when the manipulator 2 moves to the target position, at least one of the optical elements of the optical system 5C (here, the optical element 54C) is arranged so as to face the manipulator 2 with the object OB sandwiched between them. Will be done.
本実施形態によれば、観察システム１Ｃは、マニピュレータ２から独立して配置された光学系５Ｃを介して、対象物ＯＢを撮像する撮像部４が、エンドエフェクタ３が保持（把持）する対象物ＯＢを撮像可能な位置に、マニピュレータ２を移動させる。また、観察システム１Ｃは、マニピュレータ２から独立して配置された光学系５Ｃを介して、撮像部４の撮像光軸ＡＰの少なくとも一部と、エンドエフェクタ３の中心軸ＡＭとを一致させる目標位置にマニピュレータ２を移動させる。この結果、観察システム１Ｃは、撮像部４の撮像光軸ＡＰの少なくとも一部と、エンドエフェクタ３の中心軸ＡＭとを一致させた状態で、撮像部４により、エンドエフェクタ３を撮像することができる。従って、観察システム１Ｃは、エンドエフェクタ３と対象物ＯＢとの位置や角度の関係を高精度に把握することができ、対象物ＯＢの保持（把持）や搬送先での対象物ＯＢの解放時における作業精度を向上させることができる。また、観察システム１Ｃは、撮像部４を基準として、エンドエフェクタ３や、エンドエフェクタ３で把持する対象物ＯＢの位置ずれを把握することができる。従って、観察システム１Ｃは、マニピュレータ２に装着されたエンドエフェクタ３や、エンドエフェクタ３で把持した対象物ＯＢの位置を、より高精度に検出できる。加えて、観察システム１Ｃは、光学素子５４Ａ、５４Ｃがステージ８の下側（裏側）に設けられているので、ステージ８上に光学系５Ｃを要しない。この結果、観察システム１Ｃは、エンドエフェクタ３を備えるマニピュレータ２の動作や移動において、光学系５Ｃを避ける制御を要しない。さらに、観察システム１Ｃは、光学素子５４Ｃを凸面鏡とするので、光学素子５４Ｃの小型化をはかることができる。また、観察システム１Ｃは、光学素子５４を凸面鏡とするので、小型化をはかりつつ、平面鏡等と比較して広い領域を撮像部４で撮像することができる。また、本実施形態によれば、マニピュレータ２から独立して光学系５Ｃを配置するので、同一の光学系５を異なるマニピュレータ２（複数のマニピュレータ２）で共用するシステムを確立できる。
According to the present embodiment, in the observation system 1C, the image pickup unit 4 that images the object OB via the optical system 5C arranged independently of the manipulator 2 holds (grasps) the object by the end effector 3. The manipulator 2 is moved to a position where the OB can be imaged. Further, the observation system 1C has a target position at which at least a part of the imaging optical axis AP of the imaging unit 4 and the central axis AM of the end effector 3 are aligned with each other via the optical system 5C arranged independently of the manipulator 2. Move the manipulator 2 to. As a result, the observation system 1C can image the end effector 3 by the imaging unit 4 in a state where at least a part of the imaging optical axis AP of the imaging unit 4 and the central axis AM of the end effector 3 are aligned with each other. it can. Therefore, the observation system 1C can grasp the relationship between the position and angle of the end effector 3 and the object OB with high accuracy, and when the object OB is held (grasped) or the object OB is released at the transport destination. It is possible to improve the work accuracy in. Further, the observation system 1C can grasp the positional deviation of the end effector 3 and the object OB gripped by the end effector 3 with reference to the imaging unit 4. Therefore, the observation system 1C can detect the positions of the end effector 3 mounted on the manipulator 2 and the object OB gripped by the end effector 3 with higher accuracy. In addition, the observation system 1C does not require an optical system 5C on the stage 8 because the optical elements 54A and 54C are provided on the lower side (back side) of the stage 8. As a result, the observation system 1C does not require control to avoid the optical system 5C in the operation and movement of the manipulator 2 including the end effector 3. Further, since the observation system 1C uses the optical element 54C as a convex mirror, the optical element 54C can be miniaturized. Further, since the observation system 1C uses the optical element 54 as a convex mirror, the imaging unit 4 can image a wider area as compared with a plane mirror or the like while reducing the size. Further, according to the present embodiment, since the optical system 5C is arranged independently of the manipulator 2, it is possible to establish a system in which the same optical system 5 is shared by different manipulators 2 (plurality of manipulators 2).
［第４実施形態］
次に、第４実施形態を説明する。本実施形態において、上述した実施形態と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する場合がある。
[Fourth Embodiment]
Next, the fourth embodiment will be described. In the present embodiment, the same components as those in the above-described embodiment are designated by the same reference numerals, and the description thereof may be omitted or simplified.
図１６は、第４実施形態に係る観察システムの構成例を示す側面図である。図１６に示すように、観察システム１Ｄは、マニピュレータ（ロボットマニピュレータ）２と、エンドエフェクタ３Ｄと、撮像部４と、光学系５Ｂと、ロボット制御装置７Ｄとを有する。観察システム１Ｄは、上記実施形態で説明した観察システム１Ｂ、１Ｃに対して、エンドエフェクタ３Ｄ、ロボット制御装置７Ｄの構成が主に異なる。
FIG. 16 is a side view showing a configuration example of the observation system according to the fourth embodiment. As shown in FIG. 16, the observation system 1D includes a manipulator (robot manipulator) 2, an end effector 3D, an imaging unit 4, an optical system 5B, and a robot control device 7D. The observation system 1D mainly differs from the observation systems 1B and 1C described in the above embodiment in the configurations of the end effector 3D and the robot control device 7D.
エンドエフェクタ３Ｄは、マニピュレータ２の第２アーム２３の第１アーム２２側とは反対の端部におけるエフェクタ装着部２５に着脱可能に装着される。エンドエフェクタ３Ｄは、例えば、図示しない加工対象物に所定の加工を施すドリル刃等の工具（対象物）１００である。なお、エンドエフェクタ３Ｄは、ドリル刃等の工具に限られず、例えばねじ締め可能な工具であってもよい。エンドエフェクタ３Ｄは、例えば、エフェクタ装着部２５に対して着脱可能なアーム接続部３１Ｄと、工具本体１０１とを備える。工具本体１０１は、アーム接続部３１Ｄから、第２アーム２３の中心軸ＡＣと平行な方向に沿って、第２アーム２３側とは反対の方向に延びている。以下、工具本体１０１の中心位置を、エンドエフェクタ３Ｄの中心軸ＡＭとする。エンドエフェクタ３Ｄは、第２アーム２３のエフェクタ装着部２５にアーム接続部３１Ｄを接続した状態で、中心軸ＡＭが第２アーム２３の中心軸ＡＣに合致する。
The end effector 3D is detachably attached to the effector mounting portion 25 at the end opposite to the first arm 22 side of the second arm 23 of the manipulator 2. The end effector 3D is, for example, a tool (object) 100 such as a drill blade that performs a predetermined machining on a machining object (not shown). The end effector 3D is not limited to a tool such as a drill blade, and may be, for example, a tool that can be screwed. The end effector 3D includes, for example, an arm connecting portion 31D that can be attached to and detached from the effector mounting portion 25, and a tool body 101. The tool body 101 extends from the arm connecting portion 31D in a direction parallel to the central axis AC of the second arm 23 and in a direction opposite to that of the second arm 23 side. Hereinafter, the central position of the tool body 101 is defined as the central axis AM of the end effector 3D. In the end effector 3D, the central axis AM matches the central axis AC of the second arm 23 in a state where the arm connecting portion 31D is connected to the effector mounting portion 25 of the second arm 23.
撮像部４は、エンドエフェクタ３Ｄの工具本体１０１を撮像可能である。より具体的には、撮像部４は、撮像部４の撮像光軸ＡＰに対する、エンドエフェクタ３Ｄの工具本体１０１を撮像可能である。光学系５Ｂは、上記第２実施形態と同様に、エンドエフェクタ３Ｄが装着されたマニピュレータ２から独立して配置される。光学素子５４Ａ、５４Ｂは、エンドエフェクタ３Ｄの工具本体１０１の像が、光学素子５４Ａ、５４Ｂを介して、撮像部４の撮像素子上で結像するように設けられる。このとき、光学素子５４Ａ、５４Ｂがステージ８の下側（裏側）に設けられるので、工具本体１０１と干渉することなく、工具本体１０１をＺ方向に沿って下方の端部から撮像できる。なお、光学素子５４Ｂは、上記第３実施形態と同様に、凸面鏡としての光学素子５４Ｃであってもよい。
The imaging unit 4 can image the tool body 101 of the end effector 3D. More specifically, the imaging unit 4 can image the tool body 101 of the end effector 3D with respect to the imaging optical axis AP of the imaging unit 4. The optical system 5B is arranged independently of the manipulator 2 to which the end effector 3D is mounted, as in the second embodiment. The optical elements 54A and 54B are provided so that the image of the tool body 101 of the end effector 3D is formed on the image pickup element of the image pickup unit 4 via the optical elements 54A and 54B. At this time, since the optical elements 54A and 54B are provided on the lower side (back side) of the stage 8, the tool body 101 can be imaged from the lower end along the Z direction without interfering with the tool body 101. The optical element 54B may be an optical element 54C as a convex mirror, as in the third embodiment.
ロボット制御装置７Ｄ（図５参照）は、マニピュレータ２、エンドエフェクタ３Ｄ、及び撮像部４等の動作を制御する。第４実施形態における記憶部７２は、ロボット制御装置７Ｄのプログラム、各種の設定値、工具本体１０１の外部外形寸法、及び工具本体１０１の加工位置座標等の各種データを記憶する。第４実施形態における算出部７３は、エンドエフェクタ３Ｄを撮像部４により撮像した画像と、エンドエフェクタ３Ｄに関する情報とに基づいて、エンドエフェクタ３Ｄの中心軸ＡＭのずれを示す軸ずれ量を算出する。
The robot control device 7D (see FIG. 5) controls the operations of the manipulator 2, the end effector 3D, the image pickup unit 4, and the like. The storage unit 72 in the fourth embodiment stores various data such as a program of the robot control device 7D, various set values, external external dimensions of the tool body 101, and machining position coordinates of the tool body 101. The calculation unit 73 in the fourth embodiment calculates the amount of axial deviation indicating the deviation of the central axis AM of the end effector 3D based on the image of the end effector 3D captured by the imaging unit 4 and the information about the end effector 3D. ..
第４実施形態における補正部７４は、算出部７３が算出したエンドエフェクタ３Ｄの中心軸ＡＭの軸ずれ量に基づいて、マニピュレータ２の移動先の位置やエンドエフェクタ３Ｄの姿勢等を補正する。第４実施形態における移動制御部７５は、マニピュレータ２によるエンドエフェクタ３Ｄの移動動作を制御する。移動制御部７５は、例えば、補正部７４が補正したマニピュレータ２の移動先の位置に応じて、マニピュレータ２を動作させる。移動制御部７５は、光学系５Ｂを介した撮像部４の撮像光軸ＡＰの少なくとも一部と、エンドエフェクタ３Ｄの中心軸ＡＭとを一致させる目標位置にマニピュレータ２を移動させる。第４実施形態におけるエンドエフェクタ制御部７６は、工具本体１０１の動作を制御する。エンドエフェクタ制御部７６は、例えば、補正部７４が補正したエンドエフェクタ３Ｄの姿勢等に基づいて、マニピュレータ２を制御してエンドエフェクタ３Ｄの姿勢を制御する。
The correction unit 74 in the fourth embodiment corrects the position of the movement destination of the manipulator 2 and the posture of the end effector 3D based on the amount of misalignment of the central axis AM of the end effector 3D calculated by the calculation unit 73. The movement control unit 75 in the fourth embodiment controls the movement operation of the end effector 3D by the manipulator 2. The movement control unit 75 operates the manipulator 2 according to, for example, the position of the movement destination of the manipulator 2 corrected by the correction unit 74. The movement control unit 75 moves the manipulator 2 to a target position that matches at least a part of the image pickup optical axis AP of the image pickup unit 4 via the optical system 5B with the central axis AM of the end effector 3D. The end effector control unit 76 in the fourth embodiment controls the operation of the tool body 101. The end effector control unit 76 controls the manipulator 2 to control the posture of the end effector 3D, for example, based on the posture of the end effector 3D corrected by the correction unit 74.
図１７は、第４実施形態に係るロボット制御装置における処理の流れの例を示すフローチャートである。ステップＳ１１において、工具本体１０１を用いた加工等が行われる場合は、上述した第１実施形態のステップＳ１と同様に、撮像部４のステージ８に対する位置合わせが実施される。ステップＳ１２において、移動制御部７５は、マニピュレータ２を所定位置に移動させ、マニピュレータ２の端部に工具１００を装着させる。より具体的には、マニピュレータ２への工具１００の装着は、観察システム１Ｄが備える工具の交換機構（図示せず）等により自動で行われてもよい。なお、マニピュレータ２への工具１００の装着は、作業者が手作業により行ってもよい。
FIG. 17 is a flowchart showing an example of a processing flow in the robot control device according to the fourth embodiment. When machining or the like using the tool body 101 is performed in step S11, the positioning of the imaging unit 4 with respect to the stage 8 is performed in the same manner as in step S1 of the first embodiment described above. In step S12, the movement control unit 75 moves the manipulator 2 to a predetermined position and attaches the tool 100 to the end of the manipulator 2. More specifically, the tool 100 may be automatically attached to the manipulator 2 by a tool changing mechanism (not shown) or the like provided in the observation system 1D. The tool 100 may be manually attached to the manipulator 2.
ステップＳ１３において、移動制御部７５は、マニピュレータ２を移動して、エンドエフェクタ３Ｄを光学系５Ｂに対応する位置に配置させる。このとき、移動先の座標を記憶部７２等に予め記憶させ、移動制御部７５は、記憶部７２に記憶された座標値に基づいてマニピュレータ２を移動させてもよい。この状態で、撮像部４の撮像光軸ＡＰと光学素子５４ＡとのＸ−Ｙ平面内における位置、及びエンドエフェクタ３Ｄの中心軸ＡＭと光学素子５４ＢとのＸ−Ｙ平面内における位置を合わせる。
In step S13, the movement control unit 75 moves the manipulator 2 to arrange the end effector 3D at a position corresponding to the optical system 5B. At this time, the coordinates of the movement destination may be stored in advance in the storage unit 72 or the like, and the movement control unit 75 may move the manipulator 2 based on the coordinate values stored in the storage unit 72. In this state, the positions of the imaging optical axis AP of the imaging unit 4 and the optical element 54A in the XY plane and the positions of the central axis AM of the end effector 3D and the optical element 54B in the XY plane are aligned.
ステップＳ１４において、撮像制御部７７は、撮像部４による撮像処理を制御する。撮像部４では、工具本体１０１の端部（Ｚ方向の下方から見た端部）が、光学素子５４Ａ、５４Ｂを介して撮像素子上で結像する。ステップＳ１５において、算出部７３は、撮像部４によって撮像された撮像画像に基づいて、撮像部４の撮像光軸ＡＰと、エンドエフェクタ３Ｄの工具本体１０１の中心軸ＡＭとの軸ずれ量を算出する。
In step S14, the image pickup control unit 77 controls the image pickup process by the image pickup unit 4. In the image pickup unit 4, the end portion of the tool body 101 (the end portion viewed from below in the Z direction) is imaged on the image pickup element via the optical elements 54A and 54B. In step S15, the calculation unit 73 calculates the amount of misalignment between the image pickup optical axis AP of the image pickup unit 4 and the central axis AM of the tool body 101 of the end effector 3D based on the image captured by the image pickup unit 4. To do.
ステップＳ１６において、補正部７４は、算出部７３が算出した軸ずれ量に基づいて、工具本体１０１による加工位置（移動先の位置）を補正する。ステップＳ１７において、移動制御部７５は、補正部７４が補正した加工位置にマニピュレータ２を移動させることで、エンドエフェクタ３Ｄの工具本体１０１を移動させる。その後、マニピュレータ２及びエンドエフェクタ３Ｄは、工具本体１０１による加工対象物の加工を実施する。
In step S16, the correction unit 74 corrects the machining position (movement destination position) by the tool body 101 based on the axis deviation amount calculated by the calculation unit 73. In step S17, the movement control unit 75 moves the tool body 101 of the end effector 3D by moving the manipulator 2 to the machining position corrected by the correction unit 74. After that, the manipulator 2 and the end effector 3D process the object to be machined by the tool body 101.
本実施形態によれば、観察システム１Ｄは、マニピュレータ２から独立して配置された光学系５Ｂを介して、撮像部４の撮像光軸ＡＰの少なくとも一部と、エンドエフェクタ３Ｄの中心軸ＡＭとを一致させる目標位置にマニピュレータ２を移動させる。この結果、観察システム１Ｄは、撮像部４の撮像光軸ＡＰと、エンドエフェクタ３Ｄの中心軸ＡＭとを一致させた状態で、撮像部４により、エンドエフェクタ３Ｄの工具本体１０１を撮像することができ、工具本体１０１との位置関係を高精度に把握できる。従って、観察システム１Ｄは、マニピュレータ２に装着されたエンドエフェクタ３Ｄの位置を、より高精度に検出できる。なお、本実施形態では、エンドエフェクタ３Ｄを工具本体１０１としているが、第１実施形態で説明したエンドエフェクタ３のハンド本体３４Ａ、３４Ｂが工具本体１０１を把持する構成でもよい。また、本実施形態によれば、マニピュレータ２から独立して光学系５Ｂを配置するので、同一の光学系５Ｂを異なるマニピュレータ２（複数のマニピュレータ２）で共用するシステムを確立できる。
According to the present embodiment, the observation system 1D includes at least a part of the imaging optical axis AP of the imaging unit 4 and the central axis AM of the end effector 3D via the optical system 5B arranged independently of the manipulator 2. Move the manipulator 2 to the target position to match. As a result, the observation system 1D can image the tool body 101 of the end effector 3D by the image pickup unit 4 in a state where the image pickup optical axis AP of the image pickup unit 4 and the central axis AM of the end effector 3D are matched. It is possible to grasp the positional relationship with the tool body 101 with high accuracy. Therefore, the observation system 1D can detect the position of the end effector 3D mounted on the manipulator 2 with higher accuracy. In the present embodiment, the end effector 3D is the tool body 101, but the hand bodies 34A and 34B of the end effector 3 described in the first embodiment may grip the tool body 101. Further, according to the present embodiment, since the optical system 5B is arranged independently of the manipulator 2, it is possible to establish a system in which the same optical system 5B is shared by different manipulators 2 (plural manipulators 2).
［第５実施形態］
次に、第５実施形態を説明する。本実施形態において、上述した実施形態と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する場合がある。
[Fifth Embodiment]
Next, a fifth embodiment will be described. In the present embodiment, the same components as those in the above-described embodiment are designated by the same reference numerals, and the description thereof may be omitted or simplified.
図１８は、第５実施形態に係る観察システムの構成例を示す側面図である。図１８に示すように、観察システム１Ｅは、マニピュレータ２と、エンドエフェクタ３と、撮像部４Ｅと、光学系５Ｅと、ロボット制御装置７Ｅとを有する。観察システム１Ｅは、上記第１実施形態で説明した観察システム１Ａに対して、撮像部４Ｅ、光学系５Ｅ、及びロボット制御装置７Ｅの構成が主に異なる。
FIG. 18 is a side view showing a configuration example of the observation system according to the fifth embodiment. As shown in FIG. 18, the observation system 1E includes a manipulator 2, an end effector 3, an imaging unit 4E, an optical system 5E, and a robot control device 7E. The observation system 1E is mainly different from the observation system 1A described in the first embodiment in the configurations of the imaging unit 4E, the optical system 5E, and the robot control device 7E.
撮像部４Ｅは、図示しない撮像素子を備える。撮像部４Ｅの撮像素子は、例えば、複数の画素が二次元的に配列されたＣＭＯＳイメージセンサ、又はＣＣＤイメージセンサ等である。撮像部４Ｅは、撮像素子の撮像結果（観察結果、検出結果）をロボット制御装置７Ｅに出力する。本実施形態において、撮像部４Ｅは、マニピュレータ２に設けられる。マニピュレータ２は、撮像部４Ｅを支持する支持部材２６Ｅを備える。支持部材２６Ｅは、例えば、マニピュレータ２の第２アーム２３に設けられる。支持部材２６Ｅは、第２アーム２３の中心軸ＡＣに対して交差（直交）して延び、第２アーム２３から側方に突出した状態で第２アーム２３に設けられる。このような撮像部４Ｅは、エンドエフェクタ３が把持する（している）対象物ＯＢを撮像する。
The image pickup unit 4E includes an image pickup element (not shown). The image sensor of the image pickup unit 4E is, for example, a CMOS image sensor in which a plurality of pixels are two-dimensionally arranged, a CCD image sensor, or the like. The image pickup unit 4E outputs the image pickup result (observation result, detection result) of the image pickup element to the robot control device 7E. In the present embodiment, the imaging unit 4E is provided on the manipulator 2. The manipulator 2 includes a support member 26E that supports the image pickup unit 4E. The support member 26E is provided, for example, on the second arm 23 of the manipulator 2. The support member 26E extends so as to intersect (orthogonally) the central axis AC of the second arm 23, and is provided on the second arm 23 in a state of projecting laterally from the second arm 23. Such an imaging unit 4E images an object OB held (held) by the end effector 3.
光学系５Ｅは、エンドエフェクタ３が装着されたマニピュレータ２に設けられる。光学系５Ｅは、例えば、１つの光学素子５５を備える。光学素子５５は、例えば、平板状のミラーであり、撮像部４Ｅの撮像光軸ＡＰ、及びエンドエフェクタ３の中心軸ＡＭの双方に対して所定の角度（例えば、４５度）で傾斜して設けられる。本実施形態において、マニピュレータ２及びエンドエフェクタ３には、中心軸ＡＭに沿って延びる孔３９が形成されている。具体的には、マニピュレータ２及びエンドエフェクタ３において、支持部材２６Ｅ、エフェクタ装着部２５、アーム接続部３１、及び基部３３にわたって、中空となっている。なお、光学素子５５を含む光学系５Ｅ等のマニピュレータ２に支持される光学系は、「第２光学系」に対応する。
The optical system 5E is provided on the manipulator 2 to which the end effector 3 is mounted. The optical system 5E includes, for example, one optical element 55. The optical element 55 is, for example, a flat mirror, and is provided so as to be inclined at a predetermined angle (for example, 45 degrees) with respect to both the imaging optical axis AP of the imaging unit 4E and the central axis AM of the end effector 3. Be done. In the present embodiment, the manipulator 2 and the end effector 3 are formed with holes 39 extending along the central axis AM. Specifically, in the manipulator 2 and the end effector 3, the support member 26E, the effector mounting portion 25, the arm connecting portion 31, and the base portion 33 are hollow. The optical system supported by the manipulator 2 such as the optical system 5E including the optical element 55 corresponds to the “second optical system”.
光学素子５５は、撮像部４の撮像光軸ＡＰの少なくとも一部をエンドエフェクタ３の中心軸ＡＭに一致させるように配置される。光学素子５５は、孔３９を通して、エンドエフェクタ３のハンド本体３４Ａ、３４Ｂの間の像が、撮像部４Ｅの撮像素子上で結像するように設けられる。つまり、光学系５Ｅは、エンドエフェクタ３の端部、及びエンドエフェクタ３の端部が把持する（している）対象物ＯＢの像を、撮像部４Ｅの撮像素子上に結像させる。
The optical element 55 is arranged so that at least a part of the imaging optical axis AP of the imaging unit 4 coincides with the central axis AM of the end effector 3. The optical element 55 is provided so that an image between the hand bodies 34A and 34B of the end effector 3 is formed on the image pickup element of the image pickup unit 4E through the hole 39. That is, the optical system 5E forms an image of the end portion of the end effector 3 and the object OB held (held) by the end portion of the end effector 3 on the image sensor of the image pickup unit 4E.
ロボット制御装置７Ｅ（図５参照）は、マニピュレータ２、エンドエフェクタ３、及び撮像部４Ｅの動作を制御する。第５実施形態における算出部７３は、エンドエフェクタ３が把持した対象物ＯＢを撮像部４Ｅにより撮像した画像と、エンドエフェクタ３が把持した対象物ＯＢの大きさ及び形状等に関する情報とに基づいて、把持前に対して把持後の対象物ＯＢの状態の変化量を算出する。
The robot control device 7E (see FIG. 5) controls the operations of the manipulator 2, the end effector 3, and the imaging unit 4E. The calculation unit 73 in the fifth embodiment is based on an image obtained by the imaging unit 4E of the object OB held by the end effector 3 and information on the size and shape of the object OB held by the end effector 3. , The amount of change in the state of the object OB after gripping is calculated with respect to that before gripping.
第５実施形態における補正部７４は、算出部７３が算出した変化量に基づいて、対象物ＯＢの搬送先におけるエンドエフェクタ３の位置及び姿勢のうち少なくとも１つを補正する。第５実施形態における移動制御部７５は、補正部７４が補正したマニピュレータ２の移動先の位置（搬送先の位置Ｐ２）に応じて、マニピュレータ２を動作させる。第５実施形態におけるエンドエフェクタ制御部７６は、補正部７４が補正した姿勢に基づいて、マニピュレータ２を制御してエンドエフェクタ３の姿勢を制御する。
The correction unit 74 in the fifth embodiment corrects at least one of the positions and postures of the end effector 3 at the transport destination of the object OB based on the amount of change calculated by the calculation unit 73. The movement control unit 75 in the fifth embodiment operates the manipulator 2 according to the position of the movement destination of the manipulator 2 corrected by the correction unit 74 (the position P2 of the transport destination). The end effector control unit 76 in the fifth embodiment controls the manipulator 2 to control the posture of the end effector 3 based on the posture corrected by the correction unit 74.
図１９は、第５実施形態に係るロボット制御装置における処理の流れの例を示すフローチャートである。ステップＳ２１において、上述した第１実施形態のステップＳ１と同様に、撮像部４のステージ８に対する位置合わせが実施される。具体的には、移動制御部７５は、撮像部４Ｅの撮像光軸ＡＰのＸ−Ｙ平面内における位置を、ステージ８上の基準部材９（図７参照）の基準マーク９１の位置に合わせる。そして、撮像制御部７７は、撮像部４Ｅに基準マーク９１を撮像させる。撮像部４Ｅによって撮像された撮像画像は、ロボット制御装置７Ｅに転送される（信号入力部７１が撮像画像を受け付ける）。
FIG. 19 is a flowchart showing an example of a processing flow in the robot control device according to the fifth embodiment. In step S21, the positioning of the imaging unit 4 with respect to the stage 8 is performed in the same manner as in step S1 of the first embodiment described above. Specifically, the movement control unit 75 aligns the position of the image pickup optical axis AP of the image pickup unit 4E in the XY plane with the position of the reference mark 91 of the reference member 9 (see FIG. 7) on the stage 8. Then, the image pickup control unit 77 causes the image pickup unit 4E to take an image of the reference mark 91. The captured image captured by the imaging unit 4E is transferred to the robot control device 7E (the signal input unit 71 receives the captured image).
算出部７３は、撮像部４Ｅによって撮像された撮像画像に基づいて、撮像部４Ｅの撮像光軸ＡＰと、基準マーク９１の中心（十字の交差部分）に対する撮像部４Ｅの撮像光軸ＡＰの位置をＸ−Ｙ平面内で補正し、補正結果を記憶部７２に格納する。これらにより、撮像部４Ｅの基準マーク９１に対する位置合わせ、すなわち撮像部４Ｅを備えたマニピュレータ２のステージ８に対する位置合わせが完了する。
The calculation unit 73 positions the imaging optical axis AP of the imaging unit 4E and the imaging optical axis AP of the imaging unit 4E with respect to the center (intersection of the cross) of the reference mark 91 based on the image captured by the imaging unit 4E. Is corrected in the XY plane, and the correction result is stored in the storage unit 72. As a result, the alignment of the imaging unit 4E with respect to the reference mark 91, that is, the alignment of the manipulator 2 provided with the imaging unit 4E with respect to the stage 8 is completed.
ステップＳ２２において、ロボット制御装置７Ｅは、エンドエフェクタ３の中心軸ＡＭの位置合わせを行う。例えば、撮像制御部７７は、撮像部４Ｅによる撮像を制御する。撮像部４Ｅでは、ハンド本体３４Ａ、３４Ｂの端部が、光学素子５５を介して撮像素子上で結像する。信号入力部７１は、撮像部４Ｅによって撮像された撮像画像を受信する。算出部７３は、上述した第１実施形態のステップＳ２と同様に、撮像部４Ｅによって撮像された撮像画像に基づいて、エンドエフェクタ３の中心軸ＡＭの軸ずれ量を算出し、軸ずれ量の補正値として記憶部７２に格納する。
In step S22, the robot control device 7E aligns the central axis AM of the end effector 3. For example, the image pickup control unit 77 controls the image pickup by the image pickup unit 4E. In the image pickup unit 4E, the ends of the hand bodies 34A and 34B are imaged on the image pickup element via the optical element 55. The signal input unit 71 receives the captured image captured by the imaging unit 4E. Similar to step S2 of the first embodiment described above, the calculation unit 73 calculates the amount of axial deviation of the central axis AM of the end effector 3 based on the image captured by the imaging unit 4E, and determines the amount of axial deviation. It is stored in the storage unit 72 as a correction value.
ステップＳ２３において、移動制御部７５は、マニピュレータ２を移動させ、対象物ＯＢの搬送元の位置Ｐ１にエンドエフェクタ３を移動させる。このとき、補正部７４は、算出部７３が算出した軸ずれ量の補正値に基づいて、搬送元の位置Ｐ１の座標を補正する。ステップＳ２４において、エンドエフェクタ制御部７６は、ハンド本体３４Ａ、３４Ｂの端部に設けられた把持部３５Ａ、３５Ｂに圧力を加え、把持パッド３７のそれぞれを突出させる。対象物ＯＢは、突出した把持パッド３７のそれぞれの間に挟み込まれて把持される。ステップＳ２５において、撮像制御部７７は、撮像部４Ｅを制御し、ハンド本体３４Ａ、３４Ｂで把持している対象物ＯＢを撮像させる。信号入力部７１は、撮像部４Ｅによって撮像された撮像画像のデータを受信する。
In step S23, the movement control unit 75 moves the manipulator 2 and moves the end effector 3 to the position P1 of the transport source of the object OB. At this time, the correction unit 74 corrects the coordinates of the position P1 of the transport source based on the correction value of the axis deviation amount calculated by the calculation unit 73. In step S24, the end effector control unit 76 applies pressure to the grip portions 35A and 35B provided at the ends of the hand bodies 34A and 34B to project the grip pads 37, respectively. The object OB is sandwiched and gripped between the protruding gripping pads 37. In step S25, the image pickup control unit 77 controls the image pickup unit 4E to image the object OB held by the hand bodies 34A and 34B. The signal input unit 71 receives the data of the captured image captured by the imaging unit 4E.
ステップＳ２６において、算出部７３は、上述した第１実施形態のステップＳ７と同様に、エンドエフェクタ３が把持している対象物ＯＢを撮像部４Ｅにより撮像した撮像画像と、記憶部７２に記憶された対象物ＯＢの大きさ及び形状等に関する情報とに基づいて、ステージ８の上面８ａに載置されていた把持前の対象物ＯＢの状態と、把持後の対象物ＯＢの状態の変化量を算出する。ステップＳ２７において、補正部７４は、上述した第１実施形態のステップＳ８と同様に、算出部７３が算出した変化量に基づいて、対象物の搬送先におけるエンドエフェクタ３の位置及び姿勢のうち少なくとも１つを補正する。
In step S26, the calculation unit 73 stores the image captured by the image pickup unit 4E and the storage unit 72 of the object OB held by the end effector 3 in the same manner as in step S7 of the first embodiment described above. Based on the information on the size and shape of the object OB, the amount of change between the state of the object OB before gripping and the state of the object OB after gripping on the upper surface 8a of the stage 8 is determined. calculate. In step S27, the correction unit 74 at least among the positions and postures of the end effector 3 at the destination of the object to be conveyed, based on the amount of change calculated by the calculation unit 73, as in step S8 of the first embodiment described above. Correct one.
ステップＳ２８において、移動制御部７５は、マニピュレータ２を動作させ、エンドエフェクタ３で把持した対象物ＯＢの中心位置を搬送先の位置Ｐ２に合わせる。さらに、エンドエフェクタ制御部７６は、エンドエフェクタ３の角度を補正し、エンドエフェクタ３に把持された対象物ＯＢの中心軸をＺ方向に沿わせた状態とする。この状態で、移動制御部７５及びエンドエフェクタ制御部７６は、エンドエフェクタ３で把持した対象物ＯＢを、搬送先の位置Ｐ２においてステージ８上に載置する。その後、エンドエフェクタ制御部７６は、エンドエフェクタ３の把持パッド３７のそれぞれに加えている圧力を解除し、挟み込んでいる対象物ＯＢを解放させる。
In step S28, the movement control unit 75 operates the manipulator 2 to align the center position of the object OB gripped by the end effector 3 with the position P2 of the transfer destination. Further, the end effector control unit 76 corrects the angle of the end effector 3 so that the central axis of the object OB gripped by the end effector 3 is aligned with the Z direction. In this state, the movement control unit 75 and the end effector control unit 76 place the object OB gripped by the end effector 3 on the stage 8 at the transfer destination position P2. After that, the end effector control unit 76 releases the pressure applied to each of the gripping pads 37 of the end effector 3 to release the sandwiched object OB.
本実施形態によれば、観察システム１Ｅは、撮像部４Ｅの撮像光軸ＡＰをエンドエフェクタ３の中心軸ＡＭに一致させるように配置された光学系５Ｅを備える。この結果、観察システム１Ｅは、撮像部４Ｅの撮像光軸ＡＰと、エンドエフェクタ３の中心軸ＡＭとを一致させた状態で、撮像部４Ｅにエンドエフェクタ３を撮像させることができる。従って、観察システム１Ｅは、マニピュレータ２に装着されたエンドエフェクタ３や、エンドエフェクタ３で把持した対象物ＯＢの位置を、より高精度に検出できる。また、観察システム１Ｅは、マニピュレータ２が光学系５Ｅを備えるので、光学系５Ｅを介した撮像部４Ｅによる撮像を容易に実施することができ、対象物ＯＢの搬送をより効率的に実現できる。また、本実施形態では、把持している対象物ＯＢの上方を中空としてマニピュレータ２に光学系５Ｅを備えるため、対象物ＯＢとマニピュレータ２との間に光学系（光学系を保持する部材）を挿入させた状態とする動作を要しないため、効率的な動作を実現できる。また、本実施形態では、Ｘ−Ｙ平面に沿って撮像部４Ｅを配置するので、省スペースを実現し、動作時に撮像部４Ｅが障害になることを抑制できる。
According to the present embodiment, the observation system 1E includes an optical system 5E arranged so that the imaging optical axis AP of the imaging unit 4E coincides with the central axis AM of the end effector 3. As a result, the observation system 1E allows the imaging unit 4E to image the end effector 3 in a state where the imaging optical axis AP of the imaging unit 4E and the central axis AM of the end effector 3 are aligned with each other. Therefore, the observation system 1E can detect the positions of the end effector 3 mounted on the manipulator 2 and the object OB gripped by the end effector 3 with higher accuracy. Further, in the observation system 1E, since the manipulator 2 includes the optical system 5E, the image pickup unit 4E can easily perform the image pickup via the optical system 5E, and the object OB can be transported more efficiently. Further, in the present embodiment, since the manipulator 2 is provided with the optical system 5E with the upper part of the object OB being gripped hollow, an optical system (member holding the optical system) is provided between the object OB and the manipulator 2. Efficient operation can be realized because the operation of the inserted state is not required. Further, in the present embodiment, since the imaging unit 4E is arranged along the XY plane, space saving can be realized and it is possible to prevent the imaging unit 4E from becoming an obstacle during operation.
［第６実施形態］
次に、第６実施形態を説明する。本実施形態において、上述した実施形態と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する場合がある。
[Sixth Embodiment]
Next, the sixth embodiment will be described. In the present embodiment, the same components as those in the above-described embodiment are designated by the same reference numerals, and the description thereof may be omitted or simplified.
図２０は、第６実施形態に係る観察システムの構成例を示す側面図である。図２１は、第６実施形態に係る観察システムにおいて、光学素子を突出させた状態の例を示す側面図である。図２０に示すように、観察システム１Ｆは、マニピュレータ（ロボットマニピュレータ）２と、エンドエフェクタ３Ｄと、撮像部４Ｆと、光学系５Ｆと、ロボット制御装置７Ｆとを有する。
FIG. 20 is a side view showing a configuration example of the observation system according to the sixth embodiment. FIG. 21 is a side view showing an example of a state in which the optical element is projected in the observation system according to the sixth embodiment. As shown in FIG. 20, the observation system 1F includes a manipulator (robot manipulator) 2, an end effector 3D, an imaging unit 4F, an optical system 5F, and a robot control device 7F.
本実施形態におけるエンドエフェクタ３Ｄは、上述した第４実施形態と同様に、マニピュレータ２のアーム２１の端部のエフェクタ装着部２５に着脱可能に装着される。エンドエフェクタ３Ｄは、例えば、図示しない加工対象物に所定の加工を施すドリル刃等の工具１００である。エンドエフェクタ３Ｄは、エフェクタ装着部２５に対して着脱可能とされたアーム接続部３１Ｄと、工具本体１０１とを備える。なお、エンドエフェクタ３Ｄは、ドリル刃等の工具に限られない。
The end effector 3D in the present embodiment is detachably attached to the effector mounting portion 25 at the end of the arm 21 of the manipulator 2 in the same manner as in the fourth embodiment described above. The end effector 3D is, for example, a tool 100 such as a drill blade that performs a predetermined machining on an object to be machined (not shown). The end effector 3D includes an arm connecting portion 31D that is detachable from the effector mounting portion 25, and a tool body 101. The end effector 3D is not limited to tools such as drill blades.
撮像部４Ｆは、図示しない撮像素子を備える。撮像部４Ｆの撮像素子は、例えば、複数の画素が二次元的に配列されたＣＭＯＳイメージセンサ、又はＣＣＤイメージセンサ等である。撮像部４Ｆは、撮像素子の撮像結果（観察結果、検出結果）を、ロボット制御装置７Ｆに出力する。本実施形態において、撮像部４Ｆは、マニピュレータ２に設けられる。マニピュレータ２は、撮像部４Ｆを支持する支持部材２６Ｆを備える。支持部材２６Ｆは、マニピュレータ２の第２アーム２３の第１アーム２２側とは反対の端部に設けられる。支持部材２６Ｆは、ロボット制御装置７Ｆの制御に従って、第２アーム２３の中心軸ＡＣに対して交差（直交）する方向に移動可能である。撮像部４Ｆは、支持部材２６Ｆに固定される。撮像部４Ｆは、撮像部４Ｆの撮像光軸ＡＰが、マニピュレータ２の中心軸ＡＣに直交するように設けられる。撮像部４Ｆは、エンドエフェクタ３Ｄに装着された工具本体１０１を撮像する。より具体的には、撮像部４Ｆは、エンドエフェクタ３Ｄに保持された工具本体１０１の位置や姿勢を撮像する。
The image pickup unit 4F includes an image pickup element (not shown). The image sensor on the 4th floor of the image pickup unit is, for example, a CMOS image sensor in which a plurality of pixels are two-dimensionally arranged, a CCD image sensor, or the like. The image pickup unit 4F outputs the image pickup result (observation result, detection result) of the image pickup element to the robot control device 7F. In the present embodiment, the imaging unit 4F is provided on the manipulator 2. The manipulator 2 includes a support member 26F that supports the imaging unit 4F. The support member 26F is provided at an end of the second arm 23 of the manipulator 2 opposite to the first arm 22 side. The support member 26F can move in a direction intersecting (orthogonal) with respect to the central axis AC of the second arm 23 under the control of the robot control device 7F. The image pickup unit 4F is fixed to the support member 26F. The image pickup unit 4F is provided so that the image pickup optical axis AP of the image pickup unit 4F is orthogonal to the central axis AC of the manipulator 2. The imaging unit 4F images the tool body 101 mounted on the end effector 3D. More specifically, the imaging unit 4F images the position and orientation of the tool body 101 held by the end effector 3D.
光学系５Ｆは、支持部材２６Ｆに設けられる。本実施形態において、光学系５Ｆは、１つの光学素子５６を備える。光学素子５６は、例えば、平板状のミラー等であり、撮像部４Ｆの撮像光軸ＡＰ、及びエンドエフェクタ３Ｄの中心軸ＡＭの双方に対して所定の角度（例えば、４５度）で傾斜して設けられる。光学素子５６は、撮像部４の撮像光軸ＡＰをエンドエフェクタ３Ｄの中心軸ＡＭに一致させるように配置される。光学素子５６は、撮像部４Ｆとともに、支持部材２６Ｆと一体に、マニピュレータ２の中心軸ＡＣに直交する方向に移動可能に設けられる。図２１に示すように、撮像部４Ｆにより撮像が行われる場合は、支持部材２６Ｆが移動することで、光学素子５６がマニピュレータ２から側方に突出する。光学素子５６は、エンドエフェクタ３Ｄの工具本体１０１の像が、撮像部４Ｆの撮像素子上で結像するように設けられる。
The optical system 5F is provided on the support member 26F. In the present embodiment, the optical system 5F includes one optical element 56. The optical element 56 is, for example, a flat mirror or the like, and is inclined at a predetermined angle (for example, 45 degrees) with respect to both the imaging optical axis AP of the imaging unit 4F and the central axis AM of the end effector 3D. It will be provided. The optical element 56 is arranged so that the imaging optical axis AP of the imaging unit 4 coincides with the central axis AM of the end effector 3D. The optical element 56, together with the image pickup unit 4F, is provided integrally with the support member 26F so as to be movable in a direction orthogonal to the central axis AC of the manipulator 2. As shown in FIG. 21, when the imaging unit 4F performs imaging, the support member 26F moves so that the optical element 56 projects laterally from the manipulator 2. The optical element 56 is provided so that an image of the tool body 101 of the end effector 3D is formed on the image pickup element of the image pickup unit 4F.
ロボット制御装置７Ｆ（図５参照）は、マニピュレータ２、エンドエフェクタ３Ｄ、及び撮像部４Ｆ等の動作を制御する。第６実施形態における算出部７３は、エンドエフェクタ３Ｄを撮像部４により撮像した撮像画像と、エンドエフェクタ３Ｄに関する情報とに基づいて、エンドエフェクタ３Ｄの中心軸ＡＭの軸ずれ量を算出する。第６実施形態における補正部７４は、算出部７３が算出した軸ずれ量に基づいて、マニピュレータ２の移動先の位置（工具本体１０１による加工位置）や、エンドエフェクタ３Ｄの姿勢等を補正する。
The robot control device 7F (see FIG. 5) controls the operations of the manipulator 2, the end effector 3D, the imaging unit 4F, and the like. The calculation unit 73 in the sixth embodiment calculates the amount of misalignment of the central axis AM of the end effector 3D based on the image captured by the image pickup unit 4 of the end effector 3D and the information about the end effector 3D. The correction unit 74 in the sixth embodiment corrects the position of the movement destination of the manipulator 2 (machining position by the tool body 101), the posture of the end effector 3D, and the like based on the amount of axial deviation calculated by the calculation unit 73.
第６実施形態における移動制御部７５は、マニピュレータ２によるエンドエフェクタ３Ｄの移動動作を制御する。移動制御部７５は、例えば、補正部７４が補正したマニピュレータ２の移動先の位置に応じて、マニピュレータ２を動作させる。移動制御部７５は、補正部７４が補正した工具本体１０１の加工位置に応じて、マニピュレータ２を動作させる。第６実施形態におけるエンドエフェクタ制御部７６は、工具本体１０１の動作を制御する。エンドエフェクタ制御部７６は、例えば、補正部７４が補正したエンドエフェクタ３Ｄの姿勢等に基づいて、マニピュレータ２を制御してエンドエフェクタ３Ｄの姿勢を制御する。第６実施形態における撮像制御部７７は、撮像部４Ｆによる撮像動作を制御する。第６実施形態における信号出力部７８は、移動制御部７５、エンドエフェクタ制御部７６、及び撮像部４Ｆから出力される指令信号を出力する。
The movement control unit 75 in the sixth embodiment controls the movement operation of the end effector 3D by the manipulator 2. The movement control unit 75 operates the manipulator 2 according to, for example, the position of the movement destination of the manipulator 2 corrected by the correction unit 74. The movement control unit 75 operates the manipulator 2 according to the machining position of the tool body 101 corrected by the correction unit 74. The end effector control unit 76 in the sixth embodiment controls the operation of the tool body 101. The end effector control unit 76 controls the manipulator 2 to control the posture of the end effector 3D, for example, based on the posture of the end effector 3D corrected by the correction unit 74. The image pickup control unit 77 in the sixth embodiment controls the image pickup operation by the image pickup unit 4F. The signal output unit 78 in the sixth embodiment outputs a command signal output from the movement control unit 75, the end effector control unit 76, and the image pickup unit 4F.
図２２は、第６実施形態に係るロボット制御装置における処理の流れの例を示すフローチャートである。ステップＳ３１において、工具本体１０１を用いた加工等が行われる場合は、上述した第１実施形態のステップＳ１と同様に、撮像部４Ｆのステージ８に対する位置合わせが実施される。ステップＳ３２において、移動制御部７５は、上述した第４実施形態のステップＳ１２と同様に、マニピュレータ２を所定位置に移動させ、マニピュレータ２の端部に工具１００を装着させる。
FIG. 22 is a flowchart showing an example of a processing flow in the robot control device according to the sixth embodiment. When machining or the like using the tool body 101 is performed in step S31, the positioning of the imaging unit 4F with respect to the stage 8 is performed in the same manner as in step S1 of the first embodiment described above. In step S32, the movement control unit 75 moves the manipulator 2 to a predetermined position and attaches the tool 100 to the end of the manipulator 2 in the same manner as in step S12 of the fourth embodiment described above.
ステップＳ３３において、ロボット制御装置７Ｆは、エンドエフェクタ３Ｄ（工具本体１０１）の中心軸ＡＭの位置合わせを行う。例えば、ロボット制御装置７Ｆは、支持部材２６Ｆを移動させ、光学素子５６をマニピュレータ２から側方に突出させる（図２１参照）。そして、撮像部４Ｆは、工具本体１０１の端部を撮像する。ステップＳ３４において、算出部７３は、撮像部４Ｆが撮像した撮像画像に基づいて、マニピュレータ２の中心軸ＡＣに対するエンドエフェクタ３Ｄの中心軸ＡＭの軸ずれ量を算出する。ステップＳ３５において、補正部７４は、算出部７３が算出した軸ずれ量に基づいて、工具本体１０１による加工位置を補正する。ステップＳ３６において、移動制御部７５は、補正部７４が補正した加工位置に基づいてマニピュレータ２を動作させ、エンドエフェクタ３Ｄに保持された工具本体１０１の中心位置を加工位置に移動させる。これらの後、マニピュレータ２及びエンドエフェクタ３Ｄは、工具本体１０１による加工対象物の加工を実施する。
In step S33, the robot control device 7F aligns the central axis AM of the end effector 3D (tool body 101). For example, the robot control device 7F moves the support member 26F to project the optical element 56 laterally from the manipulator 2 (see FIG. 21). Then, the image pickup unit 4F takes an image of the end portion of the tool body 101. In step S34, the calculation unit 73 calculates the amount of axial deviation of the central axis AM of the end effector 3D with respect to the central axis AC of the manipulator 2 based on the captured image captured by the imaging unit 4F. In step S35, the correction unit 74 corrects the machining position by the tool body 101 based on the shaft deviation amount calculated by the calculation unit 73. In step S36, the movement control unit 75 operates the manipulator 2 based on the machining position corrected by the correction section 74, and moves the center position of the tool body 101 held by the end effector 3D to the machining position. After these, the manipulator 2 and the end effector 3D process the object to be machined by the tool body 101.
本実施形態によれば、観察システム１Ｆは、撮像部４Ｆの撮像光軸ＡＰをエンドエフェクタ３Ｄの中心軸ＡＭに一致させるように配置された光学系５Ｆをマニピュレータ２が備える。この結果、観察システム１Ｆは、エンドエフェクタ３Ｄと工具本体１０１との位置関係を高精度に把握できる。従って、観察システム１Ｆは、マニピュレータ２に装着された工具本体１０１の位置を、より高精度に検出できる。また、観察システム１Ｆは、マニピュレータ２に光学系５Ｆが設けられているので、光学系５Ｆを介した撮像部４Ｆによる撮像を容易に実施することができ、対象物ＯＢの搬送をより効率的に実現できる。さらに、観察システム１Ｆは、支持部材２６Ｆとともに、マニピュレータ２の中心軸ＡＣに交差する方向に移動可能に光学系５Ｆが設けられるので、エンドエフェクタ３Ｄとしての工具１００をマニピュレータ２に装着した場合であっても、工具本体１０１の端部の撮像を行い、位置の補正を確実に行える。なお、本実施形態では、エンドエフェクタ３Ｄを工具本体１０１としているが、第１実施形態で説明したように、エンドエフェクタ３Ｄのハンド本体３４Ａ、３４Ｂが工具本体１０１を把持する構成でもよい。
According to the present embodiment, in the observation system 1F, the manipulator 2 includes an optical system 5F arranged so that the imaging optical axis AP of the imaging unit 4F coincides with the central axis AM of the end effector 3D. As a result, the observation system 1F can grasp the positional relationship between the end effector 3D and the tool body 101 with high accuracy. Therefore, the observation system 1F can detect the position of the tool body 101 mounted on the manipulator 2 with higher accuracy. Further, in the observation system 1F, since the manipulator 2 is provided with the optical system 5F, imaging by the imaging unit 4F via the optical system 5F can be easily performed, and the object OB can be transported more efficiently. realizable. Further, in the observation system 1F, since the optical system 5F is provided together with the support member 26F so as to be movable in the direction intersecting the central axis AC of the manipulator 2, the tool 100 as the end effector 3D is attached to the manipulator 2. However, the end portion of the tool body 101 can be imaged to reliably correct the position. In the present embodiment, the end effector 3D is the tool body 101, but as described in the first embodiment, the hand bodies 34A and 34B of the end effector 3D may grip the tool body 101.
［第７実施形態］
次に、第７実施形態を説明する。本実施形態において、上述した実施形態と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する場合がある。
[7th Embodiment]
Next, the seventh embodiment will be described. In the present embodiment, the same components as those in the above-described embodiment are designated by the same reference numerals, and the description thereof may be omitted or simplified.
図２３は、第７実施形態に係る観察システムの構成例を示す側面図である。図２３に示すように、観察システム１Ｇは、マニピュレータ（ロボットマニピュレータ）２と、エンドエフェクタ３Ｄと、撮像部４と、光学系５Ｇと、ロボット制御装置７Ｅとを有する。本実施形態における観察システム１Ｇは、上述した第６実施形態における観察システム１Ｅに対して、光学系５Ｇの構成が主に異なる。
FIG. 23 is a side view showing a configuration example of the observation system according to the seventh embodiment. As shown in FIG. 23, the observation system 1G includes a manipulator (robot manipulator) 2, an end effector 3D, an imaging unit 4, an optical system 5G, and a robot control device 7E. The observation system 1G in the present embodiment is mainly different in the configuration of the optical system 5G from the observation system 1E in the sixth embodiment described above.
光学系５Ｇは、例えば、エンドエフェクタ３に設けられる。光学系５Ｇは、例えば、光学素子５７Ａ、光学素子５７Ｂを備える。光学素子５７Ａ、５７Ｂは、例えば、平板状のミラーであり、撮像部４の撮像光軸ＡＰ、及びエンドエフェクタ３の中心軸ＡＭの双方に対して所定の角度（例えば、４５度）で傾斜して、互いに平行に設けられる。光学素子５７Ａ、５７Ｂは、撮像部４の撮像光軸ＡＰの少なくとも一部をエンドエフェクタ３の中心軸ＡＭに一致させるように配置される。対象物ＯＢが把持されたとき、折り曲げミラーである光学素子５７Ｂは、対象物ＯＢとマニピュレータ２（エンドエフェクタ３を含む）との間に配置された状態となる。光学素子５７Ａ、５７Ｂは、エンドエフェクタ３のハンド本体３４Ａ、３４Ｂの間の像が、撮像部４の撮像素子上で結像するように配置される。光学系５Ｇを備えるマニピュレータ２は、上述した第６実施形態と同様に制御される。
The optical system 5G is provided in, for example, the end effector 3. The optical system 5G includes, for example, an optical element 57A and an optical element 57B. The optical elements 57A and 57B are, for example, flat mirrors, and are inclined at a predetermined angle (for example, 45 degrees) with respect to both the imaging optical axis AP of the imaging unit 4 and the central axis AM of the end effector 3. And are provided parallel to each other. The optical elements 57A and 57B are arranged so that at least a part of the imaging optical axis AP of the imaging unit 4 coincides with the central axis AM of the end effector 3. When the object OB is gripped, the optical element 57B, which is a bending mirror, is in a state of being arranged between the object OB and the manipulator 2 (including the end effector 3). The optical elements 57A and 57B are arranged so that the image between the hand bodies 34A and 34B of the end effector 3 is formed on the image pickup element of the image pickup unit 4. The manipulator 2 including the optical system 5G is controlled in the same manner as in the sixth embodiment described above.
本実施形態によれば、観察システム１Ｇは、撮像部４の撮像光軸ＡＰの少なくとも一部をエンドエフェクタ３の中心軸ＡＭに一致させるように配置された光学系５Ｇを、エンドエフェクタ３が備える。この結果、観察システム１Ｇは、エンドエフェクタ３と対象物ＯＢとの位置関係を高精度に把握することができ、対象物ＯＢの把持や解放の動作を円滑に行える。また、観察システム１Ｇは、光学系５Ｇがエンドエフェクタ３に設けられるので、光学系５Ｇを介した撮像部４による撮像を容易に実施することができ、対象物ＯＢの搬送をより効率的に実現できる。
According to the present embodiment, in the observation system 1G, the end effector 3 includes an optical system 5G arranged so that at least a part of the imaging optical axis AP of the imaging unit 4 is aligned with the central axis AM of the end effector 3. .. As a result, the observation system 1G can grasp the positional relationship between the end effector 3 and the object OB with high accuracy, and can smoothly grasp and release the object OB. Further, in the observation system 1G, since the optical system 5G is provided in the end effector 3, imaging by the imaging unit 4 via the optical system 5G can be easily performed, and the object OB can be conveyed more efficiently. it can.
なお、第７実施形態では、光学系５Ｇをエンドエフェクタ３が備える場合を例に挙げた。光学系５Ｇの光学素子の少なくとも一つは、エンドエフェクタ３に備えられなくてもよい。例えば、エンドエフェクタ３は、光学素子５７Ａを備えなくてもよい。かかる場合、光学素子５７Ａは、ミラー保持部材等により固定された状態で配置してもよい。かかるミラー保持部材は、例えば、ステージ８の上面８ａに直交するＺ方向の上方に延びて、光学素子５７Ａを保持すればよい。また、ミラー保持部材は、マニピュレータ２の移動に際して、障害にならない位置に配置されることが好ましい。本実施形態において、光学素子５７Ａは「第１光学系」に対応し、光学素子５７Ｂは「第２光学系」に対応する。このとき、観察システム１Ｇは、対象物ＯＢを把持した後に、撮像部４の撮像光軸ＡＰの少なくとも一部が光学素子５７Ａを通る位置にマニピュレータ２を移動させたうえで、対象物ＯＢを撮像して、対象物ＯＢの把持ずれを補正すればよい。すなわち、本実施形態において、目標位置へのマニピュレータ２の移動は、撮像部４の撮像光軸ＡＰの少なくとも一部が光学素子５７Ａを通る位置にマニピュレータ２を移動させることと同等である。マニピュレータ２を目標位置へ移動させたとき、光学素子５７Ａ、５７Ｂを介した撮像部４の撮像光軸ＡＰの少なくとも一部と、エンドエフェクタ３の中心軸ＡＭとは一致する。
In the seventh embodiment, the case where the end effector 3 includes the optical system 5G is given as an example. At least one of the optical elements of the optical system 5G does not have to be provided in the end effector 3. For example, the end effector 3 does not have to include the optical element 57A. In such a case, the optical element 57A may be arranged in a state of being fixed by a mirror holding member or the like. Such a mirror holding member may extend upward in the Z direction orthogonal to the upper surface 8a of the stage 8 to hold the optical element 57A, for example. Further, it is preferable that the mirror holding member is arranged at a position that does not hinder the movement of the manipulator 2. In this embodiment, the optical element 57A corresponds to the "first optical system" and the optical element 57B corresponds to the "second optical system". At this time, the observation system 1G captures the object OB after grasping the object OB and then moving the manipulator 2 to a position where at least a part of the imaging optical axis AP of the imaging unit 4 passes through the optical element 57A. Then, the gripping deviation of the object OB may be corrected. That is, in the present embodiment, the movement of the manipulator 2 to the target position is equivalent to moving the manipulator 2 to a position where at least a part of the imaging optical axis AP of the imaging unit 4 passes through the optical element 57A. When the manipulator 2 is moved to the target position, at least a part of the imaging optical axis AP of the imaging unit 4 via the optical elements 57A and 57B coincides with the central axis AM of the end effector 3.
［第８実施形態］
次に、第８実施形態を説明する。本実施形態において、上述した実施形態と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する場合がある。
[8th Embodiment]
Next, the eighth embodiment will be described. In the present embodiment, the same components as those in the above-described embodiment are designated by the same reference numerals, and the description thereof may be omitted or simplified.
図２４は、第８実施形態に係る観察システムの構成例を示す側面図である。図２４に示すように、観察システム１Ｈは、マニピュレータ（ロボットマニピュレータ）２と、エンドエフェクタ３と、撮像部４Ｈと、光学系５Ｈと、ロボット制御装置７Ｅとを有する。本実施形態における観察システム１Ｈは、上述した第７実施形態における観察システム１Ｇに対して、撮像部４Ｈ、支持部材２６Ｈ、及び光学系５Ｈの構成が主に異なる。
FIG. 24 is a side view showing a configuration example of the observation system according to the eighth embodiment. As shown in FIG. 24, the observation system 1H includes a manipulator (robot manipulator) 2, an end effector 3, an imaging unit 4H, an optical system 5H, and a robot control device 7E. The observation system 1H in the present embodiment is mainly different in the configuration of the imaging unit 4H, the support member 26H, and the optical system 5H from the observation system 1G in the seventh embodiment described above.
撮像部４Ｈは、図示しない撮像素子を備える。撮像部４Ｈは、マニピュレータ２に設けられる。マニピュレータ２は、撮像部４Ｈを支持する支持部材２６Ｈを備える。支持部材２６Ｈは、マニピュレータ２の第２アーム２３の第１アーム２２側とは反対の端部に設けられる。支持部材２６Ｈは、第２アーム２３の中心軸ＡＣに対して交差（直交）して第２アーム２３から側方に突出する支持部材基部２６ｊと、支持部材基部２６ｊの端部から下方に延びる延長部２６ｋとを備える。撮像部４Ｈは、支持部材２６Ｈの延長部２６ｋの端部（下端）に固定される。撮像部４Ｈは、撮像部４Ｈの撮像光軸ＡＰが、エンドエフェクタ３の中心軸ＡＭに直交するように設けられる。
The image pickup unit 4H includes an image pickup element (not shown). The image pickup unit 4H is provided on the manipulator 2. The manipulator 2 includes a support member 26H that supports the imaging unit 4H. The support member 26H is provided at an end portion of the second arm 23 of the manipulator 2 opposite to the first arm 22 side. The support member 26H has a support member base portion 26j that intersects (orthogonally) with respect to the central axis AC of the second arm 23 and projects laterally from the second arm 23, and an extension extending downward from the end portion of the support member base portion 26j. A unit 26k is provided. The image pickup unit 4H is fixed to the end portion (lower end) of the extension portion 26k of the support member 26H. The imaging unit 4H is provided so that the imaging optical axis AP of the imaging unit 4H is orthogonal to the central axis AM of the end effector 3.
光学系５Ｈは、エンドエフェクタ３に設けられる。光学系５Ｈは、光学素子５７Ｃを備える。光学素子５７Ｃは、例えば、平板状のミラー等であり、撮像部４Ｈの撮像光軸ＡＰ、及びエンドエフェクタ３の中心軸ＡＭの双方に対して所定の角度（例えば、４５度）で傾斜している。光学素子５７Ｃは、撮像部４Ｈの撮像光軸ＡＰの少なくとも一部をエンドエフェクタ３の中心軸ＡＭに一致させるように配置される。光学素子５７Ｃは、エンドエフェクタ３のハンド本体３４Ａ、３４Ｂの間の像が、撮像部４Ｈの撮像素子上で結像するように設けられる。すなわち、光学系５Ｈは、エンドエフェクタ３の端部、及びエンドエフェクタ３の端部が把持する（している）対象物ＯＢの像を、撮像部４Ｈの撮像素子上に結像させる。マニピュレータ２が対象物ＯＢを把持したとき、折り曲げミラーである光学素子５７Ｃは、対象物ＯＢとマニピュレータ２（エンドエフェクタ３を含む）との間に配置された状態となる。光学系５Ｈを備えるマニピュレータ２は、上述した第６実施形態、第７実施形態等と同様に制御される。
The optical system 5H is provided on the end effector 3. The optical system 5H includes an optical element 57C. The optical element 57C is, for example, a flat mirror or the like, and is inclined at a predetermined angle (for example, 45 degrees) with respect to both the imaging optical axis AP of the imaging unit 4H and the central axis AM of the end effector 3. There is. The optical element 57C is arranged so that at least a part of the imaging optical axis AP of the imaging unit 4H is aligned with the central axis AM of the end effector 3. The optical element 57C is provided so that an image between the hand bodies 34A and 34B of the end effector 3 is formed on the image pickup element of the image pickup unit 4H. That is, the optical system 5H forms an image of the end portion of the end effector 3 and the object OB held (held) by the end portion of the end effector 3 on the image sensor of the image pickup unit 4H. When the manipulator 2 grips the object OB, the optical element 57C, which is a bending mirror, is placed between the object OB and the manipulator 2 (including the end effector 3). The manipulator 2 including the optical system 5H is controlled in the same manner as in the sixth embodiment, the seventh embodiment, and the like described above.
本実施形態によれば、観察システム１Ｈは、撮像部４Ｈの撮像光軸ＡＰをエンドエフェクタ３の中心軸ＡＭに一致するように配置された光学系５Ｈをエンドエフェクタ３が備える。この結果、観察システム１Ｈは、エンドエフェクタ３と対象物ＯＢとの位置関係を高精度に把握することができ、対象物ＯＢの把持や解放の動作を円滑に行える。従って、観察システム１Ｈは、マニピュレータ２に装着されたエンドエフェクタ３や、エンドエフェクタ３で把持した対象物ＯＢの位置を、より高精度に検出できる。また、観察システム１Ｈは、エンドエフェクタ３に光学系５Ｈが設けられるので、光学系５Ｈを介した撮像部４Ｈによる撮像を容易に実施することができ、対象物ＯＢの搬送をより効率的に実現できる。
According to the present embodiment, the observation system 1H includes an optical system 5H in which the imaging optical axis AP of the imaging unit 4H is arranged so as to coincide with the central axis AM of the end effector 3. As a result, the observation system 1H can grasp the positional relationship between the end effector 3 and the object OB with high accuracy, and can smoothly grasp and release the object OB. Therefore, the observation system 1H can detect the positions of the end effector 3 mounted on the manipulator 2 and the object OB gripped by the end effector 3 with higher accuracy. Further, in the observation system 1H, since the end effector 3 is provided with the optical system 5H, imaging by the imaging unit 4H via the optical system 5H can be easily performed, and the object OB can be conveyed more efficiently. it can.
［第９実施形態］
次に、第９実施形態を説明する。本実施形態において、上述した実施形態と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する場合がある。
[9th Embodiment]
Next, the ninth embodiment will be described. In the present embodiment, the same components as those in the above-described embodiment are designated by the same reference numerals, and the description thereof may be omitted or simplified.
図２５は、第９実施形態に係る観察システムの構成例を示す側面図である。図２５に示すように、観察システム１Ｊは、マニピュレータ（ロボットマニピュレータ）２と、エンドエフェクタ３と、撮像部４Ｊと、光学系５Ｊと、ロボット制御装置７Ｊとを有する。本実施形態における観察システム１Ｊは、上述した実施形態に対して、撮像部４Ｊと、光学系５Ｊとの構成が主に異なる。
FIG. 25 is a side view showing a configuration example of the observation system according to the ninth embodiment. As shown in FIG. 25, the observation system 1J includes a manipulator (robot manipulator) 2, an end effector 3, an imaging unit 4J, an optical system 5J, and a robot control device 7J. The observation system 1J in the present embodiment is mainly different in the configuration of the imaging unit 4J and the optical system 5J from the above-described embodiment.
撮像部４Ｊは、図示しない撮像素子を備える。撮像部４Ｊは、マニピュレータ２とは別に独立して設けられる。撮像部４Ｊは、例えば、ステージ８上に設けられた支持部材２９に支持される。支持部材２９は、ステージ８上に固定されたベース部材２９ａと、ベース部材２９ａのステージ８側とは反対の端部から、Ｘ−Ｙ平面内に延びるミラー保持部材２９ｂとを備える。また、撮像部４Ｊは、ミラー保持部材２９ｂに固定される。撮像部４Ｊは、撮像部４Ｊの撮像光軸ＡＰが、エンドエフェクタ３の中心軸ＡＭに直交するように設けられる。撮像部４Ｊは、エンドエフェクタ３が把持している対象物ＯＢを撮像する。
The image pickup unit 4J includes an image pickup element (not shown). The image pickup unit 4J is provided independently of the manipulator 2. The image pickup unit 4J is supported by, for example, a support member 29 provided on the stage 8. The support member 29 includes a base member 29a fixed on the stage 8 and a mirror holding member 29b extending in an XY plane from an end portion of the base member 29a opposite to the stage 8 side. Further, the imaging unit 4J is fixed to the mirror holding member 29b. The imaging unit 4J is provided so that the imaging optical axis AP of the imaging unit 4J is orthogonal to the central axis AM of the end effector 3. The imaging unit 4J images the object OB held by the end effector 3.
光学系５Ｊは、エンドエフェクタ３が装着されたマニピュレータ２から独立して配置される。光学系５Ｊは、例えば、撮像部４Ｊとともに、ミラー保持部材２９ｂに設けられる。光学系５Ｊは、例えば、光学素子５８を備える。光学素子５８は、例えば、平板状のミラー等である。光学素子５８は、撮像部４Ｊの撮像光軸ＡＰに対して所定の角度（例えば、４５度）だけ傾斜して設けられる。光学素子５８は、エンドエフェクタ３の中心軸ＡＭと光学素子５８とのＸ−Ｙ平面内における位置を合わせた状態で、ハンド本体３４Ａ、３４Ｂの間の像が、撮像部４Ｊの撮像素子上で結像するように設けられる。このとき、ミラー保持部材２９ｂは、エンドエフェクタ３の基部３３と、把持部３５Ａ、３５Ｂとの間に挿入された状態となる。
The optical system 5J is arranged independently of the manipulator 2 to which the end effector 3 is mounted. The optical system 5J is provided on the mirror holding member 29b together with the image pickup unit 4J, for example. The optical system 5J includes, for example, an optical element 58. The optical element 58 is, for example, a flat mirror or the like. The optical element 58 is provided so as to be inclined by a predetermined angle (for example, 45 degrees) with respect to the imaging optical axis AP of the imaging unit 4J. In the optical element 58, the image between the hand bodies 34A and 34B is displayed on the image sensor of the image pickup unit 4J in a state where the central axis AM of the end effector 3 and the optical element 58 are aligned in the XY plane. It is provided so as to form an image. At this time, the mirror holding member 29b is in a state of being inserted between the base portion 33 of the end effector 3 and the grip portions 35A and 35B.
上記により、光学系５Ｊは、撮像部４Ｊの撮像光軸ＡＰの少なくとも一部をエンドエフェクタ３の中心軸ＡＭに一致するように配置される。光学系５Ｊは、エンドエフェクタ３の端部、及びエンドエフェクタ３の端部が把持する対象物ＯＢの像を、撮像部４Ｊの撮像素子上に結像させる。撮像部４Ｊ及び光学系５Ｊは、例えば、対象物ＯＢの搬送元から搬送先までの搬送経路の途中に配置される場合がある。マニピュレータ２が対象物ＯＢを把持したとき、折り曲げミラーである光学素子５８は、対象物ＯＢとマニピュレータ２（エンドエフェクタ３を含む）との間に配置された状態となる。
As described above, the optical system 5J is arranged so that at least a part of the imaging optical axis AP of the imaging unit 4J coincides with the central axis AM of the end effector 3. The optical system 5J forms an image of the end of the end effector 3 and the object OB gripped by the end of the end effector 3 on the image sensor of the image pickup unit 4J. The imaging unit 4J and the optical system 5J may be arranged, for example, in the middle of the transport path from the transport source to the transport destination of the object OB. When the manipulator 2 grips the object OB, the optical element 58, which is a bending mirror, is placed between the object OB and the manipulator 2 (including the end effector 3).
ロボット制御装置７Ｊ（図５参照）は、マニピュレータ２、エンドエフェクタ３、及び撮像部４Ｊ等の動作を制御する。エンドエフェクタ制御部７６は、エンドエフェクタ３における対象物ＯＢの保持や解放の動作を制御する。撮像制御部７７は、撮像部４Ｊに撮像処理を実行させる。
The robot control device 7J (see FIG. 5) controls the operations of the manipulator 2, the end effector 3, the imaging unit 4J, and the like. The end effector control unit 76 controls the operation of holding and releasing the object OB in the end effector 3. The image pickup control unit 77 causes the image pickup unit 4J to execute the image pickup process.
図２６は、第９実施形態に係るロボット制御装置における処理の流れの例を示すフローチャートである。ステップＳ４１において、移動制御部７５は、マニピュレータ２を動作させ、対象物ＯＢの搬送元の位置Ｐ１にエンドエフェクタ３を移動させる。ステップＳ４２において、エンドエフェクタ制御部７６は、ハンド本体３４Ａ、３４Ｂの端部に設けられた把持部３５Ａ、３５Ｂに圧力を加えさせ、把持パッド３７のそれぞれを内側に突出させる。これにより、対象物ＯＢは、把持パッド３７のそれぞれの間に挟み込まれ、エンドエフェクタ３に保持（把持）される。
FIG. 26 is a flowchart showing an example of a processing flow in the robot control device according to the ninth embodiment. In step S41, the movement control unit 75 operates the manipulator 2 to move the end effector 3 to the position P1 of the transport source of the object OB. In step S42, the end effector control unit 76 applies pressure to the grip portions 35A and 35B provided at the ends of the hand bodies 34A and 34B to project each of the grip pads 37 inward. As a result, the object OB is sandwiched between the gripping pads 37 and held (held) by the end effector 3.
ステップＳ４３において、移動制御部７５は、マニピュレータ２を動作させ、対象物ＯＢを把持したエンドエフェクタ３を、撮像部４Ｊ及び光学系５Ｊが設けられる位置に移動させる。具体的には、移動制御部７５は、把持部３５Ａ、３５Ｂの間に、光学系５Ｊ等が設けられたミラー保持部材２９ｂを挿入させた状態となる位置に、エンドエフェクタ３を移動させる。このとき、移動先の座標を記憶部７２等に予め記憶させ、移動制御部７５は、記憶部７２等に記憶された座標値に基づいてエンドエフェクタ３を移動させてもよい。
In step S43, the movement control unit 75 operates the manipulator 2 to move the end effector 3 holding the object OB to a position where the image pickup unit 4J and the optical system 5J are provided. Specifically, the movement control unit 75 moves the end effector 3 to a position where the mirror holding member 29b provided with the optical system 5J or the like is inserted between the grip portions 35A and 35B. At this time, the coordinates of the movement destination may be stored in advance in the storage unit 72 or the like, and the movement control unit 75 may move the end effector 3 based on the coordinate values stored in the storage unit 72 or the like.
ステップＳ４４において、撮像制御部７７は、撮像部４Ｊを制御し、光学系５Ｊを介して撮像素子上で結像する像を撮像させる。これにより、撮像部４Ｊは、エンドエフェクタ３のハンド本体３４Ａ、３４Ｂの把持パッド３７のそれぞれによって把持されている対象物ＯＢを撮像する。撮像部４Ｊによって撮像された撮像画像のデータは、ロボット制御装置７Ｊに転送される（信号入力部７１は、撮像画像を受信する）。
In step S44, the image pickup control unit 77 controls the image pickup unit 4J to image an image to be imaged on the image pickup element via the optical system 5J. As a result, the imaging unit 4J images the object OB gripped by the gripping pads 37 of the hand bodies 34A and 34B of the end effector 3. The data of the captured image captured by the imaging unit 4J is transferred to the robot control device 7J (the signal input unit 71 receives the captured image).
ステップＳ４５において、算出部７３は、エンドエフェクタ３が把持している対象物ＯＢを撮像部４Ｊにより撮像した撮像画像と、記憶部７２が記憶する対象物ＯＢの大きさ及び形状等に関する情報とに基づいて、把持前の対象物ＯＢの状態と、把持後の対象物ＯＢの状態との変化量を算出する。算出部７３は、上述した第１実施形態のステップＳ７と同様に、エンドエフェクタ３に把持されている対象物ＯＢの状態の変化量として、例えばエンドエフェクタ３の中心軸ＡＭに対する位置ずれや姿勢（傾き）等を算出する。
In step S45, the calculation unit 73 obtains an image captured by the imaging unit 4J of the object OB held by the end effector 3 and information on the size and shape of the object OB stored by the storage unit 72. Based on this, the amount of change between the state of the object OB before gripping and the state of the object OB after gripping is calculated. Similar to step S7 of the first embodiment described above, the calculation unit 73 sets the amount of change in the state of the object OB held by the end effector 3, for example, the position deviation or posture of the end effector 3 with respect to the central axis AM ( Inclination) etc. are calculated.
ステップＳ４６において、補正部７４は、算出部７３が算出した変化量に基づいて、対象物ＯＢの搬送先におけるエンドエフェクタ３の位置及び姿勢のうち少なくとも１つを補正する。具体的には、補正部７４は、算出部７３が算出した位置ずれ量から、エンドエフェクタ３の搬送先の位置Ｐ２を補正する。加えて、補正部７４は、搬送先の位置Ｐ２において、エンドエフェクタ３に把持された対象物ＯＢの姿勢（傾き）が補正されるように、エンドエフェクタ３の姿勢（傾き、角度）を補正する。
In step S46, the correction unit 74 corrects at least one of the positions and postures of the end effector 3 at the transport destination of the object OB based on the amount of change calculated by the calculation unit 73. Specifically, the correction unit 74 corrects the position P2 of the transfer destination of the end effector 3 from the position deviation amount calculated by the calculation unit 73. In addition, the correction unit 74 corrects the posture (tilt, angle) of the end effector 3 so that the posture (tilt) of the object OB gripped by the end effector 3 is corrected at the position P2 of the transport destination. ..
ステップＳ４７において、移動制御部７５は、補正部７４が補正した搬送先の位置Ｐ２に基づいて、マニピュレータ２を動作させ、エンドエフェクタ３に保持された対象物ＯＢを搬送先の位置Ｐ２に搬送する。エンドエフェクタ制御部７６は、エンドエフェクタ３が把持している対象物ＯＢを搬送先の位置Ｐ２に載置するために、把持パッド３７のそれぞれに加えている圧力を解除し、挟み込んでいる対象物ＯＢを解放させる。
In step S47, the movement control unit 75 operates the manipulator 2 based on the position P2 of the transfer destination corrected by the correction unit 74, and conveys the object OB held by the end effector 3 to the position P2 of the transfer destination. .. The end effector control unit 76 releases the pressure applied to each of the gripping pads 37 in order to place the object OB gripped by the end effector 3 at the transfer destination position P2, and sandwiches the object. Release the OB.
本実施形態によれば、観察システム１Ｊは、マニピュレータ２から独立して配置された光学系５Ｊを介して、撮像部４Ｊの撮像光軸ＡＰと、エンドエフェクタ３の中心軸ＡＭとが一致する目標位置に、マニピュレータ２を動作させる。この結果、観察システム１Ｊは、エンドエフェクタ３と対象物ＯＢとの位置関係を高精度に把握できる。従って、観察システム１Ｊは、マニピュレータ２に装着されたエンドエフェクタ３や、エンドエフェクタ３で把持した対象物ＯＢの位置や姿勢等を、より高精度に検出できる。また、本実施形態では、把持ずれを算出するための撮像部４Ｊをマニピュレータ２が支持しないため、ロボットの動作時に撮像部４Ｊが障害とならずに効率的な作業が可能となる。
According to the present embodiment, the observation system 1J has a target in which the imaging optical axis AP of the imaging unit 4J and the central axis AM of the end effector 3 coincide with each other via the optical system 5J arranged independently of the manipulator 2. The manipulator 2 is operated at the position. As a result, the observation system 1J can grasp the positional relationship between the end effector 3 and the object OB with high accuracy. Therefore, the observation system 1J can detect the position and posture of the end effector 3 mounted on the manipulator 2 and the object OB gripped by the end effector 3 with higher accuracy. Further, in the present embodiment, since the manipulator 2 does not support the image pickup unit 4J for calculating the gripping deviation, the image pickup unit 4J does not become an obstacle during the operation of the robot, and efficient work becomes possible.
［第１０実施形態］
次に、第１０実施形態を説明する。本実施形態において、上述した実施形態と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する場合がある。
[10th Embodiment]
Next, the tenth embodiment will be described. In the present embodiment, the same components as those in the above-described embodiment are designated by the same reference numerals, and the description thereof may be omitted or simplified.
図２７は、第１０実施形態に係る観察システムの構成例を示す側面図である。図２７に示すように、観察システム１Ｋは、マニピュレータ（ロボットマニピュレータ）２と、エンドエフェクタ３と、撮像部４Ｊと、光学系５Ｋと、ロボット制御装置７Ｊとを有する。観察システム１Ｋは、上述した第９実施形態の観察システム１Ｊに対して、光学系５Ｋの構成が主に異なる。
FIG. 27 is a side view showing a configuration example of the observation system according to the tenth embodiment. As shown in FIG. 27, the observation system 1K includes a manipulator (robot manipulator) 2, an end effector 3, an imaging unit 4J, an optical system 5K, and a robot control device 7J. The observation system 1K is mainly different in the configuration of the optical system 5K from the observation system 1J of the ninth embodiment described above.
撮像部４Ｊは、上述した第９実施形態と同様に、マニピュレータ２とは別に独立して設けられる。撮像部４Ｊは、ステージ８上に設けられた支持部材２９に支持される。撮像部４Ｊは、撮像部４Ｊの撮像光軸ＡＰの少なくとも一部（光学系５Ｋを介するまでの撮像光軸ＡＰ）が、エンドエフェクタ３の中心軸ＡＭに直交するように設けられる。撮像部４Ｊは、対象物ＯＢの搬送元から搬送先までの搬送経路の途中に配置される場合がある。
The image pickup unit 4J is provided independently of the manipulator 2 as in the ninth embodiment described above. The image pickup unit 4J is supported by a support member 29 provided on the stage 8. The image pickup unit 4J is provided so that at least a part of the image pickup optical axis AP of the image pickup unit 4J (the image pickup optical axis AP up to the optical system 5K) is orthogonal to the central axis AM of the end effector 3. The image pickup unit 4J may be arranged in the middle of the transport path from the transport source to the transport destination of the object OB.
光学系５Ｋは、エンドエフェクタ３に設けられる。光学系５Ｋは、例えば、光学素子５９を備える。光学素子５９は、例えば、平板状のミラー等であり、図示しない支持部材を介してエンドエフェクタ３に固定される。光学素子５９は、撮像部４Ｊの撮像光軸ＡＰに対して所定の角度（例えば、４５度）だけ傾斜して設けられる。光学系５Ｋは、撮像部４Ｊの撮像光軸ＡＰの少なくとも一部がエンドエフェクタ３の中心軸ＡＭに一致するように配置される。光学系５Ｋは、エンドエフェクタ３の端部、及びエンドエフェクタ３の端部が把持する（している）対象物ＯＢの像を、撮像部４Ｊの撮像素子上に結像させる。ロボット制御装置７Ｊ（図５参照）は、マニピュレータ２、エンドエフェクタ３、及び撮像部４Ｊ等の動作を制御する。なお、エンドエフェクタ３が光学系５Ｋを支持する代わりに、マニピュレータ２が光学系５Ｋを支持してもよい。このとき、上述した第５実施形態と同様に、エンドエフェクタ３には、光学系５Ｋの下方と側方とに、撮像部４Ｊが対象物ＯＢを撮像するための開口が設けられる。
The optical system 5K is provided in the end effector 3. The optical system 5K includes, for example, an optical element 59. The optical element 59 is, for example, a flat mirror or the like, and is fixed to the end effector 3 via a support member (not shown). The optical element 59 is provided so as to be inclined by a predetermined angle (for example, 45 degrees) with respect to the imaging optical axis AP of the imaging unit 4J. The optical system 5K is arranged so that at least a part of the imaging optical axis AP of the imaging unit 4J coincides with the central axis AM of the end effector 3. The optical system 5K forms an image of the end portion of the end effector 3 and the object OB gripped (held) by the end portion of the end effector 3 on the image sensor of the image pickup unit 4J. The robot control device 7J (see FIG. 5) controls the operations of the manipulator 2, the end effector 3, the imaging unit 4J, and the like. Instead of the end effector 3 supporting the optical system 5K, the manipulator 2 may support the optical system 5K. At this time, similarly to the fifth embodiment described above, the end effector 3 is provided with openings below and to the side of the optical system 5K for the imaging unit 4J to image the object OB.
移動制御部７５は、マニピュレータ２を動作させ、エンドエフェクタ３を搬送元の位置Ｐ１に移動させる（ステップＳ４１に相当）。エンドエフェクタ制御部７６は、ハンド本体３４Ａ、３４Ｂの端部に設けられた把持部３５Ａ、３５Ｂに圧力を加えさせ、把持パッド３７のそれぞれを内側に突出させる（ステップＳ４２に相当）。これにより、対象物ＯＢは、把持パッド３７のそれぞれの間に挟み込まれ、エンドエフェクタ３に保持（把持）される。
The movement control unit 75 operates the manipulator 2 to move the end effector 3 to the transfer source position P1 (corresponding to step S41). The end effector control unit 76 applies pressure to the grip portions 35A and 35B provided at the ends of the hand bodies 34A and 34B to project each of the grip pads 37 inward (corresponding to step S42). As a result, the object OB is sandwiched between the gripping pads 37 and held (held) by the end effector 3.
移動制御部７５は、マニピュレータ２を動作させ、対象物ＯＢを把持したエンドエフェクタ３を、撮像部４Ｊが設けられる位置に移動させる（ステップＳ４３に相当）。移動制御部７５による制御の結果、光学素子５９は、撮像部４Ｊの撮像光軸ＡＰ、及びエンドエフェクタ３の中心軸ＡＭ上の位置に配置された状態となる。撮像制御部７７は、撮像部４Ｊを制御し、エンドエフェクタ３のハンド本体３４Ａ、３４Ｂの把持パッド３７のそれぞれで把持している対象物ＯＢを撮像させる（ステップＳ４４に相当）。撮像部４Ｊによって撮像された撮像画像のデータは、ロボット制御装置７Ｊに転送される（信号入力部７１は、撮像画像を受信する）。
The movement control unit 75 operates the manipulator 2 to move the end effector 3 holding the object OB to a position where the image pickup unit 4J is provided (corresponding to step S43). As a result of the control by the movement control unit 75, the optical element 59 is in a state of being arranged at positions on the imaging optical axis AP of the imaging unit 4J and the central axis AM of the end effector 3. The image pickup control unit 77 controls the image pickup unit 4J to take an image of the object OB gripped by each of the grip pads 37 of the hand body 34A and 34B of the end effector 3 (corresponding to step S44). The data of the captured image captured by the imaging unit 4J is transferred to the robot control device 7J (the signal input unit 71 receives the captured image).
算出部７３は、エンドエフェクタ３が把持している対象物ＯＢを撮像部４Ｊにより撮像した撮像画像と、記憶部７２が記憶する対象物ＯＢの大きさ及び形状等に関する情報とに基づいて、把持前の対象物ＯＢの状態と、把持後の対象物ＯＢの状態との変化量を算出する（ステップＳ４５に相当）。補正部７４は、算出部７３が算出した変化量に基づいて、対象物ＯＢの搬送先におけるエンドエフェクタ３の位置及び姿勢のうち少なくとも１つを補正する（ステップＳ４６に相当）。
The calculation unit 73 grips the object OB held by the end effector 3 based on an image captured by the image pickup unit 4J and information on the size and shape of the object OB stored by the storage unit 72. The amount of change between the state of the previous object OB and the state of the object OB after gripping is calculated (corresponding to step S45). The correction unit 74 corrects at least one of the positions and postures of the end effector 3 at the transport destination of the object OB based on the amount of change calculated by the calculation unit 73 (corresponding to step S46).
移動制御部７５は、補正部７４が補正した搬送先の位置Ｐ２に基づいて、マニピュレータ２を動作させ、エンドエフェクタ３に把持された対象物ＯＢを搬送先の位置Ｐ２に搬送する（ステップＳ４７に相当）。エンドエフェクタ制御部７６は、エンドエフェクタ３が把持している対象物ＯＢを搬送先の位置Ｐ２に載置するために、把持パッド３７のそれぞれに加えている圧力を解除し、挟み込んでいる対象物ＯＢを解放させる。
The movement control unit 75 operates the manipulator 2 based on the position P2 of the transfer destination corrected by the correction unit 74, and conveys the object OB gripped by the end effector 3 to the position P2 of the transfer destination (in step S47). Equivalent). The end effector control unit 76 releases the pressure applied to each of the gripping pads 37 in order to place the object OB gripped by the end effector 3 at the transfer destination position P2, and sandwiches the object. Release the OB.
本実施形態によれば、観察システム１Ｋは、エンドエフェクタ３に設けられた光学系５Ｋを介して、撮像部４Ｊの撮像光軸ＡＰと、エンドエフェクタ３の中心軸ＡＭとが一致する目標位置に、マニピュレータ２を動作させる。この結果、観察システム１Ｋは、エンドエフェクタ３と対象物ＯＢとの位置関係を高精度に把握できる。従って、観察システム１Ｋは、マニピュレータ２に装着されたエンドエフェクタ３や、エンドエフェクタ３で把持した対象物ＯＢの位置や姿勢等を、より高精度に検出できる。また、本実施形態では、把持ずれを算出するための撮像部４Ｊをマニピュレータ２が支持しないため、ロボットの動作時に撮像部４Ｊが障害とならずに効率的な作業が可能となる。
According to the present embodiment, the observation system 1K is set at a target position where the imaging optical axis AP of the imaging unit 4J and the central axis AM of the end effector 3 coincide with each other via the optical system 5K provided in the end effector 3. , Operate the manipulator 2. As a result, the observation system 1K can grasp the positional relationship between the end effector 3 and the object OB with high accuracy. Therefore, the observation system 1K can detect the position and posture of the end effector 3 mounted on the manipulator 2 and the object OB gripped by the end effector 3 with higher accuracy. Further, in the present embodiment, since the manipulator 2 does not support the image pickup unit 4J for calculating the gripping deviation, the image pickup unit 4J does not become an obstacle during the operation of the robot, and efficient work becomes possible.
上述してきた実施形態において、ロボット制御装置７は、例えば、コンピュータシステムを含む。ロボット制御装置７は、メモリ（例えば、記憶部７２等）に記憶されたプログラムを読み出し、読み出したプログラムに従って各種の処理を実行する。かかるプログラムは、例えば、コンピュータに、ロボットマニピュレータから独立して配置された光学系を介して、対象物を撮像する撮像部が、エンドエフェクタが保持する対象物を撮像可能な位置に、ロボットマニピュレータを移動させること、を実行させる。このプログラムは、コンピュータ読み取り可能な記憶媒体（例えば、非一時的な記憶媒体、non‐transitory tangible media）に記録されて提供されてもよい。また、クラウドストレージを利用してプログラムが記憶される場合等も含む。
In the embodiments described above, the robot control device 7 includes, for example, a computer system. The robot control device 7 reads a program stored in a memory (for example, a storage unit 72 or the like) and executes various processes according to the read program. In such a program, for example, the robot manipulator is placed in a position where an imaging unit that images an object can image an object held by an end effector via an optical system arranged independently of the robot manipulator on a computer. To move, to do. The program may be recorded and provided on a computer-readable storage medium (eg, non-transitory tangible media). It also includes the case where the program is stored using cloud storage.
また、上述してきた実施形態において、マニピュレータ２やエンドエフェクタ３から独立して配置された光学系と、マニピュレータ２やエンドエフェクタ３に支持された光学系とを配置する形態としてもよい。このとき、上述してきた実施形態と同様に、撮像光軸ＡＰの少なくとも一部と、エンドエフェクタ３の中心軸ＡＭとが一致する目標位置に、マニピュレータ２を移動させる制御等は同一となる。また、上述してきた実施形態によれば、光学系がマニピュレータから独立しているので、複数の方向から対象物を撮像（観察）できる。例えば、図３及び図４に示した光学系の配置と、図１４に示した光学系の配置との形態の双方を実施することで、対象物の上下方向（複数の方向）から対象物を撮像（観察）できる。このとき、対象物の一度の搬送で、複数の方向のうち２方向以上について撮像（観察）して把持ずれ等を補正することで、補正の精度をより向上させることができる。
Further, in the above-described embodiment, an optical system arranged independently of the manipulator 2 and the end effector 3 and an optical system supported by the manipulator 2 and the end effector 3 may be arranged. At this time, similarly to the above-described embodiment, the control for moving the manipulator 2 to the target position where at least a part of the imaging optical axis AP and the central axis AM of the end effector 3 coincide with each other is the same. Further, according to the above-described embodiment, since the optical system is independent of the manipulator, it is possible to image (observe) an object from a plurality of directions. For example, by implementing both the arrangement of the optical system shown in FIGS. 3 and 4 and the arrangement of the optical system shown in FIG. 14, the object can be moved from the vertical direction (plurality of directions) of the object. Can be imaged (observed). At this time, the accuracy of the correction can be further improved by imaging (observing) two or more directions out of a plurality of directions and correcting the gripping deviation or the like by transporting the object once.
また、撮像光軸ＡＰの少なくとも一部と、エンドエフェクタ３の中心軸ＡＭとが「一致」するとは、撮像光軸ＡＰの少なくとも一部とエンドエフェクタ３の中心軸とが同一軸となり完全に一致する場合だけでなく、ほぼ一致する場合も含む。また、撮像部４が、エンドエフェクタ３が把持する対象物ＯＢを観察可能な位置であって、撮像光軸ＡＰの少なくとも一部と、エンドエフェクタ３の中心軸ＡＭとを完全に一致させた位置から所定値だけオフセットさせた位置を目標位置としてもよい。この場合、撮像部４が撮像した対象物ＯＢの撮像画像における対象物ＯＢに対して所定値のオフセットを行うことで、撮像光軸ＡＰの少なくとも一部と、エンドエフェクタ３の中心軸ＡＭとが完全に一致している場合に撮像した画像と同様に、対象物ＯＢがオフセットしていない撮像画像を得ることができる。この場合、「一致」とは、撮像光軸ＡＰの少なくとも一部と、エンドエフェクタ３の中心軸ＡＭとの平行度がほぼ一致していることを含む。また、エフェクタ装着部２５とアーム接続部３１とが嵌合等により小さい誤差で組み合わされる場合、エンドエフェクタ３の中心軸は、マニピュレータ２の中心軸と同じである。また、エンドエフェクタ３の中心軸は、把持部３５Ａ、３５Ｂ、及び、ハンド本体３４Ａ、３４Ｂのそれぞれの対称軸も含む。
Further, when at least a part of the imaging optical axis AP and the central axis AM of the end effector 3 "match", at least a part of the imaging optical axis AP and the central axis of the end effector 3 are on the same axis and completely coincide with each other. It includes not only the case of doing but also the case of almost matching. Further, the imaging unit 4 is a position where the object OB held by the end effector 3 can be observed, and at least a part of the imaging optical axis AP and the central axis AM of the end effector 3 are completely aligned with each other. The target position may be a position offset from the target position by a predetermined value. In this case, by offsetting a predetermined value with respect to the object OB in the captured image of the object OB imaged by the imaging unit 4, at least a part of the imaging optical axis AP and the central axis AM of the end effector 3 become Similar to the image captured when the images match perfectly, it is possible to obtain an captured image in which the object OB is not offset. In this case, "matching" includes that at least a part of the imaging optical axis AP and the central axis AM of the end effector 3 have substantially the same parallelism. Further, when the effector mounting portion 25 and the arm connecting portion 31 are combined with each other with a smaller error in fitting or the like, the central axis of the end effector 3 is the same as the central axis of the manipulator 2. The central axis of the end effector 3 also includes the axes of symmetry of the grip portions 35A and 35B and the hand bodies 34A and 34B, respectively.
なお、技術範囲は、上述した実施形態等で説明した態様に限定されるものではない。上述した実施形態等で説明した要件の１つ以上は、省略されることがある。また、上述した実施形態等で説明した要件は、適宜、組み合わせることができる。また、法令で許容される限りにおいて、上述した実施形態等で引用した全ての文献の開示を援用して本文の記載の一部とする。
The technical scope is not limited to the aspects described in the above-described embodiments and the like. One or more of the requirements described in the above-described embodiments and the like may be omitted. In addition, the requirements described in the above-described embodiments and the like can be combined as appropriate. In addition, to the extent permitted by law, the disclosure of all documents cited in the above-mentioned embodiments and the like shall be incorporated as part of the description in the main text.
