JP2012086333A

JP2012086333A - Robot cell

Info

Publication number: JP2012086333A
Application number: JP2010237109A
Authority: JP
Inventors: Toshihiko Mimura; 敏彦三村; Yuji Matsuo; 雄二松尾
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-10-22
Filing date: 2010-10-22
Publication date: 2012-05-10
Anticipated expiration: 2030-10-22
Also published as: JP5653166B2

Abstract

PROBLEM TO BE SOLVED: To improve space efficiency, tact, and operating efficiency of equipment in each robot station, in a robot cell composed of a combination of a plurality of robot stations.SOLUTION: Each robot station includes a pair of robot arms 101, 102, and a booth 104 for fixing an imaging means so that an imaging area is parallel to a workspace of the robot arms. A visual field of a camera 106 as the imaging means is expanded to a roof 103a of a rack that is a workspace of an adjoining robot station. In addition, the movable range of the robot arms mounted to each robot station is expanded in the workspace of the adjoining robot station.

Description

本発明は、生産システムに組み込まれるロボットを有するユニット化された汎用組立装置（ロボットステーション）を組み合わせて構成される生産システム（ロボットセル）に関するものである。 The present invention relates to a production system (robot cell) configured by combining unitized general-purpose assembly apparatuses (robot stations) having a robot incorporated in a production system.

近年、小型の電機製品、電子製品等は、多品種少量生産化や製品サイクルの短期化が進んでおり、これらを生産する生産ラインも、生産対象となる製品にあわせて、ライン構成の組み換えが頻繁に行われる傾向がある。こうした生産ラインは、ライン変更のための時間や専用の治具を作る必要があるため、ある程度まとまった数が出ない場合は、自動化生産ラインは見送り、人手によるセル生産で対応しているものが多い。しかしながら、このような場合にあっても、製品の品質の安定や、急激な生産増加等に対応するため、生産ラインの自動化が望まれている。 In recent years, small electrical products, electronic products, etc. have been produced in a variety of small-lot production and product cycles have been shortened, and the production lines that produce them have been reconfigured according to the products to be produced. There is a tendency to occur frequently. Since these production lines require time for line changes and special jigs, if there is a certain number of batches, the automated production line is forgotten and some are handled by manual cell production. Many. However, even in such a case, it is desired to automate the production line in order to cope with stable product quality and rapid increase in production.

そこで、近年は、汎用利用可能なロボットステーションが注目されている。ロボットステーションを利用したロボットセルでは、被加工物の加工や搬送に、汎用的に利用可能な複数のロボットステーションを再配列して新たなロボットセルを構築することができる。また、急激な生産増加等にも、生産縮小する生産ラインから、汎用的なロボットステーションを取り外し、他のロボットセルに転用することで対応することができる。 Thus, in recent years, robot stations that can be used for general purposes have attracted attention. In a robot cell using a robot station, a new robot cell can be constructed by rearranging a plurality of general-purpose robot stations for processing and transporting a workpiece. In addition, a sudden increase in production can be dealt with by removing a general-purpose robot station from a production line that reduces production and diverting it to another robot cell.

上記ロボットステーションを用いて、ロボットセルを構築するにあたっては、各ロボットステーション間の被加工物の搬送や、ロボットステーションが有するロボットアームの連携動作が重要である。 In constructing a robot cell using the robot station, it is important to transfer a workpiece between the robot stations and to coordinate the robot arm of the robot station.

例えば、特許文献１に記載のロボットステーションでは、組付け作業前の被加工物を予めロボットステーション内のトレイに置き、組付け作業後の加工物も同じロボットステーション内に置く別のトレイに返す設計がなされている。しかしながら、この構成では、同じロボットステーション内に、加工前の被加工物と加工後の加工物を置くことになり、このロボットステーションでロボットセルを構築した際、ロボットステーション内のスペース効率の低下を招く。更に、トレイが一杯になった時点でトレイ内の被加工物を搬送する作業が必要になる。この搬送作業にロボットアームを利用すると、通常の動作の他にトレイの搬送作業が入ることになるためタクトの低下につながる。そこで、専用の搬送装置を設けることも考えられるが、ロボットステーションを構成する部材が多くなり、コストアップするという問題点があった。 For example, in the robot station described in Patent Document 1, the workpiece before assembly work is placed in a tray in the robot station in advance, and the workpiece after assembly work is returned to another tray placed in the same robot station. Has been made. However, with this configuration, the workpiece before machining and the workpiece after machining are placed in the same robot station. When a robot cell is constructed with this robot station, the space efficiency in the robot station is reduced. Invite. Further, when the tray is full, it is necessary to carry the work in the tray. If a robot arm is used for this transport operation, the transport operation of the tray will be performed in addition to the normal operation, leading to a reduction in tact. Thus, although it is conceivable to provide a dedicated transfer device, there is a problem that the number of members constituting the robot station increases and the cost increases.

特許文献２に開示されたロボットセルは、組付け作業前の被加工物載置エリアは、ロボットステーション内にあり、組付け作業後の加工物載置エリアは、隣接するロボットステーション内に用意されている。そのため、ロボットステーションのスペース効率は改善される。しかしながら、ここでの搬送は、単なるプレイバック動作によるもので、常に送りだし側のロボットアームが隣接する定められた場所に機械精度のみで搬送を行うだけである。工程速度や搭載されるロボットアームのエンドエフェクターの仕様に応じて、受け手側のロボットアームが、送りだし側の被加工物を取りにいくような高度な連携は考えられていない。そのため、タクトの向上に限界があり、さらに、ロボットステーションのロボットアームの使用パフォーマンスが低下し、ロボットセル全体のコストアップ要因となる問題点がある。 In the robot cell disclosed in Patent Document 2, the workpiece placement area before the assembly work is in the robot station, and the workpiece placement area after the assembly work is prepared in the adjacent robot station. ing. Therefore, the space efficiency of the robot station is improved. However, the conveyance here is based on a simple playback operation, and the conveyance arm is always merely conveyed to a predetermined place where the robot arm on the sending side is adjacent with only machine accuracy. Depending on the process speed and the specifications of the end effector of the robot arm to be mounted, it is not considered that the receiver side robot arm can take the workpiece on the sending side. For this reason, there is a limit to improvement in tact, and further, there is a problem that the use performance of the robot arm of the robot station is lowered, and the cost of the entire robot cell is increased.

特開２００９−１４８８６９号公報JP 2009-148869 A 特開２００８−２２９７３８号公報JP 2008-229738 A

本発明は、複数のロボットステーションを組み合わせて構築するロボットセルにおいて、各ロボットステーションのスペース効率の改善、タクトの向上、ロボットステーション内の機材の使用効率の改善を目的とする。 An object of the present invention is to improve space efficiency, tact, and use efficiency of equipment in a robot station in a robot cell constructed by combining a plurality of robot stations.

上記の目的を達成するために本発明に係るロボットセルは、一対のロボットアームと、前記ロボットアームのワークスペースに対して撮像面が平行になるように撮像手段を固定するブースを備え、前記撮像手段からの画像を画像処理する画像処理装置と、前記ロボットアームを制御するロボットコントローラを備えてなるロボットステーションが、少なくとも２つ並設されて構成されるロボットセルであって、各ロボットステーションに備え付けられた前記撮像手段は、そのロボットステーションのワークスペースのみでなく、隣接するロボットステーションのワークスペースにも撮像範囲が及び、前記ロボットステーションのロボットアームの可動範囲は、隣接するロボットステーションのワークスペースまで範囲に含むことを特徴とする。 In order to achieve the above object, a robot cell according to the present invention includes a pair of robot arms and a booth for fixing imaging means so that an imaging surface is parallel to a work space of the robot arm, and the imaging An image processing apparatus that performs image processing of an image from the means and a robot station that includes a robot controller that controls the robot arm is a robot cell configured by arranging at least two in parallel, and each robot station is provided with The imaging means provided has an imaging range not only in the workspace of the robot station but also in the workspace of the adjacent robot station, and the movable range of the robot arm of the robot station extends to the workspace of the adjacent robot station. Included in the range

各ロボットステーションは、隣接するロボットステーション内においても、自らの作業領域と同様に、被加工物の位置情報等を入手することが可能になる。その結果、各ロボットステーションのロボットアームは、隣接するロボットステーション内においても高度な作業が可能になる。そのため、例えば、各ロボットステーション内の作業において、ロボットアーム数の足りないような作業がある場合、隣接するロボットステーションのロボットアームの活用が可能になる。その結果、各ロボットステーション内のロボットアームの使用効率が改善し、全体としてロボットセルのコストダウンにつながる。 Each robot station can obtain the position information of the workpiece in the adjacent robot station as well as its own work area. As a result, the robot arm of each robot station can perform advanced work even in the adjacent robot station. Therefore, for example, when there is an operation in which the number of robot arms is insufficient among the operations in each robot station, it becomes possible to utilize the robot arms of adjacent robot stations. As a result, the use efficiency of the robot arm in each robot station is improved, leading to cost reduction of the robot cell as a whole.

また、前記ロボットセルにおいて、各ロボットステーションの撮像手段の撮像範囲は、隣接するロボットステーションのワークスペースに及ぶ。各ロボットステーションのロボットアームの可動範囲も、隣接するロボットステーションの撮像範囲にも及ぶ。 In the robot cell, the imaging range of the imaging means of each robot station extends to the work space of the adjacent robot station. The movable range of the robot arm of each robot station extends to the imaging range of the adjacent robot station.

各ロボットステーションのロボットアームは、隣接するロボットステーションの作業に活用することができるようになる。その結果、例えば、被加工物を搬送する場合、送り手側から常に受け手側に対して、送り手側のロボットステーションのロボットアームが受け手側のロボットステーションの作業領域に、被加工物を搬送するケースに限定する必要はない。ロボットアームの使用状態に応じて、送り手側のロボットステーションのロボットアームが、被加工品を送りだしたり、あるいは、受けて側のロボットステーションのロボットアームが、被加工品を取りにいくという臨機応変な対応をとることができる。 The robot arm of each robot station can be used for work of an adjacent robot station. As a result, for example, when transferring a workpiece, the robot arm of the robot station on the sender side always transfers the workpiece to the work area of the robot station on the receiver side from the sender side to the receiver side. It is not necessary to limit to a case. Depending on how the robot arm is used, the robot arm of the robot station on the sender side sends the workpiece, or the robot arm of the robot station on the receiver side picks up the workpiece. Can take a good response.

本発明に係るロボットセルを構成するロボットステーションの一例を示す模式斜視図である。It is a model perspective view which shows an example of the robot station which comprises the robot cell which concerns on this invention. 本発明に係るロボットセルの第１の実施の形態を示す模式斜視図である。1 is a schematic perspective view showing a first embodiment of a robot cell according to the present invention. 図２に示したロボットセルのうち、図２右側の隣接する３つのロボットステーションをブースの支柱を省略して示す模式部分斜視図である。FIG. 3 is a schematic partial perspective view showing three adjacent robot stations on the right side of FIG. 2 with the support column of the booth omitted in the robot cell shown in FIG. 2. 図３に示すロボットステーションの配置と、撮像手段がカバーする撮影範囲と、ロボットステーションに備え付けられたロボットアームの最大可動範囲をロボットセルの上方から見た見取り図である。FIG. 4 is a sketch of the arrangement of the robot station shown in FIG. 3, the imaging range covered by the imaging means, and the maximum movable range of the robot arm provided in the robot station as viewed from above the robot cell. 本発明に係るロボットセルの第２の実施の形態を示し、ロボットセルの上方から見た図４と同様の見取り図である。FIG. 5 shows a second embodiment of the robot cell according to the present invention, and is a sketch similar to FIG. 4 viewed from above the robot cell. 本発明に係るロボットセルの第３の実施の形態を示し、ロボットセルの上方から見た図４と同様の見取り図である。FIG. 5 shows a third embodiment of the robot cell according to the present invention, and is a sketch similar to FIG. 4 viewed from above the robot cell. ロボットセルの撮像手段の一例を示す模式斜視図である。It is a model perspective view which shows an example of the imaging means of a robot cell. 図７に示す撮像手段における各カメラの有効視野範囲を示す説明図である。It is explanatory drawing which shows the effective visual field range of each camera in the imaging means shown in FIG. 本発明に係るロボットセルの第４の実施の形態を示し、隣接するロボットステーションの撮像手段の視野範囲を示す説明図である。It is explanatory drawing which shows 4th Embodiment of the robot cell which concerns on this invention, and shows the visual field range of the imaging means of an adjacent robot station.

本発明に係るロボットセルの第１の実施の形態を、図面を参照しながら説明する。本実施の形態は、被加工物をレンズ鏡筒とし、これに各種の部品等を組み付けるロボットセルである。しかし、本発明の実施の形態は、これに限るものではなく、本発明の技術的思想範囲内において、任意に変更可能であることは言うまでもない。 A robot cell according to a first embodiment of the present invention will be described with reference to the drawings. The present embodiment is a robot cell in which a workpiece is a lens barrel and various components are assembled thereto. However, the embodiment of the present invention is not limited to this, and it is needless to say that the embodiment can be arbitrarily changed within the scope of the technical idea of the present invention.

図１は、本発明に係るロボットセルを構成する単位ユニットであるロボットステーションの模式斜視図である。ロボットステーションＥは、一対のロボットアーム１０１，１０２、架台１０３、ブース１０４、固定機材１０５、カメラ１０６、照明１０７等を備えている。 FIG. 1 is a schematic perspective view of a robot station which is a unit unit constituting a robot cell according to the present invention. The robot station E includes a pair of robot arms 101 and 102, a gantry 103, a booth 104, a fixed equipment 105, a camera 106, an illumination 107, and the like.

（ロボットアーム）
一対のロボットアーム１０１，１０２は、６軸制御可能であり、各ロボットアームの先端部分には、各種作業に応じて様々なエンドエフェクターを取り付けることができる。ここでいうエンドエフェクターとは、人間でいう指に相当する部分であり、例えば、一方のロボットアーム１０１には、細かい作業を可能にするピンセットを備えるピンセットハンド１０１ａを、エンドエフェクターとして装着している。また、他方のロボットアーム１０２には、レンズ鏡筒等の比較的大きな部材の搬送を請け負うグリッパーハンド１０２ａをエンドエフェクターとして装着している。 (Robot arm)
The pair of robot arms 101 and 102 can be controlled in six axes, and various end effectors can be attached to the tip of each robot arm according to various operations. The end effector here is a portion corresponding to a human finger. For example, one robot arm 101 is equipped with a tweezer hand 101a having tweezers that enables fine work as an end effector. . Also, the other robot arm 102 is equipped with a gripper hand 102a for carrying a relatively large member such as a lens barrel as an end effector.

（架台）
架台１０３は、基本的には、一対のロボットアーム１０１，１０２を固定し、ロボットアームが各種作業を行うためのワークスペースを提供する箱体である。本実施の形態では、架台１０３の天盤１０３ａがワークスペースの役目を果たし、天盤１０３ａは正方形状になっている。天盤１０３ａの対角２角部分には、１本ずつ、合計２本のロボットアーム１０１，１０２の根元が固定されている。なお、架台１０３は、ステンレス製の支柱と側面板と天盤１０３ａで構成されるが、ロボットアーム１０１，１０２は、ステンレス製の支柱に強固に固定されている。一対のロボットアーム１０１，１０２の固定箇所を除く、架台１０３の天盤１０３ａ全域を、ワークスペースとして利用することができる。 (Frame)
The gantry 103 is basically a box that fixes a pair of robot arms 101 and 102 and provides a work space for the robot arm to perform various operations. In the present embodiment, the top 103a of the gantry 103 serves as a work space, and the top 103a has a square shape. The roots of the two robot arms 101 and 102 are fixed to the diagonal two corners of the top 103a one by one. The gantry 103 includes a stainless steel column, a side plate, and a top plate 103a. However, the robot arms 101 and 102 are firmly fixed to the stainless steel column. The entire top panel 103a of the gantry 103, excluding the fixing points of the pair of robot arms 101 and 102, can be used as a work space.

天盤１０３ａには、一対のロボットアーム１０１，１０２が使用できる各種の加工ツール等を載置するための台座や部品を入れておくトレイ等を固定できるように、一定間隔で穴が設けられている。この穴を利用して、各種の台座やトレイ等を固定することで、一定精度の位置決めが確保できる構成になっている。また、天盤１０３ａには、キヤリブレーションに使用するマーカーが刻まれていても良い。その場合は、一対のロボットアーム１０１，１０２を固定した天盤１０３ａの対角２角部分ではない天盤１０３ａの残る２角部分の近傍が好ましい。 The top 103a is provided with holes at regular intervals so as to fix a pedestal for placing various processing tools that can be used by the pair of robot arms 101 and 102, a tray for storing parts, and the like. Yes. By using these holes to fix various pedestals, trays, and the like, it is possible to ensure positioning with a certain degree of accuracy. In addition, a marker used for calibration may be engraved on the top 103a. In that case, the vicinity of the remaining two corners of the top 103a, which is not the diagonal two of the top 103a to which the pair of robot arms 101 and 102 are fixed, is preferable.

一対のロボットアーム１０１，１０２の制御には、ロッボトアーム内に内蔵されているモータの制御を行い指令値にそった動作を行わせるためのロボットコントローラが必要である。このロボットコントローラも、架台１０３の箱体内部に配置されている。また、このようなロボットステーションＥは、ロボット制御に伴うロボット自体の持つ公差、被加工物や部品自体の持っている公差、熱や光等による外乱で生まれるさまざまな公差を、ロボット指令値を修正することで許容公差内に収束させる。そのため、カメラ撮影とその撮影した画像を処理する画像処理装置が必要になる。この画像処理装置も、架台１０３の箱体内部に配置されている。 In order to control the pair of robot arms 101 and 102, a robot controller is required to control a motor built in the robot arm and to perform an operation according to the command value. This robot controller is also arranged inside the box of the gantry 103. In addition, the robot station E corrects the robot command values by correcting the tolerances of the robot itself associated with robot control, the tolerances of workpieces and parts themselves, and various tolerances created by disturbances caused by heat, light, etc. To converge within acceptable tolerances. Therefore, an image processing apparatus that processes the captured image and the captured image is required. This image processing apparatus is also arranged inside the box of the gantry 103.

（ブース）
ブース１０４は、架台１０３の天盤１０３ａのワークスペースに対して、カメラ撮像面が平行になるようにカメラ１０６を固定するための剛性を持つ支柱により組み上げられた骨組体である。本実施の形態では、このようなブース１０４を、架台１０３が接触しない程度に離間する大きさの骨組体で構成されている。 (booth)
The booth 104 is a framework that is assembled by a support column having rigidity for fixing the camera 106 so that the camera imaging surface is parallel to the work space of the top 103a of the gantry 103. In the present embodiment, such a booth 104 is composed of a skeleton having a size such that the booth 104 is separated to such an extent that the pedestal 103 does not contact.

なお、ブース１０４に取り付けるカメラ１０６は、隣接するロボットステーションＥの架台１０３の天盤１０３ａも、視野に入れる必要がある。そのため、前記骨組体は、側面側、即ち、隣接するロボットステーションＥが配置される側には、隣接するロボットステーションＥの架台１０３の天盤１０３ａに対して、カメラ１０６に死角を作るような位置に、骨組体を配置しないように注意を要する。 Note that the camera 106 attached to the booth 104 needs to put the top 103a of the gantry 103 of the adjacent robot station E in the field of view. Therefore, the frame is positioned on the side surface side, that is, on the side where the adjacent robot station E is arranged, such that a blind spot is formed in the camera 106 with respect to the top 103a of the base 103 of the adjacent robot station E. In addition, care must be taken not to place the skeleton.

また、ブース１０４は十分な高さを確保する必要がある。これは、ブース１０４に取り付けるカメラ１０６は、広角になればなるほど、カメラ１０６の撮る被写体が見る角度によって発生する形状変化が大きくなるからである。形状変化が大きくなると、被写体から測定のために抽出したい領域の分離が難しくなるだけでなく、測定精度も大幅に劣化する。例えば、本実施の形態では、被加工物である鏡筒を被写体としているが、この鏡筒は、真上から見れば上面領域である円のみしか見えないが、斜上から見れば、鏡筒の上面領域は楕円になり、更に鏡筒の側面領域も見えるようになる。本実施の形態での測定領域は、このうち鏡筒の上面領域のみなので、斜上から見た鏡筒の画像では、鏡筒の上面領域の抽出作業が必要になる。更に、上面領域と側面領域の面積比は、どの程度斜め上から見るかで決まる。そのため、見る角度がつけばつくほど、上面領域の面積は減り、抽出しにくくなるのみならず、この面積が位置精度に大きく影響を与える。これを抑えるには、カメラ１０６の画角を狭くすることが効果的であり、これを実現するには、ブースの高さは高い方が好ましく、少なくともカメラ１０６の画角が４５度未満、更に好ましくは３０度未満になるような高さが好ましい。 The booth 104 needs to have a sufficient height. This is because, as the camera 106 attached to the booth 104 becomes wider, the shape change caused by the angle at which the subject taken by the camera 106 is viewed increases. When the shape change becomes large, not only is it difficult to separate the region to be extracted from the subject for measurement, but also the measurement accuracy is greatly degraded. For example, in this embodiment, a lens barrel that is a workpiece is used as a subject, but this lens barrel can be seen only from a circle that is an upper surface region when viewed from directly above, but when viewed from obliquely above, the lens barrel is visible. The upper surface area of the lens becomes an ellipse, and the side surface area of the lens barrel is also visible. Since the measurement region in the present embodiment is only the upper surface region of the lens barrel, the upper surface region of the lens barrel needs to be extracted from the image of the lens barrel viewed obliquely. Furthermore, the area ratio between the upper surface region and the side surface region is determined by how much the region is viewed from above. For this reason, as the viewing angle increases, the area of the upper surface region decreases and not only becomes difficult to extract, but also this area greatly affects the position accuracy. In order to suppress this, it is effective to narrow the angle of view of the camera 106. To realize this, it is preferable that the height of the booth is high, and at least the angle of view of the camera 106 is less than 45 degrees. The height is preferably less than 30 degrees.

（カメラ）
ブース１０４に対してカメラ１０６は、固定機材１０５を用いて架台上面からそのカメラ１０６が備え付けられたロボットステーションＥの天盤１０３ａの全域と、隣接するロボットステーションＥの天盤１０３ａの一部を視野範囲に入れる画角で設置される。 (camera)
For the booth 104, the camera 106 uses the fixed equipment 105 to view the entire area of the top 103a of the robot station E on which the camera 106 is mounted and a part of the top 103a of the adjacent robot station E from the top of the gantry. Installed with an angle of view that falls within the range.

固定機材１０５は、前述のブース１０４の支柱に設けられている溝を用いて平行度を確保するとともに、必要な位置にネジ止めで固定される。また、固定機材１０５は、カメラ１０６を固定するとともに、照明１０７も固定できるようになっている。本実施の形態では、カメラ１０６のレンズの周囲に方環状のＬＥＤ照明を配置することで、そのカメラ１０６が備え付けられたロボットステーションＥのワークスペース上の被加工物Ｗに対して、均一な照明を実現している。カメラ１０６は、広い視野を有する必要があるため、高画素タイプであることが好ましい。具体的には１０Ｍピクセル以上であることが好ましく、カメラ１０６と画像処理装置の間は、ＦＡ用の一般規格であるカメラリンク規格で接続を行っている。 The fixing equipment 105 secures parallelism using the grooves provided in the above-mentioned booth 104 and is fixed to a necessary position with screws. In addition, the fixed equipment 105 can fix the camera 106 and the illumination 107. In the present embodiment, by arranging the annular LED illumination around the lens of the camera 106, uniform illumination is performed on the workpiece W on the work space of the robot station E where the camera 106 is provided. Is realized. The camera 106 is preferably a high pixel type because it needs to have a wide field of view. Specifically, it is preferably 10 M pixels or more, and the camera 106 and the image processing apparatus are connected according to the camera link standard that is a general standard for FA.

なお、本実施の形態では、撮像手段は、単一のカメラ１０６からなるが、複数のカメラで構築しても良い。複数のカメラで撮像した画像は、それぞれ画像処理装置に送られ、画像処理により合成され１枚の画像に統合される。 In the present embodiment, the imaging means is composed of a single camera 106, but may be constructed by a plurality of cameras. Images captured by a plurality of cameras are each sent to an image processing apparatus, synthesized by image processing, and integrated into one image.

このように撮像手段を構成することで、各カメラ１０６の画角を狭くすることができる。これは複数のカメラ１０６で画像を取得する場合に同じ高さから撮影すると仮定した場合、個々のカメラ１０６の画角は、同じ領域を撮影する１つのカメラ１０６より狭くて済むためである。合成した画像は、１つのカメラ１０６で更に高い位置から、狭い画角で撮影した画像と同じになる。つまり、撮像手段を複数のカメラ１０６で構成すれば、ブース１０４の高さを低くできることに直結する。ロボットステーションＥのカメラ１０６の撮影において、振動はつきものであり、本実施の形態のように、ロボットアーム１０１，１０２のような振動源がある場合、カメラ１０６の撮影は、振動が収まるまで待つ必要がある。この振動の周期は、ブース１０４の高さが高いほど長くなる。 By configuring the imaging means in this way, the angle of view of each camera 106 can be narrowed. This is because the angle of view of each camera 106 can be narrower than that of one camera 106 that captures the same region when it is assumed that images are captured from the same height when images are acquired by a plurality of cameras 106. The synthesized image is the same as an image taken with a narrow angle of view from a higher position with one camera 106. That is, if the image pickup means is constituted by a plurality of cameras 106, it is directly related to the height of the booth 104 being reduced. When shooting with the camera 106 of the robot station E, vibrations are inherent, and when there is a vibration source such as the robot arms 101 and 102 as in the present embodiment, it is necessary to wait until the vibrations are settled. There is. The period of this vibration becomes longer as the height of the booth 104 is higher.

従って、複数のカメラで撮像手段を構成することで、この振動周期を短くすることができるようになり、ロボットセルのタクトを向上させることが可能になる。更に、ロボットステーションＥの高さが低くなれば、部材費の節約ができる。また、照明１０７は距離の２乗に明るさは減少するため、ブース１０４の高さを低くできれば、必要な明るさを得るための照明１０７のパワーも低下させることができる。更に、各個のカメラ１０６の撮像範囲も狭くなるため、１台で構成する場合に比べ、各個のカメラ１０６の必要分解能が少なくて済む。これは、各個のカメラ１０６の画素数が少なくてもいい事を示し、これにより、各個のカメラ１０６からの画像転送時間を短縮することが可能になる。 Therefore, by configuring the imaging means with a plurality of cameras, this vibration cycle can be shortened and the tact of the robot cell can be improved. Furthermore, if the height of the robot station E is lowered, the member cost can be saved. Further, since the brightness of the illumination 107 decreases to the square of the distance, if the height of the booth 104 can be reduced, the power of the illumination 107 for obtaining the necessary brightness can also be reduced. Further, since the imaging range of each individual camera 106 is also narrowed, the required resolution of each individual camera 106 can be reduced as compared with the case where a single camera is configured. This indicates that the number of pixels of each camera 106 may be small, and thus it is possible to shorten the image transfer time from each camera 106.

図２は、ロボットステーションが少なくとも３つ並設されて構成されたロボットセルの模式斜視図である。 FIG. 2 is a schematic perspective view of a robot cell configured by arranging at least three robot stations side by side.

ロボットセルは、一列に連結された８台のロボットステーションＥ−１〜Ｅ−８から構成されている。 The robot cell is composed of eight robot stations E-1 to E-8 connected in a line.

自動台車１１０は、工場の床に設置されたテープ１１１等の順路を読み取り、自動搬送を行う移動体である。自動台車１１０の天盤１１０ａにトレイ１２０が載置してあり、数多くの被加工物Ｗあるいは加工物Ｐを、このトレイ１２０に載せ、異なる作業や加工を行うロボットセルあるいは、人セルとの間を行き来する。図中矢印は、このロボットセル内で被加工物Ｗが搬送される方向を示している。 The automatic cart 110 is a moving body that reads a route such as a tape 111 installed on the floor of a factory and performs automatic conveyance. A tray 120 is placed on the top 110a of the automatic carriage 110, and a large number of workpieces W or workpieces P are placed on the tray 120 to perform different operations or processing between robot cells or human cells. Go back and forth. The arrow in the figure indicates the direction in which the workpiece W is transported in the robot cell.

被加工物Ｗを載置された自動台車１１０は、ロボットセルを構築する一端側のロボットステーションＥ−１に隣接して停止する。また、加工物Ｐを載置する自動台車１１０も、他端側のロボットステーションＥ−８に隣接して停止し、この状態で、ロボットセルにおける組立て作業は行われる。 The automatic carriage 110 on which the workpiece W is placed stops adjacent to one end robot station E-1 that constructs the robot cell. Further, the automatic carriage 110 on which the workpiece P is placed is also stopped adjacent to the robot station E-8 on the other end side, and assembly work in the robot cell is performed in this state.

ロボットステーションＥ−１内には、前述した被加工物Ｗを一時的に載置するトレイは設置されていない。ロボットステーションＥ−１に配置された一方のロボットアーム１０１は、隣接する自動台車１１０の天盤１１０ａに載置された被加工物Ｗを直接つかみ、ロボットステーションＥ−１内で作業を行うための所定位置に、被加工物Ｗを搬送する。また、ロボットステーションＥ−１のブース１０４に備え付けられたカメラ１０６は、ロボットステーションＥ−１の架台１０３の天盤１０３ａだけでなく、隣接して停止する自動台車１１０のトレイ１２０も視野に入るように設置される。 In the robot station E-1, a tray for temporarily placing the workpiece W described above is not installed. One robot arm 101 disposed in the robot station E-1 directly grabs the workpiece W placed on the top 110a of the adjacent automatic carriage 110 and performs work in the robot station E-1. The workpiece W is transported to a predetermined position. In addition, the camera 106 provided in the booth 104 of the robot station E-1 not only has the top panel 103a of the gantry 103 of the robot station E-1 but also the tray 120 of the automatic cart 110 that stops adjacently enter the field of view. Installed.

他端側のロボットステーションＥ−８も、隣接して停止している自動台車１１０のトレイ１２０に対して、加工された加工品Ｐを、ロボットステーションＥ−８の他方のロボットアーム１０２により搬送し、順に並べていく動作を行う。ロボットステーションＥ−８のブース１０４に備え付けられたカメラ１０６も、ロボットステーションＥ−８の架台１０３の天盤１０３ａだけでなく、隣接して停止する自動台車１１０のトレイ１２０も視野に入るように設置されている。 The robot station E-8 at the other end also transports the processed product P to the tray 120 of the automatic carriage 110 that is stopped adjacently by the other robot arm 102 of the robot station E-8. , Perform the operation of arranging them in order. The camera 106 installed in the booth 104 of the robot station E-8 is installed so that not only the top panel 103a of the gantry 103 of the robot station E-8 but also the tray 120 of the automatic cart 110 that stops adjacently is in view. Has been.

この他のロボットステーションＥ−２〜Ｅ−７についても、各ロボットステーションのブース１０４に備え付けられたカメラ１０６は、そのカメラ１０６が備え付けられたロボットステーションの天盤１０３ａを視野範囲にするだけでない。加えて隣接するロボットステーションの天盤１０３ａの一部、好ましくは、組立て作業を行う領域まで含む視野範囲を有する。 For the other robot stations E-2 to E-7, the camera 106 provided in the booth 104 of each robot station not only makes the top panel 103a of the robot station provided with the camera 106 a visual field range. In addition, it has a field-of-view range including a part of the top 103a of the adjacent robot station, preferably up to the area where the assembly work is performed.

図３は、図２のロボットセルのうち、隣接する３つのロボットステーションＥ−６，Ｅ−７，Ｅ−８の部分を拡大して表示した模式斜視図である。この図では、ロボットステーション内のワークスペースを、わかりやすく表示するため、ブースの支柱は省略している。ロボットステーションＥ−６は、一対のロボットアーム１０１，１０２、架台１０３、カメラ１０６、部品供給装置１３０を有している。ロボットステーションＥ−７から見て被加工物Ｗを待機させておく待機領域Ｅ−７，１４０、部品を組み付ける作業領域Ｅ−７，１５０、加工された被加工物を待機させるスペースＥ−８，１４０、前記加工された被加工物を待機させるスペースは、隣接するロボットステーションＥ−８の天盤１０３ａに設けられている。 FIG. 3 is a schematic perspective view in which the portions of three adjacent robot stations E-6, E-7, and E-8 in the robot cell of FIG. 2 are enlarged and displayed. In this figure, in order to display the workspace in the robot station in an easy-to-understand manner, booth posts are omitted. The robot station E-6 includes a pair of robot arms 101 and 102, a gantry 103, a camera 106, and a component supply device 130. Waiting areas E-7 and 140 for waiting for the workpiece W as viewed from the robot station E-7, working areas E-7 and 150 for assembling parts, and a space E-8 for waiting for the processed workpiece. 140. A space for waiting the processed workpiece is provided in the top 103a of the adjacent robot station E-8.

図４は、図３のロボットステーションの配置と、カメラ１０６がカバーする撮影範囲と、各ロボットステーションに備え付けられたロボットアーム１０１，１０２の最大可動範囲をロボットセルの上面から見た見取り図である。 FIG. 4 is a sketch of the arrangement of the robot stations in FIG. 3, the photographing range covered by the camera 106, and the maximum movable range of the robot arms 101 and 102 provided in each robot station, as viewed from the upper surface of the robot cell.

以下、図３、図４を参照して、本発明に係るロボットセルでの被加工物、加工物の動きと、ロボットアームの利用法、ブース天井に設置されているカメラ１０６の画像の取り扱いについて、説明する。 Hereinafter, with reference to FIGS. 3 and 4, the movement of the workpiece and the workpiece in the robot cell according to the present invention, how to use the robot arm, and the handling of the image of the camera 106 installed on the booth ceiling ,explain.

まず、ロボットステーションを稼働させるにあたっては、撮像手段であるカメラ１０６単体のキヤリブレーションと、カメラ１０６とロボットに装着したエンドエフェクターとのキヤリブレーションを実施する必要がある。これは、カメラ１０６の取り付け位置や、傾き等をロボットステーション毎で一定精度内に押さえることは非常に大変で、メカ精度だけでは保証できないためである。そのため、カメラ１０６で、視野内の異なる位置にキヤリブレーションプレートを置いて撮影し、その画像から、カメラ１０６の取り付け位置や傾き等を校正するカメラパラメータ補正値を導出する。これが、撮像手段単体のキヤリブレーションである。 First, when operating the robot station, it is necessary to perform calibration of the camera 106 alone as an imaging means and calibration of the camera 106 and an end effector attached to the robot. This is because it is very difficult to hold the mounting position, inclination, etc. of the camera 106 within a certain accuracy for each robot station, and it cannot be guaranteed only by the mechanical accuracy. Therefore, the camera 106 is photographed with the calibration plate placed at different positions in the field of view, and camera parameter correction values for calibrating the mounting position and inclination of the camera 106 are derived from the images. This is the calibration of the imaging means alone.

その後、カメラ１０６で得た画像は、このカメラパラメータ補正値を用いて、画像上の位置情報を、カメラ１０６の取り付け位置や傾き等を校正したカメラ座標に変換して使用する。次に、既知のロボット座標と一定の精度保証されたキヤリブレーションマークを、少なくとも１か所以上、好ましくは３ケ所以上撮像する。カメラ座標を前述のカメラパラメータ補正値から求め、既知のロボット座標との相関パラメータを求めることで、実際にロボットアームが動作するロボット座標系との関係式を作成する。そして、カメラ座標（Ｘ，Ｙ）にあたる位置がロボット座標（Ｘ１，Ｙ１）に変換するロボット座標変換式を構築する。これが、ロボット−撮像手段間のキヤリブレーションである。 Thereafter, the image obtained by the camera 106 is used by converting the position information on the image into the camera coordinates calibrated for the mounting position and the inclination of the camera 106 using the camera parameter correction value. Next, at least one, preferably three or more images of known robot coordinates and calibration marks with a certain accuracy guaranteed are imaged. A camera coordinate is obtained from the above-described camera parameter correction value, and a correlation parameter with a known robot coordinate is obtained, thereby creating a relational expression with the robot coordinate system in which the robot arm actually operates. Then, a robot coordinate conversion formula is constructed in which the position corresponding to the camera coordinates (X, Y) is converted into the robot coordinates (X1, Y1). This is the calibration between the robot and the imaging means.

このキヤリブレーションについて、本実施の形態では、以下のようにして実施する。
（１）カメラ１０６の視野範囲内であって、撮影する天盤１０３ａ毎に、１直線上に並ばない位置に３枚の公知のキヤリブレーションプレートを配置する。本実施の形態では、隣接するロボットステーションの両隣の天盤１０３ａも視野範囲内である。そのため、右隣のロボットステーションの天盤１０３ａに３枚、本カメラ１０６を備え付けられた直下のロボットステーションＥ−７の天盤１０３ａに３枚、左隣のロボットステーションＥ−６の天盤１０３ａに３枚、合計９枚のキヤリブレーションを配置する。各天盤１０３ａ毎に、キヤリブレーションプレートを準備して、キヤリブレーションを行うのは、複数の天盤間で、カメラ１０６に対する煽り等、メカ精度的に、同一であると判断できないパラメータがあるためである。そのため、本実施の形態では、撮像手段単体のキヤリブレーションは、カメラ１０６で得た画像を、各天盤１０３ａの撮影位置にあわせて、３つの領域に区切り、それぞれの領域で、カメラパラメータ補正値を算出する。なお、これらのキヤリブレーションプレートは、各天盤１０３ａ上に、最初から刻み込んでおいても良い。また、一度に撮影する必要はないので、１枚のキヤリブレーションプレートを順番に９度撮影しても良い。各天盤１０３ａ毎に、３枚単位でキヤリブレーションプレートを準備しておき、順番に３度撮影してもよい。 This calibration is performed as follows in the present embodiment.
(1) Three known calibration plates are arranged at positions that are within the field of view of the camera 106 and are not aligned on one straight line for each top 103a to be photographed. In the present embodiment, the roof 103a on both sides of the adjacent robot station is also within the field of view. Therefore, three on the top 103a of the robot station on the right, three on the top 103a of the robot station E-7 immediately below where the camera 106 is installed, and on the top 103a of the robot station E-6 on the left. A total of 9 calibrations will be arranged. For each top 103a, a calibration plate is prepared and the calibration is performed because there are parameters that cannot be determined to be the same in terms of mechanical accuracy, such as turning the camera 106, among a plurality of tops. Because there is. For this reason, in this embodiment, the calibration of the imaging unit alone divides the image obtained by the camera 106 into three regions according to the shooting positions of the tops 103a, and camera parameter correction is performed in each region. Calculate the value. These calibration plates may be carved from the beginning on each top 103a. Further, since it is not necessary to photograph at a time, one calibration plate may be photographed nine times in order. Calibration plates may be prepared in units of three for each top board 103a, and images may be taken three times in order.

（２）画像処理装置のカメラ単体キヤリブレーションプログラムを起動する。
プログラムは、合計９枚のキヤリブレーションプレートを、天盤１０３ａ毎に自動撮影し、この画像情報を用いて公知のキヤリブレーション手法により、撮像手段単体のカメラパラメータ補正値を算出する。 (2) Start the camera unit calibration program of the image processing apparatus.
The program automatically shoots a total of nine calibration plates for each top 103a, and uses this image information to calculate camera parameter correction values for the imaging means alone using a known calibration method.

カメラバラメータ補正値の値は、各天盤１０３ａ毎に１セット導出され、合計３セットのカメラパラメータ補正値が導出される。なお、導出されたカメラパラメータ補正値は、画像処理を行う撮影画像領域に応じて使い分ける。例えば、右隣の天盤１０３ａに該当する領域の画像であれば、右隣の天盤１０３ａで実施したキヤリブレーションで算出したカメラパラメータ補正値を利用してカメラ座標の算出を行う。カメラ１０６で得た画像のどの領域が、どのロボットステーションの天盤に該当するかは、人による教示により予め実施すればよい。 One set of camera parameter correction values is derived for each top 103a, and a total of three sets of camera parameter correction values are derived. Note that the derived camera parameter correction value is selectively used in accordance with a captured image area on which image processing is performed. For example, in the case of an image of an area corresponding to the right-side top 103a, the camera coordinates are calculated using the camera parameter correction value calculated by the calibration performed on the right-side top 103a. Which region of the image obtained by the camera 106 corresponds to the top of which robot station may be previously determined by teaching by a person.

（３）次に、キヤリブレーションプレートを取りさる。
その上で、カメラ−ロボット間のキヤリブレーションプログラムを起動する。プログラムは、カメラを有するロボットステーションＥの天盤１０３ａに刻まれたマークを読み取り、前記マークに対応する既知のロボット座標とマークに対応するカメラ座標を用いて、カメラ座標からロボット座標への変換式を得る。前記カメラ座標は、各天盤１０３ａの位置に対しても共通の座標系であるから、左右に隣接するロボットステーションＥの天盤１０３ａの画像も、対応するカメラパラメータ補正値により、カメラ座標を算出し、前記カメラ座標をロボット座標に変換することができる。そうすることで、隣接するロボットステーションの架台天盤においても、本撮像手段の備えつけられたロボットステーションのロボットアームを制御することが可能になる。 (3) Next, remove the calibration plate.
Then, a calibration program between the camera and the robot is started. The program reads a mark engraved on the top 103a of the robot station E having a camera, and uses a known robot coordinate corresponding to the mark and a camera coordinate corresponding to the mark, to convert from the camera coordinates to the robot coordinates. Get. Since the camera coordinates are a common coordinate system for the positions of the tops 103a, the camera coordinates of the images of the tops 103a of the robot stations E adjacent to the left and right are also calculated based on the corresponding camera parameter correction values. The camera coordinates can be converted into robot coordinates. By doing so, it is possible to control the robot arm of the robot station provided with the imaging means even in the gantry top of the adjacent robot station.

上記のキヤリブレーション作業は、ロボットセルを構成する各ロボットステーションが保有するカメラ１０６毎で行う必要がある。そのため、カメラ単体のキヤリブレーションに使うキヤリブレーションプレートの配置位置は、隣接するロボットステーションの撮像手段１０６と、ロボットステーションの撮像手段の共通視野で行うことが望ましい。共通視野で行い、同時にロボットステーション１，２でキヤリブレーションプログラムを稼動させることで、前記キヤリブレーションプレートの配置作業を、撮影回数に比して少なくすることができる。 The above calibration work needs to be performed for each camera 106 possessed by each robot station constituting the robot cell. Therefore, it is desirable that the position of the calibration plate used for the calibration of the camera alone is set in the common field of view of the imaging means 106 of the adjacent robot station and the imaging means of the robot station. By performing the calibration program at the robot stations 1 and 2 at the same time with the common field of view, the arrangement work of the calibration plate can be reduced as compared with the number of photographing.

なお、被加工物や加工物を搬送する自動台車１１０の天盤１１０ａとのキヤリブレーションは、自動台車１１０が、搬送動作を停止して所定位置に来る度に行う必要がある。これは、キヤリブレーションは、撮像手段としてのカメラと撮影対象である天盤の位置関係の補正に他ならないからであり、撮影対象である天盤１０３ａが動くような場合は、その度に修正する必要があるためである。そのため、自動台車１１０には前記キヤリブレーションプレートは、所定位置に常に配置しておくことが好ましい。 The calibration with the top 110a of the automatic carriage 110 that conveys the workpiece and the workpiece needs to be performed each time the automatic carriage 110 comes to a predetermined position after stopping the conveyance operation. This is because calibration is nothing but correction of the positional relationship between the camera as the imaging means and the top of the photographic subject. If the top 103a of the photographic subject moves, it is corrected each time. It is necessary to do. Therefore, it is preferable that the calibration plate is always arranged at a predetermined position on the automatic carriage 110.

次に、本実施の形態によるロボットステーションの被加工物の搬送動作と、その画像処理を中心に、本発明について、実施の形態の説明を行い、その効果を詳しく説明する。 Next, the embodiment of the present invention will be described with a focus on the workpiece conveying operation of the robot station according to the present embodiment and its image processing, and the effects will be described in detail.

各ロボットステーションＥに備え付けられているカメラ１０６の視野が、そのカメラ１０６の取り付けられたロボットステーション１００のワークスペースのみならず、隣接するロボットステーションのワークスペースまで及ぶことである。ロボットステーションＥ−７のカメラ１０６は、その視野範囲２００は、カメラ１０６が備え付けてあるロボットステーションＥ−７の天盤１０３ａのみならず、両隣のロボットステーションＥ−６とＥ−８の天盤１０３ａの一部も視野に捉えている。 The field of view of the camera 106 provided in each robot station E extends not only to the workspace of the robot station 100 to which the camera 106 is attached, but also to the workspace of the adjacent robot station. The field of view 200 of the camera 106 of the robot station E-7 is not limited to the top 103a of the robot station E-7 provided with the camera 106, but also the top 103a of the robot stations E-6 and E-8 on both sides. Part of this is also taken into account.

なお、カメラ１０６は、ＣＣＤ等の固体イメージセンサーを備えたビデオカメラであり、固体イメージセンサーとして、横縦比１６：９の画角を有するものを使用している。その上で、１６：９のイメージセンサー縦寸法を、正方形状の天盤１０３ａの縦寸法に対応させた画角とした。そのため、図４の視野範囲５０６は、正方形状の天盤１０３ａの全域をカバーした上で、両側の天盤１０３ａの一部も、視野範囲として十分にカバーすることができる。図４では例えばロボットアーム１０１の天盤に対する取り付け位置を中心とする可動範囲を点線の半円で描き、組み立て作業領域２０４として示した。 The camera 106 is a video camera provided with a solid-state image sensor such as a CCD, and a solid-state image sensor having an angle of view of 16: 9 is used. In addition, the 16: 9 image sensor vertical dimension was set to an angle of view corresponding to the vertical dimension of the square top 103a. Therefore, the field-of-view range 506 in FIG. 4 covers the entire area of the square top 103a, and a part of the tops 103a on both sides can be sufficiently covered as the field-of-view. In FIG. 4, for example, the movable range centered on the attachment position of the robot arm 101 with respect to the top is drawn as a semicircle with a dotted line, and is shown as an assembly work area 204.

本実施の形態では、上記のような視野範囲をとることで、カメラ１０６を備え付けたロボットステーションＥのロボットアーム１０１，１０２は、隣接するロボットステーションＥの天盤１０３ａでも、画像処理による動作位置の修正が可能になる。その結果、高精度な動作が可能になるだけでなく、状況に応じた動きもできるようになる。例えば、従来、機械精度のみに頼っていたプレイバック搬送動作に、位置補正動作を行うことができるようになる。本実施の形態では、図３に示すように被加工品Ｗの待機領域１４０には、複数の被加工品Ｗを待機させることができるスペースを確保している。すなわち、作業領域１５０から隣接するロボットステーションＥ−７の待機領域１４０に、加工品Ｐを搬出する際、まず、カメラ１０６により、待機領域１４０の状態を確認する。その上で、待機領域１４０に以前に搬出した加工品Ｐがまだ残っている状況であっても、待機領域１４０内で、空いている領域を確認した上で、その空き領域に対して、他方のロボットアーム１０２を用いて加工品Ｐを搬出することができる。 In the present embodiment, by taking the field of view as described above, the robot arms 101 and 102 of the robot station E equipped with the camera 106 can be moved by the image processing even at the top 103a of the adjacent robot station E. Corrections are possible. As a result, not only high-precision operation is possible, but also movement according to the situation can be performed. For example, a position correction operation can be performed in a playback conveyance operation that conventionally relies only on machine accuracy. In the present embodiment, as shown in FIG. 3, a space in which a plurality of workpieces W can be waited is secured in the standby area 140 of the workpiece W. That is, when the workpiece P is unloaded from the work area 150 to the standby area 140 of the adjacent robot station E-7, the state of the standby area 140 is first confirmed by the camera 106. In addition, even in the situation where the processed product P previously carried out still remains in the standby area 140, after checking the vacant area in the standby area 140, The workpiece P can be carried out using the robot arm 102.

このように動作させることで、１つのロボットステーションの不良動作に引きずられて、ロボットセルの動作が停止するという事態を避けることができる。 By operating in this way, it is possible to avoid a situation in which the operation of the robot cell stops due to being dragged by a defective operation of one robot station.

例えば、接着剤の塗布のような組み立て作業を中断すると、接着剤が固まってしまう場合がある。このようなケースでは、一旦動作を停止すると、再開するような場合、接着剤の塗布をやり直し、又は接着剤の塗られた被加工品を廃棄する必要がでてくる。しかしながら、前述したように、待機領域に複数の加工品を待機させることができれば、作業を一時中断することなく接着剤の固着が問題にならないところまで工程を進める。その後、被加工物を待機領域に退避することで、前述したやり直し等の問題がなくなるというメリットがある。 For example, when an assembly operation such as application of an adhesive is interrupted, the adhesive may harden. In such a case, once the operation is stopped, when the operation is resumed, it is necessary to apply the adhesive again or to discard the workpiece to which the adhesive is applied. However, as described above, if a plurality of workpieces can be made to stand by in the waiting area, the process is advanced to a point where the fixing of the adhesive does not become a problem without temporarily interrupting the work. After that, by retracting the workpiece to the standby area, there is an advantage that the above-described problems such as redoing can be eliminated.

図５は、本発明の別の実施形態で、固体イメージセンサーを、図４の１６：９のイメージセンサーから、４：３のイメージセンサーに変更したものである。図５は、この実施の形態での、ロボットセルの上面から見た見取り図を示している。 FIG. 5 shows another embodiment of the present invention in which the solid-state image sensor is changed from the 16: 9 image sensor of FIG. 4 to a 4: 3 image sensor. FIG. 5 shows a sketch as seen from the top surface of the robot cell in this embodiment.

カメラ１０６は、両隣のロボットステーションＥ−６，Ｅ−８を視野に入れるのではなく、カメラ１０６を備え付けているロボットステーションの架台１０３の上面と、搬出側のロボットステーションの待機領域１４０をカバーする視野範囲４００に限定している。しかしながら、本実施の形態でも、前述したロボットステーションと同様な動きが可能である。しかも、視野範囲が２つのロボットステーションの天盤１０３ａに限定されることで、前述したキヤリブレーションは、２つの天盤１０３ａに対して行えば良いだけなので、手間が省けるという利点がある。更に、一般的に１６：９の固体イメージセンサーより、４：３のイメージセンサーの方が、よりポピュラーであるため、撮像手段としても入手しやすく、設計自由度の向上が図れるメリットがある。 The camera 106 does not bring the robot stations E-6 and E-8 adjacent to each other into view, but covers the upper surface of the platform 103 of the robot station equipped with the camera 106 and the waiting area 140 of the robot station on the carry-out side. The field of view is limited to 400. However, even in this embodiment, the same movement as that of the robot station described above is possible. In addition, since the field of view is limited to the top 103a of the two robot stations, the above-described calibration has only to be performed on the two tops 103a, so that there is an advantage that labor can be saved. Furthermore, since a 4: 3 image sensor is generally more popular than a 16: 9 solid-state image sensor, it is easy to obtain as an imaging means, and there is an advantage that the degree of freedom in design can be improved.

図６は、本発明の別の実施形態で、撮像手段に４：３の固体イメージ素子を有するカメラを２台使用して、視野を拡大した構成である。図６は、この実施の形態で、ロボットセルの上面から見た見取り図を示している。図６は、ロボットステーションＥ−７に備え付けられたカメラ１０６の視野を示しており、ロボットステーションＥ−８に備え付けられた撮像手段の視野を示す。この実施の形態では、ロボットステーションＥ−７の組立作業領域である１５０を、視野５０２が含んでいる。そのため、この実施の形態では、ロボットステーションＥ−８のロボットアーム１０１は、ロボットステーションＥ−７の図中の点線の半円にて示される組み立て作業領域の一部である組み立て作業領域２０３で制御可能であり、具体的には、組み立て完了した加工品を引き取るという動作も可能になる。これは、次のような事由でメリットが大きい。一般に、ロボットステーションは、さまざまな工程で使用するため、実施する工程により、ロボットアームのエンドエフェクターを付け替える必要があり、様々な組み合わせが考えられる。例えば、鏡筒のような被加工品あるいは加工品をつかみ、搬送するには、エンドエフェクターとして、ある程度の大きさの搬送を想定したグリップハンドのようなエンドエフェクターが必要になる。 FIG. 6 shows another embodiment of the present invention in which the field of view is enlarged by using two cameras having a 4: 3 solid-state image element as imaging means. FIG. 6 shows a sketch as seen from the upper surface of the robot cell in this embodiment. FIG. 6 shows the field of view of the camera 106 provided in the robot station E-7, and shows the field of view of the imaging means provided in the robot station E-8. In this embodiment, the visual field 502 includes 150 which is an assembly work area of the robot station E-7. Therefore, in this embodiment, the robot arm 101 of the robot station E-8 is controlled by the assembly work area 203 which is a part of the assembly work area indicated by a dotted semicircle in the drawing of the robot station E-7. More specifically, an operation of picking up a processed product that has been assembled is also possible. This is very advantageous for the following reasons. Generally, since a robot station is used in various processes, it is necessary to replace the end effector of the robot arm depending on the process to be performed, and various combinations are conceivable. For example, in order to grasp and convey a workpiece or a workpiece such as a lens barrel, an end effector such as a grip hand that assumes conveyance of a certain size is required as an end effector.

しかしながら、このようなグリップハンドは、精密な作業にはむかないため、精密な組み立て作業には、エンドエフェクターとしては、ピンセットハンドが必要になる。ピンセットハンドは、文字通り、ピンセットを持ったエンドエフェクターであり、このようなエンドエフェクターでは、鏡筒のような大きな物品の搬送を行うことはできない。従って、ピンセットハンドを２つ要するような工程が必要になった場合、被加工品の搬送ができなくなる。その対応策として、作業工程の途中で、ロボットアームが、エンドエフェクターを交換することも考えられる。しかしながら、エンドエフェクターの交換作業は、容易ではない場合が多い。また、その精度をあわせるため多くの時間を必要とする。そのため、工程の途中で、エンドエフェクターを交換することは大幅なタクトの低下になり、実際上は難しい。しかしながら、本実施の形態では、例えば、ロボットステーションＥ−６からロボットステーションＥ−７への搬送は、ロボットステーションＥ−６のロボットアーム１０２のエンドエフェクターをグリップハンドにしておくことで搬送可能である。また、ロボットステーションＥ−７からロボットステーションＥ−８への搬送は、ロボットアーム１０２のエンドエフェクターをグリップハンドにしておくことで可能になる。そのため、ロボットステーションＥ−７のロボットハンド１０２のエンドエフェクターを、双腕共に、ピンセットハンドに設定することも可能になる。このため、ロボットセルを構築する上で、各ロボットステーションのエンドエフェクターの選択の範囲が広がり、ロボットセルの構築が容易になるというメリットがある。 However, since such a grip hand is not suitable for precise work, a tweezer hand is required as an end effector for precise assembly work. The tweezer hand is literally an end effector having tweezers, and such an end effector cannot carry a large article such as a lens barrel. Therefore, when a process requiring two tweezer hands is necessary, the workpiece cannot be conveyed. As a countermeasure, it is conceivable that the robot arm exchanges the end effector during the work process. However, it is often not easy to replace the end effector. In addition, it takes a lot of time to match the accuracy. Therefore, replacing the end effector during the process greatly reduces the tact time, and is difficult in practice. However, in the present embodiment, for example, the transfer from the robot station E-6 to the robot station E-7 can be performed by setting the end effector of the robot arm 102 of the robot station E-6 as a grip hand. . Further, the transfer from the robot station E-7 to the robot station E-8 can be performed by setting the end effector of the robot arm 102 as a grip hand. Therefore, the end effector of the robot hand 102 of the robot station E-7 can be set as a tweezer hand with both arms. For this reason, in constructing the robot cell, there is an advantage that the range of selection of the end effector of each robot station is widened and the construction of the robot cell is facilitated.

図７は、図６の実施の形態の撮像手段を示している。撮像手段は、カメラ２台を並列に配置してなる。各カメラ１０６ａ，１０６ｂには、各々、４：３のＣＣＤ等のイメージセンサーが搭載されており、２つのカメラ１０６ａ，１０６ｂで、６：３の有効画角を形成する。また、各カメラ１０６ａ，１０６ｂの周囲には、カメラ１０６ａ，１０６ｂが備え付けられている直下のロボットステーション１０１の架台１０３の天盤１０３ａを照らすＬＥＤ照明１０７が設けられている。図８は、図７の実施の形態にかかわる撮像手段の各カメラ１０６の有効視野範囲を示している。６０１，６０２は、各カメラの有効視野範囲。６０３は、各カメラの有効視野領域が重なった部分を示し、各カメラ有効視野を、横方向に、全体の１／３重なるように配置して、全体として画角６：３を実現している。 FIG. 7 shows the imaging means of the embodiment of FIG. The imaging means is formed by arranging two cameras in parallel. Each camera 106a, 106b is equipped with an image sensor such as a 4: 3 CCD, and the two cameras 106a, 106b form an effective field angle of 6: 3. Further, around each of the cameras 106a and 106b, an LED illumination 107 that illuminates the top 103a of the gantry 103 of the robot station 101 directly below the cameras 106a and 106b is provided. FIG. 8 shows the effective visual field range of each camera 106 of the imaging means according to the embodiment of FIG. Reference numerals 601 and 602 denote effective visual field ranges of the respective cameras. Reference numeral 603 denotes a portion where the effective field of view of each camera overlaps, and each camera effective field of view is arranged in the horizontal direction so as to overlap with 1/3 of the whole to realize the angle of view 6: 3 as a whole. .

このように、複数のカメラを有する場合も、前述したカメラ単体のキヤリブレーションは必要であり、各カメラ毎に、視野領域に含む天盤毎に、キヤリブレーションプレートを配置して、カメラパラメータ補正値を、予め算出しておく必要がある。例えば、カメラ１０６ａ，１０６ｂが２台として、各カメラ１０６ａ，１０６ｂが、視野に、それぞれ２つの天盤の領域を含む場合、少なくとも１直線上に並ばないキヤリブレーションプレートが、３×２×２枚、必要となる。そして、得たカメラパラメータの補正値により、画像領域毎にカメラ座標系を算出し、それを更にロボット座標系に変換して、撮像手段を備え付けているロボットステーションのロボットコントローラに伝え、ロボットアームを指示、制御を行う。なお、撮像手段を備え付けているロボットステーションの架台１０３の天盤１０３ａに対するキヤリブレーションは、前述の１／３重なる領域で行うことにより、１回減らすことが可能である。この場合、必要なキヤリブレーションプレートが、３×３枚で良いことになる。 As described above, even when a plurality of cameras are provided, the above-described calibration of a single camera is necessary. For each camera, a calibration plate is arranged for each top plate included in the visual field region, and camera parameters are set. The correction value needs to be calculated in advance. For example, when there are two cameras 106a and 106b and each camera 106a and 106b includes two top panel areas in the field of view, the calibration plates that are not aligned on at least one straight line are 3 × 2 × 2 Sheets are required. Then, the camera coordinate system is calculated for each image area based on the obtained correction value of the camera parameter, further converted into the robot coordinate system, and transmitted to the robot controller of the robot station equipped with the imaging means. Instruct and control. It should be noted that the calibration of the top 103a of the gantry 103 of the robot station equipped with the imaging means can be reduced once by performing it in the above-mentioned 1/3 overlapping region. In this case, the required calibration plate may be 3 × 3.

１／３重なる領域は、ステレオ撮影画像としても利用可能であり、この１／３重なる領域では、いわゆる３角測量の原理で、これまで述べた２次元画像としての処理だけでなく、被加工物の奥行き方向の寸法値も加えた３次元位置の測定にも使うこともできる。 The 1/3 overlapping region can also be used as a stereo image. In this 1/3 overlapping region, not only the processing as the two-dimensional image described so far but also the work piece is based on the principle of so-called triangulation. It can also be used to measure a three-dimensional position including the dimension value in the depth direction.

この３次元位置情報は、そのまま物品の奥行情報として使用してもよいが、キャリブレーションの際に、個別カメラ１０６ａ，１０６ｂが撮影する２次元平面の架台１０３からの高さ情報を得る事に使用する事もできる。こうする事で、個別カメラ１０６ａ，１０６ｂをキヤリブレーションを行う際、キヤリブレーションプレートの高さ情報をいちいち入力する必要がなくなるというメリットもある。 The three-dimensional position information may be used as the depth information of the article as it is, but is used for obtaining height information from the two-dimensional plane base 103 taken by the individual cameras 106a and 106b at the time of calibration. You can also do it. By doing so, there is also an advantage that when the individual cameras 106a and 106b are calibrated, it is not necessary to input the height information of the calibration plate one by one.

上記ステレオ撮影画像の原理は、同一のロボットステーションに備え付けられた撮像手段の共通視野だけでなく、隣接するロボットステーション１０１とロボットステーション１０２の間の共通視野においても、同様な原理で３次元位置の測定は可能である。但し、これを実現するには、お互いのロボットステーション間で、画像又は画像処理結果を、双方の画像処理装置間で通信する必要がある。 The principle of the stereo image is not only the common visual field of the imaging means provided in the same robot station, but also the common visual field between the adjacent robot station 101 and the robot station 102 according to the same principle. Measurement is possible. However, in order to realize this, it is necessary to communicate an image or an image processing result between both robot processing stations between the image processing apparatuses.

図９は、本発明の別の実施形態を示す。 FIG. 9 shows another embodiment of the present invention.

図９は、図３のロボットステーションの天盤１０３ａに相当する、Ｅ−６〜Ｅ−８に対応するロボットステーションを示す。 FIG. 9 shows robot stations corresponding to E-6 to E-8 corresponding to the top panel 103a of the robot station of FIG.

ロボットステーションＥ−６，Ｅ−７に備え付けたカメラ１０６の視野範囲７０１，７０２を示している。 The visual field ranges 701 and 702 of the camera 106 provided in the robot stations E-6 and E-7 are shown.

本発明の特徴は、ロボットステーションＥ−６に備え付けられた撮像手段と隣接する別のロボットステーションＥ−７に備え付けられた撮像手段の共通視野範囲内７０３に、お互いの位置関係を関係つけるキヤリブレーションマーク７０４が存在する点にある。図６の実施の形態に示すように、隣接するロボットステーションの組み立て作業領域１５０まで、撮像手段の視野範囲とするには、極端に横長の視野範囲が必要になる。そのため、単一のカメラで撮像手段を形成するのは難しい。 The feature of the present invention is that the imaging means provided in the robot station E-6 and the calibration means relating the positional relationship to each other within the common visual field range 703 of the imaging means provided in another adjacent robot station E-7. The relation mark 704 is present. As shown in the embodiment of FIG. 6, an extremely horizontally long visual field range is required to reach the visual field range of the imaging means up to the assembly work area 150 of the adjacent robot station. For this reason, it is difficult to form the imaging means with a single camera.

そこで、本実施の形態では、隣接するロボットステーションの撮像手段との間に、少なくとも１つ、好ましくは３つ以上のキヤリブレーションマーク７０４を設ける。そして、ロボットステーションＥ−６の撮像手段で得たキヤリブレーションマーク７０４に対応するロボット座標と、隣接する別のロボットステーションＥ−７に備え付けられた撮像手段で得たロボット座標の対応付けを行う変換式を形成する。これを行うことで、たとえばＥ−６のロボットステーションＥ−６のロボット座標（Ｘｒ１，Ｙｒ１）に対応した、隣接するロボットステーションＥ−７のロボット座標（Ｘｒ２，Ｙｒ２）を求めることができるようになる。この結果、例えば、ロボットステーションＥ−６の有効視野範囲外である隣接するロボットステーションＥ−７の組み立て作業領域に対して、ロボットステーションＥ−６のロボットアーム１０２により、補助作業を行うことが可能になる。 Therefore, in the present embodiment, at least one, preferably three or more calibration marks 704 are provided between the imaging means of adjacent robot stations. Then, the robot coordinates corresponding to the calibration mark 704 obtained by the imaging means of the robot station E-6 are associated with the robot coordinates obtained by the imaging means provided in another adjacent robot station E-7. Form a transformation formula. By doing this, for example, the robot coordinates (Xr2, Yr2) of the adjacent robot station E-7 corresponding to the robot coordinates (Xr1, Yr1) of the robot station E-6 of E-6 can be obtained. Become. As a result, for example, auxiliary work can be performed by the robot arm 102 of the robot station E-6 on the assembly work area of the adjacent robot station E-7 that is outside the effective visual field range of the robot station E-6. become.

なお、これを実現するには、お互いのロボットステーション間で画像又は画像処理結果を双方の画像処理装置間で通信する必要がある。その上で、お互いのロボットステーションのロボットコントローラで、双方のロボット座標（Ｘｒ１，Ｙｒ１）→（Ｘｒ２，Ｙｒ２）の変換式、（Ｘｒ２，Ｙｒ２）→（Ｘｒ１，Ｙｒ２）の変換式を構築する。その結果、ロボットアームを有するロボットステーションの撮像手段の有効視野外であっても、必要に応じて前記ロボットアームを隣接するロボットステーションの補助作業領域で利用できることが可能になる。 In order to realize this, it is necessary to communicate images or image processing results between the robot stations between the two image processing apparatuses. Then, the robot controller of each robot station constructs a conversion equation of both robot coordinates (Xr1, Yr1) → (Xr2, Yr2) and a conversion equation of (Xr2, Yr2) → (Xr1, Yr2). As a result, even if it is outside the effective field of view of the imaging means of the robot station having the robot arm, the robot arm can be used in the auxiliary work area of the adjacent robot station as necessary.

前記ロボットセルにおいて、ロボットステーションに備え付けられた撮像手段の撮像範囲は互いに共通領域を有し、各々の撮像手段が捉えた画像又は組み付け画像処理結果を送信あるいは受信する手段を有している。このため、各ロボットステーションの撮像手段は、ステレオ撮像ができるようになり、従来からの２次元情報に限らず、高さ方向の３次元情報を捉えることが可能になる。そして、これを使うことでさらに高度な各ロボットステーションのロボットアームの連携動作が可能になる。例えば、このステレオ撮影を用いて、ロボットアームがつかんでいる被加工物の３次元位置を測定することが可能であり、ロボットステーション間で、各々のロボットアームが立体交差するような動き等に対応することができる。 In the robot cell, the imaging range of the imaging means provided in the robot station has a common area, and has means for transmitting or receiving an image captured by each imaging means or an assembled image processing result. For this reason, the imaging means of each robot station can perform stereo imaging, and can capture not only conventional two-dimensional information but also three-dimensional information in the height direction. By using this, it is possible to perform more advanced cooperation of the robot arm of each robot station. For example, it is possible to measure the three-dimensional position of the workpiece that the robot arm is gripping using this stereo shooting, and it can handle movements such that each robot arm crosses between robot stations. can do.

前記ロボットセルにおいて、ロボットステーションに備え付けられた撮像手段と、隣接するロボットステーションに備え付けられた撮像手段の共通視野範囲内に、お互いの位置関係を関係付けるキヤリブレーションマークを有する。 The robot cell has calibration marks that relate the positional relationship within the common visual field range of the imaging means provided in the robot station and the imaging means provided in the adjacent robot station.

このため、ロボットステーションのロボットアームは、隣接するロボットステーションの撮像手段により得られる画像から得られるカメラ座標を利用して、必要なロボット座標を得ることができるようになる。これにより、ロボットステーションが有するロボットアームは、ロボットステーションの有する撮像手段の撮影範囲外においても、ロボットコントローラにより、高度な処理ができるようになる。 For this reason, the robot arm of the robot station can obtain necessary robot coordinates by using the camera coordinates obtained from the image obtained by the imaging means of the adjacent robot station. As a result, the robot arm of the robot station can perform advanced processing by the robot controller even outside the imaging range of the imaging means of the robot station.

ロボットセルにおいて、各ロボットステーションのワークスペースは、正方形状であり、各ロボットステーションに備え付けられた撮像手段は、横縦比１６：９又は、３：４の画角を有している。そして、前記画角の長辺方向は、ロボットステーション内を通過する被加工物の搬送方向と同じ方向である特徴を有している。このため、撮像手段に取り付けられているイメージセンサーの画素を有効に利用することができる。各ロボットステーションが有するロボットアームが、隣接する第２のロボットステーションで作業を行うには、各ロボットステーションのワークスペースは、正方形状であることが好ましい。これは、正方形状に対角する２角に、それぞれロボットアームを持ってきて、並べることで、お互いの可動範囲のダブりを少なくできるため、ロボットアームの制御が容易になるからである。 In the robot cell, the workspace of each robot station has a square shape, and the imaging means provided in each robot station has a field angle of 16: 9 or 3: 4. And the long side direction of the said angle of view has the characteristic which is the same direction as the conveyance direction of the to-be-processed object which passes through the inside of a robot station. For this reason, the pixel of the image sensor attached to the imaging means can be used effectively. In order for the robot arm of each robot station to perform work at the adjacent second robot station, the workspace of each robot station is preferably square. This is because the robot arms can be controlled easily by bringing the robot arms to the two corners diagonally in a square shape and arranging them so that the movable range can be reduced.

一方、一般にカメラ等の撮像手段に設けられるイメージセンサーの形状は、テレビの画角に合わせて作成されており、横縦比４：３または１６：９である。そこで、ワークスペースの短辺側をイメージセンサーの短辺側になるように画角を合わせ、イメージセンサーの撮影領域が、ワークスペースからはみ出る領域を、隣接するロボットステーションのワークスペースに振り向ける。これにより、イメージセンサーの有効画素領域を有効に利用できる。 On the other hand, the shape of an image sensor generally provided in an imaging means such as a camera is created in accordance with the angle of view of a television and has an aspect ratio of 4: 3 or 16: 9. Therefore, the angle of view is adjusted so that the short side of the workspace becomes the short side of the image sensor, and the area where the imaging area of the image sensor protrudes from the workspace is directed to the workspace of the adjacent robot station. Thereby, the effective pixel area of the image sensor can be used effectively.

前記ロボットセルにおいて、各ロボットステーションに備え付けられた撮像手段は、複数のカメラにより構成され、複数のカメラにより撮られた映像は、互いに関連つけられ、１枚の画像として処理される特徴を有する。このため、必要な箇所に、複数の必要な分解能のカメラを置き、それを１枚の画像としてとらえることで、１つの撮像手段の総画素数を抑えることができ、現状存在しないような高画素の撮像手段を得ることができるメリットがある。さらに、異なる場所に複数のカメラを置くことで、１つのカメラの画角を狭くしても、全体としては広範囲な画像を得ることができる。その結果、定められた画角を得るためのブースの高さを低くできるというメリットがある。 In the robot cell, the imaging means provided in each robot station is constituted by a plurality of cameras, and images taken by the plurality of cameras are associated with each other and processed as one image. For this reason, by placing a plurality of cameras with necessary resolutions at necessary locations and capturing them as a single image, the total number of pixels of one imaging means can be suppressed, and high pixels that do not currently exist There is an advantage that an image pickup means can be obtained. Furthermore, by placing a plurality of cameras at different locations, a wide range of images can be obtained as a whole even if the angle of view of one camera is narrowed. As a result, there is an advantage that the height of the booth for obtaining a predetermined angle of view can be reduced.

Ｅロボットステーション
１０１，１０２ロボットアーム
１０３架台
１０３ａ天盤
１０４ブース
１０５固定機材
１０６カメラ
１０７照明
１１０自動台車 E Robot station 101, 102 Robot arm 103 Base 103a Top panel 104 Booth 105 Fixed equipment 106 Camera 107 Illumination 110 Automatic carriage

Claims

An image processing apparatus that includes a pair of robot arms, a booth that fixes an imaging unit so that an imaging plane is parallel to a work space of the robot arm, and that processes an image from the imaging unit; and the robot arm A robot cell comprising a robot controller that controls the robot cell, wherein at least two robot stations are arranged side by side;
The imaging means provided in each robot station has an imaging range not only in the workspace of the robot station but also in the workspace of the adjacent robot station,
The movable range of the robot arm of the robot station includes the range up to the work space of an adjacent robot station.

The imaging range of the imaging means provided in each robot station has a common area with each other, and has means for transmitting or receiving images or image processing results captured by each imaging means in adjacent robot stations. The robot cell according to claim 1.

3. A calibration mark for associating a positional relationship with each other within a common visual field range of an imaging means provided in each robot station and an imaging means provided in an adjacent robot station. The robot cell described in 1.

The workspace of each robot station has a square shape, and the imaging means provided in the robot station has an angle of view of 16: 9 or 3: 4, and the long side direction of the angle of view is The robot cell according to any one of claims 1 to 3, wherein the robot cell is in the same direction as a conveyance direction of the workpiece passing through the robot station.

The imaging means provided in each robot station is constituted by a plurality of cameras, and images taken by the plurality of camera means are related to each other and processed as one image. 5. The robot cell according to any one of items 4 to 4.