JP2019214122A

JP2019214122A - 作業システム

Info

Publication number: JP2019214122A
Application number: JP2019162934A
Authority: JP
Inventors: 雅文大場; Masafumi Oba
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2017-10-16
Filing date: 2019-09-06
Publication date: 2019-12-19
Anticipated expiration: 2037-10-16
Also published as: JP6889216B2

Abstract

【課題】生産時期による生産数の増減に容易に対応することができる技術を提供する。【解決手段】物品Ｏを搬送する搬送装置２と、移動可能な移動架台１３と、移動架台１３に固定され、搬送装置２により搬送される物品Ｏに対して作業を行う作業部３と、移動架台１３に固定され、搬送装置２により搬送される物品Ｏの視覚情報を逐次取得する視覚センサ４ｃであって、その画角に作業部３の作業範囲が含まれるように移動架台１３に固定された視覚センサ４ｃと、視覚センサ４により取得される視覚情報を処理して物品Ｏの少なくとも位置を逐次検出する検出部と、検出部により逐次検出される物品Ｏの位置を用いて作業部３を駆動させる駆動制御部を備える作業システム１ｂを提供する。【選択図】図６

Description

本発明は、作業システムに関する。

搬送装置上を搬送される物品に対して、各種作業を行うロボットが知られている。このようなロボットとして、例えば、移動可能な移動架台に搭載されて、ロボットアームの先端のハンドに取り付けられたカメラによって物品を認識して、物品に対して作業を行うロボットがある（例えば、特許文献１，２）。

特開２００１−１２１４６１号公報特開２０１６−３２８４３号公報

搬送装置を用いた生産ラインでは、需要と供給の関係によって、生産ラインで生産される物品の数が時期によって増減することがある。生産される物品が多い時期を考慮して、生産ラインに固定のロボットが配置されてしまうと、生産される物品が少ない時期に、配置されたロボットが過剰設備になってしまうおそれがある。そのため、生産時期に応じて、生産ラインに配置されるロボットの数を増減させることが望ましい。

特許文献１に記載されたロボットを用いた生産ラインにおいて、このロボットが搬送装置上を搬送される物品に対して作業を行うために、搬送装置の搬送速度を計測するためのパルスコーダ等の設備が必要になる。生産ラインでは、パルスコーダ等の設備も、過剰設備になってしまうおそれがある。また、パルスコーダを用いる場合、パルスコーダとロボットを同期させる作業が必要になり、ロボットの設置作業に要する時間が長くなってしまうおそれもある。

上述した事情に鑑みて、生産時期による生産数の増減に容易に対応することができる作業システムが望まれる。

また、本発明の一態様は、物品を搬送する搬送装置と、移動可能な移動架台と、該移動架台に固定され、前記搬送装置により搬送される前記物品に対して作業を行う作業部と、前記搬送装置により搬送される前記物品の視覚情報を逐次取得する視覚センサであって、その画角に前記作業部の作業範囲が含まれるように前記移動架台に固定された視覚センサと、該視覚センサにより取得される前記視覚情報を処理して前記画角内における前記物品の少なくとも位置を逐次検出する検出部と、該検出部により逐次検出される前記物品の位置を少なくとも用いて前記作業部を駆動させる駆動制御部とを備える作業システムを提供する。

本態様によれば、カメラ等の視覚センサは、搬送装置によって搬送される物品の視覚情報を逐次取得する。検出部は、視覚センサにより取得される視覚情報を処理して視覚センサの画角内における物品の少なくとも位置を逐次検出する。駆動制御部は、検出部により逐次検出される物品の位置を用いて、物品に対し作業部による作業を行わせる。

すなわち、本態様によれば、移動架台を移動させることで、搬送装置を含む生産ラインに、必要な数のロボットが配置される。移動架台に視覚センサおよび作業部が固定され、移動架台を移動しても作業部に対する視覚センサの位置が変わらない。このため、検出部により逐次検出される物品の位置を用いて、搬送装置上を搬送される物品に対して作業部による作業を行うことができる。

本発明の他の態様は、物品を搬送する搬送装置と、移動可能な移動架台と、該移動架台に固定され、前記搬送装置により搬送される前記物品に対して作業を行う作業部と、前記移動架台に固定され、前記搬送装置により搬送される前記物品または前記搬送装置上に形成されたマークの視覚情報を逐次取得する視覚センサと、該視覚センサにより取得される前記視覚情報を処理して前記物品又は前記マークの少なくとも位置を逐次検出する検出部と、該検出部により逐次検出される前記物品又は前記マークの位置に基づき前記搬送装置の搬送速度を算出する算出部と、前記搬送速度を用いて前記作業部を駆動させる駆動制御部とを備える作業システムを提供する。

本態様によれば、カメラ等の視覚センサは、搬送装置によって搬送される物品または搬送装置上に形成されたマークの視覚情報を逐次取得する。算出部は、逐次取得された視覚情報に含まれる複数の物品またはマークの少なくとも位置の変化に基づいて、搬送装置の搬送速度を算出する。駆動制御部は、搬送速度を用いて、搬送装置により搬送される物品の位置を特定して、作業部により特定した物品に作業を行わせる。

すなわち、本態様によれば、移動架台を移動させることで、搬送装置を含む生産ラインに、必要な数のロボットが配置される。移動架台に視覚センサおよび作業部が固定され、移動架台を移動しても作業部に対する視覚センサの位置が変わらない。このため、算出された搬送装置の搬送速度が用いられることで、パルスコーダ等の過剰な設備を必要とせずに、搬送装置上を搬送される物品に対して、作業部による作業が行われる。

上記態様においては、前記駆動制御部が、所定の期間に前記視覚センサにより取得された複数の前記視覚情報内に前記物品または前記マークが検出されない場合に、前記所定の期間の前に前記算出部によって算出された前記搬送速度を用いて前記作業部を駆動させてもよい。
このようにすることで、視覚センサにより物品又はマークが検出されない時間が生じても、搬送装置により視覚センサの画角の下流側に搬送される物品に対して、作業部による作業を継続することができる。

上記態様においては、前記算出部が、算出した前記搬送速度に基づいて、前記搬送装置上を搬送される前記物品の移動量を算出し、前記駆動制御部が、前記検出部で検出される前記物品の位置と、前記算出部により算出される前記物品の前記移動量および前記搬送速度とを用いて、前記搬送装置により搬送される前記物品に追従しながら該物品に対して作業を行うように前記作業部を駆動させてもよい。
このようにすることで、搬送装置により搬送される物品と作業部との接触時における衝撃が小さくなるため、作業時における物品に対する損傷などが回避又は抑制される。

上記態様においては、所定の期間に前記視覚センサにより取得された複数の前記視覚情報内に前記物品または前記マークが検出されない場合に、前記搬送装置上の前記物品の搬送が停止されていること又は前記搬送装置が停止していることを報知する報知部を備えてもよい。
物品またはマークが視覚情報から検出されない場合には、搬送装置の搬送速度がゼロまたは作業対象の物品が搬送されていない場合が考えられる。その場合に、報知部による報知が行われることで、事故の防止や無駄な作業の抑制となる。

上記態様においては、前記駆動制御部が、前記報知部による報知が行われた場合に、前記作業部が前記物品に対して行う作業を中止してもよい。
このようにすることで、事故の防止や無駄な作業の抑制となる。

上記態様においては、前記算出部が、前記搬送速度として、複数の前記物品の速度の平均値又は複数の前記マークの速度の平均値を算出してもよい。
視覚センサの視覚情報としてカメラ等の撮影画像が用いられ、例えば、画角の中心よりも周囲の方がレンズの収差の影響が大きい場合でも、カメラに写った複数の物品又はマークの速度の平均値が搬送装置の搬送速度として用いられることで、より精度の高い搬送装置の搬送速度が算出される。

また、本発明の他の態様は、物品を搬送する搬送装置の近傍に作業部および視覚センサが固定された移動架台を配置する配置ステップと、前記移動架台に固定された視覚センサにより、前記搬送装置により搬送される前記物品または前記搬送装置上に形成されたマークの視覚情報を逐次取得する視覚情報取得ステップと、前記視覚センサにより取得される前記視覚情報を処理して前記物品又は前記マークの少なくとも位置を逐次検出する検出ステップと、逐次検出される前記物品又は前記マークの位置に基づき前記搬送装置の搬送速度を算出する算出ステップと、前記搬送速度を用いて、該移動架台に固定された作業部により、前記搬送装置により搬送される前記物品に対して作業を行う作業ステップとを備える物品に対する作業実施方法を提供する。

また、本発明の他の態様は、移動可能な移動架台と、該移動架台に固定され、搬送装置により搬送される物品又は前記搬送装置上に形成されたマークの視覚情報を逐次取得する視覚センサと、該視覚センサにより取得される前記視覚情報を処理して、前記物品又は前記マークの少なくとも位置を逐次検出する検出部と、該検出部により逐次検出される前記物品又は前記マークの位置に基づき前記搬送装置の搬送速度を算出する算出部と、前記搬送速度を用いて作業部を駆動させる駆動制御部を備えるロボットを提供する。

本発明によれば、生産時期による生産数の増減に容易に対応することができる。

本発明の第１実施形態に係るロボットシステムを示す全体構成図である。図１のロボットシステムに備えられる制御部を示すブロック図である。図１のロボットシステムのカメラにより取得される画像の時間変化と搬送速度とを示す図である。物品Ｏに対する作業実施方法のフローチャートである。第２実施形態に係るロボットシステムを示す全体構成図である。第３実施形態に係るロボットシステムを示す全体構成図である。図１のロボットシステムにおいて同一視野内に複数の物品が撮影される場合を示す図３と同様の図である。

本発明の第１実施形態に係るロボットシステム（作業システム）１について、図面を参照しながら以下に説明する。
図１には、本実施形態に係る物品Ｏを生産する生産ラインを含むロボットシステム１が示されている。ロボットシステム１は、物品Ｏを搬送するコンベア（搬送装置）２と、コンベア２の近傍に設置される移動可能な移動架台１３と、移動架台１３の上部に固定されてコンベア２により搬送される物品Ｏを撮影するカメラ（視覚センサ）４と、移動架台１３の上部に固定されてコンベア２により搬送される物品Ｏに対して各種作業を行うロボット（作業部）３と、ロボット３を制御すると共にカメラ４により取得される画像の処理等を行う制御部５とを備えている。また、図１には、ロボットシステム１に加えて、物品Ｏに対して作業を行う作業者ＷＫが示されている。

コンベア２は、例えばベルトコンベアであって、物品Ｏを搭載して一方向に搬送するベルト６を備えている。ベルト６はモータ（図示略）により駆動されるようになっている。ベルト６の表面には、所定の間隔を空けて、複数のマークＭＫが形成されている。なお、以降では、簡略化して、ベルト６上をコンベア２上ともいい、ベルト６の搬送速度をコンベア２の搬送速度ともいう。

図１に示すように移動架台１３がコンベア２の近傍に配置され固定されると、カメラ４は、コンベア２上の一部の領域に固定された視野を有することになる。カメラ４は、コンベア２により搬送されてくる物品ＯおよびマークＭＫの２次元画像を、視覚情報として逐次取得するようになっている。本実施形態では、カメラ４は、同一物品ＯおよびマークＭＫがカメラ４の撮影視野を通過する間に２回以上撮影されるフレームレートで撮影するようになっている。

なお、上記の固定としては、移動架台１３の車輪の回転を規制する輪止め機構によって移動架台１３の一部又は全部の車輪の回転を規制する方法、移動架台１３の車輪を移動架台１３のボディに対して上方に移動することによりボディを接地させ、これにより移動架台１３を設置面に対し移動しないように固定する方法、ボディの両側面から水平方向に突出する複数のアームおよび該複数のアームからそれぞれ下方に延びる複数の脚部材とを有するアウトリガー構造を採用し、該アウトリガー構造を用いて移動架台１３を固定する方法等がある。その他の方法を用いて固定してもよい。

ロボット３は、移動架台１３上において、カメラ４よりも、コンベア２の搬送方向の下流側に設置されている。そのため、ロボット３は、カメラ４により撮影された後の物品Ｏに対して作業を行う。
移動架台１３がコンベア２の近傍に配置および固定された後、カメラ４やロボット３を用いてトラッキング座標系の設定が行われる。

トラッキング座標系設定の１つの方法としては、先ず、固定された移動架台１３のカメラ４によって、ある搬送位置において、コンベア２上の物品Ｏ、マークＭＫ、キャリブレーション器具等（本実施形態ではキャリブレーション器具）の画像を取得し、コンベア２により前記搬送位置よりも下流側に搬送されたキャリブレーション器具の画像も少なくとも１つ取得する。続いて、制御部５が、これら複数の画像に周知の画像処理を行い、パターンマッチング等によりこれら複数の画像にあらわれるキャリブレーション器具の移動方向を特定し、該移動方向に対応する水平方向を例えばトラッキング座標系のＸ軸として設定し、Ｘ軸に直交する水平方向をＹ軸として設定する。必要に応じてＺ軸を設定してもよい。

他の方法としては、先ず、ロボット３の先端にキャリブレーション用ツールを取付け、コンベア２上に、その搬送方向と直交する方向に正確に並ぶように配置された複数の小さな点を上面に有するキャリブレーション用板を載置する。ここで、キャリブレーション用ツールの先端の位置はロボット３を制御する制御部５により認識されている。

続いて、ロボット３の先端に取付けられたキャリブレーション用ツールの先端をキャリブレーション用板の上面のコンベア２の搬送方向に並ぶ小さな点の少なくとも２点に接触させることにより、制御部５に、コンベア２の移動方向、即ちトラッキング座標系のＸ軸を設定し、さらにキャリブレーション用板の上面のＸ軸に直交する方向の少なくとも１点に接触させることによりＹ軸を設定する。また、Ｘ軸およびＹ軸に直交する方向がＺ軸として制御部５に設定され、接触位置から既知であるキャリブレーション用板の厚さを差し引いた高さがコンベア２の高さとして制御部５に設定される。尚、前述のカメラ４を使う方法の場合にもロボット３による接触等を用いて高さを設定することができる。

尚、ある搬送位置のコンベア２上のキャリブレーション用板のある点にキャリブレーション用ツールの先端を接触させ、前記搬送位置よりも下流側に搬送されたキャリブレーション用板の上記点にキャリブレーション用ツールの先端を接触させることにより、トラッキング座標系のＸ軸を設定してもよい。また、他の方法によってトラッキング座標系の設定を行ってもよい。

上記のように、ロボット３およびカメラ４は移動架台１３の上部に固定されていると共に、ロボット３とカメラ４とのキャリブレーションは既に行われており、ロボット３とカメラ４との位置関係が判明している。このため、カメラ４又はロボット３を使って上記のトラッキング座標系の設定を行うことにより、コンベア２の流れ方向をＸ軸とするトラッキング座標系がコンベア２上にロボット３に関して定義され、そのトラッキング座標系に対するカメラ４の位置が判明することになる。つまり、複雑な設定作業を要さずにカメラ４およびロボット３をコンベア２での作業用に設置できるという利点がある。本実施形態では、ロボット３の作業範囲は、カメラ４の撮影範囲と異なる。換言すると、ロボット３の作業は、カメラ４によって撮影されていない。

本実施形態のロボット３は、複数の関節軸を有する垂直多関節型ロボットである。なお、図１では、複数の関節軸を駆動させるための各モータと、各モータの回転角度を検出するための各エンコーダとの図示が省略されている。ロボット３の先端には、物品Ｏに対して作業を行うロボットハンド７が取り付けられている。

制御部５は、図示しないＣＰＵと、ＲＯＭと、ＲＡＭと、メモリとで構成されている。制御部５は、図２に示されるように、カメラ４により取得された画像を処理して物品Ｏを検出する画像処理部８と、処理された画像内における物品Ｏに基づいてコンベア２の搬送速度を算出する速度算出部（算出部）９と、速度算出部９により算出された搬送速度に基づいてロボット３を駆動させる駆動制御部１０と、時間を計測するタイマー１１と、タイマー１１からの出力に基づいて外部に所定の情報を報知する報知部１２とを備えている。本実施形態では、図１に示すように、制御部５は、移動架台１３に内蔵されているが、他の実施形態では、移動架台１３とは別に設けられてもよい。

画像処理部８は、カメラ４により取得された画像に対して、パターンマッチングなどを用いることで、画像内からコンベア２により搬送されている物品Ｏ、または、コンベア２上に形成されたマークＭＫを検出して認識するようになっている。また、画像処理部８は、認識した物品ＯまたはマークＭＫの姿勢も検出する。物品Ｏは、コンベア２上で静止し、マークＭＫは、コンベア２上に固定されている。そのため、コンベア２が稼動していると、カメラ４に対する物品ＯおよびマークＭＫの位置が搬送方向に沿って変化する。

速度算出部９は、画像処理部８により検出された同一の物品Ｏまたは同一のマークＭＫのロボット３に対する位置の変化に基づいて、コンベア２の搬送速度を算出する。速度算出部９は、算出したコンベア２の搬送速度を用いて、コンベア２により搬送される物品Ｏの移動量を算出する。以下では、物品Ｏが検出された場合について説明する。

具体的には、画像処理部８は、例えば、図３に示されるように、所定時間間隔Δｔをあけて異なる時刻ｔ１，ｔ２，ｔ３に同一視野において３枚の画像が取得されたときに、各画像において画像内に含まれている物品Ｏを認識し、認識された物品Ｏの重心の座標位置を算出するようになっている。

そして、速度算出部９は、時間軸方向に隣接して取得された画像内の搬送方向に直交する方向の同じ座標近傍に配置されている重心を有する物品Ｏを同一物品Ｏであると認識し、各物品Ｏの重心の搬送方向の座標値の差分を撮影の時間間隔Δｔで除算することにより搬送速度を算出するようになっている。同一物品Ｏについて搬送速度が複数回算出されたときにはその平均値あるいは最小自乗法等によってフィッティングされた値を搬送速度として出力するようになっている。

一方、本実施形態では、制御部５は所定時間間隔Δｔよりも長い時間間隔Δｔ_ｓで、作業を行わせる時のロボット３の制御用に、各物品Ｏの位置および姿勢を検出する。例えば、Δｔが数ｍｓである場合に、その数十又は数百倍の数十又は数百ｍｓの時間間隔Δｔ_ｓで位置および姿勢を検出する。これにより、一般的にデータ処理に時間がかかる物品Ｏの位置および姿勢の検出の回数を低減して処理負荷を低減することができるため、搬送速度および移動量の算出を安定して行うことが可能となる。

また、画像処理部８は、画像内に物品Ｏが１つも検出されなくなったか否かを判定するようになっている。画像処理部８は、物品Ｏを検出しなくなった場合に、タイマー１１に計時を開始させる。タイマー１１による計時が開始された後に、画像処理部８は、画像内に物品Ｏを再度検出した場合には、タイマー１１による計時をリセットさせるようになっている。

報知部１２は、タイマー１１の計時開始から所定時間が経過した場合に、物品Ｏを検出できないことを外部に報知するようになっている。このような場合に、本実施形態では、報知部１２は、コンベア２による物品Ｏの搬送が停止されていること、コンベア２のベルト６が停止していること、およびベルト６の搬送速度Ｖが一時的に取得されないことのいずれかを報知するようになっている。報知部１２は、このような報知を、モニタ、ランプ、ブザー等任意の手段を用いて行う。報知部１２は、同様の報知を、駆動制御部１０に制御信号として送信する。

駆動制御部１０は、予め教示された動作プログラムに従って、ロボット３の各関節軸における各モータの角度を制御するようにロボット３に駆動指令を送信して、ロボット３を駆動させるようになっている。駆動制御部１０は、各エンコーダによって検出される各モータの回転角度を用いて、各モータに対してフィードバック制御を行っている。駆動制御部１０は、速度算出部９により算出された搬送速度Ｖに基づいて、コンベア２上の物品Ｏを追従するトラッキングを実施する。駆動制御部１０は、ロボット３に行わせる作業に応じた動作プログラムと、作業対象である物品Ｏのモデルとを読み込み、ロボット３のトラッキング座標系等の位置設定を行う。駆動制御部１０が、ロボット３およびロボットハンド７の動作を制御することで、ロボットハンド７が、コンベア２により搬送される物品Ｏに対して各種作業を行う。

本実施形態では、駆動制御部１０は、報知部１２からの報知を受信すると、二通りの制御を行うようになっている。このような１つの制御としては、ロボット３が物品Ｏに対して行う作業を中止する制御である。もう一つの制御としては、報知部１２から報知される前に速度算出部９により算出されたコンベア２の搬送速度Ｖを用いて、ロボット３の作業を続行させる制御である。

駆動制御部１０は、画像処理部８により検出されたコンベア２上での物品Ｏの位置と、速度算出部９により算出されたコンベア２の搬送速度Ｖおよび搬送される物品Ｏの移動量とを用いて、搬送される物品Ｏにロボットハンド７を追従させながら作業を行わせる。具体的には、駆動制御部１０は、搬送される物品Ｏとロボットハンド７との相対速度をできるだけ小さくして、ロボットハンド７に作業を行わせる。これにより、ロボットハンド７が物品Ｏに接触する際の衝撃を低減でき、物品Ｏの破損防止のために有効である。

以下では、コンベア２により搬送される物品Ｏに対してロボット３が作業を行うまでの作業実施方法の一例について、図４に示すフローチャートに沿って説明する。
初めに、コンベア２の近傍に、ロボット３およびカメラ４が固定された移動架台１３が配置、固定される（ステップＳ１１）。駆動制御部１０は、ロボット３に行わせる作業に応じた動作プログラムと、作業対象である物品Ｏのモデルとを読み込み、ロボット３のトラッキング座標系等の位置設定を行う。カメラ４は、予め設定されたフレームレートで、搬送される物品Ｏを含むコンベア２上を撮影して、視覚情報としての画像を取得する（ステップＳ１２）。画像処理部８は、カメラ４により取得された複数の画像から物品Ｏを検出する（ステップＳ１３）。速度算出部９は、図３に示すように、検出された物品Ｏの重心を用いて、コンベア２の搬送速度Ｖを算出する（ステップＳ１４）。駆動制御部１０は、搬送速度Ｖを用いて、コンベア２上における物品Ｏの現在の位置および姿勢を算出する。駆動制御部１０は、算出した物品Ｏの現在の位置および姿勢に基づき、ロボット３を駆動させて、コンベア２上の物品Ｏに対してロボット３による作業が行われる（ステップＳ１５）。そして、コンベア２により搬送される物品Ｏに対する作業実施方法が終了する。

このように構成された本実施形態に係るロボットシステム１の作用について以下に説明する。
本実施形態に係るロボットシステム１によれば、コンベア２によって物品Ｏが搬送されてくると、カメラ４によって物品Ｏが撮影される。撮影により取得された画像が画像処理部８により画像処理されることで、画像内から物品Ｏが検出される。物品Ｏの検出結果に基づいて、コンベア２の搬送速度Ｖが算出される。算出された搬送速度Ｖを用いながら、コンベア２により搬送される物品Ｏに対してロボット３による作業が行われる。

ロボット３およびカメラ４は、移動架台１３に固定されているため、コンベア２を含む生産ラインにおいて生産される物品Ｏの数の増減に応じて、移動可能である。そのため、コンベア２に固定されるロボットと比較すると、生産ラインに対する過剰な設備とならない利点がある。さらに、本実施形態のロボットシステム１では、ロボット３に対しての位置が固定されたカメラ４により取得された画像に基づいて、コンベア２の搬送速度Ｖが算出される。これにより、コンベア２の搬送速度Ｖを算出するためのエンコーダ等が不要であり、コンベア２を含む生産ラインにおける過剰設備をさらに抑制できる利点がある。

そして、図３に示されるように、所定時間間隔Δｔをあけて異なる時刻ｔ１，ｔ２，ｔ３に取得された画像から算出された同一物品Ｏの重心の座標位置ｄ１，ｄ２，ｄ３に基づいて、速度算出部９によりコンベア２による搬送速度Ｖが算出され、駆動制御部１０に入力される。カメラ４とロボット３とは所定の距離だけ離れて配置されているので、コンベア２が等速で移動しているとすると当該距離を搬送速度Ｖで除算した時間後に物品Ｏがロボット３の動作範囲内に移動する。

駆動制御部１０は、前述のように、物品Ｏが画像内に存在するいずれかの時点（時間間隔Δｔ_ｓ）で物品Ｏのトラッキング座標系ＴＦに対する位置および姿勢を認識し、その時点から現在時刻までの物品Ｏの移動量を算出する。そして、その移動量を成分とする座標変換行列をトラッキング座標系ＴＦに乗算することにより、現在のトラッキング座標系ＴＦ′を算出する。
ＴＦ′＝Ｔ・ＴＦ
そして、駆動制御部１０は、算出された現在のトラッキング座標系ＴＦ′を基準とすることで、コンベア２によって搬送されている物品Ｏをロボットハンド７で追従しながら、物品Ｏを把持してコンベア２から取り上げることができる。

この場合において、ロボット３がロボットハンド７をコンベア２上の物品Ｏに追従させるように駆動されているときには、カメラ４が後続の物品Ｏを撮影し、速度算出部９により新たな搬送速度Ｖが算出されているので、駆動制御部１０は新たに算出された搬送速度Ｖを用いてロボット３を制御することができ、コンベア２による搬送速度Ｖが変動しても物品Ｏを正しく取り上げることができる。

図５は、第２実施形態に係るロボットシステム（作業システム）１ａを示す全体構成図である。第２実施形態のロボットシステム１ａでは、第１実施形態のロボットシステム１におけるカメラ４の代わりに、カメラ４ａとカメラ４ｂとを備える点が異なる。ロボットシステム１ａは、その他の点では第１実施形態のロボットシステム１と同じ構成を有するため、第２実施形態ではカメラ４ａ，４ｂについて説明し、同じ構成についての説明を省略する。

第１実施形態のカメラ４が行っていたことを、第２実施形態では、カメラ４ａ，４ｂが行っている。具体的には、カメラ４ａにより取得された画像に基づいて、コンベア２の搬送速度Ｖが算出され、カメラ４ｂにより取得された画像に基づいて、コンベア２により搬送される物品Ｏの位置および姿勢が算出される。このように、カメラ４ａの画像とカメラ４ｂの画像とに対して行われる画像処理が異なることで、カメラ４ａ，４ｂのフレームレートや解像度の設計の自由度が向上する。

図６は、第３実施形態に係るロボットシステム（作業システム）１ｂを示す全体構成図である。第３実施形態のロボットシステム１ｂでは、第１実施形態のロボットシステム１におけるカメラ４の代わりに、カメラ４の撮影範囲と異なる範囲を撮影するカメラ４ｃを備える点が異なる。ロボットシステム１ｂは、その他の点では第１実施形態のロボットシステム１と同じ構成を有するため、第３実施形態ではカメラ４ｃについて説明し、同じ構成についての説明を省略する。

第３実施形態のカメラ４ｃの撮影範囲（画角）は、ロボット３の作業範囲を含んでいる。カメラ４ｃにより取得された画像に基づいて、物品Ｏの位置および姿勢が逐次算出される。
カメラ４ｃは二次元カメラでも三次元カメラでもよい。二次元カメラの場合、カメラ４ｃにより取得された複数の画像中の物品Ｏを用いて、第１実施形態と同様にトラッキング座標系の設定および各物品Ｏの位置および姿勢の検出等が行われる。なお、第１実施形態と同様にコンベア２の搬送速度の算出および物品Ｏの移動量の算出も行われるように、当該ロボットシステムを構成してもよい。

三次元カメラを用いる場合、カメラ４ｃに対する物品Ｏの位置および姿勢(傾き)をリアルタイムで三次元的に取得することができるため、物品が傾いていてもロボット３はカメラ４ｃの検出結果に基づき物品Ｏに対する作業を行うことができる。

このように、カメラ４ｃの撮影範囲とロボット３の作業範囲とが重複することでロボット３は検出された位置および姿勢を使って直接物品Ｏを取り上げることができるため、カメラ４ｃの撮影範囲とロボット３の作業範囲とが異なる場合と比較して、算出される物品Ｏの位置および姿勢の精度が高くなると共に、ロボット３が物品Ｏを取り上げるまでに物品の位置が多少変化してもロボット３は物品Ｏを取り上げることができる。なお、図６のようにカメラ４ｃの方向（光軸）を水平面（コンベヤ２の上面）に対し傾けると、ロボット３によりカメラ４ｃの視野が邪魔されることが少なくなるので、物品Ｏの位置、姿勢の検出精度を向上する上で有利である。このように、ロボット３の作業範囲と、カメラ４ｃの撮影範囲との関係については、種々変形可能である。

なお、上記実施形態では、ロボットシステム１の一例について説明したが、ロボットシステム１および生産ラインに配置、固定される移動可能なロボットについては、種々変形可能である。例えば、コンベア２を含むロボットシステム１ではなく、移動可能な移動架台１３と、移動架台１３に固定されると共にコンベア２により搬送される物品Ｏに対して作業を行うロボット３と、移動架台１３に固定されると共に物品Ｏを撮影するカメラ４とを備えるロボットであってもよい。

移動架台１３は、無人搬送車（Automated Guided Vehicle）であってもよい。この場合に、移動架台１３は、複数のコンベア２を有する工場内の所定の経路を移動する光学誘導式や電磁誘導式などの無人搬送車であってもよい。移動架台１３が所定の経路を移動することで、過剰な設備となるロボットの配置が抑制される。

他の実施形態のロボットシステムでは、上記実施形態のような制御部５を内蔵する複数のロボット３が１つのコンベア２に配置、固定され、これら複数のロボット３を制御するセル制御装置が設けられてもよい。このセル制御装置は、複数の制御部５の上位の制御装置であり、複数の移動架台１３のそれぞれに固定された複数のロボット３およびカメラ４を制御する。この場合に、複数のロボット３が有するカメラ４の内の１つのカメラ４がコンベア２により搬送される物品ＯまたはマークＭＫの画像を取得すると、セル制御装置は、取得された画像を用いてコンベア２の搬送速度Ｖや物品Ｏの位置および姿勢を算出する。セル制御装置は、制御下にある複数のロボット３に対して、算出したコンベア２の搬送速度Ｖや物品Ｏの位置および姿勢を共有してもよい。

駆動制御部１０は、作業対象である物品Ｏとは異なる別物品がコンベア２により搬送されてきたときに、ロボット３を作業範囲外に移動させてもよい。例えば、カメラ４により取得された画像から画像処理部８が別物品を検出すると、駆動制御部１０は、ロボットハンド７を作業範囲外へと移動させる。これにより、ロボット３と別物品との衝突を回避して、コンベア２上における事故を防ぐことができる。

また、本実施形態においては、画像内に単一の物品Ｏが検出される場合について説明したが、これに代えて、図７に示されるように、複数の物品ａ１，ａ２，ａ３が同時にカメラ４の視野内に配置される場合にも適用することができる。
すなわち、画像内に複数の物品ａ１，ａ２，ａ３が認識された場合には、各物品ａ１，ａ２，ａ３について、異なる時刻に取得された画像内の物品ａ１，ａ２，ａ３との同一性を識別し、識別された同一物品ａ１，ａ２，ａ３間での移動距離に基づいてそれぞれ算出した速度Ｖ１，Ｖ２，Ｖ３を平均することにより搬送速度Ｖを算出することにしてもよい。この場合、同一物品ａ１，ａ２，ａ３間での移動距離は、所定時間間隔Δｔをあけて異なる時刻ｔ１，ｔ２，ｔ３に取得された画像から算出された同一物品ａ１，ａ２，ａ３の重心の座標位置ｄ１１，ｄ１２，ｄ１３，ｄ２２，ｄ２３，ｄ２４，ｄ３３，ｄ３４の差分により求められる。

上記実施形態のロボットシステム１では、コンベア２により搬送される物品Ｏの位置によってコンベア２の搬送速度Ｖが算出されたが、コンベア２に形成されたマークＭＫがカメラ４により撮影されることによって、コンベア２の搬送速度Ｖが算出されてもよい。マークＭＫとしては、矩形形状、円形状などの複数の形状が合わさったマークでもよい。マークＭＫが配置される位置は、カメラ３が移動可能な移動架台１３に固定されているため、搬送方向および搬送方向に直交する方向に沿って、所定の間隔を空けて配置されてもよいし、ランダムに配置されてもよい。

上記実施形態では、移動架台１３に固定されたロボット３が垂直多関節型ロボットのロボットであったが、コンベア２により搬送される物品Ｏに対して作業を行うロボットについては、種々変形可能である。例えば、ロボット３は、平置き型あるいは天吊り型等であってもよく、トレーと、トレーに物品Ｏを載置する機構とを有する簡易な作業装置であってもよく、任意の作業装置（作業部）が採用されればよい。

上記実施形態では、物品Ｏに対してロボットハンド７が行う作業として、コンベア２から取り上げる作業を例に挙げたが、作業については種々変形可能である。例えば、ロボットハンド７は、コンベア２上における物品Ｏを動かさずに、何らかの部品を溶接する作業を行ってもよい。

１，１ａ，１ｂロボットシステム（作業システム）
２コンベア（搬送装置）
３ロボット（作業部）
４，４ａ，４ｂ，４ｃカメラ（視覚センサ）
８画像処理部（検出部）
９速度算出部（算出部）
１０駆動制御部
１２報知部
１３移動架台
ａ１，ａ２，ａ３，Ｏ物品
ＭＫマーク
Ｖ搬送速度
Ｓ１１配置ステップ
Ｓ１２視覚情報取得ステップ
Ｓ１３検出ステップ
Ｓ１４算出ステップ
Ｓ１５作業ステップ

Claims

物品を搬送する搬送装置と、
移動可能な移動架台と、
該移動架台に固定され、前記搬送装置により搬送される前記物品に対して作業を行う作業部と、
前記搬送装置により搬送される前記物品の視覚情報を逐次取得する視覚センサであって、その画角に前記作業部の作業範囲が含まれるように前記移動架台に固定された視覚センサと、
該視覚センサにより取得される前記視覚情報を処理して前記画角内における前記物品の少なくとも位置を逐次検出する検出部と、
該検出部により逐次検出される前記物品の位置を少なくとも用いて前記作業部を駆動させる駆動制御部とを備える作業システム。