JP2019089180A - ロボット及びロボットシステム - Google Patents

Abstract

【課題】構造を簡単にすることができるロボット及びロボットシステムを提供する。【解決手段】ロボットは、肩部１０ａと、肩部１０ａに接続されたアーム１２と、支持部３２を介して肩部１０ａに接続された撮像部２０ａ，２０ｂと、撮像部２０ａ，２０ｂで撮像した撮像画像を受け付ける画像受付部と、撮像画像に基づいてアーム１２を制御するロボット制御部と、を有し、撮像部２０ａ，２０ｂは、被写界深度が異なる２組以上のステレオカメラである。【選択図】図１

Description

本発明は、ロボット及びロボットシステムに関するものである。

従来、ステレオカメラと、複数のアームをもつロボットにおいて、アームの先につけたエンドエフェクターで対象物を把持し、対象物をステレオカメラで撮像可能な位置に移動させるとき、対象物を精度よく撮像するには、ステレオカメラの被写界深度に収まる位置に対象物を移動させる必要があった。このとき、対象物をより拡大して精度よく撮像しようとしたときに、ステレオカメラにそれぞれのカメラに独立に取り付けられたレンズを物理的に可動させてズームさせるなどの機構が必要になっていた。

これに関し、レンズ機構を介した映像を１つの撮像素子上にエリアを分割して撮像し、又は各レンズ機構を介した映像を並列配置した２つの撮像素子上に撮像するステレオカメラで、かつステレオカメラが、ロボットアームの先端部に装着されたロボットが知られている（例えば、特許文献１参照）。

特開２００９−２４１２４７号公報

しかしながら、特許文献１では異なる被写界深度にある対象物を撮像するためには、アームを動かし、レンズ機構を駆動してピントを合わせなければならないため、撮像までに時間がかかり、作業のサイクルタイムが長くなってしまうおそれがある。また、レンズ機構を駆動してピントを合わせる機構にすると、構造が複雑になり故障の確率が高くなるとともに、コストが上昇してしまうおそれがある。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］本適用例に係るロボットは、肩部と、前記肩部に接続されたアームと、支持部を介して前記肩部に接続された撮像部と、前記撮像部で撮像した撮像画像を受け付ける画像受付部と、前記撮像画像に基づいて前記アームを制御するロボット制御部と、を有し、前記撮像部は、被写界深度が異なる２組以上のステレオカメラであることを特徴とする。

本適用例によれば、被写界深度が異なる２組以上のステレオカメラを備える。これにより、異なる被写界深度にある対象物を撮像するときに、レンズ機構を駆動してピントを合わせる必要がなくなる。その結果、レンズ機構を駆動してピントを合わせる構造が必要なくなるため、構造を簡単にすることができる。

［適用例２］上記適用例に記載のロボットにおいて、前記撮像部は、第１ステレオカメラと、第２ステレオカメラと、を有し、前記第１ステレオカメラの被写界深度は、前記第２ステレオカメラの被写界深度より遠く、前記第２ステレオカメラの被写界深度は、前記第１ステレオカメラの被写界深度より近いことが好ましい。

本適用例によれば、被写界深度を変更するために可動機構を必要とせず、対象物の測定を早く完了することができる。

［適用例３］上記適用例に記載のロボットにおいて、前記第１ステレオカメラを構成する２つのカメラ間の距離は、前記第２ステレオカメラを構成する２つのカメラ間の距離よりも長いことが好ましい。

本適用例によれば、遠い（深い）被写界深度にある対象物でも、第１ステレオカメラを構成する２つのカメラ間距離が第２ステレオカメラを構成する２つのカメラ間の距離よりも長いので、測定精度が確保できる。

［適用例４］上記適用例に記載のロボットにおいて、前記第２ステレオカメラは、前記第１ステレオカメラの光軸が重なる点から平面視したときに、前記第１ステレオカメラを構成する２つのカメラの設置された位置を通り、前記第１ステレオカメラを構成する２つのカメラの間の距離を直径とする円よりも内側に配置されていることが好ましい。

本適用例によれば、第１ステレオカメラと第２ステレオカメラとを配置するスペースを小さくすることができる。

［適用例５］上記適用例に記載のロボットにおいて、前記第１ステレオカメラと前記第２ステレオカメラとは、１枚の板材によって接続され、前記第１ステレオカメラと前記第２ステレオカメラとの相対位置が固定されていることが好ましい。

本適用例によれば、撮像範囲を広くすることができる。

［適用例６］上記適用例に記載のロボットにおいて、前記板材は、前記第１ステレオカメラを構成する２つのカメラの設置位置を結んだ直線に略平行な軸を中心に回動可能であることが好ましい。

本適用例によれば、撮像範囲を広くすることができる。

［適用例７］上記適用例に記載のロボットにおいて、前記２組以上のステレオカメラは、前記ステレオカメラを構成する２つのカメラが２つの前記画像受付部にそれぞれ接続されていることが好ましい。

本適用例によれば、それぞれのカメラ毎に画像メモリーを備えることができるので、測定精度が確保できる。

［適用例８］上記適用例に記載のロボットにおいて、前記２組以上のステレオカメラの少なくとも１組は、前記ステレオカメラを構成する２つのカメラが１つの前記画像受付部に接続されていることが好ましい。

本適用例によれば、それぞれのカメラ毎に画像メモリーを確保しなくてもよく、ステレオカメラの画像が時間的にずれないことが保証される。

［適用例９］上記適用例に記載のロボットにおいて、前記画像受付部は、前記ステレオカメラを構成する２つのカメラがそれぞれ撮像した撮像画像を左右に並べた１つの画像に合成して受け付けることが好ましい。

本適用例によれば、ステレオカメラの画像が時間的にずれないことがより保証される。

［適用例１０］本適用例に係るロボットシステムは、アームを持つロボットと、撮像部と、前記撮像部で撮像した撮像画像を受け付ける画像受付部と、前記撮像画像に基づいて前記ロボットのアームを制御するロボット制御部と、を有し、前記撮像部は、被写界深度が異なる２組以上のステレオカメラであることを特徴とする。

本適用例によれば、被写界深度が異なる２組以上のステレオカメラを備える。これにより、異なる被写界深度にある対象物を撮像するときに、レンズ機構を駆動してピントを合わせる必要がなくなる。その結果、レンズ機構を駆動してピントを合わせる構造が必要なくなるため、構造を簡単にすることができる。

［適用例１１］上記適用例に記載のロボットシステムにおいて、前記撮像部は、第１ステレオカメラと、第２ステレオカメラと、を有し、前記第１ステレオカメラの被写界深度は、前記第２ステレオカメラの被写界深度より遠く、前記第２ステレオカメラの被写界深度は、前記第１ステレオカメラの被写界深度より近いことが好ましい。

本適用例によれば、被写界深度を変更するために可動機構を必要とせず、対象物の測定を早く完了することができる。

［適用例１２］上記適用例に記載のロボットシステムにおいて、前記第１ステレオカメラを構成する２つのカメラ間の距離は、前記第２ステレオカメラを構成する２つのカメラ間の距離よりも長いことが好ましい。

本適用例によれば、遠い被写界深度にある対象物でも、第１ステレオカメラを構成する２つのカメラ間距離が第２ステレオカメラを構成する２つのカメラ間の距離よりも長いので、測定精度が確保できる。

［適用例１３］上記適用例に記載のロボットシステムにおいて、前記第２ステレオカメラは、前記第１ステレオカメラの光軸が重なる点から平面視したときに、前記第１ステレオカメラを構成する２つのカメラの設置された位置を通り、前記第１ステレオカメラを構成する２つのカメラの間の距離を直径とする円よりも内側に配置されていることが好ましい。

本適用例によれば、第１ステレオカメラと第２ステレオカメラとを配置するスペースを小さくすることができる。

［適用例１４］上記適用例に記載のロボットシステムにおいて、前記第１ステレオカメラと前記第２ステレオカメラとは、１枚の板材によって接続され、前記第１ステレオカメラと前記第２ステレオカメラとの相対位置が固定されていることが好ましい。

本適用例によれば、撮像範囲を広くすることができる。

［適用例１５］上記適用例に記載のロボットシステムにおいて、前記板材は、前記第１ステレオカメラを構成する２つのカメラの設置位置を結んだ直線に略平行な軸を中心に回動可能であることが好ましい。

本適用例によれば、撮像範囲を広くすることができる。

［適用例１６］上記適用例に記載のロボットシステムにおいて、前記２組以上のステレオカメラは、前記ステレオカメラを構成する２つのカメラが２つの前記画像受付部にそれぞれ接続されていることが好ましい。

本適用例によれば、それぞれのカメラ毎に画像メモリーを備えることができるので、測定精度が確保できる。

［適用例１７］上記適用例に記載のロボットシステムにおいて、前記２組以上のステレオカメラの少なくとも１組は、前記ステレオカメラを構成する２つのカメラが１つの前記画像受付部に接続されていることが好ましい。

本適用例によれば、それぞれのカメラ毎に画像メモリーを確保しなくてもよく、ステレオカメラの画像が時間的にずれないことが保証される。

［適用例１８］上記適用例に記載のロボットシステムにおいて、前記画像受付部は、前記ステレオカメラを構成する２つのカメラがそれぞれ撮像した撮像画像を左右に並べた１つの画像に合成して受け付けることが好ましい。

本適用例によれば、ステレオカメラの画像が時間的にずれないことがより保証される。

本実施形態に係るロボットシステムの正面斜視図。 本実施形態に係る頭部を示す下面図。 本実施形態に係る頭部を示す正面図。 本実施形態に係る頭部のチルト動作０［ｄｅｇ］の状態を示す側面図。 本実施形態に係る頭部のチルト動作３５［ｄｅｇ］の状態を示す側面図。 本実施形態に係る頭部を示す外装なし正面図。 本実施形態に係る頭部のチルト動作０［ｄｅｇ］の状態を示す外装なし側面図。 本実施形態に係る制御装置の機能構成の一例を示した図。 本実施形態に係る制御装置の機能を実現するハードウェア構成の一例を示す図。 本実施形態に係る電動ドライバーのねじ締め方法を示すフローチャート。 実施例１に係るステレオ画像を示す図。 実施例２に係るステレオ画像を示す図。

以下、本発明を具体化した実施形態について図面に従って説明する。なお、使用する図面は、説明する部分が認識可能な状態となるように、適宜拡大又は縮小して表示している。

図１は、本実施形態に係るロボットシステム２の正面斜視図である。
本実施形態に係るロボットシステム２は、図１に示すように、制御装置３０と、制御装置３０により制御されるアーム１２を持つロボット４と、撮像部としての第１ステレオカメラ２０ａ及び第２ステレオカメラ２０ｂと、を備えている。

制御装置３０は、第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとで撮像した撮像画像を受け付ける画像受付部としての画像処理部４２（図８参照）と、撮像画像に基づいてロボット４のアーム１２を制御するロボット制御部３４（図８参照）と、を備えている。

第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとは、被写界深度が異なる２組のステレオカメラである。

本実施形態に係るロボット４は、胴部１０と、胴部１０に接続されたアーム１２と、を備えている。なお、ロボット４は、支持部３２を介して胴部１０に接続された撮像部としての第１ステレオカメラ２０ａ及び第２ステレオカメラ２０ｂと、第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとで撮像した撮像画像を受け付ける画像受付部としての画像処理部４２（図８参照）と、撮像画像に基づいてアーム１２を制御するロボット制御部３４（図８参照）と、を備えてもよい。第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとは、被写界深度が異なる２組のステレオカメラである。

ロボット４は、頭部８と、表示装置１４と、脚部１６と、搬送用ハンドル１８と、信号灯２２と、を備えている。

ロボット４は、人間型双腕ロボットであり、脚部１６に内蔵された、制御装置３０からの制御信号に従って処理を行う。ロボット４は、例えば、腕時計のような精密機器等を製造する製造工程で用いることができる。このような製造作業は、通常、胴部１０の前方に設置される作業台４６（図４参照）上で行われる。

なお、以下では、説明の都合上、図１中の上側を「上」又は「上方」、下側を「下」又は「下方」と呼ぶことがある。また、図１の手前側を「正面側」又は「正面」と呼ぶことがある。さらに、図１中の右側を「右」、左側を「左」と呼ぶことがある。

胴部１０の両側面の上端近傍には、それぞれアーム１２が設けられる。アーム１２の先端には、対象物や道具を把持するハンド１２ａが設けられる。アーム１２のエンドポイントの位置は、ハンド１２ａの位置である。また、アーム１２には、作業台４６上に載置された対象物等を撮影するハンドアイカメラ１２ｂが設けられる。ハンドアイカメラ１２ｂは、それぞれ、アーム１２のそれぞれの動きに応じて動かされる。

アーム１２は、マニピュレーターの一種ということができる。マニピュレーターは、エンドポイントの位置を移動させる機構であり、アームに限られず様々な形態をとることができる。例えば、１以上のジョイントとリンクとにより構成され、ジョイントを動かすことで全体が動くマニピュレーターであれば、どのような形態でもよい。また、ロボット４に設けられるマニピュレーターの数も２本に限られず、１本又は３本以上であってもよい。

ハンド１２ａは、エンドエフェクターの一種ということができる。エンドエフェクターは、対象物を把持したり、押し付けたり、持ち上げたり、吊し上げたり、吸着したり、対象物を加工したりするための部材である。エンドエフェクターは、ハンド、フック、吸盤など、様々な形態をとることができる。また、エンドエフェクターは、１本のアームに対して複数設けるようにしてもよい。

胴部１０は、脚部１６のフレーム上に設けられる。脚部１６は、ロボット４の基台であり、胴部１０は、ロボット４の胴体である。

脚部１６の内部には、ロボット４自身を制御する制御装置３０が設けられる。脚部１６の内部には、図示しない回転軸が設けられ、この回転軸には、胴部１０の肩領域（肩部）１０ａが設けられる。

脚部１６の背面には、図示しない電源スイッチと、脚部１６に内蔵された制御装置３０と、外部のＰＣ等を接続する図示しない外部接続端子と、が設けられる。電源スイッチは、ロボット４の電源を投入する電源ＯＮスイッチと、ロボット４の電源を遮断する電源ＯＦＦスイッチと、を備える。

また、脚部１６の最下部には、図示しない複数のキャスターが水平方向に間隔をおいて設置されている。これにより、ユーザーが搬送用ハンドル１８を押すこと等によりロボット４を移動搬送することができる。

胴部１０から上に突出する、頭部８に当たる部分には、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の電子カメラを備える第１ステレオカメラ２０ａ及び第２ステレオカメラ２０ｂと、信号灯２２と、が設けられる。

第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとは、ロボット４の図示しない腰軸上の頭部８に設けられている。第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとは、それぞれ、３Ｄカメラ（３次元カメラ）として構成されている。第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとは、作業台４６及び作業台４６上の作業領域を撮像する。作業領域とは、ロボット４が作業台４６上で作業を行う領域である。第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとは、それぞれ、頭部８の動きに応じて動かされる。これらの第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとは、アーム１２とは独立して設けられている。

信号灯２２は、例えば、赤色の光、黄色の光、及び青色の光をそれぞれ発するＬＥＤを有し、これらのＬＥＤがロボット４の現在の状態に応じて適宜選択されて発光する。

胴部１０の背面側には、ロボット４の背面側から視認可能な表示装置１４が配置されている。表示装置１４は、例えば、液晶モニターであり、ロボット４の現在の状態等を表示することができる。また、表示装置１４は、例えば、タッチパネル機能を有しており、ロボット４に対する動作の設定を行う入力部としても用いられる。

胴部１０の背面には、操作部２８（図８参照）が設けられる。操作部２８は、ユーザーの操作によって、胴部１０の最上部にある肩領域１０ａと、肩領域１０ａから上に突出した頭部８に設けられた第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとを、胴部本体１０ｂに対して上下方向に移動させる。

図２は、本実施形態に係る頭部８を示す下面図である。図３は、本実施形態に係る頭部８を示す正面図である。
第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとは、それぞれ被写界深度あるいは視野角が異なる。これによれば、第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとは、それぞれ被写界深度あるいは視野角が異なり対象物、作業台４６、及び作業台４６上の作業領域を認識する範囲が異なる。

第１ステレオカメラ２０ａは、被写界深度が遠い（深い）カメラである。第２ステレオカメラ２０ｂは、被写界深度が近い（浅い）カメラである。第１ステレオカメラ２０ａの被写界深度は、第２ステレオカメラ２０ｂの被写界深度より遠い。第２ステレオカメラ２０ｂの被写界深度は、第１ステレオカメラ２０ａの被写界深度より近い。これによれば、被写界深度を変更するために可動機構を必要とせず、対象物の測定を早く完了することができる。また、被写界深度が近い位置も遠い位置も撮像することができる。さらに、近い位置も遠い位置も同時に撮像することができる。

第１ステレオカメラ２０ａは、グローバルカメラである。第１ステレオカメラ２０ａは、アーム１２の可動域を全体的に撮像することができる。第１ステレオカメラ２０ａの被写界深度（レンズ面基準）は、４００ｍｍ〜９００ｍｍである。第１ステレオカメラ２０ａの画角は、アーム１２の可動域を全体的に撮像することができる角度である。

第２ステレオカメラ２０ｂは、マクロカメラである。第２ステレオカメラ２０ｂは、第２ステレオカメラ２０ｂに近い領域を撮像することができる。第２ステレオカメラ２０ｂは、第１ステレオカメラ２０ａの撮像できない領域を補完するように撮像することができる。第２ステレオカメラ２０ｂの被写界深度は、８０ｍｍ〜１５０ｍｍである。第２ステレオカメラ２０ｂの画角は、第２ステレオカメラ２０ｂに近い領域を撮像することができる角度である。

第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとの輻輳角は、どちらも２０ｄｅｇである。

図４は、本実施形態に係る頭部８のチルト動作０［ｄｅｇ］の状態を示す側面図である。図５は、本実施形態に係る頭部８のチルト動作３５［ｄｅｇ］の状態を示す側面図である。
本実施形態に係る頭部８は、チルト動作を行うことができ、第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとの視野方向を変更することができる。チルト動作は、図４及び図５に示すように、３５［ｄｅｇ］の可動範囲で、その可動範囲の０［ｄｅｇ］位置と３５［ｄｅｇ］位置との２か所の位置で姿勢保持が可能である。

ここで、本実施形態では、図４に示される状態において、ロボット４の上方部（頭部８など）が正面を向いているとし、頭部８のチルト動作の回動角度が０［ｄｅｇ］であるとする。

また、本実施形態では、図５に示される状態において、ロボット４の上方部（頭部８など）が正面に対して所定の回動方向に３５［ｄｅｇ］回動したときの方向を向いているとし、頭部８のチルト動作の回動角度が３５［ｄｅｇ］であるとする。

つまり、ロボット４の上方部（頭部８など）のチルト動作の回動角度が０［ｄｅｇ］であるときに図４の例の配置となり、そこから当該回動角度が３５［ｄｅｇ］回動させられたときに図５の例の配置となる。

このように、本実施形態では、頭部８のチルト動作の回動角度を０［ｄｅｇ］あるいは３５［ｄｅｇ］にすることで、第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとの視野方向を変更することができる。なお、本実施形態のチルト動作の構成は一例であって、他の構成で実現したその他のチルト動作の可動範囲、停止位置、及びその数であってもよい。

図６は、本実施形態に係る頭部８を示す外装なし正面図である。図７は、本実施形態に係る頭部８のチルト動作０［ｄｅｇ］の状態を示す外装なし側面図である。
第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとは、１枚の板材としての固定部材４４によって接続されている。第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとの相対位置が固定されている。これによれば、撮像範囲を広くすることができる。

固定部材４４は、第１ステレオカメラ２０ａを構成する２つのカメラの設置位置を結んだ直線に略平行な軸を中心に回動可能である。これによれば、撮像範囲を広くすることができる。例えば、図４に示すように、作業台４６上の対象物が第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとに近いときは、被写界深度の近い第２ステレオカメラ２０ｂを使って作業を行い。また、図５に示すように、同じ作業台４６の遠い位置にある対象物を測定するときは、チルト角を変えて被写界深度の遠い第１ステレオカメラ２０ａに切り替えて作業する。なお、頭部８のチルト動作は、本実施形態では１軸だが、多軸にして視野をさらに増やしてもよい。

ここで、「略平行」とは、完全に平行である構成に加えて、１０度以内の範囲で交差している構成を含むものと定義する。

第１ステレオカメラ２０ａを構成する２つのカメラ間の距離は、第２ステレオカメラ２０ｂを構成する２つのカメラ間の距離よりも長い。これによれば、遠い被写界深度にある対象物でも、第１ステレオカメラ２０ａを構成する２つのカメラ間距離が第２ステレオカメラ２０ｂを構成する２つのカメラ間の距離よりも長いので、測定精度が確保できる。

第２ステレオカメラ２０ｂは、第１ステレオカメラ２０ａの光軸が重なる点から平面視したときに、第１ステレオカメラ２０ａを構成する２つのカメラの設置された位置を通り、第１ステレオカメラ２０ａを構成する２つのカメラの間の距離を直径とする円よりも内側に配置されている。これによれば、第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとを配置するスペースを小さくすることができる。

第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとの内、被写界深度が近い第２ステレオカメラ２０ｂは、固定部材４４の内側に配置されている。被写界深度が遠い第１ステレオカメラ２０ａは、固定部材４４の両端側に配置されている。

第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとの内、第１ステレオカメラ２０ａを構成する２つのカメラは、第２ステレオカメラ２０ｂを挟むように設けられている。第２ステレオカメラ２０ｂは、第１ステレオカメラ２０ａを構成する２つのカメラに挟まれるように設けられている。なお、第２ステレオカメラ２０ｂを構成する２つのカメラは、第１ステレオカメラ２０ａを挟むように設けられてもよい。第１ステレオカメラ２０ａは、第２ステレオカメラ２０ｂを構成する２つのカメラに挟まれるように設けられてもよい。

第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとは、第１ステレオカメラ２０ａを構成する２つのカメラを結ぶ線分と、第２ステレオカメラ２０ｂを構成する２つのカメラを結ぶ線分とが同一直線上に位置するように設けられている。なお、第１ステレオカメラ２０ａを構成する２つのカメラを結ぶ線分と、第２ステレオカメラ２０ｂを構成する２つのカメラを結ぶ線分とは、平行あるいは傾いていてもよい。第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとは、撮像において相互に干渉しない限り互いに独立して設けられてもよい。

また、本実施形態では、２組の第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとを用いたが、３組以上のステレオカメラを設けてもよい。

図８は、本実施形態に係る制御装置３０の機能構成の一例を示した図である。
制御装置３０は、図８に示すように、アーム１２及びハンド１２ａを制御するロボット制御部３４と、２組の第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとの撮像画像を処理する画像受付部としての画像処理部４２と、を備える。制御装置３０は、記憶部３６と、入力部３８と、表示部４０と、を備えている。制御装置３０は、アーム１２と、アーム１２に設けられたハンド１２ａと、を備えるロボット４を制御する制御装置である。なお、図８には、制御装置３０と、操作部２８と、の他に、図１に示した胴部１０と、表示装置１４と、が示されている。

ロボット制御部３４は、例えば、ビジュアルサーボ、位置制御、及び力制御の少なくとも１以上の制御により、部品の組立作業等を行う。例えば、ロボット制御部３４は、画像処理部４２からの各種情報に基づいて、アーム１２及びハンド１２ａの動作を制御し、部品の組立作業等を行う。

画像処理部４２は、第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとで撮像した撮像画像を受け付ける。画像処理部４２は、例えば、撮像画像から各種情報を取り出す等の画像処理を行う機能を備える。具体的には、画像処理部４２は、例えば、第１ステレオカメラ２０ａ及び第２ステレオカメラ２０ｂ等からの撮像画像（画像データ）を基にして各種演算や各種判断等の処理を行う。例えば、画像処理部４２は、第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとから取得した画像データからエンドポイントを認識し、認識したエンドポイントを含む画像を抽出する。目標位置に存在するエンドポイントを含む目標画像は、予め取得しておき記憶部３６等に格納しておけばよい。画像処理部４２は、その時点で抽出された現在画像から端点の現在位置を認識し、目標画像から端点の目標位置を認識し、認識した現在位置及び目標位置をロボット制御部３４に出力する。また、画像処理部４２は、認識した現在位置から目標位置までの距離を計算し、計算した距離をロボット制御部３４に出力する。

画像処理部４２は、制御装置３０に複数設けられている。２つの画像処理部４２には、第１ステレオカメラ２０ａを構成する２つのカメラがそれぞれ接続されている。２つの画像処理部４２には、第２ステレオカメラ２０ｂを構成する２つのカメラがそれぞれ接続されている。

第１ステレオカメラ２０ａは、第１ステレオカメラ２０ａを構成する２つのカメラが２つの画像処理部４２にそれぞれ接続されている。第２ステレオカメラ２０ｂは、第２ステレオカメラ２０ｂを構成する２つのカメラが２つの画像処理部４２にそれぞれ接続されている。これによれば、それぞれのカメラ毎に画像メモリーを備えることができるので、測定精度が確保できる。

第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとの少なくとも１組は、ステレオカメラを構成する２つのカメラが１つの画像処理部４２に接続されていてもよい。これによれば、それぞれのカメラ毎に画像メモリーを確保しなくてもよく、ステレオカメラの画像が時間的にずれないことが保証される。なお、画像処理部４２が行う画像認識処理は、公知の処理を用いることができるため、詳細な説明を省略する。

ロボット制御部３４は、撮像画像に基づいてロボット４のアーム１２を制御する。ロボット制御部３４は、画像処理部４２により認識された現在位置及び目標位置に基づいて、エンドポイントの軌道、即ちエンドポイントの移動量及び移動方向を設定する。また、ロボット制御部３４は、設定したエンドポイントの移動量及び移動方向に基づいて、各ジョイントに設けられた各リンクの目標角度を決定する。さらに、ロボット制御部３４は、目標角度だけアーム１２を移動させるような指令値を生成する。なお、ロボット制御部３４が行う軌道の生成処理、目標角度の決定処理、指令値の生成処理等は、一般的な様々な技術を用いることができるため、詳細な説明を省略する。

記憶部３６には、第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとの視野範囲に関する情報が記憶されている。

入力部３８は、表示装置１４が備えるタッチパネルから、ユーザーが入力した情報を受け付ける。

表示部４０は、ロボット制御部３４によって、ユーザーに指示する情報を表示装置１４に表示する。

次に、制御装置３０の機能を実現するハードウェア構成例について説明する。

図９は、制御装置３０の機能を実現するハードウェア構成の一例を示す図である。
制御装置３０は、例えば、図９に示すような、ＣＰＵ（Central Processing Unit）等の演算装置６２と、ＲＡＭ（Random Access Memory）などの主記憶装置６４と、ＨＤＤ（Hard Disk Drive）等の補助記憶装置６６と、有線又は無線により通信ネットワークと接続するための通信インターフェイス（Ｉ／Ｆ）６８と、ＤＶＤ（Digital Versatile Disk）などの持ち運び可能な記憶媒体に対する情報の読み書きを行う読み書き装置７０と、を備えるコンピューター６０で実現することができる。

例えば、ロボット制御部３４、画像処理部４２、入力部３８、及び表示部４０の機能は、補助記憶装置６６などから主記憶装置６４にロードされた所定のプログラムを演算装置６２が実行することで実現される。記憶部３６は、例えば、演算装置６２が主記憶装置６４又は補助記憶装置６６を利用することで実現される。制御装置３０と表示装置１４との通信及び制御装置３０と表示装置１４に設けられたタッチパネルとの通信は、通信Ｉ／Ｆ６８によって実現される。

なお、上記の所定のプログラムは、例えば、読み書き装置７０により読み取られた記憶媒体からインストールされてもよいし、通信Ｉ／Ｆ６８を介してネットワークからインストールされてもよい。

また、ロボット制御部３４、画像処理部４２、入力部３８、及び表示部４０の一部又はすべての機能は、例えば、演算装置、記憶装置、駆動回路などを備えるＡＳＩＣ（Application Specific Integrated Circuit）を備えるコントローラー基板等により実現してもよい。

上述した制御装置３０の機能構成は、制御装置３０の構成を理解容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本願発明が制限されることはない。制御装置３０の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。

図１０は、本実施形態に係る電動ドライバーのねじ締め方法を示すフローチャートである。
先ず、ステップＳ１０において、制御装置３０は、ハンド１２ａで電動ドライバーを把持する。

次に、ステップＳ２０において、制御装置３０は、図示しないねじ自動供給機から供給されるねじを電動ドライバー先端にセットする。

次に、ステップＳ３０において、制御装置３０は、ロボット制御部３４、画像処理部４２、及び第１ステレオカメラ２０ａを用いて電動ドライバーにねじがセットされているか判断する。電動ドライバーにねじがセットされていると判断したときは、ステップＳ４０に進む。それ以外は、ステップＳ５０に進む。

次に、ステップＳ４０において、制御装置３０は、電動ドライバーにセットされたねじでねじ締めを行う。そして終了する。

次に、ステップＳ５０において、制御装置３０は、ロボット制御部３４、画像処理部４２、及び第２ステレオカメラ２０ｂを用いて電動ドライバーにねじがセットされているか判断する。電動ドライバーにねじがセットされていると判断したときは、ステップＳ４０に進む。それ以外は、ステップＳ２０に進む。

本実施形態に係るロボットシステム２は、第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとによって撮像されるステレオ画像の少なくとも一つを１つの画像に合成して管理する。なお、第２ステレオカメラ２０ｂについての説明は、第１ステレオカメラ２０ａと同様の説明になるため説明を省略する。

ロボットシステム２は、第１ステレオカメラ２０ａで撮影したステレオ画像を元に対象物の位置姿勢を計算し、ロボット４が対象物を把持して任意の位置に移動させることを目的としたものである。対象物を把持した際には、把持したまま対象物をハンドアイカメラ１２ｂの前に移動させ対象物の検査を行い、検査結果に応じて移動先を変更する。

制御装置３０は、第１ステレオカメラ２０ａで撮影した画像から位置姿勢の算出や部品の検査を行い、そこから利用者が予め設定した動作命令に合わせてロボット４を制御する。第１ステレオカメラ２０ａで撮影された画像データは、制御装置３０に送られ、一枚のステレオ画像に合成される。教示用デバイスは、ディスプレイによる入出力が可能なマシンである。利用者がロボット４への動作命令を作成する際に使用する。教示用デバイスは、制御装置３０から受信したステレオ画像をリアルタイムに表示し、利用者は画像の内容に合わせてロボット４の動作命令を作成して制御装置３０へ保存する。

（実施例１）
図１１は、本実施例に係るステレオ画像を示す図である。
制御装置３０で合成されるステレオ画像の実施例を図１１に示す。これはステレオ画像を横並びに合成したもので、第１ステレオカメラ２０ａを構成する２つのカメラのうち、図１の左カメラの画像が左カメラ画像部分に、右カメラの画像が右カメラ画像部分に配置されている。

近年、カメラの高画質化により１枚の画像サイズが大きくなっており、データの加工や送受信にかかる時間が増えている。そのため、図示しない教示用デバイスに表示されるステレオ画像で、左右に撮像時間のずれが生じることがあるが、これにより、ステレオ画像を１つの画像として管理することは、この問題の対策となる。

（実施例２）
図１２は、本実施例に係るステレオ画像を示す図である。
画像処理部４２は、第１ステレオカメラ２０ａを構成する２つのカメラがそれぞれ撮像した撮像画像を左右に並べた１つの画像に合成して受け付ける。これによれば、第１ステレオカメラ２０ａの画像が時間的にずれないことがより保証される。

図１１に示す構成のステレオ画像に加え、システム上で画像の管理を効率化するために、図１２に示す構成でステレオ画像を合成してもよい。合成後の画像は、左カメラ画像部分、右カメラ画像部分、及び黒塗り部分の３つの領域で構成され、画像サイズは、ロボットシステム２に含まれるいずれか一つのカメラで撮影可能である最大のサイズで作成されている。合成後のステレオ画像に含まれる左カメラ画像部分と右カメラ画像部分とは、本来の第１ステレオカメラ２０ａで撮影した画像サイズよりも縮小されている。この手法にしたときには、ロボットシステム２は、ロボットシステム２に含まれるいずれか一つのカメラで撮像可能である画像サイズである画像サイズのみを扱えばよいことになる。

これにより、ステレオ画像を縮小して１枚の画像に合成するため、制御装置３０と教示用デバイスとで使用する画像メモリーを節約できる。また、通信量が減るためステレオ画像の送受信に必要な配線を簡便化できコスト削減になる。

本実施形態によれば、被写界深度が異なる２組の第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとを備えている。これにより、異なる被写界深度にある対象物を撮像するときに、レンズ機構を駆動してピントを合わせる必要がなくなる。その結果、レンズ機構を駆動してピントを合わせる構造が必要なくなるため、構造を簡単にすることができる。また、撮像までの時間、及び作業のサイクルタイムを短くできる。

上述した実施形態では、ロボットカメラとして、ロボット４の頭部８に設けられた第１ステレオカメラ２０ａと第２ステレオカメラ２０ｂとを用いていたが、これ以外の部位にカメラを設けてもよい。例えば、アーム１２でない部位に設置されたカメラをステレオカメラとして用いてもよい。

従来、ステレオカメラに独立に取り付けられたズーム機構を用いて対象物を拡大させることは、１．それぞれのズーム機構が同期していないと、片方の画像のピントがずれてしまい、撮像されたステレオ画像が正しく視差を得られずに測定精度が悪くなる。２．超音波モーターなどの可動機構によりコストが上昇する。３．故障の要因となり、信頼性が低下する。４．ズーム機構の動作に時間がかかるため、リアルタイム処理に向かない。５．それぞれのカメラで撮像した画像が、同じ画角で、かつ同じタイミングで撮像されないと、測定精度が悪くなる。といったことが課題となっていた。本実施形態では上記課題の少なくともひとつを解決するものである。

以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に多様な変更又は改良を加えることが可能であることが当業者には明らかである。また、そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。本発明は、ロボットと、制御装置等とを別個に備えるロボットシステムとして提供してもよいし、ロボットに制御装置等が含まれるロボットとして提供してもよいし、制御装置として提供してもよい。また、本発明は、ロボット等を制御する方法、ロボット等を制御するプログラム、当該プログラムを記憶した記憶媒体として提供することもできる。

また、本発明は、ロボット及びロボットシステムなど、様々な態様で提供することもできる。

２…ロボットシステム ４…ロボット ８…頭部 １０…胴部 １０ａ…肩領域（肩部） １０ｂ…胴部本体 １２…アーム １２ａ…ハンド １２ｂ…ハンドアイカメラ １４…表示装置 １６…脚部 １８…搬送用ハンドル ２０ａ…第１ステレオカメラ（撮像部） ２０ｂ…第２ステレオカメラ（撮像部） ２２…信号灯 ２８…操作部 ３０…制御装置 ３２…支持部 ３４…ロボット制御部 ３６…記憶部 ３８…入力部 ４０…表示部 ４２…画像処理部（画像受付部） ４４…固定部材 ４６…作業台 ６０…コンピューター ６２…演算装置 ６４…主記憶装置 ６６…補助記憶装置 ６８…通信Ｉ／Ｆ ７０…読み書き装置。

Claims (18)

1. 肩部と、
   前記肩部に接続されたアームと、
   支持部を介して前記肩部に接続された撮像部と、
   前記撮像部で撮像した撮像画像を受け付ける画像受付部と、
   前記撮像画像に基づいて前記アームを制御するロボット制御部と、
   を有し、
   前記撮像部は、被写界深度が異なる２組以上のステレオカメラであることを特徴とするロボット。
2. 請求項１に記載のロボットにおいて、
   前記撮像部は、第１ステレオカメラと、第２ステレオカメラと、を有し、
   前記第１ステレオカメラの被写界深度は、前記第２ステレオカメラの被写界深度より遠く、
   前記第２ステレオカメラの被写界深度は、前記第１ステレオカメラの被写界深度より近いことを特徴とするロボット。
3. 請求項２に記載のロボットにおいて、
   前記第１ステレオカメラを構成する２つのカメラ間の距離は、前記第２ステレオカメラを構成する２つのカメラ間の距離よりも長いことを特徴とするロボット。
4. 請求項３に記載のロボットにおいて、
   前記第２ステレオカメラは、前記第１ステレオカメラの光軸が重なる点から平面視したときに、前記第１ステレオカメラを構成する２つのカメラの設置された位置を通り、前記第１ステレオカメラを構成する２つのカメラの間の距離を直径とする円よりも内側に配置されていることを特徴とするロボット。
5. 請求項２〜４のいずれか一項に記載のロボットにおいて、
   前記第１ステレオカメラと前記第２ステレオカメラとは、１枚の板材によって接続され、前記第１ステレオカメラと前記第２ステレオカメラとの相対位置が固定されていることを特徴とするロボット。
6. 請求項５に記載のロボットにおいて、
   前記板材は、前記第１ステレオカメラを構成する２つのカメラの設置位置を結んだ直線に略平行な軸を中心に回動可能であることを特徴とするロボット。
7. 請求項１〜６のいずれか一項に記載のロボットにおいて、
   前記２組以上のステレオカメラは、前記ステレオカメラを構成する２つのカメラが２つの前記画像受付部にそれぞれ接続されていることを特徴とするロボット。
8. 請求項１〜６のいずれか一項に記載のロボットにおいて、
   前記２組以上のステレオカメラの少なくとも１組は、前記ステレオカメラを構成する２つのカメラが１つの前記画像受付部に接続されていることを特徴とするロボット。
9. 請求項８に記載のロボットにおいて、
   前記画像受付部は、前記ステレオカメラを構成する２つのカメラがそれぞれ撮像した撮像画像を左右に並べた１つの画像に合成して受け付けることを特徴とするロボット。
10. アームを持つロボットと、
    撮像部と、
    前記撮像部で撮像した撮像画像を受け付ける画像受付部と、
    前記撮像画像に基づいて前記ロボットのアームを制御するロボット制御部と、
    を有し、
    前記撮像部は、被写界深度が異なる２組以上のステレオカメラであることを特徴とするロボットシステム。
11. 請求項１０に記載のロボットシステムにおいて、
    前記撮像部は、第１ステレオカメラと、第２ステレオカメラと、を有し、
    前記第１ステレオカメラの被写界深度は、前記第２ステレオカメラの被写界深度より遠く、
    前記第２ステレオカメラの被写界深度は、前記第１ステレオカメラの被写界深度より近いことを特徴とするロボットシステム。
12. 請求項１１に記載のロボットシステムにおいて、
    前記第１ステレオカメラを構成する２つのカメラ間の距離は、前記第２ステレオカメラを構成する２つのカメラ間の距離よりも長いことを特徴とするロボットシステム。
13. 請求項１２に記載のロボットシステムにおいて、
    前記第２ステレオカメラは、前記第１ステレオカメラの光軸が重なる点から平面視したときに、前記第１ステレオカメラを構成する２つのカメラの設置された位置を通り、前記第１ステレオカメラを構成する２つのカメラの間の距離を直径とする円よりも内側に配置されていることを特徴とするロボットシステム。
14. 請求項１１〜１３のいずれか一項に記載のロボットシステムにおいて、
    前記第１ステレオカメラと前記第２ステレオカメラとは、１枚の板材によって接続され、前記第１ステレオカメラと前記第２ステレオカメラとの相対位置が固定されていることを特徴とするロボットシステム。
15. 請求項１４に記載のロボットシステムにおいて、
    前記板材は、前記第１ステレオカメラを構成する２つのカメラの設置位置を結んだ直線に略平行な軸を中心に回動可能であることを特徴とするロボットシステム。
16. 請求項１０〜１５のいずれか一項に記載のロボットシステムにおいて、
    前記２組以上のステレオカメラは、前記ステレオカメラを構成する２つのカメラが２つの前記画像受付部にそれぞれ接続されていることを特徴とするロボットシステム。
17. 請求項１０〜１５のいずれか一項に記載のロボットシステムにおいて、
    前記２組以上のステレオカメラの少なくとも１組は、前記ステレオカメラを構成する２つのカメラが１つの前記画像受付部に接続されていることを特徴とするロボットシステム。
18. 請求項１７に記載のロボットシステムにおいて、
    前記画像受付部は、前記ステレオカメラを構成する２つのカメラがそれぞれ撮像した撮像画像を左右に並べた１つの画像に合成して受け付けることを特徴とするロボットシステム。

Images