JP2019147230A - ロボットシステム及び調整方法 - Google Patents

Abstract

【課題】撮像部が撮像した画像に基づいて対象物の高さを計測し、視野内の対象物の高さを一度にまとめて計測することで、計測に要する時間が軽減されたロボットシステム及び調整方法を提供する。【解決手段】ロボットシステム１００は、対象物７１を撮像する撮像部４１と、エンドエフェクター１９を有するロボット１と、制御装置２と、を有し、制御装置２は、撮像部４１が撮像した画像に基づいて対象物７１の所定部位の高さを計測し、所定部位の高さが設定した目標高さになるよう、エンドエフェクター１９を制御して、所定部位の高さを変更する。【選択図】図１

Description

本発明は、ロボットシステム及び調整方法に関する。

従来、ねじ締め管理装置は、生産設備のひとつとして多くの工場に導入されている。品質管理上、ねじ締め管理装置には、締めたねじについてのねじ浮きの有無を的確に判定することが求められる。

例えば、特許文献１に記載されているように、対象物の高さ寸法のばらつきが大きい場合であってもねじ締めの良否を判定できるねじ締め管理装置及び管理方法が知られていた。

特開２０１７−６９９４号公報

しかしながら、特許文献１に記載のねじ締め管理装置及び管理方法では、管理対象となるねじ１つ１つに対して高さ計測を行う必要があり、ねじの数の増加に伴い全体の処理時間も増加するという課題があった。

本発明は、上述の課題を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］本適用例に係るロボットシステムは、対象物を撮像する撮像部と、エンドエフェクターを有するロボットと、制御装置と、を有し、前記制御装置は、前記撮像部が撮像した画像に基づいて前記対象物の所定部位の高さを計測し、前記所定部位の高さが設定した目標高さになるよう、前記エンドエフェクターを制御して、前記所定部位の高さを変更することを特徴とする。

本適用例によれば、撮像部が撮像した画像に基づいて対象物の高さを計測するため、視野内の対象物の高さを一度にまとめて計測することができる。これにより、計測に要する時間が軽減されたロボットシステムを提供することができる。

［適用例２］上記適用例に記載のロボットシステムにおいて、前記制御装置は、前記撮像部が撮像した画像に基づいて複数の前記所定部位を指定することが好ましい。

本適用例によれば、一度の計測で複数の所定部位に対して、目標高さになるように変化させる高さを算出することができ、計測に要する時間を軽減することができる。

［適用例３］上記適用例に記載のロボットシステムにおいて、前記制御装置は、複数の前記所定部位に対してそれぞれ前記目標高さを設定することが好ましい。

本適用例によれば、一度の計測で複数の所定部位に対して、目標高さになるように変化させる高さを算出することができ、計測に要する時間を軽減することができる。

［適用例４］上記適用例に記載のロボットシステムにおいて、前記目標高さは、前記対象物上に設定した基準領域の高さに対する前記所定部位の高さであることが好ましい。

本適用例によれば、対象物と設置した台等の高さにばらつきがあるとき、ばらつきの影響を軽減することができる。

［適用例５］上記適用例に記載のロボットシステムにおいて、前記制御装置は、前記エンドエフェクターの制御量と、前記制御量による前記所定部位の高さ変化量と、を結びつけることが好ましい。

本適用例によれば、目標高さと計測結果との差異が分かるので、目標高さになるような高さの変更を容易に行うことができる。

［適用例６］上記適用例に記載のロボットシステムにおいて、前記撮像部は、光源を含むことが好ましい。

本適用例によれば、対象物の表面に光源より、例えば、パターン光を照射することで、対象物の高さを計測する精度を向上できる。

［適用例７］上記適用例に記載のロボットシステムにおいて、前記撮像部は、ステレオカメラであることが好ましい。

本適用例によれば、視野内の対象物の高さを一度にまとめて計測することができる。これにより、計測に要する時間を軽減できる。

［適用例８］上記適用例に記載のロボットシステムにおいて、前記所定部位は、ねじ締め領域、押しつけ領域、液体塗布領域のうち、少なくとも１つを含むことが好ましい。

本適用例によれば、作業者は、ねじ締め、押しつけ、液体塗布の内、少なくとも１つの中から所望の処理を容易に選択することができる。

［適用例９］本適用例に係る調整方法は、エンドエフェクターを有するロボットを使用して対象物の所定部位の高さを調整する調整方法であって、前記対象物を含む撮像領域を撮像して画像を取得すること、前記画像に基づいて前記対象物の所定部位の高さを計測すること、前記所定部位の高さが設定した目標高さになるよう、前記エンドエフェクターを制御して、前記所定部位の高さを変更すること、を含むことを特徴とする。

本適用例によれば、撮像した画像に基づいて対象物の高さを計測するため、視野内の対象物の高さを一度にまとめて計測することができる。これにより、計測に要する時間が軽減された調整方法を提供することができる。

第１実施形態に係るロボットシステムを示す図。 図１に示すロボットシステムのブロック図。 第１実施形態に係る対象物を示す斜視図。 第１実施形態に係る対象物を示す平面図。 第１実施形態に係る事前準備の方法を示すフローチャート。 第１実施形態に係る所定部位を示す平面図。 第１実施形態に係る所定部位と基準領域とを示す平面図。 第１実施形態に係る所定部位の高さを調整するまでの流れを示すフローチャート。 第２実施形態に係る対象物を示す斜視図。 第２実施形態に係る所定部位を示す平面図。 変形例１のハードウェア（プロセッサー）を中心として説明するためのブロック図。 変形例２のロボットシステムを示すブロック図。 変形例３のロボットシステムを示すブロック図。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の各図においては、各層や各部材を認識可能な程度の大きさにするため、各層や各部材の尺度を実際とは異ならせて表示している。

（第１実施形態）
（ロボットシステム）
図１は、本実施形態に係るロボットシステム１００を示す図である。
図１に示すロボット１には、互いに直交する３つの軸として、ｘｔ軸、ｙｔ軸、及びｚｔ軸を備えるツール座標系（ロボット座標系）（座標系）が設定されている。また、撮像部４１（撮像部４１の視野）（撮像部４１で撮像して得られる画像）には、互いに直交する３つの軸として、ｘｒ軸、ｙｒ軸、及びｚｒ軸を備える撮像部座標系（座標系）が設定されており、各軸を示す矢印の先端側を「＋（正）」、基端側を「−（負）」とする。また、図１中のｚｒ軸方向を「鉛直方向」とし、ｘｒ−ｙｒ平面に沿った方向を「水平方向」とする。また、＋ｚｒ軸側を「上方」とし、−ｚｒ軸側を「下方」とする。そして、撮像部４１とロボット１とのキャリブレーションは、終了しているものとする。すなわち、ツール座標系、本実施形態では、ツールセンターポイントＰを原点とするツール座標系と、撮像部座標系との対応付けがなされているものとする。これにより、撮像部４１が撮像して得られた画像（撮像画像）における各部（各点）の位置の情報は、ツール座標系における座標（ロボット座標）として取得することが可能である。

また、以下では、説明の都合上、図１及び図３中の上側を「上」又は「上方」、下側を「下」又は「下方」と言う。また、図１及び図３中の基台側を「基端」又は「上流」、その反対側を「先端」又は「下流」と言う。また、図１及び図３中の上下方向が鉛直方向である。

また、本明細書において、「水平」とは、完全に水平な場合のみならず、水平に対して±５°以内で傾斜している場合も含む。同様に、本明細書において、「鉛直」とは、完全に鉛直な場合のみならず、鉛直に対して±５°以内で傾斜している場合も含む。また、本明細書において、「直交」とは、２つの線（軸を含む）又は面が、互いに完全な直交である場合のみならず、±５°以内で傾斜している場合も含む。

本実施形態に係るロボットシステム１００は、図１に示すように、対象物７１を撮像する撮像部４１と、エンドエフェクター（ツール）としての締緩工具１９を備えるロボット１と、ロボット１の動作（駆動）と画像処理とを制御する制御装置２と、制御装置２と通信可能なコンピューター５と、を備える。

制御装置２は、撮像部４１が撮像した画像に基づいて対象物７１の所定部位７３（図６参照）の高さを計測する。制御装置２は、所定部位７３の高さが設定した目標高さになるよう、締緩工具１９を制御して、所定部位７３の高さを変更する。

以下、ロボットシステム１００が備える各部を順次説明する。
〈ロボット〉
ロボット１は、いわゆる６軸の垂直多関節ロボットであり、例えば、精密機器等を製造する製造工程等で用いられ、精密機器や部品等の対象物７１の保持や搬送等の種々の作業（本実施形態では、例えば、ねじ締めや液体塗布等）を行う。ロボット１は、基台１１０と、基台１１０に接続されたロボットアーム１０と、を備える。なお、対象物７１としては、ロボット１が行う作業で用いられるものであればよく、特に限定されない。

基台１１０は、ロボット１を例えば、床等の任意の設置箇所７０に取り付ける部分である。ロボットアーム１０は、第１アーム１１、第２アーム１２、第３アーム１３、第４アーム１４、第５アーム１５、及び第６アーム１６を備える。また、第５アーム１５及び第６アーム１６によりリストが構成される。また、第６アーム１６は、円盤状を成しており、その第６アーム１６には、締緩工具１９を着脱可能に設ける（取り付ける）ことが可能になっている。これら第１アーム１１〜第６アーム１６は、基台１１０側から締緩工具１９側に向かってこの順に連結されている。また、各第１アーム１１〜第６アーム１６は、隣り合うアーム又は基台１１０に対して図示しない所定の回動軸（第１回動軸〜第６回動軸）周りに回動可能になっている。すなわち、基台１１０と第１アーム１１とは、第１関節１７１を介して連結されている。また、第１アーム１１と第２アーム１２とは、第２関節１７２を介して連結されている。また、第２アーム１２と第３アーム１３とは、第３関節１７３を介して連結されている。また、第３アーム１３と第４アーム１４とは、第４関節１７４を介して連結されている。また、第４アーム１４と第５アーム１５とは、第５関節１７５を介して連結されている。また、第５アーム１５と第６アーム１６とは、第６関節１７６を介して連結されている。

締緩工具１９は、例えば、ねじ回しであり、その先端部は、ねじ頭部の係合溝と係合する形状を備える。締緩工具１９は、ねじ頭部の係合溝に垂直に先端部を係合し、回転することで、ねじ７２を締めつけて固定したり緩めて外したりすることができる。なお、締緩工具１９は、ロボットアーム１０の回転駆動により操作されてもよく、図示しないモータードライバーにより回転駆動により操作されてもよい。

また、締緩工具１９は、本実施形態では、第６アーム１６の先端中心に配置されているが、これに限らず、例えば、第６アーム１６の中心からずれた位置に配置されていてもよい。また、締緩工具１９は、本実施形態では、第６アーム１６に設けられているが、これに限らず、例えば、第５アーム１５等に設けられていてもよく、また、ロボット１以外の部分、例えば、作業台や壁等に設けられていてもよい。また、締緩工具１９は、本実施形態では、ロボット１の構成要素ではないが、これに限らず、ロボット１の構成要素として捉えてもよい。

また、締緩工具１９の先端中心をツールセンターポイントＰという。

また、ロボット１は、一方のアームを他方のアーム（又は基台１１０）に対して回動させるモーター及び減速機等を備える駆動部１３０を備える（図２参照）。モーターとしては、例えば、ＡＣサーボモーター、ＤＣサーボモーター等のサーボモーターを用いることができる。減速機としては、例えば、遊星ギア型の減速機、波動歯車装置等を用いることができる。なお、減速機は、省略されていてもよい。また、ロボット１は、モーター又は減速機の回転軸の回転角度を検出する角度センサー１４０を備える（図２参照）。角度センサー１４０としては、例えば、ロータリーエンコーダー等を用いることができる。また、駆動部１３０及び角度センサー１４０は、各第１アーム１１〜第６アーム１６に対応して設けられており、本実施形態では、ロボット１は、６つの駆動部１３０及び６つの角度センサー１４０を備える。

また、各駆動部１３０は、図示はしないが、例えば、図１に示す基台１１０に内蔵されたモータードライバーと電気的に接続（以下、単に「接続」とも言う）されている。各駆動部１３０は、対応するモータードライバーを介して制御装置２により制御される。また、各角度センサー１４０は、制御装置２に電気的に接続されている。

以上、ロボット１の構成について簡単に説明した。このようなロボット１は、後述する制御装置２によって制御される。これにより、ロボット１は、適切な動作を行うことができる。

〈制御装置〉
図２は、図１に示すロボットシステム１００のブロック図である。
制御装置２は、図２に示すように、撮像部４１により取得された画像に基づき制御する画像制御部２０と、ロボット１の動作を制御するロボット制御部２１と、画像制御部２０とロボット制御部２１とに通信可能に接続されたメモリー等を備える記憶部２２と、外部インターフェイス（Ｉ／Ｆ）を備える外部入出力部２３と、を備える。制御装置２の各構成要素は、種々のバスを介して相互通信可能に接続されている。

制御装置２とロボット１とは、例えば、ケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。また、制御装置２は、ロボット１と別体であってもよく、また、ロボット１（例えば、基台１１０等）にその一部又は全部が内蔵されていてもよい。

また、制御装置２とコンピューター５とは、例えば、ケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。

制御装置２は、撮像部４１が撮像した画像に基づいて所定部位７３（図６参照）を指定する。このとき、制御装置２は、撮像部４１が撮像した画像に基づいて、複数の所定部位７３を指定してもよい。複数の所定部位７３を指定することにより、一度の計測で複数の所定部位７３に対して、目標高さになるように変化させる高さを算出することができ、計測に要する時間を削減することができる。

所定部位７３は、ねじ締め領域、押しつけ領域、液体塗布領域のうち、少なくとも１つを含んでもよい。これにより、作業者は、ねじ締め、押しつけ、液体塗布の内、少なくとも１つの中から所望の処理を容易に選択することができる。

制御装置２は、所定部位７３に対して目標高さを設定する。なお、複数の所定部位７３を設定した場合には、それぞれの所定部位７３に対して目標高さを設定してもよい。これにより、一度の計測で複数の所定部位７３に対して、目標高さになるように変化させる高さを算出することができ、計測に要する時間を削減することができる。

目標高さは、所定部位７３と、対象物７１上に設けられた基準領域７４（図７参照）と、の高さの差異である。これにより、対象物７１と設置した台等の高さにばらつきがあるとき、ばらつきの影響を軽減することができる。

制御装置２は、締緩工具１９の制御量と、制御量による所定部位７３の高さ変化量と、を結びつける。これにより、目標高さと計測結果との差異が分かるので、所定部位７３の高さが目標高さになるように、所定部位７３の高さの変更を容易に行うことができる。

画像制御部２０は、撮像部４１で撮像して得られた画像データに対して各種の画像処理を行う。これにより、対象物７１の情報として、高さや位置、姿勢を得ることができる。

ロボット制御部２１は、記憶部２２に記憶された各種プログラム等を実行する。これにより、ロボット１及び締緩工具１９の動作の制御や各種演算及び判断等の処理を実現できる。

記憶部２２には、画像制御部２０及びロボット制御部２１により実行可能な各種プログラムが保存（記憶）されている。また、記憶部２２には、外部入出力部２３で受け付けた各種データの保存が可能である。記憶部２２は、例えば、ＲＡＭ（Random Access Memory）等の揮発性メモリーや、ＲＯＭ（Read Only Memory）等の不揮発性メモリー等を含んで構成されている。なお、記憶部２２は、非着脱式に限らず、着脱式の外部記憶装置（図示せず）を備える構成であってもよい。

各種プログラムとしては、コンピューター５から出力された動作プログラムや、動作プログラムの修正や変更をするプログラム等が挙げられる。各種データとしては、例えば、ツールセンターポイントＰの位置姿勢、各第１アーム１１〜第６アーム１６の回動角度等に関するデータ等が挙げられる。

外部入出力部２３は、外部インターフェイス（Ｉ／Ｆ）を備え、ロボット１及びコンピューター５の各接続のために用いられる。

このような制御装置２は、例えば、コンピューター５で作成した動作プログラムに基づいて（を用いて）ロボット１を制御する。これにより、コンピューター５で作成した動作プログラムを用いて、ロボット１に適切な動作を行わせることができる。

なお、制御装置２は、前述した構成に加えて、さらに他の構成が付加されていてもよい。また、制御装置２には、ディスプレイ等を備える表示装置３１や、例えば、マウスやキーボード等の入力装置３２が接続されていてもよい。また、記憶部２２に保存されている各種プログラムやデータ等は、予め記憶部２２に記憶されたものであってもよいし、例えば、ＣＤ−ＲＯＭ等の記録媒体（図示せず）に格納されており、この記録媒体から提供されたものでもよいし、ネットワーク等を介して提供されたものであってもよい。

〈撮像部〉
撮像部４１は、２つの撮像素子（図示せず）及び２つレンズ群（図示せず）等を備えている。撮像部４１は、任意の設置個所、例えば、ロボット１のアーム上や、壁や天井等の任意の設置箇所に取り付けられている（固定されている）。また、撮像素子としては、特に限定されず、例えば、ＣＣＤイメージセンサー、ＣＭＯＳイメージセンサー等が挙げられる。この撮像部４１は、撮像を行って、画像データを生成する。

撮像部４１は、ステレオカメラであってもよい。撮像部４１にステレオカメラを使用することにより、視野内の対象物７１の高さを一度にまとめて計測することで、計測に要する時間を軽減できる。

撮像部４１は、２つの撮像素子を有しており、互いに異なる向きから対象物７１を撮像する。互いに異なる向きから撮像された対象物７１の画像データは、ケーブルを介して制御装置２に送られ、制御装置２の画像制御部２０にて対象物７１の情報として高さ及び位置、姿勢を得ることができる。互いに異なる向きから撮像された対象物７１の画像に基づいて高さを計測する手法は、一般的なステレオブロックマッチング法を使っているため、詳細については言及しない。

撮像部４１は、光源５４を含んでもよい。これにより、対象物７１の表面に光源５４より、例えば、パターン光を照射することで、対象物７１の高さを計測する精度を向上できる。撮像部４１は、２つの撮像素子に加えて、光源５４を含んでもよい。光源５４は、例えば、投射画像を投影するための液晶ライトバルブ、投射レンズ、液晶駆動部を備えるプロジェクターである。撮像部４１は、光源５４より対象物７１にランダムなパターン光像を投射することで、対象物７１の表面形状が平面であるような場合でも高さ計測を精度良く行うことができる。

撮像部４１は、２つの撮像素子のうち１つを光源５４に代えた構成でもよい。撮像部４１は、光源５４より異なる複数の位相パターンを対象物７１に対し投射し、異なる位相パターンの投射された対象物７１を撮像し、複数の画像データを生成する。複数の画像データは、ケーブルを介して制御装置２に送られ、制御装置２の画像制御部２０にて対象物７１の情報として高さ及び位置、姿勢を得ることができる。異なる複数の位相パターンが投射された対象物７１の画像データに基づいて高さを計測する手法は、一般的な位相シフト法を使っているため、詳細については言及しない。

〈コンピューター〉
図２に示すコンピューター５としては、例えば、ＰＣ（Personal Computer）等の種々のコンピューターを用いることが可能であり、制御装置２に対して通信可能に接続されている。

コンピューター５は、プロセッサーを備える制御部５１と、制御部５１に通信可能に接続されたメモリー等を備える記憶部５２と、外部Ｉ／Ｆ（インターフェイス）を備える外部入出力部５３と、を備える。外部入出力部５３は、コンピューター５の受付部の１例である。コンピューター５の各構成要素は、種々のバスを介して相互通信可能に接続されている。

また、コンピューター５と制御装置２とは、例えば、ケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。

制御部５１は、記憶部５２に記憶された各種プログラム等を実行する。これにより、制御装置２の制御や各種演算及び判断等の処理を実現できる。

記憶部５２には、制御部５１により実行可能な各種プログラムが保存されている。また、記憶部５２には、外部入出力部５３で受け付けた各種データの保存が可能である。記憶部５２は、例えば、ＲＡＭ（Random Access Memory）等の揮発性メモリーや、ＲＯＭ（Read Only Memory）等の不揮発性メモリー等を含んで構成されている。なお、記憶部５２は、非着脱式に限らず、着脱式の外部記憶装置（図示せず）を備える構成であってもよい。

外部入出力部５３は、外部Ｉ／Ｆ（インターフェイス）を備え、制御装置２、表示装置３１、及び入力装置３２との各接続のために用いられる。したがって、外部入出力部５３は、作業者による入力装置３２の操作（指令）を受け付ける受付部としての機能を備える。また、外部入出力部５３は、表示装置３１のモニターに各種画面に関する信号を出力する出力部としての機能を備える。

また、コンピューター５は、前述した構成に加えて、さらに他の構成が付加されていてもよい。また、記憶部５２に保存されている各種プログラムやデータ等は、予め記憶部５２に記憶されたものであってもよいし、例えば、ＣＤ−ＲＯＭ等の記録媒体（図示せず）に格納されており、この記録媒体から提供されたものでもよいし、ネットワーク等を介して提供されたものであってもよい。

〈表示装置及び入力装置〉
図２に示す表示装置３１は、ディスプレイを備えており、例えば、各種画面を表示する機能を備える。また、表示装置３１としては、特に限定されず、例えば、液晶表示装置、有機ＥＬ表示装置等の直視型の表示装置、プロジェクター等の投射型表示装置等が挙げられる。この表示装置３１は、コンピューター５に接続されているが、制御装置２に接続されてもよい。また、２つの表示装置３１を用意し、その表示装置３１をコンピューター５及び制御装置２に接続してもよい。ここでは、表示装置３１がコンピューター５に接続されている場合を例に挙げて説明する。

入力装置３２は、例えば、マウスやキーボード等を含んで構成されている。この入力装置３２は、コンピューター５に接続されているが、制御装置２に接続されてもよい。また、２つの入力装置３２を用意し、その入力装置３２をコンピューター５及び制御装置２のそれぞれに接続してもよい。ここでは、入力装置３２がコンピューター５に接続されている場合を例に挙げて説明する。入力装置３２は、作業者により操作されることで、コンピューター５に対して各種の処理等の指示（入力）を行うことができる。

具体的には、表示装置３１に表示される各種画面（ウィンドウ等）に対して入力装置３２のマウスでクリックする操作や、入力装置３２のキーボードで文字や数字等を入力する操作により、コンピューター５に対する指示が行われる。以下、入力装置３２を用いた指示（入力装置３２による入力）を「操作指示」とも言う。この「操作指示」は、入力装置３２により、表示装置３１に表示された内容から所望の内容を選択する「選択操作」や、入力装置３２により、文字や数字等を入力する「入力指示」等を含む。また、入力には、選択も含まれる。

なお、コンピューター５には、表示装置３１及び入力装置３２がそれぞれ１つ接続されていてもよいし、それぞれ複数接続されていてもよい。また、表示装置３１及び入力装置３２の代わりに、表示装置３１及び入力装置３２の機能を兼ね備えた表示入力装置（図示せず）を用いてもよい。表示入力装置としては、例えば、タッチパネル等を用いることができる。
以上、ロボットシステム１００の基本的な構成について簡単に説明した。

《ロボットシステムの動作》
次に、調整方法としての対象物７１の所定部位７３の高さを調整する際のロボットシステム１００の動作について説明する。

本実施形態に係るロボットシステム１００の動作は、締緩工具１９を備えるロボット１を使用して対象物７１の所定部位７３の高さを調整する調整方法である。ロボットシステム１００の動作は、対象物７１を含む撮像領域を撮像して画像を取得すること、画像に基づいて対象物７１の所定部位７３の高さを計測すること、所定部位７３の高さが設定した目標高さになるよう、締緩工具１９を制御して、所定部位７３の高さを変更すること、を含んでいる。このようなロボットシステム１００の動作によれば、撮像した画像に基づいて対象物７１の高さを計測するため、視野内の対象物７１の高さを一度にまとめて計測することができ、計測に要する時間を削減することができる。

以下、ロボット１が行う作業としては、締緩工具１９を用い、図１に示す対象物７１のねじ７２の締め具合を変更する作業を例に説明する。

図３は、本実施形態に係る対象物７１を示す斜視図である。図４は、本実施形態に係る対象物７１を示す平面図である。
対象物７１は、図３に示すように、ねじ穴７５を備える蓋状のワーク７６と、ねじ穴７５を備える箱状のワーク７７と、ねじ７２と、が組み合わされたものを総称する。対象物７１は、図４に示すように、対象物７１の平面視で、長方形の形状を成している。また、対象物７１の４隅には、ねじ穴（図示しない）があり、十字の係合溝を有したねじ７２がねじ穴に一定量だけ締められている状態である。なお、ロボット１が行う作業及び対象物７１は、上記のものには限定されない。

〈事前準備〉
図５は、本実施形態に係る事前準備の方法を示すフローチャートである。図６は、本実施形態に係る所定部位７３を示す平面図である。図７は、本実施形態に係る所定部位７３と基準領域７４とを示す平面図である。
以下、この図を用いて、対象物７１の所定部位７３の高さを調整するために必要な、事前準備の流れを説明する。なお、事前準備は、対象物７１、所定部位７３、目標高さ等の条件を変更しない限りは、ねじ締め作業において１度だけ行われればよい。

先ず、ステップＳ１０において、制御装置２は、表示装置３１に表示される複数の処理項目から、入力装置３２を介して所望の処理の選択を受け付けることで、処理の設定を行う。ここでは、処理としてねじ締め作業を設定する。

次に、ステップＳ２０において、制御装置２は、ロボット１が行う動作によりねじ７２の高さがどれだけ変化するか対応付けを行う。ねじ７２を締めるねじ締め作業においてロボット１が行う動作とは、締緩工具１９の先端部をねじ７２の位置へ移動させ、ツール座標系におけるｚｔ軸中心に回転することである。すなわち、制御装置２は、締緩工具１９の回転量と、ねじ７２の高さ変化量と、を対応付ける。

具体的には、制御装置２は、撮像部４１により対象物７１を撮像し、取得された画像データに基づいて制御装置２の画像制御部２０により対象物７１上のねじ７２の位置（高さを含む）を撮像部座標系として取得する。撮像部座標系は、ツール座標系との対応付けはなされているので、次に、制御装置２のロボット制御部２１によりツールセンターポイントＰをねじ７２の位置に移動させる。

そして、制御装置２は、ツール座標系のｚｔ方向を軸として締緩工具１９を一定量θだけ回転させ、ねじ７２を回転させることで、ねじ７２の高さを変化させる。

そして、制御装置２は、高さの変化したねじ７２を改めて撮像するため、ツールセンターポイントＰを、撮像部４１から見てねじ７２と重ならないように移動させる。

そして、制御装置２は、撮像部４１により対象物７１を撮像し、取得された画像データに基づいて制御装置２の画像制御部２０により対象物７１上のねじ７２の位置（高さを含む）を撮像部座標系として取得する。

そして、制御装置２は、ねじ７２が回転した前後での高さより、締緩工具１９の回転量と、ねじ７２の高さ変化量と、を対応付ける。

なお、締緩工具１９の回転量と、ねじ７２の高さ変化量と、の対応付けは、表示装置３１に表示される入力欄に、入力装置３２を介して、ピッチの値を入力することで行われてもよい。

また、ねじ７２の高さ変化量と、ステップＳ２０における締緩工具１９の回転量と、の対応付けにおいて、利用される対象物７１は、対象物７１のねじ７２と同じ寸法のねじをもった異なる対象物であってもよい。

次に、ステップＳ３０において、制御装置２は、対象物７１を含む画像データを取得し、取得した画像データを表示装置３１に表示することで、ねじ締め作業の対象となる所定部位７３の設定を受け付ける。所定部位７３の設定は、表示装置３１に表示される対象物７１の画像に、入力装置３２を介して領域を設定することで行われる（図６参照）。

具体的には、制御装置２は、作業者が表示装置３１に表示される対象物７１の画像上でねじ７２を含む範囲を確認させ、入力装置３２を用いてねじ７２を含む範囲を所定部位７３として設定する。

なお、所定部位７３は、図６中では四角形で表されているが、それ以外の形状であってもよい。

なお、所定部位７３の設定は、画像データより得られるねじ７２の幾何形状情報に基づいて、撮像部座標系におけるねじ７２の位置を特定し、特定されたねじ７２の位置に基づいて行われてもよい。幾何形状情報を用いるこの手段に限らず、ねじ７２の位置を画像データ上で特定する別の手段を用い、所定部位７３の設定が行われてもよい。

次に、ステップＳ４０において、制御装置２は、ステップＳ３０で設定された所定部位７３に対する目標高さの設定を受け付ける。目標高さは、あらかじめ良品のサンプルの高さを計測しておき、その高さで設定されることが好ましい。なお、目標高さは、上限と下限とを備える範囲として指定されてもよい。

なお、目標高さの設定に際し、図７に示すように、別途、基準領域７４を指定することで、その基準領域７４からの高さとして目標高さを設定されてもよい。

また、基準領域７４の面積は、所定部位７３の面積と同じ面積であってもよく、異なる面積であってもよい。また、基準領域７４の形状は、所定部位７３の形状と同じ形状であっても異なる形状であってもよい。

以上、事前準備の流れを説明した。

なお、事前準備は、事前準備の終了後、例えば、ステップＳ４０の目標高さのみを変更したい場合、ステップＳ１０〜ステップＳ３０に該当する途中のステップは、省略されてもよい。

〈対象物の所定部位の高さを調整する方法〉
図８は、本実施形態に係る所定部位７３の高さを調整するまでの流れを示すフローチャートである。以下、このフローチャートを用いて、対象物７１の所定部位７３の高さを調整する際の流れを説明する。

先ず、ステップＳ１１０において、制御装置２は、高さを計測する対象物７１を撮像部４１の視野内に配置し、所定部位７３の高さを計測する。

具体的には、制御装置２は、撮像の操作指示を受け付けることで、撮像部４１により、撮像部４１の視野内に配置された対象物７１を撮像させる。撮像部４１により対象物７１の画像データが複数取得され、この複数の画像データが制御装置２の画像制御部２０に送られる。制御装置２は、取得された画像データに基づいて、画像制御部２０により、各ピクセルに対して高さを算出する。

次に、ステップＳ１２０において、制御装置２は、ステップＳ１３０〜ステップＳ１６０の手順を、所定部位７３毎に繰り返し行う。所定部位７３の高さを調整する流れは、すべての所定部位７３に対するねじ締め作業が終了するまで行われる。

次に、ステップＳ１３０において、制御装置２は、所定部位７３内の高さを、所定部位７３内の各ピクセルがもつ高さで平均化する。

次に、ステップＳ１４０において、制御装置２は、所定部位７３内の高さと、設定された目標高さと、を比較し、所定部位７３が目標高さからどれだけ離れているか差異を算出する。

次に、ステップＳ１５０において、制御装置２は、算出された差異が一定以上あるか判定する。算出された差異が一定以上である場合（ステップＳ１５０：ＹＥＳ）、ステップＳ１６０へ移行する。算出された差異が一定以上でない場合（ステップＳ１５０：ＮＯ）、ステップＳ１６０を迂回し、次の所定部位７３に対するねじ締め作業を行う。

次に、ステップＳ１６０において、制御装置２は、ステップＳ１４０で算出された差異に基づき、ロボット１による制御を行う。
具体的には、制御装置２は、締緩工具１９の先端が所定部位７３の中心位置及び中心位置の高さに位置するようにロボット１を制御し、目標高さまでの差異に応じて締緩工具１９を回転させる。
以降、所定部位７３の数だけステップＳ１３０〜ステップＳ１６０を繰り返し、ねじ締め作業を終了する。

以上述べたように、本実施形態に係るロボットシステム１００によれば、撮像部４１が撮像した画像に基づいて対象物７１の高さを計測するため、撮像部４１の視野内の対象物７１の高さを一度にまとめて計測することができ、計測に要する時間を削減することができる。

（第２実施形態）
以下、本実施形態について説明するが、前述した第１実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。

本実施形態に係るロボットシステム１００は、図１に示すように、エンドエフェクター（ツール）として塗布器具１８を備えている。

塗布器具１８は、例えば、ディスペンサーで構成されており、その先端部からは塗布剤７５０が吐出される。塗布器具１８は、先端部から塗布剤７５０を吐出し、対象物７８に対して塗布剤７５０を塗布することができる。なお、塗布器具１８により塗布するものは、塗布剤７５０に限らず、例えば、塗料等であってもよい。

本実施形態の塗布器具１８は、第６アーム１６の先端中心に配置されているが、これに限らず、例えば、第６アーム１６の中心からずれた位置に配置されていてもよい。また、塗布器具１８は、本実施形態では、第６アーム１６に設けられているが、これに限らず、例えば、第５アーム１５等に設けられていてもよく、また、ロボット１以外の部分、例えば、作業台や壁等に設けられていてもよい。また、本実施形態の塗布器具１８は、ロボット１の構成要素ではないが、これに限らず、ロボット１の構成要素として捉えてもよい。

〈制御装置〉
制御装置２は、図２に示すように、塗布器具１８が吐出する塗布剤７５０の量を制御する塗布量制御部２４を備える。

塗布量制御部２４は、塗布器具１８が備える各部の機能を制御する。これにより、塗布剤７５０の塗布量の制御を行うことができる。また、塗布する塗布剤７５０の温度を制御することで、塗布するものの粘性を一定に保つことができる。

図９は、本実施形態に係る対象物７８の斜視図である。図１０は、本実施形態に係る所定部位７３を示す平面図である。
対象物７８は、図９に示すように、ワーク７６０と、ワーク７６０に開けられた４つの開口部７２０と、開口部７２０に塗布された塗布剤７５０と、の総称である。なお、ロボット１が作業を行う対象物７８は、上記のものには限定されない。
本実施形態に係るロボットシステム１００において、塗布器具１８が対象物７８に対して塗布を行う場合について説明する。

先ず、制御装置２は、表示装置３１に表示される複数の処理項目から、入力装置３２を介して所望の処理の選択を受け付けることで、処理の設定を行う。ここでは、処理として液体塗布作業を設定する。

次に、制御装置２は、撮像の操作指示を受け付けることで、撮像部４１により対象物７８を撮像させ、取得された画像データに基づいて制御装置２の画像制御部２０により対象物７８上の開口部７２０の位置（高さを含む）を取得する。

そして、制御装置２は、ロボット制御部２１によりツールセンターポイントＰを開口部７２０の位置に移動させる。

そして、制御装置２は、塗布量制御部２４を制御することで塗布器具１８から一定量の塗布剤７５０を開口部７２０へ塗布し、開口部７２０の高さを変化させる。

そして、制御装置２は、高さの変化した開口部７２０を改めて撮像するため、ツールセンターポイントＰを、撮像部４１から見て開口部７２０と重ならないように移動させる。

そして、制御装置２は、撮像部４１により対象物７８を撮像し、取得された画像データに基づいて制御装置２の画像制御部２０により対象物７８上の開口部７２０の位置（高さを含む）を撮像部座標系として取得する。制御装置２は、開口部７２０へ塗布剤７５０が塗布される前後の高さより、塗布量の制御量と、開口部７２０の高さ変化量とを対応付ける。

次に、制御装置２は、対象物７８を含む画像データを取得し、図１０に示すように、画像上で液体塗布作業の対象となる所定部位７３を指定する。この指定は表示装置３１に表示される対象物７８の画像に、入力装置３２を介して領域を設定することで行われる。

次に、制御装置２は、所定部位７３に対して目標高さを設定する。また、目標高さは上限と下限とを備える範囲として指定されてもよい。

次に、制御装置２は、撮像部４１の撮像により得られた所定部位７３の高さが、目標高さとする範囲内でなければ、ロボット１により所定部位７３の高さを目標高さの範囲内とするための高さ変更を行わせる。制御装置２は、塗布器具１８の先端を所定部位７３の中心位置及び中心位置の高さに合わせて移動させ、目標高さまでの差異に応じて塗布剤７５０を塗布する。

以上のような本実施形態によっても、前述した第１実施形態と同様の効果を発揮することができる。

＜変形例１＞
図１１は、本変形例のハードウェア（プロセッサー）を中心として説明するためのブロック図である。以下、変形例について説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。

図１１には、ロボット１とコントローラー６１とコンピューター６２とが接続されたロボットシステム１００Ａの全体構成が示されている。ロボット１の制御は、コントローラー６１に存在するプロセッサーにより、メモリーに記憶されている指令を読みだして実行されてもよいし、コンピューター６２に存在するプロセッサーにより、メモリーに記憶されている指令を読みだしてコントローラー６１を介して実行されてもよい。

＜変形例２＞
図１２は、本変形例のロボットシステム１００Ｂを示すブロック図である。
図１２には、ロボット１に直接コンピューター６３が接続されたロボットシステム１００Ｂの全体構成が示されている。ロボット１の制御は、コンピューター６３に存在するプロセッサーにより、メモリーに記憶されている指令を読みだして直接実行されてもよい。

＜変形例３＞
図１３は、本変形例のロボットシステム１００Ｃを示すブロック図である。
図１３には、コントローラー６１が内蔵されたロボット１とコンピューター６６とが接続され、コンピューター６６がＬＡＮ等のネットワーク６５を介してクラウド６４に接続されているロボットシステム１００Ｃの全体構成が示されている。ロボット１の制御は、コンピューター６６に存在するプロセッサーにより、メモリーに記憶されている指令を読みだして実行されてもよいし、クラウド６４上に存在するプロセッサーにより、コンピューター６６を介してメモリーに記憶されている指令を読みだして実行されてもよい。

また、ロボットシステム１００Ａ，１００Ｂ，１００Ｃでは、各プロセッサーは、それぞれ、１つの装置で構成されていてもよく、また、複数の装置で構成されていてもよい、すなわち、複数の単位プロセッサーに分かれていてもよい。

以上、本発明のロボットシステム及び調整方法を図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではなく、各部の構成は、同様の機能を備える任意の構成のものに置換することができる。また、他の任意の構成物が付加されていてもよい。

また、本発明は、上記各実施形態のうちの、任意の２以上の構成（特徴）を組み合わせたものであってもよい。

また、前述した実施形態では、ロボット１として、６軸の垂直多関節ロボットを例示したが、上記ロボット１は、これに限らず、例えば、スカラーロボット等の水平多関節ロボット、脚部を備える脚式歩行（走行）ロボット等の他の形態のロボットであってもよい。また、上記ロボット１は、単腕ロボットに限定されず、例えば、双腕ロボット等の他のロボットであってもよい。したがって、ロボットアームの数は、１つに限定されず、２つ以上であってもよい。また、ロボットアームが備えるアームの数は、前述した実施形態では、６つであるが、１つ〜５つ又は７つ以上であってもよい。

１…ロボット ２…制御装置 ５…コンピューター １０…ロボットアーム １１…第１アーム １２…第２アーム １３…第３アーム １４…第４アーム １５…第５アーム １６…第６アーム １８…塗布器具（エンドエフェクター） １９…締緩工具（エンドエフェクター） ２０…画像制御部 ２１…ロボット制御部 ２２…記憶部 ２３…外部入出力部 ２４…塗布量制御部 ３１…表示装置 ３２…入力装置 ４１…撮像部 ５１…制御部 ５２…記憶部 ５３…外部入出力部 ５４…光源 ６１…コントローラー ６２，６３…コンピューター ６４…クラウド ６５…ネットワーク ６６…コンピューター ７０…設置箇所 ７１…対象物 ７２…ねじ ７３…所定部位 ７４…基準領域 ７５…ねじ穴 ７６，７７…ワーク ７８…対象物 １００，１００Ａ，１００Ｂ，１００Ｃ…ロボットシステム １１０…基台 １３０…駆動部 １４０…角度センサー １７１…第１関節 １７２…第２関節 １７３…第３関節 １７４…第４関節 １７５…第５関節 １７６…第６関節 ７２０…開口部 ７５０…塗布剤 ７６０…ワーク Ｐ…ツールセンターポイント。

Claims (9)

1. 対象物を撮像する撮像部と、
   エンドエフェクターを有するロボットと、
   制御装置と、
   を有し、
   前記制御装置は、
   前記撮像部が撮像した画像に基づいて前記対象物の所定部位の高さを計測し、
   前記所定部位の高さが設定した目標高さになるよう、前記エンドエフェクターを制御して、前記所定部位の高さを変更することを特徴とするロボットシステム。
2. 請求項１に記載のロボットシステムにおいて、
   前記制御装置は、前記撮像部が撮像した画像に基づいて複数の前記所定部位を指定することを特徴とするロボットシステム。
3. 請求項２に記載のロボットシステムにおいて、
   前記制御装置は、複数の前記所定部位に対してそれぞれ前記目標高さを設定することを特徴とするロボットシステム。
4. 請求項１〜３にいずれか一項に記載のロボットシステムにおいて、
   前記目標高さは、前記対象物上に設定した基準領域の高さに対する前記所定部位の高さであることを特徴とするロボットシステム。
5. 請求項１〜４にいずれか一項に記載のロボットシステムにおいて、
   前記制御装置は、前記エンドエフェクターの制御量と、前記所定部位の高さ変化量と、を結びつけることを特徴とするロボットシステム。
6. 請求項１〜５にいずれか一項に記載のロボットシステムにおいて、
   前記撮像部は、光源を含むことを特徴とするロボットシステム。
7. 請求項１〜６にいずれか一項に記載のロボットシステムにおいて、
   前記撮像部は、ステレオカメラであることを特徴とするロボットシステム。
8. 請求項１〜７にいずれか一項に記載のロボットシステムにおいて、
   前記所定部位は、ねじ締め領域、押しつけ領域、液体塗布領域のうち、少なくとも１つを含むことを特徴とするロボットシステム。
9. エンドエフェクターを有するロボットを使用して対象物の所定部位の高さを調整する調整方法であって、
   前記対象物を含む撮像領域を撮像して画像を取得すること、
   前記画像に基づいて前記対象物の所定部位の高さを計測すること、
   前記所定部位の高さが設定した目標高さになるよう、前記エンドエフェクターを制御して、前記所定部位の高さを変更すること、
   を含むことを特徴とする調整方法。

Images