JP2023145814A - 制御システム、制御方法、および制御装置 - Google Patents

Abstract

【課題】エンドエフェクタを制御する際に、カメラにおいて対象物の状態の変化をより正確に認識できるようにする。【解決手段】カメラと、エンドエフェクタと、カメラおよびエンドエフェクタを制御する制御装置と、を備えた制御システムにおいて、制御装置は、撮像対象物の状態の変化方向を示す状態変化方向情報を取得する取得部と、状態変化方向情報に基づいてカメラの動作を制御するカメラ制御部と、エンドエフェクタを制御する制御信号をエンドエフェクタに送信する送信部と、を備え、制御装置は、カメラ制御部がカメラの動作を制御した後、送信部がエンドエフェクタに制御信号を送信する。【選択図】図８

Description

本開示は、制御システム、制御方法、および制御装置に関する。

特許文献１には、ロボット制御装置が記載されている。ロボット制御装置は、プログラムにより自動制御されるロボットハンドの動きに対して動作確認を行う撮像手段を備えている。ロボット制御装置は、撮像手段から入力された画像に基づいて上記動作確認を行う。ロボット制御装置は、撮像手段による撮像領域を変更する撮像領域変更手段と、ロボットハンドの位置を検出する位置検出手段とを備えている。ロボット制御装置は、位置検出手段が検出したロボットハンドの位置に応じて、撮像領域変更手段により撮像手段の撮像領域を変更する。これにより、ロボットハンドの作業領域が広くて１台の撮像手段の撮像領域ではその領域全てをカバーすることが困難な場合であっても、１台の撮像手段が広い撮像領域を確保することができる。

特開２００９－２７９７０６号公報

本開示は、エンドエフェクタを制御する際に、カメラにおいて対象物の状態の変化をより正確に認識できる制御システム、制御方法、および制御装置を提供することを目的とする。

本開示は、カメラと、エンドエフェクタと、前記カメラおよび前記エンドエフェクタを制御する制御装置と、を備え、前記制御装置は、撮像対象物の状態の変化方向を示す状態変化方向情報を取得する取得部と、前記状態変化方向情報に基づいて前記カメラの動作を制御するカメラ制御部と、前記エンドエフェクタを制御する制御信号を前記エンドエフェクタに送信する送信部と、を備え、前記制御装置は、前記カメラ制御部が前記カメラの動作を制御した後、前記送信部が前記エンドエフェクタに前記制御信号を送信する、制御システムを提供する。

また、本開示は、取得部と、カメラ制御部と、送信部とを備えた制御装置による、カメラおよびエンドエフェクタの制御方法であって、前記取得部が、撮像対象物の状態の変化方向を示す状態変化方向情報を取得するステップと、前記カメラ制御部が、前記状態変化方向情報に基づいて前記カメラの動作を制御するステップと、前記送信部が、前記エンドエフェクタを制御する制御信号を前記エンドエフェクタに送信するステップと、を有する、制御方法を提供する。

また、本開示は、撮像対象物の状態の変化方向を示す状態変化方向情報を取得する取得部と、前記状態変化方向情報に基づいて前記カメラの動作を制御するカメラ制御部と、エンドエフェクタを制御する制御信号を前記エンドエフェクタに送信する送信部と、を備え、前記カメラ制御部が前記カメラの動作を制御した後、前記送信部が前記エンドエフェクタに前記制御信号を送信する、制御装置を提供する。

本開示によれば、エンドエフェクタを制御する際に、カメラにおいて対象物の状態の変化をより正確に認識できる制御システム、制御方法、および制御装置を提供できる。

制御システムの一例を示す概念図 ロボットが用いる座標（座標系）の例を示す概念図 制御システムの一例を示す概念図 制御システムのハードウェア構成例を示すブロック図 エンドエフェクタの動作、目標動作および付随動作を例示する図 撮像対象物の状態の変化方向を例示する概念図 撮像対象物の状態の変化方向を例示する概念図 撮像対象物の状態の変化方向を例示する概念図 撮像対象物の状態の変化方向を例示する概念図 制御装置によるカメラおよびエンドエフェクタの第１の制御例を示すフローチャート 図７に示されているロボットの制御処理を説明するフローチャート 制御装置によるカメラおよびエンドエフェクタの第１の制御例に対応するシーケンス図 制御装置によるカメラおよびエンドエフェクタの第２の制御例を示すフローチャート 図１０に示されているロボットの制御処理を説明するフローチャート 制御装置によるカメラおよびエンドエフェクタの第２の制御例に対応するシーケンス図 制御装置によるカメラおよびエンドエフェクタの第１の制御例に対応するシーケンス図の変形例 撮像対象物が複数存在する場合のカメラの位置決め例を示す概念図 撮像対象物の状態変化方向とカメラの光軸との間のなす角を示す概念図 エンドエフェクタが実行するシール貼り作業の第１の状態を示す概念図 図１６Ａに対応するカメラ画像と目標状態を示す概念図 エンドエフェクタが実行するシール貼り作業の第２の状態を示す概念図 図１７Ａに対応するカメラ画像を示す概念図 エンドエフェクタが実行するシール貼り作業の第３の状態を示す概念図 図１８Ａに対応するカメラ画像を示す概念図 エンドエフェクタが実行するシール貼り作業の第４の状態を示す概念図 図１９Ａに対応するカメラ画像と目標状態を示す概念図 エンドエフェクタが実行する把持対象を移動する作業の第１の状態を示す概念図 図２０Ａに対応するカメラ画像と目標状態を示す概念図 エンドエフェクタが実行する把持対象を移動する作業の第２の状態を示す概念図 図２１Ａに対応するカメラ画像と目標状態を示す概念図 エンドエフェクタが実行する把持対象を移動する作業の第３～第５の状態を示す概念図 図２２Ａに対応するカメラ画像（第３～第５の状態）と目標状態を示す概念図 ネジ締めについての撮像領域を示す概念図 エンドエフェクタがドライバーを把持してネジ締めを行う作業の第１の状態を示す概念図 エンドエフェクタがドライバーを把持してネジ締めを行う作業の第２の状態を示す概念図

（本開示に至る経緯）
ロボットハンド等のエンドエフェクタは、制御装置によって制御されて、ワークを掴む等の作業を行う。カメラは、この作業が行われる領域（作業領域）を撮像して撮像画像を取得する。制御装置は撮像画像に映りこんだ撮像対象物（例えばワーク）の変化に基づいてエンドエフェクタを制御して、エンドエフェクタが作業を行う。このように、カメラを用いることにより、エンドエフェクタが正確に作業を行うことができる。

作業が進行するにつれて、撮像画像に映りこむ撮像対象物の状態は変化する。例えば、エンドエフェクタが撮像対象物の一例としてのワークを把持してワークを移動させる作業を行う場合、ワークの形状や位置が変化する。

制御装置は、カメラの撮像画像に基づいて、撮像対象物の状態の変化をうまく認識することができない場合がある。例えば、エンドエフェクタが保持したワークの形状の変化方向やワークの移動方向が、カメラの光軸と平行であった場合、カメラはワークの形状や位置の変化を正しく認識できない場合がある。これは、撮像対象物の状態の変化が、撮像画像中のピクセルの明確な変化として現れないためである。

そこで、以下の実施の形態では、エンドエフェクタを制御する際に、カメラにおいて対象物の状態の変化をより正確に認識できる制御システム、制御方法、および制御装置について詳述する。

以下、適宜図面を参照しながら、本開示に係る制御システム、制御方法、および制御装置を具体的に開示した実施形態（以下、「本実施形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（制御システム１００の概要）
図１は、制御システム１００の一例を示す概念図である。制御システム１００は、カメラ１３と、エンドエフェクタ１１と、カメラ１３およびエンドエフェクタ１１を制御する制御装置２とを少なくとも備える。

図１に示した例においては、ロボット１が、エンドエフェクタ１１と、ロボットアーム１２と、カメラ１３と、カメラアーム１４とを備える。ここで、図１中の参照符号の１３１は、カメラ１３の光軸を示している。ロボット１は、例えば、工場などのオートメーションで用いられるロボット装置である。制御装置２はロボット１と通信可能に接続されている。制御システム１００は、図１に示した構成には限られない。例えば、図３に基づいて後述するように、カメラ１３は、ロボット１以外の箇所に設置されていてもよい。制御装置２がロボット１に内蔵されていてもよい。

エンドエフェクタ１１は、典型的には１本以上の指を有するロボットハンドである。エンドエフェクタ１１は、ロボットアーム１２に取り付けられて、例えばワークＷｋを把持して移動させる等の作業を行う。なお、エンドエフェクタ１１は指を有するロボットハンドには限られない。例えば、エンドエフェクタ１１は柔軟性のある球形のものであってよく、この場合、エンドエフェクタ１１は変形しながらワークＷｋを包み込むようにして把持する。制御装置２がカメラ１３による撮像画像を用いてエンドエフェクタ１１の動作を認識する場合、撮像画像から状態の変化を検知できればよいので、エンドエフェクタ１１は透明なものであってもよい。これらには限られず、エンドエフェクタ１１は当業者にとって一般的なものが用いられてよい。

ロボットアーム１２には、エンドエフェクタ１１が取付けられる。ロボットアーム１２は１以上の関節を有する。この関節を基点にしてロボットアーム１２が変形することにより、ワークＷｋに対するエンドエフェクタ１１の相対位置または相対角度が変わる。ロボットアーム１２が変形することにより、ワークＷｋに対するエンドエフェクタ１１の相対位置および相対角度が変わってもよい。なお、ロボットアーム１２は変形可能であれば良いので、必ずしも関節を有していなくともよい。ロボットアーム１２は、伸縮が可能な構成を備えてもよい。

カメラ１３は、カメラアーム１４を介してロボットアーム１２と接続されている。カメラアーム１４は伸縮および変形が可能である。カメラアーム１４を伸縮および変形させるための構成は、当業者にとって一般的なものであってよい。カメラ１３の位置や角度は、ロボットアーム１２の変形（および伸縮）と、カメラアーム１４の変形および伸縮とに応じて変わる。

カメラ１３は、光軸１３１方向にある撮像対象物を撮像する。撮像対象物は、例えば、エンドエフェクタ１１、エンドエフェクタ１１が保持する物体、および、エンドエフェクタ１１またはエンドエフェクタ１１が保持する物体による作業対象物のうちいずれか１つを含む。これらの撮像対象物の具体例については、図６Ａ～図６Ｄに基づいて後述する。

カメラ１３は、撮像対象物を撮像して得られた撮像画像を、制御装置２に送信する。制御装置２は、取得した撮像画像に基づいて、エンドエフェクタ１１、ロボットアーム１２、カメラ１３、およびカメラアーム１４を制御する。制御装置２の構成例については、図４に基づいて後述する。

カメラ１３は、図５に基づいて後述する目標動作に必要な特徴を撮像画像から抽出してもよい。撮像画像から抽出された特徴は、撮像画像に映り込んだ撮像対象物の移動や動作等の状態変化を制御装置２が検出する際に用いられる。カメラ１３は、例えばデプスセンサや３次元距離センサ等であってもよい。なお、制御装置２が撮像画像からの特徴抽出を実行してもよく、撮像対象物の状態変化をカメラ１３が検出してもよい。

図２は、ロボット１が用いる座標（座標系）の例を示す概念図である。ロボット１は例えば、ロボット１そのものに対応する座標であるロボット座標、エンドエフェクタ１１に対応する座標であるエンドエフェクタ座標、カメラ１３に対応する座標であるカメラ座標等を用いる。図示を省略する制御装置２は、これらの相異なる座標を相互に変換しながら、ロボット１が備える各部材の位置や角度を制御する。

図３は、制御システム１０１の一例を示す概念図である。図３に示されている制御システム１０１は、図１に示されている制御システム１００と基本的に同様の構成を有しているので、相違点のみ説明する。制御システム１０１において、カメラ１３はロボットアーム１２ではなく、例えば壁や天井等にカメラアーム１４を介して取付けられている。すなわち、カメラ１３はロボット１に取り付けられていなくてもよい。図示されているように、制御装置２はロボット１と接続可能に有線接続されている。一方、図示は省略するが、制御装置２はカメラ１３およびカメラアーム１４と通信可能に無線接続されていてよい。また、壁や天井等にカメラ１３およびカメラアーム１４を制御する機器が配置されており、制御装置２はこの機器と通信可能に接続されていてもよい。制御装置２は、カメラ１３およびカメラアーム１４と有線接続されていてもよい。制御装置２は、カメラ１３およびカメラアーム１４を制御する。

図４は、制御システム１００のハードウェア構成例を示すブロック図である。ロボット１の構成は図１に基づいて説明したものと同様であるため説明を省略する。制御装置２は、プロセッサ２１とメモリ２２とを備える。

プロセッサ２１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成され、メモリ２２と協働して、各種の処理および制御を行う。具体的には、プロセッサ２１は、メモリ２２に保持されたプログラムを参照し、そのプログラムを実行することにより、撮像画像取得部２１１、状態変化方向情報取得部２１２、カメラ制御部２１３、および送信部２１４を機能的に実現する。なお、状態変化方向情報取得部２１２を、単に取得部と表現することがある。

メモリ２２は、例えばプロセッサ２１の処理を実行する際に用いられるワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、プロセッサ２１の処理を規定したプログラムを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを有する。ＲＡＭには、プロセッサ２１により生成あるいは取得されたデータが一時的に保存される。ＲＯＭには、プロセッサ２１の処理を規定するプログラムが書き込まれている。また、メモリ２２は、撮像画像取得部２１１が取得した撮像画像データ、状態変化方向情報取得部が制御装置２の外部から取得した状態変化方向を示す情報をそれぞれ記憶する。メモリ２２は、エンドエフェクタ１１が行うべき動作の内容を規定する情報である動作内容情報をさらに記憶してよい。動作内容情報には、例えば、エンドエフェクタ１１がある動作を行う為のプログラムが含まれる。また、動作内容内情報には、図５に基づいて後述する動作テーブルのデータが含まれてよい。

撮像画像取得部２１１は、カメラ１３が撮像した撮像画像をカメラ１３から取得する。撮像画像取得部２１１は、取得された撮像画像をメモリ２２に記憶させる。なお、撮像画像取得部２１１は、撮像画像に対してサイズ変換、色調補正等の各種の画像処理を行って、画像処理後の撮像画像をメモリ２２に記憶させてもよい。

状態変化方向情報取得部２１２は、カメラ１３による撮像対象物の状態の変化方向を示す状態変化方向情報を取得する。撮像対象物は、カメラ１３が撮像した撮像画像に映り込む物体である。撮像対象物は、例えば、エンドエフェクタ１１、エンドエフェクタ１１が保持する物体などを含む。撮像対象物は、エンドエフェクタ１１またはエンドエフェクタ１１が保持した物体による作業対象物を含んでもよい。状態変化方向情報は、これらの撮像対象物の状態が変化する方向を特定するための情報である。これらの撮像対象物および状態変化方向情報の具体例については、図６Ａ～図６Ｄに基づき後述する。

図４において、状態変化方向情報取得部２１２は、カメラ１３またはロボットアーム１２から状態変化方向情報を取得する。ただし、状態変化方向情報の取得元はこれらには限られない。状態変化方向情報取得部２１２は例えば、メモリ２２から状態変化方向情報を取得してもよい。例えば、エンドエフェクタ１１の動作に応じて所定の方向が予め規定されている場合は、その所定の方向を示す情報がメモリ２２に保存されていてよい。状態変化方向情報取得部は、制御装置２から見た外部装置から状態変化方向情報を取得してもよい。外部装置の一例は、制御装置２と通信可能に接続された外部サーバや、作業者がロボット１を操作するためのコントローラ等である。

状態変化方向情報取得部２１２は、取得した状態変化方向情報をメモリ２２に保存することができる。

カメラ制御部２１３は、状態変化方向情報取得部２１２が取得した状態変化方向情報に基づいて、カメラ１３の動作を制御する。ここで言うカメラ１３の動作は、カメラ１３の位置および角度を含む。なお、カメラ１３はカメラアーム１４に取り付けられているので、カメラ１３の位置および角度は、カメラアーム１４の伸縮や形状変形にも応じて定まるものである。そのため、図４に示したブロック図において、カメラ制御部２１３は、カメラアーム１４を介してカメラ１３の動作を制御している。ただし、カメラ制御部２１３がカメラ１３単体の動作を制御してもよい。

送信部２１４は、エンドエフェクタ１１を制御する制御信号をエンドエフェクタ１１に送信する。図４に示したブロック図において、エンドエフェクタ１１はロボットアーム１２に取り付けられている。そのため送信部２１４は、ロボットアーム１２を介して制御信号をエンドエフェクタ１１に送信している。ただし送信部２１４は、ロボットアーム１２を介さずに制御信号をエンドエフェクタ１１に送信してもよい。また、エンドエフェクタ１１を制御する制御信号が、ロボットアーム１２を制御する制御信号を含み、カメラ制御部２１３はロボットアーム１２とカメラ１３の双方を制御してもよい。

制御装置２は、プロセッサ２１およびメモリ２２以外の構成要素をさらに含んでよい。例えば、作業者がコントローラやティーチペンダント等の外部機器を用いてロボット１を制御する場合、制御装置２は、外部機器が発した制御信号を取得する機能ブロックを更に含む。この場合制御装置２は、外部機器から取得した制御信号に基づいてロボット１を制御する。制御装置２が、撮像画像を画像認識する機能ブロックを更に備えてもよい。

図５は、エンドエフェクタ１１の動作、目標動作および付随動作を例示する図である。エンドエフェクタ１１が何らかの動作（作業）を行う時に、この動作（作業）を目標動作（目標作業）の組み合わせにより実行することができる。例えば、ロボットハンドであるエンドエフェクタ１１がシールを貼るという動作（作業）を、「ロボットハンドがシール位置に移動する」、「ロボットハンドがシールをつかむ」、「ロボットハンドがシールを貼る位置に移動する」、「ロボットハンドがシールを貼り付ける」、「ロボットハンドがシールから離れる」、「ロボットハンドがシールを押さえる位置に移動する」、「ロボットハンドがシールを押す」、「ロボットハンドがシールから離れる」という複数の目標動作（目標作業）の組み合わせにより実現することができる。なお、図５では、図５の複雑化を避けるため、ロボットハンドをハンドと略称している。

例えば、ロボットハンドであるエンドエフェクタ１１は、ワークＷｋ等の把持対象を移動する動作（作業）を、「ロボットハンドが把持対象の把持位置に移動する」、「ロボットハンドが把持対象をつかむ」、「ロボットハンドが把持対象を移動する」、「ロボットハンドが把持対象を放す」、「ロボットハンドが把持対象から離れる」という複数の目標動作（目標作業）の組み合わせにより実現することができる。

目標動作（目標作業）のそれぞれは、付随動作へとさらに分割されることができる。例えば、エンドエフェクタ１１であるロボットハンドは、「ロボットハンドがシール位置に移動する」という目標動作（目標作業）を、「ロボットハンドがシール位置に近づく」という付随動作を複数回実行することにより、実現することができる。例えば、エンドエフェクタ１１であるロボットハンドは、「ロボットハンドがシールをつかむ」という目標動作（目標作業）を、「ロボットハンドが指先をシールの所定位置に近づける」という付随動作を複数回実行することにより、実現することができる。図５に示されている他の目標動作（目標作業）についても同様である。なお、図５では、図５の複雑化を避けるため、ロボットハンドの指先を、指先と略称している。

目標動作を動作Ａとしたとき、付随動作を動作Ａ１、Ａ２、Ａ３…、と表現することができる。付随動作Ａ１、Ａ２、Ａ３…を実行することにより、動作Ａが実行されることになる。

エンドエフェクタ１１の動作（作業）は、図５に示されている例には限られない。例えば、エンドエフェクタ１１がドライバーを把持してネジ締めを行う、エンドエフェクタ１１がハサミを把持して布を切断する、等の動作（作業）も考えられる。

制御装置２のメモリ２２は、図５に示されているような動作（作業）、目標動作（目標作業）および付随動作の対応関係を規定した表データ（動作テーブル）を記憶してよい。また、メモリ２２は、動作テーブルに含まれる各動作をロボット１に行わせるためのプログラムを記憶してもよい。プロセッサ２１はこれらのプログラムを実行する。

ロボット１が行うべき目標動作の選択は、プロセッサ２１が実行するか、または作業者がティーチペンダントやコントローラを介して実行する。プロセッサ２１が備える送信部２１４は、選択された目標動作に応じて、エンドエフェクタ１１を制御する制御信号をエンドエフェクタ１１に送信する。プロセッサ２１はこの制御信号を、カメラ１３が撮像した撮像画像に基づいて生成するのが好ましい。すなわちプロセッサ２１は、撮像画像に映りこんだ撮像対象物を画像認識して、撮像対象物の撮像画像中の位置を基準にして、選択された目標動作または付随動作を行った後のエンドエフェクタ１１の位置および向きを決定する。エンドエフェクタ１１はエンドエフェクタ１１が前述の位置および向きになるような制御信号を生成する。そのため、プロセッサ２１は、撮像画像を画像認識する機能ブロックと、画像認識された撮像対象物の位置に基づいて制御信号を生成する機能ブロックを備えていてよい。

図６Ａ～図６Ｄはそれぞれ、撮像対象物の状態の変化方向を例示する概念図である。上述のように、撮像対象物は、カメラ１３が撮像した撮像画像に映り込む物体である。状態変化方向情報は、撮像対象物の状態が変化する方向を特定するための情報である。

図６Ａ～図６Ｄのそれぞれに描かれている直線状の黒い矢印は、撮像対象物の状態変化方向を示している。撮像対象物の一つ目の例は、エンドエフェクタ１１である（図６Ａおよび図６Ｂ参照）。例えばエンドエフェクタ１１がワークＷｋをつかむ動作を行う場合、エンドエフェクタ１１自体がワークＷｋに近づくように移動し（図６Ａ）、またエンドエフェクタ１１の指がワークＷｋを挟み込むように閉じる（図６Ｂ）。これらの場合、エンドエフェクタ１１の動作方向が、撮像対象物の状態変化方向に相当する。

撮像対象物の二つ目の例は、エンドエフェクタ１１が保持する物体である（図６Ｃ参照）。例えばエンドエフェクタ１１がドライバーを把持してネジ締めの動作を行う場合、ネジＯＢＪ１を先端に付着させたドライバーが、ネジ穴を有する板ＯＢＪ２に向かって上から近づくように移動する。この場合、エンドエフェクタ１１が保持する物体であるドライバーの動作方向が、撮像対象物の状態変化方向に相当する。

撮像対象物の三つ目の例は、エンドエフェクタ１１またはエンドエフェクタ１１が保持した物体による作業対象物である（図６Ｄ参照）。例えばエンドエフェクタ１１がドライバーを把持してネジ締めの動作を行う場合、ネジＯＢＪ１を先端に付着させたドライバーが、ネジ穴を有する板ＯＢＪ２に向かって上から近づくように移動する。ネジＯＢＪ１は、エンドエフェクタ１１が保持したドライバーによる作業対象物である。この場合、エンドエフェクタ１１が保持したドライバーによる作業対象物であるネジＯＢＪ１の動作方向が、撮像対象物の状態変化方向に相当する。ネジ穴を有する板ＯＢＪ２も、エンドエフェクタ１１が保持したドライバーによる作業対象物である。ここで、ネジ穴にネジＯＢＪ１をねじ込むと、板ＯＢＪ２のネジ穴付近にひび割れが発生する可能性がある。このひび割れは、板ＯＢＪ２の状態の変化に相当する。ひび割れは、板ＯＢＪ２の上面におけるあらゆる方向に発生し得るので、例えば図６Ｄの板ＯＢＪ２の上面に示された矢印の方向は、板ＯＢＪ２の状態の変形方向に相当する。この場合、エンドエフェクタ１１が保持したドライバーによる作業対象物である板ＯＢＪ２の変形方向が、撮像対象物の状態変化方向に相当する。

なお、図示は省略するが、エンドエフェクタ１１がハサミを保持して布を切断する動作を行った場合、布に生じた切断線の方向は、エンドエフェクタ１１が保持した物体（ハサミ）による作業対象物（布）の変形方向に相当する。また、エンドエフェクタ１１自体がハサミの形状を呈している場合、布に生じた切断線の方向は、エンドエフェクタ１１による作業対象物（布）の変形方向に相当する。

ここで再び図４を参照すると、状態変化方向情報取得部２１２は、撮像対象物の状態変化方向情報を、カメラ１３や、エンドエフェクタ１１が取付けられたロボットアーム１２から取得する。また、状態変化方向情報取得部２１２は、撮像画像取得部２１１が取得して画像処理を行った後の撮像画像や、メモリ２２に記憶された動作テーブル（図５参照）のデータ等を併せて取得し、取得した各種の情報に基づいて、状態変化方向情報を導出してもよい。

（第１の制御例）
図７は、制御装置２によるカメラ１３およびエンドエフェクタ１１の第１の制御例を示すフローチャートである。なお、エンドエフェクタ１１が行うべき動作（作業）は、例えば「シールを貼る」などのように、既に決定済みであるという前提で説明する。プロセッサ２１は、メモリ２２に記憶されている動作テーブル（図５）を参照する等して、エンドエフェクタが行うべき動作に対応した目標動作を選択する（Ｓｔ１０１）。

撮像画像取得部２１１は、カメラ１３が撮像した撮像画像を取得する（Ｓｔ１０２）。撮像画像取得部２１１は、取得した撮像画像から、撮像対象物の特徴を抽出する（Ｓｔ１０３）。撮像画像から特徴を抽出するためのアルゴリズムは、従来のアルゴリズムが用いられてよい。撮像画像取得部２１１は、機械学習に基づいた画像認識技術を用いて撮像画像から特徴を抽出してもよい。なお、撮像画像から抽出された特徴は、撮像対象物の撮像時の状態を示している。プロセッサ２１は、抽出された特徴と、目標動作が終わった後の撮像対象物の状態（目標状態）を示す特徴とを比較することができる。この比較のために、目標状態における撮像対象物の状態を示す画像や、この画像から抽出された特徴を示す情報がメモリ２２に保存されていてよい。

プロセッサ２１は、目標動作が終了したか否かを判定する（Ｓｔ１０４）。プロセッサ２１は、目標動作が終了したか否かの判定を、種々の方法により行うことができる。制御装置２は例えば、図５に示されている目標動作毎に終了条件を予め定めて、終了条件を示す情報をメモリ２２に記憶しておく。プロセッサ２１は、選択された目標動作について終了条件を満たしているときに、目標動作が終了したと判定する。

終了条件は、例えば、目標動作の開始時を基準として、エンドエフェクタ１１が所定の方向に所定の距離だけ移動したことであってよい。また、制御装置２が、目標動作が終了した後の撮像対象物の状態（目標状態）を示す情報（目標状態情報）をメモリ２２に記憶しておき、プロセッサ２１が、現在の撮像対象物の状態を示す情報と、目標状態情報とを比較してもよい。目標状態情報は、例えばカメラ１３が撮像した撮像画像または、撮像画像から抽出された特徴情報である。特徴情報は、例えば、撮像対象物に設けられたマーカーや、一般的な画像特徴点抽出処理で得られた複数の点の、撮像画像中の位置や大きさなどである。終了条件は、例えば、プロセッサ２１が撮像対象物の現在の状態と目標状態を比較した場合に、撮像画像から抽出された特徴同士の距離が所定の閾値（単位：ピクセル）以下であることであってよい。終了条件は、例えば、エンドエフェクタ１１が作業を行った事により作業対象物同士が結合あるいは分離等した際に発生した音を、制御装置２が別途備えたマイク等により検知したことであってよい。終了条件は、エンドエフェクタ１１が把持した電動ドライバーによるネジ締め動作の停止を、音や振動等に基づいて制御装置２が検知したことであってよい。制御装置２は、これら以外にも、種々の終了条件を設定してよい。

なお、撮像対象物の目標状態情報は、同一のロボットを同一の環境で用いて事前に取得された情報である。ただし、同一のロボットを同一の環境で用いずに得られた情報を、目標状態情報としてもよい。例えば、環境は同一であるが、別のロボットを用いて事前に取得された情報を目標状態情報としてもよい。また、異なる種類のカメラを用いて撮像された撮像画像に基づき取得された情報を目標状態情報としてもよい。また、ＧＰＵ等を備えたサーバ装置がロボット１と同様の構成を有するロボットの３Ｄモデルを仮想空間上で仮想的に動かすことにより仮想空間における座標系で取得した画像や、３Ｄモデルの特徴点の位置座標などを、目標状態情報としてもよい。

目標動作が終了していない場合（Ｓｔ１０４：Ｎｏ）、ステップＳｔ１０５へと処理が進み、目標動作が終了していた場合（Ｓｔ１０４：Ｙｅｓ）、ステップＳｔ１０６へと処理が進む。

ステップＳｔ１０５では、プロセッサ２１が、ロボット１の制御処理を実行する。ロボット１の制御処理の詳細については、図８に基づき後述する。

ステップＳｔ１０６では、プロセッサ２１が、全ての動作が完了したか否かを判定する。全ての動作が完了していた場合（Ｓｔ１０６：Ｙｅｓ）、図７に示した処理は終了する。全ての動作が完了していなかった場合（Ｓｔ１０６：Ｎｏ）、ステップＳｔ１０１に戻って、プロセッサ２１が次の目標動作を選択する。

図８は、図７に示されているロボット１の制御処理を説明するフローチャートである。プロセッサ２１は、選択された目標動作に対応したエンドエフェクタ１１の目標位置を算出する（Ｓｔ２０１）。例えば選択された目標動作が「ロボットハンドがシール位置に移動する」であった場合（図５参照）、プロセッサ２１は、この目標動作が行われた後の位置である、ロボットハンドがシールをつかめるような位置を算出する。カメラ１３の撮像画像を用いる場合、プロセッサ２１は、撮像画像に映り込んだ撮像対象物が目標状態となるような、エンドエフェクタ１１の目標位置を算出する。

プロセッサ２１は、ステップＳｔ２０１で算出されたエンドエフェクタ１１の目標位置にエンドエフェクタ１１が移動するための、エンドエフェクタの制御方針を決定する（Ｓｔ２０２）。エンドエフェクタの制御方針は、エンドエフェクタ１１およびロボットアーム１２をどのように動かして、エンドエフェクタ１１を目標位置まで移動させるかの方針である。制御方針の決定は、逆運動学などの従来の手法を用いて行われてよい。

プロセッサ２１は、カメラ１３の目標位置を算出する（Ｓｔ２０３）。カメラ１３の目標位置は、エンドエフェクタ１１が動作する間に撮像対象物の状態変化をカメラ１３が認識しやすい位置である。カメラ１３の目標位置は、例えば撮像対象物の状態変化方向とカメラ１３の光軸とのなす角が９０度となるような位置である。このような位置にカメラ１３が移動すれば、カメラ１３は、撮像対象物の状態変化を撮像画像中のより大きなピクセルの変化として認識することができる。なお、撮像対象物の状態変化方向とカメラ１３の光軸とのなす角は、３０度から１５０度の間の角度であってもよい（図１５参照）。プロセッサ２１は、状態変化方向情報取得部２１２が取得した撮像対象物の状態変化方向情報に基づいて、カメラ１３の目標位置を算出する。

プロセッサ２１は、ステップＳｔ２０３で算出されたカメラ１３の目標位置にカメラ１３が移動するための、カメラ１３の制御方針を決定する（Ｓｔ２０４）。カメラ１３の制御方針は、カメラ１３およびカメラアーム１４をどのように動かして、カメラ１３を目標位置まで移動させるかの方針である。制御方針の決定は、逆運動学などの従来の手法を用いて行われてよい。

プロセッサ２１は、カメラ１３の位置が目標位置になるように、カメラ１３を移動させる（Ｓｔ２０５）。図４を併せて参照すると、カメラ制御部２１３がカメラアーム１４に制御信号を送ることによりカメラ１３の動作を制御する。カメラ制御部２１３は、カメラ１３が撮像対象物を撮像可能に位置するようにカメラ１３の動作を制御する。なお、カメラ１３の現在位置が目標位置と一致している場合は、カメラ１３は移動不要である。

プロセッサ２１は、エンドエフェクタ１１の位置が目標位置になるように、エンドエフェクタ１１を制御する（Ｓｔ２０６）。図４を併せて参照すると、送信部２１４がロボットアーム１２経由でエンドエフェクタ１１に制御信号を送信する。この制御信号に基づいてエンドエフェクタ１１が目標動作を行う。なお、制御信号に基づいて、エンドエフェクタ１１とロボットアーム１２の双方が動作してもよい。

制御装置２は、カメラ制御部２１３がカメラ１３の動作を制御（ステップＳｔ２０５）した後、送信部２１４がエンドエフェクタ１１に制御信号を送信（ステップＳｔ２０６）する。これにより、エンドエフェクタ１１が動作する時に、カメラ１３は撮像対象物の状態の変化をより正確に認識することができる。

（カメラ１３の位置固定）
カメラ１３が撮像対象物を撮像する時に、カメラ１３の絶対位置（図２の絶対座標における位置）が固定されてよい。カメラ１３の絶対位置を固定することにより、エンドエフェクタ１１が動作を行う際に、カメラ１３が同じ位置から撮像を行うことができるので、撮像対象物の状態の変化が認識しやすくなる。そこで制御装置２は、カメラ制御部２１３が、カメラ１３が撮像対象物を撮像可能に位置するようにカメラ１３の動作を制御した後、カメラ１３の位置を固定するようにカメラ１３の動作を制御する。カメラ１３がロボットアーム１２に取り付けられている場合（図１参照）、カメラ制御部２１３は、ロボットアーム１２の移動に伴ったカメラ１３の移動を打ち消すように、カメラ１３の動作を制御する。カメラ１３が壁などの移動しない物に取り付けられている場合（図３参照）、カメラ制御部２１３は、カメラアーム１４を動かさないように、カメラ１３の動作を制御する。

図９は、制御装置２によるカメラ１３およびエンドエフェクタ１１の第１の制御例に対応するシーケンス図である。図中、破線状の矢印の方向に時間が経過している。動作Ａ、動作Ｂおよび動作Ｃはそれぞれ、図５に示されている目標動作に相当する。

まずプロセッサ２１が、目標動作Ａについてのエンドエフェクタ１１およびカメラ１３の動作（制御方針）を決定する。次に、決定された制御方針に従って、カメラ１３が目標位置に移動する。次に、決定された制御方針に従って、エンドエフェクタ１１が目標位置に移動する（目標動作Ａ）。目標動作Ａが完了したら、プロセッサ２１が、目標動作Ｂについてのエンドエフェクタ１１およびカメラ１３の動作（制御方針）を決定する。次に、決定された制御方針に従って、カメラ１３が目標位置に移動する。次に、決定された制御方針に従って、エンドエフェクタ１１が目標位置に移動する（目標動作Ｂ）。制御装置２は、目標動作Ｃ以降も同様に行うことにより、「シールを貼る」「把持対象を移動する」等の動作をエンドエフェクタ１１に実現させる。

（第２の制御例）
図１０は、制御装置２によるカメラ１３およびエンドエフェクタ１１の第２の制御例を示すフローチャートである。なお、エンドエフェクタ１１が行うべき動作（作業）は、例えば「シールを貼る」などのように、既に決定済みであるという前提で説明する。プロセッサ２１は、メモリ２２に記憶されている動作テーブル（図５）を参照する等して、エンドエフェクタが行うべき動作に対応した目標動作を選択する（Ｓｔ３０１）。

撮像画像取得部２１１は、カメラ１３が撮像した撮像画像を取得する（Ｓｔ３０２）。撮像画像取得部２１１は、取得した撮像画像から、撮像対象物の特徴を抽出する（Ｓｔ３０３）。撮像画像から特徴を抽出するためのアルゴリズムは、従来のアルゴリズムが用いられてよい。撮像画像取得部２１１は、機械学習に基づいた画像認識技術を用いて撮像画像から特徴を抽出してもよい。なお、抽出された特徴は、撮像対象物の撮像時の状態を示している。プロセッサ２１は、抽出された特徴と、目標動作が終わった後の撮像対象物の状態（目標状態）を示す特徴とを比較することができる。この比較のために、目標状態における撮像対象物の状態を示す画像や、この画像から抽出された特徴を示す情報がメモリ２２に保存されていてよい。

プロセッサ２１は、目標動作が終了したか否かを判定する（Ｓｔ３０４）。プロセッサ２１は、目標動作が終了したか否かの判定を、種々の方法により行うことができる。制御装置２は例えば、図５に示されている目標動作毎に終了条件を予め定めて、終了条件を示す情報をメモリ２２に記憶しておく。プロセッサ２１は、選択された目標動作について終了条件を満たしているときに、目標動作が終了したと判定する。

終了条件は、例えば、目標動作の開始時を基準として、エンドエフェクタ１１が所定の方向に所定の距離だけ移動したことであってよい。また、制御装置２が、目標動作が終了した後の撮像対象物の状態（目標状態）を示す情報（目標状態情報）をメモリ２２に記憶しておき、プロセッサ２１が、現在の撮像対象物の状態を示す情報と、目標状態情報とを比較してもよい。目標状態情報は、例えばカメラ１３が撮像した撮像画像または、撮像画像から抽出された特徴情報である。特徴情報は、例えば、撮像対象物に設けられたマーカーや、一般的な画像特徴点抽出処理で得られた複数の点の、撮像画像中の位置や大きさなどである。終了条件は、例えば、プロセッサ２１が撮像対象物の現在の状態と目標状態を比較した場合に、撮像画像から抽出された特徴同士の距離が所定の閾値（単位：ピクセル）以下であることであってよい。終了条件は、例えば、エンドエフェクタ１１が作業を行った事により作業対象物同士が結合あるいは分離等した際に発生した音を、制御装置２が別途備えたマイク等により検知したことであってよい。終了条件は、エンドエフェクタ１１が把持した電動ドライバーによるネジ締め動作の停止を、音や振動等に基づいて制御装置２が検知したことであってよい。制御装置２は、これら以外にも、種々の終了条件を設定してよい。

なお、撮像対象物の目標状態情報は、同一のロボットを同一の環境で用いて事前に取得された情報である。ただし、同一のロボットを同一の環境で用いずに得られた情報を、目標状態情報としてもよい。例えば、環境は同一であるが、別のロボットを用いて事前に取得された情報を目標状態情報としてもよい。また、異なる種類のカメラを用いて撮像された撮像画像に基づき取得された情報を目標状態情報としてもよい。また、ＧＰＵ等を備えたサーバ装置がロボット１と同様の構成を有するロボットの３Ｄモデルを仮想空間上で仮想的に動かすことにより仮想空間における座標系で取得した画像や、３Ｄモデルの特徴点の位置座標などを、目標状態情報としてもよい。

目標動作が終了していない場合（Ｓｔ３０４：Ｎｏ）、ステップＳｔ３０５へと処理が進み、目標動作が終了していた場合（Ｓｔ３０４：Ｙｅｓ）、ステップＳｔ３０６へと処理が進む。

ステップＳｔ３０５では、プロセッサ２１が、ロボット１の制御処理を実行する。ロボット１の制御処理の詳細については、図１１に基づき後述する。

ステップＳｔ３０６では、プロセッサ２１が、全ての動作が完了したか否かを判定する。全ての動作が完了していた場合（Ｓｔ３０６：Ｙｅｓ）、図１０に示した処理は終了する。全ての動作が完了していなかった場合（Ｓｔ３０６：Ｎｏ）、ステップＳｔ３０１に戻って、プロセッサ２１が次の目標動作を選択する。

図１１は、図１０に示されているロボット１の制御処理を説明するフローチャートである。プロセッサ２１は、選択された目標動作に対応したエンドエフェクタ１１の目標位置を算出する（Ｓｔ４０１）。例えば選択された目標動作が「ロボットハンドがシール位置に移動する」であった場合（図５参照）、プロセッサ２１は、この目標動作が行われた後の位置である、ロボットハンドがシールをつかめるような位置を算出する。カメラ１３の撮像画像を用いる場合、プロセッサ２１は、撮像画像に映り込んだ撮像対象物が目標状態となるような、エンドエフェクタ１１の目標位置を算出する。

プロセッサ２１は、ステップＳｔ４０１で算出されたエンドエフェクタ１１の目標位置にエンドエフェクタ１１が移動するための、エンドエフェクタの制御方針を決定する（Ｓｔ４０２）。エンドエフェクタの制御方針は、エンドエフェクタ１１およびロボットアーム１２をどのように動かして、エンドエフェクタ１１を目標位置まで移動させるかの方針である。制御方針の決定は、逆運動学などの従来の手法を用いて行われてよい。

プロセッサ２１は、カメラ１３の目標位置を算出する（Ｓｔ４０３）。カメラ１３の目標位置は、エンドエフェクタ１１が動作する間に撮像対象物の状態変化をカメラ１３が認識しやすい位置である。カメラ１３の目標位置は、例えば撮像対象物の状態変化方向とカメラ１３の光軸とのなす角が９０度となるような位置である。このような位置にカメラ１３が移動すれば、カメラ１３は、撮像対象物の状態変化を撮像画像中のより大きなピクセルの変化として認識することができる。なお、撮像対象物の状態変化方向とカメラ１３の光軸とのなす角は、３０度から１５０度の間の角度であってもよい（図１５参照）。プロセッサ２１は、状態変化方向情報取得部２１２が取得した撮像対象物の状態変化方向情報に基づいて、カメラ１３の目標位置を算出する。

プロセッサ２１は、ステップＳｔ４０３で算出されたカメラ１３の目標位置にカメラ１３が移動するための、カメラ１３の制御方針を決定する（Ｓｔ４０４）。カメラ１３の制御方針は、カメラ１３およびカメラアーム１４をどのように動かして、カメラ１３を目標位置まで移動させるかの方針である。制御方針の決定は、逆運動学などの従来の手法を用いて行われてよい。

プロセッサ２１は、カメラ１３の位置が目標位置になるように、カメラ１３を移動させる（Ｓｔ４０５）。図４を併せて参照すると、カメラ制御部２１３がカメラアーム１４に制御信号を送ることによりカメラ１３の動作を制御する。カメラ制御部２１３は、カメラ１３が撮像対象物を撮像可能に位置するようにカメラ１３の動作を制御する。なお、カメラ１３の現在位置が目標位置と一致している場合は、カメラ１３は移動不要である。

撮像画像取得部２１１は、カメラ１３が撮像した撮像画像を取得する（Ｓｔ４０６）。

プロセッサ２１は、ステップＳｔ３０１で選択された目標動作に対応した付随動作がすべて終了したか否かを判定する（Ｓｔ４０７）。すなわちプロセッサ２１は、現在対象となっている付随動作が終了しており、かつ、選択された目標動作の終了条件が満たれているかを確認する。目標動作に対応した付随動作がすべて終了した場合（Ｓｔ４０７：Ｙｅｓ）、図１１に示した処理は終了する。目標動作に対応した付随動作がすべて終了していない場合（Ｓｔ４０７：Ｎｏ）、ステップＳｔ４０８へと処理が進む。

プロセッサ２１は、ステップＳｔ４０７における判定をステップＳｔ４０６で取得された撮像画像を用いて行ってよい。例えば、プロセッサ２１は撮像画像から撮像対象物の特徴を抽出し、この特徴の撮像画像内の位置に応じて、上述の判定を行ってよい。また、プロセッサ２１は、撮像画像を用いない手法によって、ステップＳｔ４０７における判定を行ってもよい。例えば、ロボット１が内部的に有する制御パラメータ（ロボットアームの角度等）によって、エンドエフェクタ１１の現在の状態を把握することができるのであれば、プロセッサ２１はこの制御パラメータに基づいてステップＳｔ４０７における判定を行うことができる。また、エンドエフェクタ１１が把持するワークＷｋ（図１等参照）にスイッチが設けられており、このスイッチが押されたら、「ロボットハンドがワークをつかむ」という目標動作が終了したとプロセッサ２１が判定してもよい。その他、作業者が手持ちのコントローラ等を介して目標動作の終了を示す信号を制御装置２に送信し、制御装置２がこの信号を受信した場合、目標動作が終了したとプロセッサ２１が判定してもよい

プロセッサ２１は、付随動作についてのエンドエフェクタ１１の目標位置を算出する（Ｓｔ４０８）。例えば選択された付随動作が「ロボットハンドがシール位置に近づく」であった場合（図５参照）、プロセッサ２１は、この付随動作が行われた後の位置である、ロボットハンドがシールをつかめるような位置（目標動作についての目標位置）により近づいた位置を算出する。カメラ１３の撮像画像を用いる場合、プロセッサ２１は、撮像画像に映り込んだ撮像対象物が付随動作についての目標状態となるような、エンドエフェクタ１１の目標位置を算出する。

プロセッサ２１は、ステップＳｔ４０８で算出されたエンドエフェクタ１１の目標位置にエンドエフェクタ１１が移動するための、エンドエフェクタの制御方針を決定する（Ｓｔ４０９）。エンドエフェクタ１１の制御方針は、エンドエフェクタ１１およびロボットアーム１２をどのように動かして、エンドエフェクタ１１を付随動作についての目標位置まで移動させるかの方針である。制御方針の決定は、逆運動学などの従来の手法を用いて行われてよい。

プロセッサ２１は、エンドエフェクタ１１の位置が付随動作についての目標位置になるように、エンドエフェクタ１１を微小移動させる（ステップＳｔ４１０）。図４を併せて参照すると、送信部２１４がロボットアーム１２を経由してエンドエフェクタ１１に制御信号を送ることにより、エンドエフェクタ１１の微小移動を制御する。なお、制御信号に基づいて、エンドエフェクタ１１とロボットアーム１２の双方が動作してもよい。ステップＳｔ４１０が終了したら、処理がステップＳｔ４０６へと戻り、目標動作に含まれる次の付随動作について、ステップＳｔ４０６からＳｔ４１０を繰り返す。なお、カメラ１３が移動（ステップＳｔ４０５）した後にステップＳｔ４０６からＳｔ４１０が繰り返されるので、送信部２１４からエンドエフェクタ１１に送信される複数の制御信号により、エンドエフェクタ１１が複数の動作（付随動作）を行うことになる。

なお、制御装置２は、カメラ制御部２１３がカメラ１３の動作を制御（ステップＳｔ４０５）した後、送信部２１４がエンドエフェクタ１１に制御信号を送信（ステップＳｔ４１０）する。これにより、エンドエフェクタ１１が動作する時に、カメラ１３は撮像対象物の状態の変化をより正確に認識することができる。

（カメラ１３の位置固定）
カメラ１３が撮像対象物を撮像する時に、カメラ１３の絶対位置（図２の絶対座標における位置）が固定されてよい。カメラ１３の絶対位置を固定することにより、エンドエフェクタ１１が動作を行う際に、カメラ１３が同じ位置から撮像を行うことができるので、撮像対象物の状態の変化が認識しやすくなる。そこで制御装置２は、カメラ制御部２１３が、カメラ１３が撮像対象物を撮像可能に位置するようにカメラ１３の動作を制御した後、カメラ１３の位置を固定するようにカメラ１３の動作を制御する。カメラ１３がロボットアーム１２に取り付けられている場合（図１参照）、カメラ制御部２１３は、ロボットアーム１２の移動に伴ったカメラ１３の移動を打ち消すように、カメラ１３の動作を制御する。カメラ１３が壁などの移動しない物に取り付けられている場合（図３参照）、カメラ制御部２１３は、カメラアーム１４を動かさないように、カメラ１３の動作を制御する。

図１２は、制御装置２によるカメラ１３およびエンドエフェクタ１１の第２の制御例に対応するシーケンス図である。図中、破線状の矢印の方向に時間が経過している。動作Ａおよび動作Ｂはそれぞれ、図５に示されている目標動作に相当する。付随動作Ａ１、Ａ２、Ａ３、Ｂ１、Ｂ２、Ｂ３は、図５に示されている付随動作に相当する。

まずプロセッサ２１が、目標動作Ａについてのエンドエフェクタ１１およびカメラ１３の動作（制御方針）を決定する。次に、決定された制御方針に従って、カメラ１３が目標位置に移動する。次に、エンドエフェクタ１１が付随動作Ａ１、Ａ２、Ａ３…を順次行う。目標動作Ａに相当する付随動作が全て完了したら、プロセッサ２１が、目標動作Ｂについてのエンドエフェクタ１１およびカメラ１３の動作（制御方針）を決定する。次に、決定された制御方針に従って、カメラ１３が目標位置に移動する。次に、エンドエフェクタ１１が付随動作Ｂ１、Ｂ２、Ｂ３…を順次行う。制御装置２は、図示を省略した目標動作Ｃ以降も同様に行うことにより、「シールを貼る」「把持対象を移動する」等の動作をエンドエフェクタ１１に実現させる。

図１３は、制御装置２によるカメラ１３およびエンドエフェクタ１１の第１の制御例に対応するシーケンス図の変形例である。図中、破線状の矢印の方向に時間が経過している。動作Ａが図５に示されている目標動作に相当する。付随動作Ａ１、Ａ２、Ａ３は、図５に示されている付随動作に相当する。

まずプロセッサ２１が、目標動作Ａについてのエンドエフェクタ１１およびカメラ１３の動作（制御方針）を決定する。次に、決定された制御方針に従って、カメラ１３が移動する。この段階で、カメラ１３は目標動作Ａについての目標位置まで到達していなくてもよいが、撮像対象物がカメラ１３の画角に入る位置まで移動している事が好ましい。次に、エンドエフェクタ１１が付随動作Ａ１、Ａ２、Ａ３…を順次行う。エンドエフェクタ１１が付随動作Ａ１、Ａ２、Ａ３…を順次行う間も、カメラ１３が決定された制御方針に従って少しずつ移動する。図示は省略するが、目標動作Ａの後に行われる目標動作Ｂ、目標動作Ｃ…についても、目標動作Ａと同様である。

例えば、目標動作Ａに対応する付随動作Ａ１、Ａ２、Ａ３…が全て終了した後で、カメラ１３が撮像対象物を撮像するような状況が考えられる。この時、撮像が必要な時点で、カメラ１３が所定の目標位置に到着していればよい。従って、付随動作Ａ１が行われる前に、カメラ１３は必ずしも目標位置に到着していなくてもよい。また、エンドエフェクタ１１の動作を作業者が手持ちのコントローラ等を介して指示する場合が考えられる。このような場合、エンドエフェクタが付随動作Ａ１、Ａ２、Ａ３…を順次行う際にカメラ１３も少しずつ移動すれば、撮像対象物がカメラ１３の画角から外れずに、作業者が撮像画像に基づいてエンドエフェクタ１１の動作を指示することができる。

図１４は、撮像対象物が複数存在する場合のカメラの位置決め例を示す概念図である。例えばエンドエフェクタ１１がドライバーを把持してネジ締めする動作を行う場合（図６Ｃおよび図６Ｄ参照）を考える。カメラ１３で撮像したい撮像対象物は、エンドエフェクタ１１（第１の撮像対象物）と、板に設けられたネジ穴（第２の撮像対象物）であってよい。エンドエフェクタ１１およびネジ穴の状態変化方向は、図中の直線状の矢印でそれぞれ示した方向である。例えば撮像対象物の状態変化方向とカメラ１３の光軸とのなす角が９０度となるような位置をカメラ１３の目標位置とする場合、第１の撮像対象物に対するカメラ１３の目標位置、および、第２の撮像対象物に対するカメラ１３の目標位置はそれぞれ、図中の破線で示したような位置である。

例えば図１４に示されているように撮像対象物が複数存在した場合、カメラ制御部２１３は、複数の撮像対象物の各々に対応する状態変化方向情報に基づいて、カメラ１３の動作を制御する。カメラ制御部２１３は、カメラ１３の光軸の方向が、一の撮像対象物（例えば第１の撮像対象物）に対応する状態変化方向情報に基づいたカメラ１３の光軸の方向と、他の撮像対象物（例えば第２の撮像対象物）に対応する状態変化方向情報に基づいたカメラ１３の光軸の方向との間の方向になるように、カメラ１３の動作を制御する。カメラ制御部２１３が上述のようにカメラ１３の動作を制御した場合の、カメラ１３の目標位置は、例えば図中実線で描かれているカメラ１３の位置であってよい。撮像対象物が３つ以上存在した場合も同様である。カメラ制御部２１３は、カメラ１３の光軸の方向が、各撮像対象物に対応する状態変化方向情報に基づいたカメラ１３の光軸の方向の間の方向になるように、カメラ１３の動作を制御する。複数の光軸の方向の間の方向は、厳密に中間の方向である必要はない。例えば、カメラ１３の光軸の方向は、一の撮像対象物（例えば第１の撮像対象物）に対応する状態変化方向情報に基づいたカメラ１３の光軸の方向よりも、他の撮像対象物（例えば第２の撮像対象物）に対応する状態変化方向情報に基づいたカメラ１３の光軸の方向により近い方向であってもよい。

図１５は、撮像対象物の状態変化方向とカメラ１３の光軸１３１との間のなす角を示す概念図である。撮像対象物の状態変化方向（例えばエンドエフェクタ１１の動作方向）が、図中の太い直線状の矢印が示す方向であったとする。また、カメラ１３の目標位置の候補を、候補Ａ、候補Ｂ、候補Ｃ、および候補Ｄとする。なお、図の可読性を確保するため、候補Ｂ～候補Ｄについて、カメラ１３および光軸１３１の参照符号は省略されている。

カメラ１３の目標位置が候補Ａの位置であった場合、撮像対象物の状態変化は、カメラ１３による撮像画像に映り込まない。そのためカメラ制御部２１３は、少なくとも、カメラ１３の光軸１３１が撮像対象物の状態変化方向と平行にならないようにカメラ１３の動作を制御する。

カメラ１３が撮像対象物の状態変化を撮像画像中の最も大きなピクセルの変化として認識することができるのは、カメラ１３の目標位置が候補Ｂの位置だった場合である。候補Ｂの場合、撮像対象物の状態変化方向とカメラ１３の光軸とのなす角が９０度となる。カメラ制御部２１３は、撮像対象物の状態変化方向とカメラ１３の光軸１３１とのなす角が９０度となるようにカメラ１３の動作を制御してよい。これにより、カメラ１３は撮像対象物の状態変化を撮像画像中の最も大きなピクセルの変化として認識することができる。

候補Ｂにおける、撮像対象物の状態変化に基づく撮像画像中のピクセルの変化の度合い（画像変化量）を、仮に１とする。この時、候補Ａにおける画像変化量は０である。

候補Ｃおよび候補Ｄは、撮像対象物の状態変化方向とカメラ１３の光軸とのなす角がそれぞれ３０度および１５０度となる。候補Ｃおよび候補Ｄにおける画像変化量は１／２である。従って、カメラ１３が撮像対象物の状態変化を撮像画像中のある程度大きいピクセルの変化（画像変化量１／２以上）として認識することができるようにするためには、カメラ１３の目標位置は候補Ｃと候補Ｄの間の位置になる。そのため、カメラ制御部２１３は、撮像対象物の状態変化方向とカメラ１３の光軸１３１とのなす角が３０度から１５０度の間の角度となるようにカメラ１３の動作を制御する。

なお、工場の管理者や作業者が画像変化量の許容値を適宜決定してよい。例えば画像変化量の許容値が√３／２以上であった場合、カメラ制御部２１３は、撮像対象物の状態変化方向とカメラ１３の光軸１３１とのなす角が６０度から１２０度の間の角度となるようにカメラ１３の動作を制御する。

特に、エンドエフェクタ１１が保持したワークＷｋ等を制御装置２の制御により精密に移動させるためには、撮像画像中の画像変化量は大きい事が好ましい。そのため、カメラ制御部２１３は、撮像対象物の状態変化方向とカメラ１３の光軸１３１とのなす角がなるべく９０度に近い角度となるように、カメラ１３の動作を制御する。

図１６Ａ～図１９Ｂに基づいて、エンドエフェクタ１１が実行するシール貼り作業についての実施例を説明する。

図１６Ａは、エンドエフェクタ１１が実行するシール貼り作業の第１の状態を示す概念図である。図１６Ｂは、図１６Ａに対応するカメラ画像と目標状態を示す概念図である。図１６Ａと図１６Ｂを併せて参照して説明する。ロボット１が備えるエンドエフェクタ１１がシールＳを把持しており、物体ＯＢＪに設けられたシール貼り位置に、シールＳを貼る。エンドエフェクタ１１が行おうとしている動作は「シールを貼る」であり、目標動作は「ロボットハンドがシールを貼る位置に移動」である（ステップＳｔ１０１、Ｓｔ３０１、および図５参照）。カメラ１３は、シールＳを把持したエンドエフェクタ１１を撮像する。撮像された画像が、カメラ画像である。制御装置２は、このカメラ画像が目標状態になるまで、エンドエフェクタ１１およびロボットアーム１２を制御する。目標状態において、エンドエフェクタ１１が把持するシールはシール貼り位置に重なる。エンドエフェクタ１１の付近に描かれている直線状の矢印は、撮像対象物であるエンドエフェクタ１１の状態変化方向（動作方向）を示している。

図１７Ａは、エンドエフェクタ１１が実行するシール貼り作業の第２の状態を示す概念図である。図１７Ｂは、図１７Ａに対応するカメラ画像を示す概念図である。図１７Ａと図１７Ｂを併せて参照して説明する。カメラ制御部２１３は、撮像対象物の状態変化方向とカメラ１３の光軸１３１とのなす角が９０度となるようにカメラ１３の動作を制御する。また、カメラ制御部２１３は、カメラ１３が撮像対象物である物体ＯＢＪを撮像可能に位置するようにカメラ１３の動作を制御する。より具体的には、カメラ制御部２１３からの制御信号により、カメラアーム１４が伸びて、物体ＯＢＪがカメラ１３の撮像領域内（画角内）に入る。

図１８Ａは、エンドエフェクタ１１が実行するシール貼り作業の第３の状態を示す概念図である。図１８Ｂは、図１８Ａに対応するカメラ画像を示す概念図である。図１８Ａと図１８Ｂを併せて参照して説明する。送信部２１４はエンドエフェクタ１１とロボットアーム１２の双方を制御する制御信号を送信する。この制御信号により、エンドエフェクタ１１は指を閉じた姿勢を維持し、ロボットアーム１２が変形する。送信部２１４が制御信号を送信している間、カメラ制御部２１３は、カメラ１３の位置を固定するように、カメラ１３の動作を制御する。シール貼り作業の第３の状態においては、カメラ制御部２１３は、カメラアーム１４が縮みつつロボットアーム１２に対するカメラアーム１４の角度が変わり、カメラ１３の向きも維持するように、カメラ１３の動作を制御する。

図１９Ａは、エンドエフェクタ１１が実行するシール貼り作業の第４の状態を示す概念図である。図１９Ｂは、図１９Ａに対応するカメラ画像と目標状態を示す概念図である。図１９Ａと図１９Ｂを併せて参照して説明する。プロセッサ２１は、目標動作の終了（ステップＳｔ１０４、Ｓｔ３０４参照）をカメラ１３の撮像画像に基づいて判定してよい。プロセッサ２１は、カメラ画像と目標状態を示す画像とを比較して目標動作が終了したか否かを判定してよい。

図２０Ａ～図２２Ｂに基づいて、エンドエフェクタ１１が実行する、把持対象を移動する作業についての実施例を説明する。

図２０Ａは、エンドエフェクタ１１が実行する把持対象を移動する作業の第１の状態を示す概念図である。図２０Ｂは、図２０Ａに対応するカメラ画像と目標状態を示す概念図である。図２０Ａと図２０Ｂを併せて参照して説明する。ロボット１が備えるエンドエフェクタ１１がワークＷｋに近づいて、ワークＷｋを把持し、ワークＷｋを別の場所へと移動する。エンドエフェクタ１１が行おうとしている動作は「把持対象を移動する」であり、目標動作は「ロボットハンドが把持対象の把持位置に移動」である（ステップＳｔ１０１、Ｓｔ３０１および図５参照）。カメラ１３は、エンドエフェクタ１１とワークＷｋとを撮像する。撮像された画像が、カメラ画像である。制御装置２は、このカメラ画像が目標状態になるように、エンドエフェクタ１１およびロボットアーム１２を制御する。目標状態において、エンドエフェクタ１１はワークＷｋを把持可能な位置まで接近している。エンドエフェクタ１１付近に描かれた直線状の矢印は、撮像対象物であるエンドエフェクタ１１の状態変化方向（動作方向）を示している。

図２１Ａは、エンドエフェクタ１１が実行する把持対象を移動する作業の第２の状態を示す概念図である。図２１Ｂは、図２１Ａに対応するカメラ画像と目標状態を示す概念図である。図２１Ａと図２１Ｂを併せて参照して説明する。カメラ制御部２１３は、撮像対象物の状態変化方向とカメラ１３の光軸１３１とのなす角が９０度となるようにカメラ１３の動作を制御する。また、カメラ制御部２１３は、カメラ１３が撮像対象物であるワークＷｋを撮像可能に位置するようにカメラ１３の動作を制御する。より具体的には、カメラ制御部２１３からの制御信号によりカメラアーム１４が伸び、カメラアーム１４のロボットアーム１２に対する角度も変わって、ワークＷｋがカメラ１３の撮像領域内（画角内）に入る。この時点では、エンドエフェクタ１１はカメラ１３の撮像領域内（画角内）に入っていない。図示は省略するが、エンドエフェクタ１１の目標動作「ロボットハンドが把持対象の把持位置に移動」が終了すると、エンドエフェクタ１１がカメラ１３の撮像領域内（画角内）に入る。

図２２Ａは、エンドエフェクタ１１が実行する把持対象を移動する作業の第３～第５の状態を示す概念図である。図２２Ｂは、図２２Ａに対応するカメラ画像（第３～第５の状態）と目標状態を示す概念図である。図２２Ａと図２２Ｂを併せて参照して説明する。エンドエフェクタ１１が行おうとしている動作は「把持対象を移動する」のままであり、図２２Ａおよび図２２Ｂについての（次の）目標動作は「ロボットハンドが把持対象をつかむ」である（ステップＳｔ１０１およびＳｔ３０１の２周目、ならびに図５参照）。

目標動作「ロボットハンドが把持対象をつかむ」の付随動作は、「ロボットハンドが閉じていく」である。図２２Ｂにおける直線状の実線矢印は、撮像対象物であるエンドエフェクタ１１の、付随動作についての状態変化方向（動作方向）を示している。

カメラ制御部２１３は、撮像対象物の状態変化方向とカメラ１３の光軸１３１とのなす角が９０度となるようにカメラ１３の動作を制御する。また、カメラ制御部２１３は、カメラ１３が撮像対象物であるワークＷｋを撮像可能に位置するようにカメラ１３の動作を制御する。ここで、撮像対象物の状態変化方向とカメラ１３の光軸１３１とのなす角は既に９０度になっており、さらに、カメラ１３が撮像対象物であるワークＷｋを撮像可能な位置に既に移動済である（図２１Ａおよび図２１Ｂを併せて参照）。そこでカメラ制御部２１３は、カメラアーム１４の姿勢およびカメラ１３の向きを変更しないように、カメラ１３の動作を制御する。

送信部２１４は、ロボットアーム１２を固定したまエンドエフェクタ１１を制御する制御信号を送信する。この制御信号により、ロボットアーム１２は姿勢を維持し、エンドエフェクタ１１の指が閉じていく。送信部２１４が制御信号を送信している間、カメラ制御部２１３は、カメラ１３の位置を固定するように、カメラ１３の動作を制御する。

図２３～図２５に基づいて、エンドエフェクタ１１が実行するネジ締め作業についての実施例を説明する。

図２３は、ネジ締めについての撮像領域を示す概念図である。本実施例では、図示されていないエンドエフェクタ１１が、ワークＷｋであるドライバーを把持して、板状の物体ＯＢＪに設けられたネジ穴にネジを挿入する。図には、カメラ１３の撮像領域が太字の矩形枠で描かれている。２種類の矢印はそれぞれ、ドライバーおよびネジの動作方向と、物体ＯＢＪの状態変位方向を示している。なお、ドライバーおよびネジの動作方向は、撮像対象物であるドライバーやネジの状態変位方向に相当する。カメラ１３による撮像対象物は、ネジと物体ＯＢＪである。

複数の撮像対象物が存在するので、プロセッサ２１は、カメラ１３がそれぞれの撮像対象物の状態変化を撮像画像中の大きなピクセルの変化として認識することができる位置を、カメラ１３の目標位置として算出する（Ｓｔ２０３、Ｓｔ４０３、および図１４参照）。この目標位置に移動したカメラの撮像領域の例が図２３に示されている。

図２４は、エンドエフェクタ１１がドライバーを把持してネジ締めを行う作業の第１の状態を示す概念図である。第１の状態でのエンドエフェクタ１１の目標動作は「ネジを位置合わせする」である。エンドエフェクタ１１はワークＷｋであるドライバーを把持し、ドライバーの先端に保持されているネジを、板状の物体ＯＢＪに設けられたネジ穴に位置合わせしている。この時の撮像対象物は、ネジと物体ＯＢＪのネジ穴である。プロセッサ２１は、カメラ１３がそれぞれの撮像対象物の状態変化を撮像画像中の大きなピクセルの変化として認識することができる位置を、カメラ１３の目標位置として算出する（Ｓｔ２０３、Ｓｔ４０３、および図１４参照）。そしてプロセッサ２１は、カメラ１３の位置が目標位置になるように、カメラ１３を移動させる（Ｓｔ２０５、Ｓｔ４０５）。この移動前のカメラ１３が図中の破線で、移動後のカメラが図中の実線で、それぞれ示されている。

図２５は、エンドエフェクタ１１がドライバーを把持してネジ締めを行う作業の第２の状態を示す概念図である。第２の状態でのエンドエフェクタ１１の目標動作は「ネジを締める」である。エンドエフェクタ１１はワークＷｋであるドライバーを把持し、ドライバーの先端に保持されているネジを、板状の物体ＯＢＪに設けられたネジ穴に近づけている。この時の撮像対象物は、ネジと物体ＯＢＪのネジ穴である。プロセッサ２１は、カメラ１３がそれぞれの撮像対象物の状態変化を撮像画像中の大きなピクセルの変化として認識することができる位置を、カメラ１３の目標位置として算出する（Ｓｔ２０３、Ｓｔ４０３、および図１４参照）。そしてプロセッサ２１は、カメラ１３の位置が目標位置になるように、カメラ１３を移動させる（Ｓｔ２０５、Ｓｔ４０５）。この移動後のカメラ１３が図中の実線で示されている。ここで、図２４と図２５とを対比すると、ネジの動作方向が異なる為、目標位置に移動後のカメラ１３の位置も異なっている。

（作業者の操作に基づく制御）
図７のステップＳｔ１０１や図１０のステップＳｔ３０１において、プロセッサ２１が目標動作を選択していた。しかし、ロボット１の操作者等の作業者がティーチペンダントやコントローラ（図示省略）を用いて目標動作を指示してもよい。目標動作の指示は、通信回線を介した遠隔操作によって行われてもよい。この遠隔操作の際に制御装置２は、作業者からの目標動作の指示を所定の時間間隔ごと（例えば１／６０秒ごと）に受信してよい。作業者が目標操作を指示する場合、その指示に従ってエンドエフェクタ１１（およびロボットアーム１２）が動作する前に、カメラ１３が目標位置に移動する。作業者からの目標動作の指示（制御信号）を受信した制御装置２は、送信部２１４がエンドエフェクタ１１に制御信号を送信する前に、カメラ制御部２１３がカメラ１３の動作を制御する。

以上のように、制御システム１００、１０１が、カメラ１３と、エンドエフェクタ１１と、カメラ１３およびエンドエフェクタ１１を制御する制御装置２と、を備え、制御装置２は、カメラ１３による撮像対象物の状態の変化方向を示す状態変化方向情報を取得する取得部２１２と、状態変化方向情報に基づいてカメラ１３の動作を制御するカメラ制御部２１３と、エンドエフェクタ１１を制御する制御信号をエンドエフェクタ１１に送信する送信部２１４と、を備え、制御装置２は、カメラ制御部２１３がカメラ１３の動作を制御した後、送信部２１４がエンドエフェクタ１１に制御信号を送信する。これにより、カメラ１３が撮像した画像に基づいて制御装置２がエンドエフェクタ１１を制御する際に、カメラ１３において撮像対象物の状態の変化をより正確に認識できる。

カメラ制御部２１３は、カメラ１３が撮像対象物を撮像可能に位置するようにカメラ１３の動作を制御した後、送信部２１４がエンドエフェクタ１１に制御信号を送信する。これにより制御装置２は、カメラ１３で撮像対象物を確実に撮像しながらエンドエフェクタ１１を制御できる。

カメラ制御部２１３は、カメラ１３が撮像対象物を撮像可能に位置するようにカメラ１３の動作を制御した後、カメラ１３の位置を固定するようにカメラ１３の動作を制御する。これにより、エンドエフェクタ１１が動作を行う際に、カメラ１３が同じ位置から撮像を行うことができるので、撮像対象物の状態の変化が認識しやすくなる。

カメラ制御部２１３は、カメラ１３の光軸１３１が状態変化方向と平行にならないようにカメラ１３の動作を制御する。これにより、撮像対象物の状態変化が、カメラ１３による撮像画像に確実に映り込むようにすることができる。

カメラ制御部２１３は、状態変化方向とカメラ１３の光軸１３１とのなす角が３０度から１５０度の間の角度となるようにカメラ１３の動作を制御する。これにより、カメラ１３が撮像対象物の状態変化を撮像画像中のある程度大きいピクセルの変化（画像変化量１／２以上）として認識することができる。

カメラ制御部２１３は、状態変化方向とカメラ１３の光軸１３１とのなす角が９０度となるようにカメラ１３の動作を制御する。これによりカメラ１３が撮像対象物の状態変化を撮像画像中の最も大きいピクセルの変化（画像変化量１）として認識することができる。

撮像対象物が複数存在し、カメラ制御部２１３は、複数の撮像対象物の各々に対応する状態変化方向情報に基づいて、カメラ１３の動作を制御する。より詳しくは、カメラ制御部２１３は、カメラ１３の光軸の方向が、一の撮像対象物に対応する状態変化方向情報に基づいたカメラ１３の光軸の方向と、他の撮像対象物に対応する状態変化方向情報に基づいたカメラ１３の光軸の方向との間の方向になるように、カメラ１３の動作を制御する。これにより、撮像対象物が複数ある場合であっても、カメラ１３が各撮像対象物の状態変化を撮像画像中の大きなピクセルの変化として認識することができる。

撮像対象物がエンドエフェクタ１１を含み、エンドエフェクタ１１に対応する状態変化方向は、エンドエフェクタ１１の動作方向である。これにより、カメラ１３がエンドエフェクタ１１の動作を撮像画像中の大きなピクセルの変化として認識することができる。

撮像対象物はエンドエフェクタ１１が保持する物体を含み、物体に対応する状態変化方向は、物体の動作方向である。これにより、カメラ１３が、エンドエフェクタ１１が保持する物体の動作を撮像画像中の大きなピクセルの変化として認識することができる。

撮像対象物は、エンドエフェクタ１１またはエンドエフェクタ１１が保持した物体による作業対象物を含み、作業対象物に対応する状態変化方向は、作業対象物の動作方向または変形方向である。これにより、カメラ１３が、作業対象物の動作方向または変形方向を撮像画像中の大きなピクセルの変化として認識することができる。

送信部２１４からエンドエフェクタ１１に送信される複数の制御信号に基づいて、エンドエフェクタ１１は複数の動作を行う。これにより、エンドエフェクタ１１が上述の付随動作を複数組み合わせて行うことができる。そのため、複数の付随動作の組み合わせにより実現される目標動作を、適切な位置に移動済みのカメラ１３が撮像することができる。

取得部２１２と、カメラ制御部２１３と、送信部２１４とを備えた制御装置２が、カメラ１３およびエンドエフェクタ１１を制御する。この制御方法において、取得部２１２が、カメラ１３による撮像対象物の状態の変化方向を示す状態変化方向情報を取得する。この制御方法において、カメラ制御部２１３が、状態変化方向情報に基づいてカメラ１３の動作を制御する。この制御方法において、送信部２１４が、エンドエフェクタ１１を制御する制御信号をエンドエフェクタ１１に送信する。これにより、カメラ１３が撮像した画像に基づいて制御装置２がエンドエフェクタ１１を制御する際に、カメラ１３において撮像対象物の状態の変化をより正確に認識できる。

制御装置２が、カメラ１３による撮像対象物の状態の変化方向を示す状態変化方向情報を取得する取得部２１２を備える。制御装置２が、状態変化方向情報に基づいてカメラ１３の動作を制御するカメラ制御部２１３を備える。制御装置２が、エンドエフェクタ１１を制御する制御信号をエンドエフェクタ１１に送信する送信部２１４を備える。カメラ制御部２１３がカメラの動作を制御した後、送信部がエンドエフェクタに制御信号を送信する。これにより、カメラ１３が撮像した画像に基づいて制御装置２がエンドエフェクタ１１を制御する際に、カメラ１３において撮像対象物の状態の変化をより正確に認識できる。

以上、図面を参照して、本開示に係る制御システム、制御方法、および制御装置について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

本開示は、エンドエフェクタを制御する際に、カメラにおいて対象物の状態の変化をより正確に認識できる制御システム、制御方法、および制御装置として有用である。

１ ロボット
１１ エンドエフェクタ
１２ ロボットアーム
１３ カメラ
１３１ 光軸
１４ カメラアーム
２ 制御装置
２１ プロセッサ
２１１ 撮像画像取得部
２１２ 状態変化方向情報取得部（取得部）
２１３ カメラ制御部
２１４ 送信部
２２ メモリ
１００ 制御システム
１０１ 制御システム
Ｗｋ ワーク

Claims (14)

1. カメラと、
   エンドエフェクタと、
   前記カメラおよび前記エンドエフェクタを制御する制御装置と、を備え、
   前記制御装置は、
   撮像対象物の状態の変化方向を示す状態変化方向情報を取得する取得部と、
   前記状態変化方向情報に基づいて前記カメラの動作を制御するカメラ制御部と、
   前記エンドエフェクタを制御する制御信号を前記エンドエフェクタに送信する送信部と、を備え、
   前記制御装置は、前記カメラ制御部が前記カメラの動作を制御した後、前記送信部が前記エンドエフェクタに前記制御信号を送信する、
   制御システム。
2. 前記カメラ制御部は、前記カメラが前記撮像対象物を撮像可能に位置するように前記カメラの動作を制御した後、前記送信部が前記エンドエフェクタに前記制御信号を送信する、
   請求項１に記載の制御システム。
3. 前記カメラ制御部は、前記カメラが前記撮像対象物を撮像可能に位置するように前記カメラの動作を制御した後、前記カメラの位置を固定するように前記カメラの動作を制御する、
   請求項２に記載の制御システム。
4. 前記カメラ制御部は、前記カメラの光軸が前記状態変化方向と平行にならないように前記カメラの動作を制御する、
   請求項１から３のうちいずれか一項に記載の制御システム。
5. 前記カメラ制御部は、前記状態変化方向と前記カメラの光軸とのなす角が３０度から１５０度の間の角度となるように前記カメラの動作を制御する、
   請求項４に記載の制御システム。
6. 前記カメラ制御部は、前記状態変化方向と前記カメラの光軸とのなす角が９０度となるように前記カメラの動作を制御する、
   請求項５に記載の制御システム。
7. 前記撮像対象物が複数存在し、
   前記カメラ制御部は、前記複数の撮像対象物の各々に対応する状態変化方向情報に基づいて、前記カメラの動作を制御する、
   請求項１から請求項５のうちいずれか一項に記載の制御システム。
8. 前記カメラ制御部は、前記カメラの光軸の方向が、一の前記撮像対象物に対応する状態変化方向情報に基づいた前記カメラの光軸の方向と、他の前記撮像対象物に対応する状態変化方向情報に基づいた前記カメラの光軸の方向との間の方向になるように、前記カメラの動作を制御する、
   請求項７に記載の制御システム。
9. 前記撮像対象物が前記エンドエフェクタを含み、
   前記エンドエフェクタに対応する前記状態変化方向は、前記エンドエフェクタの動作方向である、
   請求項１から請求項８のうちいずれか一項に記載の制御システム。
10. 前記撮像対象物は前記エンドエフェクタが保持する物体を含み、
    前記物体に対応する前記状態変化方向は、前記物体の動作方向である、
    請求項１から請求項８のうちいずれか一項に記載の制御システム。
11. 前記撮像対象物は、前記エンドエフェクタまたは前記エンドエフェクタが保持した物体による作業対象物を含み、
    前記作業対象物に対応する前記状態変化方向は、前記作業対象物の動作方向または変形方向である、
    請求項１から請求項８のうちいずれか一項に記載の制御システム。
12. 前記送信部から前記エンドエフェクタに送信される複数の制御信号に基づいて、前記エンドエフェクタは複数の動作を行う、
    請求項１から請求項１１のうちいずれか一項に記載の制御システム。
13. 取得部と、カメラ制御部と、送信部とを備えた制御装置による、カメラおよびエンドエフェクタの制御方法であって、
    前記取得部が、撮像対象物の状態の変化方向を示す状態変化方向情報を取得するステップと、
    前記カメラ制御部が、前記状態変化方向情報に基づいて前記カメラの動作を制御するステップと、
    前記送信部が、前記エンドエフェクタを制御する制御信号を前記エンドエフェクタに送信するステップと、を有する、
    制御方法。
14. 撮像対象物の状態の変化方向を示す状態変化方向情報を取得する取得部と、
    前記状態変化方向情報に基づいてカメラの動作を制御するカメラ制御部と、
    エンドエフェクタを制御する制御信号を前記エンドエフェクタに送信する送信部と、を備え、
    前記カメラ制御部が前記カメラの動作を制御した後、前記送信部が前記エンドエフェクタに前記制御信号を送信する、
    制御装置。

Images