JP2021091070A - ロボット制御装置 - Google Patents

Abstract

【課題】特定の把持姿勢でハンドに把持された対象物に関する情報から特定の把持姿勢とは異なる把持姿勢に対応する画像ヤコビアンを推定可能なロボット制御装置を提供する。【解決手段】ロボット制御装置４は、メモリ４１と、読出部４２と、演算部４４と、推定部４５と、を備える。読出部４２は、目標画像および目標関節角をメモリ４１から読み出す。演算部４４は、特定の把持姿勢となる際のロボット座標系での対象物の位置姿勢および特定の把持姿勢とは異なる把持姿勢に基づいて、対象物が異なる把持姿勢となる際のロボット座標系でのハンドの位置姿勢を求め、当該ハンドの位置姿勢から関節角を求める。推定部４５は、特定の把持姿勢となる際にカメラで撮像された対象物画像と目標画像の差分である画像偏差および演算部で求めた関節角と目標関節角との差分である関節角偏差に基づいて画像ヤコビアンを推定する。【選択図】図１

Description

本開示は、ロボット制御装置に関する。

従来、対象物を操作するロボットの制御技術として、画像ベースのビジュアルサーボ（ＩＢＶＳ：Image-based visual servoの略）が知られている。このビジュアルサーボでは、ロボットによって対象物を目標の位置姿勢に位置決めするため、操作中の対象物がカメラによって撮像される。これにより得られた画像が現在画像である。また、事前に目標の位置姿勢でロボットが対象物を把持しているシーンがカメラで撮像される。これにより得られた画像が目標画像である。ビジュアルサーボでは、目標画像と現在画像からロボットへの制御入力が算出される。制御入力の計算手法としては、画像ベース法が知られている。画像ベース法では、目標画像の特徴量に対する現在画像の特徴量の偏差に基づいて制御入力が決定される（例えば、非特許文献１参照）。

橋本、"ビジュアルサーボ−Ｖ−特徴ベースビジュアルサーボ"、システム／制御／情報、Ｖｏｌ．５４、Ｎｏ．５、ｐｐ２０６−２１３、２０１０

ところで、画像ベースのビジュアルサーボでは、画像ヤコビアンの疑似逆行列と現在画像と目標画像との差である画像偏差に基づいて、ロボットの制御入力を求める。画像ヤコビアンは、ロボットの関節の軸の角速度とカメラで撮像された対象物の画像偏差との関係を表す行列である。画像ヤコビアンは、ロボットに取り付けられたハンドでの対象物の把持姿勢に応じて変化する。このため、目標とする対象物の位置姿勢が単一であっても、対象物が取り得る把持姿勢の候補数だけ画像ヤコビアンを用意する必要がある。

しかしながら、実際の画像から画像ヤコビアンを計算する場合、把持姿勢の候補数分のデータを取得する必要があり、この手法によって画像ヤコビアンを用意するのは時間とコストの観点から現実的ではない。

本開示は、特定の把持姿勢でハンドに把持された対象物に関する情報から特定の把持姿勢とは異なる把持姿勢に対応する画像ヤコビアンを推定可能なロボット制御装置を提供することを目的とする。

請求項１に記載の発明は、
ロボット（１）の先端に取り付けられたハンド（１１）に把持されている対象物（５）をカメラ（３）で撮像することによって得られる対象物画像および対象物が目標位置姿勢にある場合にカメラで撮像されると想定される目標画像に基づいて、対象物を目標位置姿勢に操作するロボット制御装置であって、
目標画像を記憶媒体（４１）から読み出すとともに、対象物が目標位置姿勢にある場合のロボットの関節角を目標関節角として記憶媒体から読み出す読出部（４２）と、
特定の把持姿勢となる際のロボット座標系での対象物の位置姿勢および特定の把持姿勢とは異なる把持姿勢に基づいて、対象物が異なる把持姿勢となる際のロボット座標系でのハンドの位置姿勢を求め、求めたハンドの位置姿勢から逆運動学により関節角を求める演算部（４４）と、
特定の把持姿勢となる際にカメラで撮像された対象物画像と目標画像の差分である画像偏差および演算部で求めた関節角と目標関節角との差分である関節角偏差に基づいて画像ヤコビアンを推定する推定部（４５）と、
を備える。

これによると、特定の把持姿勢である場合のロボット座標系での対象物の位置姿勢を取得すれば、異なる把持姿勢である場合のロボット座標系でのハンドの位置姿勢から逆運動学に基づいて異なる把持姿勢でのロボットの関節角を求めることができる。これにより、把持姿勢毎のロボットの関節角を取得することなく、目標関節角との差分である関節角偏差を得ることができる。

加えて、異なる把持姿勢となる際に撮像された対象物画像を特定の把持姿勢となる際に撮像された対象物画像で代用すれば、把持姿勢毎の対象物画像を取得することなく、目標画像との差分である画像偏差を得ることができる。

したがって、特定の把持姿勢でハンドに把持された対象物の位置姿勢および対象物画像等の各種情報から特定の把持姿勢とは異なる把持姿勢に対応する画像ヤコビアンを推定することができる。

なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。

実施形態に係るロボット制御装置を含むビジュアルサーボシステムの概略構成図である。 ビジュアルサーボシステムの作動ブロック図である。 ロボットの制御入力の計算手法を説明するための説明図である。 画像ヤコビアンを説明するための説明図である。 画像ヤコビアンの疑似逆行列を説明するための説明図である。 ロボットのハンドでの対象物の把持姿勢を説明するための説明図である。 把持姿勢からロボットの関節角の計算手法を説明するための説明図である。 ロボットのハンドで把持された対象物をカメラで撮像した画像を説明するための説明図である。 関心領域を説明するための説明図である。 撮像画像に映る対象物の大きさを説明するための説明図である。 関心領域のｘ座標を説明するための説明図である。 関心領域のｙ座標を説明するための説明図である。

本開示の一実施形態について、図１〜図１２に基づいて説明する。本実施形態では、本開示のロボット制御装置４をビジュアルサーボシステムに適用した例について説明する。このビジュアルサーボシステムは、画像ベースのビジュアルサーボによりロボット１を制御するシステムである。ビジュアルサーボシステムは、図１に示すように、ロボット１と、カメラ３と、ロボット制御装置４と、を備える。

ロボット１は、生産工場等に配置される産業用ロボットアームであり、部品等の対象物５を把持し、予め定めた目標の位置および姿勢が実現するように対象物５を操作する。ロボット１は、広範囲の可動域を確保するために天吊り式に設置されている。

ロボット１は、対象物５を把持する汎用のハンド１１、複数のリンク１２、１３、１４および複数の関節１５、１６、１７を有する。ハンド１１は、ロボット１の先端に取り付けられている。ハンド１１は、図示しないが、対象物５を把持および開放することが可能な把持機構を有する。リンク１２は、一端が関節１５を介してハンド１１に接続され、他端が関節１６を介してリンク１３の一端に接続されている。リンク１３の他端は関節１７を介してリンク１４の他端に接続されている。リンク１４の一端は天井部分に対して接続されている。関節１５、１６、１７それぞれは、サーボモータ等で構成されている。関節１５は、ハンド１１のリンク１２に対する位置および姿勢を変化させる。関節１６はリンク１２のリンク１３に対する位置および姿勢を変化させる。関節１７はリンク１３のリンク１４に対する位置および姿勢を変化させる。なお、ロボット１は、上述のものに限らず、ハンドと、複数のリンクと、ハンドおよびリンク間の相対的な位置および姿勢を変化させる１つ以上の関節を有するものであれば、どのようなものでもよい。例えば、ロボット１は５軸制御のロボットアームで構成されていてもよい。

カメラ３は、ロボット１が対象物５を把持して操作している際に、目標の位置の近傍にある対象物５およびその近傍を撮像し、対象物５を撮像した画像をロボット制御装置４に出力する。カメラ３は、ロボット１とは異なる位置に固定されている。カメラ３は光学中心および光軸が固定されている。

ロボット制御装置４は、カメラ３から取得した画像に基づいて、対象物５が目標の位置および姿勢を実現するよう、ロボット１を制御する装置である。ロボット制御装置４は、カメラ３から取得した画像を処理する画像処理装置としての機能も果たしている。

ロボット制御装置４は、プロセッサおよびメモリ４１を有する装置（例えば、マイクロコンピュータ）である。ロボット制御装置４は、メモリ４１からプログラムを読み出し、当該プログラムに従って処理を実行することで、カメラ３から取得した画像の処理、ロボット１の制御等を行う。メモリ４１は、ＲＡＭ、ＲＯＭ、フラッシュメモリ等を含む記憶媒体である。

ロボット制御装置４のメモリ４１には、目標画像および目標関節角が記憶されている。目標画像は、対象物５が目標の位置および姿勢にある場合にカメラ３で撮像されると想定される画像である。目標画像は、事前に対象物５を目標の位置および姿勢とした際の撮像画像に基づいて得ることができる。また、目標関節角は、事前に対象物５を目標の位置および姿勢とした際のロボット１の関節角である。

ロボット制御装置４は、メモリ４１から目標画像および目標関節角を読み出すことが可能になっている。本実施形態では、ロボット制御装置４におけるメモリ４１からデータ等を読み出すソフトウェアおよびハードウェアが読出部４２に対応している。

ロボット制御装置４は、対象物画像と目標画像の輝度値の差に基づいてロボット１への制御入力を計算してロボット１に入力する。対象物画像は、ハンド１１に把持されている対象物５をカメラ３で撮像することによって得られる画像である。本実施形態では、ロボット制御装置４におけるロボット１への制御入力を計算してロボット１に入力するソフトウェアおよびハードウェアが入力部４３に対応している。

具体的には、ロボット制御装置４は、図２および図３の数式に示すように、対象物画像Ｉ（ｔ）と目標画像Ｉ^＊の輝度値の差に、画像ヤコビアンＪの疑似逆行列J^＋を作用させ、更に、ゲインλを乗算する。画像ヤコビアンについては後述する。

画像ヤコビアンＪの疑似逆行列J^＋の作用およびゲインλの乗算により得られた値が、ロボット１への制御入力となる。この制御入力は、各関節１５、１６、１７それぞれの関節角θの時間微分（すなわち、角速度）である。

ロボット１は、ロボット制御装置４から入力された関節角θの時間微分に従って、関節１５、１６、１７を作動させる。これにより、ロボット１は、対象物５を目標の位置および姿勢に近づけるように変位させる。このようなロボット１の制御が周期的に繰り返されることで、対象物５が目標の位置および姿勢に充分に近づくと、位置決めが完了する。

次に、画像ヤコビアンＪについて図４等を参照して説明する。画像ヤコビアンＪは、ロボット１の関節角θとカメラ３で撮像された対象物５の画像Ｉ_ｏｂとの関係を表すものである。画像ヤコビアンＪは、図４に示す数式で定義される。図４の数式では、ハンド１１の位置姿勢をｐ_Ａとし、対象物５の位置姿勢をｐ_ｏｂとしている。

画像ヤコビアンＪを求める代表的な方法は、解析的に画像ヤコビアンを導出する方法であるが、この方法は、画像から安定的に特徴点を抽出できる場合または対象物５の反射モデルを構築できる場合にだけ有効である。

このことを鑑み、本実施形態では、画像中に表れる注目物体のエッジや中心座標ではなく、画像の各画素の輝度値そのものを画像の特徴量として用いる方法を用いて、画像ヤコビアンを実験的に計算する。

［画像ヤコビアンの計算］
画像ヤコビアンＪの計算では、例えば、事前に、ハンド１１と対象物５との三次元モデルによって把持姿勢の候補群Ｇ_Ａを計算し、当該候補群Ｇ_Ａから特定の把持姿勢Ｇ_ｒｅｐを代表把持姿勢として選択する（すなわち、Ｇ_ｒｅｐ∈Ｇ_Ａ）。

続いて、対象物５を特定の把持姿勢Ｇ_ｒｅｐで目標の位置姿勢^ｒＴ_ｏｂ＊に位置決めしたときの対象物画像を目標画像Ｉ（^ｒＴ_ｏｂ＊）としてメモリ４１に記憶するとともに、そのときの関節角を目標関節角θ^＊ _ｒｅｐとしてメモリ４１に記憶する。但し、目標の位置姿勢^ｒＴ_ｏｂ＊は、ロボット座標系での対象物５の位置姿勢である。なお、ロボット座標系は、ロボット１の根元を基準とする座標系である。

また、対象物５を目標の位置姿勢^ｒＴ_ｏｂ＊からΔ^ｒＴ_ｏｂ，ｉ（ｉ＝１、２、…、Ｍ）ずらしたときの画像Ｉ（^ｒＴ_ｏｂ，ｉ）と、そのときの関節角θ_{ｒｅｐ，ｉ}をメモリ４１に記憶する。こうしたデータを取得すれば、特定の把持姿勢Ｇ_ｒｅｐに対する画像ヤコビアンの疑似逆行列Ｊ^＋（Ｇ_ｒｅｐ、^ｒＴ_ｏｂ＊）は、図５（ａ）に示す数式にしたがって計算することができる。但し、図５（ａ）に示すΔΘ（Ｇ_ｒｅｐ、^ｒＴ_ｏｂ＊）は、図５（ｂ）および図５（ｃ）に示すように、目標関節角θ^＊ _ｒｅｐと目標と異なる関節角θ_{ｒｅｐ，ｉ}との差分である関節角偏差Δθ_{ｒｅｐ，ｉ}の集合である。また、図５（ａ）に示すΔＩ（^ｒＴ_ｏｂ＊）は、図５（ｄ）および図５（ｅ）に示すように、目標画像Ｉ（^ｒＴ_ｏｂ＊）と対象物画像Ｉ（^ｒＴ_ｏｂ，ｉ）の輝度値の差分である画像偏差ΔＩ_ｉとの集合である。

ここで、図４に示す「∂ｐ_ｏｂ／∂ｐ_Ａ」は、ハンド１１による対象物５の把持姿勢に依存する項である。図４に示す数式によれば、画像ヤコビアンＪは対象物５の把持姿勢に依存することが判る。すなわち、画像ヤコビアンＪは、ロボット１に取り付けられたハンド１１での対象物５の把持姿勢に応じて変化する。

図６に示すように、目標とする対象物５の位置姿勢が単一であっても、対象物５が取り得る把持姿勢には複数の候補が存在する。この場合、対象物５が取り得る把持姿勢の候補数だけ画像ヤコビアンＪを用意する必要がある。対象物５が取り得る把持姿勢の候補数だけ画像ヤコビアンＪを計算するためには、把持姿勢の候補数分のデータを取得する必要があり、時間とコストの観点から現実的でない。

これに対して、ロボット制御装置４は、追加のデータ取得を必要とせず、画像ヤコビアンＪを推定する。以下、追加のデータ取得を必要としない画像ヤコビアンＪの推定方法について説明する。

［画像ヤコビアンの推定］
画像ヤコビアンＪを推定するためには、図５（ｃ）に示す式で与えられる関節角偏差Δθ_{ｒｅｐ，ｉ}、および図５（ｅ）に示す式で与えられる画像偏差ΔＩ_ｉを求めればよい。

ここで、目標の位置姿勢^ｒＴ_ｏｂ＊にある対象物５を特定の把持姿勢Ｇ_ｒｅｐとは異なる把持姿勢Ｇ_Ｘ（Ｇ_Ｘ∈Ｇ_Ａ）で把持した際のカメラ３での撮像画像は、対象物５を特定の把持姿勢Ｇ_ｒｅｐで把持した際のカメラ３での撮像画像と対象物５示す部分が同じである。このため、異なる把持姿勢となる際にカメラ３で撮像された対象物画像は、特定の把持姿勢となる際にカメラ３で撮像された対象物画像で代用することが可能である。

次に、目標の位置姿勢^ｒＴ_ｏｂ＊にある対象物５を特定の把持姿勢Ｇ_ｒｅｐとは異なる把持姿勢Ｇ_Ｘで把持した際のロボット１の関節角θ^＊ _Ｘの計算手法について説明する。

目標の位置姿勢^ｒＴ_ｏｂ＊にある対象物５を特定の把持姿勢Ｇ_ｒｅｐで把持した際、ロボット座標系でのハンド１１の位置姿勢^ｒＴ_Ａ（Ｇ_ｒｅｐ、^ｒＴ_ｏｂ＊）は、順運動学を使って図７（ａ）に示す式で計算することができる。但し、図７（ａ）の「ｆ」はロボット１の関節角θからハンド１１の位置姿勢^ｒＴ_Ａ（Ｇ_ｒｅｐ、^ｒＴ_ｏｂ＊）を計算する関数である。

また、目標の位置姿勢^ｒＴ_ｏｂ＊は、ロボット座標系でのハンド１１の位置姿勢^ｒＴ_Ａ（Ｇ_ｒｅｐ、^ｒＴ_ｏｂ＊）、およびハンド１１の根元を基準とする手先座標系での対象物５の位置姿勢^ＡＴ_ｏｂ＊に基づいて図７（ｂ）に示す式により求めることができる。

ここで、手先座標系での対象物５の位置姿勢^ＡＴ_ｏｂ＊は、特定の把持姿勢Ｇ_ｒｅｐであっても、特定の把持姿勢Ｇ_ｒｅｐとは異なる姿勢Ｇ_Ｘであっても同様である。

このため、特定の把持姿勢Ｇ_ｒｅｐとは異なる姿勢Ｇ_Ｘで目標の位置姿勢^ｒＴ_ｏｂ＊にある対象物５を把持したときのロボット座標系でのハンド１１の位置姿勢^ｒＴ_Ａ（Ｇ_Ｘ、^ｒＴ_ｏｂ＊）は、図７（ｃ）に示す式により求めることができる。すなわち、異なる把持姿勢でのハンド１１の位置姿勢^ｒＴ_Ａ（Ｇ_Ｘ、^ｒＴ_ｏｂ＊）は、特定の把持姿勢Ｇ_ｒｅｐでの対象物５の位置姿勢^ｒＴ_ｏｂ＊および異なる把持姿勢Ｇ_Ｘに基づいて求めることができる。

したがって、目標の位置姿勢^ｒＴ_ｏｂ＊にある対象物５を特定の把持姿勢Ｇ_ｒｅｐとは異なる把持姿勢Ｇ_Ｘで把持した際のロボット１の関節角θ^＊ _Ｘは、図７（ｄ）に示す数式により求めることができる。すなわち、関節角θ^＊ _Ｘは、異なる把持姿勢でのハンド１１の位置姿勢^ｒＴ_Ａ（Ｇ_Ｘ、^ｒＴ_ｏｂ＊）から逆運動学により求めることができる。なお、これらの関係は、「ｏｂ＊」を「ｏｂ，ｉ」とし、「θ^＊ _ｒｅｐ」を「θ_{ｒｅｐ，ｉ}」としても成立する。

以上より、図５（ｃ）に示す式で与えられる関節角偏差Δθ_{ｒｅｐ，ｉ}、および図５（ｅ）に示す式で与えられる画像偏差ΔＩ_ｉが求まるので、画像偏差ΔＩ_ｉおよび関節角偏差Δθ_{ｒｅｐ，ｉ}に基づいて画像ヤコビアンＪを推定することができる。

ここで、本実施形態では、ロボット制御装置４において、対象物５が異なる把持姿勢となる際のロボット座標系でのハンド１１の位置姿勢を求め、当該位置姿勢から逆運動学により関節角θ^＊ _Ｘを求めるソフトウェアおよびハードウェアが演算部４４に対応している。また、ロボット制御装置４において、特定の把持姿勢となる際に撮像された画像と目標画像の差分および演算部４４で求めた関節角θ^＊ _Ｘと目標関節角との差分に基づいて画像ヤコビアンＪを推定するソフトウェアおよびハードウェアが推定部４５に対応している。

次に、ロボット１による対象物５の移動作業の流れについて説明する。まず、対象物５の移動作業の事前準備を説明し、その後に実機での作業手順を説明する。

［事前準備］
事前準備では、まず、対象物５を特定の把持姿勢で目標の位置姿勢に位置決めし、そのときの関節角を目標関節角度としてメモリ４１に記憶する。

続いて、事前準備では、関心領域（すなわち、ＲＯＩ）の範囲を決定する。関心領域は、カメラ３で撮像された画像中の対象物５の近傍に注目して処理を行うために設定する領域である。なお、ＲＯＩは、Region of Interestの略であり、関心領域とも呼ばれる。

ここで、対象物５をカメラ３で撮像した撮像画像には、図８に示すように、ハンド１１の一部が映り込むことがある。ハンド１１の一部が画像に映り込むと、対象物５を特定の把持姿勢Ｇ_ｒｅｐで把持した際にカメラ３で撮像される撮像画像と、異なる把持姿勢Ｇ_Ｘで把持した際にカメラ３で撮像される撮像画像との差が大きくなってしまう。

そこで、事前準備では、ハンド１１に把持されている対象物５をカメラ３で撮像した撮像画像の中からハンド１１が映らないと想定される領域を関心領域に設定する。

以下、関心領域の設定手法の一例を説明する。まず、図８に示す撮像画像を入力画像として輪郭抽出を行い、抽出した各輪郭が囲む最大の面積を、画像に映り込んだ対象物５の輪郭として抽出する。なお、輪郭抽出では、例えば、「ｓｕｚｕｋｉ８５」のアルゴリズムを用いることができる。

そして、撮像画像から抽出した輪郭から、ｘ座標値が大きい座標Ｘ_ｍａｘ＝（ｘ_ｍａｘ、ｙ_０）、ｘ座標値が小さい座標Ｘ_ｍｉｎ＝（ｘ_ｍｉｎ、ｙ_０）、ｙ座標値が大きい座標Ｙ_ｍａｘ＝（ｘ_０、ｙ_ｍａｘ）、およびｙ座標値が小さい座標Ｙ_ｍｉｎ＝（ｘ_０、ｙ_ｍｉｎ）を求める。

また、撮像画像から抽出した輪郭から対象物５のｘ座標での大きさＤｘおよびｙ座標での大きさＤｙを求める。具体的には、図９および図１０の式で示すように、ｘ_ｍａｘとｘ_ｍｉｎとの差分をＤｘとし、ｙ_ｍａｘとｙ_ｍｉｎとの差分をＤｙとする。そして、ハンド１１が関心領域に入ることを避けるために、図１１に示す数式により、関心領域のｘ座標を規定するｘ´_ｍａｘおよびｘ´_ｍｉｎをｘ_ｍａｘ、ｘ_ｍｉｎ、およびＤｘで定義する。さらに、図１２に示す数式により、関心領域のｙ座標を規定するｙ´_ｍａｘおよびｙ´_ｍｉｎをｙ_ｍａｘ、ｙ_ｍｉｎ、およびＤｘで定義する。これにより、関心領域は、図９に示すように、撮像画像における対象物５が入り、且つ、ハンド１１が入らない範囲に設定される。

続いて、事前準備では、対象物５を特定の把持姿勢Ｇ_ｒｅｐで目標の位置姿勢に位置決めしたときの対象物画像をメモリ４１に記憶する。この対象物画像は、ハンド１１に把持されている対象物５をカメラ３で撮像した撮像画像の中からハンド１１が映らないと想定される関心領域を抽出して得られる画像である。

そして、事前準備では、上述の［画像ヤコビアンの計算］で説明した方法により、特定の把持姿勢に対する画像ヤコビアンの疑似逆行列を計算する。また、事前準備では、上述の［画像ヤコビアンの推定］で説明した方法により、特定の把持姿勢とは異なる把持姿勢に対する画像ヤコビアンの疑似逆行列を計算する。

［実機手順］
実機では、ロボット制御装置４は、カメラ３で撮像して得られた対象物画像と目標画像の輝度値の差に基づいて、ロボット１に制御入力を算出する。これにより、ロボット１は、ロボット制御装置４から入力された制御入力に従って、関節１５、１６、１７を作動させ、対象物５を目標の位置および姿勢に近づけるように変位させる。この際の対象物画像は、ハンド１１に把持されている対象物５をカメラ３で撮像した撮像画像の中からハンド１１が映らないと想定される関心領域を抽出して得られる画像である。

このようなロボット１の制御が周期的に繰り返されることで、対象物５が目標の位置および姿勢に充分に近づくと、位置決めが完了する。その後、ハンド１１を開き、対象物５の移動作業が完了する。

以上説明したロボット制御装置４は、特定の把持姿勢となる際のロボット座標系での対象物５の位置姿勢および特定の把持姿勢とは異なる把持姿勢に基づいて、対象物５が異なる把持姿勢となる際のロボット座標系でのハンド１１の位置姿勢を求める。ロボット制御装置４は、ハンド１１の位置姿勢から逆運動学によりロボット１の関節角を求める。そして、ロボット制御装置４は、特定の把持姿勢となる際のカメラ３で撮像された対象物画像と目標画像の差分である画像偏差および特定の把持姿勢とは異なる把持姿勢での関節角と目標関節角との差分である関節角偏差に基づいて画像ヤコビアンを推定する。

これによると、特定の把持姿勢である場合のロボット座標系での対象物５の位置姿勢を取得すれば、異なる把持姿勢である場合のロボット座標系でのハンド１１の位置姿勢から逆運動学に基づいて異なる把持姿勢でのロボット１の関節角を求めることができる。これにより、把持姿勢毎のロボット１の関節角を取得することなく、目標関節角との差分である関節角偏差を得ることができる。

加えて、異なる把持姿勢となる際に撮像された対象物画像を特定の把持姿勢となる際に撮像された対象物画像で代用すれば、把持姿勢毎の対象物画像を取得することなく、目標画像との差分である画像偏差を得ることができる。

したがって、特定の把持姿勢でハンド１１に把持された対象物５の位置姿勢および対象物画像等の各種情報から特定の把持姿勢とは異なる把持姿勢に対応する画像ヤコビアンを推定することができる。

また、対象物画像は、ハンド１１に把持されている対象物５をカメラ３で撮像した撮像画像の中からハンド１１が映らないと想定される関心領域を抽出して得られる画像である。これによると、対象物画像にハンド１１が映らないようなっているので、対象物５が特定の把持姿勢となる際の対象物画像および異なる把持姿勢となる際の対象物画像とが実質的に同じ画像となる。このため、対象物画像にハンド１１の一部が映り込んでいる場合に比べて、画像ヤコビアンの推定精度を向上させることができる。

さらに、ロボット制御装置４は、対象物画像と目標画像の輝度値の差分を画像偏差とし、当該画像偏差および画像ヤコビアンに基づいてロボット１への制御入力を計算してロボット１に入力する。このように、対象物画像と目標画像の輝度値の差分とすれば、画像の輝度値自体を特徴量としてロボット１への制御入力を計算するので、例えば、画像から特徴点を抽出することが困難な場合でも、対象物５を目標位置姿勢に操作することができる。

（他の実施形態）
以上、本開示の代表的な実施形態について説明したが、本開示は、上述の実施形態に限定されることなく、例えば、以下のように種々変形可能である。

上述の実施形態では、関心領域（すなわち、ＲＯＩ）を設定して画像ヤコビアンの推定等を行うものを例示したが、これに限らず、関心領域を設定することなく画像ヤコビアンの推定等を行うことも可能である。また、上述の関心領域は、例示したもの以外の手法によって設定されてもよい。

上述の実施形態では、対象物画像と目標画像の輝度値の差分を画像偏差とし、当該画像偏差および画像ヤコビアンに基づいてロボット１への制御入力を計算するものを例示したが、画像偏差は、これに限定されない。ロボット制御装置４は、対象物画像と目標画像の輝度値以外の特徴量の差分を画像偏差としてロボット１への制御入力を計算するようになっていてもよい。

上述の実施形態では、事前準備および実機手順の詳細を説明したが、事前準備および実機手順は、上述のものに限らず、上述のものに対して内容や順序が異なるものであってもよい。

上述の実施形態では、ロボット１として産業用ロボットアームを例示したが、ロボット１はこれに限定されない。ロボット１は、例えば、介護支援用のロボットアームで構成されていてもよい。また、ロボット１は、天吊り式に限らず、例えば、床置き式や側壁置き式に設置されていてもよい。

上述の実施形態では、ビジュアルサーボシステムを対象物５の移動作業をロボット１で行うシステムに適用した例について説明したが、ビジュアルサーボシステムの適用対象は対象物５の移動作業を行うものに限定されない。ビジュアルサーボシステムは、対象物５の移動作業以外の他の作業をロボット１で行うシステムにも広く適用可能である。

上述の実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

上述の実施形態において、実施形態の構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されない。

上述の実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に特定の形状、位置関係等に限定される場合等を除き、その形状、位置関係等に限定されない。

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。本開示に記載の制御部及びその手法は一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせで構成された一つ以上の専用コンピュータで実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

１ ロボット
３ カメラ
４ ロボット制御装置
４１ メモリ（記憶媒体）
４２ 読出部
４４ 演算部
４５ 推定部
５ 対象物

Claims (3)

1. ロボット（１）の先端に取り付けられたハンド（１１）に把持されている対象物（５）をカメラ（３）で撮像することによって得られる対象物画像および前記対象物が目標位置姿勢にある場合に前記カメラで撮像されると想定される目標画像に基づいて、前記対象物を前記目標位置姿勢に操作するロボット制御装置であって、
   前記目標画像を記憶媒体（４１）から読み出すとともに、前記対象物が前記目標位置姿勢にある場合の前記ロボットの関節角を目標関節角として前記記憶媒体から読み出す読出部（４２）と、
   特定の把持姿勢となる際のロボット座標系での前記対象物の位置姿勢および前記特定の把持姿勢とは異なる把持姿勢に基づいて、前記対象物が前記異なる把持姿勢となる際の前記ロボット座標系での前記ハンドの位置姿勢を求め、求めた前記ハンドの位置姿勢から逆運動学により前記関節角を求める演算部（４４）と、
   前記特定の把持姿勢となる際に前記カメラで撮像された前記対象物画像と前記目標画像の差分である画像偏差および前記演算部で求めた前記関節角と前記目標関節角との差分である関節角偏差に基づいて画像ヤコビアンを推定する推定部（４５）と、
   を備える、ロボット制御装置。
2. 前記対象物画像は、前記ハンドに把持されている前記対象物を前記カメラで撮像した撮像画像の中から前記ハンドが映らないと想定される関心領域（ＲＯＩ）を抽出して得られる画像である、請求項１に記載のロボット制御装置。
3. 前記画像偏差は、前記対象物画像と前記目標画像の輝度値の差分であり、
   前記画像偏差および前記画像ヤコビアンに基づいて前記ロボットへの制御入力を計算して前記ロボットに入力する入力部（４３）を備える、請求項１または２に記載のロボット制御装置。

Images