JP2013158851A - ヤコビ行列情報生成装置、ヤコビ行列情報生成方法、ヤコビ行列情報生成プログラム、ロボット制御装置、ロボット制御方法、ロボット制御プログラムおよびロボットシステム - Google Patents
ヤコビ行列情報生成装置、ヤコビ行列情報生成方法、ヤコビ行列情報生成プログラム、ロボット制御装置、ロボット制御方法、ロボット制御プログラムおよびロボットシステム Download PDFInfo
- Publication number
- JP2013158851A JP2013158851A JP2012020344A JP2012020344A JP2013158851A JP 2013158851 A JP2013158851 A JP 2013158851A JP 2012020344 A JP2012020344 A JP 2012020344A JP 2012020344 A JP2012020344 A JP 2012020344A JP 2013158851 A JP2013158851 A JP 2013158851A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- information
- robot
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】ヤコビ行列情報生成装置1は、物体のモデルの情報を取得するモデル取得部11と、取得された前記物体のモデルの情報について、当該モデルを設定された倍率で拡大する拡大部12と、拡大されたモデルをレンダリングして画像を生成するレンダリング部13と、生成された画像を2値化する2値化部14と、2値化された画像を平滑化する平滑化部15と、平滑化された画像をリサンプリングして、拡大部12による拡大の前のサイズと同じサイズの画像を取得するリサンプリング部16と、取得された画像について、ヤコビ行列に関する情報を算出するヤコビ行列情報算出部17と、を備える。
【選択図】図1
Description
また、近年、ビジュアルフィードバック制御により対象物を検出して追跡するロボットを電子機器の組み立てに適用することが検討されている。
CADに対する差分算出の精度を高くするためには、CADモデルの情報(CADデータ)から作成するCG(画像)が実写(画像)を精度よく再現できていることが必須である。
このような半透明部品及び金属光沢部品などについては、物体表面及び内部での反射光、透過光を正確にモデル化することが困難である。つまり、半透明部品及び金属光沢部品などについては、実写を精度よく再現したCGを作成することが困難であり、CADに対する差分算出で高精度の認識をすることができないという問題があった。
また、本発明は、前記の点に鑑みてなされたものであり、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができるロボット制御装置、ロボット制御方法、ロボット制御プログラムおよびロボットシステムを提供することを目的とする。
これにより、ヤコビ行列情報生成装置は、ヤコビ行列に関する情報を精度よく生成することができる。そして、ヤコビ行列情報生成装置により生成される精度がよいヤコビ行列に関する情報を用いることで、例えば、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。
これにより、ヤコビ行列情報生成装置は、ヤコビ行列に関する情報を精度よく生成することができる。そして、ヤコビ行列情報生成装置により生成される精度がよいヤコビ行列に関する情報を用いることで、例えば、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。
これにより、ヤコビ行列情報生成装置は、ヤコビ行列に関する情報を精度よく生成することができる。そして、ヤコビ行列情報生成装置により生成される精度がよいヤコビ行列に関する情報を用いることで、例えば、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。
これにより、ロボット制御装置は、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。
これにより、ロボット制御装置は、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。
これにより、ロボット制御装置は、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。
これにより、ロボットシステムのロボット制御装置は、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。
これにより、ヤコビ行列情報生成装置は、ヤコビ行列に関する情報を精度よく生成することができる。そして、ヤコビ行列情報生成装置により生成される精度がよいヤコビ行列に関する情報を用いることで、例えば、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。
これにより、ロボット制御装置は、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。
これにより、ロボットシステムのロボット制御装置は、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。
このビジュアルフィードバック制御において、ロボット制御装置は、例えば電子機器の部品などのような所定の物体(対象物)について、あらかじめCGを用いて生成した目標(ゴール)となる画像(テンプレート画像)と、実写を用いて生成した画像(現在における画像)との間で物体に関する差分を算出する。ロボット制御装置は、このようなテンプレート情報に基づく差分算出を用いた画像処理を行うことにより、その物体の位置および姿勢について目標からの差分を認識する。そして、ロボット制御装置は、その物体の位置および姿勢について目標からの差分を認識した結果に基づいて、ロボットを制御することにより、その物体の位置および姿勢を当該ロボットにより変化させて、目標となる画像におけるその物体の位置および姿勢に一致させるように近付ける。
本実施形態では、2枚の画像間の各画素の階調差を最小にする非線形最小化問題を解くことで、当該2枚の画像間の物体(対象物)の位置および姿勢の誤差(差分)を算出する。このような位置および姿勢の差分を効率的に求める方法としては、非線形最小化手法である最急降下法やガウス・ニュートン法やレーベンバーグ・マルカート法などを用いることができる。最急降下法やガウス・ニュートン法やレーベンバーグ・マルカート法では、ヤコビ行列の情報が用いられる。
テクスチャーが少ない物体としては、例えば、樹脂製のコネクターなどのように半透明の物体や、金属プレートなどのように金属光沢を持つ物体がある。
また、本実施形態では、テクスチャーが少ない物体の他の例として、照明条件が変化する環境に設置された物体などのように、テクスチャーを物体認識に利用することができない場合も含む。
このようにテクスチャーが少ない物体では、物体の表面において安定して認識することができる特徴点が少ないため、物体の位置および姿勢を一意に決定することが困難である。
本発明の第1実施形態について図面を参照して詳細に説明する。
図1は、本実施形態に係るヤコビ行列情報生成装置1の構成例を示す概略ブロック図である。
本実施形態に係るヤコビ行列情報生成装置1は、モデル取得部11と、拡大部12と、レンダリング部13と、2値化部14と、平滑化部15と、リサンプリング部16と、ヤコビ行列情報算出部17と、を備える。
ここで、図2(D)および図2(E)については、ロボット制御装置において行われる処理の説明において、後述する。
図2(A)、図2(B)、図2(C)を参照して、本実施形態に係るヤコビ行列情報生成装置1において行われる処理について説明する。
本実施形態では、モデル取得部11は、所定の物体(対象物)が目標(ゴール)となる位置および姿勢にある状態における当該物体の画像を生成することができる当該物体のモデルの情報を取得する。
一例として、モデル取得部11は、このようなモデルの情報として、所定の物体(対象物)を撮影した画像に基づいて、当該物体のモデルの情報(モデル情報)を生成して取得する。
他の一例として、モデル取得部11は、このようなモデルの情報として、ユーザー(人)または任意の装置によりあらかじめ用意された物体のモデルの情報(モデル情報)を取得する。
本実施形態では、このCADモデル101から生成される画像は、多値(グレースケール)の階調を有する画像であり、例えば、256階調(0値〜255値)を有する画像である。
本実施形態では、拡大部12は、モデル取得部11により取得されるCADモデル101をm(mは、1より大きい値)倍に拡大する。
このようなCADモデル101に対するm(本実施形態では、m=4)倍の拡大は、例えば、カメラをm(本実施形態では、m=4)倍ズームした場合と同様な拡大となる。
なお、この倍率mは、例えば、あらかじめ設定されてもよく、または、ユーザーによる指示入力などに応じて可変に設定されてもよい。
ここで、レンダリングは、データとして与えられた情報(本実施形態では、CADモデル101)を、計算によって画像化する処理である。 本実施形態では、レンダリング部13は、例えば、拡大前のCADモデル101の重心位置と、拡大後のCADモデル101の重心位置とが一致するように、当該拡大後のCADモデル101をレンダリングする。
これにより、レンダリング部13は、拡大したCADモデル101の画像を取得する。
本実施形態では、2値化部14は、レンダリング部13により取得された画像の各画素について、その階調値(本実施形態では、輝度値)があらかじめ定められた閾値以上であると判定した場合には1値(本実施形態では、白)にする一方、その階調値(本実施形態では、輝度値)が当該閾値未満であると判定した場合には0値(本実施形態では、黒)にすることにより、2値化した画像を取得する。
なお、この閾値としては、任意の値が用いられてもよい。
そこで、本実施形態では、画像に2値化処理を施し、物体の表面の情報を使わずに、物体の外形の情報を用いて物体の差分の認識を行う。つまり、テクスチャーが少ない物体については、表面の輝度情報を実写とCGとで一致させることは困難であるため、2値化処理を行って、外形同士の比較を行う。
ここで、平滑化の手法としては、任意の手法が用いられてもよく、例えば、ガウス分布を使用したガウシアンフィルター処理、または、バイリニア補間処理などを用いることができる。
本実施形態では、平滑化部15は、2値化した画像に対して平滑化の処理を行うことにより、多値(グレースケール)の階調を有する画像を取得し、例えば、256階調(0値〜255値)を有する画像を取得する。
具体的には、リサンプリング部16は、リサンプリングの対象となるm倍のCADモデル101の画像について、リサンプリングの処理として、m個の画素ごとに1個の画素(その画素値)をそのまま取り出す処理を行う。
本実施形態では、リサンプリングにおいて、情報群から等間隔に情報を取り出す場合を示すが、必ずしも等間隔に情報を取り出さなくてもよく、他の取り出し方法が用いられてもよい。
ここで、ヤコビ行列情報としては、ヤコビ行列に関する任意の情報が用いられてもよく、例えば、ヤコビ行列そのものの情報や、あるいは、ヤコビ行列を算出する元となる情報などのうちの1つ以上の情報を用いることができる。
なお、ヤコビ行列情報算出部17により算出すべきヤコビ行列情報(どのような情報を算出するか)は、例えば、あらかじめ設定されてもよく、または、ユーザーによる指示入力などに応じて可変に設定されてもよい。
この場合、例えば、2値化画像を用いてヤコビ行列情報を生成すると、正確なヤコビ行列情報が得られない傾向がある。そこで、本実施形態では、2値化画像に対して平滑化およびリサンプリングを行ってからヤコビ行列情報を生成する。
そこで、本実施形態では、CADモデルを画像にしたCGを用いてヤコビ行列情報を算出している。また、CGは、汎用性があり、実写と比べて実用上で便利な場合も多い。
ここでは、ヤコビ行列情報生成装置1のモデル取得部11からリサンプリング部16までで行われる処理により、対象物の外形が多値で表現された画像が得られることについて詳しく説明する。
一方、本実施形態との比較を行う一例(第1比較例)では、図3(A)、図3(E)の順で処理を行う。また、本実施形態との比較を行う他の一例(第2比較例)では、図3(D)、図3(E)の順で処理を行う。
また、図3(A)〜図3(E)では、2値化した画素値(本実施形態では、輝度値)を0、1で示す。
図3(A)は、モデル取得部11により取得されるCADモデル101そのもの(拡大していないもの)から生成される画像について、そのCADモデル101の物体(対象物)の外形の境界の付近の様子を示す。
また、図3(A)には、前記した画像を2値化した場合における画素値(本実施形態では、輝度値)を0、1で示してある。
この例では、2値化する場合における画素位置の閾値を0.5画素とする。
この場合、CADモデル101を拡大する前に、前記した画像をそのまま2値化すると、図3(A)に示されるように、0.25画素分のずれは考慮されない。
このように、CADモデル101をm倍に拡大して画像を生成すると、実質的には、分解能がm倍になる。
図3(B)の例では、拡大処理前における対象物の0.25画素分のずれが、4倍の拡大処理後には1画素分のずれとみなされることになる。このため、そのときの状態(図3(B)の例の状態)における画像を2値化部14により2値化すると、図3(B)に示されるように、拡大処理前における対象物の0.25画素分のずれが考慮されることになり、2値化した際の境界が変化する。
そして、リサンプリング部16により、平滑化した結果の画素値(階調値)について、拡大前の元の画素の位置に対応する点をリサンプリング点(リサンプリング点201など)として、リサンプリング点の画素値を取得(サンプリング)することで、拡大後のCADモデル101の画像に対する縮小画像を生成する。本実施形態では、4倍の拡大後のCADモデル101の画像に対して1/4倍の縮小画像を生成することで、拡大前の元のサイズの画像を生成する。
図3(A)の例の状態における画像を2値化して、平滑化すると、図3(E)に示されるように、前記した0.25画素分のずれは考慮されない。
図3(D)は、図3(A)の例に対して、対象物の境界(対象物の位置の端)と、画素の境界とが、ずれていない場合を示す。
図3(D)の例の状態における画像を2値化して、平滑化すると、図3(E)に示されるようになる。
図3(E)の例では、サンプリング点は、サンプリング点211などとなる。
図4(A)は、平滑化前の画像301の一例を示す図である。
図4(B)は、図4(A)に示される画像301について、平滑化後の画像302の一例を示す図である。
この例では、ガウシアンフィルターによる平滑化を行う場合を示し、5×5のサイズのカーネルを使用する場合を示す。
この例では、平滑化前の画像301および平滑化後の画像302は、いずれも、横(水平)方向×縦(垂直)方向のサイズとして、640画素×480画素のサイズを有する。
図5(A)は、リサンプリング前の画像401の一例を示す図である。
図5(B)は、図5(A)に示されるリサンプリング前の画像401について、リサンプリング後の画像402の一例を示す図である。
この例では、リサンプリング前の画像401は、CADモデル101が4倍に拡大されたものの画像である。そして、リサンプリングの処理として、リサンプリング前の画像401について、4画素飛ばしで画素値を取得し、取得した画素値を集めた画像をリサンプリング後の画像402として取得する処理を行う。
この例では、リサンプリング前の画像401は、横(水平)方向×縦(垂直)方向のサイズとして、640画素×480画素のサイズを有する。また、リサンプリング後の画像402は、横(水平)方向×縦(垂直)方向のサイズとして、160画素×120画素のサイズを有する。このように、リサンプリングにより、画像の横(水平)方向と縦(垂直)方向のそれぞれのサイズが(本実施形態では、1/4倍に)縮小される。
図6(A)は、撮影された画像(実写)の一例を示す図である。図6(A)には、全体の画像501の中に物体の画像511が写っている様子を示してある。
図6(B)は、CADモデル502の一例を示す図である。図6(B)には、図6(A)に示される物体の画像511に基づいて生成されたCADモデル502を示してある。
そして、例えばOpenGL(Open Graphics Library)などを使用して、それに前記取得したカメラ内部パラメーターを設定して、前記物体のCADモデル502の画像を描画する。
また、この例では、CADモデル502の位置は、実写(実写における対応する物体の位置)との差分算出で求める。
また、この例では、CADモデル502の姿勢は、例えば30°刻みなどでSSDなどの値で評価して決定する。このSSDなどの値としては、例えば、階調値(本実施形態では、輝度値)の差の2乗和などを用いる。
この例では、リサンプリング後の画像は、横(水平)方向×縦(垂直)方向のサイズとして、160画素×120画素のサイズを有するとする。
ヤコビ行列情報算出部17は、リサンプリング後の画像について、ラスタスキャンを行って、当該画像の画素の画素値を並べたものを観測ベクトルS=[s1、s2、・・・、sn−1、sn]として生成する。
観測ベクトルS(ここでは、縦のベクトルで表したもの)は、式(1)により表される。
式(1)において、i=0〜119、j=0〜159について、I(i、j)は、(縦方向の画素位置i、横方向の画素位置j)における階調値(本実施形態では、輝度値)を表す。
このヤコビ行列は、式(2)により表される。
直交座標系として設定されるXYZ座標系において、ベクトルt=[t1、t2、t3]は位置(例えば、XYZ座標系における座標値[X、Y、Z])を表し、ベクトルr=[r1、r2、r3]は姿勢(例えば、XYZ座標系における回転量[θX、θY、θZ])を表す。
具体的には、本実施形態に係るヤコビ行列情報生成装置1は、物体(対象物)の位置および姿勢が目標(ゴール)の位置および姿勢にある状態となるように、その物体のCADモデルに対して、拡大処理、レンダリング処理、2値化処理、平滑化処理、リサンプリング処理といった処理を行うことで、その物体の外形が多値で表現された画像(リサンプリング処理後の画像)を得る。そして、本実施形態に係るヤコビ行列情報生成装置1は、この画像を用いてヤコビ行列情報を算出することで、例えば、その物体を目標の位置および姿勢から微小に動かした場合におけるヤコビ行列情報を精度よく正確に算出することができる。
これにより、本実施形態に係るヤコビ行列情報生成装置1は、例えば、テクスチャーが少ない物体についても、ヤコビ行列情報を精度よく正確に算出することができる。
このように、ビジュアルフィードバック制御によりロボットを制御する際に、例えば、テクスチャーが少ない物体の位置や姿勢の差分を精度よく正確に認識(検出)することを実現することができる。
これにより、ヤコビ行列情報生成装置1は、ヤコビ行列に関する情報を精度よく生成することができる。そして、ヤコビ行列情報生成装置1により生成される精度がよいヤコビ行列に関する情報を用いることで、例えば、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。
本発明の第2実施形態について図面を参照して詳細に説明する。
図7は、本実施形態に係るロボット制御装置1001を含むロボットシステムの構成例を示す概略ブロック図である。
本実施形態に係るロボットシステムは、ロボット制御装置1001と、ロボット1002と、有線の回線1003と、を備える。
ロボット制御装置1001とロボット1002とは、有線の回線1003を介して、互いに通信することが可能に接続される。
なお、有線の回線1003の代わりに、無線の回線が用いられてもよい。
制御部1011は、ロボット制御部1021と、テンプレート情報取得部1022と、撮影画像処理部1023と、差分算出部(画像誤差算出部)1024と、を備える。
ここで、撮影部1015は、ロボット制御装置1001と一体に備えられてもよく、または、他の構成例として、ロボット制御装置1001とは別体で備えられてもよい。
入力部1013は、例えば、ユーザーにより操作されるキーボードやマウスなどを用いて構成され、ユーザーにより操作された内容を受け付ける。
出力部1014は、例えば、情報を表示する液晶画面などを用いて構成され、ユーザーに対して各種の情報を表示出力する。
記憶部1012は、例えば、制御部1011により使用されるプログラムの情報や、各種の処理で使用される数値などの情報を記憶する。
本実施形態では、記憶部1012は、ビジュアルフィードバックにおけるテンプレート情報に基づく差分算出の処理で使用するテンプレート情報を記憶する。
本実施形態では、このテンプレート情報には、物体(対象物)の位置および姿勢が目標(ゴール)の位置および姿勢にある状態におけるその物体の画像(テンプレート画像)の情報や、このような画像(テンプレート画像)の物体(対象物)のCADモデルに関して図1に示されるヤコビ行列情報生成装置1により生成されたヤコビ行列情報が含まれる。
また、このヤコビ行列の情報として、本実施形態では、図2(C)に示されるような画像(図1に示されるヤコビ行列情報生成装置1におけるリサンプリング後の画像)に基づいて図1に示されるヤコビ行列情報生成装置1により生成されるヤコビ行列情報を用いる。
制御部1011は、例えば、入力部1013により受け付けられたユーザーによる操作の内容に応じた処理を実行する機能、各種の情報を出力部1014の画面に表示させる機能、記憶部1012に記憶された情報を読み取る機能および記憶部1012に情報を書き込む(記憶させる)機能を有する。
撮影部1015は、ロボット1002により作業(例えば、把持や移動などの作業)が行われる対象となる物体(対象物)の画像を撮影する。そして、撮影部1015は、撮影した画像のデータを撮影画像処理部1023に出力する。
撮影画像処理部1023は、撮影部1015から入力された画像(この例では、多値の階調を有する画像)のデータについて、2値化の処理を行った後に、平滑化の処理を行う。
具体的には、差分算出部1024は、テンプレート情報取得部1022により取得されたテンプレート情報における物体の位置および姿勢(テンプレート画像における物体の位置および姿勢)と撮影画像処理部1023により2値化の処理および平滑化の処理が行われた画像の情報における当該物体の位置および姿勢との差分を算出する。
ここで、差分算出部1024は、例えば、2枚の画像間の各画素の階調差を最小にする非線形最小化問題を解くことで、これら2枚の画像間における物体(対象物)の位置や姿勢の誤差(差分)を算出する機能を有する。
また、本実施形態では、この差分算出の処理では、物体(対象物)の外形について差分算出を行い、当該物体(対象物)の表面については差分算出を行わない。
本実施形態では、ロボット制御部1021により、このような判定を行う。なお、他の構成例として、差分算出部1024などにより、このような判定を行うこともできる。
また、ロボット制御部1021は、ロボット1002から送信される信号を、ケーブル1003を介して、受信することも可能である。
その後、ロボット制御部1021は、再び、以上に説明したのと同様に、撮影部1015、撮影画像処理部1023、差分算出部1024の順で処理された結果(差分算出部1024による算出の結果)を検出して、当該検出結果に応じた制御を行う。
そして、ロボット制御部1021は、このような制御を繰り返して行うことにより、物体(対象物)の実際の位置および姿勢の状態を、目標(ゴール)の位置および姿勢の状態に一致させる。これにより、物体(対象物)の実際の画像が、目標となるテンプレート情報の内容に合わせられ、つまり、当該物体(対象物)の実際の位置および姿勢が当該目標の位置および姿勢に合わせられる。
マニピュレーターは、例えば、ロボットアームとして機能し、物体(対象物)を把持して、当該物体を移動させる(位置や姿勢を変化させる)ことが可能である。
また、ロボット1002は、自己の状態などを示す信号を、有線の回線1003を介して、ロボット制御装置1001の制御部1011のロボット制御部1021に送信する機能を有してもよい。
ここで、図2(A)、図2(B)、図2(C)については、前述した。
図2(D)および図2(E)を参照して、本実施形態に係るロボット制御装置1011において行われる処理を説明する。
図2(D)は、全体の画像151の中に、物体(対象物)の画像161が写っている様子を示す。
撮影画像処理部1023は、この画像(全体の画像)151について、2値化の処理を行い、その後、平滑化の処理を行う。
図2(E)は、全体の画像152の中に、物体(対象物)の画像162が写っている様子を示す。
差分算出部1024は、図2(C)に示される画像(全体の画像)103をテンプレート画像として、図2(E)に示される画像(全体の画像)152について、そこに写っている物体(対象物)の画像162に関して差分算出の処理を行う。この際に、差分算出部1024は、図2(C)に示される画像103に関して得られた物体(対象物)のヤコビ行列情報を用いる。
このように、本実施形態に係るロボットシステムにおけるロボット制御装置1001は、ビジュアルフィードバック制御によりロボット1002を制御する際に、例えば、テクスチャーが少ない物体の位置や姿勢の差分を精度よく正確に認識(検出)することを実現することができる。
これにより、ロボット制御装置1001は、ビジュアルフィードバック制御によりロボット1002を制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。
本発明の第3実施形態について図面を参照して詳細に説明する。
図8は、本実施形態に係る双腕のロボットシステムの外観例を示す図である。
図8は、本実施形態に係るロボットシステムをその前方から見た外観例を示している。このため、図8における右側が本実施形態に係るロボットシステムの左側に相当し、図8における左側が本実施形態に係るロボットシステムの右側に相当する。
各腕を構成するマニピュレーター2011、2012は、それぞれ、例えば、3軸ばかりでなく、7軸などのように、任意の軸を有するものであってもよい。
そして、本実施形態に係るロボットシステムは、人力により車輪2021、2022を回転させて、移動させられることが可能である。
このロボット制御装置2001は、例えば、図7に示されるロボット制御装置1001と同様な機能を有しており、左腕のマニピュレーター2011と右腕のマニピュレーター2012を制御する。
ここで、このロボット制御装置2001は、例えば、左腕のマニピュレーター2011と右腕のマニピュレーター2012とを同時に関連付けて制御してもよく、または、左腕のマニピュレーター2011と右腕のマニピュレーター2012とをそれぞれ別個に制御してもよい。
なお、本実施形態に係るロボットシステムにおける撮影部2031は、図8に示される場所以外に、ロボットシステムにおける任意の場所に備えられてもよい。
また、他の構成例として、この撮影部2031は、図8に示されるロボットシステムとは別に、撮影の対象となる物体(対象物)の付近などに固定的に設置されてもよく、この場合、この撮影部2031とロボットシステムのロボット制御装置2001とが有線の回線または無線の回線により画像のデータなどを通信する。
ここで、本実施形態に係るロボットシステムが備える2つのマニピュレーター2011、2012について、例えば、いずれか一方のみのマニピュレーター(マニピュレーター2011またはマニピュレーター2012のうちの1つのみ)が図7に示されるロボット1002として用いられてもよく、または、これら両方のマニピュレーター2011、2012がそれぞれ別々に図7に示されるロボット1002として用いられてもよく、または、これら両方のマニピュレーター2011、2012を組み合わせたものが一体として図7に示されるロボット1002として用いられてもよい。
なお、ロボット制御装置2001に備えられるロボット制御部(例えば、図7に示されるロボット制御部1021に対応する処理部)と各マニピュレーター2011、2012とは、例えば、有線の回線または無線の回線を介して、制御信号などを通信することが可能に接続される。
具体例として、図7に示されるロボット制御装置1001に備えられる入力部1013と出力部1014の機能と同様な機能を、図8に示されるロボットシステムとは別体のコントローラーに備え、ロボット制御装置2001と当該コントローラーとに互いに無線により通信する機能を備えることで、図7に示されるロボット制御装置1001に備えられる入力部1013と出力部1014の機能と同様な機能をリモートのコントローラーで実現することが可能である。
ここで、ロボットによる作業の対象となるものとしては、様々なものが用いられてもよく、例えば、ギア(対象物となる物品)を組み付けるギア装置、D状の部品(対象物となる物品)を組み付けるD部組み付け装置に適用することができる。また、例えば、ラックアンドピニオン、チェーン、ベルトなどに適用することもできる。
また、ロボットによる作業の対象となるものとしては、例えば、平面での位置合わせが必要な部品の組み付けばかりでなく、空間での位置合わせが必要な部品の組み付けに適用することも可能である。例えば、ウォームギア、傘歯車などに適用することができる。
また、ロボットによる作業としては、ギア装置あるいはD部組み付け装置などのような装置の組み立て作業ばかりでなく、例えば、部品同士の位置および姿勢を合わせることが必要となる作業を行わせる装置などに適用することも可能である。
具体的には、ロボットとしては、例えば、様々なスカラロボットが用いられてもよく、または、様々な垂直多関節ロボットが用いられてもよい。
また、例えば、片腕ロボット(または、ロボットシステム)や双腕ロボット(または、ロボットシステム)ばかりでなく、3本以上の腕を持つロボット(または、ロボットシステム)が用いられてもよい。また、ロボット(または、ロボットシステム)の移動を可能にする部分(移動部)としては、例えば、車輪を用いるロボット(または、ロボットシステム)ばかりでなく、歩行を用いるロボット(または、ロボットシステム)などが用いられてもよい。
また、図1に示されるヤコビ行列情報生成装置1により生成されるヤコビ行列に関する情報(ヤコビ行列情報)は、例えば、図7に示されるロボット制御装置1001により行われるロボットの制御ばかりでなく、様々な用途に適用されてもよい。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
Claims (7)
- 物体のモデルの情報を取得するモデル取得部と、
前記モデル取得部により取得された前記物体のモデルの情報について、当該モデルを設定された倍率で拡大する拡大部と、
前記拡大部により拡大されたモデルをレンダリングして画像を生成するレンダリング部と、
前記レンダリング部により生成された画像を2値化する2値化部と、
前記2値化部により2値化された画像を平滑化する平滑化部と、
前記平滑化部により平滑化された画像をリサンプリングして、前記拡大部による拡大の前のサイズと同じサイズの画像を取得するリサンプリング部と、
前記リサンプリング部により取得された画像について、ヤコビ行列に関する情報を算出するヤコビ行列情報算出部と、
を備えることを特徴とするヤコビ行列情報生成装置。 - モデル取得部が、物体のモデルの情報を取得するステップと、
拡大部が、前記モデル取得部により取得された前記物体のモデルの情報について、当該モデルを設定された倍率で拡大するステップと、
レンダリング部が、前記拡大部により拡大されたモデルをレンダリングして画像を生成するステップと、
2値化部が、前記レンダリング部により生成された画像を2値化するステップと、
平滑化部が、前記2値化部により2値化された画像を平滑化するステップと、
リサンプリング部が、前記平滑化部により平滑化された画像をリサンプリングして、前記拡大部による拡大の前のサイズと同じサイズの画像を取得するステップと、
ヤコビ行列情報算出部が、前記リサンプリング部により取得された画像について、ヤコビ行列に関する情報を算出するステップと、
を有することを特徴とするヤコビ行列情報生成装置におけるヤコビ行列情報生成方法。 - モデル取得部が、物体のモデルの情報を取得する手順と、
拡大部が、前記モデル取得部により取得された前記物体のモデルの情報について、当該モデルを設定された倍率で拡大する手順と、
レンダリング部が、前記拡大部により拡大されたモデルをレンダリングして画像を生成する手順と、
2値化部が、前記レンダリング部により生成された画像を2値化する手順と、
平滑化部が、前記2値化部により2値化された画像を平滑化する手順と、
リサンプリング部が、前記平滑化部により平滑化された画像をリサンプリングして、前記拡大部による拡大の前のサイズと同じサイズの画像を取得する手順と、
ヤコビ行列情報算出部が、前記リサンプリング部により取得された画像について、ヤコビ行列に関する情報を算出する手順と、
をコンピューターに実行させるためのヤコビ行列情報生成装置におけるヤコビ行列情報生成プログラム。 - ロボットによる作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を2値化し、当該2値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報を含むテンプレート情報を記憶する記憶部と、
前記記憶部に記憶されるテンプレート情報を取得するテンプレート情報取得部と、
前記ロボットによる作業の対象物となる物体の画像を撮影する撮影部により撮影された画像を2値化して平滑化する撮影画像処理部と、
前記テンプレート情報取得部により取得されたテンプレート情報と、前記撮影画像処理部により2値化して平滑化された画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出する差分算出部と、
前記差分算出部の算出結果に基づいて、前記ロボットによる作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行うロボット制御部と、
を備えることを特徴とするロボット制御装置。 - テンプレート情報取得部が、ロボットによる作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を2値化し、当該2値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報を含むテンプレート情報を記憶する記憶部に記憶されるテンプレート情報を取得するステップと、
撮影画像処理部が、前記ロボットによる作業の対象物となる物体の画像を撮影する撮影部により撮影された画像を2値化して平滑化するステップと、
差分算出部が、前記テンプレート情報取得部により取得されたテンプレート情報と、前記撮影画像処理部により2値化して平滑化された画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出するステップと、
ロボット制御部が、前記差分算出部の算出結果に基づいて、前記ロボットによる作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行うステップと、
を有することを特徴とするロボット制御装置におけるロボット制御方法。 - テンプレート情報取得部が、ロボットによる作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を2値化し、当該2値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報を含むテンプレート情報を記憶する記憶部に記憶されるテンプレート情報を取得する手順と、
撮影画像処理部が、前記ロボットによる作業の対象物となる物体の画像を撮影する撮影部により撮影された画像を2値化して平滑化する手順と、
差分算出部が、前記テンプレート情報取得部により取得されたテンプレート情報と、前記撮影画像処理部により2値化して平滑化された画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出する手順と、
ロボット制御部が、前記差分算出部の算出結果に基づいて、前記ロボットによる作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行う手順と、
をコンピューターに実行させるためのロボット制御装置におけるロボット制御プログラム。 - ロボットと、前記ロボットを制御するロボット制御装置と、を備え、
前記ロボット制御装置は、
前記ロボットによる作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を2値化し、当該2値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報を含むテンプレート情報を記憶する記憶部と、
前記記憶部に記憶されるテンプレート情報を取得するテンプレート情報取得部と、
前記ロボットによる作業の対象物となる物体の画像を撮影する撮影部により撮影された画像を2値化して平滑化する撮影画像処理部と、
前記テンプレート情報取得部により取得されたテンプレート情報と、前記撮影画像処理部により2値化して平滑化された画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出する差分算出部と、
前記差分算出部の算出結果に基づいて、前記ロボットによる作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行うロボット制御部と、を備える、
ことを特徴とするロボットシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012020344A JP2013158851A (ja) | 2012-02-01 | 2012-02-01 | ヤコビ行列情報生成装置、ヤコビ行列情報生成方法、ヤコビ行列情報生成プログラム、ロボット制御装置、ロボット制御方法、ロボット制御プログラムおよびロボットシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012020344A JP2013158851A (ja) | 2012-02-01 | 2012-02-01 | ヤコビ行列情報生成装置、ヤコビ行列情報生成方法、ヤコビ行列情報生成プログラム、ロボット制御装置、ロボット制御方法、ロボット制御プログラムおよびロボットシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013158851A true JP2013158851A (ja) | 2013-08-19 |
Family
ID=49171543
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012020344A Pending JP2013158851A (ja) | 2012-02-01 | 2012-02-01 | ヤコビ行列情報生成装置、ヤコビ行列情報生成方法、ヤコビ行列情報生成プログラム、ロボット制御装置、ロボット制御方法、ロボット制御プログラムおよびロボットシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013158851A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10713400B2 (en) | 2017-04-23 | 2020-07-14 | Cmlabs Simulations Inc. | System and method for executing a simulation of a constrained multi-body system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1132208A (ja) * | 1997-07-10 | 1999-02-02 | Matsushita Graphic Commun Syst Inc | 画像変倍処理装置 |
JPH1155667A (ja) * | 1996-10-31 | 1999-02-26 | Toshiba Corp | 画像符号化装置および画像復号化装置および画像符号化データを記録した記録媒体 |
JPH11196267A (ja) * | 1997-12-29 | 1999-07-21 | Canon Inc | 画像出力装置および画像出力方法 |
JP2002018754A (ja) * | 2000-07-10 | 2002-01-22 | Toyota Central Res & Dev Lab Inc | ロボット装置及びその制御方法 |
JP2003089086A (ja) * | 2001-09-14 | 2003-03-25 | Yaskawa Electric Corp | ロボット制御装置 |
JP2011227696A (ja) * | 2010-04-20 | 2011-11-10 | Seiko Epson Corp | オブジェクト検出装置、オブジェクト検出方法、オブジェクト検出プログラム、およびロボット |
-
2012
- 2012-02-01 JP JP2012020344A patent/JP2013158851A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1155667A (ja) * | 1996-10-31 | 1999-02-26 | Toshiba Corp | 画像符号化装置および画像復号化装置および画像符号化データを記録した記録媒体 |
JPH1132208A (ja) * | 1997-07-10 | 1999-02-02 | Matsushita Graphic Commun Syst Inc | 画像変倍処理装置 |
JPH11196267A (ja) * | 1997-12-29 | 1999-07-21 | Canon Inc | 画像出力装置および画像出力方法 |
JP2002018754A (ja) * | 2000-07-10 | 2002-01-22 | Toyota Central Res & Dev Lab Inc | ロボット装置及びその制御方法 |
JP2003089086A (ja) * | 2001-09-14 | 2003-03-25 | Yaskawa Electric Corp | ロボット制御装置 |
JP2011227696A (ja) * | 2010-04-20 | 2011-11-10 | Seiko Epson Corp | オブジェクト検出装置、オブジェクト検出方法、オブジェクト検出プログラム、およびロボット |
Non-Patent Citations (2)
Title |
---|
JPN6015048565; Lippiello, V. ; Siciliano, B. ; Villani, L.: 'Position-Based Visual Servoing in Industrial Multirobot Cells Using a Hybrid Camera Configuration' IEEE Transactions on Robotics Volume:23 , Issue:1, 200702, pp.73-86 * |
JPN6015048566; Siradjuddin, I. ; McGinnity, T.M. ; Behera, L. ; Coleman, S.: 'Visual servoing of a redundant manipulator using shape moments' Proceedings of IET Irish Signals and Systems Conference (ISSC 2009) , 200906, pp.1-6 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10713400B2 (en) | 2017-04-23 | 2020-07-14 | Cmlabs Simulations Inc. | System and method for executing a simulation of a constrained multi-body system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3825962A2 (en) | Virtual object driving method, apparatus, electronic device, and readable storage medium | |
US10179407B2 (en) | Dynamic multi-sensor and multi-robot interface system | |
JP7071054B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US10306149B2 (en) | Image processing apparatus, robot system, robot, and image processing method | |
JP2008275391A (ja) | 位置姿勢計測装置及び位置姿勢計測方法 | |
JP2004295223A (ja) | 画像処理装置及びロボットシステム | |
JP2011198349A (ja) | 情報処理方法及びその装置 | |
JP2009214212A (ja) | 動作教示システム及び動作教示方法 | |
JP2018144144A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP5699697B2 (ja) | ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法 | |
JP6576042B2 (ja) | 表示制御装置及びその方法、プログラム | |
US20210347053A1 (en) | Virtual presence for telerobotics in a dynamic scene | |
JP2013146813A (ja) | ロボット装置および位置姿勢検出方法 | |
JP2017170571A (ja) | ロボット、ロボット制御装置、及びロボットシステム | |
JP2014029664A (ja) | 比較画像範囲生成方法、位置姿勢検出方法、比較画像範囲生成装置、位置姿勢検出装置、ロボット、ロボットシステム、比較画像範囲生成プログラム及び位置姿勢検出プログラム | |
US20180215044A1 (en) | Image processing device, robot control device, and robot | |
JP2016081264A (ja) | 画像処理方法、画像処理装置及びロボットシステム | |
Manakov et al. | Visual shape and position sensing algorithm for a continuum robot | |
CN210361314U (zh) | 一种基于增强现实技术的机器人示教装置 | |
JP2023038776A (ja) | 指令値生成装置、方法、及びプログラム | |
CN111745639B (zh) | 信息处理方法及装置、物体检测装置以及机器人系统 | |
KR101972432B1 (ko) | 레이저비전 센서 및 그 보정방법 | |
Jiang et al. | Error analysis and experiments of 3D reconstruction using a RGB-D sensor | |
JP2013158851A (ja) | ヤコビ行列情報生成装置、ヤコビ行列情報生成方法、ヤコビ行列情報生成プログラム、ロボット制御装置、ロボット制御方法、ロボット制御プログラムおよびロボットシステム | |
US20230150142A1 (en) | Device and method for training a machine learning model for generating descriptor images for images of objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151201 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160121 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160621 |