JP2013158851A - ヤコビ行列情報生成装置、ヤコビ行列情報生成方法、ヤコビ行列情報生成プログラム、ロボット制御装置、ロボット制御方法、ロボット制御プログラムおよびロボットシステム - Google Patents

Abstract

【課題】ヤコビ行列に関する情報を精度よく生成することができるヤコビ行列情報生成装置、ヤコビ行列情報生成方法、ヤコビ行列情報生成プログラムを提供する。
【解決手段】ヤコビ行列情報生成装置１は、物体のモデルの情報を取得するモデル取得部１１と、取得された前記物体のモデルの情報について、当該モデルを設定された倍率で拡大する拡大部１２と、拡大されたモデルをレンダリングして画像を生成するレンダリング部１３と、生成された画像を２値化する２値化部１４と、２値化された画像を平滑化する平滑化部１５と、平滑化された画像をリサンプリングして、拡大部１２による拡大の前のサイズと同じサイズの画像を取得するリサンプリング部１６と、取得された画像について、ヤコビ行列に関する情報を算出するヤコビ行列情報算出部１７と、を備える。
【選択図】図１

Description

本発明は、ヤコビ行列情報生成装置、ヤコビ行列情報生成方法、ヤコビ行列情報生成プログラム、ロボット制御装置、ロボット制御方法、ロボット制御プログラムおよびロボットシステムに関する。

従来、ビジュアルフィードバック（ビジュアルサーボ）制御により対象物を検出して追跡するロボットが知られている（例えば、特許文献１参照。）。
また、近年、ビジュアルフィードバック制御により対象物を検出して追跡するロボットを電子機器の組み立てに適用することが検討されている。

ここで、電子機器の部品の認識にＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）に対する差分算出を適用することを考える。
ＣＡＤに対する差分算出の精度を高くするためには、ＣＡＤモデルの情報（ＣＡＤデータ）から作成するＣＧ（画像）が実写（画像）を精度よく再現できていることが必須である。

電子機器の部品には、例えば、コネクターのような半透明物体や、金属光沢を持つ金属部品などのように、テクスチャーが少ない物体がある。
このような半透明部品及び金属光沢部品などについては、物体表面及び内部での反射光、透過光を正確にモデル化することが困難である。つまり、半透明部品及び金属光沢部品などについては、実写を精度よく再現したＣＧを作成することが困難であり、ＣＡＤに対する差分算出で高精度の認識をすることができないという問題があった。

そして、ビジュアルフィードバック制御によりロボットを制御する技術を電子機器の組み立てに適用する際には、高精度な位置決めが要求されるため、上述のような認識の精度が大きな問題となる。

特開２００２−２０８００９号公報

上述のように、ビジュアルフィードバック制御によりロボットを制御する技術においては、例えば、テクスチャーが少ない物体の差分を精度よく認識するという点で、さらなる開発が要求されていた。

本発明は、前記の点に鑑みてなされたものであり、ヤコビ行列に関する情報を精度よく生成することができるヤコビ行列情報生成装置、ヤコビ行列情報生成方法、ヤコビ行列情報生成プログラムを提供することを目的とする。
また、本発明は、前記の点に鑑みてなされたものであり、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができるロボット制御装置、ロボット制御方法、ロボット制御プログラムおよびロボットシステムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたものであり、物体のモデルの情報を取得するモデル取得部と、前記モデル取得部により取得された前記物体のモデルの情報について、当該モデルを設定された倍率で拡大する拡大部と、前記拡大部により拡大されたモデルをレンダリングして画像を生成するレンダリング部と、前記レンダリング部により生成された画像を２値化する２値化部と、前記２値化部により２値化された画像を平滑化する平滑化部と、前記平滑化部により平滑化された画像をリサンプリングして、前記拡大部による拡大の前のサイズと同じサイズの画像を取得するリサンプリング部と、前記リサンプリング部により取得された画像について、ヤコビ行列に関する情報を算出するヤコビ行列情報算出部と、を備えることを特徴とするヤコビ行列情報生成装置である。

この構成により、ヤコビ行列情報算出部は、拡大部により物体のモデルを設定された倍率で拡大し、レンダリング部により当該拡大されたモデルをレンダリングして画像を生成し、２値化部により当該生成された画像を２値化し、平滑化部により当該２値化された画像を平滑化し、リサンプリング部により当該平滑化された画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得した当該画像について、ヤコビ行列に関する情報を算出する。
これにより、ヤコビ行列情報生成装置は、ヤコビ行列に関する情報を精度よく生成することができる。そして、ヤコビ行列情報生成装置により生成される精度がよいヤコビ行列に関する情報を用いることで、例えば、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。

また、本発明は、モデル取得部が、物体のモデルの情報を取得するステップと、拡大部が、前記モデル取得部により取得された前記物体のモデルの情報について、当該モデルを設定された倍率で拡大するステップと、レンダリング部が、前記拡大部により拡大されたモデルをレンダリングして画像を生成するステップと、２値化部が、前記レンダリング部により生成された画像を２値化するステップと、平滑化部が、前記２値化部により２値化された画像を平滑化するステップと、リサンプリング部が、前記平滑化部により平滑化された画像をリサンプリングして、前記拡大部による拡大の前のサイズと同じサイズの画像を取得するステップと、ヤコビ行列情報算出部が、前記リサンプリング部により取得された画像について、ヤコビ行列に関する情報を算出するステップと、を有することを特徴とするヤコビ行列情報生成装置におけるヤコビ行列情報生成方法である。

この方法により、ヤコビ行列情報算出部は、拡大部により物体のモデルを設定された倍率で拡大し、レンダリング部により当該拡大されたモデルをレンダリングして画像を生成し、２値化部により当該生成された画像を２値化し、平滑化部により当該２値化された画像を平滑化し、リサンプリング部により当該平滑化された画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得した当該画像について、ヤコビ行列に関する情報を算出する。
これにより、ヤコビ行列情報生成装置は、ヤコビ行列に関する情報を精度よく生成することができる。そして、ヤコビ行列情報生成装置により生成される精度がよいヤコビ行列に関する情報を用いることで、例えば、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。

また、本発明は、モデル取得部が、物体のモデルの情報を取得する手順と、拡大部が、前記モデル取得部により取得された前記物体のモデルの情報について、当該モデルを設定された倍率で拡大する手順と、レンダリング部が、前記拡大部により拡大されたモデルをレンダリングして画像を生成する手順と、２値化部が、前記レンダリング部により生成された画像を２値化する手順と、平滑化部が、前記２値化部により２値化された画像を平滑化する手順と、リサンプリング部が、前記平滑化部により平滑化された画像をリサンプリングして、前記拡大部による拡大の前のサイズと同じサイズの画像を取得する手順と、ヤコビ行列情報算出部が、前記リサンプリング部により取得された画像について、ヤコビ行列に関する情報を算出する手順と、をコンピューターに実行させるためのヤコビ行列情報生成装置におけるヤコビ行列情報生成プログラムである。

このプログラムにより、ヤコビ行列情報算出部は、拡大部により物体のモデルを設定された倍率で拡大し、レンダリング部により当該拡大されたモデルをレンダリングして画像を生成し、２値化部により当該生成された画像を２値化し、平滑化部により当該２値化された画像を平滑化し、リサンプリング部により当該平滑化された画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得した当該画像について、ヤコビ行列に関する情報を算出する。
これにより、ヤコビ行列情報生成装置は、ヤコビ行列に関する情報を精度よく生成することができる。そして、ヤコビ行列情報生成装置により生成される精度がよいヤコビ行列に関する情報を用いることで、例えば、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。

また、本発明は、ロボットによる作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を２値化し、当該２値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報を含むテンプレート情報を記憶する記憶部と、前記記憶部に記憶されるテンプレート情報を取得するテンプレート情報取得部と、前記ロボットによる作業の対象物となる物体の画像を撮影する撮影部により撮影された画像を２値化して平滑化する撮影画像処理部と、前記テンプレート情報取得部により取得されたテンプレート情報と、前記撮影画像処理部により２値化して平滑化された画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出する差分算出部と、前記差分算出部の算出結果に基づいて、前記ロボットによる作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行うロボット制御部と、を備えることを特徴とするロボット制御装置である。

この構成により、ロボット制御部は、ヤコビ行列に関する情報を含むテンプレート情報と、ロボットによる作業の対象物となる物体の画像を撮影した画像を２値化して平滑化した画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出した結果に基づいて、前記ロボットによる作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行う。この場合に、前記ヤコビ行列に関する情報は、前記ロボットによる作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を２値化し、当該２値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報である。
これにより、ロボット制御装置は、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。

また、本発明は、テンプレート情報取得部が、ロボットによる作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を２値化し、当該２値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報を含むテンプレート情報を記憶する記憶部に記憶されるテンプレート情報を取得するステップと、撮影画像処理部が、前記ロボットによる作業の対象物となる物体の画像を撮影する撮影部により撮影された画像を２値化して平滑化するステップと、差分算出部が、前記テンプレート情報取得部により取得されたテンプレート情報と、前記撮影画像処理部により２値化して平滑化された画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出するステップと、ロボット制御部が、前記差分算出部の算出結果に基づいて、前記ロボットによる作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行うステップと、を有することを特徴とするロボット制御装置におけるロボット制御方法である。

この方法により、ロボット制御部は、ヤコビ行列に関する情報を含むテンプレート情報と、ロボットによる作業の対象物となる物体の画像を撮影した画像を２値化して平滑化した画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出した結果に基づいて、前記ロボットによる作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行う。この場合に、前記ヤコビ行列に関する情報は、前記ロボットによる作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を２値化し、当該２値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報である。
これにより、ロボット制御装置は、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。

また、本発明は、テンプレート情報取得部が、ロボットによる作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を２値化し、当該２値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報を含むテンプレート情報を記憶する記憶部に記憶されるテンプレート情報を取得する手順と、撮影画像処理部が、前記ロボットによる作業の対象物となる物体の画像を撮影する撮影部により撮影された画像を２値化して平滑化する手順と、差分算出部が、前記テンプレート情報取得部により取得されたテンプレート情報と、前記撮影画像処理部により２値化して平滑化された画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出する手順と、ロボット制御部が、前記差分算出部の算出結果に基づいて、前記ロボットによる作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行う手順と、をコンピューターに実行させるためのロボット制御装置におけるロボット制御プログラムである。

このプログラムにより、ロボット制御部は、ヤコビ行列に関する情報を含むテンプレート情報と、ロボットによる作業の対象物となる物体の画像を撮影した画像を２値化して平滑化した画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出した結果に基づいて、前記ロボットによる作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行う。この場合に、前記ヤコビ行列に関する情報は、前記ロボットによる作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を２値化し、当該２値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報である。
これにより、ロボット制御装置は、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。

また、本発明は、ロボットと、前記ロボットを制御するロボット制御装置と、を備え、前記ロボット制御装置は、前記ロボットによる作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を２値化し、当該２値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報を含むテンプレート情報を記憶する記憶部と、前記記憶部に記憶されるテンプレート情報を取得するテンプレート情報取得部と、前記ロボットによる作業の対象物となる物体の画像を撮影する撮影部により撮影された画像を２値化して平滑化する撮影画像処理部と、前記テンプレート情報取得部により取得されたテンプレート情報と、前記撮影画像処理部により２値化して平滑化された画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出する差分算出部と、前記差分算出部の算出結果に基づいて、前記ロボットによる作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行うロボット制御部と、を備える、ことを特徴とするロボットシステムである。

この構成により、ロボットシステムのロボット制御装置のロボット制御部は、ヤコビ行列に関する情報を含むテンプレート情報と、ロボットによる作業の対象物となる物体の画像を撮影した画像を２値化して平滑化した画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出した結果に基づいて、前記ロボットによる作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行う。この場合に、前記ヤコビ行列に関する情報は、前記ロボットによる作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を２値化し、当該２値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報である。
これにより、ロボットシステムのロボット制御装置は、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。

以上のように、本発明によれば、ヤコビ行列情報生成装置は、物体のモデルを設定された倍率で拡大し、当該拡大されたモデルをレンダリングして画像を生成し、当該生成された画像を２値化し、当該２値化された画像を平滑化し、当該平滑化された画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得された画像について、ヤコビ行列に関する情報を算出する。
これにより、ヤコビ行列情報生成装置は、ヤコビ行列に関する情報を精度よく生成することができる。そして、ヤコビ行列情報生成装置により生成される精度がよいヤコビ行列に関する情報を用いることで、例えば、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。

以上のように、本発明によれば、ロボット制御装置は、ヤコビ行列に関する情報を含むテンプレート情報と、ロボットによる作業の対象物となる物体の画像を撮影した画像を２値化して平滑化した画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出した結果に基づいて、前記ロボットによる作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行う。この場合に、前記ヤコビ行列に関する情報は、前記ロボットによる作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を２値化し、当該２値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報である。
これにより、ロボット制御装置は、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。

以上のように、本発明によれば、ロボットシステムのロボット制御装置は、ヤコビ行列に関する情報を含むテンプレート情報と、ロボットによる作業の対象物となる物体の画像を撮影した画像を２値化して平滑化した画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出した結果に基づいて、前記ロボットによる作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行う。この場合に、前記ヤコビ行列に関する情報は、前記ロボットによる作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を２値化し、当該２値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報である。
これにより、ロボットシステムのロボット制御装置は、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。

本発明の第１実施形態に係るヤコビ行列情報生成装置の構成例を示す概略ブロック図である。 （Ａ）〜（Ｅ）はテンプレート情報に基づく差分算出のための処理の流れの一例を示す図である。 （Ａ）〜（Ｅ）はモデルの画像の処理の流れの一例を示す図である。 （Ａ）は平滑化前の画像の一例を示す図であり、（Ｂ）は平滑化後の画像の一例を示す図である。 （Ａ）はリサンプリング前の画像の一例を示す図であり、（Ｂ）はリサンプリング後の画像の一例を示す図である。 （Ａ）は撮影（実写）画像の一例を示す図であり、（Ｂ）はＣＡＤモデルの一例を示す図である。 本発明の第２実施形態に係るロボット制御装置を含むロボットシステムの構成例を示す概略ブロック図である。 本発明の第３実施形態に係る双腕のロボットシステムの外観例を示す図である。

以下の実施形態では、ロボット制御装置がビジュアルフィードバック制御によりロボットを制御することにより、電子機器の組み立てを行う場合を例とする。
このビジュアルフィードバック制御において、ロボット制御装置は、例えば電子機器の部品などのような所定の物体（対象物）について、あらかじめＣＧを用いて生成した目標（ゴール）となる画像（テンプレート画像）と、実写を用いて生成した画像（現在における画像）との間で物体に関する差分を算出する。ロボット制御装置は、このようなテンプレート情報に基づく差分算出を用いた画像処理を行うことにより、その物体の位置および姿勢について目標からの差分を認識する。そして、ロボット制御装置は、その物体の位置および姿勢について目標からの差分を認識した結果に基づいて、ロボットを制御することにより、その物体の位置および姿勢を当該ロボットにより変化させて、目標となる画像におけるその物体の位置および姿勢に一致させるように近付ける。

ここで、テンプレート情報に基づく差分算出では、例えば、入力画像（現在における画像）とテンプレート画像とを比較し、前記入力画像における物体の位置および姿勢と前記テンプレート画像における当該物体の位置および姿勢との差分を算出して求める。
本実施形態では、２枚の画像間の各画素の階調差を最小にする非線形最小化問題を解くことで、当該２枚の画像間の物体（対象物）の位置および姿勢の誤差（差分）を算出する。このような位置および姿勢の差分を効率的に求める方法としては、非線形最小化手法である最急降下法やガウス・ニュートン法やレーベンバーグ・マルカート法などを用いることができる。最急降下法やガウス・ニュートン法やレーベンバーグ・マルカート法では、ヤコビ行列の情報が用いられる。

以下の実施形態では、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体を精度よく認識することを実現する。
テクスチャーが少ない物体としては、例えば、樹脂製のコネクターなどのように半透明の物体や、金属プレートなどのように金属光沢を持つ物体がある。
また、本実施形態では、テクスチャーが少ない物体の他の例として、照明条件が変化する環境に設置された物体などのように、テクスチャーを物体認識に利用することができない場合も含む。
このようにテクスチャーが少ない物体では、物体の表面において安定して認識することができる特徴点が少ないため、物体の位置および姿勢を一意に決定することが困難である。

［第１実施形態］
本発明の第１実施形態について図面を参照して詳細に説明する。
図１は、本実施形態に係るヤコビ行列情報生成装置１の構成例を示す概略ブロック図である。
本実施形態に係るヤコビ行列情報生成装置１は、モデル取得部１１と、拡大部１２と、レンダリング部１３と、２値化部１４と、平滑化部１５と、リサンプリング部１６と、ヤコビ行列情報算出部１７と、を備える。

図２（Ａ）〜図２（Ｅ）は、テンプレート情報に基づく差分算出のための処理の流れの一例を示す図である。
ここで、図２（Ｄ）および図２（Ｅ）については、ロボット制御装置において行われる処理の説明において、後述する。
図２（Ａ）、図２（Ｂ）、図２（Ｃ）を参照して、本実施形態に係るヤコビ行列情報生成装置１において行われる処理について説明する。

モデル取得部１１は、所定の物体（対象物）のモデルの情報を取得する。
本実施形態では、モデル取得部１１は、所定の物体（対象物）が目標（ゴール）となる位置および姿勢にある状態における当該物体の画像を生成することができる当該物体のモデルの情報を取得する。

ここで、モデル取得部１１により所定の物体（対象物）のモデルの情報を取得する手法としては、様々な手法が用いられてもよい。
一例として、モデル取得部１１は、このようなモデルの情報として、所定の物体（対象物）を撮影した画像に基づいて、当該物体のモデルの情報（モデル情報）を生成して取得する。
他の一例として、モデル取得部１１は、このようなモデルの情報として、ユーザー（人）または任意の装置によりあらかじめ用意された物体のモデルの情報（モデル情報）を取得する。

図２（Ａ）は、モデル取得部１１により物体（対象物）のモデルの情報が取得される当該モデルの一例として、ＣＡＤモデル１０１を示す。
本実施形態では、このＣＡＤモデル１０１から生成される画像は、多値（グレースケール）の階調を有する画像であり、例えば、２５６階調（０値〜２５５値）を有する画像である。

ここで、本実施形態における画像処理の前提条件として、対象物の画像をカメラで撮影する実写の環境と、当該対象物を表すＣＡＤモデル１０１から生成される画像（ＣＧ）の環境と、を合わせてある。ここで言う「環境を合わせてある」とは、カメラのパラメーター等を合わせてあり、対象物の位置および姿勢が同じであれば、実写とＣＧとで対象物の大きさや形状が完全に一致することを意味する。

拡大部１２は、モデル取得部１１により取得されたＣＡＤモデル１０１の情報に基づいて、当該ＣＡＤモデル１０１を拡大する演算（算出）を行う。これにより、拡大部１２は、拡大したＣＡＤモデル（拡大モデル）の算出結果を取得する。
本実施形態では、拡大部１２は、モデル取得部１１により取得されるＣＡＤモデル１０１をｍ（ｍは、１より大きい値）倍に拡大する。
このようなＣＡＤモデル１０１に対するｍ（本実施形態では、ｍ＝４）倍の拡大は、例えば、カメラをｍ（本実施形態では、ｍ＝４）倍ズームした場合と同様な拡大となる。

ここで、ＣＡＤモデル１０１を拡大する倍率ｍとしては、様々な値が用いられてもよい。
なお、この倍率ｍは、例えば、あらかじめ設定されてもよく、または、ユーザーによる指示入力などに応じて可変に設定されてもよい。

レンダリング部１３は、拡大部１２により取得された拡大したＣＡＤモデル１０１の算出結果に基づいて、当該拡大したＣＡＤモデル１０１をレンダリングする（当該拡大したＣＡＤモデル１０１の画像を生成する）。
ここで、レンダリングは、データとして与えられた情報（本実施形態では、ＣＡＤモデル１０１）を、計算によって画像化する処理である。 本実施形態では、レンダリング部１３は、例えば、拡大前のＣＡＤモデル１０１の重心位置と、拡大後のＣＡＤモデル１０１の重心位置とが一致するように、当該拡大後のＣＡＤモデル１０１をレンダリングする。
これにより、レンダリング部１３は、拡大したＣＡＤモデル１０１の画像を取得する。

２値化部１４は、レンダリング部１３により取得された画像を２値化する。これにより、２値化部１４は、２値化した画像を取得する。
本実施形態では、２値化部１４は、レンダリング部１３により取得された画像の各画素について、その階調値（本実施形態では、輝度値）があらかじめ定められた閾値以上であると判定した場合には１値（本実施形態では、白）にする一方、その階調値（本実施形態では、輝度値）が当該閾値未満であると判定した場合には０値（本実施形態では、黒）にすることにより、２値化した画像を取得する。
なお、この閾値としては、任意の値が用いられてもよい。

ここで、通常、テクスチャーが少ない物体では、物体の表面に安定して認識することができる特徴点が少ないため、このような特徴点に基づいて物体の位置および姿勢の差分を一意に決定することが困難である。
そこで、本実施形態では、画像に２値化処理を施し、物体の表面の情報を使わずに、物体の外形の情報を用いて物体の差分の認識を行う。つまり、テクスチャーが少ない物体については、表面の輝度情報を実写とＣＧとで一致させることは困難であるため、２値化処理を行って、外形同士の比較を行う。

図２（Ｂ）は、全体の画像１０２の中に、図２（Ａ）に示されるＣＡＤモデル１０１を拡大したものの画像１１１が描写されている様子を示す。

平滑化部１５は、２値化部１４により取得された２値化した画像に対して、平滑化の処理を行う。これにより、平滑化部１５は、平滑化した画像を取得する。
ここで、平滑化の手法としては、任意の手法が用いられてもよく、例えば、ガウス分布を使用したガウシアンフィルター処理、または、バイリニア補間処理などを用いることができる。
本実施形態では、平滑化部１５は、２値化した画像に対して平滑化の処理を行うことにより、多値（グレースケール）の階調を有する画像を取得し、例えば、２５６階調（０値〜２５５値）を有する画像を取得する。

リサンプリング部１６は、平滑化部１５により取得された平滑化された画像に対してリサンプリングの処理を行う。これにより、リサンプリング部１６は、リサンプリングにより縮小された画像を取得する。

図２（Ｃ）は、図２（Ｂ）に示される画像（全体の画像）１１１を平滑化した後にリサンプリングして縮小した画像（全体の画像）１０３を示す。図２（Ｃ）は、この全体の画像１０３の中に、リサンプリングにより縮小されたＣＡＤモデルに相当する部分の画像１１２が描写されている様子を示す。

本実施形態では、リサンプリング部１６は、拡大部１２により行われる拡大の拡大率（ｍ倍）に対して、それを元のサイズに戻す縮小率（１／ｍ倍）で、リサンプリングを行う。
具体的には、リサンプリング部１６は、リサンプリングの対象となるｍ倍のＣＡＤモデル１０１の画像について、リサンプリングの処理として、ｍ個の画素ごとに１個の画素（その画素値）をそのまま取り出す処理を行う。

ここで、リサンプリングは、対象となる情報群（本実施形態では、画素（その画素値）の群）から、定められた規則に従って、情報（本実施形態では、画素（その画素値））を取り出す処理である。
本実施形態では、リサンプリングにおいて、情報群から等間隔に情報を取り出す場合を示すが、必ずしも等間隔に情報を取り出さなくてもよく、他の取り出し方法が用いられてもよい。

ヤコビ行列情報算出部１７は、リサンプリング部１６により取得された画像１１２について、あらかじめ定められた演算を行うことで、ヤコビ行列に関する情報（ヤコビ行列情報）を算出する。
ここで、ヤコビ行列情報としては、ヤコビ行列に関する任意の情報が用いられてもよく、例えば、ヤコビ行列そのものの情報や、あるいは、ヤコビ行列を算出する元となる情報などのうちの１つ以上の情報を用いることができる。
なお、ヤコビ行列情報算出部１７により算出すべきヤコビ行列情報（どのような情報を算出するか）は、例えば、あらかじめ設定されてもよく、または、ユーザーによる指示入力などに応じて可変に設定されてもよい。

ここで、ヤコビ行列情報算出部１７により算出されるヤコビ行列情報は、本実施形態では、ロボット制御装置がビジュアルフィードバック制御によりロボットを制御する際に、テンプレート情報に基づく差分算出で行われる非線形最小化手法で用いられる。
この場合、例えば、２値化画像を用いてヤコビ行列情報を生成すると、正確なヤコビ行列情報が得られない傾向がある。そこで、本実施形態では、２値化画像に対して平滑化およびリサンプリングを行ってからヤコビ行列情報を生成する。

また、テクスチャーが少ない物体については、当該物体の位置および姿勢が変わることで当該物体の表面の輝度情報が大きく変化する傾向があるため、例えば、実写を用いてヤコビ行列情報を算出すると、ビジュアルフィードバックが安定しない可能性がある。
そこで、本実施形態では、ＣＡＤモデルを画像にしたＣＧを用いてヤコビ行列情報を算出している。また、ＣＧは、汎用性があり、実写と比べて実用上で便利な場合も多い。

図３（Ａ）〜図３（Ｅ）を参照して、モデルの画像の処理の流れの一例を示す。
ここでは、ヤコビ行列情報生成装置１のモデル取得部１１からリサンプリング部１６までで行われる処理により、対象物の外形が多値で表現された画像が得られることについて詳しく説明する。

本実施形態では、図３（Ａ）、図３（Ｂ）、図３（Ｃ）の順で処理を行う。
一方、本実施形態との比較を行う一例（第１比較例）では、図３（Ａ）、図３（Ｅ）の順で処理を行う。また、本実施形態との比較を行う他の一例（第２比較例）では、図３（Ｄ）、図３（Ｅ）の順で処理を行う。

ここで、図３（Ａ）〜図３（Ｅ）では、ある直線方向の位置を表すｘ軸を横軸として示してあり、横軸の１目盛が１画素に相当する。
また、図３（Ａ）〜図３（Ｅ）では、２値化した画素値（本実施形態では、輝度値）を０、１で示す。

まず、本実施形態における処理として、図３（Ａ）、図３（Ｂ）、図３（Ｃ）の順で行う処理について説明する。
図３（Ａ）は、モデル取得部１１により取得されるＣＡＤモデル１０１そのもの（拡大していないもの）から生成される画像について、そのＣＡＤモデル１０１の物体（対象物）の外形の境界の付近の様子を示す。
また、図３（Ａ）には、前記した画像を２値化した場合における画素値（本実施形態では、輝度値）を０、１で示してある。
この例では、２値化する場合における画素位置の閾値を０．５画素とする。

図３（Ａ）の例では、対象物の境界（対象物の位置の端）と、画素の境界とが、０．２５画素分ずれている場合を示す。
この場合、ＣＡＤモデル１０１を拡大する前に、前記した画像をそのまま２値化すると、図３（Ａ）に示されるように、０．２５画素分のずれは考慮されない。

図３（Ｂ）は、前記した画像を生成する元としたＣＡＤモデル１０１を拡大部１２によりｍ（本実施形態では、ｍ＝４）倍に拡大し、当該拡大後のＣＡＤモデル１０１から画像を生成した場合の様子を示す。
このように、ＣＡＤモデル１０１をｍ倍に拡大して画像を生成すると、実質的には、分解能がｍ倍になる。
図３（Ｂ）の例では、拡大処理前における対象物の０．２５画素分のずれが、４倍の拡大処理後には１画素分のずれとみなされることになる。このため、そのときの状態（図３（Ｂ）の例の状態）における画像を２値化部１４により２値化すると、図３（Ｂ）に示されるように、拡大処理前における対象物の０．２５画素分のずれが考慮されることになり、２値化した際の境界が変化する。

図３（Ｃ）は、図３（Ｂ）に示される状態における画像（拡大後のＣＡＤモデル１０１の画像）を２値化部１４により２値化したものを平滑化部１５により平滑化した結果を示す。
そして、リサンプリング部１６により、平滑化した結果の画素値（階調値）について、拡大前の元の画素の位置に対応する点をリサンプリング点（リサンプリング点２０１など）として、リサンプリング点の画素値を取得（サンプリング）することで、拡大後のＣＡＤモデル１０１の画像に対する縮小画像を生成する。本実施形態では、４倍の拡大後のＣＡＤモデル１０１の画像に対して１／４倍の縮小画像を生成することで、拡大前の元のサイズの画像を生成する。

次に、第１比較例における処理として、図３（Ａ）、図３（Ｅ）の順で行う処理について説明する。
図３（Ａ）の例の状態における画像を２値化して、平滑化すると、図３（Ｅ）に示されるように、前記した０．２５画素分のずれは考慮されない。

次に、第２比較例における処理として、図３（Ｄ）、図３（Ｅ）の順で行う処理について説明する。
図３（Ｄ）は、図３（Ａ）の例に対して、対象物の境界（対象物の位置の端）と、画素の境界とが、ずれていない場合を示す。
図３（Ｄ）の例の状態における画像を２値化して、平滑化すると、図３（Ｅ）に示されるようになる。

図３（Ｅ）は、図３（Ａ）に示される状態における画像を２値化して平滑化した結果および図３（Ｄ）に示される状態における画像を２値化して平滑化した結果を併せて示す。これら２つの平滑化の結果は同じものとなる。
図３（Ｅ）の例では、サンプリング点は、サンプリング点２１１などとなる。

本実施形態のように、図３（Ａ）、図３（Ｂ）、図３（Ｃ）の順で処理を行うと、ＣＡＤモデル１０１の拡大により実質的な分解能が高められた画像に対して２値化および平滑化を行った後に縮小（本実施形態では、リサンプリング）を行うため、対象物の微小なずれに対して、比較的、正確な画素値（対象物の境界部分）を有する画像を生成することができる。そして、このような正確な画素値（対象物の境界部分）を有する画像を用いて、ヤコビ行列情報算出部１７により、精度がよく正確なヤコビ行列情報を算出することができる。

図４（Ａ）および図４（Ｂ）を参照して、画像の平滑化の例を示す。
図４（Ａ）は、平滑化前の画像３０１の一例を示す図である。
図４（Ｂ）は、図４（Ａ）に示される画像３０１について、平滑化後の画像３０２の一例を示す図である。
この例では、ガウシアンフィルターによる平滑化を行う場合を示し、５×５のサイズのカーネルを使用する場合を示す。
この例では、平滑化前の画像３０１および平滑化後の画像３０２は、いずれも、横（水平）方向×縦（垂直）方向のサイズとして、６４０画素×４８０画素のサイズを有する。

図５（Ａ）および図５（Ｂ）を参照して、リサンプリングの例を示す。
図５（Ａ）は、リサンプリング前の画像４０１の一例を示す図である。
図５（Ｂ）は、図５（Ａ）に示されるリサンプリング前の画像４０１について、リサンプリング後の画像４０２の一例を示す図である。
この例では、リサンプリング前の画像４０１は、ＣＡＤモデル１０１が４倍に拡大されたものの画像である。そして、リサンプリングの処理として、リサンプリング前の画像４０１について、４画素飛ばしで画素値を取得し、取得した画素値を集めた画像をリサンプリング後の画像４０２として取得する処理を行う。
この例では、リサンプリング前の画像４０１は、横（水平）方向×縦（垂直）方向のサイズとして、６４０画素×４８０画素のサイズを有する。また、リサンプリング後の画像４０２は、横（水平）方向×縦（垂直）方向のサイズとして、１６０画素×１２０画素のサイズを有する。このように、リサンプリングにより、画像の横（水平）方向と縦（垂直）方向のそれぞれのサイズが（本実施形態では、１／４倍に）縮小される。

図６（Ａ）および図６（Ｂ）を参照して、撮影（実写）画像からＣＡＤモデルを生成する処理を示す。
図６（Ａ）は、撮影された画像（実写）の一例を示す図である。図６（Ａ）には、全体の画像５０１の中に物体の画像５１１が写っている様子を示してある。
図６（Ｂ）は、ＣＡＤモデル５０２の一例を示す図である。図６（Ｂ）には、図６（Ａ）に示される物体の画像５１１に基づいて生成されたＣＡＤモデル５０２を示してある。

ここで、図６（Ａ）に示される画像（全体の画像）５０１は、それに写る物体が目標（ゴール）の位置および姿勢にある状態でカメラにより撮影された実写の画像である。このようなカメラのキャリブレーションを行うときなどに、カメラの内部のパラメーター（カメラ内部パラメーター）やカメラの外部のパラメーター（カメラ外部パラメーター）を取得する。
そして、例えばＯｐｅｎＧＬ（Ｏｐｅｎ Ｇｒａｐｈｉｃｓ Ｌｉｂｒａｒｙ）などを使用して、それに前記取得したカメラ内部パラメーターを設定して、前記物体のＣＡＤモデル５０２の画像を描画する。

なお、この例では、ＣＡＤモデル５０２のスケールは、適当に、ユーザーによる目視で合わせる。
また、この例では、ＣＡＤモデル５０２の位置は、実写（実写における対応する物体の位置）との差分算出で求める。
また、この例では、ＣＡＤモデル５０２の姿勢は、例えば３０°刻みなどでＳＳＤなどの値で評価して決定する。このＳＳＤなどの値としては、例えば、階調値（本実施形態では、輝度値）の差の２乗和などを用いる。

次に、ヤコビ行列の概略を説明する。
この例では、リサンプリング後の画像は、横（水平）方向×縦（垂直）方向のサイズとして、１６０画素×１２０画素のサイズを有するとする。
ヤコビ行列情報算出部１７は、リサンプリング後の画像について、ラスタスキャンを行って、当該画像の画素の画素値を並べたものを観測ベクトルＳ＝［ｓ_１、ｓ_２、・・・、ｓ_ｎ−１、ｓ_ｎ］として生成する。
観測ベクトルＳ（ここでは、縦のベクトルで表したもの）は、式（１）により表される。

ここで、観測ベクトルＳの要素の数ｎは、画素の数となり、（１６０×１２０）となる。
式（１）において、ｉ＝０〜１１９、ｊ＝０〜１５９について、Ｉ（ｉ、ｊ）は、（縦方向の画素位置ｉ、横方向の画素位置ｊ）における階調値（本実施形態では、輝度値）を表す。

ヤコビ行列情報算出部１７は、観測ベクトルＳを用いて、ヤコビ行列（本実施形態では、画像ヤコビ行列）を生成（算出）する。
このヤコビ行列は、式（２）により表される。

ここで、ベクトルｐは位置および姿勢を表し、ｐ＝［ｔ_１、ｔ_２、ｔ_３、ｒ_１、ｒ_２、ｒ_３］である。
直交座標系として設定されるＸＹＺ座標系において、ベクトルｔ＝［ｔ_１、ｔ_２、ｔ_３］は位置（例えば、ＸＹＺ座標系における座標値［Ｘ、Ｙ、Ｚ］）を表し、ベクトルｒ＝［ｒ_１、ｒ_２、ｒ_３］は姿勢（例えば、ＸＹＺ座標系における回転量［θ_Ｘ、θ_Ｙ、θ_Ｚ］）を表す。

以上のように、本実施形態に係るヤコビ行列情報生成装置１は、精度がよく正確なヤコビ行列情報を生成することができる。
具体的には、本実施形態に係るヤコビ行列情報生成装置１は、物体（対象物）の位置および姿勢が目標（ゴール）の位置および姿勢にある状態となるように、その物体のＣＡＤモデルに対して、拡大処理、レンダリング処理、２値化処理、平滑化処理、リサンプリング処理といった処理を行うことで、その物体の外形が多値で表現された画像（リサンプリング処理後の画像）を得る。そして、本実施形態に係るヤコビ行列情報生成装置１は、この画像を用いてヤコビ行列情報を算出することで、例えば、その物体を目標の位置および姿勢から微小に動かした場合におけるヤコビ行列情報を精度よく正確に算出することができる。
これにより、本実施形態に係るヤコビ行列情報生成装置１は、例えば、テクスチャーが少ない物体についても、ヤコビ行列情報を精度よく正確に算出することができる。

このような精度がよく正確なヤコビ行列情報を用いることで、例えば、ビジュアルフィードバックにおけるテンプレート情報に基づく差分算出の精度を向上させることができる。
このように、ビジュアルフィードバック制御によりロボットを制御する際に、例えば、テクスチャーが少ない物体の位置や姿勢の差分を精度よく正確に認識（検出）することを実現することができる。

本実施形態では、一構成例として、ヤコビ行列情報生成装置１は、物体のモデルの情報を取得するモデル取得部１１と、モデル取得部１１により取得された前記物体のモデルの情報について、当該モデルを設定された倍率で拡大する拡大部１２と、拡大部１２により拡大されたモデルをレンダリングして画像を生成するレンダリング部１３と、レンダリング部１３により生成された画像を２値化する２値化部１４と、２値化部１４により２値化された画像を平滑化する平滑化部１５と、平滑化部１５により平滑化された画像をリサンプリングして、拡大部１２による拡大の前のサイズと同じサイズの画像を取得するリサンプリング部１６と、リサンプリング部１６により取得された画像について、ヤコビ行列に関する情報を算出するヤコビ行列情報算出部１７と、を備える。
これにより、ヤコビ行列情報生成装置１は、ヤコビ行列に関する情報を精度よく生成することができる。そして、ヤコビ行列情報生成装置１により生成される精度がよいヤコビ行列に関する情報を用いることで、例えば、ビジュアルフィードバック制御によりロボットを制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。

［第２実施形態］
本発明の第２実施形態について図面を参照して詳細に説明する。
図７は、本実施形態に係るロボット制御装置１００１を含むロボットシステムの構成例を示す概略ブロック図である。
本実施形態に係るロボットシステムは、ロボット制御装置１００１と、ロボット１００２と、有線の回線１００３と、を備える。
ロボット制御装置１００１とロボット１００２とは、有線の回線１００３を介して、互いに通信することが可能に接続される。
なお、有線の回線１００３の代わりに、無線の回線が用いられてもよい。

ロボット制御装置１００１は、制御部１０１１と、記憶部１０１２と、入力部１０１３と、出力部１０１４と、撮影部１０１５と、を備える。
制御部１０１１は、ロボット制御部１０２１と、テンプレート情報取得部１０２２と、撮影画像処理部１０２３と、差分算出部（画像誤差算出部）１０２４と、を備える。
ここで、撮影部１０１５は、ロボット制御装置１００１と一体に備えられてもよく、または、他の構成例として、ロボット制御装置１００１とは別体で備えられてもよい。

本実施形態に係るロボットシステムにおいて行われる処理を説明する。
入力部１０１３は、例えば、ユーザーにより操作されるキーボードやマウスなどを用いて構成され、ユーザーにより操作された内容を受け付ける。
出力部１０１４は、例えば、情報を表示する液晶画面などを用いて構成され、ユーザーに対して各種の情報を表示出力する。

記憶部１０１２は、各種の情報を記憶する。
記憶部１０１２は、例えば、制御部１０１１により使用されるプログラムの情報や、各種の処理で使用される数値などの情報を記憶する。
本実施形態では、記憶部１０１２は、ビジュアルフィードバックにおけるテンプレート情報に基づく差分算出の処理で使用するテンプレート情報を記憶する。

このテンプレート情報としては、ビジュアルフィードバックにおけるテンプレート情報に基づく差分算出の処理で使用されるテンプレートに関する情報が、例えば、あらかじめ設定される。
本実施形態では、このテンプレート情報には、物体（対象物）の位置および姿勢が目標（ゴール）の位置および姿勢にある状態におけるその物体の画像（テンプレート画像）の情報や、このような画像（テンプレート画像）の物体（対象物）のＣＡＤモデルに関して図１に示されるヤコビ行列情報生成装置１により生成されたヤコビ行列情報が含まれる。

ここで、この画像（テンプレート画像）の情報として、本実施形態では、図２（Ｃ）に示されるような画像（図１に示されるヤコビ行列情報生成装置１におけるリサンプリング後の画像）の情報を用いる。
また、このヤコビ行列の情報として、本実施形態では、図２（Ｃ）に示されるような画像（図１に示されるヤコビ行列情報生成装置１におけるリサンプリング後の画像）に基づいて図１に示されるヤコビ行列情報生成装置１により生成されるヤコビ行列情報を用いる。

制御部１０１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを用いて構成され、ロボット制御装置１００１における各種の処理を制御する。
制御部１０１１は、例えば、入力部１０１３により受け付けられたユーザーによる操作の内容に応じた処理を実行する機能、各種の情報を出力部１０１４の画面に表示させる機能、記憶部１０１２に記憶された情報を読み取る機能および記憶部１０１２に情報を書き込む（記憶させる）機能を有する。

撮影部１０１５は、例えば、あらかじめ定められた場所に設置などされるカメラを用いて構成される。
撮影部１０１５は、ロボット１００２により作業（例えば、把持や移動などの作業）が行われる対象となる物体（対象物）の画像を撮影する。そして、撮影部１０１５は、撮影した画像のデータを撮影画像処理部１０２３に出力する。
撮影画像処理部１０２３は、撮影部１０１５から入力された画像（この例では、多値の階調を有する画像）のデータについて、２値化の処理を行った後に、平滑化の処理を行う。

テンプレート情報取得部１０２２は、記憶部１０１２に記憶されるテンプレート情報（ビジュアルフィードバックにおけるテンプレート情報に基づく差分算出の処理で使用するテンプレート情報）を読み取って取得する。

ここで、例えば、物体（対象物）の位置および姿勢に関して順次達成されるべき複数の目標があり、それぞれの目標ごとにテンプレート情報がある場合には、テンプレート情報取得部１０２２は、記憶部１０１２に記憶される複数のテンプレート情報の中から、現在の物体（対象物）の状態において使用されるべきテンプレート情報を選択して読み取って取得する。

差分算出部１０２４は、撮影画像処理部１０２３により２値化の処理および平滑化の処理が行われた画像の情報と、テンプレート情報取得部１０２２により取得されたテンプレート情報に基づいて、差分算出（テンプレート情報に基づく差分算出）の処理を行う。
具体的には、差分算出部１０２４は、テンプレート情報取得部１０２２により取得されたテンプレート情報における物体の位置および姿勢（テンプレート画像における物体の位置および姿勢）と撮影画像処理部１０２３により２値化の処理および平滑化の処理が行われた画像の情報における当該物体の位置および姿勢との差分を算出する。
ここで、差分算出部１０２４は、例えば、２枚の画像間の各画素の階調差を最小にする非線形最小化問題を解くことで、これら２枚の画像間における物体（対象物）の位置や姿勢の誤差（差分）を算出する機能を有する。

なお、この差分算出の処理では、少なくとも、テンプレート情報に含まれるヤコビ行列情報が利用される。
また、本実施形態では、この差分算出の処理では、物体（対象物）の外形について差分算出を行い、当該物体（対象物）の表面については差分算出を行わない。

このような差分算出部１０２４における差分算出の処理の算出結果により、ロボット１００２により作業が行われる対象となる物体（対象物）の実際の位置および姿勢の状態が、テンプレート情報で規定される目標（ゴール）の位置および姿勢の状態に一致するか否かを判定することができる。
本実施形態では、ロボット制御部１０２１により、このような判定を行う。なお、他の構成例として、差分算出部１０２４などにより、このような判定を行うこともできる。

ロボット制御部１０２１は、有線の回線１００３を介して、制御のための信号（制御信号）をロボット１００２に送信することで、ロボット１００２を制御する機能を有する。本実施形態では、ロボット制御部１０２１は、ロボット１００２により行われる物体（対象物）の把持や移動（位置や姿勢の変化）を制御する。
また、ロボット制御部１０２１は、ロボット１００２から送信される信号を、ケーブル１００３を介して、受信することも可能である。

具体的には、ロボット制御部１０２１は、ビジュアルフィードバック制御として、物体（対象物）の実際の位置および姿勢の状態が目標（ゴール）の位置および姿勢の状態に一致しないと差分算出部１０２４の算出結果により判定された場合には、ロボット１００２を制御して、これらの状態を近付けるように、当該物体（対象物）の位置や姿勢を変化させる。
その後、ロボット制御部１０２１は、再び、以上に説明したのと同様に、撮影部１０１５、撮影画像処理部１０２３、差分算出部１０２４の順で処理された結果（差分算出部１０２４による算出の結果）を検出して、当該検出結果に応じた制御を行う。

ここで、本実施形態では、ロボット制御部１０２１は、ロボット１００２を制御して物体（対象物）の位置や姿勢を変化させる場合には、１回の制御で、あらかじめ定められた変化量だけ物体（対象物）の位置や姿勢を変化させる。
そして、ロボット制御部１０２１は、このような制御を繰り返して行うことにより、物体（対象物）の実際の位置および姿勢の状態を、目標（ゴール）の位置および姿勢の状態に一致させる。これにより、物体（対象物）の実際の画像が、目標となるテンプレート情報の内容に合わせられ、つまり、当該物体（対象物）の実際の位置および姿勢が当該目標の位置および姿勢に合わせられる。

なお、ロボット制御部１０２１は、例えば、同一の目標について、制御の回数が増加するに応じて、または、物体（対象物）の実際の位置および姿勢の状態が目標（ゴール）の位置および姿勢の状態に近づくに応じて、前記した変化量（物体（対象物）の位置や姿勢を変化させる変化量）を、連続的または段階的に、小さくするようにしてもよい。

一方、ロボット制御部１０２１は、物体（対象物）の実際の位置および姿勢の状態が目標（ゴール）の位置および姿勢の状態に一致すると差分算出部１０２４の算出結果により判定された場合には、この目標に関しては、ロボット１００２の制御を終了として、それ以上はロボット１００２を制御しない。

なお、位置および姿勢の状態が一致するか否かを判定する処理においては、例えば、任意に設定された誤差の分だけ一致状態からずれていても一致するとみなすような判定が行われてもよい。つまり、実用上で支障とならない程度で、任意の誤差が許容されてもよい。

また、ロボット制御部１０２１は、物体（対象物）の実際の位置および姿勢の状態が目標（ゴール）の位置および姿勢の状態に一致すると差分算出部１０２４の算出結果により判定された場合に、次の目標があるときには、当該次の目標に関して、同様に、テンプレート情報に基づく差分算出の処理を用いたビジュアルフィードバック制御を行う。

なお、テンプレートを用いる差分算出の処理や、ビジュアルフィードバック制御については、例えば、公知の様々な手法を用いることが可能である。

ロボット１００２として、本実施形態では、垂直多関節ロボットの一例であるマニピュレーターを用いている。
マニピュレーターは、例えば、ロボットアームとして機能し、物体（対象物）を把持して、当該物体を移動させる（位置や姿勢を変化させる）ことが可能である。

ロボット１００２は、ロボット制御装置１００１の制御部１０１１のロボット制御部１０２１から送信される制御信号を、有線の回線１００３を介して、受信し、受信した制御信号により制御される。
また、ロボット１００２は、自己の状態などを示す信号を、有線の回線１００３を介して、ロボット制御装置１００１の制御部１０１１のロボット制御部１０２１に送信する機能を有してもよい。

ここで、ロボット１００２としては、具体的には、様々なものに適用されてもよい。例えば、ロボット１００２として、産業用のロボットを構成することができるばかりでなく、宇宙用途や遊具など、様々な分野のロボットに適用することが可能である。

次に、図２（Ａ）〜図２（Ｅ）を参照して、テンプレート情報に基づく差分算出のための処理の流れの一例を示す。
ここで、図２（Ａ）、図２（Ｂ）、図２（Ｃ）については、前述した。
図２（Ｄ）および図２（Ｅ）を参照して、本実施形態に係るロボット制御装置１０１１において行われる処理を説明する。

図２（Ｄ）は、撮影部１０１５により撮影される画像（実写）の一例を示す。
図２（Ｄ）は、全体の画像１５１の中に、物体（対象物）の画像１６１が写っている様子を示す。
撮影画像処理部１０２３は、この画像（全体の画像）１５１について、２値化の処理を行い、その後、平滑化の処理を行う。

図２（Ｅ）は、撮影画像処理部１０２３により２値化および平滑化が行われた画像の一例を示す。
図２（Ｅ）は、全体の画像１５２の中に、物体（対象物）の画像１６２が写っている様子を示す。
差分算出部１０２４は、図２（Ｃ）に示される画像（全体の画像）１０３をテンプレート画像として、図２（Ｅ）に示される画像（全体の画像）１５２について、そこに写っている物体（対象物）の画像１６２に関して差分算出の処理を行う。この際に、差分算出部１０２４は、図２（Ｃ）に示される画像１０３に関して得られた物体（対象物）のヤコビ行列情報を用いる。

このように、本実施形態では、ビジュアルフィードバック制御において、ヤコビ行列情報を用いて、ＣＧから生成された画像（例えば、図２（Ｃ）に示される画像１０３）における物体（対象物）の目標の位置および姿勢に対して、実写から生成された画像（例えば、図２（Ｅ）に示される画像１５２）における物体（対象物）の位置および姿勢の差分を小さくする（理想的には、ゼロにする）ように、ロボット制御部１０２１によりロボット１００２を制御することができる。

以上のように、本実施形態に係るロボットシステムにおけるロボット制御装置１００１は、図１に示されるヤコビ行列情報生成装置１により生成される精度がよく正確なヤコビ行列情報を記憶部１０１２に記憶して用いることで、例えば、ビジュアルフィードバックにおけるテンプレート情報に基づく差分算出の精度を向上させることができる。
このように、本実施形態に係るロボットシステムにおけるロボット制御装置１００１は、ビジュアルフィードバック制御によりロボット１００２を制御する際に、例えば、テクスチャーが少ない物体の位置や姿勢の差分を精度よく正確に認識（検出）することを実現することができる。

本実施形態では、一構成例として、ロボット制御装置１００１は、ロボット１００２による作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を２値化し、当該２値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報を含むテンプレート情報を記憶する記憶部１０１２と、記憶部１０１２に記憶されるテンプレート情報を取得するテンプレート情報取得部１０２２と、前記ロボット１００２による作業の対象物となる物体の画像を撮影する撮影部１０１５により撮影された画像を２値化して平滑化する撮影画像処理部１０２３と、テンプレート情報取得部１０２２により取得されたテンプレート情報と、撮影画像処理部１０２３により２値化して平滑化された画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出する差分算出部１０２４と、差分算出部１０２４の算出結果に基づいて、前記ロボット１００２による作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行うロボット制御部１０２１と、を備える。
これにより、ロボット制御装置１００１は、ビジュアルフィードバック制御によりロボット１００２を制御する際に、テクスチャーが少ない物体の差分を精度よく認識することを実現することができる。

［第３実施形態］
本発明の第３実施形態について図面を参照して詳細に説明する。
図８は、本実施形態に係る双腕のロボットシステムの外観例を示す図である。
図８は、本実施形態に係るロボットシステムをその前方から見た外観例を示している。このため、図８における右側が本実施形態に係るロボットシステムの左側に相当し、図８における左側が本実施形態に係るロボットシステムの右側に相当する。

本実施形態に係るロボットシステムは、ベースユニットとなるロボット制御装置２００１と、胴体を構成する部材（胴体部材）２００２、２００３、２００４と、腕（アーム）を構成するマニピュレーター２０１１、２０１２と、車輪２０２１、２０２２と、撮影部２０３１と、を備える。

本実施形態に係るロボットシステムは、ロボット制御装置２００１の上面に胴体部材２００２、胴体部材２００３、胴体部材２００４が順に上側に取り付けられ、最も上部の胴体部材２００４の左側に左腕を構成するマニピュレーター２０１１が取り付けられ、当該最も上部の胴体部材２００４の右側に右腕を構成するマニピュレーター２０１２が取り付けられ、ロボット制御装置２００１の底面の左側に車輪２０２１が取り付けられ、ロボット制御装置２００１の底面の右側に車輪２０２２が取り付けられ、ロボット制御装置２００１の上面に撮影部２０３１が取り付けられて、構成されている。

ここで、本実施形態に係るロボットシステムは、左腕を構成するマニピュレーター２０１１と、右腕を構成するマニピュレーター２０１２とを備えており、このように双方の腕を備えている。
各腕を構成するマニピュレーター２０１１、２０１２は、それぞれ、例えば、３軸ばかりでなく、７軸などのように、任意の軸を有するものであってもよい。

また、本実施形態に係るロボットシステムは、左側の車輪２０２１と、右側の車輪２０２２とを備えており、このように双方の車輪を備えている。
そして、本実施形態に係るロボットシステムは、人力により車輪２０２１、２０２２を回転させて、移動させられることが可能である。

本実施形態に係るロボットシステムでは、ロボット制御装置２００１の内部に、例えば、図７に示されるようなロボット制御装置１００１が備える処理部を格納して備えている。
このロボット制御装置２００１は、例えば、図７に示されるロボット制御装置１００１と同様な機能を有しており、左腕のマニピュレーター２０１１と右腕のマニピュレーター２０１２を制御する。
ここで、このロボット制御装置２００１は、例えば、左腕のマニピュレーター２０１１と右腕のマニピュレーター２０１２とを同時に関連付けて制御してもよく、または、左腕のマニピュレーター２０１１と右腕のマニピュレーター２０１２とをそれぞれ別個に制御してもよい。

本実施形態に係るロボットシステムにおける撮影部２０３１は、例えば、図７に示されるロボット制御装置１００１の撮影部１０１５と同様な機能を有している。
なお、本実施形態に係るロボットシステムにおける撮影部２０３１は、図８に示される場所以外に、ロボットシステムにおける任意の場所に備えられてもよい。
また、他の構成例として、この撮影部２０３１は、図８に示されるロボットシステムとは別に、撮影の対象となる物体（対象物）の付近などに固定的に設置されてもよく、この場合、この撮影部２０３１とロボットシステムのロボット制御装置２００１とが有線の回線または無線の回線により画像のデータなどを通信する。

このように、本実施形態に係るロボットシステムは、例えば、図７に示されるロボットシステムを具体化したものの一例となっている。
ここで、本実施形態に係るロボットシステムが備える２つのマニピュレーター２０１１、２０１２について、例えば、いずれか一方のみのマニピュレーター（マニピュレーター２０１１またはマニピュレーター２０１２のうちの１つのみ）が図７に示されるロボット１００２として用いられてもよく、または、これら両方のマニピュレーター２０１１、２０１２がそれぞれ別々に図７に示されるロボット１００２として用いられてもよく、または、これら両方のマニピュレーター２０１１、２０１２を組み合わせたものが一体として図７に示されるロボット１００２として用いられてもよい。

以上のように、本実施形態に係るロボットシステムでは、例えば、図７に示されるロボット制御装置１００１とロボット１００２に対応するもの（本実施形態に係るロボットシステムでは、ロボット制御装置２００１と、２つのマニピュレーター２０１１、２０１２）が一体として構成されている。
なお、ロボット制御装置２００１に備えられるロボット制御部（例えば、図７に示されるロボット制御部１０２１に対応する処理部）と各マニピュレーター２０１１、２０１２とは、例えば、有線の回線または無線の回線を介して、制御信号などを通信することが可能に接続される。

ここで、他の構成例として、ロボット制御装置２００１に備えられる機能の一部を、図８に示されるロボットシステムとは別体のコントローラーに備えることも可能である。
具体例として、図７に示されるロボット制御装置１００１に備えられる入力部１０１３と出力部１０１４の機能と同様な機能を、図８に示されるロボットシステムとは別体のコントローラーに備え、ロボット制御装置２００１と当該コントローラーとに互いに無線により通信する機能を備えることで、図７に示されるロボット制御装置１００１に備えられる入力部１０１３と出力部１０１４の機能と同様な機能をリモートのコントローラーで実現することが可能である。

［以上の実施形態のまとめ］
ここで、ロボットによる作業の対象となるものとしては、様々なものが用いられてもよく、例えば、ギア（対象物となる物品）を組み付けるギア装置、Ｄ状の部品（対象物となる物品）を組み付けるＤ部組み付け装置に適用することができる。また、例えば、ラックアンドピニオン、チェーン、ベルトなどに適用することもできる。
また、ロボットによる作業の対象となるものとしては、例えば、平面での位置合わせが必要な部品の組み付けばかりでなく、空間での位置合わせが必要な部品の組み付けに適用することも可能である。例えば、ウォームギア、傘歯車などに適用することができる。
また、ロボットによる作業としては、ギア装置あるいはＤ部組み付け装置などのような装置の組み立て作業ばかりでなく、例えば、部品同士の位置および姿勢を合わせることが必要となる作業を行わせる装置などに適用することも可能である。

また、本実施形態では、ロボットの一例として、マニピュレーターを示したが、ロボットとしては、様々なものが用いられてもよい。
具体的には、ロボットとしては、例えば、様々なスカラロボットが用いられてもよく、または、様々な垂直多関節ロボットが用いられてもよい。
また、例えば、片腕ロボット（または、ロボットシステム）や双腕ロボット（または、ロボットシステム）ばかりでなく、３本以上の腕を持つロボット（または、ロボットシステム）が用いられてもよい。また、ロボット（または、ロボットシステム）の移動を可能にする部分（移動部）としては、例えば、車輪を用いるロボット（または、ロボットシステム）ばかりでなく、歩行を用いるロボット（または、ロボットシステム）などが用いられてもよい。

また、例えば、図１に示されるヤコビ行列情報生成装置１の機能と図７に示されるロボット制御装置１００１の機能とを一体化した装置が実施されてもよく、さらに、これらの機能に加えて図７に示されるロボット１００２の機能も一体化したロボットシステムが実施されてもよい。
また、図１に示されるヤコビ行列情報生成装置１により生成されるヤコビ行列に関する情報（ヤコビ行列情報）は、例えば、図７に示されるロボット制御装置１００１により行われるロボットの制御ばかりでなく、様々な用途に適用されてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

なお、以上に説明したヤコビ行列情報生成装置１やロボットシステム（ロボット制御装置１００１など）における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここで言う「コンピューターシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことを言う。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことを言う。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１…ヤコビ行列情報生成装置、１１…モデル取得部、１２…拡大部、１３…レンダリング部、１４…２値化部、１５…平滑化部、１６…リサンプリング部、１７…ヤコビ行列情報算出部、１０１…ＡＣＤモデル、１０２…全体の画像、１０３…全体の画像、１１１…ＣＡＤモデルを拡大したものの画像、１１２…ＣＡＤモデルに相当する部分の画像、１５１…全体の画像、１５２…全体の画像、１６１…物体の画像、１６２…物体の画像、２０１…リサンプリング点、２１１…サンプリング点、３０１…平滑化前の画像、３０２…平滑化後の画像、４０１…リサンプリング前の画像、４０２…リサンプリング後の画像、５０１…全体の画像、５０２…ＣＡＤモデル、５１１…物体の画像、１００１…ロボット制御装置、１００２…ロボット、１００３…回線、１０１１…制御部、１０１２…記憶部、１０１３…入力部、１０１４…出力部、１０１５…撮影部、１０２１…ロボット制御部、１０２２…テンプレート情報取得部、１０２３…撮影画像処理部、１０２４…差分算出部、２００１…ロボット制御装置、２００２…胴体部材、２００３…胴体部材、２００４…胴体部材、２０１１…マニピュレーター、２０１２…マニピュレーター、２０２１…車輪、２０２２…車輪、２０３１…撮影部

Claims (7)

1. 物体のモデルの情報を取得するモデル取得部と、
   前記モデル取得部により取得された前記物体のモデルの情報について、当該モデルを設定された倍率で拡大する拡大部と、
   前記拡大部により拡大されたモデルをレンダリングして画像を生成するレンダリング部と、
   前記レンダリング部により生成された画像を２値化する２値化部と、
   前記２値化部により２値化された画像を平滑化する平滑化部と、
   前記平滑化部により平滑化された画像をリサンプリングして、前記拡大部による拡大の前のサイズと同じサイズの画像を取得するリサンプリング部と、
   前記リサンプリング部により取得された画像について、ヤコビ行列に関する情報を算出するヤコビ行列情報算出部と、
   を備えることを特徴とするヤコビ行列情報生成装置。
2. モデル取得部が、物体のモデルの情報を取得するステップと、
   拡大部が、前記モデル取得部により取得された前記物体のモデルの情報について、当該モデルを設定された倍率で拡大するステップと、
   レンダリング部が、前記拡大部により拡大されたモデルをレンダリングして画像を生成するステップと、
   ２値化部が、前記レンダリング部により生成された画像を２値化するステップと、
   平滑化部が、前記２値化部により２値化された画像を平滑化するステップと、
   リサンプリング部が、前記平滑化部により平滑化された画像をリサンプリングして、前記拡大部による拡大の前のサイズと同じサイズの画像を取得するステップと、
   ヤコビ行列情報算出部が、前記リサンプリング部により取得された画像について、ヤコビ行列に関する情報を算出するステップと、
   を有することを特徴とするヤコビ行列情報生成装置におけるヤコビ行列情報生成方法。
3. モデル取得部が、物体のモデルの情報を取得する手順と、
   拡大部が、前記モデル取得部により取得された前記物体のモデルの情報について、当該モデルを設定された倍率で拡大する手順と、
   レンダリング部が、前記拡大部により拡大されたモデルをレンダリングして画像を生成する手順と、
   ２値化部が、前記レンダリング部により生成された画像を２値化する手順と、
   平滑化部が、前記２値化部により２値化された画像を平滑化する手順と、
   リサンプリング部が、前記平滑化部により平滑化された画像をリサンプリングして、前記拡大部による拡大の前のサイズと同じサイズの画像を取得する手順と、
   ヤコビ行列情報算出部が、前記リサンプリング部により取得された画像について、ヤコビ行列に関する情報を算出する手順と、
   をコンピューターに実行させるためのヤコビ行列情報生成装置におけるヤコビ行列情報生成プログラム。
4. ロボットによる作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を２値化し、当該２値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報を含むテンプレート情報を記憶する記憶部と、
   前記記憶部に記憶されるテンプレート情報を取得するテンプレート情報取得部と、
   前記ロボットによる作業の対象物となる物体の画像を撮影する撮影部により撮影された画像を２値化して平滑化する撮影画像処理部と、
   前記テンプレート情報取得部により取得されたテンプレート情報と、前記撮影画像処理部により２値化して平滑化された画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出する差分算出部と、
   前記差分算出部の算出結果に基づいて、前記ロボットによる作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行うロボット制御部と、
   を備えることを特徴とするロボット制御装置。
5. テンプレート情報取得部が、ロボットによる作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を２値化し、当該２値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報を含むテンプレート情報を記憶する記憶部に記憶されるテンプレート情報を取得するステップと、
   撮影画像処理部が、前記ロボットによる作業の対象物となる物体の画像を撮影する撮影部により撮影された画像を２値化して平滑化するステップと、
   差分算出部が、前記テンプレート情報取得部により取得されたテンプレート情報と、前記撮影画像処理部により２値化して平滑化された画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出するステップと、
   ロボット制御部が、前記差分算出部の算出結果に基づいて、前記ロボットによる作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行うステップと、
   を有することを特徴とするロボット制御装置におけるロボット制御方法。
6. テンプレート情報取得部が、ロボットによる作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を２値化し、当該２値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報を含むテンプレート情報を記憶する記憶部に記憶されるテンプレート情報を取得する手順と、
   撮影画像処理部が、前記ロボットによる作業の対象物となる物体の画像を撮影する撮影部により撮影された画像を２値化して平滑化する手順と、
   差分算出部が、前記テンプレート情報取得部により取得されたテンプレート情報と、前記撮影画像処理部により２値化して平滑化された画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出する手順と、
   ロボット制御部が、前記差分算出部の算出結果に基づいて、前記ロボットによる作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行う手順と、
   をコンピューターに実行させるためのロボット制御装置におけるロボット制御プログラム。
7. ロボットと、前記ロボットを制御するロボット制御装置と、を備え、
   前記ロボット制御装置は、
   前記ロボットによる作業の対象物となる物体のモデルを設定された倍率で拡大し、当該拡大したモデルをレンダリングして画像を生成し、当該生成した画像を２値化し、当該２値化した画像を平滑化し、当該平滑化した画像をリサンプリングして前記拡大の前のサイズと同じサイズの画像を取得し、当該取得した画像について算出したヤコビ行列に関する情報を含むテンプレート情報を記憶する記憶部と、
   前記記憶部に記憶されるテンプレート情報を取得するテンプレート情報取得部と、
   前記ロボットによる作業の対象物となる物体の画像を撮影する撮影部により撮影された画像を２値化して平滑化する撮影画像処理部と、
   前記テンプレート情報取得部により取得されたテンプレート情報と、前記撮影画像処理部により２値化して平滑化された画像の情報について、前記テンプレート情報における前記物体の位置および姿勢と前記平滑化された画像の情報における前記物体の位置および姿勢との差分を算出する差分算出部と、
   前記差分算出部の算出結果に基づいて、前記ロボットによる作業の対象物となる物体の位置および姿勢を目標の位置および姿勢に近づける制御を行うロボット制御部と、を備える、
   ことを特徴とするロボットシステム。