JP2016129922A - 表示制御装置及びその方法、プログラム - Google Patents

Abstract

【課題】 処理対象の状態の視認性を向上する。
【解決手段】 ロボット及びそのロボットが操作する対象の少なくとも一方を含む処理対象の計測情報を取得する。計測情報に基づく、観察者が観察可能な表示情報を生成する。表示情報に基づいて、処理対象の一部の特徴を強調した強調表示情報を生成する。強調表示情報と、表示情報中の強調表示情報以外の非強調表示情報とを整合して合成表示情報を生成する。合成表示情報を表示部に出力する。
【選択図】 図１

Description

本発明は、ロボットの動作を表示する表示制御技術に関するものである。

ロボットの動作教示において、部品等の対象物体の移動や、嵌め込み動作を教示する際に、その位置、姿勢のずれや、ターゲットの嵌め込み時に生じる力を教示者に可視化すると、状況の把握に役立つことが知られている。非特許文献１においては、ロボットの手先に取り付けられたカメラの画像に、対象との位置・姿勢ずれ、作用する力等の情報を、三次元空間のＸＹＺ各軸について矢印の大きさとグラフで重畳表示して、教示者を補助するユーザインタフェースを提案している。

第１回「次世代ロボット知能化技術開発プロジェクト」（事後評価）分科会 資料５−１

しかしながら、矢印やグラフで情報を可視化する方法は、例えば、位置ずれ、姿勢ずれ、作用する力の全てを一度に可視化するような場合には、多くの矢印やグラフで画像の表示内容が非常に煩雑になり、教示者の直感的な把握を妨げてしまうことがある。

本発明は上記の課題に鑑みてなされたものであり、処理対象の状態の視認性を向上することができる表示技術を提供することを目的とする。

上記の目的を達成するための本発明による表示制御装置は以下の構成を備える。即ち、
ロボットの動作を表示する表示制御装置であって、
前記ロボット、及びそのロボットが操作する対象の少なくとも一方を含む処理対象の計測情報を取得する取得手段と、
前記計測情報に基づく、観察者が観察可能な表示情報を生成する生成手段と、
前記表示情報に基づいて、前記処理対象の一部の特徴を強調した強調表示情報を生成する強調手段と、
前記強調表示情報と、前記表示情報中の前記強調表示情報以外の非強調表示情報とを整合して合成表示情報を生成する整合手段と、
前記合成表示情報を出力する出力手段と
を備える。

本発明によれば、処理対象の状態の視認性を向上することができる表示技術を提供できる。

実施形態１のシステム構成を示す図である。 実施形態１の動作を説明するフローチャートである。 実施形態１の撮像画像を示す図である。 実施形態１の各部の位置姿勢を示す図である。 実施形態１の位置ずれ画像を示す図である。 実施形態１の強調画像を示す図である。 実施形態１の強調領域を示す図である。 実施形態１の合成画像を示す図である。 実施形態１の整合領域を示す図である。 実施形態１の整合画像を示す図である。 実施形態２のシステム構成を示す図である。 実施形態２の動作を説明するフローチャートである。 実施形態２の仮想的に構築されたロボット環境を示す図である。 実施形態３のシステム構成を示す図である。 実施形態３の動作を説明するフローチャートである。 その他の実施形態の、接触で生じた作用力によって、撮像画像中の対象部品を変形させて強調する前後の様子を示す図である。 その他の実施形態の固定部品に対する対象部品の角度ずれを強調する前後の様子を示す図である。 その他の実施形態のフィンガと対象部品の速度を強調する前後の様子を示す図である。 その他の実施形態のフィンガの三次元形状を並進、回転させて強調した対象部品と整合性を取る前後の様子を示す図である。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

＜実施形態１＞
以下では、ロボット（例えば、アーム型ロボット）の先端に装着された撮像装置（カメラ）からの撮像画像を用いて、教示時に必要な位置情報を強調した上で可視化（表示制御）するロボット情報表示システム（表示制御装置）について説明する。

従来のシステムでは、カメラの撮像画像に対して、操作対象の各軸方向の位置ずれや角度ずれ等の情報を、矢印の大きさやグラフで重畳表示していた。しかし、多くの情報を重畳表示した場合、画面内容が煩雑になり、微小なずれが視認しにくい問題がある。

そこで、本実施形態では、撮像画像中のロボットあるいはロボットが操作する対象の一部の変位と大きさを強調した上で可視化を行い、観察者に出力する。これにより、ロボットの教示時に、観察者はカメラによる撮像画像を用いた合成画像を観察することで、直感的かつ容易に、対象物の位置ずれを確認できる。

図１は、ロボットが把持して嵌め込みを行う部品の撮像画像中の微小な位置ずれを強調して、観察者に出力するロボット情報表示システム全体の構成を示す。

ロボット１０１は、先端に取り付けられたフィンガ１０２を用いて対象部品１０３を把持して、動かないように固定された固定部品１０４へ嵌め込み動作を行うように配置されている。カメラ１０５は、ロボット１０１上のフィンガ１０２の後方に配置されており、フィンガ１０２、フィンガ１０２が把持する対象部品１０３、固定部品１０４の状態を撮影し、撮像画像を出力する撮像部として機能する。トラッカー１０６は、トラッカー１０６自身を基準位置として、ロボット１０１の先端に取り付けられたターゲットコイル１０７の位置姿勢を計測する。

画像入力部１０８は、カメラ１０５に接続されており、カメラ１０５で撮像した撮像画像を取得し、入力画像として保持する。計測情報取得部１０９は、計測情報として、トラッカー１０６で取得したターゲットコイル１０７の現在の位置姿勢を示す位置姿勢情報を取得し、保持する。また、計測情報取得部１０９は、予め計測された、ロボット１０１のフィンガ１０２とターゲットコイル１０７の位置関係、固定部品１０４の位置等、ロボット１０１とその周辺の環境に関する環境情報を保持する。

表示情報変換部１１０は、撮像画像と、計測情報取得部１０９が保持する環境情報と計測情報とから、撮像画像を加工することで、表示情報としての位置ずれ画像を生成する。位置ずれ画像は、後述する撮像画像に対象部品１０３、固定部品１０４の位置情報を付加して、双方の位置ずれを可視化したものである。

表示情報強調部１１１は、位置ずれ画像の中から、強調表示するべき対象部品１０３、固定部品１０４のみの画像を抽出、拡大して強調表示情報である強調画像を生成する。表示整合部１１２は、強調画像と、位置ずれ画像中の対象部品１０３、固定部品１０４に対応する画像を除く領域を非強調表示情報として、双方を違和感が出ないように整合性を取って合成し、合成画像（合成表示情報）を生成する。表示出力部１１３は、液晶モニタ等の表示部１１４に接続されており、生成した合成画像を観察者に対して視認できるように出力する。

尚、図１に示すシステムは、図示の構成要素以外に、ＣＰＵ、ＲＯＭ、ＲＡＭ等のコンピュータに搭載される構成要素を備えている。そして、このＣＰＵが、ＲＯＭに記憶されているプログラムを読み出し、ＲＡＭ上で実行することで、図１に示す各種構成要素の動作を制御する。また、画像入力部１０８〜表示出力部１１３までの各種構成要素は、専用のハードウェアで実現されても良いし、ＣＰＵによって実行されるプログラム（ソフトウェア）で実現されても良い。

図２に、ロボット１０１の先端に装着されたカメラ１０５からの撮像画像を用いて、教示に必要な位置情報を強調した上で可視化する動作を説明するフローチャートを示す。尚、このフローチャートが示す処理は、ＣＰＵが、ＲＯＭに記憶されているプログラムを読み出し実行することで実現される。

Ｓ２０１で、カメラ１０５が、カメラ１０５前方に位置するフィンガ１０２、フィンガ１０２が把持する対象部品１０３、固定部品１０４の状態／様子を撮像する。これによって得られる撮像画像の一例が、図３に示す撮像画像３０１である。図３に示すように、撮像画像３０１には、フィンガ１０２、対象部品１０３、及び固定部品１０４それぞれの画像が含まれている様子を示している。

Ｓ２０２で、画像入力部１０８が、撮像画像を入力画像として取得し、保持する。Ｓ２０３で、計測情報取得部１０９が、計測情報を取得する。具体的には、計測情報取得部１０９は、図４に示すように、トラッカー１０６を基準位置として、ロボット１０１の先端に取り付けられたターゲットコイル１０７の位置姿勢Ｐｃを計測情報として取得する。位置姿勢Ｐｃは、以下で説明するように、トラッカー１０６を用いて計測する。

トラッカー１０６は、その内部に直交する３軸各方向に送信用コイルを備えており、所定周波数の交流磁界をその空間に発生させる。また、ターゲットコイル１０７は、その内部に直交する３軸各方向に受信用コイルを備えており、交流磁界内で電磁誘導による起電力が発生する。受信コイル全体の起電力の大きさを、予め計測しておいた各位置における値と比較することで、トラッカー１０６とターゲットコイル１０７間の距離を計測することができる。また、送信コイルの各軸での磁界発生時における受信コイルの各軸の起電力の大きさを比較することで、受信コイル、即ち、ターゲットコイル１０７の３軸での姿勢を計測することができる。

トラッカー１０６は、これらの計測値を用いて、ターゲットコイル１０７の位置姿勢Ｐｃを計測する。Ｐｃは、以下の（１）式の様にそれぞれ回転行列Ｒｃと並進ベクトルＴｃを合わせた４×４のＡｆｆｉｎｅ行列で表わされる。以下、同様に記載する位置姿勢も、同様のＡｆｆｉｎｅ行列で表わされるものとする。位置姿勢Ｐｃは、トラッカー１０６で計測後、計測情報として計測情報取得部１０９に転送、保持される。

また、計測情報取得部１０９は、環境情報として、予め計測したターゲットコイル１０７を基準位置としたカメラ１０５の位置姿勢Ｐａ、フィンガ１０２の先端の位置姿勢Ｐｆを保持している。更には、計測情報取得部１０９は、環境情報として、位置姿勢Ｐｆを基準にした対象部品１０３の嵌め込み位置姿勢Ｐｔ、トラッカー１０６を基準位置とした固定部品１０４の嵌め込み位置姿勢Ｐｘを保持している。また、計測情報取得部１０９は、予め計測したカメラ１０５のカメラ内部パラメータである焦点距離ｆと、対象部品１０３及び固定部品１０４の三次元形状情報であるＣＡＤデータも保持している。尚、本実施形態で用いるカメラ１０５の原点位置と、画像の中心は一致するものとする。

Ｓ２０４で、表示情報変換部１１０が、撮像画像３０１、計測情報取得部１０９が保持する環境情報と計測情報を用いて、表示情報を生成する。図５に、表示情報の一例である、位置ずれ画像５０１を示す。

最初に、表示情報変換部１１０は、計測情報取得部１０９から計測情報である位置姿勢Ｐｃを取得する。同様に、表示情報変換部１１０は、計測情報取得部１０９から環境情報である各種位置姿勢Ｐａ、Ｐｆ、Ｐｔ、Ｐｘを取得する。また、表示情報変換部１１０は、計測情報取得部１０９から、予め計測したカメラ１０５の焦点距離ｆと、対象部品１０３及び固定部品１０４のＣＡＤデータも取得する。

次に、表示情報変換部１１０は、カメラ１０５から観察した撮像画像上における対象部品１０３の嵌め込み位置Ｔｔｃ、固定部品１０４の嵌め込み位置Ｔｘｃを計算する。Ｔｔｃ、Ｔｘｃは、各構成要素の位置姿勢を用いて下記の（２）式で計算できる。

ここで、（２）式におけるＰｒｏｊは、カメラ１０５の投影行列であり、焦点距離ｆを用いて下記の（３）式で表わされる。

表示情報変換部１１０は、撮像画像３０１に対して、図５に示すように、計算した嵌め込み位置Ｔｔｃ、Ｔｘｃの位置上にクロスヘアカーソル５０２及び５０３を描画する。これらは、対象部品１０３と固定部品１０４の嵌め込み位置のずれを可視化する表示情報として機能する。更に、表示情報変換部１１０は、嵌め込み位置Ｔｔｃ、Ｔｘｃ上にそれぞれ対象部品１０３、固定部品１０４の三次元形状のエッジ部分５０４を表示情報として描画する。この時、カメラ１０５の視点から隠れて直接観察できない隠れエッジ部分は点線で描画する。これにより、固定部品１０４の見え方が対象部品１０３によって大きく遮られている場合でも、固定部品１０４の位置を視認することができる。

Ｓ２０５で、表示情報強調部１１１が、表示情報を強調するための強調画像を生成する。具体的には、表示情報強調部１１１は、位置ずれ画像５０１の中から、強調表示するべき対象部品１０３と、固定部品１０４の嵌め込み部５０５のみを抽出・拡大し、強調表示情報として、図６に示すような強調画像６０１を生成する。

まず、Ｓ２０３で計算した嵌め込み位置Ｔｔｃ、Ｔｘｃに、対象部品１０３、固定部品１０４の三次元形状を描画した領域から、図５の位置ずれ画像５０１における対象部品１０３と、固定部品１０４の嵌め込み部５０５に相当する強調対象領域７０１（図７）を抽出する。次に、抽出した強調対象領域７０１を、嵌め込み位置Ｔｔｃ、Ｔｘｃの中点位置Ｔｃｅｎｔｅｒを中心として、例えば、拡大率Ｍ＝１．５倍で拡大し、図６に示す強調画像６０１を生成する。

これにより、位置ずれ画像５０１上では、確認が難しかった、対象部品１０３と固定部品１０４間の微小な位置ずれを拡大して強調することで、位置ずれの把握を容易に確認することができる。

Ｓ２０６で、表示整合部１１２が、位置ずれ画像５０１と強調画像６０１との表示整合を行う。具体的には、表示整合部１１２は、非強調表示情報である位置ずれ画像５０１と、強調表示情報である強調画像６０１を違和感が生じないように整合性を持たせて合成する。図８に合成画像８０１の一例を示す。

ここでは、まず、表示整合部１１２は、Ｓ２０４で変換した位置ずれ画像５０１における強調対象領域７０１を１．７倍に拡大した領域と、強調対象領域７０１の領域の差として、図９に示す整合領域９０１を抽出する。次に、表示整合部１１２は、整合領域９０１内で、中心Ｔｃｅｎｔｅｒに最も近い領域の拡大率Ｍに等しい１．５倍、最も遠い領域を当倍、その間の拡大率をグラデーション的に変化させて画像の変形を行い、図１０に示す整合画像１００１を生成する。更に、表示整合部１１２は、位置ずれ画像５０１に対して、整合画像１００１、強調画像６０１の順序で重畳することで、合成画像８０１を生成する。これにより、位置ずれ画像５０１と強調画像６０１の間に不連続な部分が生じることなく、違和感のない統合を行うことができる。

この合成画像８０１は、元の撮像画像と変わらない視野を有しながら、注意するべき対象部品１０３、固定部品１０４の間の微小な位置ずれを簡単に把握することが可能となっている。その結果、画面内容を煩雑にすることなく、観察者は合成画像から位置ずれの情報を直感的に把握できるようになる。つまり、本実施形態では、強調画像６０１を生成することで、画像中の所定の関心領域（強調画像６０１）と他の領域とを容易に識別可能にすることができる。尚、本実施形態では、表示画像中の注目領域画像を拡大し、また、その濃度値（輝度値／画素値）を、それ以外の他の領域画像に比べて、高くすることで、画像の特性を強調した強調画像を生成しているが、これに限定されるものではない。例えば、濃度値ではなく、対象の注目領域画像に所定のパターンを施したり、鮮鋭化を施しても良い。

Ｓ２０７で、表示出力部１１３が、画像を出力する。具体的には、図８に示す合成画像８０１を表示部１１４上に出力し、観察者に提示する。観察者は、この表示部１１４の出力を通じて、教示時におけるロボットの位置ずれを確認することができる。

以上説明したように、本実施形態によれば、観察者はカメラによる撮像画像中のロボットあるいはロボットが操作する対象の一部の変位と大きさを強調した合成画像を観察することで、直感的かつ容易に位置ずれを確認できる。

＜実施形態２＞
実施形態２では、実施形態１における実際のロボットに関する情報を取得する代わりに、計算機で再現されたオフライン教示環境において、ＣＧ画像を用いて教示時に必要な位置情報を強調した上で可視化するロボット情報表示システムについて説明する。

従来のオフライン教示環境においても、ロボット環境を表すＣＧ画像に対して、各軸方向の位置ずれや角度ずれ等の情報を、数値や矢印の大きさ、グラフで重畳表示していた。しかし、多くの情報を重畳表示した場合、画面内容が煩雑になり、微小なずれが視認しにくい問題もある。

そこで、本実施形態では、ＣＧ画像中のロボットあるいはロボットが操作する対象の一部の変位と大きさを強調した上で可視化を行い、観察者に出力する。これにより、ロボットのオフライン教示時に、観察者はＣＧ画像を用いた合成画像を観察することで、直感的かつ容易に位置ずれを確認できる。

図１１は、ロボットが把持して嵌め込みを行う部品のＣＧ画像中の微小な位置ずれを強調して、観察者に出力するロボット情報表示システム全体の構成を示す。

環境再現部１１０１は、実施形態１におけるロボット１０１とその周辺環境の三次元形状と力学的な振舞いをシミュレーションによって再現し、図１３に示す再現環境１３０１を仮想的に構築する。ＣＧ生成部１１０２は、仮想的に構築された再現環境１３０１に基づいて、図１３に示す仮想カメラ１３０４から観察した視点のＣＧ画像を生成する。

図１１における画像入力部１１０８〜表示部１１１４は、それぞれ実施形態１の図１における画像入力部１０８〜表示部１１４に対応し、同様の機能を有する。但し、画像入力部１１０８は、入力画像としてＣＧ画像を取得する。また、計測情報取得部１１０９は、計測情報を実施形態１におけるトラッカー１０６に代わって、環境再現部１１０１から計測情報を取得する。

尚、図１１に示すシステムは、図示の構成要素以外に、ＣＰＵ、ＲＯＭ、ＲＡＭ等のコンピュータに搭載される構成要素を備えている。そして、このＣＰＵが、ＲＯＭに記憶されているプログラムを読み出し、ＲＡＭ上で実行することで、図１１に示す各種構成要素の動作を制御する。また、環境再現部１１０１〜表示出力部１１１３までの各種構成要素は、専用のハードウェアで実現されても良いし、ＣＰＵによって実行されるプログラム（ソフトウェア）で実現されても良い。

図１２に、オフライン教示時に表示されるＣＧ画像に対して、教示に必要な位置情報を強調した上で出力する動作を説明するフローチャートを示す。尚、このフローチャートが示す処理は、ＣＰＵが、ＲＯＭに記憶されているプログラムを読み出し実行することで実現される。

Ｓ１２０１で、環境再現部１１０１が、再現環境を生成する。具体的には、環境再現部１１０１は、実施形態１におけるロボット１０１とその周辺環境の三次元形状と力学的な振舞いをシミュレーションによって再現し、図１３に示す再現環境１３０１を仮想的に構築する。再現環境１３０１は、図１３に示す仮想ロボット１３０２、仮想フィンガ１３０３、仮想カメラ１３０４、仮想対象部品１３０５、仮想固定部品１３０６の形状を表すＣＡＤデータと、実施形態１の図４におけるＰａ、Ｐｆ、Ｐｔ、Ｐｘに相当する各位置姿勢、ターゲットコイル１０７の位置姿勢Ｐｃに相当する位置姿勢を生成するための仮想ロボット１３０２の各関節角度から構成されている。

Ｓ１２０２で、ＣＧ生成部１１０２が、生成した再現環境１３０１の情報に基づいて、仮想ロボット１３０２に搭載された仮想カメラ１３０４の視点から仮想ロボット１３０２とその周辺環境のＣＧ画像を生成する。

次に、移行のＳ１２０３〜Ｓ１２０６は、実施形態１におけるＳ２０３〜Ｓ２０６と同様の動作を行う。但し、実施形態１のＳ２０２では、撮像画像３０１を入力画像としているが、Ｓ１２０２では、撮像画像３０１の代わりにＣＧ画像を入力画像とする。また、実施形態１のＳ２０３では、トラッカー１０６から計測情報を取得しているが、Ｓ１２０３では、トラッカー１０６に代わりに再現環境１３０１を構築している環境再現部１１０１から計測情報を取得する。

以上説明したように、本実施形態によれば、観察者は生成されたＣＧ画像中のロボットあるいはロボットが操作する対象の一部の変位と大きさを強調した合成画像を観察することで、直感的かつ容易に位置ずれを確認できる。

＜実施形態３＞
実施形態３では、実施形態１と同様に、出力された合成画像を観察した上で、強調された位置ずれの強調度合いに応じてロボットの動作ゲインを変化させ、実際にロボットを操作することができるロボット情報表示システムについて説明する。

従来のシステムでは、ティーチングペンダントによる操作に対して、教示者が設定した一定の動作ゲインでロボットが動作する形式となっていた。しかし、目標位置から遠い場合には動作ゲインが足りず、目標位置に近い場合には動作ゲインを増やす必要があり、しかも目標値に正確に位置合わせするためにはロボットの動きを細かく観察して位置ずれを確認する必要があった。

本実施形態では、撮像画像中のロボットあるいはロボットが操作する対象の一部の変位と大きさを強調することで、観察者は容易に位置ずれを確認することができる。更に、目標値の位置と現在位置の差に基づいて、位置ずれの強調度合いを自動的に変化させ、強調度合いとロボットの動作ゲインを連動させる。これによって、目標位置から遠い場合には高速に、目標位置に近づくにつれて低速にロボットを動作させることができ、より複雑で繊細な動作を短時間かつ簡単に教示できるようになる。

図１４に、ロボットが把持して嵌め込みを行う部品同士で接触した場合に発生する作用力を撮像画像中で強調して観察者に出力し、強調度合いに応じてロボットの動作ゲインを変更するロボット情報表示システム全体の構成を示す。

図１４におけるロボット１４０１〜表示部１４１４は、それぞれ実施形態１の図１におけるロボット１０１〜表示部１１４に対応し、同様の機能を有する。但し、ロボット１４０１は、ロボット操作部（例えば、操作盤）１４１７からの操作信号に従って動作する。また、表示情報強調部１４１１は、強調度設定部１４１５で設定された強調度合いに基づいて強調画像を生成する。

強調度設定部１４１５は、計測情報取得部１４０９が有するロボット１４０１のフィンガ１４０２とターゲットコイル１４０７の位置関係、固定部品１４０４の位置等の、ロボット１４０１とその周辺の環境情報と、ターゲットコイル１４０７の位置姿勢Ｐｃの計測情報に基づいて、表示情報強調部１４１１で生成する強調画像の強調度合いである拡大率を設定する。

動作ゲイン設定部１４１６は、強調度設定部１４１５で設定した拡大率に基づいて、ロボットの動作ゲインを設定する。ロボット操作部１４１７は、観察者の操作と、動作ゲイン設定部１４１６で設定された動作ゲインに基づいて、ロボット１４０１に制御パラメータを送信して、ロボットの動作を制御するロボット制御部として機能する。このロボット操作部１４１７は、操作ボタンや操作コントローラ、スイッチ等の物理的な操作部品で構成される。

尚、図１４に示すシステムは、図示の構成要素以外に、ＣＰＵ、ＲＯＭ、ＲＡＭ等のコンピュータに搭載される構成要素を備えている。そして、このＣＰＵが、ＲＯＭに記憶されているプログラムを読み出し、ＲＡＭ上で実行することで、図１４に示す各種構成要素の動作を制御する。また、画像入力部１４０８〜表示出力部１４１３、強調度設定部１４１５及び動作ゲイン設定部１４１６までの各種構成要素は、専用のハードウェアで実現されても良いし、ＣＰＵによって実行されるプログラム（ソフトウェア）で実現されても良い。

図１５に、ロボット先端に装着されたカメラからの撮像画像を用いて、教示に必要な位置情報を強調して可視化し、その強調度合いに応じてロボットの動作ゲインを設定してロボットを操作する動作を説明するフローチャートを示す。尚、このフローチャートが示す処理は、ＣＰＵが、ＲＯＭに記憶されているプログラムを読み出し実行することで実現される。

Ｓ１５０１〜Ｓ１５０４は、実施形態１におけるＳ２０１〜Ｓ２０４と同様の動作を行う。Ｓ１５０５で、強調度設定部１４１５が、位置ずれ画像に対する強調の度合いを示す強調度を設定する。特に、強調度設定部１４１５は、強調度として、拡大率Ｍを設定する。拡大率Ｍは、以下の（４）式で表わされる。

ここで、αは拡大率Ｍの度合いを調整するための固定値を持つ係数であり、βは位置ずれが極小になった際に、拡大率の最大値をＭ＝α／βとするための固定値を有する係数である。また、（４）式中のＴｘ、Ｔｔｆｃは以下の（５）式で表わされる。

Ｐｃ、Ｐｆ、Ｐｔ、Ｐｘ、は、それぞれ実施形態１における各位置姿勢と同一であり、計測情報取得部１４０９から取得する。このように、拡大率Ｍを動的かつ自動的に変化させることで、目標位置から遠い場合には強調を特に行わず、目標位置に近づくにつれて強調度合いを強め、微小な位置ずれを容易に確認することができるようになる。

Ｓ１５０６〜Ｓ１５０８は、実施形態１におけるＳ２０５〜Ｓ２０７と同様の動作を行う。Ｓ１５０９で、動作ゲイン設定部１４１６が、設定した拡大率Ｍに基づいて、ロボット１４０１の動作ゲインＧを設定する。ロボット１４０１の動作ゲインＧは、標準時をＧ＝１として、ロボット１４０１の操作入力時の単位移動量の割合を設定する。動作ゲインＧは、拡大率Ｍを用いて、以下の（６）式で表われるように、拡大率Ｍに応じて動的に変化させる。

ここで、γは、拡大率Ｍに対して動作ゲインＧの値を適切に調整するための固定値を有する比例係数であり、拡大率Ｍが最大値の時にＧ＝１となるよう（７）式で表わされる。

Ｓ１５０９で、ロボット操作部１４１７が、観察者のボタン入力によるロボット操作入力を受けて、ロボット１４０１を動作させる。ロボット１４０１の動作は、トラッカー１４０６を基準位置として、ロボット１４０１の手先のＸＹＺ方向の三次元位置と、回転角度を観察者のボタン入力で変化させる。一度のボタン操作入力によるロボットの単位移動量Ｓは、以下の（８）式で表わされる。

ここで、基本移動量ｓは基準となる最大速度であり、動作ゲインＧ＝１、即ち、ロボットが目標位置から十分遠い場合に、高速に動作させる際の所定の速度を予め設定しておく。このように、動作ゲインＧに応じて単位移動量Ｓを変化させることで、目標位置から遠い場合には高速に、目標位置に近づくにつれて低速にロボットを動作させることができ、迅速かつ正確にロボットを操作して目標値に位置合わせすることができる。

以上説明したように、本実施形態によれば、撮像画像中のロボットあるいはロボットが操作する対象の一部の変位と大きさを強調することで、観察者は容易に位置ずれを確認することができる。更に、目標値の位置と現在位置の差に基づいて強調度合いを自動的に変化させ、強調度合いとロボットの動作ゲインを連動させる。これによって、目標位置から遠い場合には高速に、目標位置に近づくにつれて低速にロボットを動作させることができ、より複雑で繊細な動作を短時間かつ簡単に教示できるようになる。

＜その他の実施形態＞
＜複数個所と優先度を設定して強調＞
実施形態１〜３における合成画像は、一か所の位置情報について強調を行っているが、これに限定されるものではない。例えば、対象物体を障害物に接触させずに、障害物付近を通過させる場合等、複数の接触する可能性のある部位の位置を拡大して強調してもよい。

尚、あまりに多くの個所を強調した場合、合成画像が撮像画像と大きく変化して、強調していない領域を確認しにくくなり、位置情報の直観的な把握が難しくなる問題がある。このため、強調する候補となる位置が多く存在する場合には、例えば、実施形態３の構成に対し、強調する位置（部位）を選択する機能である強調部位選択部を追加して、強調対象を制限する、あるいは、優先順位を設定するようにしてもよい。この時、強調部位選択部には、ロボットが目的とするタスク内容に対応して位置合わせを行う教示順序を予め設定しておき、現在の教示順序を観察者がロボット操作部で指定することによって、強調する位置を自動で選択させることができる。もちろん、ロボット操作部に撮像画像中の位置を指定するトラックパッド等の強調位置指定部を設けて、直接強調する位置を指示してもよい。

これにより、合成画像における強調する部分を限定することで、強調する候補となる位置が多くある場合にも、位置情報の直観的な把握が可能となる。

＜作用力によって変形させる場合＞
実施形態１〜３における強調画像は、教示時に必要な位置情報を強調しているが、これに限定されるものではない。その他、角度、速度、加速度、作用力等の変位量あるいは変化量に対して、拡大、移動、変形によって強調が可能な情報であれば、どのようなものでもよい。例えば、対象部品と固定部品間の接触等の作用で生じた作用力を、ロボットに力センサを付加して計測し、これを可視化、強調してもよい。図１６に、ロボットのフィンガ１６０１で把持した対象部品１６０２の固定部品１６０３上の嵌め込み位置１６０４への嵌め込み時、接触点１６０５上での接触によって発生した作用力ｆの強調前画像（図１６（ａ））と、強調後画像（図１６（ｂ））を示す。

この場合、対象部品１６０２の方が強度的に弱く壊れやすい物として、より着目するべき対象部品１６０２を、作用力ｆが生じた方向に縮小することで強調している。もちろん、強度比や硬さに比例させて双方ともに変形させてもよいし、摩擦によるせん弾力が発生している場合には、縮小でなくせん弾方向へ斜めに変形させてもよい。

これにより、本来は、撮像画像を観察しただけでは確認できない、作用力の発生位置と大きさを、直観的に把握できるようになる。

＜角度ずれを強調する場合＞
その他の例としては、対象部品と固定部品間で回転角度にずれが生じている場合、これを強調してもよい。図１７に、ロボットのフィンガ１７０１で把持した矩形状の対象部品１７０２の固定部品１７０３への嵌め込み動作の教示時に生じた、角度ずれθの強調前画像（図１７（ａ））と、強調後画像（図１７（ｂ））を示す。

対象部品１７０２は、固定部品１７０３の嵌め込み角度に対してθ＝２°傾斜しており、このままでは、嵌め込むことができないものの、角度ずれはごく小さいため、図１７（ａ）に示すように、そのままでは目視でずれを確認するのは困難である。そこで、図１７（ｂ）に示すように、角度ずれを１０倍のθ’＝２０°とすることで、角度ずれを強調させる。この時、対象部品１７０２を把持しているフィンガ１７０１の傾斜も同様に変化させる。このフィンガ１７０１の角度変化で、合成画像に違和感が生じないように、必要に応じて表示整合部がロボットのその他の関節の角度の整合性を取った上で合成画像として出力する。

これにより、部品間の微小な角度ずれを直感的に把握できるようになる。

＜速度もしくは加速度によって変形させる場合＞
その他の例としては、ロボットの移動速度や加速度が情報として重要な場合は、対象部品やロボットのフィンガ等の大きさを強調することで、これを可視化、強調してもよい。図１８に、ロボットのフィンガ１８０１で対象部品１８０２を保持したまま、移動方向１８０３に速度ｖで移動する動作時における、移動速度の強調前画像（図１８（ａ））と、強調後画像（図１８（ｂ））を示す。

本例の場合、強調する対象であるフィンガ１８０１と対象部品１８０２を、移動方向１８０３に速度ｖに比例させて拡大することで強調している。もちろん、速度ｖでなく、加速度が情報として重要な場合には、加速度に応じて強調を行ってもよい。また、拡大するだけでなく、移動軌跡に沿って残像を出すような映像効果を付加してもよい。

これにより、背景に模様が乏しく、相対的な移動速度が分かりにくいような状況下でも、ロボットの移動する速度の大きさや向きを、直感的に把握できるようになる。

＜強調度合いを自動／手動で調節＞
実施形態３における合成画像の拡大率Ｍは、動的に（４）式を用いて自動的に設定しているが、これに限定されるものではない。拡大率Ｍを、自動もしくは手動で設定する構成であれば、どのようなものであってもよい。例えば、ロボット操作部に強調度調節部となるノブ等を増設して、観察者が拡大率を直接、操作できるようにしてもよい。これにより、操作は増えるものの、より観察者の意図する通りの強調を行うことができる。もちろん、実施形態３と同様に、手動で設定した拡大率Ｍに応じてロボットの動作ゲインＧを変えてもよい。

＜ＣＧを描画する時点で強調、整合性を取る方法＞
実施形態２における合成画像は、Ｓ１２０２で生成したＣＧ画像を用いて強調を行っているが、これに限定されるものではない。ＣＡＤデータに基づいて最終的に合成画像をＣＧとして出力できれば、その他の強調を実現する構成を用いてもよい。例えば、Ｓ１２０３でＣＧ画像を生成する代わりに計測情報取得部１１０９から取得した仮想対象部品１３０５、仮想固定部品１３０６のＣＡＤデータ中の三次元形状を保持しておき、Ｓ１２０４で仮想対象部品１３０５、仮想固定部品１３０６の強調対象領域に相当する部位のみを抽出し、三次元形状の段階で拡大して強調させる。Ｓ１２０５で強調対象領域周辺（強調対象領域を規定する位置（例えば、重心）を中心にした所定範囲内）の三次元形状の拡大率を変化させて整合性を取りながら、Ｓ１２０６で表示出力部１１１３がＣＧ画像を生成させる形式としてもよい。

このように、三次元形状として拡大・強調させることで、画像としてより矛盾がなく、直観的に位置ずれを把握しやすい合成画像を生成することができる。

＜本来、可動しない自由度を使って整合性を取る方法＞
Ｓ１２０５では、表示整合部１１０５が整合性を取る処理で、強調対象領域周辺の三次元形状の拡大率を変化させているが、これに限定されるものではない。強調表示情報と非強調表示情報を違和感なく合成できる構成であれば、その他の整合性を取る処理を行ってもよい。例えば、拡大率を変化させる代わりに、強調対象領域周辺の三次元形状を並進、回転させてもよい。例えば、強調対象領域である仮想対象部品１３０５を把持する強調対象領域周辺の仮想フィンガ１３０３は、仮想対象部品１３０５が拡大されると、そのままでは図１９（ａ）に示すように把持位置とのずれが生じた状態となる。ここで、仮想フィンガ１３０３が本来移動する並進方向１９０１でなく、図１９（ｂ）に示すように、根元の回転方向１９０２を回転させて把持位置に整合性を持たせる。

このように、ロボットの強調対象領域周辺を、本来、動作しない位置もしくは回転方向に移動させることで、画像としてより矛盾がなく、直観的に位置ずれを把握しやすい合成画像を生成することができる。

＜強調対象領域と非強調対象領域を明示的に分けない方法＞
実施形態１〜３における表示整合部は、例えば、実施形態１のＳ２０６における整合性を取る処理で、強調表示情報と非強調表示情報の間に、整合領域を設定して整合性を取っているが、これに限定されるものではない。強調表示情報と非強調表示情報を違和感なく合成できる構成であれば、その他の整合性を取る処理を行ってもよい。例えば、強調表示情報の中心部に最大の拡大率Ｍを設定し、非強調表示情報に相当する領域へ近づくにつれて徐々に拡大率Ｍを減少させて整合性を取ってもよい。

このように、強調表示情報を中心として、非強調表示情報との間の強調度合いを連続的に変化させることで、より画像としてより矛盾がない合成画像を生成することができる。

＜実施形態の効果＞
実施形態１では、ロボット先端に装着されたカメラからの撮像画像を用いて、教示時に必要な位置情報を強調した上で可視化を行い、観察者に出力する。これにより、観察者はカメラによる撮像画像を用いた合成画像を観察することで、直感的かつ容易に位置ずれを確認できる。

実施形態２では、実際のロボットに代わって計算機で再現されたオフライン教示環境において、ＣＧ画像を用いて教示時に必要な位置情報を強調した上で可視化を行い、観察者に出力する。これにより、観察者はＣＧ画像を用いた合成画像を観察することで、直感的かつ容易に位置ずれを確認できる。

実施形態３では、実施形態１の形態と同様に、出力された合成画像を観察した上で、強調された位置ずれの強調度合いに応じてロボットの動作ゲインを変化させ、実際にロボットを操作する。これにより、ロボットの教示時に、観察者は容易に位置ずれを確認することができる。更に、目標位置から遠い場合には高速に、目標位置に近づくにつれて低速にロボットを動作させることができ、より複雑で繊細な動作を短時間かつ簡単に教示できるようになる。

＜定義＞
計測情報取得部は、ロボット及びロボットが操作する対象の少なくとも一方を含む処理対象の位置、姿勢、速度、加速度、作用力のいずれか一つ以上の計測尺度（測定基準）による計測情報を保持するものであれば、どのようなものであってもよい。一例が、実施形態１〜３における計測情報取得部である。

また、表示情報変換部は、計測情報を、観察者が観察可能な情報に変換できるものであれば、どのようなものであってもよい。一例が、撮像画像に対して、対象部品と固定部品の位置上にクロスヘアカーソルと部品のエッジを描画する実施形態１、３における表示情報変換部である。また、その他の一例が、ＣＧ画像に対して、対象部品と固定部品の位置上にクロスヘアカーソルと部品のエッジを描画する実施形態２における表示情報変換部である。

また、表示情報強調部は、ロボット及びロボットが操作する対象の少なくとも一方を含む処理対象の一部の特徴（変位もしくは大きさ）を強調するものであれば、どのようなものであってもよい。一例が、対象部品と固定部品の位置ずれを拡大して強調する実施形態１〜３における表示情報強調部である。

また、表示整合部は、表示情報強調部によって強調された強調表示情報と、表示情報中の強調表示情報以外のその他の強調されていない非強調表示情報とを整合性を取って合成するものであれば、どのようなものであってもよい。一例が、強調表示情報と、非強調表示情報の間を、整合領域を設けて違和感のないように整合性を取って統合する実施形態１〜３における表示整合部である。

また、表示出力部は、表示整合部で合成された合成表示情報を観察者に出力するものであれば、どのようなものであってもよい。一例が、実施形態１〜３における表示出力部である。

また、情報保持部、情報変換部、表示情報強調部、及び表示整合部は、それらの機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給する形式としてもよい。

尚、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：ロボット、１０２：フィンガ、１０３：対象部品、１０４：固定部品、１０５：カメラ、１０６：トラッカー、１０７：ターゲットコイル、１０８：画像入力部、１０９：計測情報取得部、１１０：表示情報変換部、１１１：表示情報強調部、１１２：表示整合部、１１３：表示出力部、１１４：表示部

Claims (17)

1. ロボットの動作を表示する表示制御装置であって、
   前記ロボット、及びそのロボットが操作する対象の少なくとも一方を含む処理対象の計測情報を取得する取得手段と、
   前記計測情報に基づく、観察者が観察可能な表示情報を生成する生成手段と、
   前記表示情報に基づいて、前記処理対象の一部の特徴を強調した強調表示情報を生成する強調手段と、
   前記強調表示情報と、前記表示情報中の前記強調表示情報以外の非強調表示情報とを整合して合成表示情報を生成する整合手段と、
   前記合成表示情報を表示部に出力する出力手段と
   を備えることを特徴とする表示制御装置。
2. 前記処理対象の画像を入力する入力手段を更に備え、
   前記生成手段は、前記計測情報に基づいて、前記入力手段で入力した画像を加工することで、前記計測情報に基づく前記表示情報を生成する
   ことを特徴とする請求項１に記載の表示制御装置。
3. 前記処理対象を撮像する撮像手段を更に備え、
   前記入力手段は、前記処理対象の画像として前記撮像手段で撮像した前記処理対象の画像を入力する
   ことを特徴とする請求項２に記載の表示制御装置。
4. 前記処理対象のＣＧ画像を生成するＣＧ生成手段を更に備え、
   前記入力手段は、前記処理対象の画像として前記ＣＧ生成手段で生成した前記処理対象のＣＧ画像を入力する
   ことを特徴とする請求項２に記載の表示制御装置。
5. 前記強調手段は、前記処理対象の計測情報が変化する位置において、その位置を中心にした所定範囲の前記処理対象の大きさを変化させることで、前記処理対象の一部の特徴を強調する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の表示制御装置。
6. 前記強調手段は、前記処理対象の計測情報の変位量を実際よりも大きくすることで、前記処理対象の一部の特徴を強調する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の表示制御装置。
7. 前記強調手段は、前記処理対象の速度もしくは加速度に応じて、前記処理対象の大きさを速度もしくは加速度の発生している方向に拡大することで、前記処理対象の一部の特徴を強調する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の表示制御装置。
8. 前記強調手段は、前記処理対象の形状の大きさを作用力に応じて変形させることで、前記処理対象の一部の特徴を強調する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の表示制御装置。
9. 前記強調手段の強調する処理対象の部位の複数の候補が存在する場合に、強調する部位を選択する選択手段を更に備える
   ことを特徴とする請求項１乃至８のいずれか１項に記載の表示制御装置。
10. 前記選択手段は、前記ロボットが目的とする所定のタスク内容、もしくは観察者の操作、もしくはその双方に基づいて、前記強調する部位を選択する
    ことを特徴とする請求項９に記載の表示制御装置。
11. 前記強調手段で強調する強調度合いを動的に変更する変更手段を更に備える
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の表示制御装置。
12. 前記変更手段は、前記処理対象の特徴が、所定の目標値と現在の値の差に基づいて前記強調度合いを動的に変更する
    ことを特徴とする請求項１１に記載の表示制御装置。
13. 前記変更手段は、観察者からの操作によって前記強調度合いを動的に変更する
    ことを特徴とする請求項１１に記載の表示制御装置。
14. 前記ロボットに、制御パラメータを送信してロボットの動作を制御する制御手段を更に備え、
    前記制御パラメータは、前記強調手段によって強調された特徴の強調度合いによって、ロボットの動作ゲインを変化させる
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の表示制御装置。
15. 前記整合手段は、前記強調表示情報と前記非強調表示情報との間の強調度合いを連続的に変化させることで、前記強調表示情報と前記非強調表示情報とを整合する
    ことを特徴とする請求項１乃至１４のいずれか１項に記載の表示制御装置。
16. ロボットの動作を表示する表示制御方法であって、
    前記ロボット、及びそのロボットが操作する対象の少なくとも一方を含む処理対象の計測情報を取得する取得工程と、
    前記計測情報に基づく、観察者が観察可能な表示情報を生成する生成工程と、
    前記表示情報に基づいて、前記処理対象の一部の特徴を強調した強調表示情報を生成する強調工程と、
    前記強調表示情報と、前記表示情報中の前記強調表示情報以外の非強調表示情報とを整合して合成表示情報を生成する整合工程と、
    前記合成表示情報を表示部に出力する出力工程と
    を備えることを特徴とする表示制御方法。
17. コンピュータを、請求項１乃至１５のいずれか１項に記載の表示制御装置の各手段として機能させるための、または請求項１６に記載の表示制御方法をコンピュータに実行させるためのプログラム。

Images