JP2007061983A - ロボット監視システム - Google Patents

Abstract

【課題】 ３次元モデルを用いたロボット監視システムにおいて、ロボットの実動作中に生じる動作上の問題を、その発生時期に関わらず正確かつ迅速に観察できるようにする。
【解決手段】 ロボット監視システム１０は、ロボット１２を制御するロボット制御装置１４と、ロボット制御装置１４から得たロボット制御関連情報Ｄに基づき、ロボット１２及び作業環境１６の３次元モデル画像１２Ｍ、１６Ｍを、ロボット１２の実動作に対応する動画として生成する画像生成装置１８とを備える。画像生成装置１８は、３次元モデル画像１２Ｍ、１６Ｍの動画を表わす視線及び描画形式の少なくとも一方を含む表示条件Ｃを、ロボット１２の実動作に対応して変更可能に設定する表示条件設定部２０と、表示条件設定部２０が設定した表示条件Ｃの、ロボット１２の実動作に対応した変更に従い、３次元モデル画像１２Ｍ、１６Ｍの動画を切り換えて生成する動画生成部２２とを備える。
【選択図】 図１

Description

本発明は、ロボット監視システムに関し、特に、ロボットの３次元モデル画像を用いたロボット監視システムに関する。

ロボット、特に産業用ロボットは、特定の作業プログラム（すなわちタスクプログラム）に従って動作する。ロボットに装着したツール（すなわちエンドエフェクタ）の種類、作業対象のワークの種類、作業の内容等に対応した様々な種類の作業プログラムを、適宜選択してロボットに与えることで、１台のロボットが多種多様な作業を遂行することができる。この種のロボットを用いた生産システムにおいて、ロボットを制御する作業プログラム等のロボット制御関連情報に基づき、ロボット及びロボットの作業環境のモデル画像を、ロボットの実動作に対応する動画として表示装置に表示することにより、ロボットの動作状態のシミュレーションやモニタリングを可能にするシステムが提案されている。

例えば特許文献１は、ロボットを含む複数の作動装置を、個々の作動装置から入手した動作プログラムに基づいてアニメーション表示することにより、各作動装置の動作状態をシミュレーションするシステムを開示する。また、特許文献２は、通信手段を介してロボット制御装置に接続される計算機が、ロボット制御装置から転送されたロボット動作制御指令に基づき、ロボットの動作状態をシミュレーションする構成を開示する。この構成では、ロボット制御装置から逐次データを計算機に転送することにより、ロボットの各軸に掛かる負荷等のモニタリングを行なうこともできる。また、特許文献３は、ロボット及びロボットの作業環境の３次元モデル画像を、ロボットに教示した動作プログラムに基づいて画面上にアニメーション表示することで、ロボットの動作状態のシミュレーションを可能にするシステムにおいて、ロボット及びその周辺機器の３次元モデルの作成を容易にする構成を開示する。

特開平２−１７６９０６号公報 特開２００１−１５０３７３号公報 特開２００１−１０５３５９号公報

上記した従来のロボット動作シミュレーションシステムでは、作業プログラム等のロボット制御関連情報に基づいて生成される３次元モデル画像は、視線や描画形式等に関する一定の（すなわち変化しない）表示条件の下で、表示装置の画面に表示されている。したがって、モデル画像の動作中に発生する２部材間の位置ずれや干渉等の諸問題が、その発生時の表示条件（視線や描画形式）に起因して、観察可能な画像としては表示されない場合がある。そのような場合には、特に、ロボットの実動作を可及的速やかに観察することで諸問題に対処しようとするモニタリングにおいて、問題発生の検出及びその原因の解明に時間を要し、適切な対策を迅速に施すことが困難になる恐れがある。

本発明の目的は、ロボット制御関連情報に基づきロボット及びロボットの作業環境の３次元モデル画像をロボットの実動作に対応する動画として生成することにより、ロボットの動作状態のモニタリングを可能にするロボット監視システムにおいて、ロボットの実動作中に生じる動作上の諸問題を、その発生時期に関わらず正確かつ迅速に観察でき、以って、適切な対策を迅速に施すことを可能にするロボット監視システムを提供することにある。

上記目的を達成するために、請求項１に記載の発明は、ロボットを制御するロボット制御装置と、ロボット制御装置から得たロボット制御関連情報に基づき、ロボット及びロボットの作業環境の３次元モデル画像を、ロボットの実動作に対応する動画として生成する画像生成装置とを具備するロボット監視システムにおいて、画像生成装置は、３次元モデル画像の動画を表わす視線及び描画形式の少なくとも一方を含む表示条件を、ロボットの実動作に対応して変更可能に設定する表示条件設定部と、表示条件設定部が設定した表示条件の、ロボットの実動作に対応した変更に従い、動画を切り換えて生成する動画生成部と、を備えることを特徴とするロボット監視システムを提供する。

請求項２に記載の発明は、請求項１に記載のロボット監視システムにおいて、表示条件設定部が設定する表示条件は、視線を定める視点及び監視対象点の各々の、ロボットの実動作に対応して移動する位置を含み、動画生成部は、視点及び監視対象点の各々の位置の移動によって変化する視線に基づいて、動画を生成する、ロボット監視システムを提供する。

請求項３に記載の発明は、請求項２に記載のロボット監視システムにおいて、複数の異なる視線のそれぞれに関し、視点の位置の設定値と監視対象点の位置の設定値とを互いに関連付けて、かつ位置を表す指標を付して記憶する記憶部をさらに具備し、記憶部が、ロボット制御装置と画像生成装置とのいずれか一方に設けられる、ロボット監視システムを提供する。

請求項４に記載の発明は、請求項１〜３のいずれか１項に記載のロボット監視システムにおいて、表示条件設定部が設定する表示条件は、描画形式としてのワイヤフレーム形式及びソリッド形式を含み、動画生成部は、ロボットの実動作に対応してワイヤフレーム形式とソリッド形式との間で変更される描画形式に基づいて、動画を生成する、ロボット監視システムを提供する。

請求項５に記載の発明は、請求項４に記載のロボット監視システムにおいて、３次元モデル画像に含まれる複数の物体のそれぞれに関し、ロボットの実動作に対応してワイヤフレーム形式とソリッド形式との間で変更される描画形式を、実動作の内容を表す指標を付して記憶する記憶部をさらに具備し、記憶部が、ロボット制御装置と画像生成装置とのいずれか一方に設けられる、ロボット監視システムを提供する。

請求項６に記載の発明は、請求項１に記載のロボット監視システムにおいて、表示条件設定部が設定する表示条件は、実動作に伴って移動するロボットのツール中心点の位置と、ツール中心点を監視対象点としたときの、視線を定める視点と監視対象点との一定の相対位置関係とを含み、動画生成部は、相対位置関係の下での視点及び監視対象点の移動によって変化する視線に基づいて、動画を生成する、ロボット監視システムを提供する。

請求項７に記載の発明は、請求項１又は６に記載のロボット監視システムにおいて、表示条件設定部が設定する表示条件は、実動作に伴って移動するロボットのツール中心点の位置と、描画形式としてのワイヤフレーム形式及びソリッド形式とを含み、動画生成部は、ツール中心点の移動に対応してワイヤフレーム形式とソリッド形式との間で変更される描画形式に基づいて、動画を生成する、ロボット監視システムを提供する。

請求項８に記載の発明は、請求項６又は７に記載のロボット監視システムにおいて、表示条件設定部は、ロボット制御装置からツール中心点の位置情報を得る、ロボット監視システムを提供する。

請求項９に記載の発明は、請求項１〜８のいずれか１項に記載のロボット監視システムにおいて、画像生成装置がロボット制御装置から得るロボット制御関連情報は、ロボットに特定作業を指令する作業プログラムを含み、作業プログラムに、表示条件の変更に関する指令が記述される、ロボット監視システムを提供する。

請求項１０に記載の発明は、請求項１〜９のいずれか１項に記載のロボット監視システムにおいて、ロボット制御装置と画像生成装置とが、通信ネットワークを介して互いに接続される、ロボット監視システムを提供する。

請求項１に記載の発明によれば、画像生成装置は、ロボットを制御する作業プログラム自体や当該作業プログラムに記述された指令値等のロボット制御関連情報に基づいて、ロボット及び作業環境の３次元モデル画像の動画を、ロボットの実動作に対応して変更可能な表示条件の下で生成する。そこで、ロボットが作業プログラムに従って遂行する実動作の間に、例えば２部材間の位置ずれや干渉等の問題が生じ易い１箇所以上の重点監視領域を予め設定し、そのような重点監視領域を表示する際の表示条件を、問題を顕現させるに最適な内容（視線や描画形式）に適宜変更して設定することで、問題の発生を、３次元モデル画像の動画上で観察可能な画像として確実に表示することが可能になる。したがって、ロボットの実動作中に生じる動作上の諸問題を、その発生時期に関わらず正確かつ迅速に観察でき、以って、問題発生の検出及びその原因の解明を短時間で行って、適切な対策を迅速に施すことが可能になる。

請求項２に記載の発明によれば、画像生成装置は、ロボットの実動作に対応して、視点及び監視対象点を予め設定することにより、ロボット及び作業環境の３次元画像を、所望領域（例えば重点監視領域）を明確に表示可能な最適な視線に、設定通りに切り換えて動画表示することができる。

請求項３に記載の発明によれば、記憶部に記憶した指標を用いて、画像生成装置に視線の設定、変更を容易に指令することができる。

請求項４に記載の発明によれば、画像生成装置は、ロボットの実動作に対応して、ワイヤフレーム形式及びソリッド形式のいずれかを選択して予め設定することにより、ロボット及び作業環境の３次元画像を、所望領域（例えば重点監視領域）を明確に表示可能な最適な描画形式に、設定通りに切り換えて動画表示することができる。

請求項５に記載の発明によれば、記憶部に記憶した指標を用いて、画像生成装置に描画形式の設定、変更を容易に指令することができる。

請求項６に記載の発明によれば、画像生成装置は、ロボットの実動作に対応して、ロボット及び作業環境の３次元画像を、ツール中心点の周辺領域を明確に表示可能な最適な視線に、自動的に切り換えて動画表示することができる。

請求項７に記載の発明によれば、画像生成装置は、ロボットの実動作に対応して、ロボット及び作業環境の３次元画像を、ツール中心点の周辺領域を明確に表示可能な最適な描画形式に、自動的に切り換えて動画表示することができる。

請求項８に記載の発明によれば、ロボットの実動作におけるツール中心点の移動状況を正確に得ることができる。

請求項９に記載の発明によれば、ロボット制御装置が作業プログラムを実行してロボットを制御する行為に並行して、同じ作業プログラムに従い、画像生成装置が、ロボット及び作業環境の３次元画像を、最適表示条件に適宜切り換えて動画表示することができる。したがって、システム全体の制御構成が容易になる。

請求項１０に記載の発明によれば、ロボット制御装置と画像生成装置とを、多様な生産システムに容易に組み込むことができる。

以下、添付図面を参照して、本発明の実施の形態を詳細に説明する。全図面に渡り、対応する構成要素には共通の参照符号を付す。
図面を参照すると、図１は、本発明に係るロボット監視システム１０の基本構成を機能ブロック図で示す。ロボット監視システム１０は、ロボット１２を制御するロボット制御装置１４と、ロボット制御装置１４から得たロボット制御関連情報Ｄに基づき、ロボット１２及びロボット１２の作業環境１６の３次元モデル画像１２Ｍ、１６Ｍを、ロボット１２の実動作に対応する動画として生成する画像生成装置１８とを備える。画像生成装置１８は、３次元モデル画像１２Ｍ、１６Ｍの動画を表わす視線及び描画形式の少なくとも一方を含む表示条件Ｃを、ロボット１２の実動作に対応して変更可能に設定する表示条件設定部２０と、表示条件設定部２０が設定した表示条件Ｃの、ロボット１２の実動作に対応した変更に従い、３次元モデル画像１２Ｍ、１６Ｍの動画を切り換えて生成する動画生成部２２とを備える。

上記構成を有するロボット監視システム１０では、画像生成装置１８は、ロボット１２を制御する作業プログラム自体や当該作業プログラムに記述された指令値等のロボット制御関連情報Ｄに基づいて、ロボット１２及び作業環境１６の３次元モデル画像１２Ｍ、１６Ｍの動画を、ロボット１２の実動作に対応して変更可能な表示条件Ｃの下で生成する。そこで、ロボット１２が作業プログラムに従って遂行する実動作の間に、例えば２部材間の位置ずれや干渉等の問題が生じ易い１箇所以上の重点監視領域を予め設定し、そのような重点監視領域を表示する際の表示条件Ｃを、問題を顕現させるに最適な内容（視線や描画形式）に適宜変更して設定することで、問題の発生を、３次元モデル画像１２Ｍ、１６Ｍの動画上で観察可能な画像として確実に表示することが可能になる。したがって、ロボット監視システム１０によれば、ロボット１２の実動作中に生じる動作上の諸問題を、その発生時期に関わらず正確かつ迅速に観察でき、以って、問題発生の検出及びその原因の解明を短時間で行って、適切な対策を迅速に施すことが可能になる。

図２は、本発明の一実施形態によるロボット監視システム３０を模式図的に示す。ロボット監視システム３０は、図１のロボット監視システム１０で説明した基本構成を有するものであるから、対応する構成要素には共通の符号を付してその説明を省略する。

ロボット監視システム３０では、ロボット制御装置１４と画像生成装置１８とが、イーサネット（登録商標）等の通信ネットワーク３２を介して互いに接続される。ロボット制御装置１４は、作業プログラム３４に従ってロボット１２に特定の作業を指令する処理部（ＣＰＵ）３６と、内蔵又は外付けの記憶部３８とを備える。ここで、画像生成装置１８がロボット制御装置１４から得るロボット制御関連情報Ｄは、主として作業プログラム３４の記述内容によるものである。そして、作業プログラム３４に、表示条件Ｃ（図１）の変更に関する指令Ｅが記述される。したがって、画像生成装置１８は、ロボット制御装置１４から得たロボット制御関連情報Ｄ及び指令Ｅに従って、ロボット１２及び作業環境１６の３次元モデル画像１２Ｍ、１６Ｍの動画を生成するとともに、動画生成に必要な表示条件Ｃ（図１）を適宜変更する。

画像生成装置１８は、表示条件設定部２０（図１）及び動画生成部２２（図１）の機能を有する処理部（ＣＰＵ）４０と、内蔵又は外付けの記憶部４２と、表示画面４４とを備える。処理部４０は、ロボット制御関連情報Ｄ及び指令Ｅに従い、ロボット１２及び作業環境１６の３次元モデル画像１２Ｍ、１６Ｍの動画を生成して表示画面４４に表示させる。処理部４０で設定された表示条件Ｃ（図１）は、記憶部４２に記憶される。なお、表示条件Ｃ（図１）を、ロボット制御装置１４の記憶部３８に記憶することもできる。

上記構成を有するロボット監視システム３０において、画像生成装置１８の処理部４０（表示条件設定部２０及び動画生成部２２）が実行する表示条件設定処理及び動画生成処理の一例を、図３及び図４を参照して以下に説明する。この具体例では、図３に示すように、ロボット１２がワーク（図示せず）をハンドリングして、加工機４６のチャック（図示せず）に対し着脱する作業を、画像生成装置１８でモニタリングするものとする。

処理部４０による表示条件設定処理及び動画生成処理の第１実施例として、表示条件設定部２０（図１）が設定する表示条件Ｃは、表示画面４４に表示される動画の視線Ｆを定める視点ＶＰ及び監視対象点ＯＰの各々の、ロボット１２の実動作に対応して移動する位置（座標）を含むことができる。この場合、動画生成部２２（図１）は、視点ＶＰ及び監視対象点ＯＰの各々の位置の移動によって変化する視線Ｆに基づいて、動画を生成する。図３では、第１〜第３の視点ＶＰ１〜ＶＰ３（○で図示）と、それぞれに対応する第１〜第３の監視対象点ＯＰ１〜ＯＰ３（△で図示）と、それらによって決まる第１〜第３の視線Ｆ１〜Ｆ３（二点鎖線で図示）とが例示されている。

図示の例では、オペレータが、例えば前述した重点監視領域の代表点として監視対象点ＯＰ１〜ＯＰ３を設定するとともに、それら監視対象点ＯＰ１〜ＯＰ３を明確に表示するための視線Ｆ１〜Ｆ３を得る視点ＶＰ１〜ＶＰ３を設定する。この設定は、オペレータが画像生成装置１８に対し、各視点ＶＰ及び各監視対象点ＯＰの位置（座標）を入力することにより、行なうことができる。この場合、オペレータは、マウス等の入力装置を操作して、ロボット１２及び加工機４６を表示している表示画面４４上で所望の視点ＶＰ及び監視対象点ＯＰに対応する点を指示することにより、各点の位置（座標）を入力することができる。

各点の設定が完了すると、例えばオペレータの指示入力により、処理部４０は、記憶部４２（又はロボット制御装置１４の記憶部３８）に、複数の異なる視線Ｆ１〜Ｆ３のそれぞれに関し、視点ＶＰ１〜ＶＰ３の位置の設定値（座標値）と監視対象点ＯＰ１〜ＯＰ３の位置の設定値（座標値）とを互いに関連付けて、かつ位置を表す指標を付して記憶させる。そのような設定の一例を、下記の表１に示す。

上記の例では、視線Ｆ１を規定する視点ＶＰ１及び監視対象点ＯＰ１の設定位置が、機械座標系（図３）の座標値として、Ｎｏ．「１」及び名前「ロボット左」という指標を付して記憶されている。同様に、視線Ｆ２を規定する視点ＶＰ２及び監視対象点ＯＰ２の設定位置（座標値）が、Ｎｏ．「２」及び名前「ロボット右」という指標を付して記憶され、また視線Ｆ３を規定する視点ＶＰ３及び監視対象点ＯＰ３の設定位置（座標値）が、Ｎｏ．「３」及び名前「加工機上」という指標を付して記憶されている。この構成によれば、作業プログラム３４にＮｏ．及び名前のいずれかの指標を記述することにより、ロボット制御装置１４から画像生成装置１８に視線Ｆの指定及び変更を指令することができる。

処理部４０による表示条件設定処理及び動画生成処理の第２実施例として、表示条件設定部２０（図１）が設定する表示条件Ｃは、表示画面４４に表示される動画の描画形式としてのワイヤフレーム形式及びソリッド形式を含むことができる。この場合、動画生成部２２（図１）は、ロボット１２の実動作に対応してワイヤフレーム形式とソリッド形式との間で変更される描画形式に基づいて、動画を生成する。図４に例として、ワイヤフレーム形式で描画した加工機４６のハウジング４８と、ソリッド形式で描画した加工機４６のチャック５０とを示す。

図示の例では、オペレータが、表示画面４４に表示される３次元モデル画像に含まれる複数の物体のそれぞれに関し、例えば前述した重点監視領域を明確に表示するための描画形式を、ロボット１２の実動作の状況に対応して適宜選択して設定する。この設定は、オペレータが画像生成装置１８に対し、ロボット１２及び作業環境１６（加工機４６）の描画形式を指定入力することにより、行なうことができる。この場合、オペレータは、マウス等の入力装置を操作して、表示画面４４を見ながら、ロボット１２や加工機４６の各種構成部分の描画形式を入力することができる。

描画形式の設定が完了すると、例えばオペレータの指示入力により、処理部４０は、記憶部４２（又はロボット制御装置１４の記憶部３８）に、ロボット１２や加工機４６の各種構成部分のそれぞれに関し、ロボットの実動作に対応してワイヤフレーム形式とソリッド形式との間で変更される描画形式を、実動作の内容を表す指標を付して記憶させる。そのような設定の一例を、下記の表２に示す。

上記の例では、加工機４６による加工作業の開始前の段階でのハウジング４８及びチャック５０の描画形式が、いずれもソリッド形式として、Ｎｏ．「１」及び名前「加工前」という指標を付して記憶されている。同様に、加工作業実行中のハウジング４８及びチャック５０の描画形式が、前者をワイヤフレーム形式かつ後者をソリッド形式として、Ｎｏ．「２」及び名前「加工中」という指標を付して記憶され、また加工作業完了後のハウジング４８及びチャック５０の描画形式が、いずれもソリッド形式として、Ｎｏ．「３」及び名前「加工後」という指標を付して記憶されている。この構成によれば、作業プログラム３４にＮｏ．及び名前のいずれかの指標を記述することにより、ロボット制御装置１４から画像生成装置１８に描画形式の指定及び変更を指令することができる。

なお、処理部４０による表示条件設定処理及び動画生成処理の上記第１及び第２実施例は、いずれか一方を単独で採用することもできるし、両者を組み合わせて採用することもできる。

上記したオペレータによる表示条件Ｃ（図１）の設定入力に対応して、作業プログラム３４（図２）は、例えば以下のように作成することができる（左端は行番号を表わす）。
１：モニタ視線変更 ロボット右
２：モニタ描画形式変更 加工前
３：ＭＯＶＥ Ｊ Ｐ［１］
４：ＭＯＶＥ Ｌ Ｐ［２］
５：モニタ視線変更 加工機上
６：モニタ描画形式変更 加工中
（６´：モニタ描画形式変更 加工機外枠＝ワイヤフレーム）
７：ＭＯＶＥ Ｌ Ｐ［３］
８：ＭＯＶＥ Ｌ Ｐ［４］
９：ＭＯＶＥ Ｌ Ｐ［５］
１０：モニタ視線変更 ロボット左
１１：モニタ描画形式変更 加工後
１２：ＭＯＶＥ Ｌ Ｐ［６］
１３：ＭＯＶＥ Ｌ Ｐ［７］
１４：ＭＯＶＥ Ｌ Ｐ［８］
１５：ＭＯＶＥ Ｌ Ｐ［９］
１６：ＭＯＶＥ Ｊ Ｐ［１］

上記作業プログラムを説明すると、行１では、画像処理装置１８で、視点位置及び監視対象点位置を「ロボット右」に設定する。行２では、画像処理装置１８で、描画形式を「加工前」に設定する。行３では、ロボット１２の各軸動作でアームを位置Ｐ［１］へ移動する。行４では、ロボット１２の直線経路制御でアームを位置Ｐ［２］へ移動する。これらのアーム動作は、画像処理装置１８において、視線Ｆ２によるソリッド形式で動画表示される。

行５では、画像処理装置１８で、視点位置及び監視対象点位置を「加工機上」に変更する。行６では、画像処理装置１８で、描画形式を「加工中」に変更する。行７では、ロボット１２の直線経路制御でアームを位置Ｐ［３］へ移動する。行８では、ロボット１２の直線経路制御でアームを位置Ｐ［４］へ移動する。行９では、ロボット１２の直線経路制御でアームを位置Ｐ［５］へ移動する。これらのアーム動作は、画像処理装置１８において、視線Ｆ３によるワイヤフレーム形式（ハウジング４８）及びソリッド形式（チャック５０）で動画表示される。

行１０では、画像処理装置１８で、視点位置及び監視対象点位置を「ロボット左」に変更する。行１１では、画像処理装置１８で、描画形式を「加工後」に変更する。行１２では、ロボット１２の直線経路制御でアームを位置Ｐ［６］へ移動する。行１３では、ロボット１２の直線経路制御でアームを位置Ｐ［７］へ移動する。行１４では、ロボット１２の直線経路制御でアームを位置Ｐ［８］へ移動する。行１５では、ロボット１２の直線経路制御でアームを位置Ｐ［９］へ移動する。行１６では、ロボット１２の各軸動作でアームを位置Ｐ［１］へ移動する。これらのアーム動作は、画像処理装置１８において、視線Ｆ１によるソリッド形式で動画表示される。

上記した作業プログラム３４において、視線変更指令の行１、５、１０には、指標として名前の代わりにＮｏ．を記述することもできる。或いは、他の引数を用いて、位置の設定値（座標値）を直接記述することもできる。同様に、描画形式変更指令の行２、６、１１には、指標として名前の代わりにＮｏ．を記述することもできる。或いは、他の引数を用いて、物体名とその描画形式を直接記述することもできる（行６´参照）。

上記した作業プログラム３４をロボット制御装置１４が実行すると、ロボット１２がその制御下で動作するとともに、それに並行して（好ましくは実時間で）、画像生成装置１８が、ロボット１２及び作業環境１６（加工機４６）の３次元画像を、予め定めた重点監視領域（加工機４６の内部も含む）を明確に表示可能な最適表示条件に適宜切り換えて動画表示する。したがって、ロボット１２が加工機４６の内部に進入して作業を行う場合も含めて、ロボット１２の動作状況に適合するように動画表示を能動的に変化させ、ロボット１２及び作業環境１６の現況を常に観察し易い状態で監視することができる。その結果、例えば加工機内部の作業でロボット１２の動作に関する問題が発生した際にも、ロボット１２及び加工機４６の内部の現況を即座に観察できるので、問題発生の原因を迅速に解明することができる。

処理部４０による表示条件設定処理及び動画生成処理の第３実施例として、表示条件設定部２０（図１）が設定する表示条件Ｃは、実動作に伴って移動するロボット１２のツール中心点ＴＣＰ（図３）の位置と、ツール中心点ＴＣＰを監視対象点ＯＰとしたときの、表示画面４４に表示される動画の視線Ｆを定める視点ＶＰと監視対象点ＯＰとの一定の相対位置関係Ｒとを含むことができる。この場合、動画生成部２２（図１）は、この相対位置関係Ｒの下での視点ＶＰ及び監視対象点ＯＰの移動によって変化する視線Ｆに基づいて、動画を生成する。図３では、ツール中心点ＴＣＰからなる監視対象点ＯＰ４と、監視対象点ＯＰ４に対して相対位置関係Ｒの下に置かれる視点ＶＰ４と、それらによって決まる視線Ｆ４とが例示されている。

上記構成において、表示条件設定部２０は、ロボット制御装置１４から、制御基準点としてのツール中心点ＴＣＰの位置情報を得ることができる。また、視点ＶＰと監視対象点ＯＰとの一定の相対位置関係Ｒは、予めオペレータが設定入力して、記憶部４２（又はロボット制御装置１４の記憶部３８）に記憶することができる。処理部４０は、ロボット制御装置１４から適当な周期（例えば補間周期）でツール中心点ＴＣＰの位置情報を継続的に入手し、予め設定した相対位置関係Ｒから、ツール中心点ＴＣＰに追従して移動する視点ＶＰの位置を求め、視線Ｆを決定する。これにより、ロボット１２のツール中心点ＴＣＰの周辺領域の動作状況が、常時、画像生成装置１８の表示画面４４に動画表示されることになる。

また、処理部４０による表示条件設定処理及び動画生成処理の第４実施例として、表示条件設定部２０（図１）が設定する表示条件Ｃは、実動作に伴って移動するロボット１２のツール中心点ＴＣＰ（図３）の位置と、表示画面４４に表示される動画の描画形式としてのワイヤフレーム形式及びソリッド形式とを含むことができる。この場合、動画生成部２２（図１）は、ツール中心点ＴＣＰの移動に対応してワイヤフレーム形式とソリッド形式との間で変更される描画形式に基づいて、動画を生成する（図４参照）。

上記構成において、表示条件設定部２０は、ロボット制御装置１４からツール中心点ＴＣＰの位置情報を得ることができる。また、ロボット１２及び作業環境１６（加工機４６）の各構成部分に関して、ワイヤフレーム形式とソリッド形式との間で描画形式の変更が必要となるツール中心点ＴＣＰの移動範囲を、予めオペレータが設定入力して、記憶部４２（又はロボット制御装置１４の記憶部３８）に記憶することができる。処理部４０は、ロボット制御装置１４から適当な周期（例えば補間周期）でツール中心点ＴＣＰの位置情報を継続的に入手し、予め設定したツール中心点ＴＣＰの移動範囲から、各構成部分の描画形式を決定する。これにより、例えばロボット１２が加工機４６の内部で作業している間であっても、ツール中心点ＴＣＰの周辺領域の動作状況が、常時、画像生成装置１８の表示画面４４に動画表示されることになる。

なお、処理部４０による表示条件設定処理及び動画生成処理の上記第３及び第４実施例は、いずれか一方を単独で採用することもできるし、両者を組み合わせて採用することもできる。

上記したオペレータによる表示条件Ｃ（図１）の設定入力に対応して、作業プログラム３４（図２）は、例えば以下のように作成することができる（左端は行番号を表わす）。
１：ＭＯＶＥ Ｊ Ｐ［１］
２：モニタ追従開始
３：ＭＯＶＥ Ｌ Ｐ［２］
４：ＭＯＶＥ Ｌ Ｐ［３］
５：ＭＯＶＥ Ｌ Ｐ［４］
６：ＭＯＶＥ Ｌ Ｐ［５］
７：モニタ追従終了
８：ＭＯＶＥ Ｌ Ｐ［６］
９：ＭＯＶＥ Ｌ Ｐ［７］
１０：ＭＯＶＥ Ｊ Ｐ［１］

上記作業プログラムを説明すると、行１では、ロボット１２の各軸動作でアームを位置Ｐ［１］へ移動する。行２では、画像処理装置１８で、ツール中心点ＴＣＰの移動に追従して視点ＶＰを移動させる動画表示を開始する。行３では、ロボット１２の直線経路制御でアームを位置Ｐ［２］へ移動する。行４では、ロボット１２の直線経路制御でアームを位置Ｐ［３］へ移動する。行５では、ロボット１２の直線経路制御でアームを位置Ｐ［４］へ移動する。行６では、ロボット１２の各軸動作でアームを位置Ｐ［５］へ移動する。これらのアーム動作は、画像処理装置１８において、ツール中心点ＴＣＰの周辺部品の動画として表示される。

行７では、画像処理装置１８で、ツール中心点ＴＣＰの移動に追従して視点ＶＰを移動させる動画表示を終了する。行８では、ロボット１２の直線経路制御でアームを位置Ｐ［６］へ移動する。行９では、ロボット１２の直線経路制御でアームを位置Ｐ［４］へ移動する。行１０では、ロボット１２の各軸動作でアームを位置Ｐ［８］へ移動する。これらのアーム動作は、画像処理装置１８において、ツール中心点ＴＣＰの移動とは無関係の動画として表示される。

上記した作業プログラム３４において、追従開始指令の行２には、任意の引数を用いて、ツール中心点ＴＣＰと視点ＶＰとの予め設定した相対位置関係Ｒを記述して、画像生成装置１８に指令するように構成することもできる。

上記した作業プログラム３４をロボット制御装置１４が実行すると、ロボット１２がその制御下で動作するとともに、それに並行して（好ましくは実時間で）、画像生成装置１８が、ロボット１２及び作業環境１６（加工機４６）の３次元画像を、ツール中心点ＴＣＰの移動に対応して変化する最適表示条件（視線や描画形式）によって、予め定めた重点監視領域（加工機４６の内部も含む）を明確に動画表示する。このような構成によっても、前述した実施例１及び２による作用効果と同等の作用効果が奏される。

本発明に係るロボット監視システムの基本構成を示す機能ブロック図である。 図１の基本構成を有する本発明の一実施形態によるロボット監視システムを模式図的に示す図である。 図３のロボット監視システムにおける表示条件変更手順を模式図的に示す図である。 図３のロボット監視システムにおける描画形式の一例を示す図である。

符号の説明

１０、３０ ロボット監視システム
１２ ロボット
１４ ロボット制御装置
１６ 作業環境
１８ 画像生成装置
２０ 表示条件設定部
２２ 動画生成部
３２ 通信ネットワーク
３４ 作業プログラム
３６、４０ 処理部
３８、４２ 記憶部
４４ 表示画面
４６ 加工機

Claims (10)

1. ロボットを制御するロボット制御装置と、該ロボット制御装置から得たロボット制御関連情報に基づき、該ロボット及び該ロボットの作業環境の３次元モデル画像を、該ロボットの実動作に対応する動画として生成する画像生成装置とを具備するロボット監視システムにおいて、
   前記画像生成装置は、
   前記３次元モデル画像の前記動画を表わす視線及び描画形式の少なくとも一方を含む表示条件を、前記ロボットの前記実動作に対応して変更可能に設定する表示条件設定部と、
   前記表示条件設定部が設定した前記表示条件の、前記ロボットの前記実動作に対応した変更に従い、前記動画を切り換えて生成する動画生成部と、
   を備えることを特徴とするロボット監視システム。
2. 前記表示条件設定部が設定する前記表示条件は、前記視線を定める視点及び監視対象点の各々の、前記ロボットの前記実動作に対応して移動する位置を含み、前記動画生成部は、該視点及び該監視対象点の各々の該位置の移動によって変化する該視線に基づいて、前記動画を生成する、請求項１に記載のロボット監視システム。
3. 複数の異なる前記視線のそれぞれに関し、前記視点の前記位置の設定値と前記監視対象点の前記位置の設定値とを互いに関連付けて、かつ該位置を表す指標を付して記憶する記憶部をさらに具備し、該記憶部が、前記ロボット制御装置と前記画像生成装置とのいずれか一方に設けられる、請求項２に記載のロボット監視システム。
4. 前記表示条件設定部が設定する前記表示条件は、前記描画形式としてのワイヤフレーム形式及びソリッド形式を含み、前記動画生成部は、前記ロボットの前記実動作に対応して該ワイヤフレーム形式と該ソリッド形式との間で変更される該描画形式に基づいて、前記動画を生成する、請求項１〜３のいずれか１項に記載のロボット監視システム。
5. 前記３次元モデル画像に含まれる複数の物体のそれぞれに関し、前記ロボットの前記実動作に対応して前記ワイヤフレーム形式と前記ソリッド形式との間で変更される前記描画形式を、該実動作の内容を表す指標を付して記憶する記憶部をさらに具備し、該記憶部が、前記ロボット制御装置と前記画像生成装置とのいずれか一方に設けられる、請求項４に記載のロボット監視システム。
6. 前記表示条件設定部が設定する前記表示条件は、前記実動作に伴って移動する前記ロボットのツール中心点の位置と、該ツール中心点を監視対象点としたときの、前記視線を定める視点と該監視対象点との一定の相対位置関係とを含み、前記動画生成部は、該相対位置関係の下での該視点及び該監視対象点の移動によって変化する該視線に基づいて、前記動画を生成する、請求項１に記載のロボット監視システム。
7. 前記表示条件設定部が設定する前記表示条件は、前記実動作に伴って移動する前記ロボットのツール中心点の位置と、前記描画形式としてのワイヤフレーム形式及びソリッド形式とを含み、前記動画生成部は、該ツール中心点の移動に対応して該ワイヤフレーム形式と該ソリッド形式との間で変更される該描画形式に基づいて、前記動画を生成する、請求項１又は６に記載のロボット監視システム。
8. 前記表示条件設定部は、前記ロボット制御装置から前記ツール中心点の位置情報を得る、請求項６又は７に記載のロボット監視システム。
9. 前記画像生成装置が前記ロボット制御装置から得る前記ロボット制御関連情報は、ロボットに特定作業を指令する作業プログラムを含み、該作業プログラムに、前記表示条件の変更に関する指令が記述される、請求項１〜８のいずれか１項に記載のロボット監視システム。
10. 前記ロボット制御装置と前記画像生成装置とが、通信ネットワークを介して互いに接続される、請求項１〜９のいずれか１項に記載のロボット監視システム。

Images