JP2015168016A - ロボット監視システム、ロボット監視装置、ロボット監視方法、ロボット監視モジュール、およびロボット監視プログラム - Google Patents

Abstract

【課題】不都合が発生した箇所を作業者に早期且つ容易に特定させるためのロボット監視システム１等を提供する。
【解決手段】ロボット監視システム１は、ロボット１００と、ロボット１００の一連の作業内容を示す作業内容情報を格納する格納部３１０と、作業内容情報に従い、ロボット１００に所定の作業を行わせる制御部３２０と、ロボット１００の動作を撮像するカメラ２００と、カメラ２００が撮像して得た画像情報を時刻情報と関連付けて保存する保存部３３０と、保存部３３０に保存された画像情報を時刻情報とともに表示する表示部３４０と、を備える。
【選択図】図１

Description

本発明の一形態は、ロボット監視システム、ロボット監視装置、ロボット監視方法、ロボット監視モジュール、およびロボット監視プログラムに関するものである。

近年ロボットが行う作業が複雑化および多様化されたことに伴い、例えばバイオメディカル分野向けロボットシステムでは、これまで人手作業に頼っていたプロセスをロボットに代替させることで、人を超えた高い再現性を実現することを目指している。このような作業は、難易度によっては、数時間にわたる場合もある。一方で、従来、例えば下記の特許文献１に記載されているように、ロボットの動作等を監視するための装置が知られている。

特開２０１２−１８７６４１号公報

ロボットが行う作業の難易度が高い場合には、当該作業内容に応じてプロトコルを綿密に作成し、作業内容をロボットに予め学習させることが行われている。学習時にはある程度の試行錯誤をすることが予想され、ロボットの動作のうち不都合が発生した箇所を早期且つ容易に見つけることに対するニーズがある。更に、学習終了後に実際に作業を行う際にも、作業の難易度により、例えばワークを落とす等、作業を失敗する場合がある。従来はその原因を究明するために、監視カメラを設置し、ロボットの動作の映像情報および履歴情報を電子データとして保存する場合があったが、不都合が発生した箇所を早期且つ容易に見つけることが難しい場合があった。

そこで、本開示は上記に鑑みてなされたもので、不都合が発生した箇所を作業者に早期且つ容易に特定させるためのロボット監視システム、ロボット監視装置、ロボット監視方法、ロボット監視モジュール、およびロボット監視プログラムを提供することを目的とする。

上記課題を解決するために、本開示のロボット監視システムは、ロボットと、前記ロボットの一連の作業内容を示す作業内容情報を格納する格納装置と、前記作業内容情報に従い、前記ロボットに所定の作業を行わせる制御装置と、前記ロボットの動作を撮像する撮像装置と、前記撮像装置が撮像して得た画像情報を時刻情報と関連付けて保存する保存装置と、前記保存装置に保存された前記画像情報を前記時刻情報とともに表示する表示装置と、を備える。ここで、「時刻情報」とは、一般的な標準時刻に限定されるものではなく、例えば、ロボットによる作業が開始されてから経過した時間であっても良く、または、画像情報が表示されてから経過した時間であっても良いなど、広い概念である。

また、本開示のロボット監視装置は、ロボットの一連の作業内容を示す作業内容情報を格納する格納装置と、前記作業内容情報に従い、前記ロボットに所定の作業を行わせる制御装置と、前記ロボットの動作を撮像する撮像装置が撮像して得た画像情報を時刻情報と関連付けて保存する保存装置と、前記保存装置に保存された前記画像情報を前記時刻情報とともに表示する表示装置と、を備える。

また、本開示のロボット監視方法は、ロボットの一連の作業内容を示す作業内容情報が格納装置に格納されており、前記作業内容情報に従い、前記ロボットに所定の作業を行わせる制御ステップと、前記ロボットの動作を撮像する撮像装置が撮像して得た画像情報を時刻情報と関連付けて保存する保存ステップと、前記保存ステップで保存された前記画像情報を前記時刻情報とともに表示する表示ステップと、を備える。

また、本開示のロボット監視モジュールは、ロボットの一連の作業内容を示す作業内容情報が格納装置に格納されており、前記作業内容情報に従い、前記ロボットに所定の作業を行わせる制御モジュールと、前記ロボットの動作を撮像する撮像装置が撮像して得た画像情報を時刻情報と関連付けて保存する保存モジュールと、前記保存モジュールに保存された前記画像情報を前記時刻情報とともに表示する表示モジュールと、を備える。

また、本開示のロボット監視プログラムは、ロボットの一連の作業内容を示す作業内容情報が格納装置に格納されており、前記作業内容情報に従い、前記ロボットに所定の作業を行わせる制御機能と、前記ロボットの動作を撮像する撮像装置が撮像して得た画像情報を時刻情報と関連付けて保存する保存機能と、前記保存機能により保存された前記画像情報を前記時刻情報とともに表示する表示機能と、をコンピュータに実行させる。

本開示によれば、不都合が発生した箇所を作業者に早期且つ容易に特定させるためのロボット監視システム、ロボット監視装置、ロボット監視方法、ロボット監視モジュール、およびロボット監視プログラムを提供することができる。

ロボット監視システム１の構成概要図である。 ロボット１００を正面から見た正面図である。 ロボット１００がホルダ１２２を用いてシャーレ１２１を移動させている状態を表す斜視図である。 ロボット１００が吸着パッド１２６を用いてシャーレ１２１の蓋１２１Ｕを開けた後の状態を表す斜視図である。 ロボット１００がピペット１２９を用いた処理を行っている状態を表す斜視図である。 ロボット１００がヘラ１３５を用いて検体を掻き混ぜる処理を行っている状態を表す斜視図である。 管理コンピュータ３００のハードウェア構成図である。 格納部３１０が格納する作業内容情報の一例をイメージした図である。 作業結果情報格納部３２１が格納する作業結果情報の一例をイメージした図である。 保存部３３０が格納する情報の一例をイメージした図である。 表示部３４０の表示画面３４１の一例をイメージした図である。 表示部３４０の表示画面３４１の一例をイメージした図である。 修正情報入力部３５０における動作の一例をイメージした図である。 ロボット監視システム１の動作を示すフローチャートである。 ロボット監視システム１の別の構成を示す構成概要図である。 ロボット監視システム１の更に別の構成を示す構成概要図である。

以下、添付図面を参照して本開示にかかるロボット監視システム、ロボット監視装置、ロボット監視方法、ロボット監視モジュール、およびロボット監視プログラムの複数の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、以下に説明する図面および関連した記述は本開示のロボット監視システム、ロボット監視装置、ロボット監視方法、ロボット監視モジュール、およびロボット監視プログラムを説明するための例示的なものに過ぎず、本発明の範囲を限定するものではない。また、図示される各部の寸法等は、実際のロボット監視システム、ロボット監視装置、ロボット監視方法、ロボット監視モジュール、およびロボット監視プログラムにおける寸法等と異なる場合がある。

（ロボット監視システム１の全体構成）
まず、ロボット監視システム１の構成について、図１を参照しながら説明する。図１は、ロボット監視システム１の構成概要図である。図１に示すように、ロボット監視システム１は、ロボット１００、カメラ２００（撮像装置）、および管理コンピュータ３００（ロボット監視装置）から構成される。ロボット１００、カメラ２００、および管理コンピュータのそれぞれは通信ネットワークにより互いにデータ通信可能に接続されている。ロボット監視システム１は、このような構成により、ロボットの動作のうち不都合が発生した箇所を作業者に早期且つ容易に特定させるためのものである。以下、ロボット監視システム１の各構成要素について詳細に説明する。

（ロボット１００の構成）
最初に、図２を用いてロボット１００の構成を説明する。図２は、ロボット１００を正面から見た正面図である。図２に示す例においてロボット１００は双腕の作業ロボットであるが、これに限らず、ロボット１００は一腕ロボット等の他の組立ロボットであっても良いし、組立以外の加工等の作業を行うロボットであっても良い。

図２において、ロボット１００は、基台１０１、胴体部１０２、及び２つのアーム１０３Ｌ，１０３Ｒを備えた、例えば垂直多関節ロボットである。基台１０１は、設置面（クリーンルームの床部等）に対して、アンカーボルト（図示せず）等により固定されている。胴体部１０２は、所定の回転軸周りに回転駆動するアクチュエータ（図示せず）が設けられた第１関節部を有している。この胴体部１０２は、基台１０１に対し第１関節部を介して旋回可能に設置されており、第１関節部に設けられたアクチュエータの駆動により上記設置面と略水平な方向に沿って旋回する。また、胴体部１０２は、別体として構成されたアーム１０３Ｌ，１０３Ｒを、それぞれ一方側（図２中右側）及び他方側（図２中左側）において支持する。

アーム１０３Ｌは、胴体部１０２の一方側に設けられたマニピュレータであり、肩部１０４Ｌ、上腕Ａ部１０５Ｌ、上腕Ｂ部１０６Ｌ、下腕部１０７Ｌ、手首Ａ部１０８Ｌ、手首Ｂ部１０９Ｌ、フランジ１１０Ｌ、及びハンド１１１Ｌと、各部をそれぞれ回転駆動するアクチュエータ（図示せず）がそれぞれ設けられた第２〜第８関節部とを有している。

肩部１０４Ｌは、胴体部１０２に対し第２関節部を介して回転可能に連結されており、第２関節部に設けられたアクチュエータの駆動により上記設置面に対して略水平な所定の回転軸周りに回転する。上腕Ａ部１０５Ｌは、肩部１０４Ｌに対し第３関節部を介して旋回可能に連結されており、第３関節部に設けられたアクチュエータの駆動により所定の回転軸周りに旋回する。上腕Ｂ部１０６Ｌは、上腕Ａ部１０５Ｌの先端に対し第４関節部を介して回転可能に連結されており、第４関節部に設けられたアクチュエータの駆動により所定の回転軸周りに回転する。下腕部１０７Ｌは、上腕Ｂ部１０６Ｌに対し第５関節部を介して旋回可能に連結されており、第５関節部に設けられたアクチュエータの駆動により所定の回転軸周りに旋回する。手首Ａ部１０８Ｌは、下腕部１０７Ｌの先端に対し第６関節部を介して回転可能に連結されており、第６関節部に設けられたアクチュエータの駆動により所定の回転軸周りに回転する。手首Ｂ部１０９Ｌは、手首Ａ部１０８Ｌに対し第７関節部を介して旋回可能に連結されており、第７関節部に設けられたアクチュエータの駆動により所定の回転軸周りに旋回する。フランジ１１０Ｌは、手首Ｂ部１０９Ｌの先端に対し第８関節部を介して回転可能に連結されており、第８関節部に設けられたアクチュエータの駆動により所定の回転軸周りに回転する。ハンド１１１Ｌは、フランジ１１０Ｌの先端に対し取り付けられており、フランジ１１０Ｌの回転により従動的に回転する。

アーム１０３Ｒは、胴体部１０２の他方側に設けられたマニピュレータであり、上記アーム１０３Ｌと同様の構造を備えている。このアーム１０３Ｒは、肩部１０４Ｒ、上腕Ａ部１０５Ｒ、上腕Ｂ部１０６Ｒ、下腕部１０７Ｒ、手首Ａ部１０８Ｒ、手首Ｂ部１０９Ｒ、フランジ１１０Ｒ、及びハンド１１１Ｒと、各部をそれぞれ回転駆動するアクチュエータ（図示せず）がそれぞれ設けられた第９〜第１５関節部とを有している。

肩部１０４Ｒ、上腕Ａ部１０５Ｒ、上腕Ｂ部１０６Ｒ、下腕部１０７Ｒ、手首Ａ部１０８Ｒ、手首Ｂ部１０９Ｒ、フランジ１１０Ｒ、及びハンド１１１Ｒは、上述した肩部１０４Ｌ、上腕Ａ部１０５Ｌ、上腕Ｂ部１０６Ｌ、下腕部１０７Ｌ、手首Ａ部１０８Ｌ、手首Ｂ部１０９Ｌ、フランジ１１０Ｌ、及びハンド１１１Ｌと、左右対称の同様の構造を有するので、ここでは説明を省略する。

図２に示したように、胴体部１０２が１つの関節部すなわち１自由度を有し、アーム１０３Ｌ，１０３Ｒがそれぞれ７つの関節部すなわち７自由度（冗長自由度）を有しても良い。この場合にロボット１００は、全体で１５自由度を有することになる。なお、アーム１０３Ｌ，１０３Ｒの関節部の数、すなわち自由度は、本実施形態で例示した「７」に限られず、作業内容に応じて「２」以上であればよい。

以上のような構造により、ロボット１００は、例えばバイオメディカル分野において、これまで人手作業に頼っていた複雑かつ精巧なプロセスを作業者の代わりに行うことができ、人を超えた高い再現性を実現する場合もある。

（ロボット１００の動作）
次に、図３、図４、図５、及び図６を用いて、ロボット１００の動作の一例を説明する。ロボット１００は、これまで人手作業に頼っていた複雑かつ精巧なプロセスの例として、最初にシャーレ１２１を移動させ、その後シャーレ１２１の蓋１２１Ｕを開け、その後ピペット１２９を用いた処理を行い、その後ヘラ１３５を用いて検体を掻き混ぜるなどの処理を行う。図３は、ロボット１００がホルダ１２２を用いてシャーレ１２１を移動させている状態を表す斜視図である。図４は、ロボット１００が吸着パッド１２６を用いてシャーレ１２１の蓋１２１Ｕを開けた後の状態を表す斜視図である。図５は、ロボット１００がピペット１２９を用いた処理を行っている状態を表す斜視図である。図６は、ロボット１００がヘラ１３５を用いて検体を掻き混ぜる処理を行っている状態を表す斜視図である。

図３〜図６において、ロボット１００は、後述の制御部３２０（または制御部４１０）から動作開始の指令が入力されるまでは動作を開始せず、待機している。そして、制御部３２０から動作開始の指令が入力されたら動作を開始する。なお、以下の動作の説明において、アーム１０３Ｒ，１０３Ｌのうち何れのアームを用いるかは一例に過ぎず、反対側のアームを用いても良いし、片方のアームを用いて行う作業を両方のアームを協働させて行っても良い。

図３に示すように、ロボット１００は、アーム１０３Ｒを揺動させ、ハンド１１１Ｒに設けられた２つの把持部材１１２を用いて、ホルダ１２２の被把持部１２３を把持する。その後、ハンド１１１Ｒで、ホルダ１２２に設けられた２つのシャーレ用把持部材１２４を操作することで、インキュベータ（図示せず）に収容されたシャーレ１２１を把持し、インキュベータからシャーレ１２１を取り出し、その取り出したシャーレ１２１をシャーレ台１２５（図６参照）に載置する。

その後、図４に示すように、ロボット１００は、アーム１０３Ｌを揺動させ、ハンド１１１Ｌに設けられた２つの把持部材１１２を用いて、吸着パッド１２６に取り付けられたホルダ１２７の被把持部１２８を把持する。そして、ハンド１１１Ｌで、ホルダ１２７を介して吸着パッド１２６を操作することで、シャーレ台１２５に載置したシャーレ１２１の蓋１２１Ｕを吸着して持ち上げる。

その後、図５に示すように、ロボット１００は、アーム１０３Ｒを揺動させ、ハンド１１１Ｒに設けられた２つの把持部材１１２を用いて、ピペット１２９の本体部１３０に取り付けられたホルダ１３１の被把持部１３２を把持する。そして、ハンド１１１Ｒで把持しているピペット１２９の先端に、マイクロピペット用のカートリッジであるチップ（図示せず）を取り付ける。その後、アーム１０３Ｌを揺動させ、ハンド１１１Ｌで、プッシュボタン１３３を操作することで、チップを介して試薬を吸引し、その吸引した試薬を上記シャーレ台１２５に載置したシャーレ１２１の底皿１３４（図６参照）に注入する。注入後、ロボット１００はアーム１０３Ｒを揺動させてハンド１１１Ｒをテーブル（図示せず）の下方に移動させ、所定の操作によりピペット１２９の先端から使用済みのチップを取り外し、廃棄ボックス（図示せず）に廃棄する。

その後 、図６に示すように、ロボット１００は、アーム１０３Ｌを揺動させ、ハンド１１１Ｌに設けられた２つの把持部材１１２を用いて、ヘラ１３５に取り付けられたホルダ１３６の被把持部１３７を把持する。その後、ハンド１１１Ｌで、ホルダ１３６を介してヘラ１３５を操作することで、上記シャーレ台１２５に載置したシャーレ１２１の底皿１３４内の検体を掻き混ぜる。掻き混ぜ後、ロボット１００はアーム１０３Ｌを揺動させてハンド１１１Ｌをテーブル（図示せず）の下方に移動させ、使用済みのヘラ１３５を廃棄ボックス（図示せず）に廃棄する。

その後もロボット１００の動作は続く。詳細な説明および図示は省略するが、例えば、試験管（図示せず）の蓋を開けた後、ピペット１２９を用いて、シャーレ１２１の底皿１３４内の上澄み液（検体）を吸引し、試験管に注入する動作、その後試験管の蓋を閉じた後、当該試験管を加熱・冷却器（図示せず）にセットして加熱または冷却処理する動作、加熱または冷却処理後に試験管を遠心分離機（図示せず）にセットし、検体を一定の時間遠心分離する動作などの動作が行われる。

（管理コンピュータ３００の構成）
引き続き、管理コンピュータ３００の構成について説明する。図７は管理コンピュータ３００のハードウェア構成図である。図７に示すように、管理コンピュータ３００は、物理的には、ＣＰＵ３０１、ＲＯＭ３０２及びＲＡＭ３０３等の主記憶装置、キーボード及びマウス等の入力デバイス３０４、ディスプレイ等の出力デバイス３０５、ロボット１００およびカメラ２００等との間でデータの送受信を行うためのネットワークカード等の通信モジュール３０６、ハードディスク等の補助記憶装置３０７などを含む通常のコンピュータシステムとして構成される。後述する管理コンピュータ３００の各機能は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ３０１の制御の元で入力デバイス３０４、出力デバイス３０５、通信モジュール３０６を動作させると共に、主記憶装置３０２，３０３や補助記憶装置３０７におけるデータの読み出し及び書き込みを行うことで実現される。

図１を参照しながら、管理コンピュータ３００の機能的構成要素について説明する。図１に示すように、管理コンピュータ３００は、機能的には、格納部３１０（格納装置）、制御部３２０（制御装置）、保存部３３０（保存装置）、表示部３４０（表示装置）、修正情報入力部３５０（修正情報入力装置）、および同期部３６０（同期装置）を備えて構成される。これらの機能的な構成要素は、バードウェア上で個別的に分離されていても良く、または分離されずに何れか二つ以上の構成要素が一つのハードウェアとして構成されていても良い。

格納部３１０は、ロボット１００の一連の作業内容を示す作業内容情報を格納するものである。格納部３１０は、例えば補助記憶装置３０７により構成されても良い。図８は、格納部３１０が格納する作業内容情報の一例をイメージした図である。一例として、カテゴリ大とカテゴリ小の２種類の作業内容があり、それぞれの作業内容にはＩＤが振られている。カテゴリ小の作業内容はカテゴリ大の作業内容に含まれるものである。なお、図８の作業内容は、上記図３〜６を用いて例示したロボット１００の動作における作業内容と一致する。すなわち、 図８のＷ１１〜１４を含むＷ１の作業内容はロボット１００の図３の動作に該当し、図８のＷ２１および２２を含むＷ２の作業内容はロボット１００の図４の動作に該当し、図８のＷ３１〜３７を含むＷ３の作業内容はロボット１００の図５の動作に該当し、図８のＷ４１〜４４を含むＷ４の作業内容はロボット１００の図６の動作に該当する。なお、図８において、Ｗ５〜１０におけるカテゴリ小の作業内容については記載を省略する。

図１に戻り、制御部３２０は、格納部３１０に格納されている作業内容情報に従いロボット１００を制御し、ロボット１００に所定の作業を行わせるものである。制御部３２０は、例えば図８に示した作業内容情報に従いロボット１００を制御する。制御部３２０は、例えばＷ１からＷ１０までの作業を順に行うようロボット１００を制御する。制御部３２０は、例えばＣＰＵ３０１および補助記憶装置３０７により構成されても良い。

制御部３２０は、ロボット１００の作業結果を示す作業結果情報を格納する作業結果情報格納部３２１（作業成功情報格納部）を含んでいても良い。作業結果情報格納部３２１は、ロボット１００が作業を遂行した時刻を示す作業時刻情報、およびロボット１００が当該作業を成功的に遂行したか否かを示す作業成功情報を格納する。図９は、作業結果情報格納部３２１が格納する作業結果情報の一例をイメージした図である。図９は、例えば、カテゴリ小のＷ１１の作業が時刻 0:00:00から0:00:05まで行われ、カテゴリ小のＷ１１〜Ｗ１４の作業を含むカテゴリ大のＷ１の作業が時刻 0:00:00から0:00:20まで行われたことを示す。また、図９において、カテゴリ大のＷ１〜３までは作業が成功的に遂行されたため、作業遂行結果の欄に「○」と表示されている。一方、カテゴリ小のＷ４２の作業が失敗だったため、Ｗ４２が「×」であり、その結果Ｗ４２を含むＷ４も「×」になっている。なお、作業結果を判定可能な別途の装置（図示せず）が備えられていても良く、この場合には当該別途の装置が作業結果を示す情報を作成して、それを作業結果情報格納部３２１に送信するようにしても良い。このような作業結果情報格納部３２１は、例えば補助記憶装置３０７により構成されても良い。

保存部３３０は、カメラ２００が撮像して得た画像情報を時刻情報と関連付けて保存するものである。保存部３３０は、例えば補助記憶装置３０７により構成されても良い。ここで、カメラ２００は、ロボット１００を好適に撮像できる場所に設置され、ロボット１００の動作を撮像するものである。カメラ２００は例えばＣＣＤカメラ等で構成されていても良い。例えばロボット１００の上部または左右に設置されたカメラ２００からの撮像画像は、例えば通信ネットワークを通じて保存部３３０に出力される。カメラ２００による撮像画像は動画でも静止画でも良い。カメラ２００は、ロボット１００を好適に撮像できるのであれば、１台でも、複数台でもかまわない。保存部３３０は、カメラ２００から入力した画像情報を作業内容情報と関連付けて保存しても良い。

図１０は、保存部３３０が格納する情報の一例をイメージした図である。画像ＩＤがＶ１である動画データは、0:00:00から0:04:00まで撮像されたものであり、カテゴリ大のＩＤがＷ１〜Ｗ１０の作業を行うロボット１００を撮像したものである。図１０によると、各作業がどのタイミングで行われたを容易に把握することができる。

表示部３４０は、保存部３３０に保存された画像情報を時刻情報とともに表示するものである。更に、表示部３４０は、格納部３１０を参照することにより、画像情報および時刻情報を作業内容情報とともに表示しても良い。更に、表示部３４０は、作業結果情報格納部３２１を参照することにより、画像情報および時刻情報を作業成功情報とともに表示しても良い。表示部３４０は、例えば出力デバイス３０５により構成されても良い。

図１１および図１２は、表示部３４０の表示画面３４１の一例をイメージした図である。0:00:00から0:04:00まで撮像された画像が動画として時間の経過とともに順次表示されており、図１１に示す瞬間は作業開始から３０秒が経過した時刻0:00:30の時である。図１１において、ロボット１００は作業ＩＤがＷ２２の作業をしており、作業結果は「○」、つまり作業成功を示している。一方で、図１２に示す瞬間は作業開始から１分１５秒が経過した時刻0:01:15の時である。図１２において、ロボット１００は作業ＩＤがＷ４２の作業をしており、作業結果は「×」、つまり作業失敗を示している。

修正情報入力部３５０は、表示部３４０に表示された作業成功情報が、ロボット１００が作業を成功的に遂行していない旨を示す場合に、作業者が当該失敗した作業に対応する作業内容情報を修正するためのものである。修正情報入力部３５０は、例えば入力デバイス３０４および出力デバイス３０５により構成されても良い。

図１３は、修正情報入力部３５０における動作の一例をイメージした図である。図１２の例において、表示部３４０に表示された作業成功情報が、ロボット１００が作業ＩＤ Ｗ４２の作業を成功的に遂行していない旨を示したので、修正情報入力部３５０は図１３の（Ａ）に示したような現在の作業内容、つまり修正前の作業内容を作業者に表示する。そして、作業者が、図１３の（Ｂ）に示したようなこれからの作業内容、つまり修正後の作業内容を修正情報入力部３５０を通じて入力する。この例において、作業ＩＤ Ｗ４２の作業は、例えば、ヘラ１３５の長さが短すぎたので作業失敗となったと判断されたため、作業者はヘラ１３５の代わりに長形の別のヘラを使うように、作業ＩＤ Ｗ４の４つの作業を適宜修正している。

同期部３６０は、カメラ２００における時刻情報と、保存部３３０における時刻情報との間の同期を取るものである。この時刻情報は、一般的な標準時刻を示す情報であっても良く、またはカメラ２００と保存部３３０との間の相対的なタイミングを示す情報であっても良い。なお、図９〜図１２に示めした例えば0:01:15の時刻は、一般的な標準時刻、つまり絶対時刻を示すものではない。0:01:15の時刻は、作業開始のタイミングを0:00:00とした場合の相対時刻を示すものであり、つまり作業開始から１分１５秒が経過した時刻を示している。このような同期部３６０は、例えばＣＰＵ３０１により構成されても良い。

（ロボット監視システム１の動作）
続いて、ロボット監視システム１により行われる動作について、図１４を参照しながら説明する。図１４は、ロボット監視システム１の動作を示すフローチャートである。

最初に、制御部３２０が、格納部３１０に格納されている作業内容情報に従いロボット１００を順次制御し、ロボット１００に所定の作業を順次行わせる（ステップＳ１０１、制御ステップ）。ここで、格納部３１０には、例えば図８を参照しながら上述したように、ロボット１００の一連の作業内容を示す作業内容情報が予め格納されている。

次に、作業結果情報格納部３２１が、例えば図９を参照しながら上述したように、ロボット１００が作業を遂行した時刻（または時間帯）を示す作業時刻情報、およびロボット１００が当該作業を成功的に遂行したか否かを示す作業成功情報を順次格納する（ステップＳ１０２）。

ステップＳ１０１およびＳ１０２と同時に、カメラ２００がロボット１００の動作を撮像する。カメラ２００は、撮像により得た撮像画像を保存部３３０に出力する（ステップＳ１０３）。

次に、保存部３３０が、例えば図１０を参照しながら上述したように、カメラ２００からの画像情報を時刻情報と関連付けて保存する。このとき保存部３３０は、図１０に示したように、作業ＩＤを示す情報を更に関連付けて保存しても良い（ステップＳ１０４、保存ステップ）。

次に、表示部３４０が、例えば図１１〜図１２を参照しながら上述したように、ステップＳ１０４にて保存された画像情報を時刻情報とともに表示する。このとき表示部３４０は、図１１〜図１２に示したように、作業内容情報および作業成功情報とともに、画像情報および時刻情報を表示しても良い（ステップＳ１０５、表示ステップ）。

（ロボット監視システム１の別の構成）
以上では、図１に示したように、ロボット監視システム１がロボット１００、カメラ２００、および管理コンピュータ３００を備えた構成について説明した。つまり、図１に示したロボット監視システム１は、ロボット１００、カメラ２００、並びに入力デバイス３０４および出力デバイス３０５を含む管理コンピュータ３００により構成され、そのうち格納部３１０、制御部３２０、保存部３３０、および同期部３６０は、管理コンピュータ３００により構成され、また、表示部３４０は管理コンピュータ３００に含まれた出力デバイス３０５により構成され、更に修正情報入力部３５０は管理コンピュータ３００に含まれた入力デバイス３０４および出力デバイス３０５により構成されている。

しかし、本開示はこれに限らず、様々な構成態様を有する。図１５は、ロボット監視システム１の別の構成を示す構成概要図である。図１５に示す構成において、ロボット監視システム１は、図１４に示した構成に比べ、ロボット１００、カメラ２００、管理コンピュータ３００の他にロボットコントローラ４００を更に有する。

ロボットコントローラ４００は、図７に示した構成と同様のハードウェア構成を有し、ロボット１００の動作を制御するためのものである。ロボットコントローラ４００は、ロボット１００および管理コンピュータ３００と通信ネットワークにより互いにデータ通信可能に接続されている。ロボットコントローラ４００が有する機能的構成要素の一つは、制御部４１０がある。制御部４１０の機能および動作は、配置位置が異なる点以外は、上述した制御部３２０と同じであるため、ここでは説明を省略する。制御部４１０が有する作業結果情報格納部４１１についても、配置位置が異なる点以外は、上述した作業結果情報格納部３２１と同じであるため、ここでは説明を省略する。

つまり、図１５に示したロボット監視システム１は、ロボット１００、カメラ２００、入力デバイス３０４および出力デバイス３０５を含む管理コンピュータ３００、並びにロボットコントローラ４００により構成され、そのうち格納部３１０、保存部３３０および同期部３６０は、管理コンピュータ３００により構成される一方で制御部４１０はロボットコントローラ４００により構成され、また、表示部３４０は管理コンピュータ３００に含まれた出力デバイス３０５により構成され、更に修正情報入力部３５０は管理コンピュータ３００に含まれた入力デバイス３０４および出力デバイス３０５により構成されている。なお、この例において、格納部３１０は管理コンピュータ３００に配置されているが、これに限らず、格納部３１０がロボットコントローラ４００に配置されていても良い。

（ロボット監視システム１の更に別の構成）
図１６は、ロボット監視システム１の更に別の構成を示す構成概要図である。図１６に示す構成において、ロボット監視システム１は、図１５に示した構成に比べ、ロボット１００、カメラ２００、管理コンピュータ３００、ロボットコントローラ４００の他にプログラミングペンダント５００（作業者用の操作端末）を更に有する。

プログラミングペンダント５００は、作業者がロボット１００を操作するために現場で用いる携帯型の操作端末である。プログラミングペンダント５００は、表示画面および情報入力ボタン等のハードウェア構成を有し、管理コンピュータ３００およびロボットコントローラ４００と例えば無線通信ネットワークにより互いにデータ通信可能に接続されている。

プログラミングペンダント５００は、機能的構成要素として、ペンダント側表示部５１０およびペンダント側修正情報入力部５２０を有する。ペンダント側表示部５１０は、プログラミングペンダント５００の例えば表示画面等により構成され、管理コンピュータ３００の表示部３４０が表示する情報と同様の情報を表示する。なお、ペンダント側表示部５１０が小さい画面サイズにアレンジされた情報を表示しても良い。ペンダント側修正情報入力部５２０は、プログラミングペンダント５００の例えば情報入力ボタン等により構成され、管理コンピュータ３００の修正情報入力部３５０と同様の機能を有する。

つまり、図１６に示したロボット監視システム１は、ロボット１００、カメラ２００、入力デバイス３０４および出力デバイス３０５を含む管理コンピュータ３００、ロボットコントローラ４００、並びにプログラミングペンダント５００により構成され、そのうち格納部３１０、保存部３３０および同期部３６０は、管理コンピュータ３００により構成される一方で制御部４１０はロボットコントローラ４００により構成される。また、表示部３４０が管理コンピュータ３００に含まれた出力デバイス３０５により構成される一方で、表示部３４０と同様の機能を有するペンダント側表示部５１０がプログラミングペンダント５００に配置されている。更に修正情報入力部３５０が管理コンピュータ３００に含まれた入力デバイス３０４および出力デバイス３０５により構成される一方で、修正情報入力部３５０と同様の機能を有するペンダント側修正情報入力部５２０がプログラミングペンダント５００に配置されている。なお、この例において、格納部３１０は管理コンピュータ３００に配置されているが、これに限らず、格納部３１０がロボットコントローラ４００に配置されていても良い。

（その他の実施態様）
以上の説明においては、本開示における実施態様として、ロボット１００、カメラ２００、管理コンピュータ３００、ロボットコントローラ４００、およびプログラミングペンダント５００等を含むロボット監視システム１を例示したが、本実施態様はこれに限られるものではなく、本実施態様を各構成要素における各機能を実行するためのモジュールを備えるロボット監視モジュールとして構成してもよい。すなわち、上述したロボット監視システム１に関する説明を元に、ロボット１００の一連の作業内容を示す作業内容情報が格納部３１０に格納されており、作業内容情報に従い、ロボット１００に所定の作業を行わせる制御モジュールと、ロボット１００の動作を撮像するカメラ２００が撮像して得た画像情報を時刻情報と関連付けて保存する保存モジュールと、保存モジュールに保存された画像情報を時刻情報とともに表示する表示モジュールと、を備える、ロボット監視モジュールを構成しても良い。

また、同様に、各構成要素における各機能をコンピュータに実行させるためのロボット監視プログラムとして構成してもよい。すなわち、ロボット１００の一連の作業内容を示す作業内容情報が格納部３１０に格納されており、作業内容情報に従い、ロボット１００に所定の作業を行わせる制御機能と、ロボット１００の動作を撮像するカメラ２００が撮像して得た画像情報を時刻情報と関連付けて保存する保存機能と、保存機能により保存された画像情報を時刻情報とともに表示する表示機能と、をコンピュータに実行させる、ロボット監視プログラムとして構成してもよい。そして、コンピュータに当該プログラムを読み込ませることにより、上述のロボット監視システム１と同等の機能を実現することができる。このようなプログラムは記録媒体に記録されることができる。記録媒体とは、コンピュータのハードウェア資源に備えられている読み取り装置に対して、プログラムの記述内容に応じて磁気、光、電気等のエネルギーの変化状態を引き起こし、それに対応する信号の形式で、読み取り装置にプログラムの記述内容を伝達できるものである。かかる記録媒体としては、例えば、磁気ディスク、光ディスク、ＣＤ−ＲＯＭ、コンピュータに内蔵されるメモリなどが該当する。

（本実施形態の作用および効果）
続いて、本実施形態にかかるロボット監視システム１等の作用および効果について説明する。本実施形態のロボット監視システム１等によれば、ロボット１００の撮像画像が時刻情報と関連付けられて保存され、表示部３４０が当該撮像画像を表示する際には、時刻情報とともに表示する。撮像画像が時刻情報とともに表示されることにより、作業者は、ロボット１００がどのタイミングでどの動作を行ったかを把握しやすくなるので、ロボット監視システム１は、ロボット１００の動作のうち不都合が発生した箇所を作業者が早期且つ容易に特定できるよう作業者をサポートすることができる。

また、本実施形態によれば、ロボット１００の撮像画像が時刻情報だけでなく、作業内容情報とも関連付けられて保存され、表示部３４０が当該撮像画像を表示する際には、時刻情報および作業内容情報とともに表示する。撮像画像が時刻情報および作業内容情報とともに表示されることにより、作業者は、ロボット１００がどのタイミングでどの動作を行ったかを更に把握しやすくなるので、ロボット監視システム１は、ロボット１００の動作のうち不都合が発生した箇所を作業者が早期且つ容易に特定できるよう作業者を更にサポートすることができる。

また、本実施形態によれば、表示部３４０が当該撮像画像を表示する際に、時刻情報および作業内容情報だけでなく、作業成功情報ととともに表示する。撮像画像が時刻情報、作業内容情報、および作業成功情報とともに表示されることにより、作業者は、ロボット１００がどのタイミングでどの動作を行い、更にその動作が成功したか失敗したかまでを把握できるようになるので、ロボット監視システム１は、ロボット１００の動作のうち不都合が発生した箇所を作業者が早期且つ容易に特定できるよう作業者を更にサポートすることができる。

また、本実施形態によれば、作業者が修正情報入力部３５０を用いて作業内容を修正できるので、ロボット１００の動作のうち不都合が発生した箇所の作業内容を早期且つ容易に修正し、ロボット１００が正しく動作するよう繰り返し試すことができる。この修正情報入力部３５０は、作業環境に応じて管理コンピュータ３００に配置されていても良く、プログラミングペンダント５００に配置されていても良い。これにより、作業環境に応じた柔軟な装置構成が可能となる。

また、本実施形態によれば、同期部３６０が、カメラ２００における時刻情報と、保存部３３０における時刻情報との間の同期を取り、当該同期された時刻のもとで表示部３４０での表示がなされる。これにより、ロボット監視システム１は、カメラ２００と管理コンピュータ３００間でタイミングが同期されていないことを原因に作業者を混乱させることなく、ロボット１００の動作のうち不都合が発生した箇所を作業者が早期且つ容易に特定できるよう作業者を確実にサポートすることができる。なお、カメラ２００と管理コンピュータ３００間で同期が取れれば良いので、絶対時刻で同期を取っても良く、または相対時刻で同期を取っても良い。

また、本実施形態によれば、ロボット監視システム１を、ロボット１００、カメラ２００、および管理コンピュータ３００を備えた構成にしても良く、これに加え、ロボットコントローラ４００更に備えても良い。また、プログラミングペンダント５００を更に備えても良い。このように、ロボット監視システム１は多様な構成態様を有し、状況に合わせて柔軟に構成することができる。更に、ロボット監視システム１と同じ機能を実行するためのロボット監視モジュールとして構成しても良く、当該機能をコンピュータに実行させるためのロボット監視プログラムとして構成しても良い。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されないことは言うまでもない。

例えば、上記実施形態においては、作業者がロボット１００を操作するために現場で用いる携帯型の操作端末としてプログラミングペンダント５００を例示したが、これに限られることなく、作業者がロボット１００を操作するために現場で使える操作端末であれば、プログラミングペンダント５００の代わりに他のものを適宜適用しても良い。

１…ロボット監視システム、１００…ロボット、２００…カメラ、３００…管理コンピュータ、３１０…格納部、３２０…制御部、３２１…作業結果情報格納部、３３０…保存部、３４０…表示部、３４１…表示画面、３５０…修正情報入力部、３６０…同期部、４００…ロボットコントローラ、４１０…制御部、４１１…作業結果情報格納部、５００…プログラミングペンダント、５１０…ペンダント側表示部、５２０…ペンダント側修正情報入力部。

Claims (16)

1. ロボットと、
   前記ロボットの一連の作業内容を示す作業内容情報を格納する格納装置と、
   前記作業内容情報に従い、前記ロボットに所定の作業を行わせる制御装置と、
   前記ロボットの動作を撮像する撮像装置と、
   前記撮像装置が撮像して得た画像情報を時刻情報と関連付けて保存する保存装置と、
   前記保存装置に保存された前記画像情報を前記時刻情報とともに表示する表示装置と、
   を備える、ロボット監視システム。
2. 前記保存装置は、前記画像情報を前記作業内容情報と関連付けて保存し、
   前記表示装置は、前記画像情報を前記作業内容情報とともに表示する、
   請求項１に記載のロボット監視システム。
3. 前記制御装置は、前記ロボットが前記作業を成功的に遂行したか否かを示す作業成功情報を格納する作業成功情報格納部を備え、
   前記表示装置は、前記画像情報を前記作業成功情報とともに表示する、
   請求項１または２に記載のロボット監視システム。
4. 前記表示装置に表示された前記作業成功情報が、前記ロボットが前記作業を成功的に遂行していない旨を示す場合に、作業者が前記作業に対応する前記作業内容情報を修正するための修正情報入力装置を更に備える、
   請求項３に記載のロボット監視システム。
5. 前記撮像装置における時刻情報と、前記保存装置における時刻情報との間の同期を取る同期装置を更に備える、
   請求項１〜４の何れか１項に記載のロボット監視システム。
6. 前記時刻情報は、前記撮像装置と前記保存装置との間の相対的なタイミングを示す情報である、
   請求項１〜５の何れか１項に記載のロボット監視システム。
7. 前記ロボット、前記撮像装置、およびディスプレイを含むコンピュータにより構成され、
   前記格納装置、前記制御装置、および前記保存装置は、前記コンピュータにより構成され、
   前記表示装置は、前記ディスプレイにより構成される、
   請求項１〜６の何れか１項に記載のロボット監視システム。
8. 前記ロボット、前記撮像装置、並びにディスプレイおよび入力装置を含むコンピュータにより構成され、
   前記格納装置、前記制御装置、および前記保存装置は、前記コンピュータにより構成され、
   前記表示装置は、前記ディスプレイにより構成され、
   前記修正情報入力装置は、前記入力装置により構成される、
   請求項４に記載のロボット監視システム。
9. 前記ロボット、前記撮像装置、ディスプレイを含むコンピュータ、およびロボットコントローラにより構成され、
   前記保存装置は、前記コンピュータにより構成され、
   前記制御装置は、前記ロボットコントローラにより構成され、
   前記表示装置は、前記ディスプレイにより構成される、
   請求項１〜６の何れか１項に記載のロボット監視システム。
10. 前記ロボット、前記撮像装置、ディスプレイおよび入力装置を含むコンピュータ、並びにロボットコントローラにより構成され、
    前記保存装置は、前記コンピュータにより構成され、
    前記制御装置は、前記ロボットコントローラにより構成され、
    前記表示装置は、前記ディスプレイにより構成され、
    前記修正情報入力装置は、前記入力装置により構成される、
    請求項４に記載のロボット監視システム。
11. 前記ロボット、前記撮像装置、コンピュータ、ロボットコントローラ、および作業者用の操作端末により構成され、
    前記保存装置は、前記コンピュータにより構成され、
    前記制御装置は、前記ロボットコントローラにより構成され、
    前記表示装置は、前記操作端末により構成される、
    請求項１〜６の何れか１項に記載のロボット監視システム。
12. 前記ロボット、前記撮像装置、コンピュータ、ロボットコントローラ、および作業者用の操作端末により構成され、
    前記保存装置は、前記コンピュータにより構成され、
    前記制御装置は、前記ロボットコントローラにより構成され、
    前記表示装置および前記修正情報入力装置は、前記操作端末により構成される、
    請求項４に記載のロボット監視システム。
13. ロボットの一連の作業内容を示す作業内容情報を格納する格納装置と、
    前記作業内容情報に従い、前記ロボットに所定の作業を行わせる制御装置と、
    前記ロボットの動作を撮像する撮像装置が撮像して得た画像情報を時刻情報と関連付けて保存する保存装置と、
    前記保存装置に保存された前記画像情報を前記時刻情報とともに表示する表示装置と、
    を備える、ロボット監視装置。
14. ロボットの一連の作業内容を示す作業内容情報が格納装置に格納されており、
    前記作業内容情報に従い、前記ロボットに所定の作業を行わせる制御ステップと、
    前記ロボットの動作を撮像する撮像装置が撮像して得た画像情報を時刻情報と関連付けて保存する保存ステップと、
    前記保存ステップで保存された前記画像情報を前記時刻情報とともに表示する表示ステップと、
    を備える、ロボット監視方法。
15. ロボットの一連の作業内容を示す作業内容情報が格納装置に格納されており、
    前記作業内容情報に従い、前記ロボットに所定の作業を行わせる制御モジュールと、
    前記ロボットの動作を撮像する撮像装置が撮像して得た画像情報を時刻情報と関連付けて保存する保存モジュールと、
    前記保存モジュールに保存された前記画像情報を前記時刻情報とともに表示する表示モジュールと、
    を備える、ロボット監視モジュール。
16. ロボットの一連の作業内容を示す作業内容情報が格納装置に格納されており、
    前記作業内容情報に従い、前記ロボットに所定の作業を行わせる制御機能と、
    前記ロボットの動作を撮像する撮像装置が撮像して得た画像情報を時刻情報と関連付けて保存する保存機能と、
    前記保存機能により保存された前記画像情報を前記時刻情報とともに表示する表示機能と、
    をコンピュータに実行させる、ロボット監視プログラム。