JP2021074827A - ロボットシステム - Google Patents

Abstract

【課題】作業者に必要な危険のみを抽出して提示し、ロボットの緊急停止回数を減少させ、作業効率の向上及び安全性の向上を図る。【解決手段】ロボットと、センサと、制御装置と、画像表示装置と、を備えたロボットシステムであって、制御装置は、ロボット制御部と、画像表示装置制御部と、を含み、ロボット制御部は、ロボットの動作を計画し動作データを作成する動作計画部を含み、動作データに基づきロボットを制御するものであり、画像表示装置制御部は、接近判定部と、画像生成部と、を含み、接近判定部は、人とロボットとの接近が生じるかどうかを判定するものであり、画像生成部は、動作データに基づき仮想的なオブジェクトのデータを生成し、センサから得られたデータとオブジェクトのデータとに基づき複合現実のデータを合成するものであり、画像表示装置は、複合現実のデータに基づき複合現実の画像を表示するものであり、接近判定部により接近が生じると判定された場合には、オブジェクトを画像表示装置に表示する。【選択図】図２

Description

本発明は、ロボットシステムに関する。

近年、労働人口減少が問題になっており、製造業における人手不足の解消、生産性の向上等が求められている。これらの解決手段の一つとして、人とロボットが協調して作業する協働ロボットシステムの活用が期待されている。そして、このシステムの作業効率の向上は、喫緊の課題として挙げられている。

特許文献１には、ロボットの動作に伴う危険の状況を適切に提示することを目的として、人の位置である人位置を取得する人位置取得部と、人位置取得部で取得された人位置に依存させて、人の視界範囲を決定する人視界範囲決定部と、動作計画に従って動作するロボットの少なくとも一部が視界範囲に含まれる特定時刻におけるロボットの位置、および、特定時刻におけるロボットの姿勢のうち少なくとも一方を含む位置姿勢を決定する位置姿勢決定部と、位置姿勢決定部で決定された位置姿勢を示すための画像データを生成する画像生成部とを備える、危険提示装置が記載されている。

国際公開第２０１１／０８９８８５号

協働ロボットは、一定距離以上作業者と近づくと緊急停止するように設定されていることが多い。よって、作業者が協働ロボットの動作を予測できずに接近することにより、緊急停止が頻発すると、作業効率が低下する。

また、ロボットに設けた緊急停止機能が常に万全であるとは限らない。この場合は、作業者がロボットの行動を予測し衝突を回避する必要があるが、ロボットの動作を精度よく予測することは難しい。例えば、作業者の死角から移動ロボットが作業者に接近する場合には、作業者と移動ロボットとの出会い頭の衝突などが発生してしまうおそれがあった。

特許文献１に記載の危険提示装置は、ロボットの動作に伴う危険の状況を人に提示するものであり、これによって作業効率や安全性の向上を図ることが可能である。しかしながら、特許文献１においては、危険の状況について人に提示するか否かを判定することは記載されていない。このため、実際に衝突などを回避する必要がない状況についても人に提示してしまう場合があり、提示された状況のうち作業者が実際に回避する必要がある危険に対する注意力が低下してしまうおそれがある。

そこで、本発明の目的は、作業者に必要な危険のみを抽出して提示し、ロボットの緊急停止回数を減少させ、作業効率の向上及び安全性の向上を図ることにある。

本発明のロボットシステムは、ロボットと、センサと、制御装置と、画像表示装置と、を備え、制御装置は、ロボット制御部と、画像表示装置制御部と、を含み、ロボット制御部は、ロボットの動作を計画し動作データを作成する動作計画部を含み、動作データに基づきロボットを制御するものであり、画像表示装置制御部は、接近判定部と、画像生成部と、を含み、接近判定部は、人とロボットとの接近が生じるかどうかを判定するものであり、画像生成部は、動作データに基づき仮想的なオブジェクトのデータを生成し、センサから得られたデータとオブジェクトのデータとに基づき複合現実のデータを合成するものであり、画像表示装置は、複合現実のデータに基づき複合現実の画像を表示するものであり、接近判定部により接近が生じると判定された場合には、オブジェクトを画像表示装置に表示する。

本発明によれば、作業者に必要な危険のみを抽出して提示し、ロボットの緊急停止回数を減少させ、作業効率の向上及び安全性の向上を図ることができる。

実施例１のロボットシステムの概要を示す全体構成図である。 実施例１のロボットシステムの機能を示すブロック図である。 実施例１の接近判定部の機能を示すブロック図である。 実施例１の画像生成部の機能を示すブロック図である。 実施例１におけるロボットの動作計画から実行までの工程を示すフローチャートである。 実施例１における接近判定から三次元オブジェクトの表示までの工程を示すフローチャートである。 実施例１における接近判定処理の工程を示すフローチャートである。 実施例１における三次元オブジェクト生成処理の工程を示すフローチャートである。 実施例１における三次元オブジェクト表示及びロボット動作実行のタイミングを示すタイムチャートである。 実施例２のロボットシステムの機能を示すブロック図である。 実施例２の接近判定部の機能を示すブロック図である。 実施例２における接近判定処理の工程を示すフローチャートである。 実施例３の画像生成部の機能を示すブロック図である。 実施例３における三次元オブジェクト生成処理の工程を示すフローチャートである。 実施例４のロボットシステムの機能を示すブロック図である。 実施例４におけるロボットシステムの動作計画から実行までの工程を示すフローチャートである。 実施例４における三次元オブジェクト表示及びロボット動作実行のタイミングを示すタイムチャートである。 作業者が複数のロボットの間を移動する状況を示す模式構成図である。

以下、本発明の実施例について、図面を参照して説明する。

図１は、実施例１のロボットシステム１００の全体構成を示したものである。

本図に示すように、ロボットシステム１００は、制御装置１０１と、ロボット１０２と、センサ１０３と、画像表示装置１０４と、を含む。

制御装置１０１は、センサ１０３から送信される情報の受信、ロボット１０２の制御、画像表示装置１０４に表示する画像のデータの送信等の機能を有する。

ロボット１０２は、固定されていても移動可能でもよく、マニピュレータ、アームロボット、移動ロボット、自動運転車、無人搬送車（ＡＧＶ）、人型ロボットなどの種類は問わない。

センサ１０３は、ロボット１０２の周囲の物、人、通路等に関する情報を検知する。センサ１０３は、ロボット１０２、画像表示装置１０４等に設置してもよく、複数箇所に配置されていてもよい。センサ１０３は、人との距離を測る距離センサでもよいし、画像認識するカメラでもよいし、Ｗｉ−ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信を検知するものでもよいし、人とロボットの接近を検知する他の手段でもよい。

画像表示装置１０４は、複合現実を合成する仮想的なロボットを表示する。画像表示装置１０４は、ロボット１０２の将来動作を複合現実として表示する。本図においては、作業者１０５が装着するヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ：ＨＭＤ）である。画像表示装置１０４は、スマートフォン等のモバイルデバイスでも、通路、壁等に設置された端末、スクリーン、壁、床等に画像を投影するプロジェクター等でもよく、その他の媒体でもよい。

なお、作業者１０５は、工場等の従業員だけでなく、ロボット１０２に接近する可能性のある人を代表的に表現した用語である。よって、ロボット１０２に接近する可能性のある人すべてが対象となる。

制御装置１０１は、画像表示装置１０４を制御する部分とロボット１０２を制御する部分とに分けて設置してもよく、そのような場合には、有線通信や無線通信などによって接続されるものとする。さらに、ロボット１０２の内部に制御装置１０１が組み込まれていてもよいし、画像表示装置１０４の内部に制御装置１０１が組み込まれていてもよい。

ロボットシステム１００は、作業者１０５との効率的な協働や円滑な自動走行などを目的にしている。ロボット１０２の周りに柵はなく、作業者１０５は、ロボット１０２に接近可能である。画像表示装置１０４は、作業者１０５が複合現実を確認するものである。

次に、ロボットシステムの機能について説明する。

図２は、ロボットシステムの機能を示すブロック図である。

本図に示すロボットシステム１００は、制御装置１０１にロボット１０２、センサ１０３及び画像表示装置１０４が接続されている。ここで、接続方法は、有線通信でも無線通信でもよい。

制御装置１０１は、ロボット制御部１１４と、画像表示装置制御部１１５と、を備える。ロボット制御部１１４は、動作計画部１１６と、遅延部１１７と、を備える。画像表示装置制御部１１５は、接近判定部１１８と、画像生成部１１９と、を備える。

動作計画部１１６は、ロボット１０２の動作を計画する部分である。この動作は、ロボット１０２が完遂すべきタスクを一度に達成する動作でもよいし、タスクの一部を達成するための動作でもよい。また、一度計画した動作の実行中に、途中から割り込んでロボットの動きを変更させるような動作でもよい。その際、必要であれば、センサ１０３あるいは図示しない別のセンサのデータを用いてもよい。

遅延部１１７は、ロボット１０２による動作データの実行を所定の時間だけ遅延させる機能を有する。この場合に、遅延部１１７は、動作データのロボット１０２への送信を所定の時間だけ遅延させてもよいし、ロボット１０２に送信した動作データのロボット１０２による実行を所定の時間だけ遅延させてもよい。

接近判定部１１８は、センサから得たロボット１０２若しくは作業者又はそれらの両方に関するデータを元に、ロボット１０２と作業者との距離を算出し、閾値と比較してロボット１０２と作業者が接近しているか否かを判定する部分である。

画像生成部１１９は、動作計画部１１６で計画された動作データを得て、それをオブジェクトに変換し、画像表示装置１０４に出力する部分である。画像表示装置１０４は、オブジェクトを表示する。オブジェクトは、三次元オブジェクトであることが望ましいが、二次元オブジェクトであってもよい。

ここで、動作計画部１１６から得る動作データは、ロボット１０２がアームロボットの場合は目標位置まで移動するための各ジョイントの角度情報、ロボット１０２がＡＧＶの場合は移動する際の速度、加速度、移動方向などのデータが例として挙げられる。

ロボット制御部１１４及び画像表示装置制御部１１５は、物理的に別々のハードウェアに属していてもよい。その場合は、通信環境の通信帯域によって動作計画部１１６で計画された動作データが画像生成部１１９に送るデータが制限されるという課題も想定される。その課題を解決するためには、例えば、ロボット制御部１１４と画像表示装置制御部１１５との間において無線通信が届くときのみ、動作計画部１１６が画像生成部１１９に動作データを送ることにしてもよい。これにより、全てのロボットからの動作データの全てを送る必要がなくなり、上記の通信帯域の通信容量の上限値によりデータが制限される課題を解決することができる。

なお、接近判定部１１８は、センサ１０３で検知されたデータを受け取り、そのデータをもとに、作業者とロボット１０２の距離を算出し、それを閾値と比較することで、作業者とロボット１０２とが接近しているか否かを判定する部分である。ここで、データは、センサ１０３の種類に依存する。センサ１０３のデータは、例えば、センサ１０３がロボットに取り付けられているライダーの場合は、周辺の点群データなどである。また、ロボット１０２に取り付けられたカメラである場合は、撮影した作業者のＲＧＢ画像や距離画像である。また、画像表示装置１０４や作業者に取り付けられたカメラの場合は、ロボットのＲＧＢ画像や距離画像である。

画像生成部１１９は、接近判定部１１８から得た作業者とロボット１０２との接近判定結果と、動作計画部１１６から得たロボット１０２の動作データとを用いて、画像表示装置１０４に出力するための三次元オブジェクトを生成する部分である。

次に、接近判定部の詳細な構成について説明する。

図３は、接近判定部の機能を示すブロック図である。

本図においては、接近判定部１１８は、距離算出部１３０、閾値比較部１３１及び閾値記憶部１３２を備えている。

距離算出部１３０は、センサからのデータを用いて作業者とロボット１０２との距離を算出する。算出する方法としては、例えば、センサ１０３が作業者又は画像表示装置に取り付けられたカメラの場合は、カメラが撮影したロボット１０２の距離画像を用いて、画像認識によって距離画像の中でどれがロボット１０２にあたるのかを判定し、カメラからロボット１０２の距離を算出するなどの方法が挙げられる。作業者とロボット１０２との距離を算出する方法であれば、他の方法を用いてもよい。

閾値比較部１３１は、距離算出部１３０が算出した作業者とロボット１０２との距離を用いて、閾値と比較する部分である。閾値比較部１３１は、閾値よりも距離が小さい場合には、作業者とロボット１０２とが接近していると判定する。ここで用いる閾値は、閾値記憶部１３２に記憶されており、このロボットシステム１００を利用する前にあらかじめ設定し、記憶させておくことが望ましい。

次に、画像生成部１１９の詳細な構成について説明する。

図４は、画像生成部の機能を示すブロック図である。

本図においては、画像生成部１１９は、動画生成部１４１、モデル記憶部１４２及び出力座標定義部１４３を備えている。

動画生成部１４１は、動作計画部１１６から読み込んだ動作データと、ロボット１０２のモデルデータとを用いて、ロボット１０２のモデルが動作データの動作をこなしている様を動的に表す三次元オブジェクト（アニメーション）を生成する部分である。ここで用いるロボット１０２のモデルデータは、モデル記憶部１４２に記憶されている。ロボットシステム１００を利用する前にあらかじめロボット１０２の複合現実モデルを設定し、記憶させておくことが望ましい。なお、上記のアニメーションは、「動画モデル」とも呼ぶ。

例えば、ロボット１０２がアームロボットの場合、動作データを表示するためには、ロボット１０２のあらゆる姿勢の複合現実モデルをモデル記憶部１４２に記憶しておき、それを用いてアームロボットが動作データをこなす様を表す三次元オブジェクトを生成する。

出力座標定義部１４３は、動画生成部１４１が生成した三次元オブジェクトを、画像表示装置１０４に複合現実として出力する際に、作業者から見える三次元オブジェクトの場所を定義する部分である。例えば、ロボット１０２がアームロボットの場合は、ロボット１０２と三次元オブジェクトとが画像表示装置１０４の画像として重なって見えるように定義してもよい。また、ロボット１０２がＡＧＶの場合は、ロボット１０２が実際に動作し移動する場所に三次元オブジェクトを表示するよう定義してもよい。これにより、作業者が直観的に将来のロボット１０２の場所及び動作を認識することができる。

図５は、ロボットの動作計画から実行までの工程を示すフローチャートである。

本図に示すように、まず、工程Ｓ００１において、動作計画部１１６がロボット１０２の動作を計画する。ロボット１０２がアームロボットの場合は、先端の目標位置に対する各ジョイントの角度や角速度指令などを計画する。ロボット１０２がＡＧＶの場合は、到達目標位置に対する速度やルート等の動作を計画する。ロボット１０２がアームロボットでもＡＧＶでもない場合は、そのロボットに合った動作を計画する。

次いで、工程Ｓ００２において、遅延部１１７に設定された時間だけ待ってから、遅延部１１７が動作データをロボット１０２に送信する。

次いで、工程Ｓ００３において、ロボット１０２が動作データをもとにアクチュエートし、動作を実行する。

以上説明した工程Ｓ００１からＳ００３までの処理は、ロボットの一連の動作が完了してから、スタートに戻って行われる。ただし、本発明は、上記の工程に限定されるものではなく、周囲環境が動的な環境の場合は、計画を例えば１００ｍｓｅｃごとに繰り返し行ってもよい。

次に、ロボット１０２と作業者１０５との接近判定をし、三次元オブジェクトを表示するまでの工程について説明する。

図６は、接近判定から三次元オブジェクトの表示までの工程を示すフローチャートである。

本図に示すように、工程Ｓ００４で、接近判定部１１８が作業者とロボット１０２との接近の有無の判定をする（接近判定処理）。工程Ｓ００４の詳細については、図７を用いて後述する。

工程Ｓ００４で判定した結果である接近の有無については、工程Ｓ００５に示すとおりであり、作業者とロボット１０２との接近がある場合は、工程Ｓ００６へ進む（Ｓ００５のＹＥＳ）。作業者とロボット１０２との接近がない場合は、工程Ｓ００４に戻って接近判定処理を繰り返す（Ｓ００５のＮＯ）。

工程Ｓ００６においては、計画した動作データを画像生成部１１９に送信する。

次いで、工程Ｓ００７において、画像生成部１１９が画像表示装置１０４に出力する三次元オブジェクトを生成する。工程Ｓ００７の詳細については、図８を用いて後述する。

次いで、工程Ｓ００８においては、出力座標定義部１４３が、画像表示装置１０４に三次元オブジェクトを出力する際の出力場所（出力座標）を定義する。例えば、ロボット１０２がアームロボットで、作業者１０５が画像表示装置１０４から見たときに、三次元オブジェクトがロボット１０２と重なって見えるようにしたければ、画像表示装置１０４が認識可能なマーカーをロボット１０２に付けて、そのマーカーを基準に三次元オブジェクトを出力してもよい。また、この場合に、作業空間の中でロボット１０２の座標を定義し、画像表示装置１０４に設定し記憶しておき、画像表示装置１０４の自己位置推定機能なども利用して相対位置関係を割り出す方法などをとってもよい。

次いで、工程Ｓ００９において、工程Ｓ００７で生成した三次元オブジェクトと工程Ｓ００８で定義した出力座標とを画像表示装置１０４に出力する。

次いで、工程Ｓ０１０において、画像表示装置１０４が三次元オブジェクトを定義した座標に見えるように表示する。

以上説明した工程Ｓ００４からＳ０１０までの処理は、例えば、１００ｍｓｅｃ程度の一定の周期で繰り返す。

次に、接近判定部１１８による作業者とロボット１０２との接近判定処理について説明する。図６の工程Ｓ００４に相当する部分である。

図７は、接近判定処理の工程を示すフローチャートである。

本図に示すように、まず、工程Ｓ０１１において、センサ１０３のデータをもとに、距離算出部１３０が作業者１０５とロボット１０２との距離を算出する。例えば、センサ１０３がロボット１０２に取り付けられたカメラであり、距離画像のデータが受け取れる場合は、画像認識機能で距離画像の中の作業者１０５を判別し、距離を算出する方法を採用することができる。他にも、センサ１０３の種類に応じて距離を算出する方法であれば任意の方法をとってよい。

次いで、工程Ｓ０１２において、閾値記憶部１３２に記憶されている閾値と、Ｓ０１１において算出した作業者とロボット１０２との距離と、を比較し、閾値よりも距離が小さいか確認する。距離が閾値より小さい場合（工程Ｓ０１３におけるＹＥＳ）は、工程Ｓ０１４に進む。距離が閾値より小さくない場合（工程Ｓ０１３におけるＮＯ）は、工程Ｓ０１５へ進む。この場合の比較方法は、距離が閾値以下のときは、工程Ｓ０１３のＹＥＳとみなし、距離が閾値以下でないときは、工程Ｓ０１３のＮＯとみなすなど、距離と閾値の関係から作業者１０５とロボット１０２との接近関係を判定できるものであれば他の方法でもよい。

工程Ｓ０１４に進んだ場合は、作業者１０５とロボット１０２とは接近していると判定する。一方、工程Ｓ０１５に進んだ場合は、作業者１０５とロボット１０２とは接近していないと判定する。

次に、画像生成部１１９が三次元オブジェクトを生成する工程について説明する。図６のＳ００７に相当する部分である。

図８は、三次元オブジェクト生成処理の工程を示すフローチャートである。

本図に示すように、まず、工程Ｓ０２１において、モデル記憶部１４２からロボット１０２のモデルデータを読み込む。ここで、読み込むモデルデータは、例えば、ＣＡＤデータなど、画像表示装置１０４に出力するための三次元オブジェクトを生成するもとになれるものであればよい。

次いで、工程Ｓ０２２において、動作計画部１１６で計画された動作データを読み込む。

次いで、工程Ｓ０２３において、動画生成部１４１により、モデルが動作データを再現して動いて見えるように構成された三次元オブジェクトを生成する。

図９は、三次元オブジェクト表示及びロボット動作実行のタイミングを示すタイムチャートである。右に向かって時間が流れる図である。

本図においては、三次元オブジェクトが画像表示装置１０４に表示されてからロボット１０２が動作実行するまでを表している。

まず、動作計画部１１６で計画された動作データをロボット１０２のモデルデータが再現するように構成された三次元オブジェクトの表示が、画像表示装置１０４において開始される。その開始時点から、遅延部１１７が遅らせた時間（遅延時間）だけ遅れてロボット１０２の実際の動作が実行される。この場合において、接近判定の時間や動作データを送信する時間などは誤差とし、遅延時間としてカウントしないものとしている。

このように、作業者１０５が遅延時間分だけ先に、ロボット１０２の動作を三次元オブジェクトとして確認できるため、作業者１０５が直近のロボット１０２の動作（例えば数秒後の動作）を予測することができ、接近によるロボット１０２の緊急停止を避け、作業効率を向上させる効果を得ることができる。

さらに、接近判定部１１８によって、接近したロボット１０２の直近の動作についてのみ作業者１０５が確認可能になるため、作業者１０５が実際に回避する必要がある危険を容易に認識することができる。

（接近判定部で作業者及びロボットの将来位置を予測する例）
実施例１においては、接近判定処理において、作業者１０５とロボット１０２との距離のみを利用している。

これに対して、実施例２においては、接近判定処理をする際、作業者１０５及びロボット１０２の予測された将来動作を用いて、更に高精度な接近判定処理をする。

ロボットシステムの機能ブロックの概要については、図２と同様である。

本実施例においては、接近判定部の内部構成が実施例１とは若干異なる。また、動作計画部から接近判定部に動作データが送信される点が実施例１と異なる。

図１０は、実施例２のロボットシステムの機能を示すブロック図である。

本図に示すロボットシステム２００は、制御装置２０１にロボット２０２、センサ２０３及び画像表示装置２０４が接続されている。ここで、接続方法は、有線通信でも無線通信でもよい。

制御装置２０１は、ロボット制御部２１４と、画像表示装置制御部２１５と、を備える。ロボット制御部２１４は、動作計画部２１６と、遅延部２１７と、を備える。画像表示装置制御部２１５は、接近判定部２１８と、画像生成部２１９と、を備える。

本図においては、図２と異なり、上述のとおり、動作計画部２１６から接近判定部２１８に動作データが送信されるようになっている。

接近判定部２１８では、動作計画部２１６からのロボット２０２の動作データと、センサ２０３などからの作業者の位置データとを受け取り、ロボット２０２及び作業者の将来動作を予測することにより、双方の接近判定をする。

次に、接近判定部２１８の機能ブロックの構成について説明する。

図１１は、本実施例の接近判定部の機能を示すブロック図である。

本図に示すように、接近判定部２１８は、将来ロボット位置算出部２２０と、危険エリア定義部２２１と、将来作業者位置算出部２２２と、将来位置重複判定部２２３と、を備える。

将来ロボット位置算出部２２０は、動作計画部２１６から受け取ったロボット２０２の動作データから、ロボット２０２が将来どの位置に移動するかを算出する部分である。

危険エリア定義部２２１は、将来ロボット位置算出部２２０が算出した将来のロボットの位置から、ロボット２０２がいずれその場所に移動してくるという意味で危険であると判定される場所を定義する部分である。

定義の方法は、例えば、ロボット２０２がＡＧＶの場合は、将来位置の半径数メートル以内は全て危険エリアとする方法などであり、他の方法でもよい。

将来作業者位置算出部２２２は、センサ２０３から受け取った作業者に関するデータから作業者の位置を算出し、将来の作業者の位置を算出し予測する部分である。例えば、次のような方法で作業者の将来位置を算出する。

センサ２０３がカメラであって距離画像を取得可能である場合、画像認識により作業者の位置データを算出し、その数秒後の作業者の位置データを算出する。そして、例えば、作業者についての２つの位置データから生成できる直線上に、更に数秒後の作業者が移動していると仮定して、２つの位置データ間の距離と同じだけ離れた直線上の位置（延長線上の位置）を、更に数秒後の作業者の位置であると推定する。なお、作業者の将来位置を算出できる方法であれば、これに限らず、他の方法でもよい。

将来位置重複判定部２２３は、危険エリア定義部２２１が定義した危険エリアに、将来作業者位置算出部２２２が推定した将来の作業者の位置が入っているか否かを判定し、入っていれば、作業者とロボット２０２とが接近すると判定する部分である。

次に、接近判定部２１８による接近判定処理について説明する。

図１２は、接近判定処理の工程を示すフローチャートである。

本図に示すように、まず、工程Ｓ０３１において、動作計画部２１６で計画されたロボットの動作データを接近判定部２１８が読み込む。

次いで、工程Ｓ０３２において、将来ロボット位置算出部２２０が、設定した時間だけ将来のロボット２０２の位置を上述のような方法によって推定する。

次いで、工程Ｓ０３３において、危険エリア定義部２２１が、工程Ｓ０３２で推定したロボット２０２の将来位置から、上述のような方法によって危険エリアを決定する。

次いで、工程Ｓ０３４において、センサ２０３が検知した作業者の位置データを読み込む。

次いで、工程Ｓ０３５において、将来作業者位置算出部２２２が、設定した時間だけ将来の作業者の位置データを上述のような方法で算出し予測する。

次いで、将来位置重複判定部２２３が、予測した作業者の位置が危険エリアに入るか否かを判定し、入る場合（工程Ｓ０３６のＹＥＳ）は、工程Ｓ０３７に進み、ロボット２０２と作業者とが接近していると判定する。入らない場合（工程Ｓ０３６のＮＯ）は、工程Ｓ０３８に進み、ロボット２０２と作業者とが接近していないと判定する。

このように、ロボット２０２及び作業者の将来位置を活用して接近判定をすることにより、接近判定の精度が向上する。すなわち、ロボット２０２が高速度で移動するような動的な環境においても、作業者が自身と接触するリスクの高いロボットのみを三次元オブジェクトとして確認することができる。これによって、接近判定処理中に、高速度で動作するロボット１０２が作業者１０５に急速に接近し、緊急停止する現象などを防止し、作業効率を更に向上させることができる。

（画像生成部で連続画像を生成する例）
実施例１においては、三次元オブジェクトとして、ロボット動作を表す動画モデルを表示したが、複数コマ送りのロボットの静止画（姿勢が異なるロボットの静止画）を重畳して表示し、ロボットの一連の動作を一度に全て把握できるシステムも考えられる。これによって、計画された動作を一目で全て把握することができ、複雑な動作や時間のかかる動作も作業者が把握しやすくなり、作業者とロボットとの接近による緊急停止を避け、作業効率を向上させる効果を得ることができる。

図１３は、本実施例の画像生成部の機能を示すブロック図である。

本図に示す画像生成部３１９は、実施例１又は実施例２と同じロボットシステムに属するものであり、画像生成部３１９以外の機能ブロックは、実施例１又は実施例２のものと同じである。

画像生成部３１９は、連続画像生成部３２０と、モデル記憶部３２１と、出力座標定義部３２２と、を備える。実施例１における画像生成部１１９（図４）との違いは、動画生成部１４１の代わりに、連続画像生成部３２０を設けたことである。

連続画像生成部３２０は、動作計画部が計画した動作データを、モデル記憶部３２１に記憶されているロボットのモデルデータを用いて、動作をコマ送りのように表現する部分である。複数のロボットモデルデータを三次元オブジェクトとして表示し、例えば、動作をはじめから終わりまで一度に表す。動作の長さに対していくつのコマ割りでモデルを表示するかは任意である。

次に、連続画像生成部３２０による画像生成について説明する。

図１４は、三次元オブジェクト生成処理の工程を示すフローチャートである。

本図においては、工程Ｓ０４１及びＳ０４２は、図８と同様であり、工程Ｓ０４３のモデルが動作している様子をコマ送りで表現し、それらを一度に表示するような三次元オブジェクトを生成する部分が図８とは異なる。

（動作実行前に承認処理を入れる例）
実施例１〜３においては、遅延部が遅延時間を設けて、ロボットの動作のタイミングを調整している。

これに対して、実施例４においては、作業者がロボットの将来動作について判断し、承認することを可能にしている。

図１５は、本実施例のロボットシステムの機能を示すブロック図である。

本図に示すロボットシステム４００は、制御装置４０１にロボット４０２、センサ４０３及び画像表示装置４０４が接続されている。ここで、接続方法は、有線通信でも無線通信でもよい。

制御装置４０１は、ロボット制御部４１４と、画像表示装置制御部４１５と、を備える。ロボット制御部４１４は、動作計画部４１６と、動作承認部４１７と、を備える。画像表示装置制御部４１５は、接近判定部４１８と、画像生成部４１９と、を備える。

本図に示すロボット制御部４１４は、図２と異なり、遅延部の代わりに動作承認部４１７を有している。そして、画像生成部４１９から動作承認部４１７に三次元オブジェクトの表示完了通知が送信されるようになっている。動作承認部４１７は、三次元オブジェクトの表示完了通知を受けて、作業者にその動作を実際にロボット４０２で実行するか否かの判断をさせる。この判断には、何らかの外部入力装置などを用いてする。作業者が動作実行の承認をしたとき、動作承認部４１７は、ロボット４０２に動作データを送信する。また、当該承認は、事前にロボット４０２に送信した動作データの実行の承認であってもよい。ここで、外部入力装置は、画像表示装置４０４に設けられたボタンでもよい。また、センサ４０３に対する合図（身振り、手振り等）により、作業者の承認としてもよい。また、承認する人は、ロボット４０２に接近する作業者だけでなく、監督等の第三者であってもよい。

図１６は、本実施例におけるロボットシステムの動作計画から実行までの工程を示すフローチャートである。

本図においては、まず、工程Ｓ０５１において、動作計画部１１６がロボット１０２の動作を計画する。そして、工程Ｓ０５９において、画像生成部４１９から動作承認部４１７に三次元オブジェクトの表示完了通知を送信する。

工程Ｓ０６０において、作業者は、ロボット４０２が実際に動作を実行してよいかどうかの判断をし、動作承認部４１７が作業者の承認を受けた場合（工程Ｓ０６０のＹＥＳ）は、工程Ｓ０６１に進み、動作承認部４１７からロボット４０２に指令を送信する。その後、工程Ｓ０６２において、ロボット４０２が動作データをもとにアクチュエートし、動作を実行する。

工程Ｓ０６０において作業者の承認が得られない場合（工程Ｓ０６０のＮＯ）は、ロボット４０２の動作を実行しない。

図１７は、本実施例における三次元オブジェクト表示及びロボット動作実行のタイミングを示すタイムチャートである。右に向かって時間が流れる図である。

本図においては、三次元オブジェクトが画像表示装置４０４に表示されてからロボット４０２が動作実行するまでを表している。

本図においては、三次元オブジェクト表示が完了した後、動作承認のプロセスを経て、ロボット４０２が実行される。

これにより、危険な動作が予想される場合は、事前にロボット４０２の動作の実行を中止し、作業者とロボットとの衝突等を防止し、安全を担保することができる。

なお、実際の工場等においては、複数のロボットが配置され、それぞれが異なる作業や動作を行う状況がある。このような場合においても、作業者（人）が複数のロボットの間に設けられた通路を通行する際、ロボットとの衝突等の危険を回避し、作業者が必要以上にストレスを感じることなく円滑に作業を進められる状況を維持するとともに、ロボットの緊急停止の回数を減らすことが必要である。

図１８は、作業者が複数のロボットの間を移動する状況を示す模式構成図である。

本図においては、複数のロボット１０２ａ、１０２ｂ、１０２ｃ、１０２ｄが配置されている。作業者１０５は、画像表示装置１０４（ＨＭＤ）を装着し、複数のロボット１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの間に進入しようとしている。

このような状況において、接近判定部１１８により、ロボット１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのいずれかと作業者１０５とが接近していると判定された場合には、ＨＭＤを介して的確な情報を作業者１０５に伝える。この場合に、ロボット１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうち作業者１０５に接近するものを、作業者１０５が判断しやすいように、ＨＭＤに表示することが望ましい。また、時々刻々と変化する状況に応じて、ＨＭＤに表示する内容を切り替えることが望ましい。

なお、この場合において、実施例１〜４に示すいずれの構成や方法を適用してもよい。

１００、２００、４００：ロボットシステム、１０１、２０１、４０１：制御装置、１０２、２０２、４０２：ロボット、１０３、２０３、４０３：センサ、１０４、２０４、４０４：画像表示装置、１０５：作業者、１１４、２１４、４１４：ロボット制御部、１１５、２１５、４１５：画像表示装置制御部、１１６、２１６、４１６：動作計画部、１１７、２１７：遅延部、１１８、２１８、４１８：接近判定部、１１９、２１９、４１９：画像生成部、１３０：距離算出部、１３１：閾値比較部、１３２：閾値記憶部、１４１：動画生成部、１４２：モデル記憶部、１４３：出力座標定義部、２２０：将来ロボット位置算出部、２２１：危険エリア定義部、２２２：将来作業者位置算出部、２２３：将来位置重複判定部、３１９：画像生成部、３２０：連続画像生成部、３２１：モデル記憶部、３２２：出力座標定義部、４１７：動作承認部。

Claims (7)

1. ロボットと、センサと、制御装置と、画像表示装置と、を備え、
   前記制御装置は、ロボット制御部と、画像表示装置制御部と、を含み、
   前記ロボット制御部は、前記ロボットの動作を計画し動作データを作成する動作計画部を含み、前記動作データに基づき前記ロボットを制御するものであり、
   前記画像表示装置制御部は、接近判定部と、画像生成部と、を含み、
   前記接近判定部は、人と前記ロボットとの接近が生じるかどうかを判定するものであり、
   前記画像生成部は、前記動作データに基づき仮想的なオブジェクトのデータを生成し、前記センサから得られたデータと前記オブジェクトの前記データとに基づき複合現実のデータを合成するものであり、
   画像表示装置は、前記複合現実の前記データに基づき前記複合現実の画像を表示するものであり、
   前記接近判定部により前記接近が生じると判定された場合には、前記オブジェクトを前記画像表示装置に表示する、ロボットシステム。
2. 前記オブジェクトは、三次元オブジェクトである、請求項１記載のロボットシステム。
3. 前記接近判定部により前記接近が生じないと判定された場合には、前記オブジェクトを前記画像表示装置に表示しない、請求項１記載のロボットシステム。
4. 前記ロボット制御部は、前記ロボットによる前記動作データの実行を所定の時間だけ遅延させる機能を有する遅延部を更に含む、請求項１記載のロボットシステム。
5. 前記ロボット制御部は、人の承認を受けてから前記ロボットに前記動作データの実行をさせる動作承認部を更に含む、請求項１記載のロボットシステム。
6. 請求項１記載のロボットシステムに用いられる、画像表示装置。
7. 請求項１記載のロボットシステムに用いられる、制御装置。

Images