JP2021053741A - 監視システム、監視方法およびプログラム - Google Patents

Abstract

【課題】情報処理負荷の軽減を図ることが可能な監視システムを提供する。【解決手段】ロボット制御システムは、ロボットの作業領域を監視するものであり、作業領域での移動体の移動を検出するイベントカメラと、作業領域を撮像する撮像カメラと、イベントカメラおよび撮像カメラと接続された制御装置とを備える。制御装置は、イベントカメラにより移動体の移動が検出された場合に、撮像カメラによる撮像結果に基づいて作業領域に対する人の入出を判断するように構成されている。【選択図】図２

Description

本発明は、監視システム、監視方法およびプログラムに関する。

従来、ロボットの作業環境監視装置が知られている（たとえば、特許文献１参照）。

このロボットの作業環境監視装置は、ロボットの作業領域（監視領域）を撮像するカメラと、カメラによる撮像結果に基づいて移動体を検出するコンピュータとを備えている。コンピュータは、移動体を検出した場合に、その移動体がロボットに近接するときに、ディスプレイに警告を発するとともに、ロボットを停止するなどの対応処理を行うように構成されている。

特開平５−２６１６９２号公報

しかしながら、上記した従来の作業環境監視装置では、カメラの撮像結果に基づく監視（作業領域に対する人の入出判断）が、ロボットの作業時に常に行われるので、情報処理負荷が大きく、運用コストの低減を図ることが困難である。

本発明は、上記の課題を解決するためになされたものであり、本発明の目的は、情報処理負荷の軽減を図ることが可能な監視システム、監視方法およびプログラムを提供することである。

本発明による監視システムは、監視領域を監視するものであり、監視領域での移動体の移動を検出する第１センサと、監視領域に対する人の入出を判断するための第２センサと、第１センサおよび第２センサと接続された制御装置とを備える。制御装置は、第１センサにより移動体の移動が検出された場合に、第２センサの検出結果に基づいて監視領域に対する人の入出を判断するように構成されている。

このように構成することによって、第１センサが移動体の移動を検出しない場合に、第２センサを用いた監視領域に対する人の入出判断が行われないので、第２センサを用いた監視領域に対する人の入出判断が常に行われる場合に比べて、情報処理負荷の軽減を図ることができる。

本発明による監視方法は、監視領域を監視するものであり、第１センサにより監視領域での移動体の移動を検出するステップと、第１センサにより移動体の移動が検出された場合に、第２センサによる検出が行われるステップと、制御装置により、第２センサの検出結果に基づいて監視領域に対する人の入出が判断されるステップとを備える。

本発明によるプログラムは、コンピュータに、監視領域での移動体の移動を第１センサに検出させる手順と、第１センサにより移動体の移動が検出された場合に、第２センサによる検出を行わせる手順と、第２センサの検出結果に基づいて監視領域に対する人の入出を判断する手順と、を実行させるためのものである。

本発明の監視システム、監視方法およびプログラムによれば、情報処理負荷の軽減を図ることができる。

本実施形態によるロボット制御システムの概略構成を示したブロック図である。 本実施形態のロボット制御システムの動作を説明するためのフローチャートである。 本実施形態の変形例によるロボット制御システムの概略構成を示したブロック図である。

以下、本発明の一実施形態を説明する。なお、以下では、本発明の監視システムをロボット制御システムに適用した場合について説明する。

まず、図１を参照して、本発明の一実施形態によるロボット制御システム１００の構成について説明する。

ロボット制御システム１００は、たとえば工場の生産現場に適用されるものであり、生産現場においてロボット２に所定の作業を実行させるように構成されている。ロボット制御システム１００では、ロボット２が柵などによって仕切られておらず、人がロボット２の作業領域にアクセス可能になっている。このロボット制御システム１００は、図１に示すように、制御装置１と、ロボット２と、イベントカメラ３と、撮像カメラ４とを備えている。

制御装置１は、ロボット２を制御する機能と、ロボット２が作業を行う作業領域を監視する機能とを有する。この制御装置１は、演算部１１と、記憶部１２と、入出力部１３とを含んでいる。演算部１１は、記憶部１２に記憶されたプログラムなどに基づいて演算処理を実行することにより、制御装置１を制御するように構成されている。記憶部１２には、ロボット２を制御するためのプログラム、および、ロボット２が作業を行う作業領域を監視するためのプログラムなどが記憶されている。入出力部１３には、ロボット２、イベントカメラ３および撮像カメラ４などが接続されている。制御装置１は、ロボット２が作業を行っているときのそのロボット２の位置情報を有する。なお、制御装置１は、本発明の「コンピュータ」の一例である。

ロボット２は、制御装置１によって制御され、所定の作業を行うように構成されている。たとえば、ロボット２は、多軸アームと、多軸アームの先端に設けられたエンドエフェクタとしてのハンドとを有し、ワークを搬送するように構成されている。多軸アームは、ハンドを移動させるために設けられ、ハンドは、ワークを保持するために設けられている。ロボット２の作業領域は、ロボット２の周囲を取り囲む領域であり、作業時に移動するロボット２およびそのロボット２に保持されるワークが通過する領域が含まれている。なお、ロボット２の作業領域は、本発明の「監視領域」の一例である。

イベントカメラ３は、作業領域を監視するために設けられ、ロボット２の作業領域での移動体（たとえば人）の移動を検出するように構成されている。このイベントカメラ３は、カメラ視野内（作業領域内）において輝度が変化（イベントが発生）した場合に、イベント情報を制御装置１に出力するように構成されている。イベント情報には、輝度が変化したときの時刻（イベント発生時のタイムスタンプ）、輝度が変化したピクセルの座標（イベント発生位置）、および、輝度の変化方向（極性）が含まれている。イベントカメラ３は、撮像カメラ４に比べて情報量が少ないため、応答性が高く、消費電力が低い。すなわち、イベントカメラ３は、作業領域の状態変化（たとえば、作業領域への人の進入）を応答性よく低消費電力で検出するために設けられている。なお、イベントカメラ３は、本発明の「第１センサ」の一例である。

撮像カメラ４は、作業領域を監視するために設けられ、ロボット２の作業領域を撮像するように構成されている。具体的には、撮像カメラ４は、作業領域に対する人の入出を判断するとともに、作業領域に人が進入した場合にその人とロボット２との距離Ｄを算出するために設けられている。撮像カメラ４は、イベントカメラ３により移動体の移動が検出された場合に作動されるとともに、イベントカメラ３により移動体の移動が検出されない場合に停止されるように構成されている。撮像カメラ４による撮像結果は、制御装置１に入力されるようになっている。なお、撮像カメラ４は、本発明の「第２センサ」の一例である。

ここで、制御装置１は、イベントカメラ３および撮像カメラ４からの入力に基づいて作業領域の状態を判断し、作業領域の状態に応じてロボット２に通常時処理または接近時処理を実行させるように構成されている。

通常時処理は、予め設定された作業を繰り返し行わせるものである。接近時処理は、ロボット２と人との距離Ｄを確保することにより、ロボット２と人との干渉（衝突）を回避しながら、予め設定された作業を繰り返し行わせるものである。たとえば、ロボット２が行う作業が第１地点のワークを第２地点に搬送するものである場合には、通常時処理時に、予め設定された移動経路に沿ってロボット２が移動され、接近時処理時に、予め設定された移動経路が変更され、その変更後の移動経路に沿ってロボット２が移動されるようになっている。なお、変更後の移動経路は、たとえば、人の位置などに基づいて距離Ｄが所定値Ｔｈ以上になるように設定される。所定値Ｔｈは、予め設定された値であり、ロボット２と人との離隔距離（ロボット２と人との接近を許容できる限界の距離）である。

具体的には、制御装置１は、イベントカメラ３によって作業領域での移動体の移動が検出されない場合、および、イベントカメラ３によって作業領域での移動体の移動が検出されたが、その移動体がロボット２であると判断された場合に、作業領域の状態が変化していないことから、撮像カメラ４を停止状態のまま、ロボット２に通常時処理を実行させるように構成されている。

また、制御装置１は、イベントカメラ３によって作業領域での移動体の移動が検出され、その移動体がロボット２ではないと判断された場合に、作業領域の状態が変化（たとえば、人が作業領域に進入）している可能性があることから、撮像カメラ４を始動させるように構成されている。次に、制御装置１は、撮像カメラ４の撮像結果に基づいて作業領域に人が進入しているか否かを判断し、作業領域に人が進入している場合に撮像カメラ４の撮像結果に基づいてロボット２と人との距離Ｄを算出するようになっている。すなわち、制御装置１は、イベントカメラ３の検出結果に基づいて作業領域の状態変化の可能性がある場合に、撮像カメラ４の撮像結果を画像処理して作業領域の状態を正確に把握するように構成されている。なお、撮像カメラ４の撮像結果の画像処理は情報処理負荷が大きいので、イベントカメラ３の検出結果に基づいて作業領域の状態が変化していないと判断される場合には、撮像カメラ４が停止されて画像処理が行われないようになっている。

そして、制御装置１は、距離Ｄが所定値Ｔｈ以上の場合にロボット２に通常時処理を実行させるとともに、距離Ｄが所定値Ｔｈ未満の場合にロボット２に接近時処理を実行させるように構成されている。このため、ロボット２と人との離隔距離が保たれるようになっている。

−ロボット制御システムの動作−
次に、図２を参照して、本実施形態によるロボット制御システム１００の動作について説明する。なお、以下の各ステップは制御装置１によって実行される。

まず、図２のステップＳ１において、ロボット２の作業の開始指示を受け付けたか否かが判断される。そして、作業の開始指示を受け付けたと判断された場合には、ステップＳ２に移る。その一方、作業の開始指示を受け付けていないと判断された場合には、ステップＳ１が繰り返し行われる。すなわち、制御装置１は、作業の開始指示を受け付けるまで待機する。

次に、ステップＳ２において、ロボット２およびイベントカメラ３が始動される。具体的には、ロボット２において所定の初期化処理が行われるとともに、イベントカメラ３を用いた作業領域の監視が開始される。

次に、ステップＳ３において、作業領域内における移動体の移動がイベントカメラ３によって検出されたか否かが判断される。具体的には、イベントカメラ３からイベント情報が入力された場合に移動体の移動が検出されたと判断され、イベントカメラ３からイベント情報が入力されない場合に移動体の移動が検出されないと判断される。そして、移動体の移動が検出されなかった場合には、作業領域の状態が変化していないことから、ステップＳ５において通常時処理（予め設定された移動経路を用いたロボット２による作業）が行われ、ステップＳ１６に移る。その一方、移動体の移動が検出された場合には、ステップＳ４に移る。

次に、ステップＳ４において、イベントカメラ３が検出した移動体がロボット２であるか否かが判断される。たとえば、制御装置１が有するロボット２の位置情報（現在位置）と、イベント情報に含まれるイベント発生位置とが一致する場合に、移動体がロボット２であると判断され、制御装置１が有するロボット２の位置情報と、イベント情報に含まれるイベント発生位置とが相違する場合に、移動体がロボット２ではないと判断される。そして、移動体がロボット２であると判断された場合には、作業領域の状態が変化していないことから、ステップＳ５において通常時処理（予め設定された移動経路を用いたロボット２による作業）が行われ、ステップＳ１６に移る。その一方、移動体がロボット２ではないと判断された場合には、作業領域の状態が変化している可能性があることから、ステップＳ６に移る。

次に、ステップＳ６において、撮像カメラ４が始動される。すなわち、撮像カメラ４を用いた作業領域の監視が開始される。

次に、ステップＳ７において、撮像カメラ４の撮像結果が画像処理され、作業領域に人が進入しているか否かが判断される。そして、作業領域に人が進入していないと判断された場合には、ステップＳ８において通常時処理（予め設定された移動経路を用いたロボット２による作業）が行われ、ステップＳ１５に移る。なお、移動体が検出され、その移動体がロボット２ではないと判断されたにもかかわらず、画像解析結果で作業領域に人が進入していないと判断される原因の一例としては、作業領域の明るさが変化して移動体を誤検出した場合が考えられる。その一方、作業領域に人が進入していると判断された場合には、ステップＳ９に移る。

次に、ステップＳ９において、撮像カメラ４の撮像結果の画像処理によりロボット２と人との距離Ｄが算出され、その距離Ｄが所定値Ｔｈ未満であるか否かが判断される。そして、距離Ｄが所定値Ｔｈ未満ではないと判断された場合（距離Ｄが所定値Ｔｈ以上の場合）には、ステップＳ１０において通常時処理（予め設定された移動経路を用いたロボット２による作業）が行われ、ステップＳ１２に移る。その一方、距離Ｄが所定値Ｔｈ未満であると判断された場合には、ステップＳ１１において接近時処理（変更された移動経路を用いたロボット２による作業）が行われ、ステップＳ１２に移る。

次に、ステップＳ１２において、撮像カメラ４の撮像結果が画像処理され、作業領域から人が退出しているか否かが判断される。そして、作業領域から人が退出していないと判断された場合には、ステップＳ１３に移る。その一方、作業領域から人が退出していると判断された場合には、ステップＳ１５に移る。

次に、ステップＳ１３において、ロボット２の作業の終了指示を受け付けたか否かが判断される。そして、作業の終了指示を受け付けたと判断された場合には、ステップＳ１４において、ロボット２、イベントカメラ３および撮像カメラ４が停止され、エンドに移る。その一方、作業の終了指示を受け付けていないと判断された場合には、ステップＳ９に戻る。

また、ステップＳ１５において、撮像カメラ４が停止される。すなわち、撮像カメラ４を用いた作業領域の監視が終了され、イベントカメラ３を用いた作業領域の監視が再開される。

次に、ステップＳ１６において、ロボット２の作業の終了指示を受け付けたか否かが判断される。そして、作業の終了指示を受け付けたと判断された場合には、ステップＳ１７において、ロボット２およびイベントカメラ３が停止され、エンドに移る。その一方、作業の終了指示を受け付けていないと判断された場合には、ステップＳ３に戻る。

−効果−
本実施形態では、上記のように、イベントカメラ３により移動体の移動が検出された場合に、撮像カメラ４を作動させて画像処理を行うことにより、ロボット２の作業領域の状態を正確に把握することによって、イベントカメラ３が移動体の移動を検出しない場合に、撮像カメラ４が停止されて画像処理による作業領域の状態判断が行われない。すなわち、情報量の少ないイベントカメラ３の検出結果から作業領域の正確な状態判断の必要性が判断され、作業領域の正確な状態判断が必要な場合に撮像カメラ４を作動させて画像処理が行われる。つまり、情報処理負荷の小さいイベントカメラ３を用いた作業領域の監視が行われ、そのイベントカメラ３により移動体の移動が検出された場合に、情報処理負荷の大きい撮像カメラ４を用いた作業領域の監視が行われ、作業領域の正確な状態が判断される。したがって、撮像カメラ４を用いた作業領域の監視（画像処理による作業領域の状態判断）が常に行われる場合に比べて、情報処理負荷の軽減を図ることができる。その結果、ロボット制御システム１００の運用コストの低減を図ることができる。

また、本実施形態では、イベントカメラ３によって作業領域での移動体の移動が検出され、その移動体がロボット２であると判断された場合に、撮像カメラ４を停止状態のままイベントカメラ３を用いた監視を継続することによって、イベントカメラ３を用いた監視において、作業領域内で作業するロボット２を除外することができる。これにより、ロボット２の動作に起因して不必要な撮像カメラ４の始動が行われるのを抑制することができる。

また、本実施形態では、撮像カメラ４の撮像結果に基づいて作業領域に人が進入していないと判断された場合に、撮像カメラ４が停止されることによって、撮像カメラ４を用いた監視が終了されてイベントカメラ３を用いた監視が再開されるので、情報処理負荷の軽減を図ることができる。

また、本実施形態では、撮像カメラ４の撮像結果に基づいて作業領域から人が退出していると判断された場合に、撮像カメラ４が停止されることによって、撮像カメラ４を用いた監視が終了されてイベントカメラ３を用いた監視が再開されるので、情報処理負荷の軽減を図ることができる。

−他の実施形態−
なお、今回開示した実施形態は、すべての点で例示であって、限定的な解釈の根拠となるものではない。したがって、本発明の技術的範囲は、上記した実施形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、本発明の技術的範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。

たとえば、上記実施形態では、ロボット２の作業領域を監視するロボット制御システム１００に本発明を適用する例を示したが、これに限らず、ロボットの作業領域以外の監視領域を監視する監視システムに本発明を適用してもよい。

また、上記実施形態では、ロボット２を制御する機能と、ロボット２が作業を行う作業領域を監視する機能とを有する制御装置１が設けられる例を示したが、これに限らず、ロボットを制御する制御装置と、ロボットが作業を行う作業領域を監視する監視システムとが個別に設けられていてもよい。

また、上記実施形態では、イベントカメラ３および撮像カメラ４が設けられる例を示したが、これに限らず、イベントカメラの機能と、撮像カメラの機能とを有する１台のカメラが設けられていてもよい。

また、上記実施形態では、ロボット制御システム１００にイベントカメラ３が設けられる例を示したが、これに限らず、図３に示す変形例によるロボット制御システム１００ａのように、イベントカメラに代えて電波センサ３ａが設けられていてもよい。電波センサ３ａは、作業領域での人（移動体）の移動を検出するために設けられている。この電波センサ３ａは、電波を送信する送信部と、送信部から送信された電波の人での反射波を受信する受信部とを有し、その送受信の結果に基づいて人の位置を算出するように構成されている。また、電波センサ３ａは、作業領域の状態変化（たとえば、作業領域への人の進入）を応答性よく低消費電力で検出するために設けられている。なお、電波センサ３ａは、本発明の「第１センサ」の一例である。

また、上記実施形態では、撮像カメラ４が設けられる例を示したが、これに限らず、撮像カメラに代えて三次元形状測定装置が設けられていてもよい。三次元形状測定装置は、作業領域の三次元形状を測定するように構成されており、作業領域に対する人の入出を判断するとともに、作業領域に人が進入した場合にその人とロボットとの距離を算出するために設けられている。三次元形状測定装置の情報処理負荷は、イベントカメラの情報処理負荷に比べて大きい。そして、情報処理負荷の小さいイベントカメラを用いた作業領域の監視が行われ、そのイベントカメラにより移動体の移動が検出された場合に、情報処理負荷の大きい三次元形状測定装置を用いた作業領域の監視が行われ、作業領域の正確な状態が判断される。したがって、三次元形状測定装置を用いた作業領域の監視が常に行われる場合に比べて、情報処理負荷の軽減を図ることができる。なお、三次元形状測定装置は、本発明の「第２センサ」の一例である。

また、上記実施形態では、移動体の移動が検出された場合に撮像カメラ４が作動される例を示したが、これに限らず、撮像カメラがスタンバイ状態にされており、移動体の移動が検出された場合に撮像カメラがスタンバイ状態から復帰される（スタンバイ状態が解除されて作動状態に戻される）ようにしてもよい。また、撮像カメラが予め作動されており、移動体の移動が検出された場合に撮像結果に基づく画像処理（人の作業領域への入出の判断など）が行われるようにしてもよい。

また、上記実施形態では、接近時処理として、ロボット２の移動経路の変更が行われる例を示したが、これに限らず、接近時処理として、ロボットの移動速度の低下および移動停止の少なくとも一方が行われるようにしてもよい。

また、上記実施形態において、撮像カメラ４の作動時に、イベントカメラ３が停止されるようにしてもよい。

また、上記実施形態では、ロボット２がワークを搬送する例を示したが、これに限らず、ロボットがワークに対して加工などを行うようにしてもよい。すなわち、上記実施形態では、ロボット２が多軸アームおよびハンドを有する例を示したが、これに限らず、ロボットの構造はどのようなものであってもよい。

本発明は、監視領域を監視する監視システム、監視方法およびプログラムに利用可能である。

１ 制御装置（コンピュータ）
２ ロボット
３ イベントカメラ（第１センサ）
３ａ 電波センサ（第１センサ）
４ 撮像カメラ（第２センサ）
１００、１００ａ ロボット制御システム（監視システム）

Claims (3)

1. 監視領域を監視する監視システムであって、
   前記監視領域での移動体の移動を検出する第１センサと、
   前記監視領域に対する人の入出を判断するための第２センサと、
   前記第１センサおよび前記第２センサと接続された制御装置とを備え、
   前記制御装置は、前記第１センサにより前記移動体の移動が検出された場合に、前記第２センサの検出結果に基づいて前記監視領域に対する人の入出を判断するように構成されていることを特徴とする監視システム。
2. 監視領域を監視する監視方法であって、
   第１センサにより前記監視領域での移動体の移動を検出するステップと、
   前記第１センサにより前記移動体の移動が検出された場合に、第２センサによる検出が行われるステップと、
   制御装置により、前記第２センサの検出結果に基づいて前記監視領域に対する人の入出が判断されるステップとを備えることを特徴とする監視方法。
3. コンピュータに、
   監視領域での移動体の移動を第１センサに検出させる手順と、
   前記第１センサにより前記移動体の移動が検出された場合に、第２センサによる検出を行わせる手順と、
   前記第２センサの検出結果に基づいて前記監視領域に対する人の入出を判断する手順と、
   を実行させるためのプログラム。

Images