JP2022064653A - 監視制御装置及び監視制御用プログラム - Google Patents

Abstract

【課題】簡易な設備で監視領域に対する障害物の侵入を検知できるとともに、危険でない場合は作業機器の動作が制約を受けることがなく、作業効率の低下を抑制できる監視制御装置及び監視制御用プログラムを提供する。【解決手段】監視制御装置１０は、撮像装置３により撮像された画像における障害物２を認識する認識部１２０と、認識部１２０により認識された障害物２が、画像にあらかじめ設定された監視領域へ侵入しているか否かを検知する侵入検知部１３０と、侵入検知部１３０により監視領域への侵入が検知された障害物２の危険性を予測する危険性予測部１５０と、危険性予測部１５０により予測された危険性に応じて、作業機器１に制御信号を出力する制御信号出力部１６０と、を有する。【選択図】図１

Description

特許法第３０条第２項適用申請有り ロボデックス ロボット開発・活用展 ２０２０／２／１２～１４ ２０２０年２月１２日 東京ビッグサイト（国際展示場）西ホール１階（７－４８） ｈｔｔｐｓ：／／ｗｗｗ．ｒｏｂｏｄｅｘ．ｊｐ／ｊａ－ｊｐ／ａｂｏｕｔ／ｐｒｅｖｉｏｕｓ．ｈｔｍｌ ２０２０年１月６日 東京本社に２／１２～１４の展示会の案内 ２０２０年２月１３日 Ｆａｃｅｂｏｏｋに２／１２～１４の展示会の記事 ２０２０年２月３日 Ｆａｃｅｂｏｏｋに２／１２～１４の展示会の案内 ２０２０年２月１７日 Ｗｅｂサイトに２／１２～１４の展示会の案内 ２０２０年２月３日 Ｗｅｂサイトに２／１２～１４の展示会の案内 ２０２０年３月５日 公開先会社にて展示会来場者への営業 ２０２０年６月２６日 公開先会社にて展示会来場者への営業 ２０２０年１０月９日 公開先会社にて展示会来場者への営業 ２０２０年７月１０日 ＡＩｓｍｉｌｅｙ広告経由の資料送付 ２０２０年６月１８日 ＡＩｓｍｉｌｅｙ広告経由の資料送付 ２０２０年３月１０日 公開先会社にて展示会来場者への営業 ２０２０年２月２６日 公開先会社にて展示会来場者への営業 ２０２０年６月２２日 公開先会社とのＷｅｂ会議にて当社取り組みの紹介 ２０２０年６月２５日 公開先会社とのＷｅｂ会議にて当社取り組みの紹介 ２０２０年４月２日 公開先会社にて当社取り組みの紹介 ２０２０年８月２８日 公開先会社とのＷｅｂ会議にて当社取り組みの紹介 ２０２０年３月６日 公開先会社にて展示会来場者への営業 ２０２０年９月３０日 東京本社に１０／２１～２３の展示会の案内 ２０２０年９月１４日 Ｗｅｂサイトに１０／２１～２３の展示会の案内 ２０２０年１０月６日 Ｗｅｂサイトに１０／２１～２３の展示会の案内 ２０２０年３月２日 公開先会社にて当社取り組みの紹介 ２０２０年２月２５日 公開先会社にて当社取り組みの紹介 ２０２０年３月２５日 公開先会社とのＷｅｂ会議にて当社取り組みの紹介 ２０２０年２月７日 公開先会社とのＷｅｂ会議にて当社取り組みの紹介

本発明は、作業機器の周辺の領域への障害物の侵入を監視して、作業機器を制御する監視制御装置及び監視制御用プログラムに関する。

従来から、産業用ロボットのように、製品の組み立てや搬送などの各種の作業を行う作業機器に対して、その近傍における作業や通行が必要となる作業者や各種の機械などの障害物は、作業機器との接触を防止して、安全性を確保する必要がある。

このため、作業機器の周囲に柵や囲いのように、物理的な構造物を設置して、障害物の侵入を防いだり、注意を促すことが行われている。しかし、このような物理的な構造物は、作業機器の周囲の適切な位置に配置するのは手間がかかる。移動可能として所望の位置に設置できるようにしたとしても、障害物との接触による位置ずれ等が生じる。また、作業機器にとっても、障害物にとっても、接触により作業の邪魔になる可能性が生じる。

これに対処するため、赤外線、レーザー等のセンサによって、障害物の侵入を検知して、警告を出力したり、作業機器を停止させることが行われている。また、センサやカメラによって障害物と作業機器との距離を計測し、計測された距離が所定の範囲内となった場合に、警告の出力や作業機器を停止させることも行われていた。

特開２０１８－１０３３４５号公報

しかしながら、センサによって侵入を検知する方法では、作業機器の周囲を網羅するために、多数のセンサを設置する必要が生じる。また、センサやカメラによって距離を計測する方法では、接近が危険となりえない場合にも、一律に警告や停止等の処理を行うことになり、作業効率が低下する。

本発明は、簡易な設備で監視領域に対する障害物の侵入を検知できるとともに、危険でない場合は作業機器の動作が制約を受けることがなく、作業効率の低下を抑制できる監視制御装置及び監視制御用プログラムを提供することにある。

以上のような目的を達成するために、本発明の監視装置は、撮像装置により撮像された画像における障害物を認識する認識部と、前記認識部により認識された前記障害物が、前記画像にあらかじめ設定された監視領域へ侵入しているか否かを検知する侵入検知部と、前記侵入検知部により前記監視領域への侵入が検知された前記障害物の危険性を予測する危険性予測部と、前記危険性予測部により予測された危険性に応じて、作業機器に制御信号を出力する制御信号出力部と、を有する。

また、本発明の監視制御用プログラムは、撮像装置により撮像された画像における障害物を認識する認識処理と、前記認識処理により認識された前記障害物が、前記画像にあらかじめ設定された監視領域へ侵入しているか否かを検知する侵入検知処理と、前記侵入検知処理により前記監視領域への侵入が検知された前記障害物の危険性を予測する危険性予測処理と、前記危険性予測処理により予測された危険性に応じて、作業機器に制御信号を出力する制御信号出力処理と、を実行させる。

以上のような本発明によれば、簡易な設備で監視領域に対する障害物の侵入を検知できるとともに、危険でない場合は作業機器の動作が制約を受けることがなく、作業効率の低下を抑制できる監視制御装置及び監視制御用プログラムを提供することができる。

実施形態の監視制御装置を示す全体構成図 表示装置に表示される画像に設定される監視領域の例を示す説明図 実施形態における監視制御処理の手順を示すフローチャート 共通領域と個別領域の例を示す説明図 内部領域の例を示す説明図 作業機器の外縁が変化する場合を示す説明図

本発明を実施するための形態（以下「本実施形態」と呼ぶ）について、図面を参照して具体的に説明する。

［概要］
本実施形態の監視制御装置１０は、作業機器１の周辺の監視領域へ侵入した障害物２を監視して、これに応じた作業機器１の制御を行う装置である。監視領域は、撮像装置３により撮像されて表示装置４に表示された画像上に、入力装置５を用いて入力することができる。監視制御装置１０は、監視領域への障害物２の侵入があった場合には、作業機器１を減速させる、停止させる、出力装置６から警告を出力する等の処理を行うことにより、安全性を確保する。

［作業機器］
本実施形態の監視制御の対象となる作業機器１は、製品の組み立てや搬送などの各種の作業を行う機器である。例えば、作業機器１は、図１に示すように、関節部分に設けられたアクチュエータによりアームを回動させ、先端に設けられたハンドルや工具によって作業を行うロボットアームである。但し、本実施形態が適用される作業機器１は、これには限定されない。

［障害物］
本実施形態の監視対象となる障害物２は、作業機器１の動作の障害となる物体であり、作業員、通行人などの人間の他、ペットや家畜などの生物を含む。また、障害物２は、フォークリフト、台車、ＡＧＶ（無人搬送車）など、作業員による手動か自律して動作するかにかかわらず、作業機器１以外の機械を含む。さらに、障害物２は、人間が手に持っている物、機械の積み荷なども含む。なお、障害物２といっても、上記のように、作業機器１の作業に必要な物体も含む。本実施形態において、安全性、危険性といった場合には、作業機器１の安全性、危険性の他、例えば、人の怪我や器物の破損などにかかわるような障害物２の安全性、危険性も含む。

障害物２は、一定の位置に留まっている物体も、一部が動く物体も含む。例えば、一時的に特定の位置に置かれて静止している物体等も、障害物２に含まれる。また、人間は立ち止まっていても、手足や頭が動く場合があり、座る、立ち上がる、振り返るなど、姿勢や方向を変える場合もある。

［撮像装置］
撮像装置３は、作業機器１の周辺の領域を撮像する装置である。撮像装置３は、レンズ等の光学部、ＣＭＯＳやＣＣＤ等の受光素子であるイメージセンサを有するカメラである。撮像装置３は、イメージセンサが受光した光を変換した電気信号に基づいて、表示装置４に表示させるための画像データを生成して、監視制御装置１０に出力する。画像データは、動画及び静止画を含む。撮像装置３は、障害物２が侵入した場合に危険となる作業機器１の周辺に、死角が生じないか、死角が極力少なくなる位置及び角度で設置されることが好ましい。なお、撮像装置３により撮像される画像には、作業機器１を含めることが好ましい。但し、危険性を抑制できる監視領域が設定できれば、必ずしも作業機器１を含まない画像であってもよい。

［表示装置］
表示装置４は、撮像装置３により撮像された画像を表示する装置である。表示装置４は、ＬＣＤ、ＯＥＬＤなどのディスプレイを用いることができる。例えば、表示装置４は、撮像装置３により撮像される画像をリアルタイムで表示する。このため、監視制御装置１０は、撮像装置３から入力された画像データを、表示装置４に表示させる処理を行うプロセッサを有している。

表示装置４は、監視領域の認識および監視領域の設定に必要な各種の情報を表示する。例えば、監視領域の境界を示す線、障害物２の輪郭又は障害物２を囲む枠を示す線を表示する。また、表示装置４は、入力装置５による情報の入力のための画面インタフェースを表示することができる。

［入力装置］
入力装置５は、監視制御装置１０の処理に必要な各種の情報を入力する装置である。例えば、入力装置５は、所望の監視領域、危険性の設定、危険の解除等の入力を行うことができる。入力装置５は、例えば、キーボード、マウス、タッチパネル等を含む。タッチパネルは、表示装置４に構成されたものも含む。

［出力装置］
出力装置６は、監視制御装置１０の処理に必要な各種の情報を出力する装置である。例えば、出力装置６は、警告のアラームや表示を出力する。出力装置６は、例えば、スピーカ、ブザー等を含む。表示装置４も、警告を画面表示する出力装置６に含まれる。作業者が装着し、監視制御装置１０に無線で接続されたスマートフォンやウェアラブルデバイスのスピーカ、ブザー、バイブレータも、出力装置６とすることができる。

［監視制御装置］
監視制御装置１０は、プログラムを実行するコンピュータにより構成される。コンピュータは、ＣＰＵ等のプロセッサ、メモリ等の記憶媒体などにより構成されるが、ハードウェアやプログラムの実現態様は、各種変更可能である。

以下の説明では、各機能をブロックで図示したブロック図を用いる。なお、本発明は、各機能を実行させる監視制御用プログラム、そのようなプログラムを記録したコンピュータ読取可能な記憶媒体、プログラムをコンピュータに実行させることにより監視制御を行う方法としても把握できる。

監視制御装置１０は、領域設定部１１０、認識部１２０、侵入検知部１３０、状態判定部１４０、制御信号出力部１６０、記憶部１７０を有する。領域設定部１１０は、撮像装置３により撮像された画像に監視領域を設定する。監視領域は、画像における作業機器１の周辺で、障害物２が侵入すると危険となる可能性のある領域に設定される。このような領域は、予測される危険の程度に応じて、複数設定される。

例えば、図２の表示画面例に示すように、作業機器１からの距離に応じて、領域Ａ、領域Ｂ、領域Ｃ、領域Ｄを設定することができる。領域Ａは作業機器１に最も近く、領域Ｂ～Ｄの順に作業機器１から遠くなる。これらの複数の監視領域には、それぞれ予測される危険性が設定されている。すなわち、領域Ａは危険性が最も高く、領域Ｂ～Ｄの順に低くなる。

領域Ａは、障害物２の侵入があった場合に作業機器１を停止させる危険領域である。領域Ｂは、障害物２の侵入があった場合に、警告を出力させる警告領域である。領域Ｃは、障害物２が侵入してから所定時間が経過した場合に、警告を出力させる警告領域である。領域Ｄは、障害物２の侵入があっても特に何もしない正常領域である。

但し、監視領域は、作業機器１からの距離に応じて設定する必要はない。作業機器１の可動部分の到達可能な位置についてのみ設定し、可動部分が到達しない位置については設定しなくてもよい。また、図２の表示画面の下部の両隅に白塗の三角形で示すように、壁等により障害物２が侵入する可能性のない領域には、監視領域を設定しなくてもよい。

このような監視領域の設定は、入力装置５によって行うことができる。例えば、入力装置５によって、表示装置４の画像上の座標を指定することにより所望の領域を設定できる。領域設定部１１０は、指定された座標を線でつなぎ合わせることにより、領域を設定する。線で囲まれたそれぞれの領域を、監視領域とすることができ、各線は各監視領域の境界となる。

座標の指定は、入力装置５によって、画像の所望の位置にカーソルを移動させて、選択することによって行うことができる。入力装置５であるタッチパネルに対して、指やタッチペンで所望の位置を選択することによっても入力できる。なお、入力装置５によって、座標を数字で入力することもできる。図２の黒塗りの円形の点は、指定される座標の例であるが、この点は必ずしも表示する必要はない。さらに、上記の座標の入力と同様の手段によって、点の指定ではなく、所望の線を引くことによって、監視領域を入力することもできる。

また、入力装置５は、設定された各監視領域に対して、危険性に関する情報を入力することができる。例えば、領域Ａには停止、領域Ｂには警告、領域Ｃには所定時間経過後の警告といった情報を入力することができる。領域設定部１１０は、入力装置５の入力に従って、各領域に危険性に関する情報を設定する。危険性に関する情報は、危険の程度に応じて設定される制御内容でもある。

認識部１２０は、撮像装置３により撮像された画像における障害物２を認識する。認識部１２０は、リアルタイムの画像における障害物２を認識する。障害物２の認識は、個々の障害物２をそれぞれ１つのまとまりとして、画像上の座標が特定できればよい。なお、一旦認識された障害物２は、画像内において移動したり、形態が変化したりしても、移動や形態の変化に追従して座標を特定し続ける。

障害物２の認識は、複数の障害物２の画像の共通の特徴に基づいて行う。この認識部１２０としては、ＡＩの分野における機械学習を行うツールのうち、ディープラーニングツールを用いることが好ましい。例えば、畳み込みニューラルネットワークを用いたツールを用いることができる。

このような認識部１２０は、例えば、抽出部と識別部を有する。抽出部は、画像の共通の特徴を抽出する処理部である。特徴は、各画像の部分画像を変換して得られる変換画像であり、以下、特徴量と呼ぶ。このような特徴量の抽出は、例えば、所定のフィルタによって、局所的な特徴を抽出する特徴マップを生成する畳み込み、画像を小さく圧縮して座標上の位置がずれていても同一とみなすことにより、位置ずれを許容するプーリング等の処理を繰り返すことによって行うことができる。

識別部は、画像に含まれる物体が、障害物２か否かを識別する処理部である。この識別は、例えば、複数の画像から得られた特徴量をノード（ニューロン）として結合した全結合層から開始して、複数の全結合層を経て、最終の全結合層から障害物２である確率、ない確率を出力することによって行う。障害物２である確率が精度であり、ある確率とない確率は、合計で１００％となる。各全結合層の出力は、各全結合層に割り当てられた所定のパラメータと前の全結合層との出力との演算結果である。なお、上記の畳込みとプーリングを下向きパスと捉え、さらに、畳込みと、プーリングとは逆に画像を大きく復元するアップサンプリングとの繰り返しによる上向きパスを加え、双方のパスにおいて画像サイズが同等のものを段階的にマージすることによって、局所的特徴の保持と全体的位置情報の復元を行うことも可能である。

侵入検知部１３０は、認識部１２０により認識された障害物２が、画像にあらかじめ設定された監視領域へ侵入したか否かを検知する。侵入検知部１３０は、監視領域の座標に、障害物２の座標が重なった場合に、当該領域に障害物２の侵入があったと検知する。なお、侵入は、検知の開始から監視領域に侵入している場合も含まれる。

状態判定部１４０は、認識部１２０により認識された障害物２の状態を判定する。障害物２の状態は、各監視領域への障害物２の滞在時間、障害物２の移動速度、移動方向、形態を含む。滞在時間は、監視制御装置１０に内蔵されたタイマにより計測することができる。移動速度、移動方向は、実際の障害物２の移動速度、移動方向である必要はなく、画像上の障害物２を代表する座標等の移動速度、移動方向であればよい。

形態は、作業員が立っている、座っている等の姿勢、手又は脚を伸ばしている等の態様を含む。この形態の判定については、認識部１２０と同様に、ディープラーニングツールを用いることができる。つまり、ディープラーニングツールを用いて、障害物２の認識とともに、その形態も認識することができる。

危険性予測部１５０は、侵入検知部１３０により監視領域への侵入が検知された障害物２の危険性を予測する。本実施形態では、複数の領域に応じて設定された作業機器１の停止、作業機器１の減速、警告のいずれに該当するか否かを決定する。また、本実施形態の危険性予測部１５０は、監視領域に侵入した障害物２の状態も含めて、危険性を予測する。なお、ここでいう危険性の予測とは、危険の程度に応じて設定された制御内容を決定するものであり、危険性予測部１５０は、制御内容決定部として把握することもできる。

制御信号出力部１６０は、危険性予測部１５０により予測された危険性に応じて、侵入検知部１３０によって障害物２の監視領域への侵入が検知された場合に、作業機器１に対して制御信号を出力する。本実施形態においては、制御信号出力部１６０は、作業機器１の動作を減速させる制御信号、作業機器１の動作を停止させる制御信号、作業機器１を通常動作に復帰させる制御信号を出力する。

例えば、障害物２が領域Ａに侵入した場合には、制御信号出力部１６０は、作業機器１を停止させる制御信号を作業機器１に出力する。障害物２が領域Ｂに侵入した場合には、制御信号出力部１６０は作業機器１を減速させる制御信号を作業機器１に出力し、出力装置６は警告を出力する。障害物２が領域Ｃに侵入した場合には、状態判定部１４０が計測した滞在時間が、所定時間を経過した場合に、出力装置６が警告を出力するが、制御信号出力部１６０は制御信号を出力しない。障害物２が領域Ｄに侵入しても、制御信号出力部１６０は制御信号を出力せず、出力装置６は警告を出力しない。

記憶部１７０は、なお、監視制御装置１０は、上記の各部の処理に必要な情報を記憶する記憶部１７０を有する。記憶部１７０が記憶する情報としては、監視制御用プログラム、監視領域、危険性、特徴量、設定時間等のしきい値を含む。

［処理手順］
以上のような本実施形態の処理の一例を、図１及び図２に加えて、図３のフローチャートを参照して説明する。なお、以下のような手順による監視制御方法も、本発明の一態様である。

以下に説明する処理手順は、作業機器１が、組み立て、搬送等の通常の速度での動作である通常運転を行っているときに、監視領域に障害物２の侵入があった場合の処理を抽出したものであり、作業機器１の動作中に、この処理が繰り返し行われるものとする。

また、上記のように、領域設定部１１０による領域の設定がなされ、認識部１２０による障害物２の認識、侵入検知部１３０による障害物２の侵入検知、状態判定部１４０による障害物２の状態判定については、深層学習により精度が確保されているものとする。

まず、撮像装置３の撮像により生成された画像データが、監視制御装置１０に入力される（ステップＳ１０１）。障害物２が撮像装置３の視野範囲内に入るまで、認識部１２０は認識を待つ（ステップＳ１０２のＮＯ）。障害物２が視野範囲内に入った場合には、認識部１２０がこれを認識する（ステップＳ１０２のＹＥＳ）。

認識部１２０が認識した障害物２が領域Ｃに侵入すると、侵入検知部１３０がこれを検知する（ステップＳ１０３のＹＥＳ）。そして、状態判定部１４０が、領域Ｃに障害物２が所定時間滞在していると判定した場合には（ステップＳ１０４のＹＥＳ）、危険性予測部１５０は警告すべきと判定し、出力装置６が警告を出力する（ステップＳ１０５）。

障害物２が一旦領域Ｃに侵入しても、所定時間経過する前に（ステップＳ１０４のＮＯ）、領域Ｃを通過して（ステップＳ１０３のＮＯ）、領域Ｂに侵入すると、これを侵入検知部１３０が検知する（ステップＳ１０６のＹＥＳ）。すると、危険性予測部１５０は、作業機器１を減速して警告をすべきと判定し、制御信号出力部１６０が作業機器１を減速させる制御信号を出力するとともに、出力装置６が警告を出力する（ステップＳ１０７）。これにより、作業機器１は動作を減速させる。

障害物２が領域Ｂを通過して（ステップＳ１０６のＮＯ）、領域Ａに侵入すると、これを侵入検知部１３０が検知する（ステップＳ１０８のＹＥＳ）。すると、危険性予測部１５０は、作業機器１を停止させるべきと判定し、制御信号出力部１６０が作業機器１を停止させる制御信号を出力する（ステップＳ１０９）。これにより、作業機器１は動作を停止する。

その後、作業機器１が停止中の場合には（ステップＳ１１０のＹＥＳ）、入力装置５によって、危険の解除が入力されるまで（ステップＳ１１１のＮＯ）、作業機器１は停止を継続する。入力装置５によって、危険の解除が入力されると（ステップＳ１１１のＹＥＳ）、制御信号出力部１６０は、作業機器１に通常運転を再開させる（ステップＳ１１４）。

また、作業機器１が減速中の場合（ステップＳ１１２のＹＥＳ）、状態判定部１４０が、障害物２が領域Ｂに不在となってから所定時間が経過していないと判定した場合には（ステップＳ１１３のＮＯ）、減速を継続する。状態判定部１４０が、障害物２が領域Ｂに不在となってから所定時間が経過したと判定した場合には（ステップＳ１１３のＹＥＳ）、制御信号出力部１６０は、作業機器１に通常運転を再開させる（ステップＳ１１４）。

［作用効果］
（１）本実施形態の監視制御装置１０は、撮像装置３により撮像された画像における障害物２を認識する認識部１２０と、認識部１２０により認識された障害物２が、画像にあらかじめ設定された監視領域へ侵入しているか否かを検知する侵入検知部１３０と、侵入検知部１３０により監視領域への侵入が検知された障害物２の危険性を予測する危険性予測部１５０と、危険性予測部１５０により予測された危険性に応じて、作業機器１に制御信号を出力する制御信号出力部１６０と、を有する。

また、本実施形態の監視制御用プログラムは、撮像装置３により撮像された画像における作業機器１及び障害物２を認識する認識処理と、認識処理により認識された障害物２が、画像にあらかじめ設定された監視領域へ侵入したか否かを検知する侵入検知処理と、侵入検知処理により監視領域への侵入が検知された障害物２の危険性を予測する危険性予測処理と、危険性予測処理により予測された危険性に応じて、作業機器１に制御信号を出力する制御信号出力処理と、をコンピュータに実行させる。

このような本実施形態では、侵入を検知するための監視領域が、撮像装置３により撮像される画像に設定された領域であるため、多数のセンサ等を設置する必要がなく、物理的な柵や囲いを設置できない狭小箇所や、複雑な形状の箇所へ作業機器１を設置しても、簡易な設備で障害物２の侵入検知が可能となる。

また、作業機器１と障害物２との距離で判断するのではなく、あらかじめ画像に設定される領域であるため、接近が危険となり得ない位置を領域外とすることができる。さらに、危険となり得る障害物２を認識して、危険性を予測して作業機器１を制御する。したがって、危険となり得ない領域や物体によって、作業機器１の動作が制約を受けることで、作業効率が低下することがない。

（２）本実施形態の監視制御装置１０は、撮像装置３により撮像された画像を表示する表示装置４と、表示装置４に表示された画像上に、所望の監視領域を入力する入力装置５と、が接続され、入力装置５による入力に応じて、監視領域を設定する領域設定部１１０を有する。

このため、設置場所や作業機器１の形状に合わせて、所望の監視領域を容易に設定できる。また、作業機器１の位置や方向が変わった場合にも、変更が容易となる。特に、入力装置５により入力された画像上の座標に基づいて設定できるので、監視領域の設定作業が非常に容易となる。

（３）監視領域が複数設定され、警告を出力する出力装置６を有し、危険性予測部１５０により予測された危険性に応じて、制御信号出力部１６０による制御信号の出力及び出力装置６による警告の出力の双方又は一方を行う。

このため、危険性の程度に応じて、警告、作業機器１の動作の制御、双方のいずれかを行うことにより、安全性を維持しつつ、作業効率の低下を抑制できる。

（４）認識部１２０により認識された障害物２の状態を判定する状態判定部１４０を有し、危険性予測部１５０は、状態判定部１４０により判定された障害物２の状態に応じて、障害物２の危険性を予測する。

このため、障害物２の状態に応じて、必要がない場合には、危険性がないとして、警告や動作制限を行わないことができる。これにより、安全性を維持しつつ、作業効率の低下を抑制できる。

［変形例］
本実施形態は、以下のような変形例も含む。
（１）複数の監視領域を、重ねて又は独立して設定することもできる。例えば、複数の作業機器１のいずれかが動作している時には、他の作業機器１が動作しないという協調動作を行うシステムの場合に、図４に示すように、監視領域が、複数の作業機器１に共通の共通領域αと、複数の作業機器１ａ、１ｂ毎に独立した個別領域β１、β２を有していてもよい。

この場合には、制御信号出力部１６０は、共通領域α及び個別領域β１、β２への障害物２の侵入があったとしても、侵入があった個別領域β１、β２に対応する作業機器１が動作中の場合にのみ、当該作業機器１に、制御信号を出力する。これにより、たとえ共通領域αへの侵入があった場合であっても、不要な制御信号や警告をする必要がなくなる。

なお、図４の例では、障害物２が侵入した場合に危険となる作業機器１の周辺の画像に、死角が生じないように複数の撮像装置３が設置され、監視制御装置１０に接続されている。また、監視制御装置１０を、互いにネットワークにより接続された複数の処理端末により構成し、各処理端末が、複数の撮像装置３の一部の画像処理を行うとともに、各作業機器１の制御を行うように構成してもよい。これにより、処理負担を分散させて、処理の遅延を低減できる。

（２）監視領域は、障害物２が侵入し得る作業機器１の内部に対応する内部領域を含み、制御信号出力部１６０は、内部領域への障害物２の侵入が検出された場合に、侵入があった内部領域に対応する作業機器１に、制御信号を出力してもよい。

例えば、図５（Ａ）に示すように、作業機器１が、障害物２である作業者が手等を挿入可能な孔や隙間などの開口ОＰを有している場合がある。図５の作業機器１は、紙等の巻取機であって、巻取部分が突出した領域の周囲が、開口ОＰとなっている。図５（Ｂ）に示すように、画像で見て、開口ОＰから作業機器１の内側に重なる領域に、内部領域ＩＮを設定する。また、開口ОＰの外部に近接する位置に、近接領域ＮＥを設定する。内部領域ＩＮは、近接領域ＮＥと重なりを有する部分と、重なりを有しない部分を有する。重なりを有しない部分は、開口ОＰへの侵入の可能性が無い又は少ない領域である。

この場合、図５（Ｂ）に示すように、内部領域ＩＮと近接領域ＮＥの双方への障害物２の侵入があった場合に、制御信号を出力する。例えば、作業機器１を減速又は停止させる。また、図５（Ｃ）に示すように、内部領域ＩＮと近接領域ＮＥのいずれか一方のみへの障害物２の侵入があった場合には、制御信号を出力しない又は警告のみを出力する。

これにより、単に作業機器１の周辺への監視領域を設定するのではなく、作業機器１の内部への侵入も監視できる。本実施形態は、画像により監視領域を設定するため、このような内部領域ＩＮの設定も可能となる。

（３）認識部１２０は、作業機器１を認識してもよい。認識部１２０が、時間の経過に従って外縁が変化する作業機器１を認識し、監視領域の境界が、認識部１２０により認識された作業機器１の外縁に応じて変化するようにしてもよい。例えば、領域設定部１１０が、一旦設定した監視領域の境界が、作業機器１の作動又は移動による外縁の位置又は形状の変化に応じて、作業機器１との距離を維持するように変化させてもよい。

図６（Ａ）に示すように、作業機器１が紙等の巻取機である場合に、巻取部分Ｒは、作業が進行するに従って、図６（Ｂ）、（Ｃ）に示すように、径が拡大して外縁が外方に大きくなる。これに応じて、あらかじめ監視領域として設定された変化領域ＣＨが、変化することにより、障害物２の作業機器１への接近を確実に検知することができる。

（４）認識部１２０は、顔認証等、個人を識別することにより、正規の作業者か部外者かを認識して、制御の有無を変えてもよい。例えば、部外者であれば減速、停止又は警告を行う監視領域であっても、正規の作業者であれば、減速、停止又は警告を行わないこともできる。

（５）状態判定部１４０が判定する障害物２の移動方向、移動速度に応じて、制御の有無を変えてもよい。例えば、作業機器１から離れる方向に移動している場合、作業機器１に接近する速度が所定のしきい値以下の場合等には、減速、停止又は警告を行わないこともできる。

［他の実施形態］
以上、本発明の実施形態及び各部の変形例を説明したが、この実施形態や各部の変形例は、一例として提示したものであり、発明の範囲を限定することは意図していない。上述したこれら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明に含まれる。

１ 作業機器
２ 障害物
３ 撮像装置
４ 表示装置
５ 入力装置
６ 出力装置
１０ 監視制御装置
１１０ 領域設定部
１２０ 認識部
１３０ 侵入検知部
１４０ 状態判定部
１５０ 危険性予測部
１６０ 制御信号出力部
１７０ 記憶部

Claims (10)

1. 撮像装置により撮像された画像における障害物を認識する認識部と、
   前記認識部により認識された前記障害物が、前記画像にあらかじめ設定された監視領域へ侵入しているか否かを検知する侵入検知部と、
   前記侵入検知部により前記監視領域への侵入が検知された前記障害物の危険性を予測する危険性予測部と、
   前記危険性予測部により予測された危険性に応じて、作業機器に制御信号を出力する制御信号出力部と、
   を有することを特徴とする監視装置。
2. 前記撮像装置により撮像された前記画像を表示する表示装置と、
   前記表示装置に表示された前記画像上に、所望の監視領域を入力する入力装置と、
   が接続され、
   前記入力装置による入力に応じて、前記監視領域を設定する領域設定部を有することを特徴とする請求項１記載の監視装置。
3. 前記領域設定部は、前記入力装置により入力された前記画像上の座標に基づいて、前記監視領域を設定することを特徴とする請求項２記載の監視装置。
4. 前記監視領域が複数設定され、
   警告を出力する出力装置を有し、
   前記危険性予測部により予測された危険性に応じて、前記制御信号出力部による前記制御信号の出力及び前記出力装置による前記警告の出力の双方又は一方を行うことを特徴とする請求項１乃至３のいずれかに記載の監視装置。
5. 前記認識部により認識された前記障害物の状態を判定する状態判定部を有し、
   前記危険性予測部は、前記状態判定部により判定された前記障害物の状態に応じて、前記障害物の危険性を予測することを特徴とする請求項１乃至４のいずれかに記載の監視装置。
6. 前記監視領域は、複数の前記作業機器に共通の共通領域と、複数の前記作業機器毎に独立した個別領域を含み、
   制御信号出力部は、前記共通領域及び前記個別領域への前記障害物の侵入があっても、侵入があった前記個別領域に対応する前記作業機器が動作中の場合にのみ、当該作業機器に、前記制御信号を出力することを特徴とする請求項１乃至５のいずれかに記載の監視装置。
7. 前記監視領域は、前記障害物が侵入し得る前記作業機器の内部に対応する内部領域を含み、
   前記制御信号出力部は、前記内部領域への前記障害物の侵入が検出された場合に、侵入があった前記内部領域に対応する前記作業機器に、前記制御信号を出力することを特徴とする請求項１乃至６のいずれかに記載の監視装置。
8. 前記認識部は、時間の経過に従って外縁が変化する作業機器を認識し、
   前記監視領域の境界は、前記認識部により認識された前記作業機器に応じて変化することを特徴とする請求項１乃至７のいずれかに記載の監視装置。
9. 前記障害物が侵入した場合に危険となる前記作業機器の周辺の画像に、死角が生じないように配置された複数の前記撮像装置が接続されていることを特徴とする請求項１乃至８のいずれかに記載の監視装置。
10. コンピュータに、
    撮像装置により撮像された画像における障害物を認識する認識処理と、
    前記認識処理により認識された前記障害物が、前記画像にあらかじめ設定された監視領域へ侵入しているか否かを検知する侵入検知処理と、
    前記侵入検知処理により前記監視領域への侵入が検知された前記障害物の危険性を予測する危険性予測処理と、
    前記危険性予測処理により予測された危険性に応じて、作業機器に制御信号を出力する制御信号出力処理と、
    を実行させることを特徴とする監視制御用プログラム。

Images