JP2019126853A

JP2019126853A - 安全監視システム、安全監視方法、安全監視プログラム

Info

Publication number: JP2019126853A
Application number: JP2018008044A
Authority: JP
Inventors: 武庄司; Takeshi Shoji; 喜東谷; Yoshiharu Tani
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2018-01-22
Filing date: 2018-01-22
Publication date: 2019-08-01
Also published as: CN110072039A; TW201933291A; KR20190089704A; US20190227523A1; EP3514437A1

Abstract

【課題】作業者の安全性と、ロボットによる作業の生産性の向上と、を両立した侵入検知方法を提供する。【解決手段】安全監視システムは、第１波長の光を発光する複数の第１発光素子と、前記第１波長とは異なる第２波長の光を発光する複数の第２発光素子と、を並べた投光部と、投光部を撮像する撮像部と、撮像部で撮像した画像に基づいて物体の侵入検知を行う撮像処理部と、侵入検知を行った結果から、ロボットの動きを制御するための信号を生成するロボット制御部と、を備える。投光部は、ロボットの動きに対する危険予知の境界線に配置される。また、第１波長は可視光である。【選択図】図１

Description

この発明は、安全性を考慮した侵入検知方法を提供する技術に関する。

特許文献１に記載の構成における、侵入検知装置は、撮像部によって複数の発光体を撮像し、この撮像した画像に基づき、侵入検出領域へ物体が侵入したか否かを判断している。また、特許文献２に記載の構成における、侵入検知装置は、複数の光源を線状に配置し、侵入検知領域への物体の侵入を検知している。

特開２０１５−６６６６４号公報特許第５９２４１３４号

しかしながら、特許文献１、および、特許文献２の構成を用いた場合、使用する光源が１種類であるため、侵入する物体の検出における外乱光に対するロバスト性と、侵入を監視している境界線の視認性と、を両立させることが難しい。特に、使用する光源が赤外光であり、侵入する物体が人（作業者）である場合には、侵入検出領域に対する境界線を認識し辛いため、作業者が誤ってロボットの作業領域に進入してしまうという問題があった。

このことよって、ロボットの安全制御機能等で、該ロボットが停止してしまい、生産性を低下させていた。

したがって、本発明の目的は、作業者にロボットの停止用の境界を確実に認識させ、作業者の安全性と、ロボットによる生産性の向上と、を両立した侵入検知方法を提供することである。

この発明の安全監視システムは、第１波長の光を発光する複数の第１発光素子と、前記第１波長とは異なる第２波長の光を発光する複数の第２発光素子と、を並べた投光部と、投光部を撮像する撮像部と、撮像部で撮像した画像に基づいて物体の侵入検知を行う撮像処理部と、侵入検知を行った結果から、ロボットの動きを制御するための信号を生成するロボット制御部と、を備える。

投光部は、ロボットの動きに対する危険予知の境界線に配置される。また、第１波長は可視光である。

この構成では、ロボットと作業者の境界線に可視光が含まれることにより、侵入検知の境界を認識でき、作業者の安全性を保持し、ロボットの動きを制限しないため、作業効率を高めることができる。

この発明の安全監視システムにおける第２波長は、赤外光であることが好ましい。

この構成では、外乱光に対するロバスト性を向上することができる。

この発明の安全監視システムにおける、複数の第１発光素子と、複数の第２発光素子とは、境界線上に所定の順番で配置されていることが好ましい。

この構成では、第１波長の可視光と第２波長の可視光とが並ぶことによって、侵入検知の境界を確実に認識できる。

この発明の安全監視システムにおける撮像処理部は、第２発光素子から投光される光量のパターンマッチングに基づいた画像処理を行い、侵入検知を行ってもよい。

この構成では、作業者の侵入を検知できる。

この発明の安全監視システムにおける撮像処理部は、光量の閾値を規定し、閾値を基準とした変化に基づき、侵入検知を行ってもよい。

この構成では、作業者の侵入をより確実に検知できる。

この発明によれば、作業者の安全性と、ロボットによる作業効率の向上と、を両立した侵入検知方法を提供できる。

本発明の第１の実施形態に係る安全監視システムのブロック図である。（Ａ）は、本発明の第１の実施形態に係る安全監視システムの側面側からの概要図である。（Ｂ）は、本発明の第１の実施形態に係る安全監視システムの天面側からの概要図である。本発明の第１の実施形態に係る安全監視システムの物体を検出するためのフローチャート図である。（Ａ）は、本発明の第２の実施形態に係る安全監視システムの側面側からの概要図である。（Ｂ）は、本発明の第２の実施形態に係る安全監視システムの天面側からの概要図である。本発明の第３の実施形態に係る安全監視システムの側面側からの概要図である。本発明の第４の実施形態に係る安全監視システムの側面側からの概要図である。（Ａ）は、本発明の第５の実施形態に係る安全監視システムの側面側からの概要図である。（Ｂ）は、本発明の第５の実施形態に係る安全監視システムの天面側からの概要図である。（Ａ）は、本発明の第６の実施形態に係る安全監視システムの側面側からの概要図である。（Ｂ）は、本発明の第６の実施形態に係る安全監視システムの天面側からの概要図である。

・適用例
まず、図１を用いて、本発明が適用される一例について説明する。図１は、第１の実施形態に係る安全監視システムのブロック図である。

図１に示すように、安全監視システム１は、投光部１０と、撮像部２０と、撮像処理部３０と、ロボット制御部４０と、を備える。

投光部１０は、ＬＥＤ等の発光素子を有する第１発光素子１０１、および、第２発光素子１０２と、を備える。第１発光素子１０１と、第２発光素子１０２とは、所定の配置パターンで配置されている。投光部１０は、ロボットが作業する作業領域（以下、ロボット作業領域ＲＳ）と、作業者６０との危険予知をするための境界線に配置されている。

第１発光素子１０１の光が発光する第１波長と、第２発光素子１０２の光が発光する第２波長は、異なる周波数帯域を有する。第１波長の光は、可視光であり、第２波長の光は、赤外光である。すなわち、第１発光素子１０１は、作業者の視認性を向上するために設けられ、第２発光素子１０２は、外乱光に対するロバスト性を考慮するために設けられている。

撮像部２０は、投光部１０を撮像する。撮像部２０は、撮像した画像を撮像処理部３０に出力する。

撮像処理部３０は、発光パターンをパターンマッチング法によって、画像処理を行う。撮像処理部３０は、画像処理の結果に基づいて、作業者が投光部１０を越えて、ロボット作業領域ＲＳに侵入したことを検知すると、ロボット制御部４０に停止命令を出力する。

ロボット制御部４０は、撮像処理部３０からの停止命令の入力に伴い、ロボットを停止する。

これにより、第１発光素子１０１から出力される第１波長の光が可視光であるため、ロボット作業領域内、すなわち、侵入検知領域が視認しやすくなり、不要なロボット制御が抑制される。そして、作業者の安全性と、ロボットによる作業の生産性の向上と、を両立できる。

・構成例１
図１は、上述のとおり、本発明の第１の実施形態に係る安全監視システムのブロック図である。図２（Ａ）は、本発明の第１の実施形態に係る安全監視システムの側面側からの概要図である。図２（Ｂ）は、本発明の第１の実施形態に係る安全監視システムの天面側からの概要図である。図３は、本発明の第１の実施形態に係る安全監視システムの物体を検出するためのフローチャート図である。

図１の構成をもとに、図２（Ａ）、図２（Ｂ）を用いて具体的な監視の構成を説明する。上述のとおり、安全監視システム１は、投光部１０と、撮像部２０と、撮像処理部３０と、ロボット制御部４０と、を備える。ロボット制御部４０は、ロボット５０に接続されている。

撮像部２０は、投光部１０に対向するように配置されている。また、撮像部２０の撮像範囲ＦＬは、投光部１０の全体を含むように設定されている。撮像部２０は、投光部１０の初期状態の画像（以下、初期画像）を取得し、撮像処理部３０に出力する。撮像処理部３０は、当該初期状態の画像の状態を記憶しておく。

投光部１０は、第１発光素子１０１と、第２発光素子１０２と、テープ１０５と、で形成されている。第１発光素子１０１と、第２発光素子１０２とは、例えば、ＬＥＤであり、テープ１０５の表面に所定のパターンで配置されている。

なお、本実施形態においては、第１発光素子１０１と、第２発光素子１０２とを１組として、直線状に配置されており、投光部１０とロボット５０との間が、ロボット作業領域ＲＳである。

上述のとおり、第１発光素子１０１の第１波長は、可視光である。このことによって、作業者６０は、第１発光素子１０１を認識しやすい。すなわち、作業者６０は、ロボット作業領域ＲＳを認識しやすい。

このことによって、作業者６０が、ロボット作業領域ＲＳへの不要な侵入を抑制できる。さらに、第１発光素子１０１を作業者６０側に配置することによって、作業者は、実際に侵入検知を行う境界の外側の近傍を視認できる。すなわち、作業者のロボット作業領域ＲＳへの不用意な侵入をより確実に予防できる。

また、第２発光素子１０２の第２波長は、赤外光である。すなわち、第２発光素子１０２が発光する光は、外乱光に対するロバスト性が高い。このことによって、撮像部２０は、作業者６０がロボット作業領域ＲＳに侵入したことを検知しやすく、正確に検知できる。

次に、作業者６０がロボット作業領域ＲＳへ侵入した場合における、作業者６０の検知方法について説明する。

撮像部２０は、撮像範囲ＦＬにおいて、投光部１０に作業者６０が重なった状態（以下、侵入状態）を撮像する。撮像部２０は、侵入状態の画像を撮像処理部３０に出力する。

撮像処理部３０は、初期画像と、侵入状態の画像とを比較し、画像処理を行う。画像処理には、パターンマッチング法が用いられる。より具体的には、相関ベースマッチング（テンプレートマッチング）が用いられてもよい。なお、撮像処理部３０は、初期状態の画像から、基準となる輝度を算出して、当該輝度を閾値として用いる。

撮像処理部３０は、作業者６０がロボット作業領域ＲＳに侵入したと判断し、ロボット制御部４０に信号を出力する。

ロボット制御部４０は、信号を受信する。ロボット制御部４０は、ロボット５０へ停止信号を出力する。

また、ロボット制御部４０は、作業者６０と、信号を受信しない間は、停止信号を出力しない。これによって、ロボット５０は作業を続けることができる。

図３のフローチャート図を用いて、上述の構成におけるロボット制御の手順についてより具体的に説明する。

撮像処理部３０は、撮像部２０が撮像した投光部１０の初期画像を学習する（Ｓ１０１）。初期画像は、撮像範囲ＦＬにおける投光部１０の位置を用いており、座標、もしくは、形状で規定される。

撮像処理部３０は、投光部１０、すなわち、第１発光素子１０１と、第２発光素子１０２とを登録する（Ｓ１０２）。この際、撮像処理部３０は、少なくとも第２発光素子１０２を登録すれば良い。

すなわち、ステップＳ１０１、および、Ｓ１０２は、侵入状態を検知するための画像処理を初期化するステップである。

撮像部２０は、投光部１０を撮像し、撮像処理部３０に当該撮像した結果を出力する（Ｓ１０３）。

撮像処理部３０は、初期画像とステップＳ１０３で撮像した画像とを用いてパターン等の画像処理を行い、ロボット作業領域ＲＳへの侵入を検知する（Ｓ１０４）。

撮像処理部３０は、ロボット作業領域ＲＳへ物体が侵入したことを検知する（Ｓ１０５：Ｙｅｓ）と、ロボット５０を停止するためのロボット制御信号をロボット制御部４０に出力する（Ｓ１０６）。その後、撮像部２０は、画像を撮像するステップ（Ｓ１０３）から、再度処理を繰り返す。

撮像処理部３０は、ロボット作業領域ＲＳへ物体が侵入したことを検知しなければ（Ｓ１０５：Ｎｏ）と、画像を撮像するステップ（Ｓ１０３）から、再度処理を繰り返す。

上述のとおり、ステップＳ１０６におけるロボット制御信号は、ロボット５０を停止するのみではなく、ロボット５０の速度を緩やかにする信号であってもよい。

このような処理を実行することによって、作業者６０の安全性を確保しながら、ロボット５０の作業効率を低下させないシステムを構築できる。

さらに、このような構成を用いることによって、作業者６０は、ロボット作業領域ＲＳを明確に認識することができる。すなわち、境界線である投光部１０の視認性不足による、作業者６０がロボット作業領域ＲＳに不用意に侵入することを抑制できる。

さらに、作業者６０がロボット作業領域ＲＳに侵入してしまった場合においても、ロボット５０の動きを制御することができ、作業者６０の安全性を確保できる。

なお、第１発光素子１０１の第１波長は、例えば可視光の周波数帯である約３８０ｎｍ〜約７５０ｎｍの範囲であればよい。第２発光素子１０２の第２波長は、例えば約７６０ｎｍ〜約９４０ｎｍの範囲であればよい。なお、第１波長、および、第２波長の周波数帯は、上述の範囲が一般的ではあるが、撮像部２０で撮像可能な範囲の周波数帯であれば、この限りではない。

また、上述の構成において、撮像部２０が撮像した画像は、静止画であっても、動画であってもよい。

・構成例２
次に、図４（Ａ）、図４（Ｂ）を用いて、第２の実施形態に係る安全監視システムの概要について説明する。図４（Ａ）は、本発明の第２の実施形態に係る安全監視システムの側面側からの概要図である。図４（Ｂ）は、本発明の第２の実施形態に係る安全監視システムの天面側からの概要図である。

第２の実施形態においては、第１の実施形態と比較して、第１発光素子１０１Ａと、第２発光素子１０２Ａの配置位置において異なる。その他の点については、第１の実施形態と同様であり、同様の箇所の説明は省略する。

図４（Ａ）、図４（Ｂ）に示すように、投光部１０Ａは、第１発光素子１０１Ａと、第２発光素子１０２Ａと、テープ１０５と、を備えている。

第１発光素子１０１Ａと、第２発光素子１０２Ａとは、テープ１０５上に交互に並ぶよう、直線状に配置されている。

この構成であっても、作業者６０は、ロボット作業領域ＲＳを明確に認識することができる。すなわち、境界線である投光部１０Ａの視認性不足による、作業者６０がロボット作業領域ＲＳに不用意に侵入ことを抑制できる。

さらに、作業者６０がロボット作業領域ＲＳに侵入してしまった場合において、ロボット５０の動きを制御することができ、作業者６０の安全性を確保できる。

・構成例３
次に、図５を用いて、第３の実施形態に係る安全監視システムの概要について説明する。図５は、本発明の第３の実施形態に係る安全監視システムの側面側からの概要図である。

第３の実施形態においては、第１の実施形態と比較して、撮像部２０Ｂにバンドパスフィルタ２５を備えている点において異なる。その他の点については、第１の実施形態と同様であり、同様の箇所の説明は省略する。

図５に示すように、撮像部２０Ｂは、バンドパスフィルタ２５を備えている。バンドパスフィルタ２５は、第２発光素子１０２の第２波長を通過させ、第１発光素子１０１の第１波長を減衰、または、遮断する。

この構成であっても、作業者６０は、ロボット作業領域ＲＳを明確に認識することができる。すなわち、境界線である投光部１０の視認性不足による、作業者６０がロボット作業領域ＲＳに不用意に侵入ことを抑制できる。

さらに、撮像部２０Ｂがバンドパスフィルタ２５を備えていることにより、外乱光に対するロバスト性をさらに向上でき、撮像部２０Ｂが撮像した画像をより確実に解析できる。すなわち、作業者６０がロボット作業領域ＲＳに侵入してしまった場合において、ロボット５０の動きを制御することができ、作業者６０の安全性を確保できる。

・構成例４
次に、図６を用いて、第４の実施形態に係る安全監視システムの概要について説明する。図６は、本発明の第４の実施形態に係る安全監視システムの側面側からの概要図である。

第４の実施形態においては、第１の実施形態と比較して、投光部１０Ｃが、テープ１０５Ｃを備えている点において異なる。その他の点については、第１の実施形態と同様であり、同様の箇所の説明は省略する。

図６に示すように、投光部１０Ｃにおいて、第１発光素子１０１、および、第２発光素子１０２は、テープ１０５Ｃ上に配置されている。テープ１０５Ｃは、第１の実施形態におけるテープ１０５と比較して、輝度が低い。

テープ１０５Ｃの色の輝度と、第１発光素子１０１の光が発光する第１波長の輝度との差を大きくするように設定することによって、コントラスト比が高くなる。すなわち、作業者６０は、第１発光素子１０１をより明確に認識できるようになる。また、第２発光素子１０２の輝度との差を大きくすることによって、第２発光素子１０２の識別が容易になり、より正確な検知が可能となる。

この構成であっても、境界線である投光部１０の視認性不足による、作業者６０がロボット作業領域ＲＳに不用意に侵入ことを抑制できる。

・構成例５
次に、図７（Ａ）、図７（Ｂ）を用いて、第５の実施形態に係る安全監視システムの概要について説明する。図７（Ａ）は、本発明の第５の実施形態に係る安全監視システムの側面側からの概要図である。図７（Ｂ）は、本発明の第５の実施形態に係る安全監視システムの天面側からの概要図である。

第５の実施形態においては、第１の実施形態と比較して、複数の投光部１０を組み合わせ、ロボット作業領域ＲＳＤが面状となるように配置した点において異なる。その他の点については、第１の実施形態と同様であり、同様の箇所の説明は省略する。

図７（Ａ）、図７（Ｂ）に示すように、投光部１０は、ロボット作業領域ＲＳＤを囲うように配置されている。より具体的には、投光部１０を一辺とした両端に、２つの投光部１０のそれぞれを同方向に伸びるように二辺として配置し、ロボット作業領域ＲＳＤを形成する。すなわち、ロボット作業領域ＲＳＤの境界は、略Ｕ字に近い形状となる。

また、撮像部２０は、撮像する範囲を撮像範囲ＦＬＤとなるように配置されている。

この構成であっても、作業者６０は、ロボット作業領域ＲＳＤを明確に認識することができる。すなわち、境界線である投光部１０の視認性不足による、作業者６０がロボット作業領域ＲＳＤに不用意に侵入ことを抑制できる。

さらに、作業者６０がロボット作業領域ＲＳＤに侵入してしまった場合において、ロボット５０の動きを制御することができ、作業者６０の安全性を確保できる。

上述のとおり、本実施形態においては、ロボット作業領域ＲＳＤの境界を投光部１０の三辺で囲うように配置した。しかしながら、面状のロボット作業領域ＲＳＤを定義可能であれば、ロボット作業領域ＲＳＤは、投光部１０を用いた二辺もしくは四辺で、構成されてもよい。

・構成例６
次に、図８（Ａ）、図８（Ｂ）を用いて、第６の実施形態に係る安全監視システムの概要について説明する。図８（Ａ）は、本発明の第６の実施形態に係る安全監視システムの側面側からの概要図である。図８（Ｂ）は、本発明の第６の実施形態に係る安全監視システムの天面側からの概要図である。

第６の実施形態においては、第１の実施形態と比較して、複数の投光部１０を組み合わせ、ロボット作業領域ＲＳＥが複数の面状となるように配置した点において異なる。その他の点については、第１の実施形態と同様であり、同様の箇所の説明は省略する。

図８（Ａ）、図８（Ｂ）に示すように、投光部１０は、ロボット作業領域ＲＳＥを囲うように配置されている。より具体的には、投光部１０を一辺とした両端に、２つの投光部１０のそれぞれを同方向に伸びるように二辺として配置し、複数のロボット作業領域ＲＳＥを形成する。すなわち、複数のロボット作業領域ＲＳＥの境界は、略Ｕ字に近い形状となる。

また、撮像部２０は、撮像する範囲を撮像範囲ＦＬＥとなるように配置されている。

この構成であっても、作業者６０は、ロボット作業領域ＲＳＥを明確に認識することができる。すなわち、境界線である投光部１０の視認性不足による、作業者６０がロボット作業領域ＲＳＥに不用意に侵入ことを抑制できる。

さらに、作業者６０がロボット作業領域ＲＳＥに侵入してしまった場合において、ロボット５０の動きを制御することができ、作業者６０の安全性を確保できる。

上述のとおり、本実施形態においては、ロボット作業領域ＲＳＥの境界を投光部１０の三辺で囲うように配置した。しかしながら、面状のロボット作業領域ＲＳＥを定義可能であれば、ロボット作業領域ＲＳＥは、投光部１０を用いた二辺もしくは四辺で、構成されてもよい。

上述の構成において、ロボット作業領域が固定となる例について説明した。しかしながら、第１発光素子、および、第２発光素子の発光パターンによって、点灯、消灯を設定し、ロボット作業領域を動的に規定してもよい。

なお、上述の各実施形態の構成に限られるものではなく、これらの実施形態の組み合わせを変更したものであっても良い。

ＦＬ、ＦＬＤ、ＦＬＥ…撮像範囲
ＲＳ、ＲＳＤ、ＲＳＥ…ロボット作業領域
１…安全監視システム
１０、１０Ａ、１０Ｃ…投光部
２０、２０Ｂ…撮像部
２５…バンドパスフィルタ
３０…撮像処理部
４０…ロボット制御部
５０…ロボット
６０…作業者
１０１、１０１Ａ…第１発光素子
１０２、１０２Ａ…第２発光素子
１０５、１０５Ｃ…テープ

Claims

第１波長の光を発光する、複数の第１発光素子と、前記第１波長とは異なる第２波長の光を発光する、複数の第２発光素子と、を並べた投光部と、
前記投光部を撮像する撮像部と、
前記撮像部で撮像した画像に基づいて、物体の侵入検知を行う撮像処理部と、
前記侵入検知を行った結果から、ロボットの動きを制御するための信号を生成する、ロボット制御部と、
を備え、
前記投光部は、前記ロボットの動きに対する危険予知の境界線に配置され、
前記第１波長は可視光である、安全監視システム。
前記第２波長は、赤外光である、請求項１に記載の安全監視システム。
前記複数の第１発光素子と、前記複数の第２発光素子とは、前記境界線上に所定の順番で配置されている、
請求項１に記載の安全監視システム。
前記撮像処理部は、
前記第２発光素子から投光される光量をパターンマッチングに基づいた画像処理を行い、前記侵入検知を行う、
請求項１乃至請求項３のいずれかに記載の安全監視システム。
前記撮像処理部は、
前記光量の閾値を規定し、前記閾値を基準とした変化に基づき、前記侵入検知を行う、
請求項４に記載の安全監視システム。
撮像部によって、第１波長の光を発光する、複数の第１発光素子と、前記第１波長とは異なる第２波長の光を発光する、複数の第２発光素子と、を並べた投光部を撮像するステップと、
前記撮像部で撮像した画像に基づいて、物体の侵入検知を行うステップと、
前記侵入検知を行った結果から、ロボットの動きを制御するための信号を生成するステップと、をコンピュータが実行する安全監視方法であって、
前記投光部は、前記ロボットの動きに対する危険予知の境界線に配置され、
前記第１波長は可視光である、安全監視方法。
撮像部によって、第１波長の光を発光する、複数の第１発光素子と、前記第１波長とは異なる第２波長の光を発光する、複数の第２発光素子と、を並べた投光部を撮像するステップと、
前記撮像部で撮像した画像に基づいて、物体の侵入検知を行うステップと、
前記侵入検知を行った結果から、ロボットの動きを制御するための信号を生成するステップと、をコンピュータに実行させる安全監視プログラムであって、
前記投光部は、前記ロボットの動きに対する危険予知の境界線に配置され、
前記第１波長は可視光である、安全監視プログラム。