JP2020142332A - 作業環境監視装置および作業環境監視システム - Google Patents

Abstract

【課題】検出対象物の検出精度を向上させ、作業環境の安全性を確保することができる作業環境監視装置を提供すること。【解決手段】作業環境監視装置１４は、マニピュレータ１１の作業空間を計測した３次元距離画像の情報を取得する３次元距離画像取得部２１１と、マニピュレータ１１の３次元形状を表すマニピュレータモデルを取得するマニピュレータモデル設定部２１２と、３次元距離画像を計測する時の計測条件情報を取得する計測条件情報設定部２１４と、マニピュレータ１１の姿勢情報を取得する姿勢情報取得部２１３と、マニピュレータモデル、計測条件情報および姿勢情報を用いて特定したマニピュレータ１１に相当する領域を３次元距離画像から消去して、作業空間内の作業者１５を検出する演算部２２と、を備える。【選択図】図２

Description

本発明は、作業環境監視技術に関し、より詳細には、作業者と同じ空間で協働作業するマニピュレータの動作を監視する作業環境監視装置および作業環境監視システムに関する。

近年、工場等において作業者と同じ空間で協働作業する産業用の協働ロボットが利用されつつある。このような協働ロボット用いて協働作業を行う場合は、カメラ等の視覚センサでロボットおよび作業者の画像を検知して、作業者等と協働ロボットとの接触や衝突を回避し、作業環境の安全性を確保する手法が知られている。

このような技術の例として、特許文献１には、可動部と、周囲の環境を撮像するための撮像手段と、撮像手段によって撮像された画像の中から、可動部が写り込んだ可動部領域を検出する画像認識手段と、撮像手段によって順次撮像される複数の画像を用いて、可動部領域が移動する範囲を予測することにより、可動部領域の移動予測範囲を生成し、移動予測範囲の中から移動体の検出を試みる移動体検出手段と、移動体検出手段によって移動体が検出された場合には、可動部の動作を変化させる制御手段と、を備えるロボット装置が開示されている。これにより、高い作業効率を確保しつつ、作業の安全性を向上させることができるとされている。

特開２００８−８０４７２号公報

しかしながら、特許文献１に記載のロボット装置による制御方法では、ロボットと作業者とを俯瞰する条件で外部センサが設置される場合、その計測結果には検出対象物である物体に加えてロボットも含まれるため、それが物体の検出結果に悪影響を及ぼす可能性があるという問題がある。

本発明は、上記問題点に鑑みてなされたものであり、その目的は、検出対象物の検出精度を向上させ、作業環境の安全性を確保することができる作業環境監視装置を提供することにある。

上記課題を解決するために本発明に係る作業環境監視装置は、マニピュレータの作業空間を計測した３次元距離画像の情報を取得する３次元距離画像取得部と、マニピュレータの３次元形状を表すマニピュレータモデルを取得するマニピュレータモデル設定部と、３次元距離画像を計測する時の計測条件情報を取得する計測条件情報設定部と、マニピュレータの姿勢情報を取得する姿勢情報取得部と、マニピュレータモデル、計測条件情報および姿勢情報を用いて特定したマニピュレータに相当する領域を３次元距離画像から消去して、作業空間内の検出対象物を検出する演算部と、を備える。

また、本発明に係る作業環境監視システムは、マニピュレータと、マニピュレータの制御装置と、マニピュレータの作業空間を俯瞰して計測する３次元距離画像センサと、作業空間内の検出対象物を検出する作業環境監視装置と、を備え、作業環境監視装置が、３次元距離画像センサで計測する作業空間の３次元距離画像の情報を取得する３次元距離画像取得部と、マニピュレータの３次元形状を表すマニピュレータモデルを取得するマニピュレータモデル設定部と、３次元距離画像を計測する時の３次元距離画像センサの計測条件情報を取得する計測条件情報設定部と、制御装置からマニピュレータの姿勢情報を取得する姿勢情報取得部と、マニピュレータモデル、計測条件情報および姿勢情報を用いて特定したマニピュレータに相当する領域を３次元距離画像から消去して、作業空間内の検出対象物を検出する演算部と、を有する。

本発明に係る作業環境監視装置によれば、検出対象物の検出精度を向上させ、作業環境の安全性を確保することができる。なお、ここに記載された効果は、必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。

本発明の一実施形態に係る作業環境監視システムの構成例を示す模式図である。 本発明の一実施形態に係る作業環境監視装置の構成例を示すブロック図である。 本発明の一実施形態に係る作業環境監視装置による制御処理の例を示すフローチャートである。 本発明の一実施形態に係る作業環境監視装置による作業者検出処理の例を示すフローチャートである。 本発明の一実施形態に係る作業環境監視装置による作業者検出処理の例を示す斜視図である。 本発明の一実施形態に係る作業環境監視装置による作業者検出処理の例を示す模式図である。

以下、本発明の実施形態について図面を参照しながら説明する。以下に説明する実施形態は、本発明の代表的な実施形態の一例を示したものであり、これにより本発明の範囲が狭く解釈されることはない。

まず、本発明の一実施形態に係る作業環境監視システムについて説明する。図１は、本実施形態に係る作業環境監視システム１０の構成例を示す模式図である。

図１に示すように、作業環境監視システム１０は、例えば、マニピュレータ１１と、マニピュレータ１１の制御装置１２と、３次元距離画像センサ１３と、作業環境監視装置１４と、を備えている。３次元距離画像センサ１３で、撮像できる作業環境内には、マニピュレータ１１および作業環境監視装置１４の検出対象物である作業者１５が存在している。

マニピュレータ１１は、例えば、作業者１５と協働作業を行う産業用の協働ロボットを用いている。マニピュレータ１１の先端には、例えば、物体を把持するハンド等のエンドエフェクタが取り付けられている。

制御装置１２は、マニピュレータ１１と接続され、マニピュレータ１１の動作を制御するため、マニピュレータ１１の姿勢情報を有している。マニピュレータ１１の姿勢情報は、例えば、１軸がＸ度、２軸がＹ度、・・・といった各軸の角度で表すことができる。

３次元距離画像センサ１３は、作業環境監視装置１４と接続され、マニピュレータ１１および作業者１５の作業空間を俯瞰して計測し、その計測結果である３次元距離画像の情報を取得する。３次元距離画像は、例えば、３次元距離画像センサ１３からマニピュレータ１１および作業者１５までの距離画像として計測される。

作業環境監視装置１４は、制御装置１２および３次元距離画像センサ１３と接続され、作業空間内の検出対象物である物体を検出する。本実施形態では、作業環境監視装置１４は、マニピュレータ１１の作業空間内の作業者１５を検出する。作業環境監視装置１４は、マニピュレータモデル（基本姿勢）を取得したり、３次元距離画像センサ１３の計測条件情報を取得したりすることができる。この計測条件情報には、例えば、３次元距離画像センサ１３の位置、角度、焦点距離などがある。

次に、本実施形態に係る作業環境監視装置の詳細構成について説明する。図２は、本実施形態に係る作業環境監視装置１４の構成例を示すブロック図である。

作業環境監視装置１４は、例えば、制御装置１２および３次元距離画像センサ１３から受信した情報を記憶する記憶部２１と、記憶部２１に記憶された各情報を用いて作業空間内の作業者１５を検出する演算部２２と、を備えている。

記憶部２１は、３次元距離画像取得部２１１と、マニピュレータモデル設定部２１２と、姿勢情報取得部２１３と、計測条件情報設定部２１４と、を有している。また、演算部２２は、仮想モデル生成部２２１と、差分抽出部２２２と、物体検出部２２３と、を有している。

３次元距離画像取得部２１１は、３次元距離画像センサ１３で計測する作業空間の３次元距離画像の情報を３次元距離画像センサ１３から取得する。

マニピュレータモデル設定部２１２は、マニピュレータ１１の３次元形状を表すマニピュレータモデルの情報をあらかじめ設定して保存する。ここで、マニピュレータモデルとは、マニピュレータ１１の３次元形状を仮想的に再現するために使用する基本姿勢の３次元モデルをいう。

姿勢情報取得部２１３は、マニピュレータ１１の姿勢情報を制御装置１２から取得する。ここで、マニピュレータ１１の姿勢情報とは、マニピュレータ１１の３次元モデルに姿勢を反映するために使用し、制御装置１２より逐次取得する情報をいう。

計測条件情報設定部２１４は、３次元距離画像センサ１３が３次元距離画像を計測する時の計測条件情報をあらかじめ設定して保存する。ここで、計測条件情報とは、仮想的に再現したマニピュレータ１１の３次元形状を、３次元距離画像センサ１３の計測座標系と一致させるのに必要な情報をいう。

仮想モデル生成部２２１は、マニピュレータモデル設定部２１２で設定したマニピュレータモデルを取得し、そのマニピュレータモデル、計測条件情報および姿勢情報を用いて、３次元距離画像センサ１３の計測座標系におけるマニピュレータ１１の仮想マニピュレータモデルを生成する。

差分抽出部２２２は、仮想モデル生成部２２１で生成した仮想マニピュレータモデルを取得し、その仮想マニピュレータモデル用いて、３次元距離画像内のマニピュレータ１１に相当する領域を特定する。そして、差分抽出部２２２は、３次元距離画像から差分抽出部２２２で特定したマニピュレータ１１に相当する領域を差し引いて（消去して）、差分を抽出する。

物体検出部２２３は、例えば、見つけたい対象の形状をあらかじめ設定しておき、その対象の形状を撮像画像から検索する等の公知の技術を用いて、作業空間内の物体の一例である作業者１５を検出する。ここで、物体検出とは、あるカテゴリに属する物体が画像中のどこに存在するかを求める問題であり、顔検出や人検出の物体検出法では、検出ウィンドウのラスタスキャンにより、検出対象の位置を検出する。また、人検出は、特徴量と統計的学習手法の組み合わせにより実現され、例えば、人の輪郭形状をとらえる勾配方向ヒストグラムをもとにしたＨＯＧ特徴量が利用されている。

次に、図３を用いて、本実施形態に係る作業環境監視装置を用いた制御処理の例について説明する。図３は、本実施形態に係る作業環境監視装置１４による制御処理の例を示すフローチャートである。

まず、ステップＳＴ１０において、仮想モデル生成部２２１は、マニピュレータモデル設定部２１２からマニピュレータ１１の基本姿勢のマニピュレータモデルを取得する。

ステップＳＴ２０において、仮想モデル生成部２２１は、マニピュレータモデル設定部２１２から３次元距離画像センサ１３が３次元距離画像を計測する際の計測条件情報を取得する。

ステップＳＴ３０において、演算部２２は、作業空間内の作業者１５を検出する。

ステップＳＴ４０において、作業環境監視装置１４は、検出された作業者１５をもとに、作業環境の安全性を評価し、安全措置が必要か否かを判定する。例えば、作業者１５とマニピュレータ１１との距離をもとに、作業環境の安全性を評価する。安全措置が必要でない場合はステップＳＴ５０へ進み、安全措置が必要である場合はステップＳＴ６０に進む。

ステップＳＴ５０において、作業環境監視装置１４は、作業環境監視処理のプログラムを続行するか否かを判定する。プログラムを継続する場合はステップＳＴ３０へ戻り、プログラムを継続しない場合は当該処理を終了する。

ステップＳＴ６０において、制御部１２は、危険を回避するための安全措置を実行し、プログラムを終了する。安全措置には、例えば、マニピュレータ１１を停止させることや、マニピュレータ１１を作業者１５と逆方向へ移動させる等の措置がある。

次に、図４から図６を用いて、本実施形態に係る作業環境監視装置による作業者検出処理の例について説明する。図４は、ステップＳＴ３０における、本実施形態に係る作業環境監視装置１４による作業者１５検出処理の例を示すフローチャートである。図５は、本実施形態に係る作業環境監視装置１４による作業者１５検出処理の例を示す斜視図である。図６Ａ〜Ｃは、本実施形態に係る作業環境監視装置１４による作業者１５検出処理の例を示す模式図である。

ステップＳＴ３０１において、姿勢情報取得部２１３は、マニピュレータ１１の現在の姿勢情報を制御装置１２から取得する。

ステップＳＴ３０２において、仮想モデル生成部２２１は、マニピュレータ１１の３次元形状を表すマニピュレータモデルに姿勢情報を反映する。

ステップＳＴ３０３において、仮想モデル生成部２２１は、３次元距離画像センサ１３の計測条件情報をもとにマニピュレータモデルを射影変換することによって距離画像と同一の座標系に仮想マニピュレータモデルを生成して、マニピュレータ１１の３次元形状を仮想的に再現する。

ステップＳＴ３０４において、３次元距離画像センサ１３は、例えば図５および図６Ａに示すように、マニピュレータ１１および作業者１５の作業空間を３次元距離画像として撮像する。ここで、一例として、３次元距離画像センサ１３から作業者１５が近い位置に存在し、マニピュレータ１１が遠い位置に存在しているものとする。

ステップＳＴ３０５において、差分抽出部２２２は、図６Ａに示す３次元距離画像と図６Ｂに示す仮想マニピュレータモデルとの差分を取ることにより、３次元距離画像からマニピュレータ１１に関わる部分を消去して、図６Ｃに示すように作業者１５に関わる部分のみを抽出する。

ステップＳＴ３０６において、物体検出部２２３は、図６Ｃに示す差分の画像を用いて作業者１５の検出処理を実行する。作業者１５の検出処理には、例えばテンプレートマッチング等を用いることができる。

上記ステップＳＴ３０１からＳＴ３０５までの処理は、作業者１５検出処理の前処理であり、作業者１５検出処理に対してノイズとなるマニピュレータ１１に関わる部分を消去しておくことによって、作業者１５検出処理の精度を高めることができる。

以上より、本実施形態に係る作業環境監視装置１４は、予め用意するマニピュレータ１１の３次元形状と３次元距離画像センサ１３の計測条件情報に加え、制御装置１２より逐次取得するマニピュレータ１１の姿勢情報によって、マニピュレータ１１の３次元形状の仮想的な再現を実現することができる。

したがって、作業環境監視装置１４によれば、始めに３次元距離画像センサ１３の計測座標系上にマニピュレータ１１の３次元形状を仮想的に再現することによって、３次元距離画像センサ１３の計測結果より既知のマニピュレータ１１に関わる領域を特定し、３次元距離画像センサ１３で計測した３次元距離画像からマニピュレータ１１に関わる領域を除外する前処理を施すことによって、作業者１５の検出精度を向上させることができる。

さらに、作業環境監視装置１４によれば、検出対象物である作業者１５の検出精度を向上させることにより、マニピュレータ１１と作業者１５とが協働作業する作業環境の安全性を確保することができる。

本発明は、産業用ロボット等のマニピュレータの動作を視覚情報等に基づいて監視する作業環境監視装置に関するものであり、産業上の利用可能性を有するものである。

１０ 作業環境監視システム
１１ マニピュレータ
１２ 制御装置
１３ ３次元距離画像センサ
１４ 作業環境監視装置
１５ 作業者（検出対象物）
２１ 記憶部
２２ 演算部
２１１ ３次元距離画像取得部
２１２ マニピュレータモデル設定部
２１３ 姿勢情報取得部
２１４ 計測条件情報設定部
２２１ 仮想モデル生成部
２２２ 差分抽出部
２２３ 物体検出部

Claims (4)

1. マニピュレータの作業空間を計測した３次元距離画像の情報を取得する３次元距離画像取得部と、
   前記マニピュレータの３次元形状を表すマニピュレータモデルを取得するマニピュレータモデル設定部と、
   前記３次元距離画像を計測する時の計測条件情報を取得する計測条件情報設定部と、
   前記マニピュレータの姿勢情報を取得する姿勢情報取得部と、
   前記マニピュレータモデル、前記計測条件情報および前記姿勢情報を用いて特定した前記マニピュレータに相当する領域を前記３次元距離画像から消去して、前記作業空間内の検出対象物を検出する演算部と、
   を備える作業環境監視装置。
2. 前記演算部が、
   取得したマニピュレータモデルから前記マニピュレータの仮想モデルを生成する仮想 モデル生成部と、
   生成した仮想モデルを用いて、前記３次元距離画像内の前記マニピュレータに相当す る領域を特定する差分抽出部と、
   を有する請求項１に記載の作業環境監視装置。
3. マニピュレータと、前記マニピュレータの制御装置と、前記マニピュレータの作業空間を俯瞰して計測する３次元距離画像センサと、前記作業空間内の検出対象物を検出する作業環境監視装置と、を備え、
   前記作業環境監視装置が、
   前記３次元距離画像センサで計測する作業空間の３次元距離画像の情報を取得する３ 次元距離画像取得部と、
   前記マニピュレータの３次元形状を表すマニピュレータモデルを取得するマニピュレ ータモデル設定部と、
   前記３次元距離画像を計測する時の前記３次元距離画像センサの計測条件情報を取得 する計測条件情報設定部と、
   前記制御装置から前記マニピュレータの姿勢情報を取得する姿勢情報取得部と、
   前記マニピュレータモデル、前記計測条件情報および前記姿勢情報を用いて特定した 前記マニピュレータに相当する領域を前記３次元距離画像から消去して、前記作業空間 内の検出対象物を検出する演算部と、
   を有する作業環境監視システム。
4. 前記演算部が、
   取得したマニピュレータモデルから前記３次元距離画像センサの計測座標系における 、前記マニピュレータの仮想モデルを生成する仮想モデル生成部と、
   生成した仮想モデルを用いて、前記３次元距離画像内の前記マニピュレータに相当す る領域を特定する差分抽出部と、
   を有する請求項３に記載の作業環境監視システム。

Images