JP2005250990A - 作業支援装置 - Google Patents

Abstract

【課題】 作業員が作業を行う前にその正誤を判定でき、また作業員の動作を正確に識別できる作業支援装置を提供する。
【解決手段】 複数の撮影画像を得るステレオカメラ１０と、複数の撮影画像から作業員の輪郭を抽出し、作業員の三次元位置を算出する作業員三次元位置計算手段２１と、算出された作業員の三次元位置に基づいて、少なくとも、作業員の姿勢、位置、移動方向のいずれか１つを認識する作業員姿勢認識手段２２と、作業領域における設備機器の配置データと作業員が実行すべき作業手順データとを保持する設備情報記憶手段２６と、配置データと作業員の姿勢、位置、移動方向に基づいて、作業員が行おうとする作業内容を予測する作業内容予測手段２３と、予測された作業内容と作業手順データとを照合し、作業員の作業の正誤を判定する作業手順正誤判定手段２４と、判定結果に応じて、作業員に作業指示を通知する作業手順教示手段２５とを備える。
【選択図】 図１

Description

この発明は、プラント等の保守業務において、携帯端末装置等を利用して正しい作業手順を作業員に教示することにより、熟練者以外でも保守作業を安全に行うことができる作業支援装置に関するものである。

近年、原子力プラントに代表される大規模プラント、道路、鉄道、上下水道システム等においては、安定したサービスを提供するために定期的な保守作業が行われている。特に、上記の各システムにおいては莫大な点検項目を安全、確実に行うことが求められている。それゆえ、これらの作業を行う作業員は特殊な技能と経験を必要とするが、危険、かつ汚染された環境で作業する必要がある等の理由から、このような人材を確保することが困難になっている。したがって、近年、熟練者不足のために保守作業が未熟者により行われるケースが増加しており、保守作業の支援技術に対する需要が高まりつつある。

従来の保守作業支援装置では、監視カメラまたは保守対象機器に取り付けられたセンサ等から得られる情報に基づいて、作業員が実行した作業を認識し、その結果に基づいて順次作業員に作業手順を提示、更新していた。

例えば、作業員が作業Ａを行うと、保守作業支援装置は監視カメラまたはセンサ等の情報から作業員が作業Ａを行ったことを認識し、装置内部に保存されている作業手順データと照合する。照合の結果、作業Ａが正しい作業手順であると判断されると、作業員に次の作業Ｂを提示するようにしていた。

特許第３２７４２９０号公報

従来の作業支援装置は上記のように構成されているので、作業員に次の作業が提示されるタイミングは、作業対象機器のボタンが押されたとき、ネジが回されたとき等、作業が行われた後であり、その作業結果に基づいて次に提示する情報を選択して提示するものであった。つまり、作業者に保守作業手順の教示を行う場合、作業手順の正誤判定は作業員によって作業が完了された後に行うことになるため、作業が誤っていた場合は作業後にそれが判明することになり、作業の種類によっては重大な事故につながりかねないという課題があった。

また、従来用いられていた監視カメラは単眼カメラであったため、カメラ画像から得られる位置情報は２次元的（平面的）な情報であり、作業員の指差し動作等の作業を識別するためには情報が不十分であった。したがって、正確な識別のためには磁気センサ、ジャイロまたは超音波センサ等を設けなければならないという課題があった。

この発明は上記のような課題を解決するためになされたもので、作業員が作業を行う前にその正誤を判定でき、また作業員の動作を正確に識別できる作業支援装置を提供することを目的とする。

この発明に係る作業支援装置は、複数のカメラを用いて作業状態を撮影し、複数の撮影画像を得る撮影手段と、得られた複数の撮影画像から作業員の輪郭を抽出し、各撮影画像間の輪郭を対応付けることによって撮影領域における作業員の三次元位置を算出する位置算出手段と、算出された作業員の三次元位置に基づいて、少なくとも、作業員の姿勢、位置、移動方向のいずれか１つを認識する作業状態認識手段と、作業領域における設備機器の配置データと作業員が実行すべき作業手順データとを保持する設備情報記憶手段と、配置データと作業員の少なくとも姿勢、位置、移動方向のいずれか１つに基づいて、当該作業員が行おうとする作業内容を予測する作業内容予測手段と、予測された作業内容と作業手順データとを照合し、当該作業員の作業の正誤を判定する作業正誤判定手段と、作業正誤判定手段の判定結果に応じて、当該作業員に作業指示を通知する作業指示通知手段とを備えたものである。

この発明によれば、作業支援装置は、複数のカメラを用いて作業状態を撮影し、複数の撮影画像を得る撮影手段と、得られた複数の撮影画像から作業員の輪郭を抽出し、各撮影画像間の輪郭を対応付けることによって撮影領域における作業員の三次元位置を算出する位置算出手段と、算出された作業員の三次元位置に基づいて、少なくとも、作業員の姿勢、位置、移動方向のいずれか１つを認識する作業状態認識手段と、作業領域における設備機器の配置データと作業員が実行すべき作業手順データとを保持する設備情報記憶手段と、配置データと作業員の少なくとも姿勢、位置、移動方向のいずれか１つに基づいて、当該作業員が行おうとする作業内容を予測する作業内容予測手段と、予測された作業内容と作業手順データとを照合し、当該作業員の作業の正誤を判定する作業正誤判定手段と、作業正誤判定手段の判定結果に応じて、当該作業員に作業指示を通知する作業指示通知手段とを備えるように構成したので、予測された作業手順が誤っている場合は作業前に作業員に警告を発することで事故を未然に防止することができる効果が得られる。

実施の形態１．
図１は、この発明の実施の形態１による作業支援装置のブロック図である。図に示すように、作業支援装置１００は、ステレオカメラ１０、計算処理部２０を備える。計算処理部２０は、作業員三次元位置計算手段（位置算出手段）２１、作業員姿勢認識手段（作業状態認識手段）２２、作業内容予測手段２３、作業手順正誤判定手段（作業正誤判定手段）２４、作業手順教示手段（作業指示通知手段）２５、設備情報記憶手段２６を備える。

ステレオカメラ１０は３つのカメラで構成され、各カメラは作業現場における作業員の動作・状態を撮影し、撮影したカメラ画像を作業員三次元位置計算手段２１に供給する。作業員三次元位置計算手段２１は、取得した３つのカメラ画像から作業員の輪郭の三次元位置データを算出する。作業員姿勢認識手段２２は作業員三次元位置計算手段２１が算出した三次元位置データから作業員の位置・姿勢を認識する。作業内容予測手段２３は作業員姿勢認識手段２２が認識した作業員の位置・姿勢に基づいて作業員が意図する次の作業内容、保守対象機器を予測する。作業手順正誤判定手段２４は、予測された作業内容、保守対象機器に基づいて、その作業手順が正しい手順であるかどうかを判定する。作業手順教示手段２５は、判定結果に基づいて作業員に提示すべき情報を決定して作業員に提示する。設備情報記憶手段２６は、保守作業領域における設備機器の配置データ、設備の３Ｄモデル等のＣＡＤ（Computer Aided Design)データ、および作業員による作業手順を保持する。

ステレオカメラ１０に関しては、管理者等が事前にカメラキャリブレーションを行い、カメラのレンズ歪み等のパラメータ（内部パラメータ）およびカメラ間の位置関係等のパラメータ（外部パラメータ）を求めておく。カメラキャリブレーション手法には、コンピュータビジョンの分野で一般に使用されるＴｓａｉの手法、Ｚｈａｎｇの手法等を用いることができる。

この発明では、作業員に携帯端末装置（例えば、ＰＤＡ、携帯電話、ヘッドマウントディスプレイ等）等を持たせており、この端末に保守対象設備のマニュアル、熟練者のＫ／Ｈ、正しい作業手順等を提示することにより、保守作業手順等の教示およびヒューマンエラーの防止を行う。

次に動作について説明する。
図２は作業員三次元位置計算手段２１の動作を示すフローチャートである。この図を参照して作業員三次元位置計算手段２１の動作について説明する。
図において、ステップＳＴ１００とステップＳＴ１０１は背景データ作成処理であり、作業支援装置１００の起動時に一度だけ行われる。背景データ作成処理はステレオカメラ１０が行う。ステレオカメラ１０は３台のカメラで同時に、作業員がいない背景画像を撮影し、それぞれ作業員三次元位置計算手段２１に供給する（ステップＳＴ１００）。作業員三次元位置計算手段２１はステレオカメラ１０から取得した３枚の背景画像にエッジ抽出処理を行う（ステップＳＴ１０１）。すなわち、背景画像中のエッジ部分を求め、背景エッジ画像を生成する。エッジ抽出処理には、コンピュータビジョンの分野で一般に使われているＣａｎｎｙのエッジ抽出方法等を用いることができる。

一方、ステップＳＴ２００からステップＳＴ２０３はステレオカメラ１０から送られる毎フレームの画像について作業員三次元位置計算手段２１が実行する処理である。作業員三次元位置計算手段２１はステレオカメラ１０の３台のカメラから入力されたカメラ画像をステップＳＴ１０１と同様にエッジ抽出処理し、エッジ画像を生成する（ステップＳＴ２００）。続いて、このエッジ画像と背景エッジ画像とを比較して、背景エッジ画像からのエッジ画像の変化部分を作業員の輪郭として認識する（ステップＳＴ２０１）。

続いて、３つの画像について求めた作業員の輪郭をそれぞれの画像間で対応付けする（ステップＳＴ２０２）。対応点探索範囲は、カメラの位置関係を表す外部パラメータから導き出すことができるエピポーラ線上とし、カメラの対応付けにはエッジの勾配情報（勾配の方向と勾配の強さ）とエッジの両側の色情報を用いて、高精度に対応付けを行う。

続いて、作業員の輪郭の対応付け結果から、ステレオ立体視の原理に基づいて作業員の輪郭の三次元位置を計算し、三次元位置データを生成する（ステップＳＴ２０３）。生成した三次元位置データを作業員姿勢認識手段２２に供給する。

図３は作業員姿勢認識手段２２の動作を示すフローチャートである。この図を参照して作業員姿勢認識手段２２の動作について説明する。
作業員姿勢認識手段２２は、作業員三次元位置計算手段２１から三次元位置データを取得すると、作業員の重心を計算する（ステップＳＴ３００）。すなわち、作業員が手を伸ばしている場合を考慮して作業員の腰から下の部分（例えば床面から１ｍまでの高さ）の輪郭点群を用いて、輪郭点群の固まり具合から作業員の人数を認識する。例えば、輪郭点数が所定の数よりも大きい領域には作業員が存在すると判断して、作業員の人数をカウントする。そして、作業員が存在すると判定した輪郭点群について重心を求める。この重心からそれぞれの作業員の立っている位置を計算する。

続いて、作業員の作業方向を認識する（ステップＳＴ３０１）。すなわち、腰から上の部分（例えば床面から１ｍ以上の高さ）の輪郭点群のうち、作業員の立っている位置周辺の点の重心を求めることにより、作業員の腕の重心を計算する。例えば、ステップＳＴ３００で求めた作業員の位置から半径０．２ｍ以上０．８ｍ未満の領域にある点から重心を求める。

続いて、作業員姿勢認識手段２２は、作業員の腕の重心とステップＳＴ３００で求めた作業員の立っている位置とを床面に投影してその位置を比較し、比較結果がある閾値以上であれば作業員は腕を伸ばしていると判断する。また、閾値以下である場合、または作業員の腕の重心が求められていない場合は、作業員は腕を伸ばしていないと判断する。作業員が腕を伸ばしていると判断した場合は、腕の重心を求めたときに使った輪郭点群の主成分の分析を行い、主成分の方向を作業員の腕の向きとする。

続いて、作業員姿勢認識手段２２は、ステレオカメラ１０から取得した前のフレームの作業員の位置と現在のフレームの作業員の位置とを比較することにより、作業員の移動方向を求め、位置・姿勢データを生成する（ステップＳＴ３０２）。

以上をまとめると、作業員姿勢認識手段２２は、
・作業員の位置
・作業員の腕の向き
・作業員の動いている方向
を認識できる。

次に、作業内容予測手段２３の動作について説明する。
作業内容予測手段２３は、作業員姿勢認識手段２２から作業員の位置・姿勢データを取得し、設備情報記憶手段２６を参照して保守作業領域のＣＡＤデータと上記項目とを比較することにより、作業員が意図している次の保守作業内容を以下のように判断する。すなわち、作業員姿勢認識手段２２によって作業員が移動していると認識されていれば、移動方向の先にある機器を作業対象機器と認識する。作業員がほぼ止まっていて腕を伸ばしていなければ、作業員に一番近い機器を作業対象機器と認識する。また、作業員がほぼ止まっていて腕を伸ばしていれば、手を伸ばした先にある機器が作業対象機器で、腕を伸ばしている方向から今から作業を行おうとしている部品を認識し作業内容を判断する。作業内容予測手段２３は認識した作業内容を作業手順正誤判定手段２４に供給する。

作業手順正誤判定手段２４は設備情報記憶手段２６を参照し、設備情報記憶手段２６が保持する作業手順と作業内容予測手段２３によって予測された作業内容とを比較して、作業員がこれから行おうとしている作業内容が作業手順に記載されている内容と一致しているかを判定する。判定結果は作業手順教示手段２５に供給する。

作業手順教示手段２５は、作業手順正誤判定手段２４から取得した判定結果に基づいて作業員の伝達すべき情報を決定し、教示する。例えば、作業手順が正しければその作業の完了後に次の手順を作業員が保持する携帯端末装置に送信する。一方、作業員の作用内容が作業手順と異なっていれば、直ちに作業員に対して警告音を出力する等、警告を発し、作業の中止を促して重大なミスを防止し、正しい作業手順を改めて教示する。

以上のように、この実施の形態１によれば、作業員の三次元位置データから作業内容を予測し、作業を行う前に作業手順の正誤を判定するようにしたので、予測された作業手順が誤っている場合は作業前に作業員に警告を発することで事故を未然に防止することができる効果が得られる。

また、監視に用いるカメラにはステレオカメラを用いたため、カメラ画像から得られる位置情報は三次元的（立体的）な情報であるため、作業員の指差しなどの作業を予測する場合に必要十分な情報が得られ、カメラ画像のみから正確に予測が可能になるという効果が得られる。

実施の形態２．
この実施の形態２では、実施の形態１で説明した作業員姿勢認識手段２２、作業内容予測手段２３を強化した作業支援装置１００について説明する。つまり、実施の形態１では、作業対象機器を作業員の腕全体の向きを認識することによって予測していたのに対し、この実施の形態２では、腕の曲げ伸ばしの履歴から作業対象機器を予測する。

図４はこの実施の形態２において、作業員が着用する作業着を示す図である。図において、作業着は体の部分、例えば、上半身、下半身、上腕、下腕ごとに異なる色を有している。また、この実施の形態２による作業支援装置は図１と同様の構成とする。

次に動作について説明する。
作業員三次元位置計算手段２１は、実施の形態１と同様にステレオカメラ１０から取得する３つのカメラ画像から三次元位置データを生成する。作業員姿勢認識手段２２は作業員三次元位置計算手段２１から三次元位置データを取得すると共に、この三次元位置データとカメラ画像から作業員の輪郭の内側にある色を取得する。続いて、取得した色が図４に示される作業員のズボンの色である点群を集め、その重心を求める。この重心の位置を作業員の位置とする。

次に、図４に示される作業員の肘から手の間の部分の色が周辺にある点群を三次元位置データとカメラ画像から集め、その重心を求めると共に主成分分析を行って、主成分の向きを計算する。

同様に、作業員の肘から腕の付け根の部分についても、重心および主成分の向きを計算する。さらに、実施の形態１と同様に、作業員の位置の履歴から作業員の移動方向を計算する。以上をまとめると、作業員姿勢認識手段２２は、
・作業員の位置
・作業員の肘から手の間の部分の向き
・作業員の肘から腕の付け根の部分の向き
・作業員の動いている方向
という作業員の詳しい位置・姿勢データを得ることができる。

次に、作業内容予測手段２３の動作について説明する。
作業内容予測手段２３は、作業員姿勢認識手段２２から作業員の位置・姿勢データを取得すると、設備情報記憶手段２６を参照し、保守作業領域のＣＡＤデータと上記項目とを比較することにより、作業員が意図する次の作業内容、保守対象機器を以下のように判断する。すなわち、作業員姿勢認識手段２２によって作業員が移動していると認識されていれば、実施の形態１と同様に、移動方向の先にある機器を作業対象機器と認識する。作業員がほぼ止まっていて腕が真下を向いていれば、実施の形態１と同様に作業員に一番近い機器を作業対象機器と認識する。また、作業員がほぼ止まっていて腕が真下以外の方向を向いていれば、以下のように作業対象機器の認識を行う。

作業対象機器を認識するために、管理者等は作業員の位置から作業対象機器までの距離と腕の曲がり具合、向きとから構成される状態遷移モデルを事前に準備し、作業支援装置１００に保持させておく。図５は状態遷移モデルの例を示す図である。図には人間の腕を、肘から付け根の部分までと、肘から手の部分までに分けて、種々の動きのパターンを示す。作業内容予測手段２３は、各フレームでの腕の曲げ動作開始からの腕の属性を元に状態遷移を順に行っていき、腕を伸ばしきったときに触るであろう機器およびその作業内容を、設備情報記憶手段２６のＣＡＤデータを参照して予測する。予測内容は作業手順正誤判定手段２４に供給する。

作業手順正誤判定手段２４は、予測された作業内容と作業対象機器に関して、実施の形態１と同様に設備情報記憶手段２６を参照して作業手順の正誤を判定する。作業手順教示手段２５は、作業手順正誤判定手段２４の判定結果に基づいて作業員の伝達すべき情報を決定し、教示する。

以上のように、この実施の形態２によれば、作業員の位置から作業対象機器までの距離と腕の曲がり具合、向きとから構成される状態遷移モデルに基づいて、作業内容予測手段２３が作業員の意図する次の作業内容、作業対象機器を予測するようにしたので、意図しない機器が作業対象であると認識される可能性が減少し、より信頼度の高い作業の予測ができるという効果が得られる。

実施の形態３．
この実施の形態３では、実施の形態１に加えて、作業が本当に実行にされたかどうかを保証できるようにする。つまり、作業が本当に実行されたときのみ作業員に次の作業手順を教示する装置について説明する。

図６は実施の形態３に係る計算処理部２０の構成を示すブロック図である。図に示すように、この計算処理部２０’は実施の形態１の計算処理部２０に加えて、読み取りセンサ（変化検出手段）２７、データ化手段（変化検出手段）２８を備える。読み取りセンサ２７は、作業対象となる機器の状態を取得するセンサであり、例えば計器などの現在の値を読み取るセンサである。データ化手段２８は、読み取りセンサ２７が読み取った値の変化をデータ化する。また、設備情報記憶手段２６は、実施の形態１に示した設備情報等に加えて、正常な作業手順で作業が行われたときのセンサ値の変化データを保持する。

作業員が保守業務を行い計器などの値が変化すると、読み取りセンサ２７は計器の値を検出し、データ化手段２８に供給する。データ化手段２８は取得した値をデータ化して作業手順正誤判定手段２４に供給する。作業手順正誤判定手段２４は、実施の形態１で述べたように、予測された作業内容と設備情報記憶手段２６が保持する作業手順とを照合して、作業の正誤を判断すると共に、データ化手段２８から取得したデータと、設備情報記憶手段２６が保持する変化データとを照合することによって、その作業が確かに実行されたかどうかを判断する。

このとき、作業が実際に行われていなければ、データ化手段２８から取得したデータと設備情報記憶手段２６が保持する変化データとは異なるため、作業手順正誤判定手段２４は実際には作業は行われていないと判断し、作業員に対して次の作業手順の教示を行わない。一方、作業手順が正しく、かつデータ化手段２８からのデータと設備情報記憶手段２６が保持する変化データとが一致すれば、正しい作業が実際に行われたと判断し、作業手順教示手段２５に対して次の作業手順を作業員に教示させる。作業手順教示手段２５は、作業手順正誤判定手段２４からの指示に応じて作業員に次の作業手順を教示する。

また、設備機器のボタン等、作業員が触れる箇所にタッチセンサを取り付け、作業支援装置１０にタッチセンサから信号を受信する手段（作業検出手段）を備えるようにしてもよい。作業支援装置１０はタッチセンサから信号を受信すると、作業手順正誤判定手段２４に通知する。これにより、作業手順正誤判定手段２４は作業が実際に行われたことを検出できる。

以上のように、この実施の形態３によれば、作業支援装置１０が読み取りセンサ２７、データ化手段２８を備えることで、作業員による作業完了の保証を確実に行えるので、正確な作業手順を教示できると共に、保守作業が確かに進行しているというエビデンスとなる情報を蓄えることができる効果が得られる。

実施の形態４．
この実施の形態４では、上記実施の形態１から実施の形態３で説明した作業員の代わりに、産業用ロボットが設備機器の監視を行う場合について説明する。ここでいう産業用ロボットとは、ロボット管理者のプログラムに従って動作することを期待されるロボットであり、システム異常等により管理者が意図しない動作を始めた場合に、素早く電源供給を中断する等の対応を行うことができるものである。

図７はこの発明の実施の形態４による作業支援装置の構成を示すブロック図である。実施の形態１と同様に、作業支援装置１００はステレオカメラ１０、計算処理部３０を備える。計算処理部３０は、ロボット三次元位置計算手段（位置算出手段）３１、ロボット姿勢正誤判定手段（作業正誤判定手段）３２、ロボット異常対応手段（異常対応手段）３３、設備情報記憶手段（動作データ記憶手段）３４を備える。

実施の形態１と同様に、ステレオカメラ１０は３つのカメラで構成され、作業現場におけるロボットの状態を撮影し、撮影した画像をロボット三次元位置計算手段３１に供給する。ロボット三次元位置計算手段３１は、取得した３つの撮像画像からロボットの輪郭の三次元位置を算出する。ロボット姿勢正誤判定手段３２は、ロボットの輪郭の三次元位置データから、ロボットの位置・姿勢が期待される通りであるかどうかを判定する。ロボット異常対応手段３３は、ロボットの作業が誤っていた場合に、ロボットに供給する電源を中断したり、管理者に警告を発したりする。設備情報記憶手段３４はロボットに期待される動作に関するＣＡＤデータを保持する。

次に動作について説明する。
ロボット三次元位置計算手段３１は、実施の形態１の作業員三次元位置計算手段２１の動作と同様に、ステレオカメラ１０の３台のカメラから入力されたカメラ画像から三次元位置データを生成し、ロボット姿勢正誤判定手段３２に供給する。

ロボットの姿勢は基本的にプログラムによって制御されているため、ロボット姿勢正誤判定手段３２はロボットが現在期待される位置にあるかどうかを、設備情報記憶手段３４が保持するロボットのＣＡＤデータと、ロボットの三次元位置データとを照合することによって判定し、判定結果をロボット異常対応手段３３に供給する。また、ロボット姿勢正誤判定手段３２は、カメラ画像を取得したロボットのＩＤを取得するようにしてもよい。

ロボット異常対応手段３３は、取得した判定結果がロボット位置に誤りがあることを示すものであった場合、直ちにロボットへの電源供給を遮断する処理を行い、事故を防止する。続いて、異常のあるロボットのＩＤ等を管理者に通知し、原因究明やメンテナンス作業を促す。

以上のように、この実施の形態４によれば、ロボット姿勢正誤判定手段３２が設備情報記憶手段３４を参照してロボットの三次元位置データからロボットの姿勢、動作の正誤を判定して、誤った姿勢をしていればロボット異常対応手段３３がロボットへの電源供給を遮断したり、管理者に通知したりするようにしたので、ロボットの作業手順の正誤を事前に判定することが可能になり、事故を未然に防止することができる効果が得られる。

この発明の実施の形態１による作業支援装置の構成を示すブロック図である。 同実施の形態１に係る作業員三次元位置計算手段の動作を示すフローチャートである。 同実施の形態１に係る作業員姿勢認識手段の動作を示すフローチャートである。 この発明の実施の形態２に係る作業員が着用する作業着を示す図である。 同実施の形態２に係る状態遷移モデルの例を示す図である。 この発明の実施の形態３に係る計算処理部のブロック図を示す。 この発明の実施の形態４による作業支援装置の構成を示すブロック図である。

符号の説明

１０ ステレオカメラ、２０，２０’ 計算処理部、２１ 作業員三次元位置計算手段（位置算出手段）、２２ 作業員姿勢認識手段（作業状態認識手段）、２３ 作業内容予測手段、２４ 作業手順正誤判定手段（作業正誤判定手段）、２５ 作業手順教示手段（作業指示通知手段）、２６，３４ 設備情報記憶手段、２７ 読み取りセンサ（変化検出手段）、２８ データ化手段、３１ ロボット三次元位置計算手段（位置算出手段）、３２ ロボット姿勢正誤判定手段（作業正誤判定手段）、３３ ロボット異常対応手段（異常対応手段）。

Claims (5)

1. 作業領域における設備機器の操作または保守を行う作業員の作業手順を支援する作業支援装置において、
   複数のカメラを用いて作業状態を撮影し、複数の撮影画像を得る撮影手段と、
   前記得られた複数の撮影画像から作業員の輪郭を抽出し、各撮影画像間の輪郭を対応付けることによって撮影領域における作業員の三次元位置を算出する位置算出手段と、
   算出された作業員の三次元位置に基づいて、少なくとも、作業員の姿勢、位置、移動方向のいずれか１つを認識する作業状態認識手段と、
   前記作業領域における設備機器の配置データと作業員が実行すべき作業手順データとを保持する設備情報記憶手段と、
   前記配置データと前記作業員の少なくとも姿勢、位置、移動方向のいずれか１つとに基づいて、当該作業員が行おうとする作業内容を予測する作業内容予測手段と、
   前記予測された作業内容と前記作業手順データとを照合し、当該作業員の作業の正誤を判定する作業正誤判定手段と、
   前記作業正誤判定手段の判定結果に応じて、当該作業員に作業指示を通知する作業指示通知手段とを備えたことを特徴とする作業支援装置。
2. 設備情報記憶手段が、作業員の体の一部の状態変化を種々のパターンで記述した状態遷移モデルを保持し、
   作業正誤判定手段が、前記状態遷移モデルに記述される状態変化のパターンと、作業状態認識手段が認識した作業員の少なくとも姿勢、位置、移動方向のいずれか１つとを参照して、作業内容を予測することを特徴とする請求項１記載の作業支援装置。
3. 作業対象となる設備機器の状態変化を検出して状態変化データを生成する変化検出手段をさらに備え、
   設備情報記憶手段が、作業対象となる設備機器が正常に動作したときの動作変化を示す正常動作データを保持し、
   作業正誤判定手段が、前記状態変化データと、前記正常動作データとを参照して、作業員の作業の正誤を判定することを特徴とする請求項１記載の作業支援装置。
4. 作業対象となる設備機器に作業員が触れたことを検出する作業検出手段をさらに備え、
   作業正誤判定手段が、前記作業検出手段の検出結果を参照して作業員の作業の正誤を判定することを特徴とする請求項１記載の作業支援装置。
5. 作業領域における設備機器の操作または保守を行う作業用ロボットの作業手順を支援する作業支援装置において、
   複数のカメラを用いて作業状態を撮影し、複数の撮影画像を得る撮影手段と、
   得られた複数の撮影画像から作業用ロボットの輪郭を抽出し、各撮影画像間の輪郭を対応付けることによって撮影領域における作業用ロボットの三次元位置を算出する位置算出手段と、
   当該作業用ロボットの動作を制御するプログラムによって期待される動作である動作データを保持する動作データ記憶手段と、
   前記動作データと、前記三次元位置とを照合し、当該作業用ロボットが期待される通りの動作をしているかを判定する作業正誤判定手段と、
   前記作業正誤判定手段の判定結果に応じて当該作業用ロボットの動作を停止させる異常対応手段とを備えたことを特徴とする作業支援装置。

Images