JP2018013958A - オペレータ監視装置 - Google Patents

Abstract

【課題】オペレータの行動に関するデータによって、オペレータの行動が適切であったか否かを分析するオペレータ監視装置を提供する。【解決手段】オペレータ監視装置は、仮想的な座標を含む操作盤上の第１座標に配置された第１操作用品の操作の有無を表す操作履歴をオペレータによって操作された時間である第１操作時間に関連付けて取得する操作履歴取得手段と、前記オペレータの前記操作盤上の視線の座標を検出し視線を検出した時間である検出時間に関連付けて前記視線の座標のデータを出力する視線検出器と、前記第１座標、前記第１操作時間、ならびに前記視線の座標および前記検出時間の組を複数含む視線履歴データを管理する管理手段と、前記視線履歴データが前記第１操作時間に等しい前記検出時間を含むか否かによって前記オペレータの行動の適否に関するデータを生成するオペレータ行動分析手段と、を備える。【選択図】図２

Description

本発明の実施形態は、プラント等において操作盤を操作するオペレータの行動を監視して、行動に関する適切なフィードバックを行うためのデータを提供するオペレータ監視装置に関する。

製紙産業や製鉄ライン、非鉄金属の精錬等の現場では、プラントの制御室等に設けられた操作盤等を用いて、オペレータが押しボタン等の操作を行い、ワインダや抄紙機、ミル等の制御対象機器の制御を行う。

制御室には、オペレータの行動を監視する目的の装置はなく、プロセスコントローラが収集した操作用品の入力信号が操作履歴として記録され、操業時に生じた不具合等の原因の対策に利用される。

プロセスコントローラによって収集されたデータには、操作用品の操作履歴が記録されているに過ぎず、オペレータの行動やオペレータの判断の適否については分からない場合が多い。そのため、プラントで機器の動作不良等が生じた場合において、動作不良と操作ミスとの因果関係が不明であり、対策が困難なことが多い。

たとえば、経験豊富なオペレータが操作する場合には、操作盤上の操作用品の配置を記憶しており、手元を見ずに操作することがある。このような「よそ見操作」を行った場合には、本来操作すべき操作用品の隣の操作用品を操作してしまうことがあり、押し間違えによる真逆の操作指令を出すことがある。このような操作ミスを検出してプラントの不具合対策に役立てることができれば、生産効率を向上させることに貢献することができる。

特開２０１５−１３０１０５号公報

実施形態は、記録されたオペレータの行動に関するデータによって、オペレータの行動が適切であったか否かを分析するオペレータ監視装置を提供する。

実施形態に係るオペレータ監視装置は、仮想的な座標を含む操作盤上の第１座標に配置された第１操作用品の操作の有無を表す操作履歴を、オペレータによって操作された時間である第１操作時間に関連付けて取得する操作履歴取得手段と、前記オペレータの前記操作盤上の視線の座標を検出し、視線を検出した時間である検出時間に関連付けて前記視線の座標のデータを出力する視線検出器と、前記第１座標、前記第１操作時間、ならびに前記視線の座標および前記検出時間の組を複数含む視線履歴データを管理する管理手段と、前記視線履歴データが前記第１操作時間に等しい前記検出時間を含むか否かによって前記オペレータの行動の適否に関するデータを生成するオペレータ行動分析手段と、を備える。

本実施形態では、操作履歴取得手段および視線検出器によって取得される、操作履歴データおよび視線履歴データに一致するデータがあるかないかにもとづいて、オペレータの行動の適否を判定する行動判定手段を備えているので、オペレータの行動が適切であった否かを客観的に分析するためのデータが提供される。

図１（ａ）および図１（ｂ）は、第１の実施形態に係るオペレータ監視装置の一部を模式的に表す正面図および平面図である。 第１の実施形態に係るオペレータ監視装置を例示するブロック図である。 第１の実施形態のオペレータ監視装置の動作を説明するための各部の履歴データの例を表す図である。 第２の実施形態に係るオペレータ監視装置の一部を模式的に表す平面図である。 第２の実施形態に係るオペレータ監視装置を例示するブロック図である。 第２の実施形態のオペレータ監視装置の動作を説明するための各部の履歴データの例を表す図である。 第２の実施形態のオペレータ監視装置の動作を説明するための各部の履歴データの例を表す図である。 第２の実施形態のオペレータ監視装置の動作を説明するための各部の履歴データの例を表す図である。

以下、図面を参照しつつ、本発明の実施形態について説明する。
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して詳細な説明を適宜省略する。

（第１の実施形態）
図１は、図１（ａ）および図１（ｂ）は、本実施形態に係るオペレータ監視装置の一部を模式的に表す正面図および平面図である。
図２は、本実施形態に係るオペレータ監視装置を例示するブロック図である。
図１（ａ）に示すように、本実施形態のオペレータ監視装置では、操作盤１上に表示器３０や操作用品群５０が配置されている。表示器３０内には、プラント内の各種検出値等の表示データ等のほか、タッチパネルセンサ等によって操作用品群３５も設けられている。操作用品群５０は、複数の操作用品５１，５２，…を含んでいる。表示器３０の各種表示データ、タッチパネルセンサ等による表示器３０内の操作用品群３５、および操作盤１上に直接配置された複数の操作用品５１，５２，…は、それぞれの位置が特定できるように、仮想的な座標（以下、単に座標とも呼ぶ。）が割り当てられている。

また、オペレータ監視装置の操作盤１の付近には、視線検出器１０や監視カメラ２０が設けられている。図１（ｂ）に示すように、視線検出器１０および監視カメラ２０は、オペレータＯＰに向けて設置されている。

後に詳述するように、視線検出器１０および監視カメラ２０によって取得されたデータは、操作用品群５０等の座標と関連付けられる。そのため、オペレータ監視装置では、オペレータＯＰがどの表示データや操作用品を見ているかや、オペレータＯＰが実際にどの操作用品を操作したかを特定することができる。

図２に示すように、本実施形態のオペレータ監視装置１００は、視線検出器１０と、監視カメラ２０と、表示器３０と、プロセスコントローラ４０と、操作用品群３５，５０と、データベース管理部６０と、オペレータ行動分析部７０と、同期再生部８０と、を備える。視線検出器１０、監視カメラ２０、表示器３０、プロセスコントローラ４０およびデータベース管理部６０は、通信ネットワークに接続されている。通信ネットワークは、たとえば産業用イーサネット（登録商標）等の汎用ネットワークである。通信ネットワークは、これに限らず、他の通信プロトロコルにしたがうものであってもよく、無線、有線を問わない。また、通信ネットワークは、単一のネットワークに限られず、複数の通信ネットワークを含んでいてもかまわない。

視線検出器１０は、オペレータＯＰの操作盤１上の視線の位置を検出する。視線検出器１０は、オペレータＯＰの視線を検出するために、オペレータＯＰに向かって配置される。視線検出器１０は、オペレータＯＰの操作盤１上の視線の位置の座標を、その座標を検出した時間に関連付けて出力する。以下では、検出した時間およびその検出時間に関連付けられた視線の位置の座標データの組を視線履歴または視線履歴データと呼ぶ。

監視カメラ２０は、操作盤１に向かって操作を行っているオペレータＯＰの画像を記録する。記録される画像は、動画であってもよく、静止画であってもよいが、画像を取得した時間に関連付けられて、監視カメラ２０からデータとして出力される。監視カメラ２０から出力されるデータをオペレータ画像またはオペレータ画像データと呼ぶ。監視カメラ２０に代えて、赤外線センサ等を用いることによって、オペレータＯＰの在席、離席の状態を検出するようにしてもよい。

表示器３０は、プラントで用いられている各種センサ等から供給される出力値やプログラマブルロジックコントローラ（以下、ＰＬＣともいう。）によって計算された処理時間等を表示する。また、表示器３０は、タッチパネルセンサ等からなる操作用品群３５を含んでおり、操作用品群３５による操作信号をＰＬＣに送信することもできる。

表示器３０に表示されるすべての表示データは、操作盤１上に設定された座標によってそれぞれの位置が特定される。また、表示器３０内の操作用品群３５のそれぞれは、操作盤１上に設定された座標によって位置が特定される。

表示器３０は、定期的に、あるいは不定期に、表示内容をスクリーンキャプチャ画像として取得し、データとして出力することができる。

プロセスコントローラ４０は、操作用品群５０の操作用品５１，５２，…それぞれに接続されている。プロセスコントローラ４０は、表示器３０内の各操作用品群３５のそれぞれにも接続されている。プロセスコントローラ４０は、たとえばＰＬＣからなる。プロセスコントローラ４０は、ＰＬＣのＣＰＵユニットおよびメモリユニットによって設定される手順で、ＰＬＣの入出力ユニットを介してプラント内の各種センサを含む入出力機器との間で電気信号を送受信する。

プロセスコントローラ４０は、操作用品５１，５２，…ごとに送出された入力信号によって、操作の履歴データを生成する。プロセスコントローラ４０は、操作用品５１，５２，…ごとの操作履歴のデータを、その操作された操作時間に関連付けて生成して出力する。以下では、操作時間および操作時間に関連付けられた操作履歴のデータの組を操作履歴または操作履歴データと呼ぶ。

操作用品群５０は、複数の操作用品５１，５２，…を含む。上述したように、表示器３０がタッチパネルセンサ等を含む場合には、表示器３０内の操作用品群３５もそれぞれが操作用品として扱われる。以下では、表示器３０内の操作用品群３５も、操作用品群５０に含まれるものとして説明する。

操作用品群５０のそれぞれの操作用品５１，５２，…は、操作盤１上に仮想的に設けられた座標が割り当てられている。たとえば、操作用品５１の座標は、Ｐ１が割り当てられている。座標Ｐ１は、ＸＹ座標では、たとえば（Ｘ１，Ｙ１）のように表される、操作用品５２の座標は、Ｐ２が割り当てられている。座標Ｐ２は、ＸＹ座標では、たとえば（Ｘ２，Ｙ２）のように表される。

表示器３０の操作用品群３５にも同様に座標が割り当てられている。また、表示器３０の各表示データが表示される位置にもそれぞれ座標が割り当てられている。

つまり、操作盤１上に設けられているすべての操作用品や表示データには、座標が割り当てられており、割り当てられた座標によって、操作用品や表示データを特定することができる。仮想的に設定する座標系は、上述のような直交するＸ軸およびＹ軸からなる二次元座標に限らず、任意に設定することができる。たとえば各操作用品等を極座標によって位置を特定するようにしてももちろんよい。

データベース管理部６０は、記憶部６１と、演算部６２と、を含む。データベース管理部６０は、記憶部６１に、視線検出器１０、監視カメラ２０、表示器３０およびプロセスコントローラ４０からのデータを蓄積し、データベースとして管理する。記憶部６１は、たとえば磁気ディスク等を用いた外部記憶装置等である。記憶部６１に格納されたデータベースは、演算部６２によって適時に読み出されて、適切に処理されて、データを出力する。

データベース管理部６０は、たとえばデータサーバ等である。データサーバは、通信ネットワークに接続され、視線検出器１０、監視カメラ２０、表示器３０およびプロセスコントローラ４０との間の通信によってデータを受信する。

データベース管理部６０の演算部６２は、データベースから操作用品座標６４、操作履歴６５、視線履歴６６、オペレータ画像６７およびスクリーンキャプチャ画像６８の各データを抽出する。データベースから抽出された操作用品座標６４、操作履歴６５および視線履歴６６の各データは、オペレータ行動分析部７０に供給される。

オペレータ行動分析部７０は、データベース管理部６０から供給される操作用品座標６４、操作履歴６５および視線履歴６６の各データにもとづいて、オペレータＯＰの行動が適切であるか否かを分析するためのデータを生成する。オペレータ行動分析部７０は、操作用品座標６４および操作履歴６５の各データを用いて、操作履歴座標のデータを生成する。操作履歴座標のデータは、特定の操作用品の操作履歴６５のデータを操作用品座標６４のデータに関連付けすることによって生成される。操作履歴座標のデータは、特定の操作用品の操作盤１上の座標およびその操作の履歴の組を含む。たとえば、操作の履歴は、操作用品５１を操作した場合に、論理値“１”のフラグを割り当てることによって表される。

オペレータＯＰの行動が適切であるか否かを分析するためのデータは、オペレータＯＰが操作用品群５０から操作用品を選択して、その際に操作された操作用品を注目していたか否かを判定するデータである。たとえば、プラントにおいて、不具合発生時点において、オペレータＯＰが操作用品を注目していなかった、つまり、よそ見をしていた場合には、不具合発生要因の１つとしてよそ見の可能性を上げることができる。プラントにおける不具合発生時点において、よそ見をしていなかったと判定される場合には、不具合の要因をほかに求めることができる。

データベース管理部６０の演算部６２は、データベースから操作履歴６５、視線履歴６６、オペレータ画像６７およびスクリーンキャプチャ画像６８の各データを抽出する。抽出された各データは、同期再生部８０に供給される。

同期再生部８０は、データベース管理部６０から供給される操作履歴６５、視線履歴６６、オペレータ画像６７およびスクリーンキャプチャ画像６８の各データにもとづいて、オペレータＯＰの行動記録の動画再生を行う。たとえば、プラントにおいて、不具合発生時刻を指定することによって、その際のオペレータＯＰの行動や、在席状況を確認することができる。オペレータ行動分析部７０によって検出されたオペレータＯＰのよそ見の時間に同期して、その前後の時間も含めて、動画を再生するようにしてもよい。

本実施形態のオペレータ監視装置１００の動作について説明する。
まず、オペレータ行動分析部７０の動作について説明する。
図３は、本実施形態のオペレータ監視装置１００の動作を説明するための各部の履歴データの例を表す図である。
図３の上側の２段の図は、オペレータＯＰの視線の操作盤１上の座標の履歴である視線履歴のデータを示している。最上段の図では、視線の座標がＰ１であることを示し、２段目の図では、視線の座標がＰ２であることを示している。視線の座標Ｐ１は、たとえば操作用品５１の座標である。視線の座標Ｐ２は、たとえば操作用品５２の座標である。

実線の視線履歴のデータでは、オペレータＯＰが時刻ｔ０１〜ｔ０８において、ずっと操作用品５１を見ていることを表している。また、一点鎖線の視線履歴のデータでは、オペレータＯＰは、時刻ｔ０１〜ｔ０２において、操作用品５２を見ており、その後、時刻ｔ０３〜ｔ０５において、視線を操作用品５１に移していることを表している。さらに、時刻ｔ０６〜ｔ０８では、オペレータＯＰの視線は、操作用品５２に移動していることを表している。

図３の下側の２段の図は、オペレータＯＰが実際に操作用品を操作した履歴である操作履歴座標のデータを表している。この例では、オペレータＯＰは、時刻ｔ０４において、座標Ｐ１にある操作用品５１を操作していることを表しており、その後、時刻ｔ０６において、オペレータＯＰは、再度操作用品５１を操作していることを表している。さらに、時刻ｔ０８において、オペレータＯＰは、座標Ｐ２にある操作用品５２を操作していることを表している。以下の説明では、簡単のため、オペレータＯＰの視線や操作履歴の座標は、２つの座標Ｐ１，Ｐ２の間を動くものとするが、３つ以上の座標に容易に適用することができる。

本実施形態のオペレータ監視装置１００では、操作用品座標６４のデータ、オペレータＯＰの視線履歴６６のデータ、およびプロセスコントローラ４０によって収集された操作用品の操作履歴６５のデータにもとづいて、オペレータＯＰの行動の分析を行う。オペレータＯＰの行動の分析データの生成は、オペレータ行動分析部７０によって実行される。

オペレータ行動分析部７０では、データベース管理部６０のデータベースから、操作用品座標６４および操作履歴６５の各データを読み出して、操作履歴座標のデータを生成する。操作履歴６５には、操作用品ごとに操作有無等のデータがその時刻とともに記録されている。たとえば、操作履歴座標のデータは、操作履歴６５中の各操作用品の操作有無等の履歴を、操作用品の操作用品座標６４のデータにマージすることによって生成される。したがって、操作履歴座標のデータでは、操作用品ごとの操作有無等の履歴に座標データが関連付けられている。

オペレータ行動分析部７０は、操作履歴座標のデータと、視線履歴６６のデータとを照合する。ある時刻において、操作履歴座標のデータと、視線履歴６６のデータとが一致する場合には、オペレータ行動分析部７０は、オペレータＯＰが実際に操作した操作用品を見ていたと判定する。この場合には、オペレータＯＰは、よそ見をしていなかったと判定される。

ある操作用品に関して、視線履歴の時刻のデータの中に操作履歴座標の時刻のデータを含まない場合には、オペレータ行動分析部７０は、オペレータＯＰが操作した操作用品を見ずに操作をしたと判定する。この場合には、オペレータＯＰは、よそ見をしていたと判定される。

図３の例で説明すると、実線の視線履歴のデータの場合には、オペレータＯＰは、座標Ｐ１にある操作用品５１をずっと見ていたと考えられる。そして、時刻ｔ０４において、操作用品５１を実際に操作しているので、オペレータＯＰは、時刻ｔ０４において、操作用品５１を見ながら操作用品５１を実際に操作したと考えられる。

図３の一点鎖線の視線履歴データの場合には、オペレータＯＰは、時刻ｔ０３〜ｔ０５では、操作用品５１を見ている。そして、時刻ｔ０４において、実際に操作用品５１を操作しているので、オペレータＯＰは、実線の視線履歴データの場合と同様に、時刻ｔ０４において、操作用品５１を見ながら操作用品を操作したと判定される。

つまり、座標Ｐ１に関して、視線履歴のデータが時刻ｔ０４を含んでおり、時刻ｔ０４では操作履歴座標のデータがある場合には、オペレータ行動分析部７０は、オペレータＯＰがよそ見をせずに適切な操作を行っていたと判定する。

時刻ｔ０６において、オペレータＯＰは、再度操作用品５１を操作している。このとき、実線の視線履歴のデータの場合には、ずっと操作用品５１を見ている。つまり、座標Ｐ１に関して、視線履歴のデータが時刻ｔ０６を含んでおり、時刻ｔ０６では操作履歴座標のデータがある。そのため、オペレータ行動分析部７０は、時刻ｔ０６における操作についてはオペレータＯＰの行動がよそ見をせずに適切な行動であったと判定する。

一点鎖線の視線履歴のデータの場合には、時刻ｔ０６では、視線履歴のデータの座標はＰ２となっており、オペレータＯＰは、座標Ｐ１にある操作用品５１から目を離して、別の操作用品５２を見ていると考えられる。そのため、座標Ｐ１に関しては、視線履歴および操作履歴座標のいずれのデータにも、時刻ｔ０６が含まれていない。

この場合のように、視線履歴のデータと操作履歴座標のデータとが一致する時刻が存在した後、同一の操作履歴座標のデータが続けて記録されているときには、オペレータＯＰは、よそ見をしていないと判定するようにしてもよい。

たとえば、視線履歴の座標のデータと操作履歴座標のデータとが一致する時刻が存在した後、同一座標を有する操作履歴座標のデータが続けて記録されている場合において、続けて記録されている時刻が所定の期間以内によそ見でないと判定し、所定期間を過ぎたときには、よそ見であると判定するようにしてもよい。

時刻ｔ０８においては、座標Ｐ２にある操作用品５２の操作履歴が記録されている。実線の視線履歴のデータでは、視線履歴のデータは、操作された操作用品５２の座標Ｐ２とは異なる座標Ｐ１となっている。また、操作用品５２の操作の前には、他の操作用品５１の操作履歴が残っているので、オペレータＯＰは、時刻ｔ０８の操作においては、よそ見をしたと判定される。

一方、一点鎖線の視線履歴のデータでは、時刻ｔ０８において、操作履歴座標のデータと一致するので、オペレータＯＰは、適切な行動をしたと判定される。

次に、同期再生部８０の動作について説明する。
同期再生部８０は、監視カメラ２０によって取得されたオペレータＯＰの様子を表す動画のデータをオペレータ画像６７のデータとしてデータベースに格納する。監視カメラ２０によって取得されたオペレータＯＰの様子を表す画像のデータは、動画あるいは静止画、いずれの場合についても、その画像の取得時間と関連付けられて格納されている。

表示器３０のスクリーンキャプチャ画像６８もその取得時間に関連付けられてデータベースに格納されている。

視線履歴および操作履歴も上述したとおり、データの取得時間に関連付けられている。

同期再生部８０は、これらのデータについて、データの取得時間に関して同期をとって画像データとして出力する。たとえば、操作盤１上の操作状態を、操作盤１を模した画面に操作履歴座標のデータをスーパーインポーズして２画面分割された一方にアニメーションとして表示し、他方の画面にオペレータＯＰの様子を動画として表示することができる。

プラントにおいて、不具合報告された時刻を入力することによって、その時刻の前後の時間について、上述の２画面動画を再生することができる。このような動画やアニメーションを再生することによって、プラントにおける不具合の内容とオペレータＯＰの行動との関連性を検証するのに役立てることができる。

本実施形態のオペレータ監視装置１００の作用および効果について説明する。
本実施形態のオペレータ監視装置１００では、オペレータ行動分析部７０を備えている。オペレータ行動分析部７０は、データベース管理部６０によって収集され、データベース化されたオペレータＯＰの視線履歴のデータおよび操作用品の操作履歴座標のデータにもとづいて、特定の時間におけるオペレータＯＰの行動が適切であったか否かを、よそ見をしたか否かによって判定することができる。オペレータ監視装置１００は、特定の時刻において、視線履歴のデータと操作履歴座標のデータとが一致するか否かによって、よそ見をしたか否かを判定するので、行動の妥当性について客観的な指標を提供することができる。

たとえば、オペレータの習熟度をオペレータとしての作業時間数等によって表すこととする。そして、オペレータの習熟度ごとに、別途取得されたプラントにおける不具合発生時刻の履歴のデータと、よそ見をしたと判定された時刻のデータとの相関をとる。これによって、オペレータ監視装置１００は、事故と習熟度との相関性を客観的データとして出力するようにすることもできる。

さらに、プラントにおける不具合の発生時点とよそ見との関連性を分析しつつ、同期再生部によってオペレータＯＰの実際の行動を再生することができるので、より具体的にプラントにおける不具合とオペレータの行動の関連性を把握することができる。

（第２の実施形態）
上述した実施形態の場合では、特定の時刻において、視線履歴のデータと操作履歴座標のデータとが一致するか否かによって、オペレータＯＰがよそ見をしたか否かを判定し、オペレータの行動の適否の判断のデータとした。ところで、操作盤１上で操作用品を操作する場合に、その操作用品を見ながら実際の操作を行う場合に限らず、操作対象の操作用品を目視確認して、手や指をその操作用品に添えつつ、その後その操作用品から目を離して操作することがある。たとえば表示器３０の表示データを確認しながら、表示データが所望の値になったときに、手を添えた操作用品を操作する場合である。このようなオペレータＯＰの行動は、必ずしも不適切であるとはいえず、オペレータ監視装置では、このような場合にオペレータＯＰの行動を適切に判定できる必要がある。

図４および図５に示すように、本実施形態のオペレータ監視装置２００は、データベース管理部１６０と、オペレータ行動分析部１７０と、を備え、操作位置取得カメラ９０をさらに備える。他の構成要素は、第１の実施形態の場合と同じであり、同一の構成要素には、同一の符号を付して詳細な説明を省略する。

操作位置取得カメラ９０は、操作盤１上に配置された操作用品群５０や、表示器３０の表示内容を撮影する。操作盤１上の画像を取得するために、操作位置取得カメラ９０は、たとえばオペレータＯＰの側から操作盤１上に向くように配置されている。

操作位置取得カメラ９０は、操作盤１上で、操作しているオペレータＯＰの手や指および操作している操作用品等の画像を取得する。取得された画像データは、通信ネットワークを介してデータベース管理部１６０に送信される。

データベース管理部１６０は、取得された操作盤１上の画像データを取得時間に関連付けて格納する。また、データベース管理部１６０の演算部１６２では、取得された画像データに対して画像処理を行う。画像データ内のオペレータの手や指の位置および操作用品等の位置が重なった場合に、その座標を特定できるように、画像処理されたデータは、操作用品座標に対して関連付けされる。関連付けが行われたデータは、操作位置履歴６９のデータとして扱われる。操作位置履歴６９のデータは、視線履歴６６のデータ、操作履歴６５のデータおよび操作用品座標６４のデータとともにオペレータ行動分析部１７０に供給される。

オペレータ行動分析部１７０では、視線履歴６６、操作履歴座標および操作位置履歴６９の各データにもとづいて、オペレータＯＰの行動の分析のためのデータを生成する。オペレータ行動分析部１７０が生成するデータは、具体的には、オペレータＯＰがよそ見をしたか否かの判定データを含む。

本実施形態のオペレータ監視装置２００の動作について説明する。
図６〜図８は、本実施形態のオペレータ監視装置の動作を説明するための各部の履歴データの例を表す図である。
図６〜図８では、第１の実施形態の場合で説明した視線履歴のデータおよび操作履歴座標のデータに加え、操作位置取得カメラ９０によって取得され、画像処理されて生成された操作位置履歴のデータが追加されている。操作位置履歴のデータは、図６〜図８の上から３段目および４段目にそれぞれ示されている。

図６の場合には、時刻ｔ１４において、視線履歴のデータは、操作履歴のデータと一致する。そのため、図３の場合と同様に、操作位置履歴のデータの有無にかかわらず、オペレータＯＰによそ見はなく、適切な行動であると判定される。

時刻ｔ１４〜ｔ１６では、操作位置履歴のデータは、座標Ｐ１にとどまっている。時刻ｔ１６において、操作位置履歴のデータは、操作履歴座標のデータと一致している。つまり、この場合には、視線が座標Ｐ１にとどまっているか否かにかかわらず、オペレータＯＰは自身の手で操作用品５１の位置を確認しながら、操作用品５１を操作している。したがって、オペレータＯＰは、よそ見をしておらず、このときのオペレータＯＰの行動は、適切であったと判定される。

時刻ｔ１７において、操作位置履歴が座標Ｐ１から座標Ｐ２に移動している。その後、時刻ｔ１８において、座標Ｐ２にある操作用品５２の操作履歴が記録されている。この場合には、視線履歴と操作位置履歴との関係によって、オペレータＯＰがよそ見をしたか否かの判定が異なる。

実線の視線履歴は、時刻ｔ１６において、座標Ｐ１から座標Ｐ２に移動している。そして、その後時刻ｔ１７において、操作位置履歴は、座標Ｐ１から座標Ｐ２に移動している。つまり、オペレータＯＰは、目視で座標Ｐ２にある操作用品５２を確認しながら、手を操作用品５２に添えている。その後、手を添えた操作用品５２を実際に操作していると考えられる。したがって、この場合には、オペレータＯＰは、よそ見をしておらず、適切な行動をしていたと判定される。

一方、一点鎖線の視線履歴は、時刻ｔ１６以降も座標Ｐ１のままである。つまり、オペレータＯＰは、座標Ｐ１にある操作用品５１を見ているので、座標Ｐ２にある操作用品５２を目視で確認することなく、座標Ｐ２にある操作用品５２に手を移動し、操作用品５２を操作していると考えられる。したがって、この場合には、オペレータＯＰは、よそ見をしている可能性が高く、適切な行動ではなかったと判定される。

次に図７を用いて、同一時刻における視線履歴のデータと操作履歴座標のデータとの一致がない場合であっても、よそ見でないと判定される条件について説明する。

時刻ｔ２２において、視線履歴のデータは、座標Ｐ１にあり、操作位置履歴のデータは、座標Ｐ１にある。一方で、操作履歴座標のデータは、時刻ｔ２２には記録されていない。

そして、時刻ｔ２５において、操作履歴座標のデータが記録されている。操作位置履歴データは、時刻ｔ２２〜ｔ２５まで、座標Ｐ１に記録されている。

つまり、この状態では、オペレータＯＰは、最初目視により座標Ｐ１にある操作用品５１の場所を確認し、手を操作用品５１に添えていると考えられる。

その後、時刻ｔ２３〜ｔ２５では、オペレータＯＰは、操作用品５１に手を添え続けている。オペレータＯＰが操作用品５１に手を添えている限りは、実線の視線履歴や一点鎖線の視線履歴のように、操作用品５１以外の場所を見ていてもよい。オペレータＯＰは、何らかのタイミングに応じて操作用品５１を操作した場合には、適切な操作を行ったと判定される。

時刻ｔ２７では、座標Ｐ２にある操作用品５２の操作履歴が記録されている。その直前の時刻ｔ２６において、視線履歴のデータと操作位置履歴のデータとが一致している。この場合も時刻ｔ２５の場合と同様に、オペレータＯＰは、操作用品５２の位置を目で確認して手を添えており、その後時刻ｔ２７において実際に操作用品５２を操作している。したがって、オペレータＯＰは適切な行動をしたと判定される。

一方、時刻ｔ２８においては、座標Ｐ１にある操作用品５１の操作履歴が記録されているが、オペレータＯＰは、操作用品５２の操作後に操作用品５１を一切見ておらず、手のみを操作用品５１を移動させている。この場合には、よそ見の可能性があり、オペレータＯＰの行動は、適切でなかったと判定される。

図８を用いて、同一時刻において、視線履歴のデータと操作位置履歴のデータとが一致している場合であっても、オペレータＯＰはよそ見をしていた可能性がある場合について説明する。

図８の時刻ｔ３５においては、視線履歴のデータと操作履歴座標のデータとが一致している。つまり、オペレータＯＰは、座標Ｐ１にある操作用品５１を見て、操作用品５１を実際に操作しているものと考えられる。

しかし、時刻ｔ３５の直前の時刻ｔ３４以前では、視線履歴のデータは、操作位置履歴のデータと一致していない。つまり、オペレータＯＰは、時刻ｔ３４まで、座標Ｐ２にある操作用品５２を見ているが、オペレータＯＰの手の位置は、座標Ｐ１にある操作用品５１を見ずに、操作用品５１に移動させていると考えられる。この場合には、オペレータＯＰは、よそ見をしている可能性があり、適切でない行動であったと判定される。

本実施形態のオペレータ監視装置２００では、同一時刻において、視線履歴のデータと操作位置履歴のデータとが一致する場合には、よそ見でないと判定する。

同一時刻において、視線履歴のデータと操作位置履歴のデータとが一致しない場合であっても、その時刻以前に視線履歴のデータと操作位置履歴のデータに一致する時刻があり、操作履歴データが記録されている時刻まで、操作位置履歴のデータが一定であるときには、よそ見でないと判定する。

さらに、同一時刻において、視線履歴のデータと操作位置履歴のデータとが一致する場合であっても、操作位置履歴のデータが記録されている時刻以前に、操作位置履歴のデータの変動後に視線履歴のデータが変動しているときには、よそ見があったと判定される。

本実施形態のオペレータ監視装置２００の作用および効果について説明する。
本実施形態のオペレータ監視装置２００は、オペレータＯＰが操作している操作盤１上の画像を取得する操作位置取得カメラ９０を備えている。そして、オペレータ監視装置２００は、操作位置取得カメラ９０によって取得された画像データを画像処理して、オペレータＯＰが操作し、あるいは操作しようとしている操作用品の座標の履歴を生成するデータベース管理部１６０を備えている。そのため、オペレータＯＰの視線と、オペレータＯＰの操作盤１上の手の位置と、実際に操作された操作用品の操作履歴とを照合して、よりきめ細かくオペレータＯＰの行動が適切であったか否かを判定することができる。

上述のようにオペレータＯＰの行動を適切に分析することができるオペレータ行動分析部１７０を備えているので、プラントで生じた不具合等を的確に分析することができるようになる。

以上説明した実施形態によれば、記録されたオペレータの行動によって、オペレータの行動が適切か否かを分析するオペレータ監視装置を実現することができる。

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明およびその等価物の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。

１ 操作盤、１０ 視線検出器、２０ 監視カメラ、３０ 表示器、３５ 操作用品群、４０ プロセスコントローラ、５０ 操作用品群、５１，５２ 操作用品、６０ データベース管理部、６１ 記憶部、６２ 演算部、７０ オペレータ行動分析部、８０ 同期再生部、９０ 操作位置取得カメラ、１００ オペレータ監視装置、１６０ データベース管理部、１７０ オペレータ行動分析部、２００ オペレータ監視装置

Claims (6)

1. 仮想的な座標を含む操作盤上の第１座標に配置された第１操作用品の操作の有無を表す操作履歴を、オペレータによって操作された時間である第１操作時間に関連付けて取得する操作履歴取得手段と、
   前記オペレータの前記操作盤上の視線の座標を検出し、視線を検出した時間である検出時間に関連付けて前記視線の座標のデータを出力する視線検出器と、
   前記第１座標、前記第１操作時間、ならびに前記視線の座標および前記検出時間の組を複数含む視線履歴データを管理する管理手段と、
   前記視線履歴データが前記第１操作時間に等しい前記検出時間を含むか否かによって前記オペレータの行動の適否に関するデータを生成するオペレータ行動分析手段と、
   を備えたオペレータ監視装置。
2. 前記操作履歴取得手段は、
   前記操作盤上に配置され第２座標が設定された第２操作用品の操作履歴を、前記オペレータによって操作された時間に関連付けて取得し、
   前記管理手段は、
   前記第１操作用品が操作された時間である第２操作時間および前記第２操作用品が操作された時間である第３操作時間を管理し、
   前記オペレータ行動分析手段は、
   前記第２操作時間が前記第１操作時間と前記第３操作時間との間である場合であって前記視線履歴データが前記第１操作時間に等しい前記検出時間を含むときに、
   前記視線履歴データが前記第２操作時間と等しい前記検出時間を含まないときには、前記オペレータの行動が適切であったと判定する旨のデータを生成する請求項１記載のオペレータ監視装置。
3. 前記オペレータ行動分析手段は、前記視線履歴データが前記第３操作時間に等しい前記検出時間を含まないときに、前記オペレータの行動が適切でなかったと判定する旨のデータを生成する請求項２記載のオペレータ監視装置。
4. 前記操作盤上で前記オペレータが操作する画像データである操作位置画像を、前記操作位置画像を取得した時間である取得時間に関連付けて取得する第１撮像手段をさらに備え、
   前記管理手段は、
   前記操作位置画像を画像処理して、前記仮想的な座標に関連付け、前記取得時間とともに、操作位置履歴データとして格納し、
   前記オペレータ行動分析手段は、前記第１座標に関連して前記視線履歴データが前記取得時間に等しい前記検出時間を含み、前記操作位置履歴データが前記取得時間の後に続けて前記第１操作時間を含むときには、前記オペレータの行動は適切であったと判定する旨のデータを生成する請求項１記載のオペレータ監視装置。
5. 前記視線履歴データの前記検出時間が前記第１操作時間を含む場合において、前記第１操作時間よりも前に、前記視線履歴データの前記検出時間が前記取得時間と一致しないときには、前記オペレータの行動が適切でなかったと判定する旨のデータを生成する請求項４記載のオペレータ監視装置。
6. 前記オペレータを撮影し、前記オペレータの画像を取得した時間およびその時間に関連付けられた前記オペレータの画像を取得する第２撮像手段をさらに備え、
   前記管理手段は、
   前記オペレータの画像取得時間および前記画像取得時間に関連付けられたオペレータ画像の組であるオペレータ画像データを管理し、
   前記第１操作履歴データ、前記視線履歴データおよび前記オペレータ画像データを時間によって同期して出力する動画生成手段をさらに備えた請求項１〜５のいずれか１つに記載のオペレータ監視装置。

Images