JP2015130105A - オペレータ監視制御装置およびオペレータ監視制御方法 - Google Patents

Abstract

【課題】電力プラント等の監視制御システムのオペレータの操作状況の監視や評価を支援することのできるオペレータ監視制御装置を提供する。
【解決手段】オペレータ監視制御装置はオペレータからの操作入力を受け付けると、操作履歴としてメモリに保存する（Ｓ１）。また、オペレータ監視制御装置は、センサ７００のセンサ信号を解析してオペレータの顔の向きを検出し、その向きに存在するディスプレイを特定する（Ｓ２）。そして、オペレータ監視制御装置は、注目ディスプレイに出力された画面データ閲覧履歴としてメモリに記憶する（Ｓ３）。
【選択図】図３

Description

この発明はオペレータ監視制御装置およびオペレータ監視制御方法に関し、特に、オペレータの操作状況の評価を支援するオペレータ監視制御装置およびオペレータ監視制御方法に関する。

電力プラント等の監視制御システムでは、運転室において、運転員（オペレータ）が専用の運転操作用コンソールを使用して対象設備の監視や運転操作を実施する。この運転操作用コンソールは、最近のシステムでは、汎用のＰＣ（パーソナルコンピュータ）やエンジニアリングワークステーションで構成される計算機と、当該計算機に接続された複数のディスプレイ装置とを含む。オペレータはマウスやキーボードを用いて運転操作を実施する。

このような監視制御システムではオペレータの技術が要求される。それ故、オペレータの操作状況の監視や評価を支援するために、オペレータの操作履歴が記録されることがある。この操作履歴は、インストラクタが当該オペレータを監視したり指導したりするために用いられるほか、監視制御対象設備に事故などの状態変化が発生した場合や、重要な操作を行なったときにオペレータの振る舞いに関するノウハウ蓄積や、システムの評価にも用いられ得る。

オペレータの操作状況の監視や評価を支援するシステムについては、国際公開第２００９／０９０８８５号（以下、特許文献１）は、オペレータの行動を記録してインストラクタに提示する、インストラクタ支援システムを開示している。また、特開２０００−２２２０２７号公報（以下、特許文献２）は、オペレータの視線を検出することで当該オペレータが表示装置を見ているか否かの推定結果を通知する装置を開示している。また、特開２００８−１８１２９３号公報（以下、特許文献３）は、撮影画像中の顔画像を解析することでオペレータを特定し、操作の許否を判断する監制御システムを開示している。

上記のような支援システムに対しては、単にオペレータの操作履歴を蓄積・閲覧可能とするだけでなく、運転操作時にオペレータが注視している箇所や運転操作用コンソール上でのマウスカーソルのふらつきなどの細かな操作内容の正確な蓄積も求められる。特許文献１は、さらに、上記のような細かな情報を取得する技術として、オペレータの視線に合わせてアイカメラで撮影することでオペレータの視線映像を記録する技術を開示している。

国際公開第２００９／０９０８８５号 特開２０００−２２２０２７号公報 特開２００８−１８１２９３号公報

しかしながら、上記のように細かな操作内容を正確に蓄積しようとすると、オペレータの視線に合わせてアイカメラの方向を制御するための大掛かりな制御回路が必要となるという問題がある。また、オペレータにアイカメラを装着することも考えられるが、オペレータに設備の装着による負担が生じるという問題がある。

また、オペレータが注目しているか否かに関わらず表示画像をすべて蓄積することで確実にオペレータの操作内容を蓄積することは可能となるが、その分、保存領域が大量に必要となるという問題がある。また、蓄積されたデータが多くなればなるほど、その中から特定の表示画像を検索することが難しくなり、有効に活用し切れなくなるという問題もある。

本発明はこのような問題に鑑みてなされたものであって、オペレータの操作状況を効率的に記録することで効果的にオペレータの操作状況の監視や評価を支援することのできるオペレータ監視制御装置およびオペレータ監視制御方法を提供することを目的としている。

上記目的を達成するために、本発明のある局面に従うと、オペレータ監視制御装置は、監視対象物を監視するためのオペレータからの操作入力を受け付けるための操作入力手段と、操作入力の履歴を操作履歴としてメモリに保存するための第１の保存手段と、撮影画像中から顔画像を検出するためのセンサからのセンサ信号の入力を受け付けるための信号入力手段と、センサ信号を解析して、予め規定された範囲にあるオペレータの顔の向きを検出するための検出手段と、複数のディスプレイそれぞれの存在する範囲について、予め規定された範囲からの位置関係で記憶しておくためにメモリに用意された記憶領域であるディスプレイ情報記憶手段と、センサ信号から得られたオペレータの顔の向きに基づいて、複数のディスプレイのうちのオペレータの顔の向きに存在するディスプレイを特定するための特定手段と、オペレータの顔の向きに存在するディスプレイにてオペレータの顔が向いている期間に出力された画面データを、オペレータの顔が向いている期間と関連付けて閲覧履歴としてメモリに記憶するための第２の保存手段と、オペレータについての操作履歴と閲覧履歴とを時間情報に基づいて関連付けて出力するための出力手段とを備える。

好ましくは、検出手段は、予め規定された範囲に複数の顔が検出された場合に、予め設定された条件を用いて複数の顔の中から１つの顔をオペレータの顔として抽出するための抽出手段を含む。

好ましくは、第２の保存手段は、オペレータの顔の向きに存在するディスプレイにて、オペレータの顔が向いている期間の前および／または後の所定期間に出力された画面データも閲覧履歴としてメモリに記憶する。

好ましくは、特定手段は、オペレータの顔の向きが複数のディスプレイのいずれの存在する範囲にも含まれない場合に、複数のディスプレイのうちのオペレータの顔の向きから所定範囲内にある複数のディスプレイをオペレータの顔の向きに存在するディスプレイとして特定する。

好ましくは、第２の保存手段は、監視対象物に特定のイベントが発生したことが検出されたタイミングに関連した期間、閲覧履歴をメモリに記憶する。

好ましくは、第２の保存手段は、検出手段が第１の範囲から検出した第１のオペレータの顔の向きに存在する第１のディスプレイにて第１のオペレータの顔が向いている期間に出力された画面データと、検出手段が第２の範囲から検出した第２のオペレータの顔の向きに存在する第２のディスプレイにて第２のオペレータの顔が向いている期間に出力された画面データとが一致する場合に、画面データを閲覧履歴としてメモリに記憶する。

好ましくは、操作入力手段は、第１のディスプレイにて第１のオペレータの顔が向いている期間に出力された画面データと、第２のディスプレイにて第２のオペレータの顔が向いている期間に出力された画面データとが一致しない場合には操作入力を受け付けない。

本発明の他の局面に従うと、オペレータ監視制御方法は、監視対象物を監視するためのオペレータからの操作入力を受け付けると、操作入力の履歴を操作履歴としてメモリに保存するステップと、撮影画像中から顔画像を検出するためのセンサから受け付けたセンサ信号を解析して、予め規定された範囲にあるオペレータの顔の向きを検出するステップと、複数のディスプレイそれぞれの存在する範囲を予め規定された範囲からの位置関係で規定したディスプレイ情報を参照して、センサ信号から得られたオペレータの顔の向きに基づいて、複数のディスプレイのうちのオペレータの顔の向きに存在するディスプレイを特定するステップと、オペレータの顔の向きに存在するディスプレイにてオペレータの顔が向いている期間に出力された画面データを、オペレータの顔が向いている期間と関連付けて閲覧履歴としてメモリに記憶するステップと、所定のタイミングで、オペレータについての操作履歴と閲覧履歴とを時間情報に基づいて関連付けて出力するステップとを備える。

この発明によると、オペレータの操作状況を効率的に記録することができる。これにより、本発明にかかるオペレータ監視制御装置およびオペレータ監視制御方法は、効果的にオペレータの操作状況の監視や評価を支援することができる。

第１の実施の形態にかかるオペレータ監視制御装置（以下、監視装置と略する）を用いた監視システムの具体例を示す図である。 監視装置の装置構成の具体例を示すブロック図である。 第１の実施の形態にかかる監視装置の動作概要を説明するための図である。 ディスプレイ情報の具体例を示す図である。 図３のステップＳ２での特定結果の一例を表わした図である。 各ディスプレイ装置での表示履歴の具体例を表わした図である。 オペレータの顔が向いているタイミングごとに特定された、注目ディスプレイ装置にて出力された画面の具体例を表わした図である。 監視装置からの操作内容の履歴の出力例を表わした図である。 第１の実施の形態にかかる監視装置の機能構成の具体例を示すブロック図である。 第１の実施の形態にかかる監視装置での動作の流れの具体例を表わしたフローチャートである。 第２の実施の形態にかかる監視システムの具体例を示す図である。 第２の実施の形態にかかる監視装置の動作概要を説明するための図である。 第２の実施の形態にかかる監視装置の機能構成の具体例を示すブロック図である。 第２の実施の形態にかかる監視装置での、閲覧履歴を保存する動作の流れの具体例を表わしたフローチャートである。 第２の実施の形態にかかる監視装置での、操作入力に応じた動作の流れの具体例を表わしたフローチャートである。

以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。

［第１の実施の形態］
＜装置構成＞
図１は、第１の実施の形態にかかるオペレータ監視制御装置（以下、監視装置と略する）１００を用いた監視システムの具体例を示す図である。当該監視システムは、運転操作用コンソールとも呼ばれる。

図１を参照して、監視システムは、複数のディスプレイ装置３００Ａ〜３００Ｄ（これらを代表させてディスプレイ装置３００と称する）と、各ディスプレイ装置３００に電力プラントなどの監視対象施設の監視用の動画画面を表示する処理を行なうための表示装置２００と、キーボード５００Ａやマウス５００Ｂなどである入力装置５００と、センサ７００と、これら装置と電気的に接続された監視装置１００とを含む。さらに、監視装置１００は、外部メモリや他の装置と通信するための外部ネットワークにも接続され、外部メモリや他の装置との間で情報のやり取りが可能である。

運転操作用コンソールは、図示しない、電力プラント等の監視対象設備の情報を収集する機能を有するサーバから監視情報を受信したり、該サーバに対して監視対象設備に関する指令を送信したりする。運転操作用コンソールは図示したように複数のディスプレイ装置３００Ａ〜３００Ｄを含み、該サーバから受信した監視情報に基づいた動画画面をそれぞれのディスプレイ装置３００Ａ〜３００Ｄに表示させる。

センサ７００はたとえばカメラが該当し、予め規定した範囲の画像をセンシングしてその結果をセンサ信号として監視装置１００に入力する。監視装置１００は、センサ７００からのセンサ信号である撮影画像を解析することで人を検出し、さらに、人の顔の向きを特定することができる。なお、センサ７００として、たとえばマイクロソフト社の「Ｋｉｎｅｃｔ（登録商標）」を用いることでセンサ７００側で人体認識を行なわせ、監視装置１００はセンサ７００からセンサ信号としてオペレータの顔の向きを示す情報の入力を受け付けてもよい。

図１に示された運転操作用コンソールの構成は一例であって、監視装置１００は表示装置２００に組み込まれていてもよい。また、入力装置５００は表示装置２００に接続されて、監視装置１００は入力装置５００からの入力信号を表示装置２００を経由して受け取ってもよい。

図２は、監視装置１００の装置構成の具体例を示すブロック図である。監視装置１００は、一般的なＰＣ（パーソナルコンピュータ）で構成されてよい。そのため、図２は、一般的なＰＣの装置構成を表わしている。すなわち、図２を参照して、監視装置１００は、装置全体を制御するためのＣＰＵ（Central Processing Unit）１０と、ＣＰＵ１０で実行されるプログラムを記憶するためのメモリであるＲＯＭ（Read Only Memory）１１と、ＰＣＵ１０でプログラムを実行する際の計算値を記憶したり作業領域となったりするメモリであるＲＡＭ（Random Access Memory）１２と、各種情報を記憶するための大型の記憶装置の一例としてのＨＤＤ（Hard Disk Drive）１３と、表示装置２００と接続するためのインタフェース（Ｉ／Ｆ）である表示装置Ｉ／Ｆ１４と、入力装置５００と接続するためのＩ／Ｆである入力装置Ｉ／Ｆ１５と、センサ７００と接続するためのＩ／ＦであるセンサＩ／Ｆ１６と、外部メモリや外部ネットワークとの間の情報のやり取りを制御するためのネットワークコントローラ１７とを含む。

＜動作概要＞
図３は、第１の実施の形態にかかる監視装置１００の動作概要を説明するための図である。第１の実施の形態にかかる監視装置１００は、運転操作用コンソールの前に着席して運転業務を行なっている運転員（オペレータ）の操作状況の監視や評価を支援する。

詳しくは、図３を参照して、監視装置１００は入力装置５００にてオペレータからの操作入力を受け付けると、操作入力の履歴を操作履歴としてメモリに保存する（ステップＳ１）。

センサ７００は、たとえば運転操作用コンソールの前に着席したときの範囲などである、予め規定された範囲にて運転業務を行なっているオペレータの顔を検出し、センサ信号として監視装置１００に入力する。監視装置１００は、センサ７００からのセンサ信号を解析してオペレータの顔の向きを検出する。このようにセンサ７００を用いることで、特殊な装置を用いたり、オペレータに装着の負担を強いる装置を用いたりすることなく、容易にオペレータの顔の向きを検出することができる。

監視装置１００は、予め、複数のディスプレイ装置３００Ａ〜３００Ｄそれぞれの存在する範囲を上記予め規定された範囲からの位置関係で規定したディスプレイ情報をメモリに保存している。上記予め規定された範囲は、たとえば複数のディスプレイ装置３００Ａ〜３００Ｄ中央の位置など、これら複数のディスプレイ装置３００Ａ〜３００Ｄを一度に視認しやすいオペレータのいるべき範囲を指し、ディスプレイ装置３００の配置に応じて設定される。

図４は、ディスプレイ情報の具体例を示す図である。図４を参照して、一例として、ディスプレイ情報は、ディスプレイ装置３００の位置を上記予め規定された範囲から各ディスプレイ装置３００に向かう角度で規定する。本例の場合、監視制御システムにおいてディスプレイ装置３００Ａ〜３００Ｄの４つのディスプレイ装置が用いられるため、それぞれ、１０°〜４０°、５０°〜８０°、１００°〜１３０°、１４０°〜１７０°と位置が規定されている。なお、ディスプレイ情報は入力装置５００を用いた操作入力によって設定、変更が可能であってよい。または、特定のユーザによる設定、変更のみが可能であってもよい。

監視装置１００は、図４のようなディスプレイ情報を参照して、検出されたオペレータの顔の向きに基づいて複数のディスプレイ装置３００Ａ〜３００Ｄのうちのオペレータの顔の向きに存在するディスプレイ装置３００（以下、注目ディスプレイ装置とも称する）を特定する（ステップＳ２）。図５は、ステップＳ２での特定結果の一例を表わした図である。図５を参照して、監視装置１００は、たとえば所定間隔などの所定のタイミングでリアルタイムにオペレータの顔の向きを検出して注目ディスプレイ装置を特定する。

一方で、監視装置１００は、各ディスプレイ装置３００での表示履歴を得る。図６は、各ディスプレイ装置３００での表示履歴の具体例を表わした図である。表示装置２００は、各ディスプレイ装置３００に対応した図示しないビデオメモリを有し、画面データを連続的にビデオメモリに書き込む。そして、表示装置２００は、ビデオメモリに書き込んだ内容を対応するディスプレイ装置３００に表示させる。各ディスプレイ装置３００は表示装置２００の制御によって、動画形式で画面表示を行なう。

表示装置２００は、各ビデオメモリへの書き込み内容を図６に示されたように表示履歴として記憶している。そこで、一例として、監視装置１００は表示装置２００に要求することで、表示装置２００に記憶されている図６のような表示履歴を得ることができる。また、上記のように、監視装置１００が表示装置２００に組み込まれている場合には、自身のメモリから図６のような表示履歴を読み出す。

監視装置１００は、図５のオペレータの顔の向きの特定結果と図６の表示履歴とを参照して、注目ディスプレイ装置にてオペレータの顔が向いている期間に出力された動画画面を特定することができる。図７は、オペレータの顔が向いているタイミングごとに特定された、注目ディスプレイ装置にて出力された画面の具体例を表わした図である。各画面は、次の画面に移り変わるまでの期間、オペレータが注目（閲覧）していた画面であると考えられる。そこで、監視装置１００は、図７のように特定された、動画形式の画面の画面データを、オペレータの顔が向いている期間と関連付けて閲覧履歴としてメモリに保存する（ステップＳ３）。すなわち、監視装置１００は、複数のディスプレイ装置３００Ａ〜３００Ｄそれぞれで出力している動画画面のうち、オペレータが注目しているディスプレイ装置にて出力している動画画面をメモリに保存し、そうでないディスプレイ装置にて出力している動画画面は保存しない。これにより、全画面データを保存する場合と比較してメモリの保存領域を大幅に削減することができる。

監視装置１００は、たとえば入力装置５００から特定の指示入力がなされた場合などの所定のタイミングで、上記オペレータについての操作内容の履歴として、操作履歴と閲覧履歴とを時間情報に基づいて関連付けて出力する（ステップＳ４）。ここでの操作内容の履歴の出力は、監視装置１００が、たとえば指定されたメディアなどの外部メモリに操作履歴と閲覧履歴とを関連付けて書き込むことであってもよいし、指定された外部装置に対して操作履歴と閲覧履歴とを関連付けて送信することであってもよいし、ディスプレイ装置３００または図示しないディスプレイ装置に操作履歴と閲覧履歴とを関連付けて表示することであってもよい。

さらに、監視装置１００は、上記の図示しないサーバから監視対象設備に関する情報の入力を受け付けて、その内容および該当時刻もメモリに保存してもよい。監視装置１００は、このような監視対象設備に関する情報と操作履歴および閲覧履歴を関連付けて出力してもよい。このようにすることで、特定のイベントの内容や発生タイミングを検索キーとして操作履歴および閲覧履歴を検索することが可能となる。

図８は、監視装置１００からの操作内容の履歴の出力例を表わした図であって、図７の閲覧履歴と操作履歴とを関連付けて出力した例を表わしている。図８を参照して、オペレータの閲覧履歴として「Ｚ１時Ｚ１分」から「Ｚ２時Ｚ２分」まではＡ画面の動画が出力されると共に、操作履歴としてその間に操作１がなされたことが出力される。同様に、オペレータの閲覧履歴として「Ｚ２時Ｚ２分」から「Ｚ３時Ｚ３分」まではＥ画面の動画が出力されると共に、操作履歴としてその間に操作２および操作３がなされたことが出力される。また、オペレータの閲覧履歴として「Ｚ３時Ｚ３分」以降はＦ画面の動画が出力されると共に、操作履歴としてその間に操作４がなされたことが出力される。

＜機能構成＞
図９は、上記動作を行なうための監視装置１００の機能構成の具体例を示すブロック図である。図９の各機能は、監視装置１００のＣＰＵ１０がＲＯＭ１１に記憶されている監視動作用のプログラムをＲＡＭ１２上に読み出して実行することで、主にＣＰＵ１０によって実現される。しかしながら、少なくとも一部機能が図２に表わされた他の構成、または電気回路などの図示されていないハードウェア構成によって実現されてもよい。

図９を参照して、メモリの一例としてのＨＤＤ１３は、対象のオペレータについての操作履歴を記憶するための記憶領域である操作履歴記憶部１３１と、図４のようなディスプレイ情報を記憶するための記憶領域であるディスプレイ情報記憶部１３２と、図７のような対象のオペレータについての閲覧履歴を記憶するための記憶領域である閲覧履歴記憶部１３３とを含む。さらに、ＨＤＤ１３は、監視対象設備に関する情報を記憶するための記憶領域を含んでもよい。

さらに図９を参照して、ＣＰＵ１０は、入力装置Ｉ／Ｆ１５を介して監視対象物を監視するためのオペレータからの入力装置５００を用いた操作入力を受け付けるための操作入力部１０１と、操作入力の履歴を操作履歴として操作履歴記憶部１３１に保存するための第１保存部１０２と、撮影画像中から顔画像を検出するためのセンサ７００からのセンサ信号の入力を受け付けるための信号入力部１０３と、センサ信号を解析するための解析部１０５を含んだ、オペレータの顔の向きを検出するための検出部１０４と、複数のディスプレイ装置３００Ａ〜３００Ｄのうちのオペレータの顔の向きに存在するディスプレイ装置である注目ディスプレイ装置を特定して図５のような特定結果を得るための特定部１０７と、図６のような表示履歴を参照して図７のように特定される、注目ディスプレイ装置にてオペレータの顔が向いている期間に出力された画面データを、たとえばネットワークコントローラ１７を介して表示装置２００に要求するなどして取得するための画面情報取得部１０８と、上記の画面データをオペレータの顔が向いている期間と関連付けて閲覧履歴として閲覧履歴記憶部１３３に記憶するための第２保存部１０９と、指定されたオペレータの操作内容の履歴として、操作履歴と閲覧履歴とを時間情報に基づいて関連付けて出力するための出力部１１０とを含む。

検出部１０４は、センサ信号の一例である撮影画像のうちの監視対象のオペレータを検出するための領域として予め規定された範囲を記憶しておく。当該範囲は、センサ７００の設置状況やディスプレイ装置３００Ａ〜３００Ｄの設置状況やオペレータなどに応じて入力装置５００を用いた操作入力によって設定、変更が可能であってよい。または、特定のユーザによる設定、変更のみが可能であってもよい。検出部１０４は、撮影画像のうちの上記の規定された範囲にあるオペレータの顔の向きを検出する。

なお、上記の規定された範囲にあるオペレータの顔の情報（顔の有無や向き等）は、センサ７００側で解析されてその結果が監視装置１００に入力されてもよい。その場合、検出部１０４は、センサ信号を解析することで撮影画像のうちの上記の規定された範囲にあるオペレータの顔の向きを特定する。

なお、好ましくは、検出部１０４は、上記の予め規定された範囲に複数の顔が検出された場合に、予め設定された条件を用いて複数の顔の中から１つの顔を監視対象のオペレータの顔として抽出するための抽出部１０６を含む。予め設定された条件とは、たとえば上記の予め規定された範囲のうちのより中央に近い位置にある顔であることや、所定のサイズ以上の顔であることなどが該当する。これにより、たとえば監視対象のオペレータ近傍に第三者が存在した場合であっても、対象のオペレータの閲覧履歴を記憶することができる。

第２保存部１０９は、少なくともオペレータの顔が向いている期間に注目ディスプレイ装置にて出力された動画形式の画面データを閲覧履歴としてメモリに保存する。好ましくは、第２保存部１０９は、オペレータの顔が向いている期間の前および／または後の所定期間に出力された画面データも閲覧履歴としてメモリに保存する。すなわち、第２保存部１０９は、図８の例の場合、たとえば、Ａ画面を表示しているディスプレイ装置にオペレータの顔の向きが切り替わった「Ｚ１時Ｚ１分」よりも所定期間、以前から、Ａ画面の動画を閲覧履歴としてメモリに保存する。または、第２保存部１０９は、図８の例の場合、たとえば、「Ｚ１時Ｚ１分」よりも所定期間、以降まで、「Ｚ１時Ｚ１分」よりも以前の注目ディスプレイ装置にて表示されていた動画画面の画面データを閲覧履歴としてメモリに保存する。これにより、オペレータの顔の向きが切り替わった時点の前および／または後の所定期間、向きの切り替え前後の両画面とも並行して記憶されることになる。そのため、監視装置１００の出力を用いて当該オペレータの閲覧履歴を後に確認した際に、どのようなイベントが発生してオペレータの顔の向きが切り替わったのか、つまり、当該オペレータがどのようなイベントに対応して注目する動画画面を切り替えたのかが把握しやすくなる。

特定部１０７は、図４の各ディスプレイ装置の範囲とセンサ信号から得られたオペレータの顔の向きとを比較し、オペレータの顔の向きが含まれる範囲に関連付けられたディスプレイ装置を注目ディスプレイ装置と特定する。このとき、図４に示されたように、いずれのディスプレイ装置にも関連付けられていない範囲が存在する場合、当該範囲にオペレータの顔の向きが含まれると注目ディスプレイ装置が特定されなくなる。これは、複数のディスプレイ装置３００Ａ〜３００Ｄが図１のように少し離して設置されている場合などが該当する。

この場合、特定部１０７は注目ディスプレイ装置を特定しなくてもよい。これにより、当該期間の閲覧履歴が記憶されなくなる。しかしながら、好ましくは、特定部１０７はこの場合に、複数のディスプレイ装置３００Ａ〜３００Ｄのうちのオペレータの顔の向きから所定範囲内にある複数のディスプレイ装置を注目ディスプレイ装置として特定する。一例として、特定部１０７はオペレータの顔の向きに隣接する２つのディスプレイ装置を注目ディスプレイ装置として特定する。あるいは、最も近い１つのディスプレイ装置が注目ディスプレイ装置として特定されてもよい。これにより、監視装置１００は、オペレータの顔の向きがディスプレイ装置３００に対して曖昧な場合であっても、当該オペレータの閲覧している可能性のある動画画面を閲覧履歴として記憶することができる。

第２保存部１０９は、好ましくは、所定のタイミングで閲覧履歴のメモリへの保存を開始し、所定期間の後、終了する。一例として、第２保存部１０９は、入力装置５００を用いたユーザの指示に応じて閲覧履歴のメモリへの保存を開始し、ユーザの指示に応じて終了してもよい。

より好ましくは、ＣＰＵ１０は、さらに、ネットワークコントローラ１７を介して上記のサーバから当該監視対象設備の状態を表わす情報である監視情報の入力を受け付けるための監視情報入力部１１１を含む。そして、好ましくは第２保存部１０９は、監視対象物に特定のイベントが発生したことが検出されたタイミングに関連した期間、閲覧履歴をメモリに保存する。たとえば、第２保存部１０９は、監視対象設備に特定のイベントが発生したことが検出されたタイミングで閲覧履歴のメモリへの保存を開始し、当該イベントが終了したことが検出されたタイミングで終了する。または、第２保存部１０９は、イベントの発生中の期間の前後を含めて閲覧履歴を記憶してもよい。または、第２保存部１０９は、イベントの発生から予め規定された期間、閲覧履歴を記憶してもよい。このようにすることで、監視装置１００は、特定のイベントの発生をトリガとして規定期間、オペレータの閲覧履歴をメモリに保存することができる。そのため、監視装置１００の出力を用いて当該オペレータの閲覧履歴を後に確認した際に、特定のイベントに対して当該オペレータがどのような動画画面に注目してどのような操作を行なったかが把握しやすくなる。

＜動作フロー＞
図１０は、第１の実施の形態にかかる監視装置１００での動作の流れの具体例を表わしたフローチャートである。図１０のフローチャートに表わされた動作は、監視装置１００のＣＰＵ１０がＲＯＭ１１に記憶されている監視動作用のプログラムをＲＡＭ１２上に読み出して実行し、図９の各機能を発揮することによって実現される。なお、図１０の動作は、監視装置１００の電源がＯＮされたことによって開始されてもよいし、入力装置５００からのユーザ指示に従って開始されてもよいし、上記のように、ＣＰＵ１０が特定のイベントの発生を検出したことによって開始されてもよい。

図１０を参照して、ＣＰＵ１０は、センサ７００からのセンサ信号を解析して、予め規定された範囲にあるオペレータの顔の向きを検出する（ステップＳ１０１）。ＣＰＵ１０は、ステップＳ１０１の動作を、たとえば所定の時間間隔など予め規定されたタイミングに実行する。

好ましくは、ＣＰＵ１０は、上記の規定された範囲に顔が複数検出された場合に（ステップＳ１０３でＹＥＳ）、たとえば上記の予め規定された範囲のうちのより中央に近い位置にある顔、などの予め設定された条件を用いて、複数の顔の中から１つの顔を監視対象のオペレータの顔として抽出する（ステップＳ１０５）。

ＣＰＵ１０は、検出されたオペレータの顔の向きを検出する（ステップＳ１０７）。好ましくは、ＣＰＵ１０は、オペレータの顔の向きが直近に検出された向きから変化している場合に（ステップＳ１０９でＹＥＳ）以降の注目ディスプレイ装置を特定する動作（ステップＳ１１１〜Ｓ１１５）を行ない、そうでない場合には（ステップＳ１０９でＮＯ）、以降の注目ディスプレイ装置を特定する動作（ステップＳ１１１〜Ｓ１１５）をスキップする。これにより、動作を簡略化することができる。

ＣＰＵ１０は、ディスプレイ情報を参照して、上記ステップＳ１０７で検出されたオペレータの顔の向きに基づいて複数のディスプレイ装置３００Ａ〜３００Ｄのうちの注目ディスプレイ装置を特定する（ステップＳ１１１）。上記ステップＳ１１１において注目ディスプレイ装置が特定されなかった場合、つまり、オペレータの顔の向きが複数のディスプレイ装置３００Ａ〜３００Ｄいずれの範囲にも属していなかった場合には（ステップＳ１１３でＮＯ）、ＣＰＵ１０は、複数のディスプレイ装置３００Ａ〜３００Ｄのうちのオペレータの顔の向きから所定範囲内にある複数のディスプレイ装置、たとえば、オペレータの顔の向きに隣接する２つのディスプレイ装置を注目ディスプレイ装置として特定する（ステップＳ１１５）。

ＣＰＵ１０は、注目ディスプレイ装置として特定されたディスプレイ装置３００においてオペレータが顔を向けている期間に出力された動画画面の画面データを当該オペレータの閲覧履歴としてメモリに保存する（ステップＳ１１７）。

ＣＰＵ１０は、図１０の動作と並行して、入力装置５００でのオペレータによる操作履歴をメモリに保存している。ＣＰＵ１０は、たとえば入力装置５００から所定の指示を受け付けたタイミングや所定のイベントの発生したタイミングなど、当該オペレータについての操作内容の履歴の出力を指示されたタイミングとなると（ステップＳ１１９でＹＥＳ）、指定されたオペレータの操作履歴と閲覧履歴とを時間情報に基づいて関連付けて出力する（ステップＳ１２１）。そして、ＣＰＵ１０は、最初のステップに戻って以上の動作を繰り返す。なお、予め動作期間が規定されている場合、ＣＰＵ１０は、一連の動作の開始から上記規定期間が経過すると動作を終了する。

＜第１の実施の形態の効果＞
第１の実施の形態にかかる監視装置１００が以上の動作を行なうことで、運転操作用コンソールの運転操作を行なっているオペレータの操作内容として、入力装置５００の操作履歴と共に、各ディスプレイ装置３００Ａ〜３００Ｄで出力された動画画面のうちのオペレータの注目したディスプレイ装置で出力された動画画面が閲覧履歴としてメモリに保存される。したがって、メモリの圧迫を抑えつつ効率的に、かつ確実に、オペレータの閲覧履歴を記憶することができる。そのため、図８に表わされたようにオペレータの操作履歴と閲覧履歴とを時間情報に基づいて関連付けて出力することで、当該オペレータの操作状況を正確に再現することができる。すなわち、当該オペレータが注目した動画画面を後から動画で確認し、かつ、動画画面に注目しながら行なった操作を並行して確認することができる。これによって、当該監視装置１００は、オペレータの操作状況の監視や評価を効果的に支援することができる。

また、上記のように、予めオペレータの存在する範囲（たとえば座席付近）と規定された範囲から複数の顔が検出された場合であっても、監視装置１００は予め設定された条件を用いて１つの顔を抽出することから、正確にオペレータの閲覧履歴をメモリに保存することができる。

また、監視装置１００が上記のようにオペレータの顔の向きが変化したタイミングより所定期間以前および／または以降の動画画面も閲覧履歴としてメモリに保存することで、特に、当該オペレータがどのようなイベントに対応して注目する動画画面を切り替えたのか、また、オペレータが視線を外した後にどのような動画画面が表示されたのか（すなわち、まだ視認しておくべきではなかったか否か）という点でのオペレータの操作状況の監視や評価を効果的に支援することができる。

また、上記のように、オペレータの顔の向きがディスプレイ装置３００Ａ〜３００Ｄのいずれの範囲にも属さない曖昧な向きであった場合にも、監視装置１００は当該向きから所定範囲にある複数のディスプレイ装置を注目ディスプレイ装置と特定することで、当該オペレータが見ている可能性のある動画画面を欠落させることなく閲覧履歴として記憶することができる。

また、監視装置１００が上記のようにオペレータの監視対象物にて特定のイベントが発生したことが検出されたタイミング（またはその所定期間以前）から履歴の記憶を開始し、規定期間で動作を終了するなど、該イベントが発生したことが検出されたタイミングに関連した期間、上記動作を行なうことで、特に、特定のイベントに対して当該オペレータがどのような動画画面に注目してどのような操作を行なったかという点でのオペレータの操作状況の監視や評価を効果的に支援することができる。

［第２の実施の形態］
＜装置構成＞
図１１は、第２の実施の形態にかかる監視システムの具体例を示す図である。第２の実施の形態では、２つの運転操作用コンソールを用いる。すなわち、第２の実施の形態にかかる監視システムは、オペレータが操作するための第１の運転操作用コンソールに加えて、その上長が該オペレータの監視操作状況を確認し指示を出すための第２の運転操作用コンソールを含む。両運転操作用コンソールは外部ネットワークを介して通信可能であって、情報をやり取りすることができる。

＜動作概要＞
図１２は、第２の実施の形態にかかる監視装置１００の動作概要を説明するための図である。第２の実施の形態にかかる監視装置１００は、第１の運転操作用コンソールの前に着席して運転業務を行なっている運転員に該当する第１のオペレータＯＰ１の操作状況を、運転操作用コンソールの前に着席した上長に該当する第２のオペレータＯＰ２が監視し、第１のオペレータＯＰ１による操作入力（または特定の操作入力）を制御する。そのため、第１の運転操作用コンソールでは第２の運転操作用コンソールによる制御をリアルタイムに取得する。また、第２の運転操作用コンソールでは、第１の運転操作用コンソールに含まれる各ディスプレイ装置３００Ａ〜３００Ｄに表示される動画画面の情報をリアルタイムに取得して、第２の運転操作用コンソールに含まれる各ディスプレイ装置３００’Ａ〜３００’Ｄで出力する。好ましくは、第２の運転操作用コンソールでは、第１の運転操作用コンソールにおけるディスプレイ装置３００Ａ〜３００Ｄの位置関係に応じて、すなわち、それぞれ同じ位置のディスプレイ装置３００’Ａ〜３００’Ｄに動画画面を出力する。これにより、第２の運転操作用コンソールにおいてリアルタイムに第１の運転操作用コンソールでの動画画面の出力状態が再現される。

図１２を参照して、第１の運転操作用コンソールに含まれる監視装置１００は、センサ７００からのセンサ信号を解析して運転員に該当する第１のオペレータＯＰ１の顔の向きを検出する（ステップＳ１１）。第２の運転操作用コンソールに含まれる監視装置１００’もまた、第２の運転操作用コンソールに含まれるセンサ７００’からのセンサ信号を解析して上長に該当する第２のオペレータＯＰ２の顔の向きを検出する（ステップＳ１３）。両監視装置１００，１００’で検出された第１のオペレータＯＰ１の顔の向きと第２のオペレータＯＰ２の顔の向きとは比較される（ステップＳ１５）。その結果、両オペレータＯＰ１，ＯＰ２の注目ディスプレイ装置が同じ動画画面を出力するディスプレイ装置であった場合、監視装置１００は、第１のオペレータＯＰ１の注目ディスプレイ装置で出力している動画画面の画面データを第１のオペレータＯＰ１の閲覧履歴としてメモリに保存する（ステップＳ１７）。

好ましくは監視装置１００は、両オペレータＯＰ１，ＯＰ２の注目ディスプレイ装置が同じ動画画面を出力するディスプレイ装置であった場合、第１のオペレータＯＰ１による入力装置５００になされた操作入力を受け付け（ステップＳ１９）、操作履歴をメモリに保存する（ステップＳ２１）。

これにより、運転員である第１のオペレータＯＰ１によって上長である第２のオペレータＯＰ２の監督の下で行なわれる操作に限定して操作履歴と閲覧履歴とがメモリに保存される。また、運転員である第１のオペレータＯＰ１と第２のオペレータＯＰ２との注目する動画画面が一致した場合に限定して運転員である第１のオペレータＯＰ１による操作が許可される。

＜機能構成＞
図１３は、第２の実施の形態にかかる監視装置１００の機能構成の具体例を示すブロック図である。図１３の各機能もまた、監視装置１００のＣＰＵ１０がＲＯＭ１１に記憶されているプログラムをＲＡＭ１２上に読み出して実行することで、主にＣＰＵ１０によって実現される。

図１３を参照して、第２の実施の形態にかかる監視装置１００のＣＰＵ１０は、図９に示された第１の実施の形態にかかる監視装置１００の構成に加えて、さらに、ネットワークコントローラ１７を介して第２の運転操作用コンソールから特定された注目ディスプレイ装置（またはそのディスプレイ装置で出力されている動画画面）を表わす情報の入力を受け付けるための検出結果入力部１１２と、第１の運転操作用コンソールで特定された注目ディスプレイ装置と第２の運転操作用コンソールで特定された注目ディスプレイ装置とを比較するための比較部１１３とをさらに含む。

第１の運転操作用コンソールでの閲覧履歴を保存するための第２保存部１０９は、比較部１１３での比較結果に基づいて、すなわち、第１の運転操作用コンソールで特定された注目ディスプレイ装置と第２の運転操作用コンソールで特定された注目ディスプレイ装置とが一致（あるいは両画面が一致）した場合には第１の運転操作用コンソールでの閲覧履歴をメモリに保存し、そうでない場合には閲覧履歴をメモリに保存しない。

好ましくは、第１のオペレータＯＰ１からの入力装置５００を用いた操作入力を受け付けるための操作入力部１０１は、比較部１１３での比較結果に基づいて、すなわち、第１の運転操作用コンソールで特定された注目ディスプレイ装置と第２の運転操作用コンソールで特定された注目ディスプレイ装置とが一致（あるいは両画面が一致）した場合には操作入力を受け付け、そうでない場合には受け付けない。

＜動作フロー＞
図１４は、第２の実施の形態にかかる監視装置１００での、閲覧履歴を保存する動作の流れの具体例を表わしたフローチャートである。図１４のフローチャートに表わされた動作は、監視装置１００のＣＰＵ１０がＲＯＭ１１に記憶されている監視動作用のプログラムをＲＡＭ１２上に読み出して実行し、図１３の各機能を発揮することによって実現される。なお、図１４は、図１０の動作フローのステップＳ１１１以降、ステップＳ１１７までに行なわれる動作を表わしており、第２の実施の形態にかかる監視装置１００でのこの他の動作は第１の実施の形態にかかる監視装置１００での動作と同じであることを表わしている。

詳しくは、図１４を参照して、第２の実施の形態にかかる監視装置１００のＣＰＵ１０は、第１のオペレータＯＰ１の注目ディスプレイ装置を特定（ステップＳ１１１）した後に、第２の運転操作用コンソールから第２のオペレータＯＰ２の注目ディスプレイ装置を表わす情報を取得する（ステップＳ２０１でＹＥＳ）。第２の運転操作用コンソールからの情報は、ＣＰＵ１０が第２の運転操作用コンソールに対して要求することによって得られてもよいし、一定間隔など、第２の運転操作用コンソール側から所定のタイミングで送信されるものを受信することで得られてもよい。後者の場合、第２の運転操作用コンソールから上記の情報が得られていないときには（ステップＳ２０１でＮＯ）、ＣＰＵ１０は第２の運転操作用コンソールから送信されるまで待機してもよいし、第２の運転操作用コンソールに対して要求してもよい。

ＣＰＵ１０は、第１の運転操作用コンソールと第２の運転操作用コンソールとの注目ディスプレイ装置（または出力されている動画画面）を比較する（ステップＳ２０３）。その結果、これら注目ディスプレイ装置（または出力されている動画画面）が一致した場合には（ステップＳ２０５でＹＥＳ）、ＣＰＵ１０は、第１の実施の形態にかかる監視装置１００と同様に注目ディスプレイ装置として特定されたディスプレイ装置３００において第１のオペレータＯＰ１が顔を向けている期間に出力された動画画面の画面データを当該オペレータの閲覧履歴としてメモリに保存する（ステップＳ１１７）。つまり、第１のオペレータＯＰ１が、第２のオペレータＯＰ２と同時に同じ動画画面を見た場合に、ＣＰＵ１０はその動画画面を閲覧履歴とする。

一方、両注目ディスプレイ装置（または出力されている動画画面）が一致しなかった場合には（ステップＳ２０５でＮＯ）、ＣＰＵ１０は、上記動作をスキップする。すなわち、閲覧履歴の保存を行なわない。

以降、ＣＰＵ１０は、図１０で説明された第１の実施の形態にかかる監視装置１００と同じ動作を行なう。

好ましくは、第２の実施の形態にかかる監視装置１００では、第２の運転操作用コンソールで特定された注目ディスプレイ装置に応じて、さらに、第１のオペレータＯＰ１による操作入力も制御される。図１５は、第２の実施の形態にかかる監視装置１００での、操作入力に応じた動作の流れの具体例を表わしたフローチャートである。図１５のフローチャートに表わされた動作は、監視装置１００のＣＰＵ１０がＲＯＭ１１に記憶されている監視動作用のプログラムをＲＡＭ１２上に読み出して実行し、図１３の各機能を発揮することによって実現される。

図１５を参照して、第２の実施の形態にかかる監視装置１００のＣＰＵ１０は、第１のオペレータＯＰ１によって入力装置５００を用いた操作がなされたことを検出すると（ステップＳ３０３でＹＥＳ）、図１０で説明された第１の実施の形態にかかる監視装置１００での動作と同様にして、第１のオペレータＯＰ１の注目ディスプレイ装置を特定する（ステップＳ３１５）。

その後、ＣＰＵ１０は、第２の運転操作用コンソールから第２のオペレータＯＰ２の注目ディスプレイ装置を表わす情報を取得する（ステップＳ３１７でＹＥＳ）。ここでの取得方法は、上記ステップＳ２０１で説明されたものと同様である。

ＣＰＵ１０は、第１の運転操作用コンソールと第２の運転操作用コンソールとの注目ディスプレイ装置（または出力されている動画画面）を比較する（ステップＳ３１９）。その結果、これら注目ディスプレイ装置（または出力されている動画画面）が一致した場合には（ステップＳ３２１でＹＥＳ）、ＣＰＵ１０は、第１のオペレータＯＰ１によって入力装置５００を用いた操作の入力を受け付ける（ステップＳ３２３）。つまり、ＣＰＵ１０は、第１のオペレータＯＰ１が、第２のオペレータＯＰ２と同時に同じ動画画面を見ているときの操作のみを有効とする。操作入力を受け付けると、ＣＰＵ１０は、図示されない上記のサーバに対して操作入力で指示された監視対象設備に関する指令を送信するなど、第１のオペレータＯＰ１の操作に従う処理を行なう。さらに、ＣＰＵ１０は、操作履歴をメモリに保存する（ステップＳ３２５）。

なお、ＣＰＵ１０は、さらに、第２の運転操作用コンソールでの第２のオペレータＯＰ２による操作入力の内容も第２の運転操作用コンソールから取得して、第１のオペレータＯＰ１による操作と一致した場合にのみ、第１のオペレータＯＰ１による操作入力を受け付けるようにしてもよい。つまり、ＣＰＵ１０は、第１のオペレータＯＰ１が、第２のオペレータＯＰ２と同時に同じ動画画面を見、かつ、同じ操作をした場合のみ、その操作を有効としてもよい。

一方、両注目ディスプレイ装置（または出力されている動画画面）が一致しなかった場合には（ステップＳ３２１でＮＯ）、ＣＰＵ１０は上記ステップＳ３２３，Ｓ３２５をスキップする。すなわち、ＣＰＵ１０は、第１のオペレータＯＰ１による操作を受け付けず、そのため、操作履歴をメモリに保存することもない。なお、操作を受け付けないことには、ＣＰＵ１０が操作信号の入力に対して指示された動作を行なわないことも、操作信号の入力を拒否することも含まれる。

＜第２の実施の形態の効果＞
第２の実施の形態にかかる監視装置１００が以上の動作を行なうことで、第１の運転操作用コンソールの運転操作を行なっている第１のオペレータＯＰ１が第２の運転操作用コンソールの第２のオペレータＯＰ２と同じ動画画面を見ている場合に、その動画画面が閲覧履歴としてメモリに保存される。運転員である第１のオペレータＯＰ１とその上長である第２のオペレータＯＰ２とが同時に注目している動画画面は、設備の監視において重要な画面であると考えられる。そのため、第１の実施の形態にかかる監視装置１００よりもメモリの圧迫を抑えつつ効率的に、特に重要な動画画面を閲覧履歴として記憶することができる。

さらに、第２の実施の形態にかかる監視装置１００が、第１のオペレータＯＰ１が第２のオペレータＯＰ２と同じ動画画面を見ている場合に操作を許可するようにしたことで、第１のオペレータＯＰ１による操作ミスを効果的に防止することができる。

［その他の例］
さらに、上述の動作をＣＰＵ１０に実行させるプログラムを提供することもできる。上記のように、監視装置１００は一般的な汎用ＰＣにて構成されていてよい。そのため、運転操作用コンソールに含まれるＰＣに上記プログラムを提供することによって該ＰＣを本実施の形態にかかる監視装置１００として動作させることができる。これにより、既存の運転操作用コンソールを利用して本実施の形態にかかる運転操作用コンソールを容易に構築することができる。

このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）、ＲＯＭ、ＲＡＭおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。

なお、本発明にかかるプログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。

また、本発明にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明にかかるプログラムに含まれ得る。

提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０ ＣＰＵ、１１ ＲＯＭ、１２ ＲＡＭ、１３ ＨＤＤ、１４ 表示装置Ｉ／Ｆ、１５ 入力装置Ｉ／Ｆ、１６ センサＩ／Ｆ、１７ ネットワークコントローラＩ／Ｆ、１００ 監視装置、１０１ 操作入力部、１０２ 第１保存部、１０３ 信号入力部、１０４ 検出部、１０５ 解析部、１０６ 抽出部、１０７ 特定部、１０８ 画面情報取得部、１０９ 第２保存部、１１０ 出力部、１１１ 監視情報入力部、１１２ 検出結果入力部、１１３ 比較部、１３１ 操作履歴記憶部、１３２ ディスプレイ情報記憶部、１３３ 閲覧履歴記憶部、２００ 表示装置、３００，３００Ａ〜３００Ｄ ディスプレイ装置、５００ 入力装置、５００Ａ キーボード、５００Ｂ マウス、７００ センサ。

Claims (8)

1. 監視対象物を監視するためのオペレータからの操作入力を受け付けるための操作入力手段と、
   前記操作入力の履歴を操作履歴としてメモリに保存するための第１の保存手段と、
   撮影画像中から顔画像を検出するためのセンサからのセンサ信号の入力を受け付けるための信号入力手段と、
   前記センサ信号を解析して、予め規定された範囲にあるオペレータの顔の向きを検出するための検出手段と、
   複数のディスプレイそれぞれの存在する範囲について、前記予め規定された範囲からの位置関係で記憶しておくために前記メモリに用意された記憶領域であるディスプレイ情報記憶手段と、
   前記センサ信号から得られた前記オペレータの顔の向きに基づいて、前記複数のディスプレイのうちの前記オペレータの顔の向きに存在するディスプレイを特定するための特定手段と、
   前記オペレータの顔の向きに存在するディスプレイにて前記オペレータの顔が向いている期間に出力された画面データを、前記オペレータの顔が向いている期間と関連付けて閲覧履歴として前記メモリに記憶するための第２の保存手段と、
   前記オペレータについての前記操作履歴と前記閲覧履歴とを時間情報に基づいて関連付けて出力するための出力手段とを備える、オペレータ監視制御装置。
2. 前記検出手段は、前記予め規定された範囲に複数の顔が検出された場合に、予め設定された条件を用いて前記複数の顔の中から１つの顔を前記オペレータの顔として抽出するための抽出手段を含む、請求項１に記載のオペレータ監視制御装置。
3. 前記第２の保存手段は、前記オペレータの顔の向きに存在するディスプレイにて、前記オペレータの顔が向いている期間の前および／または後の所定期間に出力された画面データも前記閲覧履歴として前記メモリに記憶する、請求項１または２に記載のオペレータ監視制御装置。
4. 前記特定手段は、前記オペレータの顔の向きが前記複数のディスプレイのいずれの存在する範囲にも含まれない場合に、前記複数のディスプレイのうちの前記オペレータの顔の向きから所定範囲内にある複数のディスプレイを前記オペレータの顔の向きに存在するディスプレイとして特定する、請求項１〜３のいずれかに記載のオペレータ監視制御装置。
5. 前記第２の保存手段は、前記監視対象物に特定のイベントが発生したことが検出されたタイミングに関連した期間、前記閲覧履歴を前記メモリに記憶する、請求項１〜４のいずれかに記載のオペレータ監視制御装置。
6. 前記第２の保存手段は、前記検出手段が第１の範囲から検出した第１のオペレータの顔の向きに存在する第１のディスプレイにて前記第１のオペレータの顔が向いている期間に出力された画面データと、前記検出手段が第２の範囲から検出した第２のオペレータの顔の向きに存在する第２のディスプレイにて前記第２のオペレータの顔が向いている期間に出力された画面データとが一致する場合に、前記画面データを閲覧履歴として前記メモリに記憶する、請求項１〜５のいずれかに記載のオペレータ監視制御装置。
7. 前記操作入力手段は、前記第１のディスプレイにて前記第１のオペレータの顔が向いている期間に出力された画面データと、前記第２のディスプレイにて前記第２のオペレータの顔が向いている期間に出力された画面データとが一致しない場合には操作入力を受け付けない、請求項６に記載のオペレータ監視制御装置。
8. 監視対象物を監視するためのオペレータからの操作入力を受け付けると、前記操作入力の履歴を操作履歴としてメモリに保存するステップと、
   撮影画像中から顔画像を検出するためのセンサから受け付けたセンサ信号を解析して、予め規定された範囲にあるオペレータの顔の向きを検出するステップと、
   複数のディスプレイそれぞれの存在する範囲を前記予め規定された範囲からの位置関係で規定したディスプレイ情報を参照して、前記センサ信号から得られた前記オペレータの顔の向きに基づいて、前記複数のディスプレイのうちの前記オペレータの顔の向きに存在するディスプレイを特定するステップと、
   前記オペレータの顔の向きに存在するディスプレイにて前記オペレータの顔が向いている期間に出力された画面データを、前記オペレータの顔が向いている期間と関連付けて閲覧履歴として前記メモリに記憶するステップと、
   所定のタイミングで、前記オペレータについての前記操作履歴と前記閲覧履歴とを時間情報に基づいて関連付けて出力するステップとを備える、オペレータ監視制御方法。

Images