JP2010140164A - 作業モニタリング方法、作業モニタリング装置、及びサーバ - Google Patents

Abstract

【課題】
入力装置の操作が行われていない時の作業状況もモニタリングする、および、操作が行われている時でも実質的に作業が停滞している状況を検出し記録する。
【解決手段】
入力装置102の操作の他に、ディスプレイ104の画面の状況、カメラ106で撮影した作業者の映像を作業端末105で解析してモニタリングに用いる。これら複数のモニタリング特徴を解析することで、作業者101の作業の停滞の状況を定量的に、かつ、高精度に検出、推定する。作業の停滞を検出すると、記録装置110にディスプレイ画面および作業者の映像の保存、及び記録・解析サーバ109への転送を行う。また、作業者101の映像から離着席を検出して、作業者101への問い合わせや情報の入力を促す。
【選択図】図１Ａ

Description

本発明は、オフィス、教室、および各種作業環境における作業状況をモニタリングする技術に関する。

近年、オフィスや各種作業環境における業務効率の改善や、コンプライアンスの観点から、作業状況のモニタリングを行うことへのニーズが高まっている。また、そのための手段としてパーソナルコンピュータ（ＰＣ）等の作業端末上の作業をモニタリングする業務管理システムも登場している。例えば、特許文献１では、キーボードやポインティングデバイスの打鍵間隔を統計情報として取得することで、在席状態や作業の忙しさ等を遠隔の者が知る方法が述べられている。

また、キーボードやポインティングデバイスだけでなく、その他の情報を用いてモニタリングするための方法も提案されている。例えば、特許文献２では、キー入力及びポインティングデバイス入力データだけでなく、ディスプレイ出力信号を収集することで、トラブル時などの解析を容易化している。また、特許文献３では、会議中などにおける、ドキュメントの変更履歴と作業者の操作状況についての映像情報を用いて、作業状態を再現する方式が述べられている。

特開２００５−３３２３４４号公報 特開平１０−１７１８４４公報 特開２００５−２３４６４１公報

上述したコンピュータ等の端末の操作ログ記録に基づくモニタリング方式においては、キーボードやポインティングデバイスの操作が行われていない場合の行動パターンを知ることは困難であった。キーボードやポインティングデバイスの操作が行われていない場合でも、紙媒体の精読や記入、あるいは討論を行っている等、効率よく業務を進めている場合が多々ある。そのため、キーボードやポインティングデバイスの操作がないからといって、全ての場合において業務効率が低くなっていると判断することはできない。また逆に、キーボードまたはポインティングデバイスの操作が行われていても、必ずしも作業効率が高いとは言えない。例えば、作業になんらかの行き詰まりがあって、ポインティングデバイスを無意味に移動させている場合などは作業停滞とみなした方が適切である。このことから、作業効率を知るために、キーボードやポインティングデバイスの操作の休止のみを手がかりにしていたのでは正しい判断とは言えない。

また一方で、映像情報によって作業モニタリングを行う従来技術では、なるべく多くの時間に映像を見て業務内容を確認する必要があり、モニタリング作業に多くの時間が必要となる。

また、映像を用いる方法は、人物が撮像視野に入っていて、また、明確な動作を行っている場合のみ有効な方法であるため、撮像視野から離れてしまったり、動作の内容が判断しづらかったりする場合にはモニタリング困難であった。

本発明の目的は、入力装置の操作の休止のみを検出する場合の問題点を解決できる作業モニタリング方法、及びその装置、記録・解析サーバを提供することにある。

上記の目的を解決するため、本発明では、キーボードやポインティングデバイスなど入力装置の休止状態だけでなく、様々な操作上の特徴を解析することで、作業停滞状況を検出、推定することを特徴とする。

また、本発明では、作業停滞状況を検出、推定するため、入力装置の操作履歴だけでなく、表示装置の画面や、作業者を撮影した映像パターンを解析し、入力操作の休止、及び入力操作は休止していないが、実質的な作業進展がない場合の特徴を抽出することを特徴とする。

さらに、本発明では、各種モニタリング特徴から作業停滞状況の程度を検出、推定する際の設定内容を管理者またはユーザが設定できることを特徴とする。

またより好適には、作業停滞状況の程度に応じて、ディスプレイ画面やユーザの映像記録の手順を制御することを特徴とする。

またさらに、作業停滞状況の検知時における映像記録を解析し、認識を行うことで、モニタリング情報に追加することを特徴とする。

さらにまた、作業者を撮影した映像パターンの解析から、離着席の識別を行い、着席時に作業停滞があった場合にはーザに問い合わせを行い、離席時には、同じく映像パターンの解析によって復帰を待って離席の間の行動の問い合わせを行うことを特徴とする。

本発明によれば、操作モニタリング特徴の解析によって、停滞の程度を検出、推定することによって、キーボードやポインティングデバイスの操作の有無による単純な判断よりも正確に作業の停滞状況に基づく業務モニタリングを行うことができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図１Ａは、第１の実施例における、システム構成を示した図である。作業者101は、キー入力デバイス102、およびポインティングデバイス103の両入力装置、および、ディスプレイ104を用いて作業端末105にて作業を行う。ここで、作業者101のキー操作、および、ポインティングデバイスの操作は、作業端末105に装備したソフトウェアプログラムによって、逐一取得、および記録が可能とする。そのための実装方法は、例えば、特開２００７−３０４７５８号公報に示された方法を用いる。また、記録の際の記録フォーマットについては図５にて後述する。

また、作業端末105には、カメラ106が接続されており、作業者101の映像が取得可能となっている。また、作業端末105には、一時記録バッファである記録装置107が設置されており、後述する手順で、キーやポインティングデバイスの操作ログや、ディスプレイ上の映像やカメラによるユーザの映像が記録される。

また、作業端末105は、ネットワーク108を通して、記録・解析サーバ109に接続されている。記録・解析サーバ109は、作業端末105で収集して、記録装置107に記録されていた操作ログや、ディスプレイ104上の映像やカメラ106を通したユーザの映像を収集し、状況の解析を行い、必要なデータを記録装置110に蓄積する。また、必要があれば管理者111に情報やアラームを発信する。

図１Ｂは、本実施例における、作業端末105のハードウェア構成の一例を示す図である。データバス1001によって各モジュールがデータをやりとりする標準的な計算機アーキテクチャである。モジュールは、外部カメラ106のインタフェース（ＩＦ）1002、ディスプレイ104に表示するための映像表示部1003、キー入力デバイス102、およびポインティングデバイス103、それぞれのインタフェース（ＩＦ）1004、1005、中央処理部（Central Processing Unit：ＣＰＵ）などの処理部である演算装置1006、記憶部であるメモリ1007、および、動作中はメモリ1007に格納されたモニタリングプログラム1008、記憶部である記録装置107へのインタフェース（ＩＦ）1009、ネットワーク108接続のための通信部1010からなる。なお、後述する設定テーブル1011および、操作ログ等の記録データ1012は記憶装置107に格納される。ここで、設定テーブル1011は、例えば、後述する記録・解析サーバにて作成され、そのコピーがネットワークを経由して送られて来るか、または、ユーザが作業端末自体で作成するなどの方法で格納される。一方、記録データ1012は、作業端末自体が後述する方法で操作ログ等を記録したものである。

図１Ｃは、本実施例における、記録・解析サーバ109のハードウェア構成であり、周辺装置も含めて図示している。モジュールは、ディスプレイ2100に表示するための映像表示部2101、キー入力デバイス2102、およびポインティングデバイス2103、それぞれのインタフェース（ＩＦ）2104、2105、中央処理部（Central Processing Unit：ＣＰＵ）などの処理部である演算装置2106、記憶部であるメモリ2107、および、動作中はメモリ2107に格納された記憶・解析プログラム2114、記憶部である記録装置2110へのインタフェース（ＩＦ）2109、ネットワーク108接続のための通信部2120からなる。記憶装置2110に格納される記録データ（集積）2113は、一つ以上の作業端末から送信される記録データ１０１２をネットワークを経由して受信したデータを含む。

図２は、本実施例における、作業端末105における処理手順を示した図である。図２の手順は、図１Ｂにおける、モニタリングプログラム1008にて実行される。本手順では、まずキー操作、ポインティングデバイス操作、ディスプレイ画面、作業者の映像を、それぞれ一定時刻遡った分だけ常に一時記録バッファ107にバッファリングして更新する（201）。それらを用いて、処理部である演算装置1006は後述する手順によって、作業者の停滞状況のモニタリングを行う(202)。その結果、少なくとも軽度の作業停滞があると判断された場合（203）、ディスプレイ画面の画像および付加情報を記録し、また、サーバ109に転送する（204）。ここで、付加情報としては、開いていたファイル名の情報（一般に複数）や最後に操作したファイル名の情報などであり、キー操作の記録と同様に、上述の特開２００７−３０４７５８号公報に記載の方法により、作業端末105の基本ソフトウェアの情報から自動取得する。さらに、軽度ではない停滞があると判断された場合（205）、バッファしていた作業者の映像を記録し、また、サーバに転送する（206）。以上の処理を終了指示があるまで（207）繰返す。

図３は、本実施例における、図２の作業端末105での処理手順中、停滞状況のモニタリングルーチン（202）の一例を示すフロー図である。図３の手順は、図２の手順の一部であり、図１Ｂにおける、モニタリングプログラム1008にて実行される。本実施例では、キー入力デバイス102のキー操作とポインティングデバイス103の入力から判断する。まず、キー操作の短時間停止が生じているか見て（301）、生じていないのであれば「無停滞」と判断される（302）。一方、短時間停止が生じていた場合、ポインティングデバイス103の動作特徴が停滞時特有のものであるかどうか判定する（303）。ここで、停滞時特有の動作特徴として、実質的な作業進展が見られない場合、すなわち、(1)ポインティング指示（ボタンの押下等）を行わず、指示位置の往復運動のみを指定時間以上繰返している場合、(2)画面の上下または左右のスクロールを指定時間以上繰り返している、等を検出する。このような場合は、作業者が作業を進められない何らかの問題に直面している可能性が高い。このような停滞時特有の動作が得られた場合、本実施例では「軽度停滞」と判定される（304）。一方、特有の停滞特徴がなかった場合、キー操作（305）およびポインティングデバイス（306）の双方が長時間の停止である場合「停滞」と判断される（307）。一方、長時間で見ると、少なくともどちらかの操作がある場合には、再び「軽度停滞」と判断される。

ここで、「短時間」「長時間」の設定であるが、業務内容や環境等を考慮してあらかじめ本システムが決めて持っておくパラメータである。たとえば、短時間を２分、長時間を１０分などと設定する。

図４は、本実施例における記録・解析サーバ109での処理手順を示したフロー図である。図４の手順は、図１Ｃにおける、記録・解析プログラム2114を演算装置2１０６が実行した場合の手順である。作業端末105からのディスプレイ画面やバッファ映像を含むデータを監視し（401）、受信したら（402）、データの解析を行う（403）。ここで、データの解析とは、作業の内容を指定の形式に変換してデータベースに格納する作業と、停滞を繰返している場合などに、管理者へのアラームが必要かどうかを判断する作業を指す。アラームが必要と判断されれば（404）、管理者にアラームが出される（405）。ここで、運用の設定によっては、ネットワークを経由して当該作業端末105にアラームを出すように設定してもよい。また、一定時間が経過したら（406）、作業を表示したモニタの表示を更新する（407）。モニタの表示の実施例は後述する。以上の処理を終了の指示があるまで繰返す(408)。

図５は、本実施例における、記録データの構成の一例を示した図である。データは、時刻501、キー操作等から判定した、何のソフトウェアを動作していたか等を記録する操作イベント502、前述した作業の停滞状況および、それを記録した映像を示す、停滞状況503、ディスプレイの状態504、作業者の映像から認識することができた映像状態505、作業者が入力したコメントなどの作業者メモ506から構成される。例えば、図５の10:20:03の時刻には、長い作業停滞（軽度でない作業停滞）があり、その参照映像は３３番であり、ディスプレイは停滞、映像の状態から作業者は在席していることが記録されている。また、10:45:50には同じく長い作業停滞（軽度でない作業停滞）が認識され、ディスプレイは稼動、映像イベントとして作業者が着席したこと、また、作業者によって「打ち合わせ」と入力されている。

なお、本実施例では、当記録データは、最終的にはサーバ側に保存されることを想定しているが、端末側で記録データを参照したり、データを利用してなんらかの動作をさせたりする必要がある場合には、データを収集した当の作業端末105に記録を残しても、そのつど記録・解析サーバ109から参照するようにしてもよい。以後、端末側、サーバ側どちらからでも当記録データが参照可能であるとして説明を行う。あるいは、ポリシー次第では管理者が記録・解析サーバ109でのみ閲覧可能である設定とすることも可能である。

図６は、本実施例における、サーバ側で管理者がモニタリングする場合の画面構成の一例を示す。帯状のグラフ601は各時間帯における、操作の程度を示すグラフであり、この帯グラフ601中斜線で示された３つの時間帯602, 603, 604がそれぞれ作業停滞であったことを示す。下の３つの領域605、606、607は、それぞれの停滞時間における映像とコメント等を表示するエリアである。映像を見る事で、作業者がそれぞれの停滞時間帯に何をしていたか等を知ることができる。逆に作業が停滞していない時間帯の映像は表示されないため、管理者は短時間で作業の概要を知ることが可能となる。

以上、本実施例では表示は管理者側が見るものとしてきたが、本実施例では、前述したように作業端末105側での閲覧も可能であるとしている為、作業者が一日の作業終了時点などに自分の記録を見て、作業内容の確認に用いるなどの用途も可能である。

本実施例では、停滞状況を細かく設定可能とした実施形態の説明を行う。実施例１では、キー操作の短時間の停止を停止判定の必要条件としていたが、本実施例では、そのような条件に限らず、様々な条件による停滞状態の判定が可能である。

作業端末105の処理手順の全体は、実施例１と同じく図２で示される。この手順は、図１Ｂにおける、演算装置１００６がモニタリングプログラム1008を実行する場合の処理手順である。本実施例では、停滞状況のモニタリングのルーチン（202）の内部が異なっており、図７Ａがそれを示すフロー図である。図７Ａの手順は、図２の手順の一部であり、図１Ｂにおける、モニタリングプログラム1008にて実行される。ここで、実施例１でも述べたように、入力キー操作、ポインティングデバイス操作、ディスプレイ画面、作業者の映像を、それぞれ一定時刻分遡った分のデータを用いて停滞の判断を行う。一定時刻としては例えば１５分などと設定しておく。必要に応じて、キー操作と画像や映像で別々の時間だけ保存するようにしてもよい。

まず、一定時刻中のキー入力デバイス102のキー操作の停滞状況を算出する（701）。ここで、キー操作の停滞状況とは、基本的にはキー操作を休止している時間を用いるが、特定のキーを異常に長く押し続けるか、消去と入力を繰返すことで積算の入力量自体がない場合なども、実質的な作業進展が見られないので、キー操作の停滞に含める。手順詳細は、図７Ｂにて後述する。

次に、ポインティングデバイス103の停滞状況を算出する（702）。ポインティングデバイス103の場合も、キー操作の場合と同じく、基本的には操作を休止している時間を用いるが、その他に、正味の入力パターンとは判断しづらい往復運動を繰返した場合なども、実質的な作業進展が見られないので作業停滞に含める。このような、ポインティングデバイス103の往復運動の検出は、作業者が実作業に手を付けられないで、ポインティングデバイス103を単にいじっている状態を想定している。手順の詳細は、図７Ｃにて後述する。

次に、ディスプレイ104の画面の停滞状況を算出する（703）。ディスプレイ画面においても、基本的には画面の更新がない場合、実質的な作業進展が見られないので作業停滞とする。また、上述のキー入力デバイス102やポインティングデバイス103の場合と同様に、入力の蓄積がなく、本質的な変化がない場合等も停滞に含める。手順の詳細は、図７Ｄにて後述する。

次に、作業者映像による停滞状況を算出する（704）。作業者映像による停滞状況は、前述のカメラによって取り込まれた映像を認識処理して判断する。例えば、作業者が下を向いて作業をしていないと判断される場合、睡眠していると判断される場合、カメラの前に不在である場合なども実質的な作業進展が見られないので、作業停滞と判断される。認識処理は、顔検出、顔方向判定、視線検出、変化検出、などの映像からのパターン認識処理を用いて行う。手順の詳細は、図７Ｅにて後述する。

以上の作業停滞状況を用いて、停滞の判定を行う。まず軽度停滞条件を満たすかどうか（705）、ついで、軽度ではない停滞条件を満たすかどうか（706）を判定し、結果として、実施例と同様に、無停滞（707）、軽度停滞（708）、停滞(709)を判定する。ここで、軽度停滞条件および停滞条件は、後述するように、上記複数の停滞状況を用いた条件群により判断するものである。条件設定の内容と記述方法は後述する。

図７Ｂに前述したキー操作の停滞状況を算出する（701）手順を示す。図７Ｂの手順は、図７Ａの手順の一部であり、さらに、前述したように、図７Ａの手順は図２の手順の一部であるため、図７Ｂの手順は図１Ｂにおける、モニタリングプログラム1008にて実行される。

手順では、まず、最新のキー入力デバイス102のキー操作休止時間の測定を行う（7001）。この時間は、最も新しくキー操作があってから現在までの時間間隔で定義される。

次に、最新の停滞パターンの継続時間の測定を行う（7002）。ここで、停滞パターンとは、特定のキーの異常な連続打鍵や、実質の入力の積算がないとみなされるキー打鍵のことである。前者の例として、同じ文字入力のキーが例えば数十回以上打鍵されたかどうかで判定を行う。これは、ユーザの意図とは別に、障害物や手の重みがキーボードにかかって、作業進行には関係のないキー入力が行われた場合に相当する。後者の例として、数回の文字入力キー操作の後に同数の後退キーの入力などがある。このようなパターン検出の為、キーストロークがそれぞれ、(1)単一の文字入力、または、(2)後退、消去、または、（3）コントロールキーなどの入力に関連しない操作に分け、文字換算での累積入力文字数を算出し、この値が時間経過しても増加しない場合に停滞パターンとする。なお、算出の途中の休止期間はスキップして算出する。

これら両者の指標をキー操作の停滞状況として出力とする。たとえば「5分休止、7分停滞」等の出力となる。

図７Ｃにポインティングデバイス103の停滞状況を算出する（702）手順を示す。図７Ｃの手順は、図７Ａの手順の一部であり、さらに、前述したように、図７Ａの手順は図２の手順の一部であるため、図７Ｃの手順は図１Ｂにおける、モニタリングプログラム1008にて実行される。

手順では、まず、最新のポインティングデバイス休止時間の測定を行う（7101）。この時間は最も新しくポインティングデバイス操作があってから現在までの時間間隔で定義される。

次に、キー操作の場合と同様に、最新の停滞パターンの継続時間の測定を行う（7102）。ポインティングデバイス103の場合は、上述したように、正味の入力パターンとは判断しづらい往復運動などを検出する。具体的には、実施例１で述べたのと同様に、(1)ポインティング指示（ボタンの押下等）を行わず、指示位置の往復運動のみを指定時間以上繰返している場合、(2)画面の上下または左右のスクロールを指定時間以上繰り返している等のパターンである。検出方法は、(1)については、ポインティングデバイスのディスプレイ上の軌跡を構成した時に、クリック等の操作をせずに、往復移動だけを繰返す場合に停滞パターンとみなす。ここで往復運動とは、ディスプレイ上の軌跡が、クリック操作がないまま、以前通過した位置の近傍に何回も戻ってくることを指す。その際、どこまでを近傍とみなすか、また、何回以上戻れば停滞とみなすかについてのパラメータは実験的に決定する。例えば、画面横幅の１０分の一を近傍とみなし、そこに５回以上戻った場合、などと設定する。また、(2)の画面をスクロールする場合も同様に、クリック等の操作をせずに、往復的に上下のスクロール運動を繰返す場合に停滞パターンとみなす。

これら両者の指標をポインティングデバイス操作の停滞状況として出力とする。たとえば「３分休止、３分停滞」等の出力となる。

図７Ｄにディスプレイ104の画面の停滞状況を算出する手順を示す。図７Ｄの手順は、図７Ａの手順の一部であり、さらに、前述したように、図７Ａの手順は図２の手順の一部であるため、図７Ｄの手順は図１Ｂにおける、モニタリングプログラム1008にて実行される。以後の処理において、ディスプレイ画面の変化を検出する場合、一定時間間隔でディスプレイ画面を記録しておき、対象の画面とそれより過去の画面のパターンの差分画像をとる処理を行う。

手順では、まず、最新のディスプレイ無変化時間をチェックする（7201）。この時間は最も新しいディスプレイ画面の変化があってから現在までの時間間隔で定義される。

次に、キー操作やポインティングデバイスの場合と同様に、最新の停滞パターンの継続時間の測定を行う（7202）。具体的には、停滞状況の場合と同じく、ディスプレイ画面の時間差分画像による変化箇所が特定の場所のみに生じている場合などは、停滞パターンと判断する。その際、どこまでを特定の場所とみなすかについてのパラメータは実験的に決定する。

以上で用いられるディスプレイ画面の差分処理は、画像処理で広く一般的に行われる処理であり、ディスプレイ画面を画像として記録しておいて各画素毎に値の差をとる処理である。その結果得られた画像の値の総和を見ることにより、変化の大きさを測定したり、変化が大きい場所が特定の場所だけであるか否かが判定可能となる。さらに詳細な手順は、例えば、CG-ARTS協会編「ディジタル画像処理」（CG-ARTS協会、２００６年）の動画像処理の章に説明されている。

図７Ｅに作業者映像の停滞状況を算出する手順を示す。図７Ｅの手順は、図７Ａの手順の一部であり、さらに、前述したように、図７Ａの手順は図２の手順の一部であるため、図７Ｅの手順は図１Ｂにおける、モニタリングプログラム1008にて実行される。作業者映像における停滞状況算出の場合、様々が画像認識を組み合わせて人物認識を行うことで算出する。すなわち、顔検出、運動体の検出を用いた移動人物検出などを行う。

手順では、まず、顔画像検出、及び、運動体検出によって、在席しているかどうかを検出する(7301)。ここで運動体検出とは、人物が存在する場合の動作を画像処理で検知する処理である。顔画像の認識と運動体検出の双方を用いる理由は、顔が下向きである場合など、補足できない場合の対策である。

これらの処理手法は、画像処理で一般的に行われる処理を用いることができる。顔画像検出は、例えば、Ｓｔａｎ Ｚ.Ｌｉ ａｎｄ Ａｎｉｌ Ｋ．Ｊａｉｎ ｅｄｓ．“Ｈａｎｄｂｏｏｋ ｏｆ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ，”（Ｓｐｒｉｎｇｅｒ，２００５）を、運動体の検出は、例えば、上述のCG-ARTS協会編「ディジタル画像処理」（CG-ARTS協会、２００６年）の動画像処理の章をそれぞれ参照されたい。

以上の処理の結果、在席していなかった場合には(7302)、遡って離席からの時間を計測する（7303）。すなわち、現在が離席であるとして、一番最近に席を立ったイベントを検出し、そこからの時間を計測する。ここで、席を立つイベントは、画像処理により、画面中で大きな視野を占める領域（人物）が、席を立つ際の特有の移動情報を算出することで検出を行う。具体的には、縦方向の映像の輝度の変化（オプティカルフロー）が画像の中心付近に生じたかを検出する。

一方、在席していた場合には(7302)、作業者の非集中状況を検出する（7304）。ここで、非集中状況とは、顔を過度に下に向けて長時間じっとしている、目を閉じ続けている、視線が画面に向いていない、等の状況である。ここで、顔を下に向けているかどうかは、頭部の丸いパターンがカメラに向いているかどうかで認識する。目を閉じ続けているかどうかは、前述の顔検出の後、瞳部分のパターンを抽出し判断する。視線は黒目の方向を検出する視線検出処理によって視線の方向を検出し、正面エリアを向いていない割合を判定する。

これらで用いる画像処理手法については、画像処理で一般的に行われる処理を用いることができる。頭部などの丸いパターンの抽出には、例えばハフ変換などの手法用いることができる。瞳の検出も、例えば、丸いパターンの検出として同様の手法を用いることができる。また、視線方向の検出は、瞳の検出結果と顔の検出結果から２次的に推定する等の方法を用いる。詳細は、例えば非特許文献１のパターンと図形の抽出の章を参照のこと。

図８Ａは、本実施例における、停滞条件の設定テーブルを示したものである。条件を構成する項目は上述の「キー操作」801、「ポインティングデバイス」802、「ディスプレイ画面」803、「作業者映像」804の４項目である。各行がそれぞれ軽度停滞、もしくは停滞と判断される条件となっている。各行ごとの４項目の条件はＡＮＤで判定される。但、「−」の項目（記入されていない）の状態は問わない。各行の間は、軽度停滞もしくは停滞それぞれに対するＯＲ条件となっている。以上の構成により、４項目から構成される任意の組合せ条件が記述可能である。例えば、一行目は、キー操作が２分なく、ポインティングデバイスは停滞動作をし、作業者映像は非集中の場合、軽度停滞とみなす、等である。

停滞条件の設定に際しては、上記の表を直接編集しても、なんらかのグラフィックユーザインタフェース（ＧＵＩ）によって入力をさせる方式でも、どちらでもよい。図８Ｂは、ＧＵＩを用いて設定を入力する場合の例を示した図である。判定の欄8001には、判定結果を選択するプルダウン8002があり、これから定義されるものがどの判定結果に関するものであるか選択する。図では、例えば「停滞」が選択されている。次に、キー操作8003、ポインティングデバイス8004、ディスプレイ画面8005、作業者映像8006の順に状態をラジオボタンやプルダウンで選択する。なお、図８Ｂの作業者映像の部分では、プルダウン8007で「動作無し」を選択作業している最中の見えを示す。最後に「追加」のボタン8008にて一つの条件を登録する。また、下欄には、すでに登録されている条件が表示されている（8009）。

なお、この停滞条件の設定は、記録・解析サーバ109側で管理者が行って、作業端末105側に設定ファイルを転送し、端末側のプログラムがそれを読み込んで動作させるように設定することも可能である。あるいは、運用の形態によっては、作業者側が作業端末105にて自己の状況をあらかじめ設定しておくことも可能である。

本実施例では、作業停滞時などに問い合わせを行う機能を持った実施形態の説明を行う。

図９は、本実施例における、作業端末の動作を示すフロー図である。図９の手順は、実施例１と同様に、図１Ｂにおける、モニタリングプログラム1008にて実行される。手順では、まず、映像バッファリング開始(201)し、作業の停滞をモニタリングして（202）、映像を転送する（206）ところまでは実施例１、２と同様である。次に、設置されたカメラ映像を用いて、作業者などの人物の認識を試みる（901）。ここで、人物の認識の手法は、実施例２で作業停滞のモニタリングの際で用いた手法と同様に、顔パターンと運動体を検出する手法等を用いる。

人物認識の結果、作業者101が検出された場合、離籍していないと判断し(902)、状況の問い合わせを行う（903）。状況の問い合わせは、後述するように作業端末105のディスプレイ104に表示して入力を促すなどの手段を用いる。

一方、作業者が検出されずに、離席しているとみなされる場合（902）、次に作業者が着席するのを検出する為、カメラ映像の変化を検出する（904）。変化検出の方法も、映像パターンを処理することで行う。基本的な手順は、実施例２で作業停滞のモニタリングの際で用いた手法と同様に、縦方向の映像の輝度の変化（オプティカルフロー）が特定の画像の中心付近に生じたかを検出する。

この変化検出を着席が検知（905）されるまで繰返し動作させ、着席を検知すると、復帰時の問い合わせを行う（906）。復帰時の問い合わせも、後述するように作業端末のディスプレイに表示して入力を促すなどの手段を用いる。

図１０は、作業者が在席しており、かつ作業停滞が見られる場合に問い合わせを行うための画面例である。上段1001にて、最近の作業履歴を表示し、作業者への状況把握を補助する。後段1002にて、停滞をもたらしている問題点などを把握および記録させる。まず、ボタン1003にて選ばせることで問題の分類をさせ、記入ボックス1004にその内容をメモさせる。なお、これらのメモ内容は、実施例１で述べたサーバに保存される作業者メモ欄のコンテンツとして保存される。

図１１は、上述した、離席していた作業者が再び着席したことを検知した際の問い合わせを行うための画面例である。上段1101にて行き先の選択を促し、ボタン1102にて選ばせる。次に、中段1103にて、離席の用件を問い合わせ、ボタン1104にて分類を、記入ボックス1105にてその内容をメモさせる。下段1106には、離席直前の作業履歴を表示し、作業者への状況把握を補助する。

なお、各実施例では、作業の停滞は、様々な指標から判断されるため、その程度や内容に応じて問い合わせの内容を変更することも可能である。たとえば、同じ作業停滞でも１５分以内とそれ以上を分け、１５分以上であれば、体調を気遣う問い合わせを含めたより詳しい報告を要求する、等の変更が可能である。このような工夫により、体調不良などの重大な問題と通常の停滞を判別し、また、さらに詳細な作業記録を残すことが可能である。

以上のように本発明によれば、操作モニタリング特徴の解析によって、作業停滞状況の程度を検出、推定することによって、キーボードやポインティングデバイスの操作の有無による単純な判断よりも正確に作業の停滞状況に基づく業務モニタリングを行うことができる。

また、入力装置だけでなく、表示装置の画面や、作業者を撮影した映像パターンを加えて解析することで、作業停滞状況をさらに精度良く検出、推定することが可能である。

さらに、各種モニタリング特徴から、作業停滞の程度を推定する際の設定内容を管理者またはユーザが設定できることによって、作業の現場に応じて業務停滞の判断をきめ細かく変更することができる。

またさらに、停滞の程度に応じて画面やユーザの映像記録の手順を制御することによって、キーボードやポインティングデバイスの操作によって記録されない時間帯や、変化が生じた時間帯等、重要な部分の映像を残しつつ、映像を連続的に記録する場合に比べて記録容量の削減を行うことができる。

さらにまた、作業停滞状態検知時における映像記録を解析し、認識を行って、モニタリング情報に追加することで、モニタリングの補完を行うことが可能となる。特に離着席動作を検知して記録を行うことで、作業者を映像で捕えられる時間帯とそうでない時間帯を区別することができる。

また、離着席を検知し、着席していて、かつ長時間の作業停滞が起こった際にユーザに問い合わせを行うようにすれば、記録の補助情報が得られることで、より途切れのない行動記録が可能となる。

また一方、離席している場合に復帰を待って離席時の内容の問い合わせを行うことで、カメラに映っていない時間帯でも、途切れのない行動記録が可能となる。

以上詳述した本発明は、オフィスにおける作業のモニタリングのみならず、各種作業環境における作業状況をモニタリングする技術に関するシステム、およびサービスに広く適用可能である。例えば、作業端末のキー操作の記録のかわりにプラント制御装置の操作の記録を行うシステムを構築すれば、プラント制御室での作業状況のモニタリングが可能となる。

実施例１におけるシステム構成を示した図である。 実施例１における、作業端末のハードウェア構成を示す図である。 実施例１における、記録・解析サーバのハードウェア構成を示す図である。 実施例１における作業端末における処理手順を示した図である。 実施例１における図２の作業端末での処理手順中、停滞状況のモニタリングルーチンを示すフロー図である。 実施例１における、サーバでの処理手順を示したフロー図である。 実施例１における、記録データの構成の一例を示した図である。 実施例１における、サーバ側で管理者がモニタリングする場合のＧＵＩの一例を示す図である。 実施例２における、停滞状況のモニタリングのルーチンの内部を示すフロー図である。 実施例２における、キー操作の停滞状況を算出する手順を示すフロー図である。 実施例２における、ポインティングデバイスの停滞状況を算出する手順を示すフロー図である。 実施例２における、ディスプレイ画面の停滞状況を算出する手順を示すフロー図である。 実施例２における、作業者映像の停滞状況を算出する手順を示すフロー図である。 実施例２における、停滞条件の設定テーブルを示した図である。 停滞条件を設定するためのＧＵＩの例を示した図である。 実施例３における、作業端末の動作を示すフロー図である。 実施例３における、作業者が在席しており、かつ作業停滞が見られる場合に問い合わせを行うための画面例を示す図である。 実施例３における、離席していた作業者が再び着席したことを検知した際の問い合わせを行うための画面例を示す図である。

符号の説明

101…作業者
102…キー入力デバイス
103…ポインティングデバイス
104…ディスプレイ
105…作業端末
106…カメラ
107…一時記録バッファ
108…ネットワーク
109…記録・解析サーバ
110…記録装置
111…管理者
601…帯状グラフ
602、603、604…時間帯
605、606、607…表示エリア。

Claims (20)

1. 入力装置と処理部と記録装置を備えた端末における作業者の作業のモニタリングを行う作業モニタリング方法であって、
   前記処理部において、前記作業者の前記入力装置への入力操作の特徴を解析することにより、前記作業者の作業停滞状況を検出する、
   ことを特徴とする作業モニタリング方法。
2. 請求項１に記載の作業モニタリング方法であって、
   前記処理部は、前記作業停滞状況を検出するため、前記入力操作の休止、及び前記入力操作は休止していないが、実質的な作業進展がない場合の特徴を抽出する、
   ことを特徴とする作業モニタリング方法。
3. 請求項２に記載の作業モニタリング方法であって、
   前記入力装置がキーボードからなり、
   前記処理部は、前記実質的な作業進展が見られない場合の特徴として、前記キーボードのキー操作の結果の入力内容の積算量を用いる、
   ことを特徴とする作業モニタリング方法。
4. 請求項２に記載の作業モニタリング方法であって、
   前記入力装置がポインティングデバイスからなり、
   前記処理部は、前記実質的な作業進展が見られない場合の特徴として、前記ポインティングデバイスのポインティング操作を長く含まない移動動作や、又は画面の上下・左右のスクロールを用いる、
   ことを特徴とする作業モニタリング方法。
5. 請求項２に記載の作業モニタリング方法であって、
   前記入力装置がキーボード及びポインティングデバイスからなり、
   前記処理部は、前記実質的な作業進展が見られない場合の特徴として、前記キーボードのキー操作の結果の入力内容の積算量を用いること、及び前記ポインティングデバイスのポインティング操作を長く含まない移動動作、又は画面の上下・左右のスクロールを用いること、の組み合わせを指定可能とする、
   ことを特徴とする作業モニタリング方法。
6. 請求項１に記載の作業モニタリング方法であって、
   前記端末は表示装置および撮像装置を更に備え、
   前記処理部は、前記入力装置の前記入力操作の状況、前記表示装置の表示状況、および前記作業者の映像の内容、またはそれらの組み合わせを解析することによって、前記作業者の前記作業停滞状況を検出する、
   ことを特徴とする作業モニタリング方法。
7. 請求項６に記載の作業モニタリング方法であって、
   前記処理部は、前記表示装置の表示状況を解析し、解析結果に応じて前記表示装置の表示画面の前記記録装置への記録開始および終了を制御する、
   ことを特徴とする作業モニタリング方法。
8. 請求項６に記載の作業モニタリング方法であって、
   前記処理部は、前記撮像装置の出力を用いて前記作業者の映像を解析し、解析結果に応じて、前記作業者の映像の前記記録装置への記録開始および終了を制御する、
   ことを特徴とする作業モニタリング方法。
9. 操作者の作業をモニタリングする作業モニタリング装置であって、
   入力装置、記録装置、表示装置、撮影装置、および処理部を備え、
   前記処理部は、前記入力装置の入力操作の状況、前記表示装置の表示状況、および前記撮影装置による前記作業者の映像の内容、またはそれらの任意の組み合わせを解析することにより、前記作業者の作業停滞状況を検出する、
   ことを特徴とする作業モニタリング装置。
10. 請求項９に記載の作業モニタリング装置であって、
    前記処理部は、前記作業停滞状況を検出するため、前記入力操作の休止、及び前記入力操作は休止していないが、実質的な作業進展がない場合の特徴を抽出する、
    ことを特徴とする作業モニタリング装置。
11. 請求項９に記載の作業モニタリング装置であって、
    前記処理部は、前記表示装置の表示状況を解析し、解析結果に応じて前記表示装置の表示画面の前記記録装置への記録開始および終了を制御する、
    ことを特徴とする作業モニタリング装置。
12. 請求項９に記載の作業モニタリング装置であって、
    前記処理部は、前記撮像装置の出力に基づき前記作業者の映像を解析し、解析結果に応じて、前記作業者の映像の前記記録装置への記録開始および終了を制御する、
    ことを特徴とする作業モニタリング装置。
13. 請求項１０に記載の作業モニタリング装置であって、
    前記処理部は、前記実質的な作業進展が見られない場合の特徴として、前記表示装置の表示画面の内容の変化の無さを算出する、
    ことを特徴とする作業モニタリング装置。
14. 請求項１０に記載の作業モニタリング装置であって、
    前記処理部は、前記実質的な作業進展が見られない場合の特徴として、前記作業者の映像の内容を解析し、前記作業停滞状況に特徴的な動作を検知する、
    ことを特徴とする作業モニタリング装置。
15. 請求項１０に記載の作業モニタリング装置であって、
    前記処理部は、前記実質的な作業進展が見られない場合の特徴を設定するため、グラフィックユーザインタフェース（ＧＵＩ）を前記表示装置に表示する、
    ことを特徴とする作業モニタリング装置。
16. 請求項１０に記載の作業モニタリング装置であって、
    前記処理部は、前記作業停滞状況の程度に応じて、前記表示装置の前記表示画面の内容、あるいは前記作業者の映像を記録・解析サーバに転送する、
    ことを特徴とする作業モニタリング装置。
17. 請求項１０に記載の作業モニタリング装置であって、
    前記処理部は、作業停滞が見られた場合に、前記操作者の状態認識を行い、前記操作者が検出されれば前記表示装置を用いた問い合わせを、未検出であれば変化を監視することで、前記操作者の帰還を検出する、
    ことを特徴とする作業モニタリング装置。
18. 請求項１７に記載の作業モニタリング装置であって、
    前記処理部は、前記操作者の帰還を検出したら、離席時の行動に関する情報呈示や問い合わせを行う、
    ことを特徴とする作業モニタリング装置。
19. 入力装置、表示装置、および撮影装置を備えた作業端末とネットワークを介して接続される記録・解析サーバであって、
    処理部と記録部と前記ネットワークを介して前記作業端末に接続される通信部とを備え、
    前記記録部は、前記通信部から受信した、前記作業端末の前記入力装置の入力操作の状況、前期表示装置の表示状況、および前記撮影装置による作業者の映像の内容、またはそれらの任意の組み合わせを解析することによって検出された前記作業者の作業停滞状況を示す、前記作業者の映像および前記表示装置の表示状況を記録する、
    ことを特徴とする記録・解析サーバ。
20. 請求項１９に記載の記録・解析サーバであって、
    前記処理部は、受信した前記作業者の映像および前記表示装置の表示状況を解析し、管理者へのアラームの要否を判断する、
    ことを特徴とする記録・解析サーバ。

Images