JP2016015053A - 画面変化量に基づいてコンピュータ利用行動を推定する装置、プログラム及び方法 - Google Patents

Abstract

【課題】コンピュータを利用する行動の様々な種別に対しても、当該利用行動の活動量を推定することができる装置を提供する。
【解決手段】利用行動推定装置１は、コンピュータの画面に表示される画面画像を保存する画面画像保存部１０４と、所定の時間区間毎に、当該時間区間内に表示された複数の画面画像における画像の変化分である画面変化量を算出する画面変化量算出手段１２２と、算出された画面変化量に基づいて、ユーザによるコンピュータの利用行動における活動量を推定する活動量推定手段１２３とを有する。また、操作ログのウィンドウタイトルに係る部分に基づいて、ユーザによって実施された利用行動の行動種別を推定する行動種別推定手段１２４を更に有する。操作ログに基づいて操作量を算出する操作量算出手段１２１を更に有し、算出した操作量にも基づいて活動量を推定する。
【選択図】図１

Description

本発明は、ユーザによるコンピュータの利用行動を推定する技術に関する。

従来、様々な事業分野で、コンピュータを利用して業務を行う機会が非常に多くなっている。現在、このような背景の下、作業効率や生産性を向上させる目的で、コンピュータの利用行動を把握し、今後の業務改善につなげるシステムが種々提案されている。

例えば、特許文献１には、コールセンタ業務といったコンピュータを利用する業務において、業務中に操作されたコンピュータが発するメッセージを解析して操作履歴を抽出し、取得した操作ログを用いてビジネスプロセスを推定する技術が開示されている。

また、特許文献２では、コミュニケーション業務を含む複数業務を並行して遂行する場面で、複数業務を状況に応じて切り替えることを目的として、ユーザのデスクワーク中の集中度や、周辺業務に携わる人物の周辺業務の集中度を検出し、その差分及び変化量に基づいて周辺業務への切り替えを提示する技術が開示されている。

さらに、特許文献３には、コンピュータの操作ログに基づいて操作区間を抽出し、抽出した操作区間に対する業務プロセスを特定すると共に無操作区間を特定し、無操作区間の時間をプロセス標準時間の比率をもって前後のプロセスに配分する技術が開示されている。ここで、無操作区間の時間を配分することによって、業務プロセス時間の推定精度の向上を図っている。

また、特許文献４では、各従業員の正確且つ定量的な評価・管理を行う目的で、離席を除いた作業時間とこの作業時間における総キー入力数とに基づいて作業効率を推定する技術が開示されている。この技術では、ユーザの位置情報を検知し、操作不可能な位置へ離席している離席時間をタイマ機能により計測する。次いで、就業時間から離席時間を除いた作業時間における作業効率を、入力したキー入力数を基にして算出している。

特開２００６−２２８０１９号公報 特開２００６−１４６８７１号公報 特開２００８−２２６１７９号公報 特開２０１０−２６８８８号公報

しかしながら、特許文献１〜４といった従来技術では、コンピュータを利用する行動における活動量を作業内容に応じて的確に把握することが、尚、困難である。

例えば、特許文献１に記載された技術は、ビジネスプロセスを抽出するのみであり、ユーザの活動量を推定することができない。また、特許文献２に開示された技術では、操作ログを用いてユーザの操作状況を計測してはいるが、あくまで、ある時点でのユーザ及び周辺業務に携わる人物の状態を把握することが目的であり、ユーザの活動量を作業内容に応じて集計することはできない。

さらに、特許文献３に記載された技術では、操作ログを用いた行動推定が行われており、例えばビデオを閲覧するといった行動の活動量を計測することはできない。それ故に、ビデオを閲覧している際に例えばキーボード操作を合わせて行うような状況でない限り、その時間は、無操作区間と推定されてしまう。この点、特許文献４に開示された技術においても、ユーザが操作可能な位置にいるか否かを考慮して作業時間をより正確に把握しようとはしているものの、ユーザによるキー入力数に基づいて作業量（作業効率）を把握するのみである。従って、作業内容によっては作業量の的確な把握は困難となる。

そこで、本発明は、コンピュータを利用する行動の様々な種別に対しても当該利用行動の活動量を推定することができる装置、プログラム及び方法を提供することを目的とする。

本発明によれば、ユーザによるコンピュータの利用行動を推定する利用行動推定装置であって、
コンピュータの画面に表示される画面画像を保存する画面画像保存部と、
所定の時間区間毎に、当該時間区間内に表示された複数の画面画像における画像の変化分である画面変化量を算出する画面変化量算出手段と、
算出された画面変化量に基づいて、ユーザによるコンピュータの利用行動における活動量を推定する活動量推定手段と
を有する利用行動推定装置が提供される。

この利用行動推定装置の一実施形態として、操作ログのウィンドウタイトルに係る部分に基づいて、ユーザによって実施された利用行動の行動種別を推定する行動種別推定手段を更に有することも好ましい。

また、この行動種別推定手段を有する実施形態では、ユーザによって実施され得る行動種別毎に、当該行動種別の実施に係る操作ログのウィンドウタイトルに係る部分に出現し得るワード又はワードの組合せを対応付けて記録したデータベースを更に有しており、
行動種別推定手段は、操作ログのウィンドウタイトルに係る部分の文字列をワードに分割し、分割結果としてのワード若しくはワードの組合せと一致する又は対応するワード若しくはワードの組合せに対応付けられた行動種別を、ユーザによって実施された利用行動と推定することも好ましい。

さらに、上記のデータベースは、ユーザによって実施され得る行動種別毎に、当該行動種別が実施された際に表示された画面画像を対応付けて記録しており、
行動種別推定手段は、分割結果としてのワード若しくはワードの組合せと一致する又は対応するワード若しくはワードの組合せが存在しない場合、データベースに記録された行動種別毎に、操作ログに係る時点での画面画像と、当該行動種別に対応付けられた画面画像との類似度を算出し、所定閾値以上の類似度を有する画面画像の対応先である行動種別を、ユーザによって実施された利用行動と推定することも好ましい。

また、上記の実施形態において、行動種別推定手段は、所定閾値以上の類似度を有する画面画像が存在しない場合、分割結果としてのワード若しくはワードの組合せを、未定義行動に対応付けられたものと推定することも好ましい。

さらに、本発明の利用行動推定装置の他の実施形態として、ユーザによる操作を記録した操作ログに基づいて、所定の時間区間毎に、当該時間区間内で発生した当該ユーザによる操作の量である操作量を算出する操作量算出手段を更に有し、
活動量推定手段は、算出された操作量及び画面変化量に基づいて、ユーザによるコンピュータの利用行動における活動量を推定することも好ましい。

また、この操作量算出手段を有する実施形態において、活動量推定手段は、所定の時間範囲における操作量と画面変化量とについて、重み付けして総和をとることによって活動量を算出することも好ましい。

さらに、本発明の利用行動推定装置の更なる他の実施形態として、ユーザによる操作を記録した操作ログ及び画面変化量に基づいて、ユーザによるコンピュータの利用行動が発生していない時間区間である非利用区間を推定する非利用区間推定手段を更に有することも好ましい。

また、本発明の利用行動推定装置の更なる他の実施形態として、ユーザによるタスク毎に、当該タスクの行動種別と、当該タスクを完了させるのに必要な活動量に関連する量又は指標とを対応付けて登録するタスク保存部と、
ユーザについて推定された行動種別及び活動量と、登録されたタスクの行動種別及び活動量に関連する量又は指標とを比較し、比較結果を出力する解析結果統合手段と
を更に有することも好ましい。

本発明によれば、さらに、ユーザによるコンピュータの利用行動を推定する利用行動推定装置に搭載されたコンピュータを機能させるプログラムであって、
上記利用行動推定装置は、ユーザによって利用されるコンピュータの画面に表示される画面画像を保存する画面画像保存部を有し、本プログラムは、
所定の時間区間毎に、当該時間区間内に表示された複数の画面画像における画像の変化分である画面変化量を算出する画面変化量算出手段と、
算出された画面変化量に基づいて、ユーザによるコンピュータの利用行動における活動量を推定する活動量推定手段と
してコンピュータを機能させる利用行動推定プログラムが提供される。

本発明によれば、さらにまた、ユーザによるコンピュータの利用行動を推定する方法であって、
ユーザによって利用されるコンピュータの画面に表示される画面画像を保存し、所定の時間区間毎に、当該時間区間内に表示された複数の画面画像における画像の変化分である画面変化量を算出する第１のステップと、
算出した画面変化量に基づいて、ユーザによるコンピュータの利用行動における活動量を推定する第２のステップと
を有する利用行動推定方法が推定される。

本発明の利用行動推定装置、プログラム及び方法によれば、コンピュータを利用する行動の様々な種別に対しても当該利用行動の活動量を推定することができる。

本発明による利用行動推定装置の一実施形態における機能構成を示す機能ブロック図である。 操作ログデータベース（ＤＢ）に保存された操作ログの一実施例を示す模式図である。 非利用区間推定部で推定された非利用区間の一実施例を示すテーブルである。 行動種別推定部における利用行動推定処理の一実施形態を示すフローチャートである。 本発明に係る利用行動推定処理に関わるデータベースの一実施例を示すテーブルである。 本発明に係る利用行動推定処理に関わるデータベースの一実施例を示すテーブルである。 行動解析結果ＤＢが保存する操作量及び画面変化量の一実施例を示すテーブルである。 行動種別推定部における類似行動算出処理の一実施形態を示すフローチャートである。 行動ルール候補ＤＢに保存される行動ルール候補テーブルの一実施例を示すテーブルである。 タスク管理ＤＢに保存されるタスク管理テーブルの一実施例を示すテーブルである。 タスク管理ＤＢに保存されるタスク管理テーブルの他の実施例を示すテーブルである。 解析結果統合部による統合結果表示の一実施例を示すグラフである。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

図１は、本発明による利用行動推定装置の一実施形態における機能構成を示す機能ブロック図である。

本実施形態における利用行動推定装置は、ユーザが利用するパーソナルコンピュータ（ＰＣ）１である。ユーザがＰＣ１を用いて例えば業務を行い、ＰＣ１は、自らを利用するユーザによる行動における「活動量」と、「行動種別」とを推定することができる。この際、活動量及び行動種別は、ユーザによる操作を記録した「操作ログ」及び保存された「画面画像」データに基づいて推定されることを特徴とする。

尚、本発明による利用行動推定装置は、ユーザの利用するＰＣとは別個の装置であってもよい。この場合、本利用行動推定装置は、当該ＰＣから「操作ログ」を入力し、当該ＰＣのディスプレイ出力制御部から「画面画像」データを取得することになる。また、本発明による利用行動推定装置として、ノート型コンピュータ、スマートフォン、タブレット型コンピュータ等、ユーザによって利用可能なコンピュータならば種々のものを採用することも可能である。さらに、本発明による利用行動推定装置は、このようなコンピュータと接続される別装置であってもよい。

ＰＣ（利用行動推定装置）１は、具体的に、
（ａ）「操作ログ」に基づいて、所定の時間区間毎に、当該時間区間内で発生したユーザによる操作の量である「操作量」を算出し、
（ｂ）当該所定の時間区間毎に、当該時間区間内に表示された複数の「画面画像データ」における画像の変化分である「画面変化量」を算出し、
（ｃ）算出された「操作量」及び「画面変化量」に基づいて、ユーザによるＰＣ１の利用行動における「活動量」を推定する。

このように、本発明においては、従来技術では考慮されてこなかった「画面画像」データによる「画面変化量」を用いることによって、ユーザによる利用行動の「活動量」をより的確に把握することが可能となる。即ち、例えば動画等の画像情報の閲覧といった行動に係る「活動量」を確実に捉えることができる。その結果、コンピュータ利用行動の様々な種別に対しても「活動量」をより的確に推定することが可能となるのである。

従って、本発明においては、「画面変化量」だけに基づいて「活動量」を推定することも可能である。しかしながら、上述したように「操作量」をも考慮して「活動量」を推定することによって、取得可能なユーザの操作イベント（テキスト）情報と、スクリーンショット（画面画像）情報とを融合させ、同時期における行動の「活動量」をより的確に抽出することができるのである。

ＰＣ１は、さらに、
（ｄ）「操作ログ」のウィンドウタイトルに係る部分に基づいて、ユーザによって実施された利用行動の「行動種別」を推定する
ことも好ましい。このように、利用行動における「活動量」だけでなく「活動種別」も推定することによって、例えばユーザは自らの利用行動の状況をより的確に認識することができる。

これに関連して、ＰＣ１は、
（ｅ）ユーザによって行われるタスク毎に、当該タスクの行動種別と、当該タスクを完了させるのに必要な活動量に関連する量又は指標とを対応付けて登録し、
（ｆ）ユーザについて推定された「行動種別」及び「活動量」と、登録されたタスクの行動種別及び活動量に関連する量又は指標とを比較し、比較結果を出力する
ことも好ましい。これにより、ユーザは、自らの利用行動の実績と、例えば事前に立てた業務目標等とを比較して、自らの利用行動を振り返り、今後の行動方針の参考とすることも可能となる。

同じく図１によれば、ＰＣ１は、入力部１０１と、ディスプレイ１０２と、操作ログデータベース（ＤＢ）１０３と、画面画像ＤＢ１０４と、キーワードＤＢ１０５と、行動種別ＤＢ１０６と、行動ルールＤＢ１０７と、行動ルール候補ＤＢ１０８と、行動解析結果ＤＢ１０９と、タスク管理ＤＢ１１０と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、ＰＣ１の主機能部であるコンピュータを機能させるプログラムを実行することによって、利用行動推定機能を実現させる。

さらに、プロセッサ・メモリは、機能構成部として、入力管理部１１１と、情報処理部１１２と、出力制御部１１３と、操作量算出部１２１と、画面変化量算出部１２２と、活動量推定部１２３と、行動種別推定部１２４と、タスク管理部１２５と、解析結果統合部１２６と、非利用区間推定部１２７とを有する。尚、図１によれば、各機能構成部を矢印で接続した処理の流れは、本発明による利用行動推定方法の一実施形態としても理解される。

入力部１０１は、ユーザによる入力操作を受け入れるデバイス又は当該デバイス用のインタフェースであり、例えばキーボード、押下ボタン、マウスやタッチパッド等のポインティングデバイス、さらにはタッチパネル等（のインタフェース）とすることができる。これらのデバイス（のインタフェース）のうちの複数を組み合わせたものでもよい。

入力管理部１１１は、入力部１０１から入力する入力操作信号に対応したシステムメッセージを生成し、さらに、当該システムメッセージを整形して操作ログを生成する。

情報処理部１１２は、ＰＣ１のコンピュータとしての主処理機能部であり、例えば、入力部１０１から入力された入力操作信号を受け入れ、搭載された業務用等のアプリケーションの動作の下で情報処理演算を実行し、演算処理結果を出力制御部１１３に出力する。

出力制御部１１３は、情報処理部１１２から入力した演算処理結果に基づいて、例えばディスプレイ１０２に表示すべき画面画像信号を生成し、ディスプレイ１０２に出力する。この際、ディスプレイ１０２に表示される画面画像のデータを画面画像ＤＢ１０４に出力して保存させる。

ディスプレイ１０２は、画像出力部であり、出力制御部１１３から画面画像信号を入力し、対応する画像を画面に表示する。尚、タッチパネル・ディスプレイを採用して、入力部１０１及びディスプレイ１０２の統合部とすることも可能である。

操作ログＤＢ１０３は、ユーザによる入力部１０１に対する操作を記録した操作ログを保存し管理する。

図２は、操作ログＤＢ１０３に保存された操作ログの一実施例を示す模式図である。

図２によれば、操作ログは、発生した操作イベント毎に、
（ａ）当該操作イベントの発生した日時と、（ｂ）当該操作イベントのイベント名と
を組にして記録したものである。ここで、本実施形態では、現在のオペレーションシステムにおいて標準的であるマルチウィンドウ環境が設定されているとする。この場合、操作ログは、（ｂ）イベント名として、ユーザによる入力操作の対象となっているウィンドウであるアクティブウィンドウのタイトルを記録してもよく、また、操作されたキーボードのキー種別やマウスクリック種別を記録してもよい。

具体的に、（ｂ）イベント名は、操作内容を示す文字列となる。例えば、アクティブウィンドウのタイトルの場合、「Window Title : “ウィンドウタイトル”」とすることができる。またキーボードやマウスを用いた入力操作の場合、「[左クリック]」、「[Space]」、「D」といった該当操作を一意に特定可能な文字列を定義し、イベント名としてもよい。

図１に戻って、画面画像ＤＢ１０４は、ディスプレイ１０２の画面に表示される画面画像を保存する。ここで、画面画像（データ）は、どの日時の画面であるかを識別可能とするため、例えば表示時の日時をタイトルにして保存されてもよい。画面画像は、例えば1秒毎といった定期的な時間間隔で取得され保存されてもよく、ユーザ又はシステム設計者によって設定されたタイミングで適宜取得され保存されてもよい。

非利用区間推定部１２７は、操作ログ及び画面画像の変化に基づいて、ユーザによるＰＣ１の利用行動が発生していない時間区間である非利用区間を推定する。例えば、所定の閾値（例えば５分）を設定し、当該閾値以上の時間区間で、操作ログに操作記録が現れておらず且つ画面画像の変化もない場合、当該時間区間を非利用区間であると推定する。尚、画面画像の変化の有無は、後述する画面変化量算出部１２２で算出される「画面変化量」に基づいて判定されてもよい。

図３は、非利用区間推定部１２７で推定された非利用区間の一実施例を示すテーブルである。

図３に示すように、非利用区間推定部１２７は、非利用区間と非利用でない区間である利用区間との境界となる時点を特定して非利用区間の開始日時及び終了日時を決定し、推定した非利用区間毎に、開示日時と、終了日時と、SeatStateフラグとを対応付けたデータを、後述する行動解析結果ＤＢ１０９に保存する。SeatStateフラグは、値1であれば利用区間を表し、値０であれば非利用区間を表す。

このように、画面画像の変化を利用することによって、ユーザがコンピュータを利用していない状態を把握することも可能となる。

［活動量の推定］
図１に戻って、操作量算出部１２１は、操作ログＤＢから入力した操作ログに基づいて、所定の時間区間毎に、当該時間区間内で発生したユーザによる操作の量である操作量を算出する。ここで、この操作量Ｃは、当該時間区間内でキーボード操作やマウス操作があった数とすることができる。具体的には、操作ログにおいて、キーボード操作やマウス操作に相当するイベント名を有する操作イベントの数としてもよい。

画面変化量算出部１２２は、所定の時間区間（例えば５秒間）毎に、当該時間区間内に表示された複数の画面画像における画像の変化分である画面変化量を算出する。具体的には、所定の時間区間内に取得された（表示された）Ｎ枚の画像をそれぞれI₁，I₂，・・・，l_Nとして、この時間区間での画面変化量ΔIを、次式を用いて算出することができる。

ここで、I_i ^r(j)、I_i ^g(j)及びI_i ^b(j)はそれぞれ、画像I_iのj番目のピクセルにおけるＲＧＢ色空間でのＲ、Ｇ及びＢの値（画素値）である。その値域は［0,255]とすることができる。また、Ｍは画像I_iにおける総ピクセル数である。

因みに、操作量算出部１２１で算出された操作量Ｃと、画面変化量算出部１２２で算出された画面変化量ΔＩとは、例えば、後述する図７に示したようなテーブル形式で行動解析結果ＤＢ１０９へ保存されてもよい。

活動量推定部１２３は、算出された操作量Ｃ及び画面変化量ΔＩに基づいて、ユーザによるＰＣ１の利用行動における活動量を推定する。ここで、活動量推定部１２３は、所定の時間範囲における操作量Ｃと画面変化量ΔＩとについて、重み付けして総和をとることによって活動量を算出することも好ましい。

具体的に、活動量推定部１２３は、例えば、時刻t₀から時刻t₁までの時間区間での活動量Ａを、次式を用いて算出することができる。
（２） Ａ＝Σ_t=t0 ^t1｛αＣ(t)＋βΔI(t)｝
ここで、Σ_t=t0 ^t1は、時刻t₀から時刻t₁までの総和（summation）であり、α及びβは、所定の係数であり、それぞれ活動量に対する操作量及び画面変化量の影響度となる。また、Ｃ(t)は、時刻tで代表される時間区間（例えばｔが中点となる時間区間）での操作量であり、ΔI(t)は、同じく時刻tで代表される時間区間での画面変化量である。因みに、Ｃ(t)及びΔI(t)は、操作量及び画面変化量の保存された行動解析結果ＤＢから取得されることも好ましい。

［行動種別の推定］
行動種別推定部１２４は、操作ログのウィンドウタイトルに係る部分に基づいて、ユーザによって実施された利用行動の行動種別を推定する。具体的には、
（ａ）操作ログのウィンドウタイトルに係る部分の文字列をワードに分割し、
（ｂ）分割結果としてのワード若しくはワードの組合せと一致する又は対応するワード若しくはワードの組合せに対応付けられた行動種別を、ユーザによって実施された利用行動と推定する
ことも好ましい。

図４は、行動種別推定部１２４における利用行動推定処理の一実施形態を示すフローチャートである。また、図５及び図６は、この利用行動推定処理に関わるデータベースの実施例を示すテーブルである。

図４に示した処理フローにおいて、最初に、
（Ｓ４０１）行動種別推定部１２４は、操作ログＤＢ１０３に保存された操作ログを取り出す（入力する）。
（Ｓ４０２）操作ログファイルの１行分の文字列を読み込む。
（Ｓ４０３）読み込んだ文字列がファイル終端を表す記号であるか否かを判定する。ここで、ファイル終端を表す記号であると判定した場合、本利用行動推定処理を終了する。一方、ファイル終端を表す記号ではないと判定した場合、ステップＳ４０４に移行する。

（Ｓ４０４）行動種別推定部１２４は、読み込んだ文字列が、あるウィンドウをアクティブにした操作であるアクティブウィンドウ操作のログに相当するか否かを判定する。具体的には、読み込んだ文字列内に、
Window Title :
との文字列が含まれているか否かを判定することも好ましい。ここで、当該文字列が含まれていないと判定した場合、ステップＳ４０２に戻り、操作ログファイルにおける次の１行分の文字列を読み込んで、上記と同様の処理を繰り返す。

（Ｓ４０５）一方、行動種別推定部１２４は、ステップＳ４０４で当該文字列が含まれていると判定した場合、読み込んだ１行分の文字列を複数の文字列（ワード）に分割する。ここで、この分割は、日時情報の文法（表示形及び並び順の決まり）や、スペース等の区切り文字に基づき、文字列の切れ目を決定して実施することができる。例えは、図２に示した操作ログにおいて、読み込んだ文字列が「2014/05/21 11:13:23 Window Title : TopPage − BrowserA」である場合、日時として「2014/05/21 11:13:23」が、ウィンドウタイトルを構成するキーワードとして「TopPage」及び「BrowserA」が、分割により抽出される。

（Ｓ４０６）抽出した1つ又は複数のキーワードから、読み込んだ1行分の操作ログに係る利用行動が、予め定義された定義行動か否かを判定する。この判定では、最初に、図５（Ａ）に示すようなキーワードＤＢ１０５に保存されたキーワード識別子（ＩＤ）テーブルを用いる。キーワードＩＤテーブルでは、操作ログに同時に出現するキーワード（の組合せ）を一意に特定可能なキーワードＩＤ毎に、キーワード又はキーワードの組合せを対応付けて記録している。言い換えると、キーワードＤＢ１０５は、ユーザによって実施され得る行動種別毎に、当該行動種別の実施に係る操作ログのウィンドウタイトルに係る部分に出現し得るキーワード（の組合せ）を対応付けて記録したデータベースである。ここで、抽出したキーワード（の組合せ）と一致するキーワード（の組合せ）を有するキーワードＩＤが存在するか否かが判定され、存在すれば、読み込んだ1行分の操作ログに係る利用行動は定義行動であると推定され、存在しなければ、未定義行動であると推定される。

上記のステップＳ４０６で、読み込んだ1行分の操作ログに係る利用行動は未定義行動であると判定（推定）された場合、次いで、ステップＳ４０８の類似行動算出処理に移行する。この処理については、後に図９を用いて詳細に説明する。

（Ｓ４０７）行動種別推定部１２４は、ステップＳ４０６（及びステップＳ４０７）での利用行動解析処理の結果を受けて、行動解析結果を更新する。具体的には、最初に、図５（Ｃ）に示したような行動ルールＤＢ１０７に保存された行動ルールテーブルを利用し、定義行動として該当するキーワードＩＤに対応するアクティビティＩＤを特定する。この行動ルールテーブルでは、キーワードＩＤ毎にアクティビティＩＤを対応付けて記録している。アクティビティＩＤは、ユーザの取り得る利用行動の種別を一意に識別可能な識別子であり、図５（Ｂ）に示すような行動種別ＤＢ１０６に保存された行動種別テーブルにおいて、対応する行動種別が紐づけられる形で記録されている。

図５（Ｃ）の行動ルールテーブルを用いて、推定された利用行動のアクティビティＩＤ、即ち利用行動種別（図５（Ｂ）参照）が特定されれば、図６に示したような行動解析結果テーブルを生成することができる。行動解析結果テーブルは、推定された利用行動毎に、その開始日時と、その終了日時と、その行動種別を示すアクティビティＩＤとを対応付けて記録しており、行動解析結果ＤＢに保存される。尚、この行動解析結果テーブルを更新する際、該当するアクティビティＩＤが、直前に登録されているアクティビティＩＤと同一である場合、終了日時のみを更新する。

以上説明したように、上記の処理フローによれば、操作ログのウィンドウタイトルに係る部分の文字列を用いて利用行動の行動種別を推定することが可能となる。特に、本実施形態では、アクティブウィンドウのウィンドウタイトルに着目して、利用行動の行動種別を抽出するところに特徴を有する。これにより、利用行動を、ユーザにとって有意な種別に分類した上で当該種別を特定することが可能となる。尚、ステップＳ４０６で未定義行動であるとの判定を行った場合、後述する類似行動算出処理（ステップＳ４０８）に移行する代わりに、読み込んだ1行分の操作ログに係る利用行動に対し、未定義行動を示すアクディビティＩＤ（例えば図５（Ｂ）のアクティビティＩＤ＝６）を対応付けて行動解析結果テーブルを更新することも好ましい。

また、図５（Ｃ）に示した行動ルールＤＢ１０７の行動ルールテーブルは、行動種別推定部１２４の有するルール管理部によって更新・管理されることも好ましい。このルール管理部は、例えばディスプレイ１０２等を介して、操作ログから自動抽出された行動ルール候補を提示し、ユーザによって新たな行動ルールの定義が入力部１０１等を介して入力された場合、当該新たな行動ルールをもって行動ルールテーブルを更新してもよい。

さらに、行動解析結果ＤＢ１０９は、図６に示した行動解析結果テーブルとは別のテーブル形式である、操作量及び画面変化量を含むテーブルを保存することも好ましい。

図７は、行動解析結果ＤＢ１０９が保存する操作量及び画面変化量の一実施例を示すテーブルである。図７に示したテーブルでは、推定された利用行動毎に、その開示日時と、その終了日時と、当該利用行動での操作量と、当該利用行動での画面変化量とが対応付けて記録されている。尚、このテーブルにおいて、操作量及び画面変化量から算出された当該利用行動での活動量が更に対応付けて記録されていてもよい。

また、行動解析結果ＤＢ１０９は、図３に示した非利用区間の情報も保持してもよい。このように、行動解析結果ＤＢ１０９には、利用行動種別の推定結果だけでなく、当該行動種別の活動量（操作量及び画面変化量）に係る情報や、非利用状態についての情報といった利用行動に対する解析結果全般を格納しておくことも好ましい。

図８は、行動種別推定部１２４における類似行動算出処理（ステップＳ４０８）の一実施形態を示すフローチャートである。

図８に示す類似行動算出処理は、図４のステップＳ４０８での処理に相当する。ここで、行動種別推定部１２４は、図４のステップＳ４０６において分割結果としてのキーワード若しくはキーワードの組合せと一致する又は対応するキーワード若しくはキーワードの組合せが存在しない場合、キーワードＤＢ１０５に記録された行動種別毎に、処理対象の操作ログに係る時点での画面画像と、当該行動種別に対応付けられた画面画像との類似度を算出し、所定閾値以上の類似度を有する画面画像の対応先である行動種別を、当該ユーザによって実施された利用行動と推定する。

尚、本実施形態では、キーワードＤＢ１０５は、ユーザによって実施され得る行動種別毎に、当該行動種別が実施された際に表示された画面画像を対応付けて記録している。また、本実施形態では、行動種別推定部１２４は、次いで示すようにキーワード又はキーワードの組合せについての類似度をも考慮して、実施された利用行動を推定している。さらに、所定閾値以上の類似度を有する画面画像が存在しない場合、分割結果としてのキーワード（の組合せ）を、未定義行動に対応付けられたものと推定する。

具体的に、本類似行動算出処理では、
（Ｓ８０１）行動種別ＤＢ１０６に登録されている行動種別の数を取得し、ｎ＝(行動種別数)−１の値を算出する。本実施形態の行動種別には、図５（Ｂ）のテーブルに挙げられている「その他」のように未定義行動を示す種別が1つ含まれている。そのため、定義行動数として上記ｎを採用する。尚、本実施形態では、ｎ個の定義行動に対し、アクティビティＩＤの値として１、２、・・・、ｎが順次対応付けられているものとする。

（Ｓ８０２）ｎがゼロよりも大きいか否かを判定する。ここで、ｎ＝０ならばステップＳ８０７に移行する。また、ｎ＞０ならば、次に説明するステップＳ８０３ａ及び８０３ｂに移行する。因みに、ステップＳ８０３ａでの処理とステップＳ８０３ｂ及びＳ８０４ｂでの処理とは、並行して又は順序に拘束されずに実行される。
（Ｓ８０３ａ）キーワード類似度を算出する。キーワード類似度は、操作ログの文字列を分割して抽出したキーワード(例えば「TopPage」及び「BrowserA」)と、アクティビティＩＤ＝ｎである定義行動に対応付けられたキーワードＩＤのキーワードとを比較して算出される。例えば、共通するキーワードの個数をカウントし、このカウント数をキーワード類似度としてもよい。また、キーワードの組合せの間のコサイン類似度をキーワード類似度としたり、単語（の集合）の間の類似度を算出するその他の公知の方法を用いてキーワード類似度を算出したりすることもできる。

（Ｓ８０３ｂ）操作ログから推定対象となる操作イベントがあった日時を取得し、当該日時における画面画像を１枚読み込む。
（Ｓ８０４ｂ）画面画像ＤＢ１０４から、アクティビティＩＤ＝ｎである定義行動に対応する画面画像の集合を取り出し、この画面画像の集合と、ステップＳ８０３ｂで読み込んだ画面画像との類似度である画面画像類似度を算出する。ここで、読み込んだ画面画像から特徴量を算出し、定義行動ｎ（アクティビティＩＤ＝ｎの行動種別）に対応付けられた画面画像の集合の特徴量の平均との距離を画面画像類似度としてもよい。この場合、画面画像の特徴量は、例えば色ヒストグラムとすることができる。また、画像（の集合）の間の類似度を算出するその他の公知の方法を用いて画面画像類似度を算出することも可能である。

（Ｓ８０５）算出されたキーワード類似度及び画面画像類似度から、定義行動ｎとの総合類似度を算出する。例えば、キーワード類似度と画面画像類似度との和、又はキーワード類似度と画面画像類似度とにおけるそれぞれに所定の重み係数を掛けた上での和を、定義行動ｎとの総合類似度とすることができる。
（Ｓ８０６）ｎを１だけ減分し（ｎ＝ｎ−１）、ステップＳ８０２に戻る。

（Ｓ８０７）ステップＳ８０２で偽（ｎ＝０）の判定が行われた場合、アクティビティＩＤ＝１、２、・・・及びｎの定義行動に対する算出された類似度の中で最も大きな値を有する最高類似度、及びそのアクティビティＩＤを決定する。
（Ｓ８０８）決定した最高類似度が、所定の閾値ｈよりも大きいか否かを判定する。ここで、真の判定、即ち閾値ｈよりも大きいとの判定が行われた場合、ステップＳ８０９に移行する。一方、偽の判定が行われた場合、ステップＳ８１０に移行する。
（Ｓ８０９）最高類似度を有するアクティビティＩＤの定義行動を、推定対象である操作ログに対応する行動種別として記録し、本類似行動算出処理を終了する。

（Ｓ８１０）推定対象である操作ログに対応する利用行動を、未定義行動として行動ルール候補ＤＢ１０８に登録し、本類似行動算出処理を終了する。

図９は、行動ルール候補ＤＢ１０８に保存される行動ルール候補テーブルの一実施例を示すテーブルである。図９によれば、行動ルール候補テーブルでは、ステップＳ８１０で登録された未定義行動毎に、当該未定義行動を一意に識別可能な候補ＩＤと、対応するキーワード（の組合せ）とを対応付けて記録している。

以上詳細に説明したように、本実施形態によれば、キーワード（の組合せ）が必ずしも一致しなくとも、既に定義済みの実績のある定義行動の中から蓋然性の高い行動種別を、見逃すことなく適切に、推定対象の利用行動として抽出することができる。特に、画面画像の類似度を考慮することによって、操作ログだけからは特定が困難な行動種別についても、推定候補として確実に比較・検討することが可能となる。

［タスク管理・評価］
次いで、図１に戻って、タスク管理部１２５及び解析結果統合部１２６の機能の説明を行う。この機能には、ユーザが自身の利用行動を振り返ったり、行動ルールを更新したりする機能が含まれる。

タスク管理部１２５は、ユーザが今後遂行する予定のタスクを管理し、タスク情報の入出力を行う。ここで取り扱われるタスクは、
（ａ）時間の総量が主要な目標となるタスク、及び
（ｂ）締め切りまでに間に合わせることが主要な目標となるタスク
の２つに分類される。（ａ）タイプのタスクは、例えば、学習に費やす時間を1週間あたり３時間以上設けるといった事項が目標となるタスクである。一方、（ｂ）タイプのタスクは、例えば、ある資料作成を指定日時までに終わらせるといった事項が目標となるタスクである。タスク管理部１２５では、ユーザにより例えば入力部１０１を介して入力されたこのようなタスクを、次に述べる図１０又は図１１に示したようなテーブル形式のデータに整形し、タスク管理ＤＢ１１０に登録する。

図１０及び図１１は、タスク管理ＤＢ１１０に保存されるタスク管理テーブルの実施例を示すテーブルである。図１０には、上記（ａ）タイプのタスクについてのタスク管理テーブルの一実施例が示されている。このテーブルでは、ワークＩＤをもって識別可能なタスク毎に、アクティビティＩＤと、行動種別と、開始日時と、設定された従事時間と、従事時間の管理単位であるサイクルと、ActiveStateフラグとを対応付けて記録している。ここで、設定された従事時間及びサイクルは、目標となる時間の総量に関係し、ユーザによる活動量に関連する量となっている。また、ActiveStateフラグは、実際にユーザが当該タスクに取り組んでいる場合、値１をとり、まだ取り組んでいない場合、値０をとる。

一方、図１１には、上記（ｂ）タイプのタスクの一実施例が示されている。このテーブルでは、課題ＩＤをもって識別可能なタスク毎に、アクティビティＩＤと、行動種別と、開始日時と、設定された締切日時と、設定された従事時間と、ActiveStateフラグとを対応付けて記録している。ここで、設定された従事時間は、ユーザによる活動量に関連する量となっている。

いずれにしても、タスク管理ＤＢ１１０は、ユーザによるタスク毎に、当該タスクの行動種別と、当該タスクを完了させるのに必要な活動量に関連する量又は指標とを対応付けて登録したタスク管理テーブルを保存・管理していることになる。

図１に戻って、解析結果統合部１２６は、行動解析結果ＤＢ１０９、行動ルールＤＢ１０７及びタスク管理ＤＢ１１０内のデータを統合し、適切な形式へ整形して、例えばディスプレイ１０２を介して統合結果をユーザへ提示する。具体的には、例えば、ユーザについて推定された行動種別及び活動量と、登録されたタスクの行動種別及び当該活動量に関連する量又は指標（例えば従事時間等）とを比較し、比較結果を出力することも好ましい。

図１２は、解析結果統合部１２６による統合結果表示の一実施例を示すグラフである。

図１２（Ａ）では、解析結果統合部１２６でのデータ処理がイメージ化されている。例えばユーザがＰＣ１を使用してデスクワークを行う際の行動解析を行う場合、本実施形態では、ユーザの操作イベント（テキスト）情報と、スクリーンショット（画像）情報とを融合させ、同時期における行動内容の推定と活動量の定量化とをより的確に遂行している。

図１２（Ｂ）によれば、解析結果統合部１２６は、例えば、ある１日（図１２（Ｂ）では2014年5月29日）の各行動種別の実施割合を統計処理し、グラフ（図１２（Ｂ）では円グラフ）で提示する。さらに、当該１日における各時間での行動種別をグラフ（図１２（Ｂ）では帯グラフ）で提示する。また、当該１日の活動量も、例えば上式（２）を用いて算出し、グラフ（図１２（Ｂ）では棒グラフ）で提示する。

解析結果統合部１２６は、さらに、タスク管理ＤＢ１１０に保存されたタスク（ルーティンワークや締切有り課題等）と行動解析結果ＤＢ内のデータを比較し、目標に対して実際の行動がどのようだったかを表示する。例えば、図１２（Ｂ）に示した、ある１日で実施された行動種別及び活動量の実績と同様のグラフ形式をもって、タスク管理ＤＢ１１０に保存されたタスクのデータをグラフ化し、両者を並行して表示してもよい。

いずれにしても、ユーザによるコンピュータの利用行動の目標と、その実績とを比較する際、利用行動の行動種別（の時間遷移）と、活動量とを比較の軸とすることにより、ユーザにとって両者の相違がより明確となり、有意義な比較・検討が可能となるのである。

以上詳細に説明したように、本発明においては、従来技術では考慮されてこなかった「画面画像」データによる「画面変化量」を用いることによって、ユーザによる利用行動の「活動量」をより的確に把握することが可能となる。その結果、コンピュータ利用行動の様々な種別に対しても「活動量」をより高い確実性をもって推定することができるのである。

また、本発明の実施形態によっては、利用行動における「活動量」だけでなく「活動種別」も推定する。これにより、ユーザは、例えば、自らの利用行動の状況をより的確に認識することができる。また、ユーザは、自らの利用行動の実績と、例えば事前に立てた業務目標等とを比較して、自らの利用行動を振り返り、例えば今後の行動方針の参考とすることも可能となる。即ち、ユーザは、例えばコンピュータを使用した業務における適切なセルフマネジメントを実現することができるのである。

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ ＰＣ（利用行動推定装置）
１０１ 入力部
１０２ ディスプレイ
１０３ 操作ログＤＢ
１０４ 画面画像ＤＢ
１０５ キーワードＤＢ
１０６ 行動種別ＤＢ
１０７ 行動ルールＤＢ
１０８ 行動ルール候補ＤＢ
１０９ 行動解析結果ＤＢ
１１０ タスク管理ＤＢ
１１１ 入力管理部
１１２ 情報処理部
１１３ 出力制御部
１２１ 操作量算出部
１２２ 画面変化量算出部
１２３ 活動量推定部
１２４ 行動種別推定部
１２５ タスク管理部
１２６ 解析結果統合部
１２７ 非利用区間推定部

Claims (11)

1. ユーザによるコンピュータの利用行動を推定する利用行動推定装置であって、
   前記コンピュータの画面に表示される画面画像を保存する画面画像保存部と、
   所定の時間区間毎に、当該時間区間内に表示された複数の画面画像における画像の変化分である画面変化量を算出する画面変化量算出手段と、
   算出された当該画面変化量に基づいて、当該ユーザによる当該コンピュータの利用行動における活動量を推定する活動量推定手段と
   を有することを特徴とする利用行動推定装置。
2. 当該ユーザによる操作を記録した操作ログのウィンドウタイトルに係る部分に基づいて、当該ユーザによって実施された利用行動の行動種別を推定する行動種別推定手段を更に有することを特徴とする請求項１に記載の利用行動推定装置。
3. 当該ユーザによって実施され得る行動種別毎に、当該行動種別の実施に係る操作ログのウィンドウタイトルに係る部分に出現し得るワード又はワードの組合せを対応付けて記録したデータベースを更に有しており、
   前記行動種別推定手段は、当該操作ログのウィンドウタイトルに係る部分の文字列をワードに分割し、分割結果としてのワード若しくはワードの組合せと一致する又は対応するワード若しくはワードの組合せに対応付けられた行動種別を、当該ユーザによって実施された利用行動と推定する
   ことを特徴とする請求項２に記載の利用行動推定装置。
4. 前記データベースは、当該ユーザによって実施され得る行動種別毎に、当該行動種別が実施された際に表示された画面画像を対応付けて記録しており、
   前記行動種別推定手段は、分割結果としてのワード若しくはワードの組合せと一致する又は対応するワード若しくはワードの組合せが存在しない場合、前記データベースに記録された行動種別毎に、当該操作ログに係る時点での画面画像と、当該行動種別に対応付けられた画面画像との類似度を算出し、所定閾値以上の類似度を有する画面画像の対応先である行動種別を、当該ユーザによって実施された利用行動と推定する
   ことを特徴とする請求項３に記載の利用行動推定装置。
5. 前記行動種別推定手段は、所定閾値以上の類似度を有する画面画像が存在しない場合、当該分割結果としてのワード若しくはワードの組合せを、未定義行動に対応付けられたものと推定することを特徴とする請求項４に記載の利用行動推定装置。
6. 当該ユーザによる操作を記録した操作ログに基づいて、当該所定の時間区間毎に、当該時間区間内で発生した当該ユーザによる操作の量である操作量を算出する操作量算出手段を更に有し、
   前記活動量推定手段は、算出された当該操作量及び当該画面変化量に基づいて、当該ユーザによる当該コンピュータの利用行動における活動量を推定する
   ことを特徴とする請求項１から５のいずれか１項に記載の利用行動推定装置。
7. 前記活動量推定手段は、所定の時間範囲における当該操作量と当該画面変化量とについて、重み付けして総和をとることによって当該活動量を算出することを特徴とする請求項６に記載の利用行動推定装置。
8. 当該ユーザによる操作を記録した操作ログ及び当該画面変化量に基づいて、当該ユーザによる当該コンピュータの利用行動が発生していない時間区間である非利用区間を推定する非利用区間推定手段を更に有することを特徴とする請求項１から７のいずれか１項に記載の利用行動推定装置。
9. 当該ユーザによるタスク毎に、当該タスクの行動種別と、当該タスクを完了させるのに必要な活動量に関連する量又は指標とを対応付けて登録するタスク保存部と、
   当該ユーザについて推定された行動種別及び活動量と、登録されたタスクの行動種別及び当該活動量に関連する量又は指標とを比較し、比較結果を出力する解析結果統合手段と
   を更に有することを特徴とする請求項１から８のいずれか１項に記載の利用行動推定装置。
10. ユーザによるコンピュータの利用行動を推定する利用行動推定装置に搭載されたコンピュータを機能させるプログラムであって、
    前記利用行動推定装置は、当該ユーザによって利用されるコンピュータの画面に表示される画面画像を保存する画面画像保存部を有し、前記プログラムは、
    所定の時間区間毎に、当該時間区間内に表示された複数の画面画像における画像の変化分である画面変化量を算出する画面変化量算出手段と、
    算出された当該画面変化量に基づいて、当該ユーザによる当該コンピュータの利用行動における活動量を推定する活動量推定手段と
    してコンピュータを機能させることを特徴とする利用行動推定プログラム。
11. ユーザによるコンピュータの利用行動を推定する方法であって、
    当該ユーザによって利用されるコンピュータの画面に表示される画面画像を保存し、所定の時間区間毎に、当該時間区間内に表示された複数の画面画像における画像の変化分である画面変化量を算出する第１のステップと、
    算出した当該画面変化量に基づいて、当該ユーザによる当該コンピュータの利用行動における活動量を推定する第２のステップと
    を有することを特徴とする利用行動推定方法。

Images