JP2008113312A - 情報可視化システム、情報可視化方法および情報可視化プログラム - Google Patents

Abstract

【課題】通信の信頼性を判断できる情報可視化システム、方法及びプログラムを提供することを目的とする。
【解決手段】プロセス監視手段１０００は、プロセス識別情報に対応付けて、監視時刻と、プロセスのＧＵＩに関する状態を示す情報とをプロセス記憶部１１０に記憶させる。セッション監視手段１０１は、自端末が送信する各パケットデータが属するセッション毎のセッション情報とそのセッションを発生させたプロセスのプロセス識別情報とを出力する。プロセス判定手段１０２０は、セッション情報とプロセス識別情報とにもとづいてプロセス記憶部１１０を検索し、対応するプロセスのＧＵＩに関する状態を示す情報を抽出する。可視化情報生成手段１０３は、セッション情報と、プロセス識別情報と、プロセスのＧＵＩに関する状態を示す情報とにもとづいて可視化情報を生成し、ユーザの要求に応じて出力装置１２に渡す。
【選択図】図１

Description

本発明は、電子情報を可視化する情報可視化システム、情報可視化方法及び情報可視化プログラムに関し、特にネットワーク通信状態とユーザの操作状況とを併せて表示する情報可視化システム、情報可視化方法及び情報可視化プログラムに関する。

従来、端末における通信状況を把握するために、通信パケットに関する情報を表示するシステムが考えられている。例えば、特許文献１には、ネットワーク上でリアルタイムに通信されているパケットの流れをユーザに分かりやすく理解させるために、可視的に表示する装置が記載されている。

また、非特許文献１には、Ｅｔｈｅｒｅａｌのように、通信パケットをカテゴリ別に分けて、リアルタイムで、時間、送信元、送信先、プロトコル、およびパケット内容の概要を一覧表示するシステムが考えられている。

さらに、非特許文献２には、Ｅｔｈｅｒａｐｅのように、通信状況を色の濃さや扇状の画像の大きさによって視覚的に見せるシステムが提案されている。また、非特許文献３には、３Ｄ−ｔｃｐｄｕｍｐのように、受信しているパケット群情報から通信状況を把握して３Ｄグラフィカル表示するシステムが考えられている。

特開平１１−１６８４８９号公報（段落００５５−００５９） "Eｔｈｅｒｅａｌ：Ａ Ｎｅｔｗｏｒｋ Ｐｒｏｔｏｃｏｌ Ａｎａｌｙｚｅｒ"、［online］、［平成１８年８月２２日検索］、インターネット<URL : http://www.ethereal.com/> "ＥｔｈｅｒＡｐｅ，ａ ｇｒａｐｈｉｃａｌ ｎｅｔｗｏｒｋ ｍｏｎｉｔｏｒ"、［online］、［平成１８年８月２２日検索］、インターネット<URL : http://etherape.sourceforge.net/> "３Ｄ−ｔｃｐｄｕｍｐ"、［online］、３Ｄ−ｔｃｐｄｕｍｐ ｐｒｏｊｅｃｔ、［平成１８年８月２２日検索］、インターネット<URL : http://www.3d-tcpdump.org/>

特許文献１に記載された装置や非特許文献１、非特許文献２及び非特許文献３に記載されたシステムを用いれば、通信の流れやパケットの内容を把握することができるため、ネットワークトラフィックのトレースに有効である。しかし、その通信を発生させる元となったユーザの操作状況が結果に含まれていないので、それがユーザによって明示的に行われた通信かどうかわからず、通信の信頼性の判断が難しいという問題がある。例えば、ユーザのクライアントとサーバが通信を行っている状況で、通信状況を単に表示しただけでは、それがユーザの直接の命令による通信なのか、あるいは、クライアントが勝手に行っている通信なのかどうかが判断できない。

そこで、本発明は、上記課題を解決するためになされたものであって、通信の信頼性を容易に判断することができる情報可視化システム、情報可視化方法及び情報可視化プログラムを提供することを目的とする。

本発明による情報可視化システムは、プロセスのＧＵＩに関する状態を監視するユーザ監視手段と、端末から送信されるパケットデータを入力して、入力したパケットデータを示す情報をセッションに併合し、入力したパケットデータを送信したセッションを示すセッション情報を計算して求めるセッション監視手段と、ユーザ監視手段が入力したプロセスのＧＵＩに関する状態にもとづいて、セッション監視手段が計算したセッション情報に示されるセッションを発生させたプロセスのＧＵＩに関する状態を計算するセッション状況判定手段と、セッション監視手段が計算したセッション情報およびセッション状況判定手段が計算したプロセスのＧＵＩに関する状態にもとづいて、情報を可視化して出力するための可視化情報を生成する可視化情報生成手段とを備えたことを特徴とする。なお、プロセスのＧＵＩに関する状態を示す情報とは、そのプロセスについてのＧＵＩによる操作の状態を示す情報であって、例えば、そのプロセスにフォーカスが当たっているか否かを示す情報である。

ユーザ監視手段は、プロセスのＧＵＩに関する状態として、プロセスのフォーカスの状態を監視してもよい。そのような構成によれば、プロセスのフォーカスの状態を示す情報を含む可視化情報を生成することができる。

ユーザ監視手段は、ユーザの操作状況を監視し、セッション状況判定手段は、ユーザ監視手段が入力したユーザの操作状況にもとづいて、セッション監視手段が計算したセッション情報に示されるセッションを発生させたユーザの操作状況を計算し、可視化情報生成手段は、セッション監視手段が計算したセッション情報およびセッション状況判定手段が計算したユーザの操作状況にもとづいて、可視化情報を生成することが望ましい。そのような構成によれば、ユーザの操作状況を示す情報を含む可視化情報を生成することができる。

ユーザ監視手段は、ユーザの操作状況として、ユーザによって入力されるイベントを監視してもよい。そのような構成によれば、ユーザによって入力されるイベントを示す情報を含む可視化情報を生成することができる。

ユーザ監視手段は、ユーザの操作状況として、フォーカスが当たっているプロセスに対応する画像のうち、カーソルフォーカスが当たっている部分の周辺の画像を取得してもよい。そのような構成によれば、カーソルフォーカスされている部分の周辺の画像を含む可視化情報を生成することができる。

可視化情報生成手段は、可視化情報として計算する項目を、システムの状況又はユーザの要求によって変化させてもよい。そのような構成によれば、システムの状況またはユーザからの要求に応じた項目を含む可視化情報を生成することができる。

可視化情報生成手段は、可視化情報に含まれる項目に対して、表示色を変化させ、文字又は画像を付加し、又は形状を変化させてもよい。そのような構成によれば、表示色を変化させ、文字又は画像を付加し、又は形状を変化させた可視化情報を生成することができる。

本発明による情報可視化方法は、プロセスのＧＵＩに関する状態を監視するユーザ監視ステップと、端末から送信されるパケットデータを入力して、入力したパケットデータを示す情報をセッションに併合し、入力したパケットデータを送信したセッションを示すセッション情報を計算して求めるセッション監視ステップと、ユーザ監視ステップで入力したプロセスのＧＵＩに関する状態にもとづいて、セッション監視ステップで計算したセッション情報に示されるセッションを発生させたプロセスのＧＵＩに関する状態を計算するセッション状況判定ステップと、セッション監視ステップで計算したセッション情報およびセッション状況判定手段が計算したプロセスのＧＵＩに関する状態にもとづいて、情報を可視化して出力するための可視化情報を生成する可視化情報生成ステップとを含むことを特徴とする。

ユーザ監視ステップで、プロセスのＧＵＩに関する状態として、プロセスのフォーカスの状態を監視してもよい。そのような構成によれば、プロセスのフォーカスの状態を示す情報を含む可視化情報を生成することができる。

ユーザ監視ステップで、ユーザの操作状況を監視し、セッション状況判定ステップで、ユーザ監視ステップで入力したユーザの操作状況にもとづいて、セッション監視ステップで計算したセッション情報に示されるセッションを発生させたユーザの操作状況を計算し、可視化情報生成ステップで、セッション監視ステップで計算したセッション情報およびセッション状況判定ステップで計算したユーザの操作状況にもとづいて、可視化情報を生成することが望ましい。そのような構成によれば、ユーザの操作状況を示す情報を含む可視化情報を生成することができる。

ユーザ監視ステップで、ユーザの操作状況として、ユーザによって入力されるイベントを監視してもよい。そのような構成によれば、ユーザによって入力されるイベントを示す情報を含む可視化情報を生成することができる。

ユーザ監視ステップで、ユーザの操作状況として、フォーカスが当たっているプロセスに対応する画像のうち、カーソルフォーカスが当たっている部分の周辺の画像を取得してもよい。そのような構成によれば、カーソルフォーカスされている部分の周辺の画像を含む可視化情報を生成することができる。

可視化情報生成ステップで、可視化情報として計算する項目を、システムの状況又はユーザの要求によって変化させてもよい。そのような構成によれば、システムの状況またはユーザからの要求に応じた項目を含む可視化情報を生成することができる。

可視化情報生成ステップで、可視化情報に含まれる項目に対して、表示色を変化させ、文字又は画像を付加し、又は形状を変化させてもよい。そのような構成によれば、表示色を変化させ、文字又は画像を付加し、又は形状を変化させた可視化情報を生成することができる。

本発明による情報可視化プログラムは、コンピュータに、プロセスのＧＵＩに関する状態を監視するユーザ監視処理と、端末から送信されるパケットデータを入力して、入力したパケットデータを示す情報をセッションに併合し、入力したパケットデータを送信したセッションを示すセッション情報を計算して求めるセッション監視処理と、ユーザ監視処理で入力したプロセスのＧＵＩに関する状態にもとづいて、セッション監視処理で計算したセッション情報に示されるセッションを発生させたプロセスのＧＵＩに関する状態を計算するセッション状況判定処理と、セッション監視処理で計算したセッション情報およびセッション状況判定処理で計算したプロセスのＧＵＩに関する状態にもとづいて、情報を可視化して出力するための可視化情報を生成する可視化情報生成処理とを実行させることを特徴とする。

ユーザ監視処理で、プロセスのＧＵＩに関する状態として、プロセスのフォーカスの状態を監視してもよい。そのような構成によれば、プロセスのフォーカスの状態を示す情報を含む可視化情報を生成することができる。

ユーザ監視処理で、ユーザの操作状況を監視し、セッション状況判定処理で、ユーザ監視処理で入力したユーザの操作状況にもとづいて、セッション監視処理で計算したセッション情報に示されるセッションを発生させたユーザの操作状況を計算し、可視化情報生成処理で、セッション監視処理で計算したセッション情報およびセッション状況判定処理で計算したユーザの操作状況にもとづいて、可視化情報を生成することが望ましい。そのような構成によれば、ユーザの操作状況を示す情報を含む可視化情報を生成することができる。

ユーザ監視処理で、ユーザの操作状況として、ユーザによって入力されるイベントを監視してもよい。そのような構成によれば、ユーザによって入力されるイベントを示す情報を含む可視化情報を生成することができる。

ユーザ監視処理で、ユーザの操作状況として、フォーカスが当たっているプロセスに対応する画像のうち、カーソルフォーカスが当たっている部分の周辺の画像を取得してもよい。そのような構成によれば、カーソルフォーカスされている部分の周辺の画像を含む可視化情報を生成することができる。

可視化情報生成処理で、可視化情報として計算する項目を、システムの状況又はユーザの要求によって変化させてもよい。そのような構成によれば、システムの状況またはユーザからの要求に応じた項目を含む可視化情報を生成することができる。

可視化情報生成処理で、可視化情報に含まれる項目に対して、表示色を変化させ、文字又は画像を付加し、又は形状を変化させてもよい。そのような構成によれば、表示色を変化させ、文字又は画像を付加し、又は形状を変化させた可視化情報を生成することができる。

本発明による情報可視化システムの好ましい一態様は、例えば、プロセスのＧＵＩに関する状態（例えば、プロセスにフォーカスが当たっているかどうか）を監視するユーザ監視手段と、端末から送信されるパケットデータを取得してセッションに併合するセッション監視手段と、セッション監視手段が計算したセッション情報について、ユーザ監視手段が取得したプロセスのＧＵＩに関する状態をもとに、当該セッションを発生させたプロセスのＧＵＩに関する状態を計算するセッション状況判定手段と、セッション監視手段が計算したセッション情報およびセッション状況判定手段が計算したプロセスのＧＵＩに関する状態をもとに、可視化情報を生成する可視化情報生成手段とを備えたことを特徴とする。

また、情報可視化システムは、ユーザの操作状況（例えば、ユーザからどのような入力があったかどうか）を監視するユーザ監視手段と、端末から送信されるパケットデータを取得してセッションに併合するセッション監視手段と、セッション監視手段が計算したセッション情報について、ユーザ監視手段が取得したユーザの操作状況をもとに、当該セッションを発生させたユーザの操作状況を計算するセッション状況判定手段と、セッション監視手段が計算したセッション情報およびセッション状況判定手段が計算したユーザの操作状況をもとに、可視化情報を生成する可視化情報生成手段とを備えたものであってもよい。

また、ユーザ監視手段は、プロセスのフォーカスの状態を監視するものであってもよい。

また、ユーザ監視手段は、ユーザの入力イベント（例えば、キーダウンやマウスクリック）を監視するものであってもよい。

また、ユーザ監視手段は、フォーカスが当たっているプロセス内でさらにカーソルフォーカスが当たっている周辺の部分的な画像を取得するものであってもよい。

また、可視化情報生成手段は、可視化情報として計算する項目を、システムの状況又はユーザの要求によって変化させるものであってもよい。

また、可視化情報生成手段は、可視化情報に含まれる項目に対して、表示色を変化させ、文字又は画像を付加し、又は形状を変化させるものであってもよい。

本発明による情報可視化方法の好ましい一態様は、例えば、プロセスのＧＵＩに関する状態を監視するユーザ監視ステップと、端末から送信されるパケットデータを取得してセッションに併合するセッション監視ステップと、セッション情報について、プロセスのＧＵＩに関する状態をもとに、当該セッションを発生させたプロセスのＧＵＩに関する状態を計算するセッション状況判定ステップと、セッション情報およびプロセスのＧＵＩに関する状態をもとに、可視化情報を生成する可視化情報生成ステップとを含むことを特徴とする。

また、情報可視化方法は、ユーザの操作状況を監視するユーザ監視ステップと、端末から送信されるパケットデータを取得してセッションに併合するセッション監視ステップと、セッション情報について、ユーザの操作状況をもとに、当該セッションを発生させたユーザの操作状況を計算するセッション状況判定ステップと、セッション情報およびユーザの操作状況をもとに、可視化情報を生成する可視化情報生成ステップとを含むものであってもよい。

また、情報可視化方法は、ユーザ監視ステップで、プロセスのフォーカスの状態を監視するものであってもよい。

また、情報可視化方法は、ユーザ監視ステップで、ユーザの入力イベントを監視するものであってもよい。

また、情報可視化方法は、ユーザ監視ステップで、フォーカスが当たっているプロセス内でさらにカーソルフォーカスが当たっている周辺の部分的な画像を取得するものであってもよい。

また、情報可視化方法は、可視化情報生成ステップで、可視化情報として計算する項目を、システムの状況又はユーザの要求によって変化させるものであってもよい。

また、情報可視化方法は、可視化情報生成ステップで、可視化情報に含まれる項目に対して、表示色を変化させ、文字又は画像を付加し、又は形状を変化させるものであってもよい。

本発明による情報可視化プログラムの好ましい一態様は、例えば、コンピュータに、プロセスのＧＵＩに関する状態を監視するユーザ監視処理と、端末から送信されるパケットデータを取得してセッションに併合するセッション監視処理と、セッション情報について、プロセスのＧＵＩに関する状態をもとに、当該セッションを発生させたプロセスのＧＵＩに関する状態を計算するセッション状況判定処理と、セッション情報およびプロセスのＧＵＩに関する状態をもとに、可視化情報を生成する可視化情報生成処理とを実行させるためのものである。

また、情報可視化プログラムは、コンピュータに、ユーザの操作状況を監視するユーザ監視処理と、端末から送信されるパケットデータを取得してセッションに併合するセッション監視処理と、セッション情報について、ユーザの操作状況をもとに、当該セッションを発生させたユーザの操作状況を計算するセッション状況判定処理と、セッション情報およびユーザの操作状況をもとに、可視化情報を生成する可視化情報生成処理とを実行させるためのものであってもよい。

また、情報可視化プログラムは、コンピュータに、ユーザ監視処理で、プロセスのフォーカスの状態を監視する処理を実行させるためのものであってもよい。

また、情報可視化プログラムは、コンピュータに、ユーザ監視処理で、ユーザの入力イベントを監視する処理を実行させるためのものであってもよい。

また、情報可視化プログラムは、コンピュータに、ユーザ監視処理で、フォーカスが当たっているプロセス内でさらにカーソルフォーカスが当たっている周辺の部分的な画像を取得する処理を実行させるためのものであってもよい。

また、情報可視化プログラムは、コンピュータに、可視化情報生成処理で、可視化情報として計算する項目を、システムの状況又はユーザの要求によって変化させる処理を実行させるためのものであってもよい。

また、情報可視化プログラムは、コンピュータに、可視化情報生成処理で、可視化情報に含まれる項目に対して、表示色を変化させ、文字又は画像を付加し、又は形状を変化させる処理を実行させるためのものであってもよい。

本発明によれば、パケットデータを送信するセッションを示すセッション情報と、当該セッションを発生させたプロセスを示す情報と、プロセスのＧＵＩに関する状態を示す情報を示す情報とが、可視化情報として出力されるため、通信の信頼性を把握することが容易になるという効果がある。

また、ユーザの操作状況を監視し、セッションを発生させたユーザの操作状況を計算するように構成すれば、ユーザの操作状況を示す情報を含む可視化情報が出力されるため、通信の信頼性を把握することがより容易になるという効果がある。

実施の形態１．
以下、本発明の第１の実施の形態について図面を参照して説明する。本発明による情報可視化システムの特徴は、プロセス判定手段を備える点である。このプロセス判定手段は、通信発生時におけるその通信を発生させたプロセスの状態を計算する。

図１は、本発明による情報可視化システムの構成の一例を示すブロック図である。本実施の形態では、情報可視化システムは、具体的には、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）環境のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を搭載したパーソナルコンピュータなどの情報処理端末によって実現される。ＧＵＩ環境であれば、携帯電話機やＰＤＡなどの端末の種類によらない。

図１に示すように、本実施の形態では、情報可視化システムは、プログラム制御により動作するデータ処理装置１０と、情報を記憶する記憶装置１１と、情報を表示する出力装置１２とを含む。

データ処理装置１０は、具体的には、ＧＵＩ環境のＯＳを搭載したパーソナルコンピュータなどによって実現される。データ処理装置１０は、ユーザ監視手段１００と、セッション監視手段１０１と、セッション状況判定手段１０２と、可視化情報生成手段１０３とを含む。

また、記憶装置１１は、具体的には、メモリやハードディスク装置などによって実現される。記憶装置１１は、プロセス記憶部１１０と、履歴記憶部１１２と、可視化情報記憶部１１３とを含む。

さらに、出力装置１２は、具体的には、液晶表示部やディスプレイ装置などによって実現される。

ユーザ監視手段１００は、プロセス監視手段１０００を含む。ユーザ監視手段１００は、プロセスのＧＵＩに関する状態を常時監視し、結果をプロセス記憶部１１０に記憶する機能を備える。

プロセス監視手段１０００は、アプリケーションの各プロセスに対し、プロセスのＧＵＩに関する状態を常時監視する機能を備える。なお、プロセスのＧＵＩに関する状態を示す情報とは、例えば、そのプロセスに関して、フォーカスが当たっているか否か、プロセスの起動の有無、ウィンドウとして開いているか否か、最小化されているか否か、画面に表示されているか否か、などを示す情報である。例えば、プロセス監視手段１０００は、フォーカスが当たっているプロセスとその時刻とを常時監視する。なお、アプリケーション等が操作対象となっていることや、プロセスが実行対象になっていることを、フォーカスが当たっていると表現する。

プロセス監視手段１０００は、例えば、プロセスＩＤやプロセス名等のプロセスを識別可能な情報（以下、プロセス識別情報と表記する。）に対応付けて、監視した時刻と、プロセスのＧＵＩに関する状態を示す情報とをプロセス記憶部１１０に記憶させる。

セッション監視手段１０１は、端末から送信されるパケットデータを取得する。例えば、セッション監視手段１０１は、端末が送信するパケットデータを入力し、パケットに関する情報を抽出する。セッション監視手段１０１は、履歴記憶部１１２に連続した通信のパケットデータが確認されれば、履歴記憶部１１２から該当するセッションを取得して一つのセッションに併合し、履歴記憶部１１２に再度記憶させ、セッション状況判定手段１０２に渡す機能を備える。一方、連続した通信のパケットデータが確認されなければ、新たなセッションとし、そのセッションを発生させたプロセスと関連付けて、履歴記憶部１１２に記憶させ、セッション状況判定手段１０２に渡す機能を備える。

ここで、連続した通信とは、例えば、パケットの種類がＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）の場合、新たに取得したパケットデータが履歴記憶部１１２に記憶されているパケットデータと、通信先ＩＰとポート番号が一致しており、記憶されているパケットデータのシーケンスナンバにそのパケットのオクテット長を加算した値が、新たに取得したパケットデータのシーケンスナンバに一致していることを示す。

すなわち、セッション監視手段１０１は、例えば、自端末が送信するパケットデータを入力し、各パケットデータが属するセッション毎の情報（以下、セッション情報と表記する。）を履歴記憶部１１２に記憶させる。その際、セッション監視手段１０１は、セッション情報に対応付けて、そのセッションを発生させたプロセスのプロセス識別情報を履歴記憶部１１２に記憶させる。なお、セッション情報は、例えば、セッション開始時刻、通信先ＩＰアドレスおよびポート番号を含む情報である。

ここで、セッション監視手段１０１は、例えば、自端末が保持する通信情報を参照することによって、セッション情報とプロセス識別情報とを対応付ける。通信情報は、自端末がパケット送信時に出力する情報であって、例えば、通信先ＩＰアドレス、ポート番号およびプロセスＩＤを含む情報である。セッション監視手段１０１は、例えば、セッション情報に含まれる通信先ＩＰアドレスおよびポート番号にもとづいて、通信情報からプロセスＩＤを抽出する。なお、セッション監視手段１０１は、自端末が保持するプロセスＩＤとプロセス名との対応テーブル等を参照し、プロセス識別情報として、プロセスＩＤからプロセス名を抽出してもよい。そして、セッション監視手段１０１は、セッション情報とプロセス識別情報とをセッション状況判定手段１０２に出力する。

セッション状況判定手段１０２は、プロセス判定手段１０２０を含む。セッション状況判定手段１０２は、セッション監視手段１０１から取得したセッション情報に基づいて、セッションの発生時におけるプロセスの状態を計算し、可視化情報生成手段１０３に渡す機能を備える。

プロセス判定手段１０２０は、セッション監視手段１０１から取得したセッション情報に含まれているセッション開始の時刻とセッションを発生させたプロセスから、その時点におけるプロセスの状態をプロセス記憶部１１０から取得する機能を備える。例えば、プロセス判定手段１０２０は、セッション開始時刻とセッションを発生させたプロセスのプロセス識別情報とにもとづいてプロセス記憶部１１０を検索し、対応するプロセスのＧＵＩに関する状態を示す情報を抽出する。

可視化情報生成手段１０３は、セッション状況判定手段１０２からセッション情報及びセッション発生時におけるプロセスの状態を取得し、可視化情報を計算する機能を備える。可視化情報は、例えば、セッション情報と、セッションを発生させたプロセスのプロセス識別情報と、プロセスのＧＵＩに関する状態を示す情報とを可視化した情報である。例えば、可視化情報生成手段１０３は、セッション状況判定手段１０２から、セッション情報と、セッションを発生させたプロセスのプロセス識別情報と、プロセスのＧＵＩに関する状態を示す情報とを入力する。そして、入力した情報にもとづいて可視化情報を生成し、可視化情報記憶部１１３に記憶させる。そして、可視化情報生成手段１０３は、ユーザの要求に応じて可視化情報を出力装置１２に渡す。

例えば、可視化情報生成手段１０３は、セッションナンバ、プロセスのアイコン、通信先のホスト名、プロトコル名、最終更新時間、及びプロセスの状態を可視化情報として計算する。例えば、可視化情報生成手段１０３は、セッション状況判定手段１０２から入力した情報にもとづいて、以下に説明するように可視化情報を生成する。可視化情報生成手段１０３は、セッションナンバとして、セッション開始時刻の昇順にシーケンスナンバを算出する。また、あらかじめプロセス名に対応付けてアイコン画像を記憶しておき、入力したプロセス名に対応するアイコン画像を抽出する。また、例えば、ＤＮＳ（Ｄｏｍａｉｎ Ｎａｍｅ Ｓｅｒｖｅｒ）に接続し、通信先ＩＰアドレスに対応するホスト名を抽出する。また、あらかじめポート番号とプロトコル名との照合テーブルを記憶しておき、ポート番号に対応するプロトコル名を抽出する。なお、システムの状況又はユーザの要求に応じて、可視化情報の表示形態や種類を変化させてもよい。

記憶装置１１は、プロセス記憶部１１０と、履歴記憶部１１２と、可視化情報記憶部１１３とを含む。プロセス記憶部１１０は、例えば、プロセス監視手段１０００が取得したフォーカスが当たっているプロセスとその時刻とを記憶する。履歴記憶部１１２は、セッション監視手段１０１が計算したセッション情報及びそのセッションに該当するプロセスとを記憶する。可視化情報記憶部１１３は、可視化情報生成手段１０３が計算した可視化情報を記憶する。

出力装置１２は、可視化情報生成手段１０３から可視化情報を取得し、外部に出力する機能を備える。例えば、出力装置１２は、液晶表示部やディスプレイ装置などの表示装置によって実現される場合、可視化情報記憶部１０３から可視化情報を入力して表示する。

次に、動作について説明する。図２は、情報可視化システムが通信状況の可視化情報を生成する処理の一例を示す流れ図である。

まず、セッション監視手段１０１は、端末から送信されるパケットデータを取得する（ステップＳ１）。例えば、セッション監視手段１０１は、端末が送信するパケットデータを入力し、ヘッダ情報等のパケットデータに関する情報を抽出する。セッション監視手段１０１は、ステップＳ１で抽出したパケットに関する情報にもとづいて履歴記憶部１１２を検索し、パケットデータに対応するセッションのセッション情報があるか否かを判定する（ステップＳ２）。例えば、セッション監視手段１０１は、入力したパケットデータに連続した通信のパケットデータが存在するか否かを判定する。

セッション監視手段１０１は、ステップＳ２において、履歴記憶部１１２に連続した通信のパケットデータが確認されれば（ＹＥＳ）、履歴記憶部１１２から該当するセッションを取得して一つのセッションに併合し、履歴記憶部１１２に再度記憶させ、セッション状況判定手段１０２に渡す（ステップＳ３）。一方、連続した通信のパケットデータが確認されなければ（ＮＯ）、新たなセッションとし（ステップＳ４）、そのセッションを発生させたプロセスと関連付けて、履歴記憶部１１２に記憶させ、セッション状況判定手段１０２に渡す（ステップＳ５）。

例えば、セッション監視手段１０１は、ステップＳ４において、新たなセッション情報を生成して履歴記憶部１１２に記憶させる。そして、ステップＳ５において、セッション情報に対応付けて、そのセッションを発生させたプロセスのプロセス識別情報を履歴記憶部１１２に記憶させる。

次に、セッション状況判定手段１０２のプロセス判定手段１０２０は、セッション監視手段１０１から取得したセッション情報に基づいて、セッションの発生時におけるプロセスの状態を計算し、可視化情報生成手段１０３に渡す（ステップＳ６）。例えば、プロセス判定手段１０２０は、ステップＳ６において、セッション開始時刻とセッションを発生させたプロセスのプロセス識別情報とにもとづいてプロセス記憶部１１０を検索し、対応するプロセスのＧＵＩに関する状態を示す情報を抽出する。

次いで、可視化情報生成手段１０３は、セッション状況判定手段１０２から取得したセッション情報及びプロセスの状態から可視化情報を計算し、可視化情報記憶部１１３に記憶する（ステップＳ８）。例えば、可視化情報生成手段１０３は、セッション状況判定手段１０２から、セッション情報と、セッションを発生させたプロセスのプロセス識別情報と、プロセスのＧＵＩに関する状態を示す情報とを入力する。そして、入力した情報にもとづいて可視化情報を生成し、可視化情報記憶部１１３に記憶する。そして、ユーザの要求に応じて、例えば、通信状況とそのときのフォーカスの有無を時系列に並べた形で、出力装置１２に渡す。

以上のように、本実施の形態によれば、通信ログと併せて、プロセスの状態として例えばフォーカスの有無を可視化することにより、通信の信頼性を判断しやすくなる。例えば、セッション情報に加えて、セッションを発生させたプロセスのプロセス識別情報と、プロセスのＧＵＩに関する状態を示す情報（例えば、フォーカスが当たっているか否かを示す情報）とが可視化されて表示されるため、ユーザに直接命令されたことによる通信か否かを判断することができ、通信の信頼性を容易に判断することができる。

実施の形態２．
次に、本発明の第２の実施の形態について図面を参照して説明する。第２の実施の形態における情報可視化システムの特徴は、プロセス判定手段に加えてイベント判定手段を備える点である。このイベント判定手段は、通信を発生する元となったユーザの入力イベントを計算する。

図３は、情報可視化システムの他の構成例を示すブロック図である。図３に示すように、本実施の形態では、データ処理装置１０のユーザ監視手段１００がイベント監視手段１００１を備える点と、セッション状況判定手段１０２がイベント判定手段１０２１を備える点と、記憶装置１１にイベント記憶部１１１を備える点とが第１の実施の形態と異なる。

なお、本実施の形態において、第１の実施の形態と同様の構成および処理をなす部分についてはその詳細な説明を省略し、主として第１の実施の形態と異なる部分について説明する。

ユーザ監視手段１００は、プロセス監視手段１０００と、イベント監視手段１００１とを有する。ユーザ監視手段１００は、プロセスのＧＵＩに関する状態およびユーザの操作状況を常時監視し、結果をそれぞれプロセス記憶部１１０とイベント記憶部１１１に記憶する機能を備える。

イベント監視手段１００１は、アプリケーションの各プロセスに対し、ＧＵＩ上におけるユーザの操作状況を常時監視する機能を備える。例えば、イベント監視手段１００１は、ユーザによって入力されるイベントの種類（キーダウンやマウスクリックなど）とその時刻を常時監視する。

イベント監視手段１００１は、例えば、プロセス名等のプロセス識別情報に対応付けて、監視した時刻と、ユーザの操作状況を示す情報とをイベント記憶部１１１に記憶させる。なお、ユーザの操作状況を示す情報とは、例えば、キーダウンやマウスクリックなどのユーザによって入力されるイベントの種類を示す情報である。

セッション状況判定手段１０２は、プロセス判定手段１０２０と、イベント判定手段１０２１とを有する。セッション状況判定手段１０２は、セッション監視手段１０１から取得したセッション情報に基づいて、セッションの発生時におけるプロセスの状態と、セッションの発生源となったユーザの操作状況とを計算し、可視化情報生成手段１０３に渡す機能を備える。

イベント判定手段１０２１は、セッション監視手段１０１から取得したセッション情報に含まれているセッション開始時刻から、そのセッションを発生させたユーザの操作状況をイベント記憶部１１１から取得する機能を備える。すなわち、イベント判定手段１０２１は、例えば、プロセス判定手段１０２０が抽出したプロセスのＧＵＩに関する状態を示す情報に応じて、セッション開始時刻にもとづいてイベント記憶部１１１を検索し、対応するユーザの操作状況を示す情報を抽出する。

例えば、イベント判定手段１０２１は、プロセス判定手段１０２０から、セッション開始時刻におけるプロセスのフォーカスの有無を取得し、フォーカスがあれば、セッション開始時刻より前のそのフォーカスが当たっている一定時間内において、時間的に最もセッション開始時刻に近い特定のイベントをイベント記憶部１１１から取得する。

可視化情報生成手段１０３は、セッション状況判定手段１０２からセッション情報、セッション発生時におけるプロセスの状態およびユーザの操作状況を取得し、可視化情報を計算した後、可視化情報記憶部１１３に記憶する機能を備える。例えば、可視化情報生成手段１０３は、セッションナンバ、プロセスのアイコン、通信先のホスト名、プロトコル名、最終更新時間、プロセスの状態、及びユーザの操作状況を可視化情報として計算する。

次に、動作について説明する。図４は、情報可視化システムが通信状況の可視化情報を生成する処理の他の例を示す流れ図である。図４において、ステップＳ１からステップＳ６までの処理は、第１の実施の形態で示す処理と同様である。

セッション状況判定手段１０２のイベント判定手段１０２１は、セッション監視手段１０１から取得したセッション情報とプロセス判定手段１０２０から取得したプロセスの状態に基づいて、セッションを発生させたユーザの操作状況を計算し、可視化情報生成手段１０３に渡す（ステップＳ７）。例えば、イベント判定手段１０２１は、プロセス判定手段１０２０が抽出したプロセスのＧＵＩに関する状態を示す情報に応じて、セッション開始時刻にもとづいてイベント記憶部１１１を検索し、対応するユーザの操作状況を示す情報を抽出する。

次いで、可視化情報生成手段１０３は、セッション状況判定手段１０２から取得したセッション情報及びユーザの操作状況から可視化情報を計算し、可視化情報記憶部１１３に記憶する（ステップＳ８）。例えば、可視化情報生成手段１０３は、セッション状況判定手段１０２から、セッション情報と、セッションを発生させたプロセスのプロセス識別情報と、プロセスのＧＵＩに関する状態を示す情報と、ユーザの操作状況を示す情報とを入力する。そして、入力した情報にもとづいて可視化情報を生成し、可視化情報記憶部１１３に記憶する。そして、ユーザの要求に応じて、例えば、通信状況とそのときのユーザの操作状況を時系列に並べた形で、出力装置１２に渡す。

以上のように、本実施の形態によれば、通信ログと併せて、プロセスの状態、ユーザの操作状況を可視化することにより、通信の信頼性を判断しやすくなる。例えば、第１の実施の形態による効果に加えて、ユーザの操作状況を示す情報（例えば、ユーザによって入力されるイベントの種類）が可視化されて表示されるため、通信の信頼性をより簡便に判断することができる。

実施の形態３．
次に、本発明の第３の実施の形態について図面を参照して説明する。図５は、情報可視化システムのさらに他の構成例を示すブロック図である。図５に示すように、本実施の形態において、情報可視化システムは、第１の実施の形態及び第２の実施の形態と同様に、データ処理装置１０と記憶装置１１とを含む。また、記憶装置１１は、プロセス記憶部１１０と、イベント記憶部１１１と、履歴記憶部１１２と、可視化情報記憶部１１３とを含む。本実施の形態では、データ処理装置１０は、通信可視化用プログラム１３を読み込み、読み込んだ通信可視化用プログラム１３に従って、第１の実施の形態及び第２の実施の形態で示したいずれかの処理を実行する。

通信可視化用プログラム１３は、具体的には、各種情報記憶媒体（例えば、ＣＤ−ＲＯＭ）に予め記憶される。本実施の形態において、例えば、情報記憶媒体は、通信可視化用プログラム１３として、ＧＵＩ上のプロセスの状態やユーザの入力イベントを監視するユーザ監視処理と、送信されるパケットデータの取得とセッションを計算するセッション監視処理と、ユーザ監視データとセッション監視データとを併合する判定処理と、各データを可視化情報として計算する可視化処理とを実行させるための情報可視化プログラムを記憶している。

通信可視化用プログラム１３は、データ処理装置１０に読み込まれ、データ処理装置１０の動作を制御するために用いられる。データ処理装置１０は、通信可視化用プログラム１３に従って処理を実行し、記憶装置１１に、プロセス記憶部１１０と、イベント記憶部１１１と、履歴記憶部１１２と、可視化情報記憶部１１３とを生成する。そして、データ処理装置１０は、通信可視化用プログラム１３に従って、第１の実施の形態及び第２の実施の形態で示した処理と同様の処理を実行する。

次に、本発明による情報可視化システムの具体的な実施例について説明する。まず、情報可視化システムの第１の実施例について説明する。なお、本実施例における情報可視化システムは、第１の実施の形態で示した情報可視化システムに相当する。また、本実施例では、データ処理装置がパーソナルコンピュータであり、データ記憶装置が磁気ディスク装置であり、出力装置がディスプレイであるものとする。

パーソナルコンピュータ（データ処理装置）は、ユーザ監視手段、セッション監視手段、セッション状況判定手段及び可視化情報生成手段として機能する中央演算装置を含む。また、パーソナルコンピュータは、ユーザ監視手段として、プロセス監視手段を含む。さらに、パーソナルコンピュータは、セッション状況判定手段として、プロセス判定手段を含む。また、磁気ディスク装置（記憶装置）は、パーソナルコンピュータによって取得されたプロセスの状態、通信の履歴、および可視化情報を記憶する。また、ディスプレイ（出力装置）は、パーソナルコンピュータからの要求に応じて、与えられた情報を表示する。

なお、データ処理装置は、携帯電話機やＰＤＡなどの小画面端末であってもよく、端末の種類によらない。

本実施例では、まず、パーソナルコンピュータの中央演算装置は、アプリケーションのプロセスを常時監視し、フォーカスを有するプロセス名及びその時刻を含むプロセスの状態情報を取得する。そして、中央演算装置は、プロセスの状態情報を磁気ディスク装置に記憶させる。

一方、中央演算装置は、パーソナルコンピュータから外部ネットワークに送信されるパケットデータを取得する。そして、磁気ディスク装置からセッションの履歴情報を取得し、パケットデータと照合を行う。そこで特定のセッションとの関係性が確認できれば、パケットデータをそのセッションに併合し、磁気ディスク装置に再度記憶させる。また、セッションとの関係性が確認できなければ、そのパケットデータを発生させたプロセスと関連付けて新たなセッションとし、磁気ディスク装置に記憶させる。

なお、パケットデータとセッションとの関係性を確認できる場合とは、送信されたパケットデータがセッション内のパケットに連続する場合を示している。例えば、パケットの種類がＴＣＰの場合について説明する。図６は、パケットデータをセッションに振り分ける過程を示す説明図である。図７は、パケットデータをセッションに併合する過程を示す説明図である。まず、図６に示すように、新たに取得したパケットデータの通信先ＩＰおよびポート番号が、磁気ディスク装置から取得したセッション内のパケットデータの通信先ＩＰおよびポート番号と一致していることが条件となる。さらに、図７に示すように、セッション内のパケットデータのシーケンスナンバにそのパケットのオクテット長を加算した値が、新たに取得したパケットデータのシーケンスナンバに一致している場合、連続したパケットの送信であると見なす。

次に、新たなセッションが生成された場合、中央演算装置は、セッションを発生させたプロセスについて、その名前と発生時刻をキーとして、磁気ディスク装置からプロセスの状態情報を取得する。

次いで、中央演算装置は、セッションナンバ、プロセスのアイコン、通信先のホスト名、プロトコル名、最終更新時間、及びプロセスの状態といった可視化情報を計算して、磁気ディスク装置に記憶する。図８は、可視化情報の計算結果の例を示す説明図である。具体的には、図８に示すように、まず、中央演算装置は、セッションナンバとして、時系列に昇順でソートしたセッション群にシーケンスナンバを割り振る。次に、プロセス名をキーとして、プロセスのアイコン画像を取得する。また、通信先のホスト名を、ＤＮＳ（Ｄｏｍａｉｎ Ｎａｍｅ Ｓｅｒｖｅｒ）に対して逆引きを行い、ＩＰアドレスからホスト名を取得する。次いで、プロトコル名を、予め磁気ディスク装置に記憶しているポート番号とプロトコル名の照合テーブルから、ポート番号をキーとして取得する。さらに、最終更新時間を、各セッションにおける最後のパケットデータの送信時間から”年／月／日 時：分：秒”の形式に変換する。

なお、上記のようなセッション情報のみに関わらず、記憶している履歴情報を元に、特定のホストとの通信回数を計算したり、通信の内容まで踏み込んで通信の暗号化の有無などを計算したりしてもよい。

また、中央演算装置は、ユーザの要求に応じて、磁気ディスク装置に記憶している可視化情報を表示装置に出力する。図９は、ユーザの操作状況としてフォーカスの有無を付加した可視化情報の例を示す説明図である。なお、図９のように、単純な一覧表として出力してもよいし、３Ｄ表示などグラフィカルな表示方法を用いてもよい。また、例えば、プロセスのアイコンと最終更新時間とプロセスの状態だけを表示するように、特定の可視化情報のみを表示しても良い。

次に、情報可視化システムの第２の実施例について説明する。なお、本実施例における情報可視化システムは、第２の実施の形態で示した情報可視化システムに相当する。本実施例において、情報可視化システムの具体的な構成は、第１の実施例で示した構成と同様であるが、中央演算装置が、ユーザ監視手段にイベント監視手段を加える点と、セッション状況判定手段にイベント判定手段を加える点で異なる。

まず、中央演算装置は、第１の実施例と同様にアプリケーションのプロセスを常時監視して、プロセスの状態情報を取得するだけでなく、ＧＵＩ上におけるユーザの操作状況も常時監視し、ユーザが入力したイベント（例えば、キーダウンやマウスクリックなど）と、その時刻とを含むユーザの操作状況を示す情報を取得する。そして、中央演算装置は、プロセスの状態情報およびユーザの操作状況を示す情報を磁気ディスク装置に記憶させる。

次に、中央演算装置は、第１の実施例と同様の処理を行うが、新たなセッションが生成された場合の処理として、プロセスの状態情報とユーザの操作状況を示す情報から、セッション生成前の一定時間内の実行イベントの有無を計算する。図１０は、ユーザの操作状況とイベントの流れの関連例を示す説明図である。具体的には、図１０に示すように、Ｗｅｂ閲覧プロセスを実行してリンクをクリックする状況を考えた場合、セッション生成時のプロセスにフォーカスがあるので、その時刻をキーとして最近の実行イベント（エンターキーダウンやマウス左クリックなど）を取得する。

そして、中央演算装置は、第１の実施例の可視化情報に加えて、例えば、図１１に例示するような実行イベント情報を付加した可視化情報を出力する。図１１は、ユーザの操作状況を示す情報としてユーザの入力イベントおよびパーシャルキャプチャイメージ（ＰＣＩ）を付加した可視化情報の例を示す説明図である。

図１２は、パーシャルキャプチャイメージの例を示す説明図である。中央演算装置は、図１１に示すように、ユーザの操作状況を取得する際に、フォーカスが当たっているプロセス内でさらにカーソルフォーカスが当たっている周辺のその時刻における部分的な画像（パーシャルキャプチャイメージ）を取得し、それをユーザの操作状況を示す情報の一つとして可視化してもよい（図１２参照。）。このパーシャルキャプチャイメージは、入力イベントの種類が実行イベントの場合に取得される。

本発明は、パーソナルコンピュータなどの端末から外部のネットワークへ流れる通信ログだけでなく、端末上のプロセスの状態およびそのときのユーザの操作状況を可視化できるため、通信ログの信頼性の把握が容易になる。

本発明による情報可視化システムの構成の一例を示すブロック図である。 情報可視化システムが可視化情報を生成する処理の一例を示す流れ図である。 情報可視化システムの他の構成例を示すブロック図である。 情報可視化システムが可視化情報を生成する処理の他の例を示す流れ図である。 情報可視化システムのさらに他の構成例を示すブロック図である。 パケットデータをセッションに振り分ける過程を示した説明図である。 パケットデータをセッションに併合する過程を示した説明図である。 可視化情報の計算結果の例を示す説明図である。 ユーザの操作状況としてフォーカスの有無を付加した可視化情報の例を示す説明図である。 ユーザの操作状況とイベントの流れの関連例を示す説明図である。 ユーザの操作状況としてユーザの入力イベントおよびパーシャルキャプチャイメージを付加した可視化情報の例を示す説明図である。 パーシャルキャプチャイメージの例を示す説明図である。

符号の説明

１０ データ処理装置
１１ 記憶装置
１２ 出力装置
１３ 通信可視化用プログラム
１００ ユーザ監視手段
１０１ セッション監視手段
１０２ セッション状況判定手段
１０３ 可視化情報生成手段
１１０ プロセス記憶部
１１１ イベント記憶部
１１２ 履歴記憶部
１１３ 可視化情報記憶部
１０００ プロセス監視手段
１００１ イベント監視手段
１０２０ プロセス判定手段
１０２１ イベント判定手段

Claims (21)

1. プロセスのＧＵＩに関する状態を監視するユーザ監視手段と、
   端末から送信されるパケットデータを入力して、入力した前記パケットデータを示す情報をセッションに併合し、入力した前記パケットデータを送信したセッションを示すセッション情報を計算して求めるセッション監視手段と、
   前記ユーザ監視手段が入力したプロセスのＧＵＩに関する状態にもとづいて、セッション監視手段が計算したセッション情報に示されるセッションを発生させたプロセスのＧＵＩに関する状態を計算するセッション状況判定手段と、
   前記セッション監視手段が計算したセッション情報および前記セッション状況判定手段が計算したプロセスのＧＵＩに関する状態にもとづいて、情報を可視化して出力するための可視化情報を生成する可視化情報生成手段とを備えた
   ことを特徴とする情報可視化システム。
2. ユーザ監視手段は、プロセスのＧＵＩに関する状態として、プロセスのフォーカスの状態を監視する請求項１記載の情報可視化システム。
3. ユーザ監視手段は、ユーザの操作状況を監視し、
   セッション状況判定手段は、前記ユーザ監視手段が入力したユーザの操作状況にもとづいて、前記セッション監視手段が計算したセッション情報に示されるセッションを発生させたユーザの操作状況を計算し、
   可視化情報生成手段は、前記セッション監視手段が計算したセッション情報および前記セッション状況判定手段が計算したユーザの操作状況にもとづいて、可視化情報を生成する
   請求項１または請求項２記載の情報可視化システム。
4. ユーザ監視手段は、ユーザの操作状況として、ユーザによって入力されるイベントを監視する請求項３記載の情報可視化システム。
5. ユーザ監視手段は、ユーザの操作状況として、フォーカスが当たっているプロセスに対応する画像のうち、カーソルフォーカスが当たっている部分の周辺の画像を取得する請求項３または請求項４記載の情報可視化システム。
6. 可視化情報生成手段は、可視化情報として計算する項目を、システムの状況又はユーザの要求によって変化させる請求項１から請求項５のうちのいずれか１項に記載の情報可視化システム。
7. 可視化情報生成手段は、可視化情報に含まれる項目に対して、表示色を変化させ、文字又は画像を付加し、又は形状を変化させる請求項１から請求項６のうちのいずれか１項に記載の情報可視化システム。
8. プロセスのＧＵＩに関する状態を監視するユーザ監視ステップと、
   端末から送信されるパケットデータを入力して、入力した前記パケットデータを示す情報をセッションに併合し、入力した前記パケットデータを送信したセッションを示すセッション情報を計算して求めるセッション監視ステップと、
   前記ユーザ監視ステップで入力したプロセスのＧＵＩに関する状態にもとづいて、前記セッション監視ステップで計算したセッション情報に示されるセッションを発生させたプロセスのＧＵＩに関する状態を計算するセッション状況判定ステップと、
   前記セッション監視ステップで計算したセッション情報および前記セッション状況判定手段が計算したプロセスのＧＵＩに関する状態にもとづいて、情報を可視化して出力するための可視化情報を生成する可視化情報生成ステップと
   を含むことを特徴とする情報可視化方法。
9. ユーザ監視ステップで、プロセスのＧＵＩに関する状態として、プロセスのフォーカスの状態を監視する請求項８記載の情報可視化方法。
10. ユーザ監視ステップで、ユーザの操作状況を監視し、
    セッション状況判定ステップで、前記ユーザ監視ステップで入力したユーザの操作状況にもとづいて、セッション監視ステップで計算したセッション情報に示されるセッションを発生させたユーザの操作状況を計算し、
    可視化情報生成ステップで、前記セッション監視ステップで計算したセッション情報および前記セッション状況判定ステップで計算したユーザの操作状況にもとづいて、可視化情報を生成する
    請求項８または請求項９記載の情報可視化方法。
11. ユーザ監視ステップで、ユーザの操作状況として、ユーザによって入力されるイベントを監視する請求項１０記載の情報可視化方法。
12. ユーザ監視ステップで、ユーザの操作状況として、フォーカスが当たっているプロセスに対応する画像のうち、カーソルフォーカスが当たっている部分の周辺の画像を取得する請求項１０または請求項１１記載の情報可視化方法。
13. 可視化情報生成ステップで、可視化情報として計算する項目を、システムの状況又はユーザの要求によって変化させる請求項８から請求項１２のうちのいずれか１項に記載の情報可視化方法。
14. 可視化情報生成ステップで、可視化情報に含まれる項目に対して、表示色を変化させ、文字又は画像を付加し、又は形状を変化させる請求項８から請求項１３のうちのいずれか１項に記載の情報可視化方法。
15. コンピュータに、
    プロセスのＧＵＩに関する状態を監視するユーザ監視処理と、
    端末から送信されるパケットデータを入力して、入力した前記パケットデータを示す情報をセッションに併合し、入力した前記パケットデータを送信したセッションを示すセッション情報を計算して求めるセッション監視処理と、
    前記ユーザ監視処理で入力したプロセスのＧＵＩに関する状態にもとづいて、前記セッション監視処理で計算したセッション情報に示されるセッションを発生させたプロセスのＧＵＩに関する状態を計算するセッション状況判定処理と、
    前記セッション監視処理で計算したセッション情報および前記セッション状況判定処理で計算したプロセスのＧＵＩに関する状態にもとづいて、情報を可視化して出力するための可視化情報を生成する可視化情報生成処理と
    を実行させるための情報可視化プログラム。
16. ユーザ監視処理で、プロセスのＧＵＩに関する状態として、プロセスのフォーカスの状態を監視する請求項１５記載の情報可視化プログラム。
17. ユーザ監視処理で、ユーザの操作状況を監視し、
    セッション状況判定処理で、前記ユーザ監視処理で入力したユーザの操作状況にもとづいて、セッション監視処理で計算したセッション情報に示されるセッションを発生させたユーザの操作状況を計算し、
    可視化情報生成処理で、前記セッション監視処理で計算したセッション情報および前記セッション状況判定処理で計算したユーザの操作状況にもとづいて、可視化情報を生成する
    請求項１５または請求項１６記載の情報可視化プログラム。
18. ユーザ監視処理で、ユーザの操作状況として、ユーザによって入力されるイベントを監視する請求項１７記載の情報可視化プログラム。
19. ユーザ監視処理で、ユーザの操作状況として、フォーカスが当たっているプロセスに対応する画像のうち、カーソルフォーカスが当たっている部分の周辺の画像を取得する請求項１７または請求項１８記載の情報可視化プログラム。
20. 可視化情報生成処理で、可視化情報として計算する項目を、システムの状況又はユーザの要求によって変化させる請求項１５から請求項１９のうちのいずれか１項に記載の情報可視化プログラム。
21. 可視化情報生成処理で、可視化情報に含まれる項目に対して、表示色を変化させ、文字又は画像を付加し、又は形状を変化させる請求項１５から請求項２０のうちのいずれか１項に記載の情報可視化プログラム。

Images