JP2009176124A - Apparatus and system for monitoring, recording and reproducing communication - Google Patents

Apparatus and system for monitoring, recording and reproducing communication Download PDF

Info

Publication number
JP2009176124A
JP2009176124A JP2008015149A JP2008015149A JP2009176124A JP 2009176124 A JP2009176124 A JP 2009176124A JP 2008015149 A JP2008015149 A JP 2008015149A JP 2008015149 A JP2008015149 A JP 2008015149A JP 2009176124 A JP2009176124 A JP 2009176124A
Authority
JP
Japan
Prior art keywords
operation information
communication
terminal
unit
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008015149A
Other languages
Japanese (ja)
Other versions
JP4686559B2 (en
Inventor
Osamu Wakamori
修 若森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Solutions Corp filed Critical Toshiba Corp
Priority to JP2008015149A priority Critical patent/JP4686559B2/en
Publication of JP2009176124A publication Critical patent/JP2009176124A/en
Application granted granted Critical
Publication of JP4686559B2 publication Critical patent/JP4686559B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To reproduce the screen of a terminal even if contents dynamically varied with a user operation are displayed in the terminal. <P>SOLUTION: A packet collecting and recording unit 22 collects packets on a network. An operation information receiving unit 21 receives operation information about operations that the user has performed using a terminal on the contents of communication displayed in the terminal. A packet analysis unit 24 reconstructs the contents of communication from the packets collected by the packet collecting and recording unit 22. The reconstructed contents of communication and the operation information received by the operation information receiving unit 21 are stored in association in an analysis result storage unit 26. An analysis result recording and reproducing unit 25 sends the reconstructed contents of communication stored in the analysis result storage unit 26 and the operation information stored in the analysis result storage unit 26 in association with the reconstructed contents of communication to a management server having the function of displaying the reconstructed contents of communication. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、端末及びサーバ間での通信の通信内容を再構築し、当該再構築された通信内容の通信を行った端末の当該通信中の画面を再現する通信監視記録再生装置及び通信監視記録再生システムに関する。   The present invention relates to a communication monitoring / recording / reproducing apparatus and a communication monitoring record for reconstructing communication contents of communication between a terminal and a server, and reproducing a screen during communication of the terminal that has performed communication of the reconstructed communication contents. It relates to a playback system.

近年の情報漏洩防止のソリューションに対する関心の高まりとともに、例えば管理対象の端末及びWebサーバ間におけるネットワーク上の通信パケット(データ)を収集して記録し、記録された複数のパケットの解析を行う通信監視記録再生装置の需要が高まっている。   Along with increasing interest in information leakage prevention solutions in recent years, for example, communication monitoring (data) collected and recorded on a network between a managed terminal and a Web server, and analyzing a plurality of recorded packets There is an increasing demand for recording and reproducing devices.

この通信監視記録再生装置は、監視対象となるネットワークセグメント上のパケットを傍受する。このパケットは、例えば端末及びWebサーバ間での通信の通信内容が分割されたデータのまとまりである。通信監視記録再生装置は、傍受された例えば1つまたは複数のパケットから例えばHTTP(HyperText Transfer Protocol)リクエストまたはHTTPリプライ等の通信内容を復元(再構築)して記録する。また、通信監視記録再生装置は、記録された通信内容を例えばユーザによって指定された検索条件に応じて検索し、当該検索された通信内容を当該ユーザに対して表示する機能を有する。   This communication monitoring recording / reproducing apparatus intercepts a packet on a network segment to be monitored. This packet is, for example, a collection of data obtained by dividing the communication content of communication between the terminal and the Web server. The communication monitoring recording / reproducing apparatus restores (reconstructs) communication contents such as an HTTP (HyperText Transfer Protocol) request or an HTTP reply from one or more intercepted packets, for example. The communication monitoring / recording / reproducing apparatus has a function of searching the recorded communication content according to a search condition designated by the user, for example, and displaying the searched communication content to the user.

このような通信監視記録再生装置において、対象となるネットワークを通る通信データを傍受し、当該傍受された通信データの種別に応じて分類すると共に、新たな検索データを付加して、解析結果データベースに格納する技術(以下、第1の先行技術と表記)が開示されている(例えば、特許文献1を参照)。この技術によれば、解析結果データベースに格納された解析結果データに基づいて対象となるネットワークを用いた通信の経過を容易かつ確実に確認することができる。   In such a communication monitoring / recording / reproducing apparatus, the communication data passing through the target network is intercepted and classified according to the type of the intercepted communication data, and new search data is added to the analysis result database. A storing technique (hereinafter referred to as a first prior art) is disclosed (for example, see Patent Document 1). According to this technology, it is possible to easily and reliably confirm the progress of communication using the target network based on the analysis result data stored in the analysis result database.

ところで、近年、ダイナミックHTML(Dynamic HyperText Markup Language)などを利用したWebページが増加している。このようなページにおいては、例えば端末において動作するブラウザ上でユーザがキーボードまたはマウス等を用いて操作を実行すると、当該ブラウザに表示されている画面イメージが動的に変化するという特徴がある。また、ユーザによるキー操作またはマウス操作とは非同期に、ブラウザとWebサーバ間で通信が行われるという特徴がある。   Incidentally, in recent years, Web pages using dynamic HTML (Dynamic HyperText Markup Language) and the like are increasing. Such a page has a feature that, for example, when a user performs an operation using a keyboard or a mouse on a browser operating on a terminal, a screen image displayed on the browser dynamically changes. Further, there is a feature that communication is performed between the browser and the Web server asynchronously with the key operation or the mouse operation by the user.

このようなダイナミックHTMLを利用したWebページを含む通信内容(コンテンツ)を再現しようとした場合には、例えば傍受されたパケットを利用しても当該Webページに対して実行されたキーボード操作またはマウス操作に関する操作情報なしでは動的に変化する画面イメージまでは再現することができず、当該Webページの初期画面(イメージ)しか再現することができない。   When communication contents (contents) including a Web page using such dynamic HTML are to be reproduced, for example, a keyboard operation or a mouse operation performed on the Web page even if an intercepted packet is used. Without the operation information on the screen, it is not possible to reproduce even the dynamically changing screen image, and only the initial screen (image) of the Web page can be reproduced.

例えばHTML文書の解析結果に基づき、Webページが複数のフレームで構成されている場合に、各フレームについての画像データを取得することにより、フレーム毎のWebページの動的な変化を適切に把握させる技術(以下、第2の先行技術と表記)が開示されている(例えば、特許文献2を参照)。   For example, based on the analysis result of an HTML document, when a web page is composed of a plurality of frames, by acquiring image data for each frame, the dynamic change of the web page for each frame can be properly grasped. A technique (hereinafter referred to as second prior art) is disclosed (for example, see Patent Document 2).

また、利用者の操作に伴い操作対象(Webページ)上で発生するイベント情報をもとにマクロを生成すると共に、操作対象や操作状況(Webページの内容)に適応したマクロ操作の実行を実現する技術(以下、第3の先行技術と表記)が開示されている(例えば、特許文献3を参照)。   In addition, a macro is generated based on event information generated on an operation target (Web page) in response to a user's operation, and execution of a macro operation adapted to the operation target and operation status (Web page contents) is realized. Technology (hereinafter referred to as third prior art) is disclosed (for example, see Patent Document 3).

また、例えばダイナミックHTMLを利用したWebページの変化を解析する技術(以下、第4の先行技術と表記)が開示されている(例えば、特許文献4を参照)。
国際公開02/29579号パンフレット 特開2005−266954号公報 特開2006−127117号公報 特開2007−172377号公報
Further, for example, a technique for analyzing a change in a Web page using dynamic HTML (hereinafter referred to as a fourth prior art) is disclosed (for example, see Patent Document 4).
International Publication No. 02/29579 Pamphlet JP 2005-266554 A JP 2006-127117 A JP 2007-172377 A

しかしながら、上記した第2の先行技術においては、操作情報を記録する操作情報記録部がブラウザの外側にあるため、当該操作情報記録部の起動を回避してブラウザを単独で動作させた場合には、ブラウザに対する操作情報を記録(収集)できない。また、第2の先行技術においては、フレーム等の情報を取得するためには操作情報記録部がHTMLページを解析する必要があるため、未知のスクリプトに対しては操作情報を記録できない。   However, in the second prior art described above, since the operation information recording unit for recording the operation information is outside the browser, when the browser is operated alone by avoiding activation of the operation information recording unit. , Operation information for the browser cannot be recorded (collected). In the second prior art, since the operation information recording unit needs to analyze the HTML page in order to acquire information such as a frame, the operation information cannot be recorded for an unknown script.

上記した第3の先行技術では、イベントの実行先であるオブジェクトの情報を得るために、イベント解析部がHTMLページを解析する必要があるため、未知のスクリプトに対してはイベント情報を記録できない。更に、第3の先行技術では、閲覧操作記録再生装置がブラウザを内蔵して一体化して構成されているため、異なるブラウザをインストールする際には既存のブラウザを変更する必要がある。   In the third prior art described above, since it is necessary for the event analysis unit to analyze the HTML page in order to obtain information about the object that is the execution destination of the event, event information cannot be recorded for an unknown script. Furthermore, in the third prior art, since the browsing operation recording / playback apparatus is configured integrally with a browser, it is necessary to change an existing browser when installing a different browser.

また、上記した第4の先行技術では、JAVASCRIPT(登録商標)の変数または状態を得るため、当該JAVASCRIPTに特化した構成となっている。このため、JAVASCRIPT以外の未知のスクリプトに対しては状態遷移を解析することができない。更に、第4の先行技術では、上記した第3の先行技術と同様に、ブラウザを内蔵して一体化して構成されているため、異なるブラウザをインストールする際には既存のブラウザを変更する必要がある。   In the fourth prior art described above, a JAVASCRIPT (registered trademark) variable or state is obtained in order to obtain a JAVASCRIPT specialized configuration. For this reason, state transition cannot be analyzed for an unknown script other than JAVASCRIPT. Further, in the fourth prior art, similarly to the third prior art described above, since the browser is built in and integrated, it is necessary to change the existing browser when installing a different browser. is there.

本発明の目的は、ユーザの操作に伴って動的に変化するようなコンテンツが端末に表示された場合であっても、当該端末の画面を再現することができる通信監視記録再生装置及び通信監視記録再生システムを提供することにある。   An object of the present invention is to provide a communication monitoring / recording / reproducing apparatus and communication monitoring capable of reproducing the screen of the terminal even when content that dynamically changes in accordance with a user operation is displayed on the terminal. It is to provide a recording / reproducing system.

本発明の1つの態様によれば、第1の端末及びサーバ間での通信内容が分割されたパケットを通信可能なネットワークに接続された通信監視記録再生装置が提供される。この通信監視記録再生装置は、前記ネットワーク上のパケットを収集するパケット収集手段と、前記第1の端末に表示された通信内容に対して当該第1の端末を利用してユーザが行った操作に関する操作情報を受信する操作情報受信手段と、前記パケット収集手段によって収集されたパケットから、前記通信内容を再構築するパケット解析手段と、前記パケット解析手段によって再構築された通信内容及び前記操作情報受信手段によって受信された操作情報を対応付けて格納する解析結果格納手段と、前記解析結果格納手段に格納されている前記再構築された通信内容及び当該再構築された通信内容に対応付けて前記解析結果格納手段に格納されている操作情報を、当該再構築された通信内容を表示する機能を有する第2の端末に送信する送信手段とを具備する。   According to one aspect of the present invention, there is provided a communication monitoring / recording / reproducing apparatus connected to a network capable of communicating a packet in which communication contents between a first terminal and a server are divided. The communication monitoring recording / reproducing apparatus relates to packet collection means for collecting packets on the network, and operations performed by a user using the first terminal for communication contents displayed on the first terminal. Operation information reception means for receiving operation information, packet analysis means for reconstructing the communication contents from the packets collected by the packet collection means, communication contents reconstructed by the packet analysis means, and reception of the operation information Analysis result storage means for storing the operation information received by the means in association with each other, the reconstructed communication content stored in the analysis result storage means and the analysis in association with the reconstructed communication content The operation information stored in the result storage means is transmitted to the second terminal having a function of displaying the reconstructed communication content. And means.

本発明によれば、ユーザの操作に伴って動的に変化するようなコンテンツが端末に表示された場合であっても、当該端末の画面を再現することを可能とする。   ADVANTAGE OF THE INVENTION According to this invention, even if it is a case where the content which changes dynamically with a user's operation is displayed on a terminal, it becomes possible to reproduce the screen of the said terminal.

以下、図面を参照して、本発明の各実施形態について説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

[第1の実施形態]
図1は、本発明の第1の実施形態に係る通信監視記録再生システムが接続されるネットワークシステムについて説明するための図である。
[First Embodiment]
FIG. 1 is a diagram for explaining a network system to which a communication monitoring recording / reproducing system according to a first embodiment of the present invention is connected.

本実施形態に係る通信監視記録再生システムは、複数の端末(第1の端末)、通信監視記録再生装置20及び管理サーバ(第2の端末)30を備える。複数の端末は、端末10を含む。なお、図1では便宜的に端末10以外の端末については省略されている。   The communication monitoring recording / reproducing system according to the present embodiment includes a plurality of terminals (first terminals), a communication monitoring recording / reproducing apparatus 20, and a management server (second terminal) 30. The plurality of terminals includes the terminal 10. In FIG. 1, terminals other than the terminal 10 are omitted for convenience.

端末10は、例えばインターネット40を介してWebサーバ50と接続されている。この端末10及びWebサーバ50間では、例えばHTTP(HyperText Transfer Protocol)による通信が実行される。この場合、端末10からWebサーバ50に対してHTTPリクエストが送信され、Webサーバ50から端末10に対して当該HTTPリクエストに対するレスポンス(応答)が返される。この一連の処理(の内容)を、1つの通信内容(1セッション)とする。このような通信により、端末10は、Webサーバ50から各種コンテンツを読み込むことができる。このWebサーバ50から読み込まれる各種コンテンツには、当該コンテンツのネットワーク上での位置を示すURL(Uniform Resource Locator)及び当該コンテンツのコンテンツタイプが含まれている。   The terminal 10 is connected to the Web server 50 via the Internet 40, for example. Communication between the terminal 10 and the Web server 50 is executed by, for example, HTTP (HyperText Transfer Protocol). In this case, an HTTP request is transmitted from the terminal 10 to the Web server 50, and a response (response) to the HTTP request is returned from the Web server 50 to the terminal 10. This series of processing (contents) is defined as one communication content (one session). Through such communication, the terminal 10 can read various contents from the Web server 50. Various contents read from the Web server 50 include a URL (Uniform Resource Locator) indicating the position of the content on the network and the content type of the content.

端末10には、例えばブラウザがインストールされており、Webサーバ50から読み込まれたコンテンツは当該ブラウザにより表示される。   For example, a browser is installed in the terminal 10, and content read from the Web server 50 is displayed by the browser.

通信監視記録再生装置20は、監視対象となるネットワーク(ネットワークセグメント)60により端末10と接続されている。通信監視記録再生装置20は、端末10を含む複数の端末及びWebサーバ50間での通信内容が分割されたパケット(パケットデータ)を、監視対象となるネットワーク60から収集する。このとき、通信監視記録再生装置20は、スイッチ70を介してパケットを収集する。通信監視記録再生装置20は、収集されたパケットから端末10及びWebサーバ50間での通信内容を再構築して記録(格納)する。   The communication monitoring recording / reproducing apparatus 20 is connected to the terminal 10 by a network (network segment) 60 to be monitored. The communication monitoring recording / reproducing apparatus 20 collects packets (packet data) obtained by dividing communication contents between a plurality of terminals including the terminal 10 and the Web server 50 from the network 60 to be monitored. At this time, the communication monitoring recording / reproducing apparatus 20 collects the packets via the switch 70. The communication monitoring recording / reproducing apparatus 20 reconstructs and records (stores) communication contents between the terminal 10 and the Web server 50 from the collected packets.

管理サーバ30には、例えばブラウザがインストールされている。管理サーバ30は、当該管理サーバ30を利用するユーザ(管理者)からの要求に応じて、通信監視記録再生装置20によって再構築された通信内容(コンテンツ)をブラウザにより当該ユーザに対して表示する。これにより、例えば端末10において表示されたコンテンツ(画面)が、管理サーバ30において再現される。   For example, a browser is installed in the management server 30. In response to a request from a user (administrator) who uses the management server 30, the management server 30 displays communication contents (contents) reconstructed by the communication monitoring recording / reproducing device 20 to the user by a browser. . Thereby, for example, the content (screen) displayed on the terminal 10 is reproduced on the management server 30.

図2は、図1に示す端末10の主として機能構成を示すブロック図である。図2に示すように、端末10は、操作情報収集条件テーブル11、操作情報取得部12、操作情報管理テーブル13及び操作情報送信部14を含む。   FIG. 2 is a block diagram mainly showing a functional configuration of the terminal 10 shown in FIG. As illustrated in FIG. 2, the terminal 10 includes an operation information collection condition table 11, an operation information acquisition unit 12, an operation information management table 13, and an operation information transmission unit 14.

ここで、操作情報取得部12及び操作情報送信部14は、端末10にインストールされているブラウザにプラグインとして動的に組み込まれる。つまり、端末10にインストールされているブラウザは、特別に用意したものではなく既存のブラウザをそのまま使用できる。このプラグインは、例えば端末10のブラウザを使用してWebページからダウンロードすることで、端末10のユーザが容易にブラウザに組み込むことが可能である。   Here, the operation information acquisition unit 12 and the operation information transmission unit 14 are dynamically incorporated as a plug-in in the browser installed in the terminal 10. That is, the browser installed in the terminal 10 is not specially prepared, and an existing browser can be used as it is. The plug-in can be easily incorporated into the browser by the user of the terminal 10 by downloading it from a web page using the browser of the terminal 10, for example.

操作情報収集条件テーブル11には、端末10を利用してユーザが行った操作に関する操作情報を取得(収集)する対象となるコンテンツ(通信内容)の条件(を示す情報)が予め保持される。操作情報収集条件テーブル11には、操作情報を取得する対象となるコンテンツの条件として、当該コンテンツのネットワーク上での位置を示すURL及び当該コンテンツのコンテンツタイプが対応付けて保持される。この操作情報収集条件テーブル11に保持される条件は、端末10にインストールされているブラウザの起動時、ユーザによって指定された時刻または不定期に更新される。この操作情報収集条件テーブル11の更新は、例えばユーザによって指定されたURLを読み込む、または管理サーバ30を利用するユーザ(管理者)によって指定されたURLを通信監視記録再生装置20から受信することにより実行される。   In the operation information collection condition table 11, conditions (information indicating) of contents (communication contents) that are targets for acquiring (collecting) operation information related to operations performed by the user using the terminal 10 are stored in advance. In the operation information collection condition table 11, a URL indicating the position of the content on the network and the content type of the content are stored in association with each other as a condition of the content for which the operation information is acquired. The conditions held in the operation information collection condition table 11 are updated at a time designated by the user or irregularly when the browser installed in the terminal 10 is activated. The operation information collection condition table 11 is updated by, for example, reading a URL specified by the user or receiving a URL specified by the user (administrator) using the management server 30 from the communication monitoring recording / reproducing apparatus 20. Executed.

操作情報取得部12は、端末10にインストールされているブラウザがWebサーバ50からWebページのようなコンテンツを読み込む際に、当該コンテンツに含まれるURL及びコンテンツタイプを取得する。操作情報取得部12は、取得されたURL及びコンテンツタイプが操作情報収集条件テーブル11に保持される条件に合致するか否かを判定する。   When the browser installed in the terminal 10 reads content such as a Web page from the Web server 50, the operation information acquisition unit 12 acquires the URL and content type included in the content. The operation information acquisition unit 12 determines whether or not the acquired URL and content type match the conditions held in the operation information collection condition table 11.

操作情報取得部12は、ブラウザにより読み込まれたコンテンツに対して端末10を利用してユーザが行う操作(イベント)が発生した場合、当該発生したイベントに関するイベント情報を取得する。操作情報取得部12は、ブラウザAPI(Application Program Interface)を介してイベント情報を取得する。発生するイベント(端末10を利用してユーザが行う操作)には例えばマウスイベント及びキーボードイベント等が含まれ、イベント情報には当該マウスイベント及びキーボードイベント等のイベント種別及びイベント発生時のマウスのカーソル位置等が含まれる。操作情報取得部12は、取得されたイベント情報に応じて、当該イベント情報を含む操作情報取得する。操作情報取得部12は、取得された操作情報を操作情報管理テーブル13に登録する。   When an operation (event) performed by the user using the terminal 10 with respect to the content read by the browser occurs, the operation information acquisition unit 12 acquires event information regarding the generated event. The operation information acquisition unit 12 acquires event information via a browser API (Application Program Interface). The generated events (operations performed by the user using the terminal 10) include, for example, mouse events and keyboard events, and the event information includes event types such as the mouse events and keyboard events, and the mouse cursor at the time of the event occurrence. Location etc. are included. The operation information acquisition unit 12 acquires operation information including the event information according to the acquired event information. The operation information acquisition unit 12 registers the acquired operation information in the operation information management table 13.

操作情報管理テーブル13は、操作情報取得部12によって取得された操作情報を保持する。操作情報管理テーブル13に保持される操作情報には、イベント(操作)の発生時刻、イベント情報(イベント種別、カーソル位置)及びDOM(Document Object Model)オブジェクト(情報)等が含まれる。DOMとはコンテンツ(Webページ)の構造を木構造で表現したものであり、DOMオブジェクトは、当該Webページ内の位置を特定するものである。つまり、このDOMオブジェクトにより、例えばユーザが端末10(マウスまたはキーボード)に対して操作を行った箇所(位置)が特定される。   The operation information management table 13 holds the operation information acquired by the operation information acquisition unit 12. The operation information held in the operation information management table 13 includes an event (operation) occurrence time, event information (event type, cursor position), DOM (Document Object Model) object (information), and the like. The DOM represents the structure of content (Web page) with a tree structure, and the DOM object specifies a position in the Web page. That is, the location (position) where the user has operated the terminal 10 (mouse or keyboard), for example, is specified by the DOM object.

操作情報送信部14は、操作情報管理テーブル13に予め定められた数の操作情報が登録されると、当該操作情報管理テーブル13に保持(登録)されている操作情報を、ネットワーク60を介して通信監視記録再生装置20に送信する。   When a predetermined number of pieces of operation information are registered in the operation information management table 13, the operation information transmission unit 14 transmits the operation information held (registered) in the operation information management table 13 via the network 60. It transmits to the communication monitoring recording / reproducing apparatus 20.

図3は、図1に示す通信監視記録再生装置20の主として機能構成を示すブロック図である。図3に示すように、通信監視記録再生装置20は、操作情報受信部21、パケット収集記録部22、パケット格納部23、パケット解析部24、解析結果記録再生部25及び解析結果格納部26を含む。   FIG. 3 is a block diagram mainly showing a functional configuration of the communication monitoring recording / reproducing apparatus 20 shown in FIG. As shown in FIG. 3, the communication monitoring recording / reproducing apparatus 20 includes an operation information receiving unit 21, a packet collection / recording unit 22, a packet storage unit 23, a packet analysis unit 24, an analysis result recording / reproduction unit 25, and an analysis result storage unit 26. Including.

操作情報受信部21は、端末10に含まれる操作情報送信部14によって送信された操作情報を受信する。   The operation information receiving unit 21 receives the operation information transmitted by the operation information transmitting unit 14 included in the terminal 10.

パケット収集記録部22は、通信監視記録再生装置20の監視対象となるネットワーク60上のパケットを収集する。パケット収集記録部22は、スイッチ70を介してパケットを収集する。この収集されたパケットは、端末10及びWebサーバ50間での通信の通信内容が分割されたデータのまとまりである。なお、1つの通信内容を構成するパケットの数は、例えば通信内容の容量により異なる。また、ネットワーク60上から収集されたパケットには、当該パケットを送信または受信した端末10に割り当てられたネットワークアドレス(IPアドレス:Internet Protocolアドレス)が含まれている。このネットワークアドレスにより、ネットワーク上から収集されたパケットを送信または受信した端末を特定することができる。   The packet collection / recording unit 22 collects packets on the network 60 to be monitored by the communication monitoring recording / reproducing apparatus 20. The packet collection / recording unit 22 collects packets via the switch 70. This collected packet is a collection of data obtained by dividing the communication content of communication between the terminal 10 and the Web server 50. Note that the number of packets constituting one communication content varies depending on the communication content capacity, for example. Further, the packet collected from the network 60 includes a network address (IP address: Internet Protocol address) assigned to the terminal 10 that has transmitted or received the packet. With this network address, it is possible to identify a terminal that has transmitted or received a packet collected from the network.

パケット収集記録部22は、操作情報受信部21によって受信された操作情報と共に、収集されたパケットをパケット格納部23に格納する。また、パケット収集記録部22は、操作情報受信部21によって受信された操作情報及び収集されたパケットをパケット解析部24に送信する。   The packet collection / recording unit 22 stores the collected packets in the packet storage unit 23 together with the operation information received by the operation information receiving unit 21. The packet collection / recording unit 22 transmits the operation information received by the operation information receiving unit 21 and the collected packets to the packet analysis unit 24.

パケット解析部24は、パケット収集記録部22によって送信された1つ乃至複数のパケットを解析することによって、当該1つ乃至複数のパケットから1つの通信内容を再構築する。このとき、パケット解析部24は、パケットの各々に含まれるポート番号に基づいて通信内容を再構築する。これにより、パケット解析部24は、例えばHTTPリクエストまたはHTTPリプライ(コンテンツ)を取り出し、パケット収集記録部22によって送信された操作情報と共に解析結果記録再生部25に送信する。   The packet analysis unit 24 reconstructs one communication content from the one or more packets by analyzing the one or more packets transmitted by the packet collection and recording unit 22. At this time, the packet analysis unit 24 reconstructs the communication content based on the port number included in each packet. Thereby, the packet analysis unit 24 extracts, for example, an HTTP request or an HTTP reply (content), and transmits it to the analysis result recording / reproducing unit 25 together with the operation information transmitted by the packet collection / recording unit 22.

解析結果記録再生部25は、パケット解析部24によって送信されたコンテンツ及び操作情報を対応付けて解析結果格納部26に格納する。また、解析結果記録再生部25は、例えばユーザによって指定された検索条件に応じて、当該検索条件に合致するコンテンツを解析結果格納部26から検索する機能を有する。解析結果記録再生部25は、検索結果となるコンテンツ及び当該コンテンツに対応付けられている操作情報を、当該コンテンツを表示する機能を有する管理サーバ30に送信する。   The analysis result recording / playback unit 25 stores the content and operation information transmitted by the packet analysis unit 24 in association with each other in the analysis result storage unit 26. The analysis result recording / playback unit 25 has a function of searching the analysis result storage unit 26 for content that matches the search condition, for example, according to the search condition specified by the user. The analysis result recording / playback unit 25 transmits the content that is the search result and the operation information associated with the content to the management server 30 that has a function of displaying the content.

図4は、図1に示す管理サーバ30の主として機能構成を示すブロック図である。図4に示すように、管理サーバ30は、コンテンツ受信部31、操作情報受信部32、イベント生成部33及び通信内容再現部34を含む。   FIG. 4 is a block diagram mainly showing a functional configuration of the management server 30 shown in FIG. As shown in FIG. 4, the management server 30 includes a content reception unit 31, an operation information reception unit 32, an event generation unit 33, and a communication content reproduction unit 34.

ここで、コンテンツ受信部31、操作情報受信部32、イベント生成部33及び通信内容再現部34は、管理サーバ30にインストールされているブラウザにプラグインとして動的に組み込まれる。つまり、管理サーバ30にインストールされているブラウザは、特別に用意したものではなく既存のブラウザをそのまま使用できる。このプラグインは、例えば管理サーバ30のブラウザを使用してWebページからダウンロードすることで、管理サーバ30のユーザが容易にブラウザに組み込むことが可能である。   Here, the content reception unit 31, the operation information reception unit 32, the event generation unit 33, and the communication content reproduction unit 34 are dynamically incorporated as plug-ins in the browser installed in the management server 30. That is, the browser installed in the management server 30 is not specially prepared, and an existing browser can be used as it is. This plug-in can be easily incorporated into a browser by the user of the management server 30 by downloading it from a Web page using the browser of the management server 30, for example.

コンテンツ受信部31は、通信監視記録再生装置20に含まれる解析結果記録再生部25によって送信されたコンテンツ(再構築された通信内容)を受信する。   The content receiving unit 31 receives the content (reconstructed communication content) transmitted by the analysis result recording / reproducing unit 25 included in the communication monitoring recording / reproducing device 20.

操作情報受信部32は、通信監視記録再生装置20に含まれる解析結果記録再生部25によって送信された操作情報を受信する。   The operation information receiving unit 32 receives the operation information transmitted by the analysis result recording / reproducing unit 25 included in the communication monitoring recording / reproducing device 20.

イベント生成部33は、操作情報受信部32によって受信された操作情報に含まれるイベント種別に応じたイベントを生成する。   The event generation unit 33 generates an event corresponding to the event type included in the operation information received by the operation information reception unit 32.

通信内容再現部34は、コンテンツ受信部31によって受信されたコンテンツから、管理サーバ30にインストールされているブラウザに初期画面イメージを表示する。また、通信内容再現部34は、操作情報受信部32によって受信された操作情報に含まれるブラウザのDOMオブジェクトに対して、ブラウザAPIを介してイベント生成部33によって生成されたイベントを送信する。これにより、通信内容再現部34は、表示された初期画面イメージに対してユーザが端末10を利用して実行された操作を発生させることで、当該端末10に表示された画面を管理サーバ30のブラウザに再現する。   The communication content reproduction unit 34 displays an initial screen image on the browser installed in the management server 30 from the content received by the content reception unit 31. In addition, the communication content reproduction unit 34 transmits the event generated by the event generation unit 33 via the browser API to the browser DOM object included in the operation information received by the operation information reception unit 32. As a result, the communication content reproduction unit 34 generates an operation performed by the user using the terminal 10 on the displayed initial screen image, so that the screen displayed on the terminal 10 is displayed on the management server 30. Reproduce in the browser.

図5は、図2に示す操作情報収集条件テーブル11のデータ構造の一例を示す。図5に示すように、操作情報収集条件テーブル11には、URL及びコンテンツタイプが保持されている。   FIG. 5 shows an example of the data structure of the operation information collection condition table 11 shown in FIG. As shown in FIG. 5, the operation information collection condition table 11 holds a URL and a content type.

図5に示す例では、操作情報収集条件テーブル11には、URL「http://aa.bb.cc」及びコンテンツタイプ「application/javascript」が保持されている。また、操作情報収集条件テーブル11には、URL「http://dd.ee.ff/xx/yy」及びコンテンツタイプ「application/javascript」が保持されている。   In the example illustrated in FIG. 5, the operation information collection condition table 11 holds a URL “http://aa.bb.cc” and a content type “application / javascript”. The operation information collection condition table 11 holds a URL “http: //dd.ee.ff/xx/yy” and a content type “application / javascript”.

図6は、図2に示す操作情報管理テーブル13に保持される操作情報のデータ構造の一例を示す。図6に示すように、操作情報には、時刻、イベント種別、カーソル位置、DOMオブジェクト、キーコードが含まれる。時刻は、イベントが発生した時刻を示す。イベント種別は、例えばキーボードイベントまたはマウスイベント等のイベントの種別を示す。カーソル位置は、イベント発生時のマウスカーソル位置を示す。DOMオブジェクトは、イベントが発生した箇所を特定するものである。キーコードは、発生したイベント種別がキーボードイベントである場合のキーコードを示す。   FIG. 6 shows an example of the data structure of the operation information held in the operation information management table 13 shown in FIG. As shown in FIG. 6, the operation information includes time, event type, cursor position, DOM object, and key code. The time indicates the time when the event occurred. The event type indicates the type of event such as a keyboard event or a mouse event. The cursor position indicates the mouse cursor position when the event occurs. The DOM object specifies a location where an event has occurred. The key code indicates a key code when the event type that has occurred is a keyboard event.

図6に示す例では、操作情報131には、時刻「2007/09/03 9:00:00.1234」、イベント種別「右マウスクリック」、カーソル位置「100,200」及びDOMオブジェクト「div test」が含まれている。この場合、イベント種別が「右マウスクリック」であることから、発生したイベントはマウスイベントである。よって、操作情報131には、キーコードは含まれない。   In the example illustrated in FIG. 6, the operation information 131 includes the time “2007/09/03 9: 00: 00.1234”, the event type “right mouse click”, the cursor position “100, 200”, and the DOM object “div test”. "It is included. In this case, since the event type is “right mouse click”, the generated event is a mouse event. Therefore, the operation information 131 does not include a key code.

また、操作情報132には、時刻「2007/09/03 9:00:01.3456」、イベント種別「キープレス」、カーソル位置「100,200」、DOMオブジェクト「div test」及びキーコード「32」が含まれている。   Further, the operation information 132 includes a time “2007/09/03 9: 00: 01.3456”, an event type “key press”, a cursor position “100, 200”, a DOM object “div test”, and a key code “32”. "It is included.

次に、図7のフローチャートを参照して、端末10の処理手順について説明する。まず、操作情報取得部12は、端末10のブラウザがWebサーバ50からコンテンツを読み込む際に、当該コンテンツに含まれるURL及びコンテンツタイプを取得する(ステップS1)。   Next, the processing procedure of the terminal 10 will be described with reference to the flowchart of FIG. First, when the browser of the terminal 10 reads content from the Web server 50, the operation information acquisition unit 12 acquires the URL and content type included in the content (step S1).

操作情報取得部12は、取得されたURL及びコンテンツタイプが操作情報収集条件テーブル11に保持されているか否かを判定する(ステップS2)。   The operation information acquisition unit 12 determines whether or not the acquired URL and content type are held in the operation information collection condition table 11 (step S2).

取得されたURL及びコンテンツタイプが操作情報収集条件テーブル11に保持されていると判定された場合(ステップS2のYES)、操作情報取得部12は、端末10のブラウザにより読み込まれたコンテンツの操作情報収集選択フラグをONに設定する(ステップS3)。   When it is determined that the acquired URL and content type are stored in the operation information collection condition table 11 (YES in step S2), the operation information acquisition unit 12 operates the operation information of the content read by the browser of the terminal 10 The collection selection flag is set to ON (step S3).

ここで、例えばユーザがブラウザ(に表示されているコンテンツ)に対して操作を行った場合、またはWebページの読み込みが完了した場合などに、ブラウザ内でイベントが発生する。イベントが発生すると、ブラウザAPIを介して操作情報取得部12に対してイベントの発生が通知される(ステップS4)。   Here, for example, an event occurs in the browser when the user performs an operation on the browser (content displayed in the browser) or when the reading of the Web page is completed. When an event occurs, the occurrence of the event is notified to the operation information acquisition unit 12 via the browser API (step S4).

操作情報取得部12は、イベントの発生が通知されると、当該イベントが発生したコンテンツの操作情報収集選択フラグがONであるか否かを判定する(ステップS5)。   When the occurrence of the event is notified, the operation information acquisition unit 12 determines whether or not the operation information collection selection flag of the content in which the event has occurred is ON (step S5).

操作情報収集選択フラグがONであると判定された場合(ステップS5のYES)、ブラウザからキーボードイベントまたはマウスイベント等のイベント情報を取得する。このイベント情報には、キーボードイベントまたはマウスイベント等を示すイベント種別及びカーソル位置が含まれる。   If it is determined that the operation information collection selection flag is ON (YES in step S5), event information such as a keyboard event or a mouse event is acquired from the browser. This event information includes an event type indicating a keyboard event or a mouse event, and a cursor position.

操作情報取得部12は、取得されたイベント情報に応じて当該イベント情報を含む操作情報を取得する(ステップS6)。操作情報取得部12は、操作情報をブラウザAPIを介して取得する。操作情報取得部12は、例えば取得されたイベント情報がキーボードイベントである場合、イベント発生時刻、キーボードのプレスまたはリリースイベント、キーコード情報、キーボードイベント発生時のマウスカーソル位置及びDOMオブジェクトを操作情報として取得する。また、操作情報取得部12は、例えば取得されたイベント情報がマウスイベントである場合、イベント発生時刻、マウスのクリック、移動イベント、マウスイベント発生時のマウスカーソル位置及びDOMオブジェクトを操作情報として取得する。マウスのクリックには、例えばダブルクリックまたはリリース等が含まれる。また、操作情報取得部12は、例えば取得されたイベント情報がキーボードイベント及びマウスイベント以外のイベントである場合には、例えばイベント発生時刻及びイベント種別等を操作情報として取得する。   The operation information acquisition unit 12 acquires operation information including the event information according to the acquired event information (step S6). The operation information acquisition unit 12 acquires operation information via a browser API. For example, when the acquired event information is a keyboard event, the operation information acquisition unit 12 uses the event occurrence time, the keyboard press or release event, the key code information, the mouse cursor position when the keyboard event occurs, and the DOM object as the operation information. get. For example, when the acquired event information is a mouse event, the operation information acquisition unit 12 acquires an event occurrence time, a mouse click, a movement event, a mouse cursor position at the time of the mouse event occurrence, and a DOM object as operation information. . The mouse click includes, for example, double click or release. For example, when the acquired event information is an event other than a keyboard event and a mouse event, the operation information acquisition unit 12 acquires, for example, the event occurrence time and the event type as the operation information.

操作情報取得部12は、取得された操作情報を操作情報管理テーブル13に登録する(ステップS7)。このとき、操作情報取得部12は、操作情報に含まれるイベント種別によっては、全ての操作情報を登録するのではなく、一部の操作情報を登録する、または複数の操作情報を1つにまとめて登録するように選択する設定も可能である。例えば、マウス移動イベントの場合、移動を開始した始点と、移動を終了した終点のイベントから移動距離を計算し、複数の移動イベントをまとめて1つの操作情報として操作情報管理テーブル13に登録する構成でも構わない。   The operation information acquisition unit 12 registers the acquired operation information in the operation information management table 13 (step S7). At this time, depending on the event type included in the operation information, the operation information acquisition unit 12 does not register all the operation information but registers a part of the operation information or collects a plurality of operation information into one. It is also possible to select to register. For example, in the case of a mouse movement event, a structure in which a movement distance is calculated from an event at the start point of movement and an end point event at the end of movement, and a plurality of movement events are collectively registered in the operation information management table 13 as one piece of operation information. It doesn't matter.

次に、操作情報送信部14は、操作情報管理テーブル13の操作情報の登録数が閾値以上であるか否かを判定する(ステップS8)。   Next, the operation information transmission unit 14 determines whether or not the number of registered operation information in the operation information management table 13 is equal to or greater than a threshold (step S8).

操作情報の登録数が閾値以上であると判定された場合(ステップS8のYES)、操作情報送信部14は、操作情報管理テーブル13に登録(保持)されている操作情報を、ネットワーク60経由で、通信監視記録再生装置20に送信する(ステップS9)。操作情報の送信に際しては、トラフィック量を削減するために、当該操作情報を圧縮して送信することも可能である。また、通信監視記録再生装置20への送信が失敗した場合には、一時的に端末10のディスク等に保存し、後で再送する構成であっても構わない。   When it is determined that the number of registered operation information is equal to or greater than the threshold (YES in step S8), the operation information transmitting unit 14 transmits the operation information registered (held) in the operation information management table 13 via the network 60. Then, the data is transmitted to the communication monitoring recording / reproducing apparatus 20 (step S9). When transmitting the operation information, the operation information can be compressed and transmitted in order to reduce the traffic volume. In addition, when transmission to the communication monitoring recording / reproducing apparatus 20 fails, a configuration may be adopted in which data is temporarily stored in a disk or the like of the terminal 10 and retransmitted later.

操作情報送信部14は、操作情報が通信監視記録再生装置20に送信されると、操作情報管理テーブル13に保持されている操作情報を当該操作情報管理テーブル13から削除(クリア)する(ステップS10)。   When the operation information is transmitted to the communication monitoring recording / reproducing device 20, the operation information transmitting unit 14 deletes (clears) the operation information held in the operation information management table 13 from the operation information management table 13 (step S10). ).

一方、ステップS2においてURL及びコンテンツタイプが操作情報収集条件テーブル11に保持されていないと判定された場合、端末10のブラウザにより読み込まれたコンテンツの操作情報収集選択フラグをOFFに設定する(ステップS11)。ステップS11の処理が実行されると、ステップS4の処理が実行される。   On the other hand, if it is determined in step S2 that the URL and content type are not held in the operation information collection condition table 11, the operation information collection selection flag of the content read by the browser of the terminal 10 is set to OFF (step S11). ). When the process of step S11 is executed, the process of step S4 is executed.

また、ステップS5において操作情報収集選択フラグがONでない、つまりOFFであると判定された場合には処理が終了される。また、ステップS8において操作情報の登録数が閾値以上でないと判定された場合には処理が終了される。   If it is determined in step S5 that the operation information collection selection flag is not ON, that is, it is determined to be OFF, the process ends. If it is determined in step S8 that the registered number of operation information is not equal to or greater than the threshold value, the process ends.

次に、図8のフローチャートを参照して、通信監視記録再生装置20の処理手順について説明する。   Next, the processing procedure of the communication monitoring recording / reproducing apparatus 20 will be described with reference to the flowchart of FIG.

まず、パケット収集記録部22は、ネットワーク60上のパケットを収集する(ステップS21)。   First, the packet collection recording unit 22 collects packets on the network 60 (step S21).

次に、操作情報受信部21は、端末10に含まれる操作情報送信部14によって送信された操作情報を受信する(ステップS22)。   Next, the operation information receiving unit 21 receives the operation information transmitted by the operation information transmitting unit 14 included in the terminal 10 (step S22).

パケット収集記録部22は、収集されたパケットを、操作情報受信部21によって受信された操作情報と共にパケット格納部23に格納する(ステップS23)。また、パケット収集記録部22は、収集されたパケット及び操作情報受信部21によって受信された操作情報をパケット解析部24に送信する。   The packet collection recording unit 22 stores the collected packets in the packet storage unit 23 together with the operation information received by the operation information reception unit 21 (step S23). Further, the packet collection / recording unit 22 transmits the collected packets and the operation information received by the operation information receiving unit 21 to the packet analysis unit 24.

ここで、図9は、パケット格納部23に格納されたパケット及び操作情報について説明するための図である。   Here, FIG. 9 is a diagram for explaining a packet and operation information stored in the packet storage unit 23.

図9に示すように、パケット格納部23には、HTTPパケット231、操作情報232〜234及びHTTPパケット235が格納されている。HTTPパケット231及びHTTPパケット235は、HTTP通信によるパケットであり、パケット収集記録部22によって収集されたパケットである。また、操作情報232〜234は、操作情報受信部21によって受信された操作情報である。   As shown in FIG. 9, the packet storage unit 23 stores an HTTP packet 231, operation information 232 to 234, and an HTTP packet 235. The HTTP packet 231 and the HTTP packet 235 are packets by HTTP communication and are packets collected by the packet collection recording unit 22. The operation information 232 to 234 is operation information received by the operation information receiving unit 21.

図9に示すように、パケット収集記録部22によって収集されたパケット(HTTPパケット231及びHTTPパケット235)及び操作情報受信部21によって受信された操作情報(操作情報232〜234)は、例えば収集または受信された順、つまり時系列的にパケット格納部23に格納される。   As shown in FIG. 9, the packets (HTTP packet 231 and HTTP packet 235) collected by the packet collection and recording unit 22 and the operation information (operation information 232 to 234) received by the operation information receiving unit 21 are collected or The packets are stored in the packet storage unit 23 in the order received, that is, in time series.

再び図8に戻ると、パケット解析部24は、パケット収集記録部22によって送信された1つ乃至複数のパケットを解析することによって、当該1つ乃至複数のパケットから1つの通信内容(コンテンツ)の再構築を行う(ステップS24)。このとき、パケット解析部24は、再構築されたコンテンツからHTTPリクエストまたはHTTPリプライを取り出す。(ステップS24)。パケット解析部24は、再構築されたコンテンツ(HTTPリクエストまたはHTTPリプライ)及びパケット収集記録部22によって送信された操作情報を解析結果記録再生部25に送信する。この操作情報は、再構築されたコンテンツに対して発生したイベント情報を含む操作情報である。   Returning to FIG. 8 again, the packet analysis unit 24 analyzes one or more packets transmitted by the packet collection / recording unit 22, and thereby transmits one communication content (content) from the one or more packets. Reconstruction is performed (step S24). At this time, the packet analysis unit 24 extracts an HTTP request or an HTTP reply from the reconstructed content. (Step S24). The packet analysis unit 24 transmits the reconstructed content (HTTP request or HTTP reply) and the operation information transmitted by the packet collection / recording unit 22 to the analysis result recording / playback unit 25. This operation information is operation information including event information generated for the reconstructed content.

解析結果記録再生部25は、パケット解析部24によって送信されたコンテンツ及び操作情報を対応付けて解析結果格納部26に格納する。   The analysis result recording / playback unit 25 stores the content and operation information transmitted by the packet analysis unit 24 in association with each other in the analysis result storage unit 26.

ここで、解析結果格納部26に格納されているコンテンツを検索するために、ユーザによって検索条件が指定された場合を想定する。なお、この検索条件は、例えば管理サーバ30を利用するユーザが当該管理サーバ30を操作することによって指定される。この場合、解析結果記録再生部25は、ユーザによって指定された検索条件に合致するコンテンツを解析結果格納部26から検索する(ステップS25)。また、解析結果記録再生部25は、検索されたコンテンツに対応付けて解析結果格納部26に格納されている操作情報を取得する。   Here, it is assumed that a search condition is specified by the user in order to search the content stored in the analysis result storage unit 26. This search condition is specified by, for example, a user using the management server 30 operating the management server 30. In this case, the analysis result recording / playback unit 25 searches the analysis result storage unit 26 for content that matches the search condition specified by the user (step S25). Further, the analysis result recording / reproducing unit 25 acquires operation information stored in the analysis result storage unit 26 in association with the searched content.

解析結果記録再生部25は、検索されたコンテンツ及び取得された操作情報を管理サーバ30に送信する(ステップS26)。   The analysis result recording / playback unit 25 transmits the searched content and the acquired operation information to the management server 30 (step S26).

次に、図10のフローチャートを参照して、管理サーバ30の処理手順について説明する。   Next, the processing procedure of the management server 30 will be described with reference to the flowchart of FIG.

ここで、管理サーバ30において通信内容(コンテンツ)を再生(再現)する場合には、上記したように管理サーバ30を利用するユーザが通信監視記録再生装置20に含まれる解析結果格納部26に格納されているコンテンツを検索するための検索条件を指定する。この場合、ユーザによって指定された検索条件は通信監視記録再生装置20に通知され、当該検索条件に対する応答として当該検索条件に合致するコンテンツ及び当該コンテンツに対応付けられている操作情報が送信される。管理サーバ30では、通信監視記録再生装置20によって送信されたコンテンツ及び操作情報に基づいて再生処理が実行される。   Here, when the communication content (content) is reproduced (reproduced) in the management server 30, the user using the management server 30 stores it in the analysis result storage unit 26 included in the communication monitoring recording / reproducing apparatus 20 as described above. Specify the search conditions for searching the content that has been added. In this case, the search condition specified by the user is notified to the communication monitoring recording / reproducing apparatus 20, and the content that matches the search condition and the operation information associated with the content are transmitted as a response to the search condition. In the management server 30, the reproduction process is executed based on the content and the operation information transmitted by the communication monitoring recording / reproducing apparatus 20.

まず、コンテンツ受信部31は、通信監視記録再生装置20に含まれる解析結果記録再生部25によって送信されたコンテンツを受信する(ステップS31)。   First, the content receiving unit 31 receives the content transmitted by the analysis result recording / reproducing unit 25 included in the communication monitoring recording / reproducing device 20 (step S31).

次に、通信内容再現部34は、コンテンツ受信部31によって受信されたコンテンツから、管理サーバ30のブラウザに初期画面イメージを表示する(ステップS32)。   Next, the communication content reproduction unit 34 displays an initial screen image on the browser of the management server 30 from the content received by the content reception unit 31 (step S32).

操作情報受信部32は、通信監視記録再生装置20に含まれる解析結果記録再生部25によって送信された操作情報を受信する(ステップS33)。   The operation information receiving unit 32 receives the operation information transmitted by the analysis result recording / reproducing unit 25 included in the communication monitoring recording / reproducing device 20 (step S33).

イベント生成部33は、操作情報受信部32によって受信された操作情報を読み込み、当該操作情報に含まれるイベント種別に応じたイベントを生成する(ステップS34)。例えばイベント種別がキーボードイベントの場合、操作情報受信部32によって受信された操作情報に含まれるキーボードのプレスまたはリリースイベント、及びキーコードに基づいてイベントを生成する。一方、例えばイベント種別がマウスイベントの場合、操作情報受信部32によって受信された操作情報に含まれるマウスのクリック、移動イベント、マウスイベントが発生した時点でのマウスカーソル位置に基づいてイベントを生成する。また、キーボードイベント及びマウスイベント以外のイベントの場合には、操作情報受信部32によって受信された操作情報に含まれるイベント種別に応じたイベントを生成する。   The event generation unit 33 reads the operation information received by the operation information reception unit 32, and generates an event corresponding to the event type included in the operation information (step S34). For example, when the event type is a keyboard event, an event is generated based on a keyboard press or release event and a key code included in the operation information received by the operation information receiving unit 32. On the other hand, for example, when the event type is a mouse event, an event is generated based on the mouse click, movement event, and mouse cursor position when the mouse event occurs included in the operation information received by the operation information receiving unit 32. . In the case of an event other than a keyboard event and a mouse event, an event corresponding to the event type included in the operation information received by the operation information receiving unit 32 is generated.

通信内容再現部34は、操作情報受信部32によって受信された操作情報に含まれるDOMオブジェクトをもとに、ブラウザAPIを介して対象のDOMオブジェクトに対してイベント生成部33によって生成されたイベントを送信する(ステップS35)。イベントが送信されると、上記したステップS32において表示された初期画面イメージ(コンテンツ)に対して端末10を利用してユーザが行った操作(イベント)を発生させることができる。これにより、発生したイベントに応じて動的に変化する画面イメージを再現することができる。   Based on the DOM object included in the operation information received by the operation information reception unit 32, the communication content reproduction unit 34 generates an event generated by the event generation unit 33 for the target DOM object via the browser API. Transmit (step S35). When the event is transmitted, an operation (event) performed by the user using the terminal 10 can be generated with respect to the initial screen image (content) displayed in step S32 described above. Thereby, it is possible to reproduce a screen image that dynamically changes according to the event that has occurred.

通信内容再現部34によってイベントが送信されると、操作情報受信部32によって受信された操作情報に含まれる時刻に応じて、次のイベント発生までの時間間隔(イベント間隔)の後、次のイベントを送信する。これにより、端末10において発生したイベントと同様の間隔でイベントを発生させることで、当該端末10のブラウザに表示されていたコンテンツ(通信内容)と同様の速度で画面遷移を再現することができる。   When the event is transmitted by the communication content reproduction unit 34, the next event is performed after the time interval (event interval) until the next event occurrence according to the time included in the operation information received by the operation information receiving unit 32. Send. Thereby, by causing an event to occur at the same interval as the event that occurred in the terminal 10, it is possible to reproduce the screen transition at the same speed as the content (communication content) displayed on the browser of the terminal 10.

なお、通信内容を再現する際には、必ずしも操作情報に含まれる時刻と同じ時刻(速度)で再現する必要はなく、例えば記録されている時間間隔の1/2の時間間隔でイベントを送信することにより、2倍の速度で画面遷移を再現することも可能である。   Note that when reproducing communication contents, it is not always necessary to reproduce at the same time (speed) as the time included in the operation information. For example, an event is transmitted at a time interval that is ½ of the recorded time interval. Thus, it is possible to reproduce the screen transition at twice the speed.

上記したように本実施形態においては、パケットと共にユーザが端末10に対して実行した操作に関する操作情報が収集され、記録(格納)される。本実施形態においては、再構築された通信内容(コンテンツ)が再現される際には、当該コンテンツ及び操作情報が管理サーバ30に送信される。これにより、管理サーバ30においては、操作情報に基づいて生成されたイベントが当該操作情報に含まれるDOMオブジェクトに送信されるので、コンテンツの再現時に当該DOMオブジェクトによって特定される箇所において発生したイベント(操作)を再現することができる。したがって、本実施形態においては、コンテンツまたはスクリプトを解析することなく、ユーザのキーボード操作またはマウス操作によってブラウザに表示される画面が動的に変化するダイナミックHTMLのようなコンテンツが端末10において表示された場合であっても、当該端末10のブラウザに表示された画面を再現することが可能となる。   As described above, in the present embodiment, the operation information related to the operation performed on the terminal 10 by the user is collected and recorded (stored) together with the packet. In the present embodiment, when the reconstructed communication content (content) is reproduced, the content and operation information are transmitted to the management server 30. Thereby, in the management server 30, since the event generated based on the operation information is transmitted to the DOM object included in the operation information, the event (at the location specified by the DOM object at the time of reproducing the content ( Operation) can be reproduced. Therefore, in this embodiment, content such as dynamic HTML in which the screen displayed on the browser is dynamically changed by the user's keyboard operation or mouse operation is displayed on the terminal 10 without analyzing the content or script. Even in such a case, the screen displayed on the browser of the terminal 10 can be reproduced.

[第2の実施形態]
次に、図11〜図13を参照して、本発明の第2の実施形態に係る通信監視記録再生システムについて説明する。
[Second Embodiment]
Next, a communication monitoring recording / reproducing system according to the second embodiment of the present invention will be described with reference to FIGS.

本実施形態に係る通信監視記録再生システムは、前述した第1の実施形態の端末10、通信監視記録再生装置20及び管理サーバ30に代えて、端末(第1の端末)100、通信監視記録再生装置200及び管理サーバ(第2の端末)30を備える。なお、本実施形態に係る通信監視記録再生システムが接続されるネットワークシステムについては、前述した第1の実施形態と同様であるため、図1を用いて説明する。   The communication monitoring recording / reproducing system according to the present embodiment replaces the terminal 10, the communication monitoring recording / reproducing apparatus 20, and the management server 30 of the first embodiment described above with a terminal (first terminal) 100, a communication monitoring recording / reproducing system. An apparatus 200 and a management server (second terminal) 30 are provided. The network system to which the communication monitoring recording / reproducing system according to the present embodiment is connected is the same as that of the first embodiment described above, and will be described with reference to FIG.

図11は、本実施形態に係る通信監視記録再生システムを構成する端末100の主として機能構成を示すブロック図である。なお、端末100には、前述した第1の実施形態の端末10と同様に、例えばブラウザがインストールされており、Webサーバ50から読み込まれたコンテンツは当該ブラウザにより表示される。   FIG. 11 is a block diagram mainly showing a functional configuration of the terminal 100 constituting the communication monitoring recording / reproducing system according to the present embodiment. Note that, for example, a browser is installed in the terminal 100 as in the terminal 10 of the first embodiment described above, and content read from the Web server 50 is displayed by the browser.

図11に示すように、端末100は、イメージ収集条件テーブル101、イメージ取得部102、イメージ管理テーブル103及びイメージ送信部104を含む。   As illustrated in FIG. 11, the terminal 100 includes an image collection condition table 101, an image acquisition unit 102, an image management table 103, and an image transmission unit 104.

ここで、イメージ取得部102及びイメージ送信部104は、端末100にインストールされているブラウザにプラグインとして動的に組み込まれている。   Here, the image acquisition unit 102 and the image transmission unit 104 are dynamically incorporated as plug-ins in a browser installed in the terminal 100.

イメージ収集条件テーブル101には、端末10(の画面)にコンテンツ(通信内容)が表示されている場合に、その画面イメージを取得(収集)する対象となるコンテンツの条件(を示す情報)が予め保持される。イメージ収集条件テーブル101には、画面イメージを取得する対象となるコンテンツの条件として、当該コンテンツのネットワーク上での位置を示すURL及び当該コンテンツのコンテンツタイプが対応付けて保持される。つまり、イメージ収集条件テーブル101のデータ構造自体は、前述した第1の実施形態の操作情報収集条件テーブル11と同様であるため、その詳しい説明は省略する。   In the image collection condition table 101, when content (communication content) is displayed on the terminal 10 (screen), the condition (information indicating the content) for which the screen image is to be acquired (collected) is stored in advance. Retained. In the image collection condition table 101, a URL indicating the position of the content on the network and the content type of the content are held in association with each other as a condition of the content for which the screen image is acquired. That is, since the data structure itself of the image collection condition table 101 is the same as the operation information collection condition table 11 of the first embodiment described above, detailed description thereof is omitted.

イメージ取得部102は、端末100にインストールされているブラウザがWebサーバ50からコンテンツを読み込む際に、当該コンテンツに含まれるURL及びコンテンツタイプを取得する。イメージ取得部102は、取得されたURL及びコンテンツタイプがイメージ収集条件テーブル101に保持される条件に合致するか否かを判定する。   When the browser installed in the terminal 100 reads content from the Web server 50, the image acquisition unit 102 acquires the URL and content type included in the content. The image acquisition unit 102 determines whether the acquired URL and content type match the conditions held in the image collection condition table 101.

イメージ取得部102は、ブラウザにより読み込まれたコンテンツに対して端末100を利用してユーザが行う操作(イベント)が発生した場合、当該発生したイベントに関するイベント情報を取得する。イメージ取得部102は、取得されたイベント情報に応じて、端末100に表示されているコンテンツの画面イメージを示す画面イメージ情報を取得する。つまり、イメージ取得部102は、発生したイベントに応じて動的に変化した(更新された)画面イメージを示す画面イメージ情報を取得する。この画面イメージ情報には、コンテンツに対して発生したイベント情報を含む。イメージ取得部102は、ブラウザAPIを介して画面イメージ情報を取得する。イメージ取得部102は、取得された画面イメージ情報をイメージ管理テーブル103に登録する。   When an operation (event) performed by the user using the terminal 100 with respect to the content read by the browser occurs, the image acquisition unit 102 acquires event information regarding the generated event. The image acquisition unit 102 acquires screen image information indicating the screen image of the content displayed on the terminal 100 according to the acquired event information. That is, the image acquisition unit 102 acquires screen image information indicating a screen image that has dynamically changed (updated) according to the event that has occurred. This screen image information includes event information generated for the content. The image acquisition unit 102 acquires screen image information via the browser API. The image acquisition unit 102 registers the acquired screen image information in the image management table 103.

イメージ管理テーブル103は、イメージ取得部102によって取得された画面イメージ情報を保持する。イメージ管理テーブル103に保持される画面イメージ情報には、イベントの発生時刻、イベント情報、画面イメージの座標、画面イメージのサイズ及び画面イメージを識別するための識別子が含まれる。   The image management table 103 holds screen image information acquired by the image acquisition unit 102. The screen image information held in the image management table 103 includes an event occurrence time, event information, screen image coordinates, a screen image size, and an identifier for identifying the screen image.

イメージ送信部104は、イメージ管理テーブル103に予め定められた数の画面イメージ情報が登録されると、当該イメージ管理テーブル103に保持されている画面イメージ情報を、ネットワーク60を介して通信監視記録再生装置200に送信する。   When a predetermined number of screen image information is registered in the image management table 103, the image transmission unit 104 performs communication monitoring recording / playback of the screen image information held in the image management table 103 via the network 60. To device 200.

図12は、本実施形態に係る通信監視記録再生システムを構成する通信監視記録再生装置200の主として機能構成を示すブロック図である。図12に示すように、通信監視記録再生装置200は、イメージ受信部201、パケット収集記録部202、パケット格納部203、パケット解析部204、解析結果記録再生部205及び解析結果格納部206を含む。   FIG. 12 is a block diagram mainly showing a functional configuration of the communication monitoring recording / reproducing apparatus 200 constituting the communication monitoring recording / reproducing system according to the present embodiment. As shown in FIG. 12, the communication monitoring recording / reproducing apparatus 200 includes an image receiving unit 201, a packet collection / recording unit 202, a packet storage unit 203, a packet analysis unit 204, an analysis result recording / reproduction unit 205, and an analysis result storage unit 206. .

イメージ受信部201は、端末100に含まれるイメージ送信部104によって送信された画面イメージ情報を受信する。   The image reception unit 201 receives screen image information transmitted by the image transmission unit 104 included in the terminal 100.

パケット収集記録部202は、通信監視記録再生装置200の監視対処となるネットワーク60上のパケットを収集する。パケット収集記録部202は、スイッチ70を介してパケットを収集する。パケット収集記録部202は、イメージ受信部201によって受信されたイメージ情報と共に、収集されたパケットをパケット格納部203に格納する。また、パケット収集記録部202は、イメージ受信部201によって受信された画面イメージ情報及び収集されたパケットをパケット解析部204に送信する。   The packet collection / recording unit 202 collects packets on the network 60 to be monitored by the communication monitoring recording / reproducing apparatus 200. The packet collection / recording unit 202 collects packets via the switch 70. The packet collection / recording unit 202 stores the collected packets in the packet storage unit 203 together with the image information received by the image reception unit 201. Further, the packet collection / recording unit 202 transmits the screen image information received by the image receiving unit 201 and the collected packets to the packet analysis unit 204.

パケット解析部204は、パケット収集記録部202によって送信された1つ乃至複数のパケットを解析することによって、当該1つ乃至複数のパケットから1つの通信内容を再構築する。これにより、パケット解析部204は、例えばHTTPリクエストまたはHTTPリプライ(コンテンツ)を取り出し、パケット収集記録部202によって送信された画面イメージ情報と共に解析結果記録再生部205に送信する。   The packet analysis unit 204 reconstructs one communication content from the one or more packets by analyzing the one or more packets transmitted by the packet collection and recording unit 202. Thereby, the packet analysis unit 204 extracts, for example, an HTTP request or an HTTP reply (content), and transmits it to the analysis result recording / playback unit 205 together with the screen image information transmitted by the packet collection recording unit 202.

解析結果記録再生部205は、パケット解析部204によって送信されたコンテンツ及び画面イメージ情報を対応付けて解析結果格納部206に格納する。また、解析結果記録再生部205は、例えば管理サーバ300を利用するユーザによって指定された検索条件に応じて、当該検索条件に合致するコンテンツを解析結果格納部206から検索する機能を有する。解析結果記録再生部205は、検索結果となるコンテンツ及び当該コンテンツに対応付けられている画面イメージ情報を管理サーバ300に送信する。   The analysis result recording / playback unit 205 stores the content and screen image information transmitted by the packet analysis unit 204 in association with each other in the analysis result storage unit 206. Further, the analysis result recording / playback unit 205 has a function of searching the analysis result storage unit 206 for content that matches the search condition, for example, according to the search condition specified by the user using the management server 300. The analysis result recording / playback unit 205 transmits the content that is the search result and the screen image information associated with the content to the management server 300.

図13は、本実施形態に係る通信監視記録再生システムを構成する管理サーバ300の主として機能構成を示すブロック図である。なお、図4と同様の部分には同一参照符号を付してその詳しい説明を省略する。ここでは、図4と異なる部分について主に述べる。また、管理サーバ300には、前述した第1の実施形態の管理サーバ30と同様に、例えばブラウザがインストールされており、Webサーバ50から読み込まれたコンテンツは当該ブラウザにより表示される。   FIG. 13 is a block diagram mainly showing a functional configuration of the management server 300 constituting the communication monitoring recording / reproducing system according to the present embodiment. The same parts as those in FIG. 4 are denoted by the same reference numerals, and detailed description thereof is omitted. Here, parts different from FIG. 4 will be mainly described. Further, similarly to the management server 30 of the first embodiment described above, for example, a browser is installed in the management server 300, and content read from the Web server 50 is displayed by the browser.

図13に示すように、管理サーバ300は、イメージ受信部301、イメージ生成部302及び通信内容再現部303を含む。   As illustrated in FIG. 13, the management server 300 includes an image reception unit 301, an image generation unit 302, and a communication content reproduction unit 303.

ここで、イメージ受信部301、イメージ生成部302及び通信内容再現部303は、管理サーバ300にインストールされているブラウザにプラグインとして動的に組み込まれている。   Here, the image reception unit 301, the image generation unit 302, and the communication content reproduction unit 303 are dynamically incorporated as plug-ins in the browser installed in the management server 300.

イメージ受信部301は、通信監視記録再生装置200に含まれる解析結果記録再生部205によって送信された画面イメージ情報を受信する。   The image receiving unit 301 receives the screen image information transmitted by the analysis result recording / reproducing unit 205 included in the communication monitoring recording / reproducing apparatus 200.

イメージ生成部302は、イメージ受信部301によって受信された画面イメージ情報に含まれる画面イメージの座標位置に、当該画面イメージ情報に含まれる画面イメージのサイズの画面イメージを生成する。   The image generation unit 302 generates a screen image having the size of the screen image included in the screen image information at the coordinate position of the screen image included in the screen image information received by the image reception unit 301.

通信内容再現部303は、イメージ生成部302によって生成された画面イメージを、ブラウザAPIを介して表示する。これにより、管理サーバ300のブラウザに端末100のブラウザに表示された画面が再現される。   The communication content reproduction unit 303 displays the screen image generated by the image generation unit 302 via the browser API. Thereby, the screen displayed on the browser of the terminal 100 is reproduced on the browser of the management server 300.

図14は、図11に示すイメージ管理テーブル103に保持される画面イメージ情報のデータ構造の一例を示す。図14に示すように、画面イメージ情報には、時刻、イベント種別、カーソル位置、画面イメージ座標、画面イメージサイズ及び画面イメージ識別子を含む。時刻は、イベントが発生した時刻を示す。イベント種別は、例えばキーボードイベントまたはマウスイベント等のイベント種別を示す。カーソル位置は、イベント発生時のマウスカーソル位置を示す。画面イメージ座標は、画面イメージの座標位置を示す。画面イメージサイズは、画面イメージの大きさを示す。画面イメージ識別子は、画面イメージを識別するために用いられる識別子である。   FIG. 14 shows an example of the data structure of the screen image information held in the image management table 103 shown in FIG. As shown in FIG. 14, the screen image information includes time, event type, cursor position, screen image coordinates, screen image size, and screen image identifier. The time indicates the time when the event occurred. The event type indicates an event type such as a keyboard event or a mouse event. The cursor position indicates the mouse cursor position when the event occurs. The screen image coordinate indicates the coordinate position of the screen image. The screen image size indicates the size of the screen image. The screen image identifier is an identifier used for identifying a screen image.

図14に示す例では、画面イメージ情報103aには、時刻「2007/09/03 9:00:00.1234」、イベント種別「右マウスクリック」、カーソル位置「100,200」、画面イメージ座標「50,200」、画面イメージサイズ「100,100」及び画面イメージ識別子「1」が含まれている。また、画面イメージ情報103bには、時刻「2007/09/03 9:00:01.3456」、イベント種別「キープレス」、カーソル位置「100,200」、画面イメージ座標「50,400」、画面イメージサイズ「100,100」及び画面イメージ識別子「2」が含まれている。   In the example shown in FIG. 14, the screen image information 103 a includes time “2007/09/03 9: 00: 00.1234”, event type “right mouse click”, cursor position “100, 200”, screen image coordinates “ 50, 200 ”, screen image size“ 100, 100 ”, and screen image identifier“ 1 ”are included. The screen image information 103b includes time “2007/09/03 9: 00: 01.3456”, event type “key press”, cursor position “100, 200”, screen image coordinates “50, 400”, screen The image size “100, 100” and the screen image identifier “2” are included.

次に、図15のフローチャートを参照して、端末100の処理手順について説明する。まず、イメージ取得部102は、端末100のブラウザがWebサーバ50からコンテンツを読み込む際に、当該コンテンツに含まれるURL及びコンテンツタイプを取得する(ステップS41)。   Next, the processing procedure of the terminal 100 will be described with reference to the flowchart of FIG. First, when the browser of the terminal 100 reads content from the Web server 50, the image acquisition unit 102 acquires the URL and content type included in the content (step S41).

イメージ取得部102は、取得されたURL及びコンテンツタイプがイメージ収集条件テーブル1に保持されているか否かを判定する(ステップS42)。   The image acquisition unit 102 determines whether the acquired URL and content type are stored in the image collection condition table 1 (step S42).

取得されたURL及びコンテンツタイプがイメージ収集条件テーブル11に保持されていると判定された場合(ステップS42のYES)、イメージ取得部102は、端末100のブラウザにより読み込まれたコンテンツのイメージ収集選択フラグをONに設定する(ステップS43)。   When it is determined that the acquired URL and content type are held in the image collection condition table 11 (YES in step S42), the image acquisition unit 102 sets the image collection selection flag for the content read by the browser of the terminal 100. Is set to ON (step S43).

ここで、例えばユーザがブラウザ(に表示されているコンテンツ)に対して操作を行った場合、またはWebページの読み込みが完了した場合などに、ブラウザ内でイベントが発生する。イベントが発生すると、ブラウザAPIを介してイメージ取得部12に対してイベントの発生が通知される(ステップS44)。   Here, for example, an event occurs in the browser when the user performs an operation on the browser (content displayed in the browser) or when the reading of the Web page is completed. When an event occurs, the occurrence of the event is notified to the image acquisition unit 12 via the browser API (step S44).

イメージ取得部102は、イベントの発生が通知されると、当該イベントが発生したコンテンツのイメージ収集選択フラグがONであるか否かを判定する(ステップS45)。   When the occurrence of the event is notified, the image acquisition unit 102 determines whether or not the image collection selection flag of the content in which the event has occurred is ON (step S45).

イメージ収集選択フラグがONであると判定された場合(ステップS45のYES)、ブラウザからキーボードイベントまたはマウスイベント等のイベント情報を取得する。このイベント情報には、キーボードイベントまたはマウスイベント等を示すイベント種別及びカーソル位置が含まれる。   If it is determined that the image collection selection flag is ON (YES in step S45), event information such as a keyboard event or a mouse event is acquired from the browser. This event information includes an event type indicating a keyboard event or a mouse event, and a cursor position.

イメージ取得部102は、取得されたイベント情報に応じて、端末100に表示されているコンテンツの画面イメージ(ブラウザの画面イメージ)を示す画面イメージ情報を取得する(ステップS46)。イメージ取得部102は、画面イメージ情報をブラウザAPIを介して取得する。   The image acquisition unit 102 acquires screen image information indicating the screen image of the content displayed on the terminal 100 (browser screen image) according to the acquired event information (step S46). The image acquisition unit 102 acquires screen image information via a browser API.

このとき、例えば発生したイベントによって端末100のブラウザの画面イメージ全体が更新された場合には、イメージ取得部102は、当該ブラウザの全画面イメージを示す画面イメージ情報を取得する。一方、例えば発生したイベントによって端末100のブラウザの画面イメージの一部のみが更新された場合、イメージ取得部102は、当該ブラウザの画面イメージの更新された一部のみ(差分)を示す画面イメージ情報を取得する。   At this time, for example, when the entire screen image of the browser of the terminal 100 is updated due to the generated event, the image acquisition unit 102 acquires screen image information indicating the full screen image of the browser. On the other hand, for example, when only a part of the browser screen image of the terminal 100 is updated due to an event that has occurred, the image acquisition unit 102 displays screen image information indicating only the updated part (difference) of the browser screen image. To get.

この場合、更新前の画面イメージ情報を端末100のディスク等に保存しておき、当該更新前の画面イメージ情報と更新後の画面イメージ情報を比較することにより、画面イメージの全体が更新されたか、または一部が更新されたかを判別することができる。   In this case, whether the entire screen image has been updated by storing the screen image information before the update on the disk of the terminal 100 and comparing the screen image information before the update with the screen image information after the update, Alternatively, it can be determined whether a part has been updated.

イメージ取得部12は、取得された画面イメージ情報をイメージ管理テーブル103に登録する(ステップS47)。   The image acquisition unit 12 registers the acquired screen image information in the image management table 103 (step S47).

次に、イメージ送信部104は、イメージ管理テーブル103の画面イメージ情報の登録数が閾値以上であるか否かを判定する(ステップS48)。   Next, the image transmission unit 104 determines whether or not the number of screen image information registrations in the image management table 103 is greater than or equal to a threshold (step S48).

画面イメージ情報の登録数が閾値以上であると判定された場合(ステップS48のYES)、イメージ送信部104は、イメージ管理テーブル103に保持されている画面イメージ情報を、ネットワーク60経由で通信監視記録再生装置200に送信する(ステップS49)。画面イメージ情報の送信に際しては、トラフィック量を削減するために、当該画面イメージ情報を圧縮して送信することも可能である。また、通信監視記録再生装置200への送信が失敗した場合には、一時的に端末100のディスク等に保存し、後で再送する構成であっても構わない。   When it is determined that the registration number of the screen image information is equal to or greater than the threshold (YES in step S48), the image transmission unit 104 records the screen image information held in the image management table 103 via the network 60 for monitoring and recording. The data is transmitted to the playback device 200 (step S49). When transmitting the screen image information, the screen image information can be transmitted after being compressed in order to reduce the amount of traffic. Further, when transmission to the communication monitoring recording / reproducing apparatus 200 fails, a configuration may be adopted in which data is temporarily stored in the disk of the terminal 100 and retransmitted later.

イメージ送信部104は、画面イメージ情報が通信監視記録再生装置200に送信されると、イメージ管理テーブル103に保持されている画面イメージ情報を当該イメージ管理テーブル103から削除(クリア)する(ステップS50)。   When the screen image information is transmitted to the communication monitoring recording / reproducing apparatus 200, the image transmission unit 104 deletes (clears) the screen image information held in the image management table 103 from the image management table 103 (step S50). .

一方、ステップS42においてURL及びコンテンツタイプがイメージ収集条件テーブル101に保持されていないと判定された場合、端末100のブラウザにより読み込まれたコンテンツのイメージ収集選択フラグをOFFに設定する(ステップS51)。ステップS51の処理が実行されると、ステップS44の処理が実行される。   On the other hand, if it is determined in step S42 that the URL and content type are not held in the image collection condition table 101, the image collection selection flag of the content read by the browser of the terminal 100 is set to OFF (step S51). When the process of step S51 is executed, the process of step S44 is executed.

また、ステップS45においてイメージ収集選択フラグがONでない、つまりOFFであると判定された場合には処理が終了される。また、ステップS48において画面イメージ情報の登録数が閾値以上でないと判定された場合には処理が終了される。   If it is determined in step S45 that the image collection selection flag is not ON, that is, it is determined to be OFF, the process ends. If it is determined in step S48 that the number of registered screen image information is not greater than or equal to the threshold value, the process ends.

次に、図16のフローチャートを参照して、通信監視記録再生装置200の処理手順について説明する。   Next, the processing procedure of the communication monitoring recording / reproducing apparatus 200 will be described with reference to the flowchart of FIG.

まず、パケット収集記録部202は、ネットワーク60上のパケットを収集する(ステップS61)。   First, the packet collection / recording unit 202 collects packets on the network 60 (step S61).

次に、イメージ受信部201は、端末100に含まれるイメージ送信部104によって送信された画面イメージ情報を受信する(ステップS62)。   Next, the image receiving unit 201 receives the screen image information transmitted by the image transmitting unit 104 included in the terminal 100 (step S62).

パケット収集記録部202は、収集されたパケットを、イメージ受信部201によって受信された画面イメージ情報と共にパケット格納部203に格納する(ステップS63)。また、パケット収集記録部202は、収集されたパケット及びイメージ受信部201によって受信された画面イメージ情報をパケット解析部204に送信する。   The packet collection / recording unit 202 stores the collected packets in the packet storage unit 203 together with the screen image information received by the image reception unit 201 (step S63). Further, the packet collection / recording unit 202 transmits the collected packets and the screen image information received by the image reception unit 201 to the packet analysis unit 204.

パケット解析部204は、パケット収集記録部202によって送信された1つ乃至複数のパケットを解析することによって、当該1つ乃至複数のパケットから1つの通信内容(コンテンツ)の再構築を行う(ステップS64)。このとき、パケット解析部204は、再構築されたコンテンツからHTTPリクエストまたはHTTPリプライを取り出す(ステップS64)。パケット解析部204は、再構築されたコンテンツ(HTTPリクエストまたはHTTPリプライ)及びパケット収集記録部202によって送信された画面イメージ情報を解析結果記録再生部205に送信する。この画面イメージ情報は、再構築されたコンテンツに対して発生したイベント情報を含む画面イメージ情報である。   The packet analysis unit 204 reconstructs one communication content (content) from the one or more packets by analyzing the one or more packets transmitted by the packet collection and recording unit 202 (step S64). ). At this time, the packet analysis unit 204 takes out an HTTP request or an HTTP reply from the reconstructed content (step S64). The packet analysis unit 204 transmits the reconstructed content (HTTP request or HTTP reply) and the screen image information transmitted by the packet collection / recording unit 202 to the analysis result recording / playback unit 205. This screen image information is screen image information including event information generated for the reconstructed content.

解析結果記録再生部205は、パケット解析部204によって送信されたコンテンツ及び画面イメージ情報を対応付けて解析結果格納部206に格納する。   The analysis result recording / playback unit 205 stores the content and screen image information transmitted by the packet analysis unit 204 in association with each other in the analysis result storage unit 206.

ここで、解析結果格納部206に格納されているコンテンツを検索するために、ユーザによって検索条件が指定された場合を想定する。なお、この検索条件は、例えば管理サーバ300を利用するユーザが、当該管理サーバ300を操作することによって指定される。この場合、解析結果記録再生部205は、ユーザによって指定された検索条件に合致するコンテンツを解析結果格納部206から検索する(ステップS65)。また、解析結果記録再生部205は、検索されたコンテンツに対応付けて解析結果格納部206に格納されている画面イメージ情報を取得する。   Here, it is assumed that a search condition is specified by the user in order to search the content stored in the analysis result storage unit 206. This search condition is specified by a user using the management server 300 operating the management server 300, for example. In this case, the analysis result recording / playback unit 205 searches the analysis result storage unit 206 for content that matches the search condition specified by the user (step S65). Also, the analysis result recording / playback unit 205 acquires screen image information stored in the analysis result storage unit 206 in association with the searched content.

解析結果記録再生部205は、検索されたコンテンツ及び取得された画面イメージ情報を管理サーバ300に送信する(ステップS66)。   The analysis result recording / playback unit 205 transmits the searched content and the acquired screen image information to the management server 300 (step S66).

次に、図17のフローチャートを参照して、管理サーバ300の処理手順について説明する。   Next, the processing procedure of the management server 300 will be described with reference to the flowchart of FIG.

ここで、管理サーバ300において通信内容(コンテンツ)を再生(再現)する場合には、上記したように管理サーバ300を利用するユーザが通信監視記録再生装置200に含まれる解析結果格納部206に格納されているコンテンツを検索するための検索条件を指定する。この場合、ユーザによって指定された検索条件は通信監視記録再生装置200に通知され、当該検索条件に対する応答として当該検索条件に合致するコンテンツ及び当該コンテンツに対応付けられている画面イメージ情報が送信される。管理サーバ300では、通信監視記録再生装置200によって送信されたコンテンツ及び画面イメージ情報に基づいて再生処理が実行される。   Here, when the communication contents (contents) are reproduced (reproduced) in the management server 300, the user using the management server 300 stores in the analysis result storage unit 206 included in the communication monitoring recording / reproducing apparatus 200 as described above. Specify the search conditions for searching the content that has been added. In this case, the search condition specified by the user is notified to the communication monitoring recording / reproducing apparatus 200, and the content that matches the search condition and the screen image information associated with the content are transmitted as a response to the search condition. . In the management server 300, the reproduction process is executed based on the content and screen image information transmitted by the communication monitoring recording / reproducing apparatus 200.

まず、前述した図10に示すステップS31及びステップS32に相当するステップS71及びステップS72の処理が実行される。   First, the processing of step S71 and step S72 corresponding to step S31 and step S32 shown in FIG. 10 described above is executed.

次に、イメージ受信部301は、通信監視記録再生装置200に含まれる解析結果記録再生部205によって送信された画面イメージ情報を受信する(ステップS73)。   Next, the image receiving unit 301 receives the screen image information transmitted by the analysis result recording / reproducing unit 205 included in the communication monitoring recording / reproducing apparatus 200 (step S73).

イメージ生成部302は、イメージ受信部301によって受信された画面イメージ情報を読み込み、当該画面イメージ情報に含まれる画面イメージ座標及び画面イメージサイズに応じて画面イメージを生成する(ステップS74)。つまり、イメージ生成部302は、イメージ受信部301によって受信された画面イメージ情報に含まれる画面イメージ座標の位置に、当該画面イメージ情報に含まれる画面イメージサイズの画面イメージ(更新された画面イメージ)を生成する。   The image generation unit 302 reads the screen image information received by the image reception unit 301 and generates a screen image according to the screen image coordinates and the screen image size included in the screen image information (step S74). In other words, the image generation unit 302 applies a screen image (updated screen image) of the screen image size included in the screen image information to the position of the screen image coordinates included in the screen image information received by the image reception unit 301. Generate.

通信内容再現部303は、イメージ生成部302によって生成された画面イメージを、ブラウザAPIを介して表示する(ステップS75)。これにより、上記したステップS72において表示された初期画面イメージ(コンテンツ)に対して端末10を利用してユーザが操作を行うことによって動的に変化した画面イメージ(更新された画面イメージ)を再現することができる。   The communication content reproduction unit 303 displays the screen image generated by the image generation unit 302 via the browser API (step S75). As a result, a screen image (updated screen image) that is dynamically changed by a user operating the terminal 10 on the initial screen image (content) displayed in step S72 described above is reproduced. be able to.

通信内容再現部303は、イメージ受信部301によって受信された画面イメージ情報に含まれる時刻に応じて、次のイベント発生まで、つまり、次の画面イメージの更新までの時間間隔の後、次の画面イメージを表示する。これにより、端末100において発生したイベントと同様の間隔で画面イメージを表示させることで、当該端末100のブラウザに表示されていたコンテンツと同様の速度で画面遷移を再現することができる。   Depending on the time included in the screen image information received by the image reception unit 301, the communication content reproduction unit 303 performs the next screen until the next event occurs, that is, after the time interval until the next screen image is updated. Display an image. As a result, screen transitions can be reproduced at the same speed as the content displayed on the browser of the terminal 100 by displaying the screen image at the same interval as the event that occurred in the terminal 100.

なお、通信内容を再現する際に、例えば画面イメージを時系列的にサムネイル形式で縮小して一覧表示し、ユーザに画面イメージを選択させ、選択された画面イメージを指定されたサイズで表示するようにすることも可能である。   When reproducing the content of communication, for example, screen images are reduced in thumbnail format in time series and displayed as a list, and the user is allowed to select a screen image, and the selected screen image is displayed in a specified size. It is also possible to make it.

上記したように本実施形態においては、パケット共にユーザが端末100に対して実行した操作に応じて更新された画面イメージを示す画面イメージ情報が収集され、記録(格納)される。本実施形態においては、再構築された通信内容(コンテンツ)が再現される際には、当該コンテンツ及び画面イメージ情報が管理サーバ300に送信される。これにより、管理サーバ300においては、イベントの発生時刻に応じて画面イメージ情報に応じて更新された画面イメージが表示される。従って、本実施形態においては、コンテンツまたはスクリプトを解析することなく、ユーザの操作によってブラウザに表示されている画面が動的に変化するダイナミックHTMLのようなコンテンツが端末100において表示された場合であっても、当該端末100のブラウザに表示された画面を再現することが可能となる。   As described above, in this embodiment, screen image information indicating a screen image updated in accordance with an operation performed by the user on the terminal 100 is collected and recorded (stored) together with the packet. In the present embodiment, when the reconstructed communication content (content) is reproduced, the content and screen image information are transmitted to the management server 300. Thereby, in the management server 300, the screen image updated according to the screen image information according to the occurrence time of the event is displayed. Therefore, in the present embodiment, there is a case where content such as dynamic HTML in which the screen displayed on the browser is dynamically changed by the user's operation is displayed on the terminal 100 without analyzing the content or script. However, the screen displayed on the browser of the terminal 100 can be reproduced.

[第3の実施形態]
次に、図18を参照して、本発明の第3の実施形態に係る通信監視記録再生システムについて説明する。
[Third Embodiment]
Next, a communication monitoring recording / reproducing system according to the third embodiment of the present invention will be described with reference to FIG.

本実施形態に係る通信監視記録再生システムは、前述した第1の実施形態の端末10に代えて、端末110を備える。   The communication monitoring recording / reproducing system according to the present embodiment includes a terminal 110 instead of the terminal 10 of the first embodiment described above.

図18は、本実施形態に係る通信監視記録再生システムを構成する端末110の主として機能構成を示すブロック図である。なお、前述した図2と同様の部分には同一参照符号を付してその詳しい説明を省略する。ここでは、図2と異なる部分について主に述べる。   FIG. 18 is a block diagram mainly showing a functional configuration of the terminal 110 constituting the communication monitoring recording / reproducing system according to the present embodiment. The same parts as those in FIG. 2 described above are denoted by the same reference numerals, and detailed description thereof is omitted. Here, parts different from FIG. 2 will be mainly described.

図18に示すように、端末110は、操作情報格納処理部111及び操作情報格納部112を含む。   As illustrated in FIG. 18, the terminal 110 includes an operation information storage processing unit 111 and an operation information storage unit 112.

ここで、操作情報格納処理部111は、端末110にインストールされているブラウザにプラグインとして動的に組み込まれる。   Here, the operation information storage processing unit 111 is dynamically incorporated as a plug-in in a browser installed in the terminal 110.

操作情報格納処理部111は、操作情報管理テーブル13に予め定められた数の操作情報が登録されると、当該操作情報管理テーブル13に保持されている操作情報を操作情報格納部112に格納(保存)する処理を実行する。操作情報格納部112は、例えばハードディスクドライブ(HDD:Hard Disk Drive)のようなディスクである。   When a predetermined number of pieces of operation information are registered in the operation information management table 13, the operation information storage processing unit 111 stores the operation information held in the operation information management table 13 in the operation information storage unit 112 ( Save) is executed. The operation information storage unit 112 is a disk such as a hard disk drive (HDD).

操作情報格納部112に操作情報が格納される際に、当該操作情報を圧縮して格納することが選択可能な構成であっても構わない。   When the operation information is stored in the operation information storage unit 112, the configuration may be such that the operation information can be selected to be compressed and stored.

操作情報格納処理部111によって操作情報管理テーブル13に保持されている操作情報が操作情報格納部112に正常に格納されると、当該操作情報管理テーブル13に保持されている操作情報は当該操作情報管理テーブル13から削除(クリア)される。   When the operation information held in the operation information management table 13 by the operation information storage processing unit 111 is normally stored in the operation information storage unit 112, the operation information held in the operation information management table 13 is changed to the operation information. It is deleted (cleared) from the management table 13.

つまり、本実施形態においては、通信監視記録再生装置20では、操作情報は管理(格納)されない。管理サーバ30において通信内容の再生処理が実行される際には、通信監視記録再生装置20が当該再生されるコンテンツに対応する操作情報をネットワーク60を介して操作情報格納処理部111から読み込み、管理サーバ30に送信する。これにより、管理サーバ30においては当該送信された操作情報に基づいて端末10のブラウザに表示された画面が再現される。本実施形態においては、この点以外の動作については前述した第1の実施形態と同様であるためその詳しい説明は省略する。   That is, in the present embodiment, the operation monitoring information is not managed (stored) in the communication monitoring recording / reproducing apparatus 20. When a communication content reproduction process is executed in the management server 30, the communication monitoring recording / reproducing apparatus 20 reads operation information corresponding to the reproduced content from the operation information storage processing unit 111 via the network 60 and manages it. Send to server 30. Thereby, in the management server 30, the screen displayed on the browser of the terminal 10 is reproduced based on the transmitted operation information. In the present embodiment, operations other than this point are the same as those in the first embodiment described above, and a detailed description thereof will be omitted.

前述した第1の実施形態では収集(取得)された操作情報が全てネットワーク60を介して通信監視記録再生装置20に送信されるが、上記したように本実施形態においては、管理サーバ30において通信内容の再生処理が実行される際に、必要な操作情報のみがネットワーク60を介して通信監視記録再生装置20によって読み込まれるので、端末10及び通信監視記録再生装置20間の通信にかかるデータ量(トラフィック量)を削減することが可能となる。   In the first embodiment described above, all the collected (acquired) operation information is transmitted to the communication monitoring recording / reproducing apparatus 20 via the network 60. As described above, in the present embodiment, the management server 30 performs communication. When the content reproduction process is executed, only necessary operation information is read by the communication monitoring recording / reproducing apparatus 20 via the network 60, so that the amount of data required for communication between the terminal 10 and the communication monitoring recording / reproducing apparatus 20 ( Traffic volume) can be reduced.

[第4の実施形態]
次に、図19を参照して、本発明の第4の実施形態に係る通信監視記録再生システムについて説明する。
[Fourth Embodiment]
Next, a communication monitoring recording / reproducing system according to the fourth embodiment of the present invention will be described with reference to FIG.

図19は、本実施形態に係る通信監視記録再生システムが接続されるネットワークシステムについて説明するための図である。なお、前述した図1と同様の部分については同一参照符号を付してその詳しい説明は省略する。ここでは、図1と異なる部分について主に述べる。   FIG. 19 is a diagram for explaining a network system to which the communication monitoring recording / reproducing system according to the present embodiment is connected. Note that portions similar to those in FIG. 1 described above are denoted by the same reference numerals, and detailed description thereof is omitted. Here, parts different from FIG. 1 will be mainly described.

本実施形態に係る通信監視記録再生システムは、前述した第1の実施形態の通信監視記録再生装置20に代えて、通信監視記録再生装置210を備える。この通信監視記録再生装置210は、ネットワーク60を介してプロキシサーバ(中継装置)80と接続されている。このプロシキサーバ80は、端末10及びWebサーバ間の通信を中継する機能を有する。   The communication monitoring recording / reproducing system according to the present embodiment includes a communication monitoring recording / reproducing apparatus 210 instead of the communication monitoring recording / reproducing apparatus 20 of the first embodiment described above. This communication monitoring recording / reproducing apparatus 210 is connected to a proxy server (relay apparatus) 80 via a network 60. The proxy server 80 has a function of relaying communication between the terminal 10 and the Web server.

図20は、図19に示す通信監視記録再生装置210の主として機能構成を示すブロック図である。なお、前述した図3と同様の部分には同一参照符号を付してその詳しい説明は省略する。ここでは、図3と異なる部分について述べる。   FIG. 20 is a block diagram mainly showing a functional configuration of the communication monitoring recording / reproducing apparatus 210 shown in FIG. The same parts as those in FIG. 3 described above are denoted by the same reference numerals, and detailed description thereof is omitted. Here, a different part from FIG. 3 is described.

通信監視記録再生装置210は、検出部211及び通信制御指示部212を含む。検出部211は、パケット収集記録部22によって収集されたパケットが操作情報を収集する機能を有する端末10から送信されたパケットであるか否かを判定する。つまり、検出部211は、パケット収集記録部22によって収集されたパケットが操作情報取得部12及び操作情報送信部14がプラグインとしてブラウザに組み込まれている端末10から送信されたパケットであるか否かを判定する。   The communication monitoring recording / reproducing apparatus 210 includes a detection unit 211 and a communication control instruction unit 212. The detecting unit 211 determines whether or not the packet collected by the packet collection and recording unit 22 is a packet transmitted from the terminal 10 having a function of collecting operation information. That is, the detection unit 211 determines whether the packet collected by the packet collection recording unit 22 is a packet transmitted from the terminal 10 in which the operation information acquisition unit 12 and the operation information transmission unit 14 are incorporated in the browser as plug-ins. Determine whether.

具体的には、検出部211は、パケット収集記録部22によって収集されたパケットから再構築される通信内容(コンテンツ)に対して発生したイベント情報を含む操作情報(以下、パケットに対応する操作情報と表記)が操作情報受信部21によって受信されたか否かに基づいて判定する。   Specifically, the detection unit 211 includes operation information including event information (hereinafter, operation information corresponding to a packet) generated for communication contents (contents) reconstructed from the packet collected by the packet collection and recording unit 22. ) Is received based on whether or not it is received by the operation information receiving unit 21.

検出部211は、パケット収集記録部22によって収集されたパケットに対応する操作情報が操作情報受信部21によって受信されたか否かを通信制御指示部212に通知する。   The detection unit 211 notifies the communication control instruction unit 212 whether or not the operation information corresponding to the packet collected by the packet collection and recording unit 22 has been received by the operation information reception unit 21.

通信制御指示部212は、検出部211によってパケット収集記録部22によって収集されたパケットに対応する操作情報が操作情報受信部21によって受信されていない旨が通知されると、例えば当該パケットに含まれるIPアドレスが割り当てられている端末10とWebサーバ50との通信を遮断するようにプロシキサーバ80に対して指示する。この指示により、プロキシサーバ80においては、例えばこの端末10からのHTTPリクエストを受け取っても応答しないように設定される。これにより、端末10とWebサーバ50との通信は遮断される。   When the communication control instruction unit 212 is notified by the detection unit 211 that the operation information corresponding to the packet collected by the packet collection recording unit 22 has not been received by the operation information reception unit 21, for example, the communication control instruction unit 212 is included in the packet. The proxy server 80 is instructed to block communication between the terminal 10 to which the IP address is assigned and the Web server 50. By this instruction, the proxy server 80 is set so as not to respond even when an HTTP request is received from the terminal 10, for example. Thereby, the communication between the terminal 10 and the Web server 50 is blocked.

一方、通信制御指示部212は、検出部211によってパケット収集記録部22によって収集されたパケットに対応する操作情報が操作情報受信部21によって受信されている旨が通知されると、例えば当該パケットに含まれるIPアドレスが割り当てられている端末10とWebサーバ50との間で通信ができるようにプロシキサーバ80に対して指示する。この指示により、プロキシサーバ80においては、例えばこの端末10からのHTTPリクエストを受け取った場合には当該リクエストに対して応答するように設定される。   On the other hand, when the communication control instruction unit 212 is notified that the operation information corresponding to the packet collected by the packet collection and recording unit 22 by the detection unit 211 is received by the operation information reception unit 21, for example, the communication control instruction unit 212 The proxy server 80 is instructed to enable communication between the terminal 10 to which the included IP address is assigned and the Web server 50. By this instruction, the proxy server 80 is set to respond to the request when an HTTP request is received from the terminal 10, for example.

上記したように本実施形態においては、操作情報を収集する機能を有しない端末10から送信されたパケットがパケット収集記録部22によって収集された場合、当該パケットを送信した端末10とWebサーバ50との間の通信を遮断するようにプロキシサーバ80に指示され、プロキシサーバ80において当該端末10とWebサーバ50との間の通信は遮断される。   As described above, in this embodiment, when a packet transmitted from the terminal 10 that does not have a function of collecting operation information is collected by the packet collection recording unit 22, the terminal 10 that has transmitted the packet, the Web server 50, The proxy server 80 is instructed to block communication between the terminal 10 and the proxy server 80 blocks communication between the terminal 10 and the Web server 50.

このように、本実施形態においては、例えばユーザの操作によってブラウザに表示される画面が動的に変化するダイナミックHTMLのようなコンテンツを再現しようとした場合、操作情報を収集する機能を有しない端末10からは操作情報を収集することができないため当該コンテンツを再現することはできない。したがって、本実施形態においては、通信内容(コンテンツ)を再現することができない端末10からのWebサーバ50に対する通信を遮断することができる。   As described above, in the present embodiment, for example, a terminal that does not have a function of collecting operation information when trying to reproduce content such as dynamic HTML in which a screen displayed on a browser is dynamically changed by a user operation. Since the operation information cannot be collected from 10, the content cannot be reproduced. Therefore, in the present embodiment, communication from the terminal 10 that cannot reproduce the communication content (content) to the Web server 50 can be blocked.

なお、本願発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組合せてもよい。   Note that the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in each embodiment. Furthermore, you may combine the component covering different embodiment suitably.

本発明の第1の実施形態に係る通信監視記録再生システムが接続されるネットワークシステムについて説明するための図。The figure for demonstrating the network system to which the communication monitoring recording / reproducing system which concerns on the 1st Embodiment of this invention is connected. 図1に示す端末10の主として機能構成を示すブロック図。The block diagram which mainly shows the function structure of the terminal 10 shown in FIG. 図1に示す通信監視記録再生装置20の主として機能構成を示すブロック図。The block diagram which mainly shows the function structure of the communication monitoring recording / reproducing apparatus 20 shown in FIG. 図1に示す管理サーバ30の主として機能構成を示すブロック図。The block diagram which mainly shows the function structure of the management server 30 shown in FIG. 図2に示す操作情報収集条件テーブル11のデータ構造の一例を示す図。The figure which shows an example of the data structure of the operation information collection condition table 11 shown in FIG. 図2に示す操作情報管理テーブル13に保持される操作情報のデータ構造の一例を示す図。The figure which shows an example of the data structure of the operation information hold | maintained at the operation information management table 13 shown in FIG. 端末10の処理手順を示すフローチャート。6 is a flowchart showing a processing procedure of the terminal 10. 通信監視記録再生装置20の処理手順を示すフローチャート。The flowchart which shows the process sequence of the communication monitoring recording / reproducing apparatus. パケット格納部23に格納されたパケット及び操作情報について説明するための図。The figure for demonstrating the packet and operation information which were stored in the packet storage part. 管理サーバ30の処理手順を示すフローチャート。5 is a flowchart showing a processing procedure of the management server 30. 本発明の第2の実施形態に係る通信監視記録再生システムを構成する端末100の主として機能構成を示すブロック図。The block diagram which mainly shows the function structure of the terminal 100 which comprises the communication monitoring recording / reproducing system which concerns on the 2nd Embodiment of this invention. 本実施形態に係る通信監視記録再生システムを構成する通信監視記録再生装置200の主として機能構成を示すブロック図。1 is a block diagram mainly showing a functional configuration of a communication monitoring recording / reproducing apparatus 200 constituting a communication monitoring recording / reproducing system according to the present embodiment. 本実施形態に係る通信監視記録再生システムを構成する管理サーバ300の主として機能構成を示すブロック図。The block diagram which shows the function structure mainly of the management server 300 which comprises the communication monitoring recording / reproducing system which concerns on this embodiment. 図11に示すイメージ管理テーブル103に保持される画面イメージ情報のデータ構造の一例を示す図。FIG. 12 is a diagram showing an example of a data structure of screen image information held in the image management table 103 shown in FIG. 11. 端末100の処理手順を示すフローチャート。The flowchart which shows the process sequence of the terminal 100. FIG. 通信監視記録再生装置200の処理手順を示すフローチャート。The flowchart which shows the process sequence of the communication monitoring recording / reproducing apparatus. 管理サーバ300の処理手順を示すフローチャート。5 is a flowchart showing a processing procedure of the management server 300. 本発明の第3の実施液体に係る通信監視記録再生システムを構成する端末110の主として機能構成を示すブロック図。The block diagram which mainly shows the function structure of the terminal 110 which comprises the communication monitoring recording / reproducing system which concerns on the 3rd implementation liquid of this invention. 本発明の第4の実施形態に係る通信監視記録再生システムが接続されるネットワークシステムについて説明するための図。The figure for demonstrating the network system to which the communication monitoring recording / reproducing system which concerns on the 4th Embodiment of this invention is connected. 図19に示す通信監視記録再生装置210の主として機能構成を示すブロック図。FIG. 20 is a block diagram mainly showing a functional configuration of the communication monitoring recording / reproducing apparatus 210 shown in FIG. 19.

符号の説明Explanation of symbols

10,100,110…端末(第1の端末)、11…操作情報収集条件テーブル、12…操作情報取得部、13…操作情報管理テーブル、14…操作情報送信部、20,200,210…通信監視記録再生装置、21…操作情報受信部、22,202…パケット収集記録部、23,203…パケット格納部、24,204…パケット解析部、25,205…解析結果記録再生部、26,206…解析結果格納部、30,300…管理サーバ(第2の端末)、31…コンテンツ受信部、32…操作情報受信部、33…イベント生成部、34,303…通信内容再現部、40…インターネット、50…Webサーバ、60…ネットワーク、70…スイッチ、80…プロシキサーバ、101…イメージ収集条件テーブル、102…イメージ取得部、103…イメージ管理テーブル、104…イメージ送信部、111…操作情報格納処理部、112…操作情報格納部、201…イメージ受信部、211…検出部、212…通信制御指示部、301…イメージ受信部、302…イメージ生成部。   DESCRIPTION OF SYMBOLS 10,100,110 ... Terminal (1st terminal), 11 ... Operation information collection condition table, 12 ... Operation information acquisition part, 13 ... Operation information management table, 14 ... Operation information transmission part, 20, 200, 210 ... Communication Monitoring recording / reproducing apparatus, 21... Operation information receiving unit, 22, 202... Packet collection and recording unit, 23, 203... Packet storing unit, 24, 204 ... packet analyzing unit, 25, 205. ... Analysis result storage unit, 30, 300 ... Management server (second terminal), 31 ... Content reception unit, 32 ... Operation information reception unit, 33 ... Event generation unit, 34,303 ... Communication content reproduction unit, 40 ... Internet 50 ... Web server 60 ... Network 70 ... Switch 80 ... Proxy server 101 101 Image collection condition table 102 Image acquisition unit DESCRIPTION OF SYMBOLS 03 ... Image management table 104 ... Image transmission part 111 ... Operation information storage process part 112 ... Operation information storage part 201 ... Image reception part 211 ... Detection part 212 ... Communication control instruction | indication part 301 ... Image reception part 302 Image generating unit.

Claims (5)

第1の端末及びサーバ間での通信内容が分割されたパケットを通信可能なネットワークに接続された通信監視記録再生装置において、
前記ネットワーク上のパケットを収集するパケット収集手段と、
前記第1の端末に表示された通信内容に対して当該第1の端末を利用してユーザが行った操作に関する操作情報を前記第1の端末から受信する操作情報受信手段と、
前記パケット収集手段によって収集されたパケットから、前記通信内容を再構築するパケット解析手段と、
前記パケット解析手段によって再構築された通信内容及び前記操作情報受信手段によって受信された操作情報を対応付けて格納する解析結果格納手段と、
前記解析結果格納手段に格納されている前記再構築された通信内容及び当該再構築された通信内容に対応付けて前記解析結果格納手段に格納されている操作情報を、当該再構築された通信内容を表示する機能を有する第2の端末に送信する送信手段と
を具備することを特徴とする通信監視記録再生装置。
In a communication monitoring recording / reproducing apparatus connected to a network capable of communicating packets in which communication contents between a first terminal and a server are divided,
Packet collection means for collecting packets on the network;
Operation information receiving means for receiving, from the first terminal, operation information related to an operation performed by a user using the first terminal for the communication content displayed on the first terminal;
Packet analysis means for reconstructing the communication content from the packets collected by the packet collection means;
Analysis result storage means for storing the communication contents reconstructed by the packet analysis means and the operation information received by the operation information receiving means in association with each other;
The reconstructed communication content stored in the analysis result storage unit is associated with the reconstructed communication content and the operation information stored in the analysis result storage unit in association with the reconstructed communication content. And a transmission means for transmitting to a second terminal having a function of displaying the communication monitoring recording / reproducing apparatus.
ユーザによって指定された検索条件に応じて、当該検索条件に合致する前記再構築された通信内容を前記解析結果格納手段から検索する検索手段を更に具備し、
前記送信手段は、前記検索手段によって検索された前記再構築された通信内容及び当該再構築された通信内容に対応付けて前記解析結果格納手段に格納されている操作情報を前記第2の端末に送信する
ことを特徴とする請求項1記載の通信監視記録再生装置。
In accordance with a search condition specified by the user, further comprising a search means for searching the reconstructed communication content that matches the search condition from the analysis result storage means,
The transmission means sends the reconstructed communication content searched by the search means and the operation information stored in the analysis result storage means in association with the reconstructed communication content to the second terminal. The communication monitoring recording / reproducing apparatus according to claim 1, wherein transmission is performed.
前記パケット収集手段によってパケットが収集された後、前記第1の端末から送信された操作情報が前記操作情報受信手段によって受信されたかを判定する判定手段と、
前記操作情報受信手段によって操作情報が受信されていないと判定された場合、前記第1の端末及びサーバ間の通信を中継する中継装置に対して、当該第1の端末及びサーバ間の通信の遮断を指示する指示手段と
を更に具備することを特徴とする請求項1記載の通信監視記録再生装置。
A determination unit that determines whether the operation information transmitted from the first terminal is received by the operation information reception unit after the packet is collected by the packet collection unit;
When it is determined that the operation information is not received by the operation information receiving means, the communication between the first terminal and the server is interrupted with respect to the relay device that relays the communication between the first terminal and the server. The communication monitoring recording / reproducing apparatus according to claim 1, further comprising instruction means for instructing.
第1の端末及びサーバ間での通信内容が分割されたパケットを通信可能なネットワークに接続された通信監視記録再生装置において、
前記ネットワーク上のパケットを収集するパケット収集手段と、
前記第1の端末に表示された通信内容の画面イメージを示す画面イメージ情報を受信するイメージ受信手段と、
前記パケット収集手段によって収集されたパケットから、前記通信内容を再構築するパケット解析手段と、
前記パケット解析手段によって再構築された通信内容及び前記イメージ受信手段によって受信された画面イメージ情報を対応付けて格納する解析結果格納手段と、
前記解析結果格納手段に格納されている前記再構築された通信内容及び当該再構築された通信内容に対応付けて前記解析結果格納手段に格納されている画面イメージ情報を、当該再構築された通信内容を表示する機能を有する第2の端末に送信する送信手段と
を具備することを特徴とする通信監視記録再生装置。
In a communication monitoring recording / reproducing apparatus connected to a network capable of communicating packets in which communication contents between a first terminal and a server are divided,
Packet collection means for collecting packets on the network;
Image receiving means for receiving screen image information indicating a screen image of communication contents displayed on the first terminal;
Packet analysis means for reconstructing the communication content from the packets collected by the packet collection means;
Analysis result storage means for storing the communication contents reconstructed by the packet analysis means and the screen image information received by the image reception means in association with each other;
The reconstructed communication content stored in the analysis result storage means is associated with the reconstructed communication content and the screen image information stored in the analysis result storage means in association with the reconstructed communication content. And a transmission means for transmitting to a second terminal having a function of displaying contents.
第1の端末と、当該第1の端末及びサーバ間での通信内容が分割されたパケットを通信可能なネットワークに接続された通信監視記録再生装置と、当該通信監視記録再生装置と接続された第2の端末とを備える通信監視記録再生システムにおいて、
前記第1の端末は、
前記第1の端末に表示された通信内容に対して当該第1の端末を利用してユーザが行った操作に関する操作情報を収集する対象となる通信内容の条件を予め保持する操作情報収集条件テーブルと、
前記第1の端末及びサーバ間での通信内容が、前記操作情報収集条件テーブルに保持されている条件に合致するかを判定する判定手段と、
前記操作情報収集条件テーブルに保持されている条件に合致すると判定された場合に、前記第1の端末に表示された通信内容に対して当該第1の端末を利用してユーザが行った操作に関する操作情報を収集する操作情報収集手段と、
前記操作情報収集手段によって収集された操作情報を保持する操作情報管理テーブルと、
前記操作情報管理テーブルに保持されている操作情報を前記通信監視記録再生装置に送信する第1の送信手段と
を含み、
前記通信監視記録再生装置は、
前記ネットワーク上のパケットを収集するパケット収集手段と、
前記第1の送信手段によって送信された操作情報を受信する操作情報受信手段と、
前記パケット収集手段によって収集されたパケットから、前記通信内容を再構築するパケット解析手段と、
前記パケット解析手段によって再構築された通信内容及び前記操作情報受信手段によって受信された操作情報を対応付けて格納する解析結果格納手段と、
前記解析結果格納手段に格納されている前記再構築された通信内容及び当該再構築された通信内容に対応付けて前記解析結果格納手段に格納されている操作情報を、前記第2の端末に送信する第2の送信手段と、
前記第2の端末は、前記第2の送信手段によって送信された通信内容を表示し、当該第2の送信手段によって送信された操作情報に基づいて当該表示された通信内容に対して実行された操作を発生させることによって前記第1の端末に表示された通信内容を再現する再現手段を含む
ことを特徴とする通信監視記録再生システム。
A communication monitoring recording / reproducing apparatus connected to a network capable of communicating a packet in which communication contents between the first terminal and the server are divided, and a first terminal connected to the communication monitoring recording / reproducing apparatus. In a communication monitoring recording / reproducing system comprising two terminals,
The first terminal is
An operation information collection condition table for preliminarily holding conditions of communication contents for collecting operation information related to operations performed by the user using the first terminal with respect to the communication contents displayed on the first terminal. When,
Determination means for determining whether the communication content between the first terminal and the server matches a condition held in the operation information collection condition table;
When it is determined that the condition held in the operation information collection condition table is met, the communication content displayed on the first terminal is related to the operation performed by the user using the first terminal. Operation information collecting means for collecting operation information;
An operation information management table for holding operation information collected by the operation information collecting means;
First transmission means for transmitting the operation information held in the operation information management table to the communication monitoring recording / reproducing apparatus,
The communication monitoring recording / reproducing apparatus comprises:
Packet collection means for collecting packets on the network;
Operation information receiving means for receiving operation information transmitted by the first transmission means;
Packet analysis means for reconstructing the communication content from the packets collected by the packet collection means;
Analysis result storage means for storing the communication contents reconstructed by the packet analysis means and the operation information received by the operation information receiving means in association with each other;
The reconstructed communication contents stored in the analysis result storage means and the operation information stored in the analysis result storage means in association with the reconstructed communication contents are transmitted to the second terminal. Second transmitting means for
The second terminal displays the communication content transmitted by the second transmission unit, and is executed on the displayed communication content based on the operation information transmitted by the second transmission unit. A communication monitoring recording / reproducing system comprising reproduction means for reproducing the communication content displayed on the first terminal by generating an operation.
JP2008015149A 2008-01-25 2008-01-25 Communication monitoring recording / reproducing apparatus and communication monitoring recording / reproducing system Expired - Fee Related JP4686559B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008015149A JP4686559B2 (en) 2008-01-25 2008-01-25 Communication monitoring recording / reproducing apparatus and communication monitoring recording / reproducing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008015149A JP4686559B2 (en) 2008-01-25 2008-01-25 Communication monitoring recording / reproducing apparatus and communication monitoring recording / reproducing system

Publications (2)

Publication Number Publication Date
JP2009176124A true JP2009176124A (en) 2009-08-06
JP4686559B2 JP4686559B2 (en) 2011-05-25

Family

ID=41031124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008015149A Expired - Fee Related JP4686559B2 (en) 2008-01-25 2008-01-25 Communication monitoring recording / reproducing apparatus and communication monitoring recording / reproducing system

Country Status (1)

Country Link
JP (1) JP4686559B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011060196A (en) * 2009-09-14 2011-03-24 Hitachi Ltd Method and system for recording and reproducing operation of web application
JP2011118693A (en) * 2009-12-03 2011-06-16 Hitachi Ltd Computer system and operation reproduction method
WO2014045826A1 (en) * 2012-09-18 2014-03-27 株式会社野村総合研究所 Web server system, dictionary system, dictionary call method, screen control display method, and demonstration application generation method
JP2014059698A (en) * 2012-09-18 2014-04-03 Nomura Research Institute Ltd Dictionary system and dictionary calling method
JP2014059700A (en) * 2012-09-18 2014-04-03 Nomura Research Institute Ltd Screen control display system and screen control display program
JPWO2021140594A1 (en) * 2020-01-08 2021-07-15

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008108047A (en) * 2006-10-25 2008-05-08 Toshiba Corp Communication picture reproducing device and communication picture reproducing program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008108047A (en) * 2006-10-25 2008-05-08 Toshiba Corp Communication picture reproducing device and communication picture reproducing program

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011060196A (en) * 2009-09-14 2011-03-24 Hitachi Ltd Method and system for recording and reproducing operation of web application
JP2011118693A (en) * 2009-12-03 2011-06-16 Hitachi Ltd Computer system and operation reproduction method
WO2014045826A1 (en) * 2012-09-18 2014-03-27 株式会社野村総合研究所 Web server system, dictionary system, dictionary call method, screen control display method, and demonstration application generation method
JP2014059698A (en) * 2012-09-18 2014-04-03 Nomura Research Institute Ltd Dictionary system and dictionary calling method
JP2014059700A (en) * 2012-09-18 2014-04-03 Nomura Research Institute Ltd Screen control display system and screen control display program
US9817811B2 (en) 2012-09-18 2017-11-14 Nomura Research Institute, Ltd. Web server system, dictionary system, dictionary call method, screen control display method, and demonstration application generation method
JPWO2021140594A1 (en) * 2020-01-08 2021-07-15
WO2021140594A1 (en) * 2020-01-08 2021-07-15 日本電信電話株式会社 Operation log acquisition device and operation log acquisition method
JP7380714B2 (en) 2020-01-08 2023-11-15 日本電信電話株式会社 Operation log acquisition device and operation log acquisition method

Also Published As

Publication number Publication date
JP4686559B2 (en) 2011-05-25

Similar Documents

Publication Publication Date Title
US20190146616A1 (en) Systems And Methods For Remote Tracking And Replay Of User Interaction With A Webpage
US9418172B2 (en) Systems and methods for remote tracking and replay of user interaction with a webpage
JP5325169B2 (en) Web application operation reproduction method and system
JP6294307B2 (en) Method and system for monitoring and tracking browsing activity on portable devices
US8990291B2 (en) Information processing apparatus, server-client system, and computer program product
JP4686559B2 (en) Communication monitoring recording / reproducing apparatus and communication monitoring recording / reproducing system
JP5483965B2 (en) Web application operation recording / reproducing method and system
JP2008117093A (en) User operation recording/reproducing method and device
CN111488259B (en) Recording method for webpage and playback method for recorded file
US20100058118A1 (en) Storage medium recording information reacquisition procedure generation program and information reacquisition procedure generation apparatus
JP5476326B2 (en) Web operation recording and reproducing method and apparatus
US20130007274A1 (en) Method for Analyzing Browsing and Device for Implementing the Method
JP5560180B2 (en) Operation log collection method and apparatus
CN111026485B (en) Data processing method and device
CN111078519A (en) Method and device for backtracking abnormal monitoring behaviors and electronic equipment
CN104834588A (en) Permanent residence cross site script vulnerability detection method and apparatus
JP2005182364A (en) Www relay server and information browsing time measurement method and program and recording medium
CN111858255A (en) User behavior acquisition method based on screenshot and related equipment
CN113987393A (en) Web page operation recorder, system, device and method
JP4636775B2 (en) Network monitoring system
CN112653921B (en) Application program network behavior data analysis method, computer device and storage medium
CN115292636A (en) H5 page recording method, device and equipment and storage medium
JP2008108047A (en) Communication picture reproducing device and communication picture reproducing program
JP3726459B2 (en) Data relay device, data relay method, information terminal device, information processing method of information terminal device, data communication system, and recording medium
AU2003214926B2 (en) Method, apparatus, and system for capturing, processing, and/or playing selected data exchanged between a server and a user

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110214

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees