JP2011128915A - Log collection device and log collection method thereof, log collection system and log collection method thereof - Google Patents

Log collection device and log collection method thereof, log collection system and log collection method thereof Download PDF

Info

Publication number
JP2011128915A
JP2011128915A JP2009287050A JP2009287050A JP2011128915A JP 2011128915 A JP2011128915 A JP 2011128915A JP 2009287050 A JP2009287050 A JP 2009287050A JP 2009287050 A JP2009287050 A JP 2009287050A JP 2011128915 A JP2011128915 A JP 2011128915A
Authority
JP
Japan
Prior art keywords
log
mask
unit
mask data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009287050A
Other languages
Japanese (ja)
Inventor
Hideyuki Sunada
英之 砂田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2009287050A priority Critical patent/JP2011128915A/en
Publication of JP2011128915A publication Critical patent/JP2011128915A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To reduce a traffic load, etc., during log collection by improving log compression efficiency. <P>SOLUTION: A mask data generating part 220 generates mask data 103 representing a part that is common to a log record. A mask processing part 230 masks each log record in a log file 101 with the mask data 103 to generate a mask log file 104. A compression processing part 240 compresses the mask log file 104 to generate a compression log file 106. A log transmitting part 250 transmits the compression log file 106 and the mask data 103. A decompression processing part 320 decompresses the compression log file 106 to obtain the mask log file 104. A mask decompressing part 340 uses the mask data 103 to restore the log file 101 from the mask log file 104. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、ログを収集するログ収集装置、ログ収集装置のログ収集方法、ログ収集システム、ログ収集システムのログ収集方法に関するものである。   The present invention relates to a log collection device for collecting logs, a log collection method for a log collection device, a log collection system, and a log collection method for a log collection system.

従来のログ収集方式では、ログのデータ形式（フォーマット）によって圧縮方式を切り替えることでログの圧縮効率を高め、ログ収集時のトラフィック負荷を削減する仕組みがある。   In the conventional log collection method, there is a mechanism that improves the compression efficiency of the log by switching the compression method depending on the data format (format) of the log and reduces the traffic load at the time of log collection.

特開平１０−８４４８４号公報JP-A-10-84484

従来の方式は、ログのデータ形式に応じて圧縮方法を切り替えるため、同じデータ形式でもログごとに最適な圧縮方法が異なるといった場合に圧縮方法の切り替えが発生しない。
また、ログごとに最適な圧縮方法を求めるには、毎回、ログをデータ解析してから最適な圧縮方法を選択する必要があり、解析処理によるＣＰＵ負荷や処理時間が生じる。 Since the conventional method switches the compression method according to the data format of the log, the compression method does not switch when the optimum compression method differs for each log even in the same data format.
Further, in order to obtain an optimal compression method for each log, it is necessary to select an optimal compression method after data analysis of the log every time, which causes CPU load and processing time due to analysis processing.

本発明は、例えば、ログの圧縮効率を高め、ログ収集時のトラフィック負荷等を削減することを目的とする。   An object of the present invention is, for example, to improve log compression efficiency and reduce traffic load and the like during log collection.

本発明のログ収集装置は、
計算機により行われた処理を示す複数のログに共通する部分データを示すマスクデータを記憶するマスクデータ記憶部と、
ログを入力するログ入力部と、
前記ログ入力部に入力されたログと前記マスクデータ記憶部に記憶されたマスクデータとに基づいて、前記部分データを省略したログをマスクログとして生成するマスクログ生成部とを備える。 The log collection device of the present invention
A mask data storage unit for storing mask data indicating partial data common to a plurality of logs indicating processing performed by the computer;
A log input section for inputting logs;
And a mask log generation unit configured to generate, as a mask log, a log in which the partial data is omitted based on the log input to the log input unit and the mask data stored in the mask data storage unit.

本発明によれば、例えば、ログ（マスクログ）の圧縮効率を高め、ログ収集時のトラフィック負荷等を削減できる。   According to the present invention, for example, the compression efficiency of a log (mask log) can be increased and the traffic load at the time of log collection can be reduced.

実施の形態１におけるログ監視システム１００の構成図。1 is a configuration diagram of a log monitoring system 100 according to Embodiment 1. FIG. 実施の形態１におけるログ監視システム１００のハードウェア資源の一例を示す図。FIG. 3 is a diagram illustrating an example of hardware resources of the log monitoring system 100 according to the first embodiment. 実施の形態１におけるマスクデータ生成工程を示すシーケンス図。FIG. 3 is a sequence diagram showing a mask data generation process in the first embodiment. 実施の形態１におけるログファイルのデータ形式を示す図。FIG. 4 is a diagram showing a data format of a log file in the first embodiment. 実施の形態１におけるマスクデータ生成処理（Ｓ１３１）の概要図。FIG. 6 is a schematic diagram of mask data generation processing (S131) in the first embodiment. 実施の形態１におけるマスクログ生成工程を示すシーケンス図。FIG. 4 is a sequence diagram showing a mask log generation process in the first embodiment. 実施の形態１におけるマスク処理（Ｓ１５２）の概要図。FIG. 5 is a schematic diagram of mask processing (S152) in the first embodiment. 実施の形態１におけるログ復元・解析工程を示すシーケンス図。FIG. 4 is a sequence diagram illustrating a log restoration / analysis process according to the first embodiment. 実施の形態１におけるマスク解除処理（Ｓ１８１）の概要図。FIG. 3 is a schematic diagram of mask release processing (S181) in the first embodiment. 実施の形態１におけるログ収集クライアント装置２００とログ収集サーバ装置３００とのデータフロー。6 is a data flow between the log collection client device 200 and the log collection server device 300 according to the first embodiment. 実施の形態２におけるマスクデータ生成工程を示すシーケンス図。FIG. 9 is a sequence diagram showing a mask data generation process in the second embodiment. 実施の形態２における複数マスクデータ生成処理（Ｓ１３１Ｂ）の概要図。FIG. 10 is a schematic diagram of a multiple mask data generation process (S131B) in the second embodiment. 実施の形態２におけるマスクログ生成工程を示すシーケンス図。FIG. 11 is a sequence diagram showing a mask log generation process in the second embodiment. 実施の形態２におけるマスク別マスク処理（Ｓ１５２Ｂ）の概要図。Schematic diagram of mask processing by mask (S152B) in the second embodiment. 実施の形態２におけるログ復元・解析工程を示すシーケンス図。FIG. 11 is a sequence diagram illustrating a log restoration / analysis process according to the second embodiment. 実施の形態３におけるマスクデータ生成工程を示すシーケンス図。FIG. 11 is a sequence diagram showing a mask data generation process in the third embodiment. 実施の形態３におけるマスクデータ生成処理（Ｓ１３１Ｃ）の概要図。FIG. 10 is a schematic diagram of mask data generation processing (S131C) in the third embodiment. 実施の形態３におけるマスクログ生成工程を示すシーケンス図。FIG. 10 is a sequence diagram showing a mask log generation process in the third embodiment. 実施の形態３におけるログ復元・解析工程を示すシーケンス図。FIG. 10 is a sequence diagram illustrating a log restoration / analysis process according to the third embodiment.

実施の形態１．
ログの共通部分を省略してログファイルのデータサイズを削減する形態について説明する。 Embodiment 1 FIG.
A mode of reducing the log file data size by omitting the common part of the log will be described.

図１は、実施の形態１におけるログ監視システム１００の構成図である。
実施の形態１におけるログ監視システム１００の構成について、図１に基づいて以下に説明する。 FIG. 1 is a configuration diagram of a log monitoring system 100 according to the first embodiment.
The configuration of the log monitoring system 100 according to the first embodiment will be described below with reference to FIG.

ログ監視システム１００は、ログ収集システム１１０、監視対象システム１２０およびログ監視装置１３０を有する。
ログ監視システム１００は、ログ収集システム１１０が監視対象システム１２０のログを収集し、ログ監視装置１３０がログ収集システム１１０により収集されたログを解析して監視対象システム１２０を監視するシステムである。
ログ収集システム１１０、監視対象システム１２０およびログ監視装置１３０は通信網を介して互いにデータを送受信する。 The log monitoring system 100 includes a log collection system 110, a monitoring target system 120, and a log monitoring device 130.
In the log monitoring system 100, the log collection system 110 collects logs of the monitoring target system 120, and the log monitoring apparatus 130 analyzes the logs collected by the log collection system 110 and monitors the monitoring target system 120.
The log collection system 110, the monitoring target system 120, and the log monitoring device 130 transmit and receive data to and from each other via a communication network.

監視対象システム１２０は、一台の計算機（コンピュータ）または複数台の計算機を有する計算機システムである。計算機の図示を省略する。
各計算機は、所定の業務処理（データ処理、情報処理）を実行する業務アプリケーション部１２１を備える。
業務アプリケーション部１２１は、業務処理を実行すると共に、実行した業務処理についての情報（ログの一例）を「ログレコード１０２」として記録する。例えば、ログレコード１０２には処理時刻、処理データの識別情報、処理内容などの処理情報が設定される。 The monitoring target system 120 is a computer system having one computer (computer) or a plurality of computers. The illustration of the computer is omitted.
Each computer includes a business application unit 121 that executes predetermined business processing (data processing, information processing).
The business application unit 121 executes the business process and records information about the executed business process (an example of a log) as a “log record 102”. For example, processing information such as processing time, processing data identification information, and processing content is set in the log record 102.

以下、複数のログレコード１０２（業務処理の履歴）が記録されたファイルを「ログファイル」という。特に、業務アプリケーション部１２１により生成されるログファイルを「マスターログファイル１０９」といい、マスターログファイル１０９に含まれる一部（または全部）のログレコード１０２で構成されるログファイルを「ログファイル１０１」という。
業務アプリケーション部１２１はマスターログファイル１０９にログレコード１０２を記録する。マスターログファイル１０９は各計算機の記憶部（図示省略）に記憶される。 Hereinafter, a file in which a plurality of log records 102 (business process history) is recorded is referred to as a “log file”. In particular, a log file generated by the business application unit 121 is referred to as a “master log file 109”, and a log file including a part (or all) of the log records 102 included in the master log file 109 is referred to as “log file 101 "
The business application unit 121 records the log record 102 in the master log file 109. The master log file 109 is stored in a storage unit (not shown) of each computer.

ログ収集システム１１０は、ログ収集クライアント装置２００とログ収集サーバ装置３００とを有する。   The log collection system 110 includes a log collection client device 200 and a log collection server device 300.

ログ収集クライアント装置２００は、監視対象システム１２０のログを収集し、収集したログを圧縮する装置である。   The log collection client device 200 is a device that collects logs of the monitoring target system 120 and compresses the collected logs.

ログ収集クライアント装置２００は、ログ取得エージェント部２１０（ログ入力部の一例）、マスクデータ生成部２２０（マスクデータ生成部の一例）、マスク処理部２３０（マスクログ生成部の一例）、圧縮処理部２４０（マスクログ圧縮部、マスクログ選択部の一例）、ログ送信部２５０（マスクログ送信部の一例）およびクライアント記憶部（マスクデータ記憶部の一例）（図示省略）を備える。   The log collection client device 200 includes a log acquisition agent unit 210 (an example of a log input unit), a mask data generation unit 220 (an example of a mask data generation unit), a mask processing unit 230 (an example of a mask log generation unit), and a compression processing unit. 240 (an example of a mask log compression unit and a mask log selection unit), a log transmission unit 250 (an example of a mask log transmission unit), and a client storage unit (an example of a mask data storage unit) (not shown).

ログ取得エージェント部２１０は、ログ収集サーバ装置３００からログファイル１０１を取得する。   The log acquisition agent unit 210 acquires the log file 101 from the log collection server device 300.

マスクデータ生成部２２０は、ログ取得エージェント部２１０により取得されログファイル１０１に含まれる複数のログレコード１０２から複数のログレコード１０２に共通する部分データを抽出する。
例えば、マスクデータ生成部２２０は、ログ取得エージェント部２１０により新たに取得されたログファイル１０１に含まれるログレコード１０２とログ取得エージェント部２１０により以前に取得されたログファイル１０１に含まれるログレコード１０２（複数のログの一例）から共通する部分データを抽出する。
マスクデータ生成部２２０は、抽出した部分データを示す「マスクデータ１０３」を生成する。 The mask data generation unit 220 extracts partial data common to the plurality of log records 102 from the plurality of log records 102 acquired by the log acquisition agent unit 210 and included in the log file 101.
For example, the mask data generation unit 220 includes the log record 102 included in the log file 101 newly acquired by the log acquisition agent unit 210 and the log record 102 included in the log file 101 previously acquired by the log acquisition agent unit 210. Common partial data is extracted from (an example of a plurality of logs).
The mask data generation unit 220 generates “mask data 103” indicating the extracted partial data.

マスク処理部２３０は、ログファイル１０１に含まれるログレコード１０２とマスクデータ１０３とに基づいて、マスクデータ１０３に示される部分データを省略したログレコード１０２を「マスクログレコード１０５」として生成する。
例えば、マスク処理部２３０は、部分データを所定値（例えば、ヌル値やスペース）に置き換えて、または、部分データを削除して部分データを省略する。
マスク処理部２３０は、複数のマスクログレコード１０５を含むファイルを「マスクログファイル１０４」として生成する。 Based on the log record 102 and the mask data 103 included in the log file 101, the mask processing unit 230 generates the log record 102 from which the partial data indicated by the mask data 103 is omitted as the “mask log record 105”.
For example, the mask processing unit 230 replaces the partial data with a predetermined value (for example, a null value or a space), or deletes the partial data and omits the partial data.
The mask processing unit 230 generates a file including a plurality of mask log records 105 as the “mask log file 104”.

圧縮処理部２４０は、マスクログファイル１０４を所定の方法で圧縮する。
以下、圧縮されたマスクログファイル１０４を「圧縮ログファイル１０６」という。 The compression processing unit 240 compresses the mask log file 104 by a predetermined method.
Hereinafter, the compressed mask log file 104 is referred to as a “compressed log file 106”.

ログ送信部２５０は、マスクデータ１０３と圧縮ログファイル１０６とをログ収集サーバ装置３００へ送信する。   The log transmission unit 250 transmits the mask data 103 and the compressed log file 106 to the log collection server device 300.

クライアント記憶部は、ログ収集クライアント装置２００で用いるデータを記憶する。ログ収集クライアント装置２００の各「〜部」の入力データや生成データはクライアント記憶部に記憶されるものとする。
ログファイル１０１、マスクデータ１０３、マスクログファイル１０４および圧縮ログファイル１０６は、クライアント記憶部に記憶されるデータの一例である。 The client storage unit stores data used in the log collection client device 200. It is assumed that input data and generated data of each “˜unit” of the log collection client device 200 are stored in the client storage unit.
The log file 101, the mask data 103, the mask log file 104, and the compressed log file 106 are examples of data stored in the client storage unit.

ログ収集サーバ装置３００は、ログ収集クライアント装置２００により圧縮されたログ（圧縮ログファイル１０６）を管理し、ログを解凍する装置である。   The log collection server device 300 is a device that manages the log (compressed log file 106) compressed by the log collection client device 200 and decompresses the log.

ログ収集サーバ装置３００は、ログ受信部３１０（マスクログ受信部の一例）、解凍処理部３２０（マスクログ解凍部の一例）、マスクデータ管理部３３０、マスク解除部３４０（ログ復元部の一例）、ログ提供エージェント部３５０およびサーバ記憶部（図示省略）を備える。   The log collection server device 300 includes a log reception unit 310 (an example of a mask log reception unit), a decompression processing unit 320 (an example of a mask log decompression unit), a mask data management unit 330, and a mask release unit 340 (an example of a log restoration unit). And a log providing agent unit 350 and a server storage unit (not shown).

ログ受信部３１０は、マスクデータ１０３と圧縮ログファイル１０６とをログ収集クライアント装置２００から受信する。   The log receiving unit 310 receives the mask data 103 and the compressed log file 106 from the log collection client device 200.

解凍処理部３２０は、圧縮ログファイル１０６を所定の方法で解凍することによりマスクログファイル１０４を得る。   The decompression processing unit 320 obtains the mask log file 104 by decompressing the compressed log file 106 by a predetermined method.

マスクデータ管理部３３０は、サーバ記憶部を用いてマスクデータ１０３を管理する。   The mask data management unit 330 manages the mask data 103 using the server storage unit.

マスク解除部３４０は、マスクログファイル１０４に含まれる複数のマスクログレコード１０５それぞれにマスクデータ１０３に示される部分データを設定することによりログファイル１０１を復元する。   The mask release unit 340 restores the log file 101 by setting partial data indicated by the mask data 103 in each of the plurality of mask log records 105 included in the mask log file 104.

ログ提供エージェント部３５０は、ログファイル１０１をログ監視装置１３０に提供する。   The log providing agent unit 350 provides the log file 101 to the log monitoring device 130.

サーバ記憶部は、ログ収集サーバ装置３００で用いるデータを記憶する。ログ収集サーバ装置３００の各「〜部」の入力データや生成データはサーバ記憶部に記憶されるものとする。
マスクデータ１０３、圧縮ログファイル１０６、マスクログファイル１０４およびログファイル１０１は、サーバ記憶部に記憶されるデータの一例である。 The server storage unit stores data used in the log collection server device 300. It is assumed that input data and generated data of each “˜unit” of the log collection server device 300 are stored in the server storage unit.
The mask data 103, the compressed log file 106, the mask log file 104, and the log file 101 are examples of data stored in the server storage unit.

ログ監視装置１３０は、ログ解析部１３１を備える。   The log monitoring device 130 includes a log analysis unit 131.

ログ解析部１３１は、ログ収集サーバ装置３００からログファイル１０１を取得し、ログファイル１０１を所定の方法で解析し、解析結果を出力する。   The log analysis unit 131 acquires the log file 101 from the log collection server device 300, analyzes the log file 101 by a predetermined method, and outputs an analysis result.

ログ監視システム１００の構成は、図１に示した構成に限らない。例えば、ログ監視システム１００を以下のように構成しても構わない。
・監視対象システム１２０が複数存在しても構わない。
・監視対象システム１２０が複数存在する場合、監視対象システム１２０毎にログ収集クライアント装置２００を備えても構わない。
・ログ収集クライアント装置２００とログ収集サーバ装置３００とを一つの装置（ログ収集装置）にしても構わない。
・ログ監視装置１３０とログ収集サーバ装置３００とを一つの装置にしても構わない。 The configuration of the log monitoring system 100 is not limited to the configuration shown in FIG. For example, the log monitoring system 100 may be configured as follows.
A plurality of monitoring target systems 120 may exist.
When there are a plurality of monitoring target systems 120, the log collection client device 200 may be provided for each monitoring target system 120.
The log collection client device 200 and the log collection server device 300 may be a single device (log collection device).
The log monitoring device 130 and the log collection server device 300 may be a single device.

以下、ログ監視システム１００には監視対象システム１２０が複数存在し、監視対象システム１２０毎にログ収集クライアント装置２００が存在するものとして説明を行う。   In the following description, it is assumed that there are a plurality of monitoring target systems 120 in the log monitoring system 100 and the log collection client device 200 exists for each monitoring target system 120.

図２は、実施の形態１におけるログ監視システム１００のハードウェア資源の一例を示す図である。
図２において、ログ収集クライアント装置２００、ログ収集サーバ装置３００、ログ監視装置１３０および監視対象システム１２０の計算機は、ＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ）（マイクロプロセッサ、マイクロコンピュータともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３、ＲＡＭ９１４、通信ボード９１５、表示装置９０１、キーボード９０２、マウス９０３、ドライブ装置９０４、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。ドライブ装置９０４は、ＦＤ（Ｆｌｅｘｉｂｌｅ・Ｄｉｓｋ・Ｄｒｉｖｅ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ・Ｖｅｒｓａｔｉｌｅ・Ｄｉｓｃ）などの記憶媒体を読み書きする装置である。 FIG. 2 is a diagram illustrating an example of hardware resources of the log monitoring system 100 according to the first embodiment.
2, the computer of the log collection client device 200, the log collection server device 300, the log monitoring device 130, and the monitoring target system 120 includes a CPU 911 (Central Processing Unit) (also referred to as a microprocessor or a microcomputer). . The CPU 911 is connected to the ROM 913, the RAM 914, the communication board 915, the display device 901, the keyboard 902, the mouse 903, the drive device 904, and the magnetic disk device 920 via the bus 912, and controls these hardware devices. The drive device 904 is a device that reads and writes a storage medium such as an FD (Flexible Disk Drive), a CD (Compact Disc), and a DVD (Digital Versatile Disc).

通信ボード９１５は、有線または無線で、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、電話回線などの通信網に接続している。   The communication board 915 is wired or wirelessly connected to a communication network such as a LAN (Local Area Network), the Internet, or a telephone line.

磁気ディスク装置９２０には、ＯＳ９２１（オペレーティングシステム）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。   The magnetic disk device 920 stores an OS 921 (operating system), a window system 922, a program group 923, and a file group 924.

プログラム群９２３には、実施の形態において「〜部」として説明する機能を実行するプログラムが含まれる。プログラムは、ＣＰＵ９１１により読み出され実行される。すなわち、プログラムは、「〜部」としてコンピュータを機能させるものであり、また「〜部」の手順や方法をコンピュータに実行させるものである。   The program group 923 includes programs that execute the functions described as “units” in the embodiment. The program is read and executed by the CPU 911. That is, the program causes the computer to function as “to part”, and causes the computer to execute the procedures and methods of “to part”.

ファイル群９２４には、実施の形態において説明する「〜部」で使用される各種データ（入力、出力、判定結果、計算結果、処理結果など）が含まれる。   The file group 924 includes various data (input, output, determination result, calculation result, processing result, etc.) used in “˜part” described in the embodiment.

実施の形態において構成図、シーケンス図およびフローチャートに含まれている矢印は主としてデータや信号の入出力を示す。   In the embodiment, arrows included in the configuration diagrams, sequence diagrams, and flowcharts mainly indicate input and output of data and signals.

実施の形態において「〜部」として説明するものは「〜回路」、「〜装置」、「〜機器」であってもよく、また「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ファームウェア、ソフトウェア、ハードウェアまたはこれらの組み合わせのいずれで実装されても構わない。   In the embodiment, what is described as “to part” may be “to circuit”, “to apparatus”, and “to device”, and “to step”, “to procedure”, and “to processing”. May be. That is, what is described as “to part” may be implemented by any of firmware, software, hardware, or a combination thereof.

次に、ログ監視システム１００のログ監視方法（ログ収集方法）をマスクデータ生成工程とマスクログ生成工程とログ復元・解析工程とに分けて説明する。   Next, the log monitoring method (log collection method) of the log monitoring system 100 will be described by dividing it into a mask data generation process, a mask log generation process, and a log restoration / analysis process.

まず、各工程の概要について説明する。
マスクデータ生成工程では、ログ収集クライアント装置２００が監視対象システム１２０のログファイル１０１に含まれるログレコード１０２をマスクするマスクデータ１０３を生成する。そして、ログ収集クライアント装置２００が生成したマスクデータ１０３をログ収集サーバ装置３００へ通知する。
マスクログ生成工程では、ログ収集クライアント装置２００が監視対象システム１２０のログファイル１０１に含まれるログレコード１０２をマスクデータ１０３でマスクする。さらに、ログ収集クライアント装置２００がマスクされたログレコード１０２を含んだログファイル１０１（マスクログファイル１０４）を圧縮する。そして、ログ収集クライアント装置２００が圧縮したマスクログファイル１０４を圧縮ログファイル１０６としてログ収集サーバ装置３００へ通知する。
ログ復元・解析工程では、ログ収集サーバ装置３００が圧縮ログファイル１０６を解凍してマスクログファイル１０４を得る。さらに、ログ収集サーバ装置３００がマスクデータ１０３を用いてマスクログファイル１０４からログファイル１０１を復元する。そして、ログ収集サーバ装置３００がログファイル１０１をログ監視装置１３０へ通知し、ログ監視装置１３０がログファイル１０１を解析する。 First, the outline of each process will be described.
In the mask data generation step, the log collection client device 200 generates mask data 103 that masks the log records 102 included in the log file 101 of the monitoring target system 120. Then, the mask data 103 generated by the log collection client device 200 is notified to the log collection server device 300.
In the mask log generation process, the log collection client device 200 masks the log record 102 included in the log file 101 of the monitoring target system 120 with the mask data 103. Further, the log collection client device 200 compresses the log file 101 (mask log file 104) including the masked log record 102. Then, the log collection client device 200 notifies the log collection server device 300 of the mask log file 104 compressed as the compressed log file 106.
In the log restoration / analysis process, the log collection server device 300 decompresses the compressed log file 106 to obtain the mask log file 104. Further, the log collection server device 300 restores the log file 101 from the mask log file 104 using the mask data 103. Then, the log collection server device 300 notifies the log monitoring device 130 of the log file 101, and the log monitoring device 130 analyzes the log file 101.

次に、各工程の詳細について説明する。   Next, details of each step will be described.

図３は、実施の形態１におけるマスクデータ生成工程を示すシーケンス図である。
実施の形態１におけるマスクデータ生成工程の処理の流れについて、図３に基づいて以下に説明する。 FIG. 3 is a sequence diagram showing a mask data generation process in the first embodiment.
The process flow of the mask data generation process in the first embodiment will be described below with reference to FIG.

Ｓ１１０において、監視対象システム１２０の業務アプリケーション部１２１は、利用者に要求された業務処理や予めスケジュールされた業務処理を実行する。
さらに、業務アプリケーション部１２１は、業務処理を実行する度に、実行した業務処理を示すログレコード１０２をマスターログファイル１０９に記録する。業務アプリケーション部１２１は、予め定義されたサイズまたはレコード数分のログレコード１０２をマスターログファイル１０９に記録すると、新たなマスターログファイル１０９を生成する。業務アプリケーション部１２１は、生成した各マスターログファイル１０９を世代管理する。 In S110, the business application unit 121 of the monitoring target system 120 executes a business process requested by the user or a business process scheduled in advance.
Further, each time the business application unit 121 executes a business process, the business application unit 121 records a log record 102 indicating the executed business process in the master log file 109. The business application unit 121 generates a new master log file 109 when the log records 102 of a predefined size or number of records are recorded in the master log file 109. The business application unit 121 performs generation management for each generated master log file 109.

図４は、実施の形態１におけるログファイルのデータ形式を示す図である。
実施の形態１におけるマスターログファイル１０９（およびログファイル１０１）について、図４に基づいて以下に説明する。 FIG. 4 is a diagram illustrating a data format of the log file according to the first embodiment.
The master log file 109 (and log file 101) in the first embodiment will be described below with reference to FIG.

マスターログファイル１０９には複数のログレコード１０２が含まれ、各ログレコード１０２には「日付」「時刻」「クラス名」「メッセージ」が設定される。
「日付」「時刻」は業務処理の実行日時を示し、「クラス名」は業務処理の識別名を示し、「メッセージ」は業務処理の経過や結果を示す。
但し、マスターログファイル１０９のデータ形式（フォーマットともいう）は図４に示す形式に限られない。 The master log file 109 includes a plurality of log records 102, and “date”, “time”, “class name”, and “message” are set in each log record 102.
“Date” and “Time” indicate the execution date and time of the business process, “Class name” indicates the identification name of the business process, and “Message” indicates the progress and result of the business process.
However, the data format (also referred to as format) of the master log file 109 is not limited to the format shown in FIG.

図３に戻り、マスクデータ生成工程の説明を続ける。   Returning to FIG. 3, the description of the mask data generation process will be continued.

Ｓ１１０の後、処理はＳ１２０に進む。   After S110, the process proceeds to S120.

Ｓ１２０において、ログ収集クライアント装置２００のログ取得エージェント部２１０は、予めスケジュールされた間隔で監視対象システム１２０からログファイル１０１を取得する。ログファイル１０１は、マスターログファイル１０９に記録されている複数のログレコード１０２のうち前回のログファイル取得後に記録されたログレコード１０２で構成される。
Ｓ１２０の後、処理はＳ１３０に進む。 In S120, the log acquisition agent unit 210 of the log collection client device 200 acquires the log file 101 from the monitoring target system 120 at an interval scheduled in advance. The log file 101 includes log records 102 recorded after the previous log file acquisition among a plurality of log records 102 recorded in the master log file 109.
After S120, the process proceeds to S130.

Ｓ１３０において、ログ取得エージェント部２１０は、取得したログファイル１０１をマスクデータ生成部２２０に受け渡す。
Ｓ１３０の後、処理はＳ１３１に進む。 In S <b> 130, the log acquisition agent unit 210 delivers the acquired log file 101 to the mask data generation unit 220.
After S130, the process proceeds to S131.

Ｓ１３１において、マスクデータ生成部２２０は、ログ取得エージェント部２１０からログファイル１０１を取得し、取得したログファイル１０１をクライアント記憶部に記憶する。クライアント記憶部には、新たに記憶したログファイル１０１の他に、過去に記憶されたログファイル１０１が保存される。マスクデータ生成部２２０は、不要な世代のログファイル１０１をクライアント記憶部から削除しても構わない。   In S131, the mask data generation unit 220 acquires the log file 101 from the log acquisition agent unit 210, and stores the acquired log file 101 in the client storage unit. In addition to the newly stored log file 101, the log file 101 stored in the past is stored in the client storage unit. The mask data generation unit 220 may delete unnecessary generation log files 101 from the client storage unit.

さらに、マスクデータ生成部２２０は、以下のような所定のタイミングにて新たなマスクデータ１０３を生成する。
例えば、マスクデータ生成部２２０は、ログ取得エージェント部２１０からログファイル１０１を取得する度にマスクデータ１０３を生成する。
また例えば、マスクデータ生成部２２０は、定期的にマスクデータ１０３を生成する。
また例えば、マスクデータ生成部２２０は、システム管理者から要求を受けたときにマスクデータ１０３を生成する。
また例えば、マスクデータ生成部２２０は、業務処理のスケジュール情報を参照し、業務処理の切り替わるときにマスクデータ１０３を生成する。業務処理のスケジュール情報は予めクライアント記憶部に記憶しておくものとする。 Further, the mask data generation unit 220 generates new mask data 103 at a predetermined timing as follows.
For example, the mask data generation unit 220 generates the mask data 103 every time the log file 101 is acquired from the log acquisition agent unit 210.
Further, for example, the mask data generation unit 220 periodically generates the mask data 103.
Further, for example, the mask data generation unit 220 generates the mask data 103 when receiving a request from the system administrator.
Further, for example, the mask data generation unit 220 refers to the schedule information of the business process and generates the mask data 103 when the business process is switched. It is assumed that business process schedule information is stored in the client storage unit in advance.

マスクデータ生成部２２０は、以下のように新たなマスクデータ１０３を生成する。   The mask data generation unit 220 generates new mask data 103 as follows.

マスクデータ生成部２２０は、最新世代のログファイル１０１からログレコード１０２ａを抽出し、旧世代のログファイル１０１からログレコード１０２ｂを抽出する。
例えば、マスクデータ生成部２２０は、最新世代のログファイル１０１からログレコード１０２ａとして先頭レコードを抽出する。また、マスクデータ生成部２２０は、業務処理のスケジュール情報を参照し、ログレコード１０２ａと同じ業務処理を示すログレコード１０２ｂを旧世代のログファイル１０１から抽出する。 The mask data generation unit 220 extracts the log record 102 a from the latest generation log file 101 and extracts the log record 102 b from the old generation log file 101.
For example, the mask data generation unit 220 extracts the first record from the latest generation log file 101 as the log record 102a. Also, the mask data generation unit 220 refers to the business process schedule information, and extracts the log record 102b indicating the same business process as the log record 102a from the log file 101 of the previous generation.

次に、マスクデータ生成部２２０は、最新世代のログレコード１０２ａと旧世代のログレコード１０２ｂとに共通する部分を特定する。   Next, the mask data generation unit 220 identifies a portion common to the latest generation log record 102a and the old generation log record 102b.

そして、マスクデータ生成部２２０は、特定した共通部分を最新世代または旧世代のログレコード１０２から抽出し、抽出した共通部分を示すマスクデータ１０３を生成する。マスクデータ１０３はログレコード１０２のデータ形式とログレコード１０２の共通部分とを表す。
マスクデータ生成部２２０は、マスクデータ１０３をクライアント記憶部に記憶する。 Then, the mask data generation unit 220 extracts the specified common part from the latest generation or old generation log record 102, and generates mask data 103 indicating the extracted common part. The mask data 103 represents the data format of the log record 102 and the common part of the log record 102.
The mask data generation unit 220 stores the mask data 103 in the client storage unit.

図５は、実施の形態１におけるマスクデータ生成処理（Ｓ１３１）の概要図である。
実施の形態１におけるマスクデータ生成処理（Ｓ１３１）について、図５に基づいて以下に説明する。 FIG. 5 is a schematic diagram of the mask data generation process (S131) in the first embodiment.
The mask data generation process (S131) in the first embodiment will be described below based on FIG.

最新世代のログレコード１０２ａと旧世代のログレコード１０２ｂとは、日付と時間のコロン「：」とクラス名の前部「ｊｐ．・・・．」とが一致（共通）する。また、時間の時分秒「ｈｈｘ」「ｍｍｘ」「ｓｓｘ」とクラス名の後部「ｃｌａｓｓｘ」とメッセージ「ｍｅｓｓａｇｅｘ」とが不一致である。 In the latest generation log record 102a and the old generation log record 102b, the date and time colon “:” and the front part “jp...” Of the class name match (common). Also, the hour, minute, second “hh x ”, “mm x ”, “ss x ”, the rear part “class x ” of the class name, and the message “message x ” do not match.

マスクデータ生成部２２０は、ログレコード１０２ａとログレコード１０２ｂとの論理積をとったデータをマスクデータ１０３とする。実施の形態１では、一致部分の論理積を「真」、不一致部分の論理積を「偽」とする。
マスクデータ１０３は、論理積が「真」である部分（日付、時間のコロン、クラス名の前部）と対応する部分にログレコード１０２ａ（およびログレコード１０２ｂ）のデータが設定される。また、マスクデータ１０３は、論理積が「偽」である部分（時間の時分秒、クラス名の後部、メッセージ）と対応する部分に空データ（例えば、ＮＵＬＬ）が設定される。 The mask data generation unit 220 sets data obtained by logical product of the log record 102 a and the log record 102 b as mask data 103. In the first embodiment, the logical product of the matching part is “true”, and the logical product of the mismatching part is “false”.
In the mask data 103, the data of the log record 102a (and the log record 102b) is set in a portion corresponding to a portion where the logical product is “true” (date, time colon, and front portion of the class name). In the mask data 103, empty data (for example, NULL) is set in a portion corresponding to a portion in which the logical product is “false” (hour hour minute minute second, class name rear portion, message).

一般的に、同じ種類の業務処理は纏めて実行される。つまり、特定の時間帯には特定種類の業務処理が実行される場合が多い。また、同じ種類の業務処理は同じパターンのログレコード１０２で記録される。このため、マスクデータ１０３に設定されたデータ（空データを除く）は最新世代の他のログレコード１０２と共通すると考えられる。つまり、マスクデータ１０３は、当該時間帯におけるログレコード１０２の定型パターンを表すデータである。   Generally, the same type of business processing is executed collectively. That is, a specific type of business process is often executed in a specific time zone. Also, the same type of business process is recorded in the log record 102 having the same pattern. For this reason, it is considered that the data set in the mask data 103 (excluding empty data) is common to other log records 102 of the latest generation. That is, the mask data 103 is data representing a fixed pattern of the log record 102 in the time zone.

図３に戻り、マスクデータ生成工程の説明を続ける。   Returning to FIG. 3, the description of the mask data generation process will be continued.

Ｓ１３１において新たなマスクデータ１０３を生成した後、処理はＳ１３２に進む。   After the new mask data 103 is generated in S131, the process proceeds to S132.

Ｓ１３２において、マスクデータ生成部２２０は、新たに生成したマスクデータ１０３をログ送信部２５０に受け渡す。
Ｓ１３２の後、処理はＳ１３３に進む。 In S <b> 132, the mask data generation unit 220 delivers the newly generated mask data 103 to the log transmission unit 250.
After S132, the process proceeds to S133.

Ｓ１３３において、ログ送信部２５０は、マスクデータ１０３をマスクデータ生成部２２０から取得し、取得したマスクデータ１０３をログ収集サーバ装置３００に送信する。
Ｓ１３３の後、処理はＳ１４０に進む。 In S133, the log transmission unit 250 acquires the mask data 103 from the mask data generation unit 220, and transmits the acquired mask data 103 to the log collection server device 300.
After S133, the process proceeds to S140.

Ｓ１４０において、ログ収集サーバ装置３００のログ受信部３１０は、ログ収集クライアント装置２００からマスクデータ１０３を受信し、受信したマスクデータ１０３をマスクデータ管理部３３０に受け渡す。
さらに、ログ受信部３１０は、マスクデータ１０３を送信したログ収集クライアント装置２００の識別子をマスクデータ管理部３３０に受け渡す。ログ収集クライアント装置２００の識別子はログ送信部２５０がマスクデータ生成部２２０と共に送信してもよいし、ログ受信部３１０がログ収集クライアント装置２００毎に生成してもよい。また、ログ送信部２５０とログ受信部３１０との間で通信を開始する際にやり取りされるセッション情報（例えば、Ｃｏｏｋｉｅ）に含まれるログ収集クライアント装置２００の識別子を用いてもよい。
以下、ログ収集クライアント装置２００の識別子を「クライアント識別子」という。
Ｓ１４０の後、処理はＳ１４１に進む。 In S <b> 140, the log receiving unit 310 of the log collection server device 300 receives the mask data 103 from the log collection client device 200, and transfers the received mask data 103 to the mask data management unit 330.
Further, the log receiving unit 310 passes the identifier of the log collection client device 200 that has transmitted the mask data 103 to the mask data management unit 330. The identifier of the log collection client device 200 may be transmitted by the log transmission unit 250 together with the mask data generation unit 220, or may be generated by the log reception unit 310 for each log collection client device 200. Further, the identifier of the log collection client device 200 included in the session information (for example, Cookie) exchanged when starting communication between the log transmission unit 250 and the log reception unit 310 may be used.
Hereinafter, the identifier of the log collection client device 200 is referred to as “client identifier”.
After S140, the process proceeds to S141.

Ｓ１４１において、マスクデータ管理部３３０は、ログ受信部３１０からマスクデータ１０３とクライアント識別子とを取得し、マスクデータ１０３とクライアント識別子とを対応づけてサーバ記憶部に記憶する。このとき、当該ログ収集クライアント装置２００のマスクデータ１０３が既に記憶されている場合、マスクデータ管理部３３０は記憶されているマスクデータ１０３を新たに取得したマスクデータ１０３で更新する（置き換える）。
Ｓ１４１により、マスクデータ生成工程は終了する。 In S141, the mask data management unit 330 acquires the mask data 103 and the client identifier from the log receiving unit 310, and stores the mask data 103 and the client identifier in the server storage unit in association with each other. At this time, if the mask data 103 of the log collection client device 200 is already stored, the mask data management unit 330 updates (replaces) the stored mask data 103 with the newly acquired mask data 103.
By S141, the mask data generation process ends.

図６は、実施の形態１におけるマスクログ生成工程を示すシーケンス図である。
実施の形態１におけるマスクログ生成工程の処理の流れについて、図６に基づいて以下に説明する。 FIG. 6 is a sequence diagram showing a mask log generation step in the first embodiment.
The process flow of the mask log generation process in the first embodiment will be described below with reference to FIG.

Ｓ１１０およびＳ１２０はマスクデータ生成工程（図３参照）と同じである。   S110 and S120 are the same as the mask data generation step (see FIG. 3).

Ｓ１５０において、ログ収集クライアント装置２００のログ取得エージェント部２１０は、監視対象システム１２０から取得したログファイル１０１をマスク処理部２３０に受け渡す。
Ｓ１５０の後、処理はＳ１５１に進む。 In S150, the log acquisition agent unit 210 of the log collection client device 200 passes the log file 101 acquired from the monitoring target system 120 to the mask processing unit 230.
After S150, the process proceeds to S151.

Ｓ１５１において、マスク処理部２３０は、ログ取得エージェント部２１０からログファイル１０１を取得する。
さらに、マスク処理部２３０は、マスクデータ生成部２２０により生成されたマスクデータ１０３をクライアント記憶部から取得する。
Ｓ１５１の後、処理はＳ１５２に進む。 In S151, the mask processing unit 230 acquires the log file 101 from the log acquisition agent unit 210.
Further, the mask processing unit 230 acquires the mask data 103 generated by the mask data generation unit 220 from the client storage unit.
After S151, the process proceeds to S152.

Ｓ１５２において、マスク処理部２３０は、ログファイル１０１に含まれる各ログレコード１０２内のマスクデータ１０３に示される共通部分をマスク（省略）する。
以下、共通部分をマスクされたログレコード１０２を「マスクログレコード１０５」といい、複数のマスクログレコード１０５により構成されるログファイルを「マスクログファイル１０４」という。 In S <b> 152, the mask processing unit 230 masks (omits) the common portion indicated by the mask data 103 in each log record 102 included in the log file 101.
Hereinafter, the log record 102 with the common part masked is referred to as “mask log record 105”, and the log file composed of the plurality of mask log records 105 is referred to as “mask log file 104”.

図７は、実施の形態１におけるマスク処理（Ｓ１５２）の概要図である。
実施の形態１におけるマスク処理（Ｓ１５２）について、図７に基づいて以下に説明する。 FIG. 7 is a schematic diagram of mask processing (S152) in the first embodiment.
The mask process (S152) in the first embodiment will be described below with reference to FIG.

図５に示したように、ログレコード１０２ａにはマスクデータ１０３に示される共通部分（空データでない部分）が含まれる。
マスク処理部２３０は、ログレコード１０２ａとマスクデータ１０３との排他的論理和をとる。ログレコード１０２ａとマスクデータ１０３との排他的論理和をとったレコードがログレコード１０２ａに対応するマスクログレコード１０５ａである。実施の形態１では、一致部分の排他的論理和を「偽」、不一致部分の論理積を「真」とする。
マスクログレコード１０５ａには、排他的論理和が「偽」である部分（日付、時間のコロン、クラス名の前部）に空データが設定される。また、マスクログレコード１０５ａには、排他的論理和が「真」である部分（時間の時分秒、クラス名の後部、メッセージ）にログレコード１０２ａのデータが設定される。 As shown in FIG. 5, the log record 102a includes a common part (part which is not empty data) shown in the mask data 103.
The mask processing unit 230 performs exclusive OR of the log record 102a and the mask data 103. A record obtained by taking an exclusive OR of the log record 102a and the mask data 103 is a mask log record 105a corresponding to the log record 102a. In the first embodiment, the exclusive OR of matching parts is “false”, and the logical product of mismatching parts is “true”.
In the mask log record 105a, empty data is set in a portion where the exclusive OR is “false” (date, time colon, class name front). Further, in the mask log record 105a, the data of the log record 102a is set in a portion where the exclusive OR is “true” (time hour minute minute second, class name rear part, message).

マスク処理部２３０は、ログファイル１０１内の複数のログレコード１０２それぞれに対してマスクログレコード１０５を生成する。
ログレコード１０２とマスクデータ１０３に示される共通部分とが不一致の場合、当該部分の排他的論理和は「真」であり、マスクログレコード１０５の当該部分にはログレコード１０２のデータが設定される。 The mask processing unit 230 generates a mask log record 105 for each of the plurality of log records 102 in the log file 101.
When the log record 102 and the common part indicated by the mask data 103 do not match, the exclusive OR of the part is “true”, and the data of the log record 102 is set in the part of the mask log record 105. .

図６に戻り、マスクログ生成工程の説明を続ける。   Returning to FIG. 6, the description of the mask log generation process will be continued.

Ｓ１５２の後、処理はＳ１５３に進む。   After S152, the process proceeds to S153.

Ｓ１５３において、マスク処理部２３０は、マスクログファイル１０４を圧縮処理部２４０に受け渡す。
Ｓ１５３の後、処理はＳ１６０に進む。 In S153, the mask processing unit 230 transfers the mask log file 104 to the compression processing unit 240.
After S153, the process proceeds to S160.

Ｓ１６０において、圧縮処理部２４０は、マスク処理部２３０からマスクログファイル１０４を取得し、取得したマスクログファイル１０４を所定の圧縮アルゴリズム（処理手順）で圧縮する。圧縮アルゴリズムは既存のもので構わない。
マスクログファイル１０４は、ログレコード１０２の共通部分を省略したファイルであるため、ログファイル１０１よりも小さいデータサイズに圧縮される。
以下、マスクログファイル１０４を圧縮したファイルを「圧縮ログファイル１０６」という。
Ｓ１６０の後、処理はＳ１６１に進む。 In S160, the compression processing unit 240 acquires the mask log file 104 from the mask processing unit 230, and compresses the acquired mask log file 104 using a predetermined compression algorithm (processing procedure). The existing compression algorithm may be used.
Since the mask log file 104 is a file in which the common part of the log record 102 is omitted, the mask log file 104 is compressed to a data size smaller than that of the log file 101.
Hereinafter, a file obtained by compressing the mask log file 104 is referred to as a “compressed log file 106”.
After S160, the process proceeds to S161.

Ｓ１６１において、圧縮処理部２４０は、圧縮ログファイル１０６をログ送信部２５０に受け渡す。
Ｓ１６１の後、処理はＳ１６２に進む。 In S <b> 161, the compression processing unit 240 transfers the compressed log file 106 to the log transmission unit 250.
After S161, the process proceeds to S162.

Ｓ１６２において、ログ送信部２５０は、圧縮処理部２４０から圧縮ログファイル１０６を取得し、取得した圧縮ログファイル１０６をログ収集サーバ装置３００へ送信する。
Ｓ１６２の後、ログ復元・解析工程へ進む。 In S <b> 162, the log transmission unit 250 acquires the compressed log file 106 from the compression processing unit 240 and transmits the acquired compressed log file 106 to the log collection server device 300.
After S162, the process proceeds to a log restoration / analysis process.

図８は、実施の形態１におけるログ復元・解析工程を示すシーケンス図である。
実施の形態１におけるログ復元・解析工程の処理の流れについて、図８に基づいて以下に説明する。 FIG. 8 is a sequence diagram illustrating a log restoration / analysis process according to the first embodiment.
A flow of processing of the log restoration / analysis process in the first embodiment will be described below with reference to FIG.

Ｓ１７０において、ログ収集サーバ装置３００のログ受信部３１０は、ログ収集クライアント装置２００から圧縮ログファイル１０６を受信し、受信した圧縮ログファイル１０６とログ収集クライアント装置２００のクライアント識別子とを解凍処理部３２０に受け渡す。
Ｓ１７０の後、処理はＳ１７１に進む。 In S <b> 170, the log receiving unit 310 of the log collection server device 300 receives the compressed log file 106 from the log collection client device 200, and decompresses the received compressed log file 106 and the client identifier of the log collection client device 200. Pass to.
After S170, the process proceeds to S171.

Ｓ１７１において、解凍処理部３２０は、ログ受信部３１０から圧縮ログファイル１０６とクライアント識別子とを取得し、取得した圧縮ログファイル１０６を所定の解凍アルゴリズムで解凍する。解凍アルゴリズムは圧縮ログファイル１０６の圧縮アルゴリズムに対応するアルゴリズムである。例えば、圧縮アルゴリズムおよび解凍アルゴリズムは予め決められているものとする。また、ログ収集サーバ装置３００に複数の解凍アルゴリズムを用意しておき、ログ収集クライアント装置２００が使用した圧縮アルゴリズムをログ収集サーバ装置３００に通知し、ログ収集サーバ装置３００が通知された圧縮アルゴリズムに対応する解凍アルゴリズムを選択してもよい。
圧縮ログファイル１０６を解凍することにより、マスクログファイル１０４が得られる。
Ｓ１７１の後、処理はＳ１７２に進む。 In S171, the decompression processing unit 320 acquires the compressed log file 106 and the client identifier from the log receiving unit 310, and decompresses the acquired compressed log file 106 using a predetermined decompression algorithm. The decompression algorithm is an algorithm corresponding to the compression algorithm of the compression log file 106. For example, it is assumed that the compression algorithm and the decompression algorithm are determined in advance. Also, a plurality of decompression algorithms are prepared in the log collection server device 300, the compression algorithm used by the log collection client device 200 is notified to the log collection server device 300, and the log collection server device 300 is notified of the compression algorithm notified. A corresponding decompression algorithm may be selected.
The mask log file 104 is obtained by decompressing the compressed log file 106.
After S171, the process proceeds to S172.

Ｓ１７２において、解凍処理部３２０は、圧縮ログファイル１０６を解凍して得られたマスクログファイル１０４とログ受信部３１０から取得したクライアント識別子とをマスク解除部３４０に受け渡す。
Ｓ１７２の後、処理はＳ１８０に進む。 In S <b> 172, the decompression processing unit 320 passes the mask log file 104 obtained by decompressing the compressed log file 106 and the client identifier acquired from the log receiving unit 310 to the mask release unit 340.
After S172, the process proceeds to S180.

Ｓ１８０において、マスク解除部３４０は、解凍処理部３２０からマスクログファイル１０４とクライアント識別子とを取得する。
そして、マスク解除部３４０は、取得したクライアント識別子に対応するマスクデータ１０３をマスクデータ管理部３３０に要求する。マスクデータ管理部３３０は、要求されたマスクデータ１０３をサーバ記憶部から取得し、取得したマスクデータ１０３をマスク解除部３４０に受け渡す。
Ｓ１８０の後、処理はＳ１８１に進む。 In S180, the mask canceling unit 340 acquires the mask log file 104 and the client identifier from the decompression processing unit 320.
Then, the mask release unit 340 requests the mask data management unit 330 for the mask data 103 corresponding to the acquired client identifier. The mask data management unit 330 acquires the requested mask data 103 from the server storage unit, and transfers the acquired mask data 103 to the mask release unit 340.
After S180, the process proceeds to S181.

Ｓ１８１において、マスク解除部３４０は、マスクデータ１０３を用いてマスクログファイル１０４のマスクを解除する。
マスクログファイル１０４のマスクを解除することにより、ログファイル１０１が復元される。 In S <b> 181, the mask release unit 340 uses the mask data 103 to release the mask of the mask log file 104.
The log file 101 is restored by releasing the mask of the mask log file 104.

図９は、実施の形態１におけるマスク解除処理（Ｓ１８１）の概要図である。
実施の形態１におけるマスク解除処理（Ｓ１８１）について、図９に基づいて以下に説明する。 FIG. 9 is a schematic diagram of mask release processing (S181) in the first embodiment.
The mask release process (S181) in the first embodiment will be described below with reference to FIG.

マスク解除部３４０は、マスクログレコード１０５ａとマスクデータ１０３との排他的論理和をとる。マスクログレコード１０５ａとマスクデータ１０３との排他的論理和をとったレコードがマスクログレコード１０５ａに対応するログレコード１０２ａである。
ログレコード１０２ａには、マスクログレコード１０５ａのデータ値（空データを除く）とマスクデータ１０３のデータ値（空データを除く）とが設定される。 The mask release unit 340 performs an exclusive OR of the mask log record 105a and the mask data 103. A record obtained by taking an exclusive OR of the mask log record 105a and the mask data 103 is a log record 102a corresponding to the mask log record 105a.
In the log record 102a, the data value of the mask log record 105a (excluding empty data) and the data value of the mask data 103 (excluding empty data) are set.

マスク解除部３４０は、マスクログファイル１０４内の複数のマスクログレコード１０５それぞれに対してログレコード１０２を復元する。
マスクログレコード１０５のデータ設定部分（空データ以外の部分）とマスクデータ１０３のデータ設定部分とが重なる場合、ログレコード１０２の当該部分にはマスクログレコード１０５のデータが設定される。 The mask release unit 340 restores the log record 102 for each of the plurality of mask log records 105 in the mask log file 104.
When the data setting part (part other than empty data) of the mask log record 105 and the data setting part of the mask data 103 overlap, the data of the mask log record 105 is set in the part of the log record 102.

図８に戻り、ログ復元・解析工程の説明を続ける。   Returning to FIG. 8, the description of the log restoration / analysis process is continued.

Ｓ１８１の後、処理はＳ１８２に進む。   After S181, the process proceeds to S182.

Ｓ１８２において、マスク解除部３４０は、ログファイル１０１とクライアント識別子とをログ提供エージェント部３５０に受け渡す。
Ｓ１８２の後、処理はＳ１８３に進む。 In S <b> 182, the mask release unit 340 delivers the log file 101 and the client identifier to the log providing agent unit 350.
After S182, the process proceeds to S183.

Ｓ１８３において、ログ提供エージェント部３５０は、マスク解除部３４０からログファイル１０１とクライアント識別子とを取得し、ログファイル１０１とクライアント識別子とをログ監視装置１３０へ送信する。
例えば、ログ提供エージェント部３５０は以下のタイミングでログファイル１０１とクライアント識別子とをログ監視装置１３０へ送信する。
マスク解除部３４０からログファイル１０１とクライアント識別子とを取得する度。
マスク解除部３４０から取得したログファイル１０１を蓄積し、蓄積したログファイル１０１をクライアント識別子と対応づけて定期的に送信する。
ログ監視装置１３０は管理者から要求を受けたときにログ提供エージェント部３５０にログファイル１０１を要求し、ログ提供エージェント部３５０はログ監視装置１３０から要求を受けたときにログファイル１０１とクライアント識別子とを送信する。
Ｓ１８３の後、処理はＳ１９０に進む。 In step S183, the log providing agent unit 350 acquires the log file 101 and the client identifier from the mask release unit 340, and transmits the log file 101 and the client identifier to the log monitoring apparatus 130.
For example, the log providing agent unit 350 transmits the log file 101 and the client identifier to the log monitoring device 130 at the following timing.
Every time the log file 101 and the client identifier are acquired from the mask release unit 340.
The log file 101 acquired from the mask release unit 340 is accumulated, and the accumulated log file 101 is periodically transmitted in association with the client identifier.
The log monitoring device 130 requests the log file 101 from the log providing agent unit 350 when receiving a request from the administrator, and the log providing agent unit 350 receives the log file 101 and the client identifier when receiving a request from the log monitoring device 130. And send.
After S183, the process proceeds to S190.

Ｓ１９０において、ログ監視装置１３０のログ解析部１３１は、ログ収集サーバ装置３００からログファイル１０１とクライアント識別子とを受信し、受信したログファイル１０１を所定のアルゴリズムで解析し、解析結果を出力する。
例えば、ログ解析部１３１は、ログファイル１０１から異常メッセージが設定されたログレコード１０２を抽出し、抽出したログレコード１０２とクライアント識別子とを障害情報として表示する。
Ｓ１９０により、ログ復元・解析処理は終了する。 In S190, the log analysis unit 131 of the log monitoring device 130 receives the log file 101 and the client identifier from the log collection server device 300, analyzes the received log file 101 with a predetermined algorithm, and outputs an analysis result.
For example, the log analysis unit 131 extracts the log record 102 in which the abnormal message is set from the log file 101, and displays the extracted log record 102 and the client identifier as failure information.
Through S190, the log restoration / analysis process ends.

図１０は、実施の形態１におけるログ収集クライアント装置２００とログ収集サーバ装置３００とのデータフローである。
ログ収集クライアント装置２００とログ収集サーバ装置３００とのデータの流れについて、図１０に基づいて以下に説明する。 FIG. 10 is a data flow between the log collection client device 200 and the log collection server device 300 according to the first embodiment.
The data flow between the log collection client device 200 and the log collection server device 300 will be described below with reference to FIG.

上述したように、ログ収集クライアント装置２００はマスクデータ１０３を所定のタイミングで更新し（Ｓ１３１）、更新したマスクデータ１０３をログ収集サーバ装置３００に通知する（Ｓ１３３）。   As described above, the log collection client device 200 updates the mask data 103 at a predetermined timing (S131), and notifies the log collection server device 300 of the updated mask data 103 (S133).

ログ収集サーバ装置３００は、マスクデータ１０３ａが通知されてから次のマスクデータ１０３ｂが通知されるまでの間に送信された圧縮ログファイル１０６ｂ〜ｄをマスクデータ１０３ａを用いて復元する。
また、ログ収集サーバ装置３００は、マスクデータ１０３ｂが通知された後に送信された圧縮ログファイル１０６ｅをマスクデータ１０３ｂを用いて復元する。 The log collection server device 300 restores the compressed log files 106b to 106d transmitted from when the mask data 103a is notified until the next mask data 103b is notified using the mask data 103a.
Further, the log collection server device 300 restores the compressed log file 106e transmitted after the notification of the mask data 103b using the mask data 103b.

実施の形態１において、例えば、以下のようなログ収集システム１１０について説明した。   In the first embodiment, for example, the following log collection system 110 has been described.

実施の形態１は、システム運用管理のモニタリングに関係する技術であり、特にシステム／業務アプリケーション／サービスの障害を特定・検知する目的にてログ情報を収集し、収集したログ情報を解析するシステムに関する。   The first embodiment is a technique related to system operation management monitoring, and particularly relates to a system that collects log information for the purpose of identifying and detecting a failure of a system / business application / service and analyzes the collected log information. .

ログ収集システム１１０は、ログの特徴として一定期間に渡って定型パターンの情報が出力されるという特徴を活用し、ログの圧縮効率を高め、ログ収集時のトラフィック負荷等を削減する。   The log collection system 110 utilizes the feature that information of a fixed pattern is output over a certain period as a feature of the log, improves log compression efficiency, and reduces traffic load at the time of log collection.

ログ収集システム１１０は、監視対象アプリケーションのログ情報から一定期間に渡って変化のないログの共通部分を抽出し、ログのマスクデータを作成する。そして、ログ監視システム１００は、ログの共通部分をマスクすることでログの圧縮効率を高める。
ログ収集システム１１０は、収集したログ情報を圧縮解凍し、マスクデータにより情報を復元することで、もともとのログ情報を取得することを特徴とするログ収集装置。
ログ収集システム１１０は、マスクデータを切り替え時にのみクライアント側とサーバ側との間でマスクデータを交換することで、ログ収集時のデータ転送量を削減する。 The log collection system 110 extracts the common part of the log that does not change over a certain period from the log information of the monitoring target application, and creates log mask data. The log monitoring system 100 increases the log compression efficiency by masking the common part of the log.
The log collection system 110 is characterized by acquiring original log information by compressing and decompressing collected log information and restoring the information by mask data.
The log collection system 110 reduces the data transfer amount at the time of log collection by exchanging mask data between the client side and the server side only at the time of switching the mask data.

ログ収集クライアント装置２００は、ログ取得エージェント部２１０、マスクデータ生成部２２０、マスク処理部２３０、圧縮処理部２４０およびログ送信部２５０を備える。
ログ取得エージェント部２１０は、業務アプリケーション部１２１の出力するログ（ログファイル１０１）を監視する。
マスクデータ生成部２２０は、ログ情報から定型パターンを抽出し、マスクデータを作成する。
マスク処理部２３０は、ログ情報に対してマスク処理を行う。
圧縮処理部２４０は、マスク後のログ情報（マスクログファイル１０４）に対して圧縮処理を行う。
ログ送信部２５０は、マスクデータおよび圧縮されたログ情報を送信する。 The log collection client device 200 includes a log acquisition agent unit 210, a mask data generation unit 220, a mask processing unit 230, a compression processing unit 240, and a log transmission unit 250.
The log acquisition agent unit 210 monitors the log (log file 101) output from the business application unit 121.
The mask data generation unit 220 extracts a fixed pattern from the log information and creates mask data.
The mask processing unit 230 performs a mask process on the log information.
The compression processing unit 240 performs a compression process on the log information (mask log file 104) after masking.
The log transmission unit 250 transmits mask data and compressed log information.

ログ収集サーバ装置３００は、ログ受信部３１０、解凍処理部３２０、マスク解除部３４０およびログ提供エージェント部３５０を備える。
ログ受信部３１０は、マスクデータおよび圧縮されたログ情報を受信する。
解凍処理部３２０は、圧縮されたログ情報を解凍する。
マスク解除部３４０は、マスクデータを用いて元のログ情報を復元する。
ログ提供エージェント部３５０は、復元したログ情報を出力する。 The log collection server device 300 includes a log receiving unit 310, a decompression processing unit 320, a mask release unit 340, and a log providing agent unit 350.
The log receiving unit 310 receives mask data and compressed log information.
The decompression processing unit 320 decompresses the compressed log information.
The mask release unit 340 restores the original log information using the mask data.
The log providing agent unit 350 outputs the restored log information.

ログ監視装置１３０は、ログ解析部１３１を備える。
ログ解析部１３１は、ログ情報を入力し、入力したログ情報を解析して異常等が発生していないかを検知する。 The log monitoring device 130 includes a log analysis unit 131.
The log analysis unit 131 inputs log information and analyzes the input log information to detect whether an abnormality or the like has occurred.

特定期間ごとにマスクデータの見直しを行うことで、ログデータの圧縮効率を高め、ログ収集時のトラフィック負荷等を低減することが可能となる。   By reviewing the mask data for each specific period, it is possible to increase the compression efficiency of log data and reduce the traffic load during log collection.

マスクデータ生成部２２０は、複数世代のログレコード１０２ではなく、同じログファイル１０１に含まれる複数のログレコード１０２に共通する部分を示すマスクデータ１０３を生成してもよい。
マスクデータ生成部２２０は、２つのログレコード１０２ではなく、３つ以上のログレコード１０２に共通する部分を示すマスクデータ１０３を生成してもよい。
マスクデータ１０３は管理者（利用者）が定義しても構わない。 The mask data generation unit 220 may generate mask data 103 indicating a portion common to a plurality of log records 102 included in the same log file 101 instead of the multiple generation log records 102.
The mask data generation unit 220 may generate mask data 103 indicating a portion common to three or more log records 102 instead of the two log records 102.
The mask data 103 may be defined by an administrator (user).

実施の形態２．
複数種類のマスクデータを用意し、複数種類のマスクデータを用いて複数の圧縮ログファイルを生成し、データサイズの小さい圧縮ログファイルを採用する形態について説明する。
以下、実施の形態１と異なる事項について主に説明する。説明を省略する事項は実施の形態１と同様である。 Embodiment 2. FIG.
A mode will be described in which a plurality of types of mask data are prepared, a plurality of compressed log files are generated using the plurality of types of mask data, and a compressed log file having a small data size is employed.
Hereinafter, items different from the first embodiment will be mainly described. Matters whose description is omitted are the same as those in the first embodiment.

ログ監視システム１００の構成は、実施の形態１（図１参照）と同じである。   The configuration of the log monitoring system 100 is the same as that of the first embodiment (see FIG. 1).

マスクデータ生成部２２０は、ログファイル１０１内の複数のログレコード１０２を所定の条件に基づいて複数のグループにグループ分けし、グループ毎にマスクデータ１０３を生成する。
マスク処理部２３０は、マスクデータ生成部２２０により生成された複数のマスクデータ毎に複数のログレコード１０２に対応する複数のマスクログレコード１０５を含むファイルをマスクログファイル１０４として生成する。
圧縮処理部２４０は、マスク処理部２３０により生成された複数のマスクログファイル１０４を所定の方法で圧縮する。
圧縮処理部２４０は、圧縮した複数のマスクログファイル１０４それぞれのデータサイズに基づいてマスクログファイル１０４を選択する。 The mask data generation unit 220 groups a plurality of log records 102 in the log file 101 into a plurality of groups based on a predetermined condition, and generates mask data 103 for each group.
The mask processing unit 230 generates a file including a plurality of mask log records 105 corresponding to the plurality of log records 102 as the mask log file 104 for each of a plurality of mask data generated by the mask data generation unit 220.
The compression processing unit 240 compresses the plurality of mask log files 104 generated by the mask processing unit 230 by a predetermined method.
The compression processing unit 240 selects the mask log file 104 based on the data size of each of the compressed mask log files 104.

解凍処理部３２０は、圧縮処理部２４０により選択されたマスクログファイル１０４を所定の方法で解凍する。
マスク解除部３４０は、解凍処理部３２０により解凍されたマスクログファイル１０４内の複数のマスクログレコード１０５それぞれに当該マスクログファイル１０４に対応するマスクデータ１０３に示される部分データを設定することにより複数のログレコード１０２を復元する。 The decompression processing unit 320 decompresses the mask log file 104 selected by the compression processing unit 240 by a predetermined method.
The mask release unit 340 sets a plurality of pieces of partial data indicated by the mask data 103 corresponding to the mask log file 104 in each of the plurality of mask log records 105 in the mask log file 104 decompressed by the decompression processing unit 320. The log record 102 is restored.

図１１は、実施の形態２におけるマスクデータ生成工程を示すシーケンス図である。
実施の形態２におけるマスクデータ生成工程の処理の流れについて、図１１に基づいて以下に説明する。 FIG. 11 is a sequence diagram showing a mask data generation step in the second embodiment.
The process flow of the mask data generation process in the second embodiment will be described below with reference to FIG.

Ｓ１１０〜Ｓ１３０は実施の形態１（図３参照）と同じである。
Ｓ１３１Ｂ〜Ｓ１４１Ｂは実施の形態１で説明したＳ１３１〜Ｓ１４１に相当する処理である。
以下、Ｓ１３１Ｂ〜Ｓ１４１Ｂについて実施の形態１のＳ１３１〜Ｓ１４１と異なる事項を主に説明する。 S110 to S130 are the same as those in the first embodiment (see FIG. 3).
S131B to S141B are processes corresponding to S131 to S141 described in the first embodiment.
Hereinafter, items different from S131 to S141 of the first embodiment will be mainly described with respect to S131B to S141B.

Ｓ１３１Ｂにおいて、マスクデータ生成部２２０は、ログ取得エージェント部２１０からログファイル１０１を取得し、取得したログファイル１０１をクライアント記憶部に記憶する。
マスクデータ生成部２２０は、取得したログファイル１０１内の複数のログレコード１０２を所定の規則に従ってグループ分けする。例えば、マスクデータ生成部２２０は、複数のログレコード１０２を所定の部分に設定された値毎にグループ分けする。
マスクデータ生成部２２０は、ログレコード１０２のグループ毎にマスクデータ１０３を生成し、各マスクデータ１０３にマスクデータ識別子を設定する。
マスクデータ生成部２２０は、各グループのマスクデータ１０３をクライアント記憶部に記憶する。
マスクデータ１０３の生成タイミングおよび生成方法は実施の形態１（Ｓ１３１）と同じである。 In S131B, the mask data generation unit 220 acquires the log file 101 from the log acquisition agent unit 210, and stores the acquired log file 101 in the client storage unit.
The mask data generation unit 220 groups the plurality of log records 102 in the acquired log file 101 according to a predetermined rule. For example, the mask data generation unit 220 groups a plurality of log records 102 for each value set in a predetermined part.
The mask data generation unit 220 generates mask data 103 for each group of the log records 102 and sets a mask data identifier for each mask data 103.
The mask data generation unit 220 stores the mask data 103 of each group in the client storage unit.
The generation timing and generation method of the mask data 103 are the same as those in the first embodiment (S131).

図１２は、実施の形態２における複数マスクデータ生成処理（Ｓ１３１Ｂ）の概要図である。
実施の形態２における複数マスクデータ生成処理（Ｓ１３１Ｂ）について、図１２に基づいて以下に説明する。 FIG. 12 is a schematic diagram of the multiple mask data generation process (S131B) in the second embodiment.
The multiple mask data generation process (S131B) in the second embodiment will be described below with reference to FIG.

マスクデータ生成部２２０は、ログファイル１０１に含まれる複数のログレコード１０２をクラス名「ｊｐ．ｃｏ．ＭＥｌｅｃｔｒｉｃ．Ａｐｐ．ｘｘｘ」でグループ分けする。これにより、複数のログレコード１０２はクラス名の最後（「ｘｘｘ」部分）が「Ｎａｇｏｋｏｉ」であるグループＡとクラス名の最後が「Ｒｅｄｂｌａｃｋ」であるグループＢとに分けられる。
マスクデータ生成部２２０は、グループＡの定型パターンを表すマスクデータ１０３Ａと、グループＢの定型パターンを表すマスクデータ１０３Ｂとを生成する。マスクデータ１０３Ａのクラス名の最後は「Ｎｏｇｏｋｏｉ」となり、マスクデータ１０３Ｂのクラス名の最後は「Ｒｅｄｂｌａｃｋ」となる。 The mask data generation unit 220 groups a plurality of log records 102 included in the log file 101 by class name “jp.co.MElectric.App.xxx”. As a result, the plurality of log records 102 are divided into a group A in which the last class name (“xxx” portion) is “Nagokoi” and a group B in which the last class name is “Redblack”.
The mask data generation unit 220 generates mask data 103 </ b> A representing the group A fixed pattern and mask data 103 </ b> B representing the group B fixed pattern. The last class name of the mask data 103A is “Nogokoi”, and the last class name of the mask data 103B is “Redblack”.

図１１に戻り、マスクデータ生成工程の説明を続ける。   Returning to FIG. 11, the description of the mask data generation process will be continued.

Ｓ１３１Ｂの後、処理はＳ１３２Ｂに進む。   After S131B, the process proceeds to S132B.

Ｓ１３２Ｂにおいて、マスクデータ生成部２２０は複数のマスクデータ１０３をログ送信部２５０に受け渡す。
Ｓ１３３Ｂにおいて、ログ送信部２５０は複数のマスクデータ１０３をログ収集サーバ装置３００へ送信する。
Ｓ１４０Ｂにおいて、ログ収集サーバ装置３００のログ受信部３１０は複数のマスクデータ１０３とクライアント識別子とをマスクデータ管理部３３０に通知する。
Ｓ１４１Ｂにおいて、マスクデータ管理部３３０は複数のマスクデータ１０３とクライアント識別子とを対応づけてサーバ記憶部に記憶する。複数のマスクデータ１０３はそれぞれマスクデータ識別子で識別される。 In S <b> 132 </ b> B, the mask data generation unit 220 delivers the plurality of mask data 103 to the log transmission unit 250.
In S133B, the log transmission unit 250 transmits the plurality of mask data 103 to the log collection server device 300.
In S140B, the log reception unit 310 of the log collection server device 300 notifies the mask data management unit 330 of the plurality of mask data 103 and the client identifier.
In S141B, the mask data management unit 330 stores the plurality of mask data 103 and the client identifier in association with each other in the server storage unit. Each of the plurality of mask data 103 is identified by a mask data identifier.

図１３は、実施の形態２におけるマスクログ生成工程を示すシーケンス図である。
実施の形態２におけるマスクログ生成工程の処理の流れについて、図１３に基づいて以下に説明する。 FIG. 13 is a sequence diagram illustrating a mask log generation process according to the second embodiment.
The flow of the process of the mask log generation process in the second embodiment will be described below based on FIG.

Ｓ１１０、Ｓ１２０およびＳ１５０は実施の形態１（図６参照）と同じである。
Ｓ１５１Ｂ〜Ｓ１６２Ｂは実施の形態１で説明したＳ１５１〜Ｓ１６２に相当する処理である。
以下、Ｓ１５１Ｂ〜Ｓ１６２Ｂについて実施の形態１のＳ１５１〜Ｓ１６２と異なる事項を主に説明する。 S110, S120, and S150 are the same as those in the first embodiment (see FIG. 6).
S151B to S162B are processes corresponding to S151 to S162 described in the first embodiment.
Hereinafter, matters different from S151 to S162 of the first embodiment will be mainly described with respect to S151B to S162B.

Ｓ１５１Ｂにおいて、マスク処理部２３０は、マスクデータ生成部２２０により生成された複数のマスクデータ１０３をクライアント記憶部から取得する。
Ｓ１５１Ｂの後、処理はＳ１５２Ｂに進む。 In S151B, the mask processing unit 230 acquires a plurality of mask data 103 generated by the mask data generation unit 220 from the client storage unit.
After S151B, the process proceeds to S152B.

Ｓ１５２Ｂにおいて、マスク処理部２３０は、マスクデータ１０３毎にマスクログファイル１０４を生成する。
例えば、マスク処理部２３０は、マスクデータ１０３Ａとマスクデータ１０３Ｂとが存在する場合、ログファイル１０１をマスクデータ１０３Ａでマスクしてマスクログファイル１０４Ａを生成し、ログファイル１０１をマスクデータ１０３Ｂでマスクしてマスクログファイル１０４Ｂを生成する。 In S <b> 152 </ b> B, the mask processing unit 230 generates a mask log file 104 for each mask data 103.
For example, when the mask data 103A and the mask data 103B exist, the mask processing unit 230 generates the mask log file 104A by masking the log file 101 with the mask data 103A, and masks the log file 101 with the mask data 103B. The mask log file 104B is generated.

図１４は、実施の形態２におけるマスク別マスク処理（Ｓ１５２Ｂ）の概要図である。
実施の形態２におけるマスク別マスク処理（Ｓ１５２Ｂ）について、図１４に基づいて以下に説明する。 FIG. 14 is a schematic diagram of mask processing for each mask (S152B) in the second embodiment.
The mask processing for each mask (S152B) in the second embodiment will be described below with reference to FIG.

クラス名が「ｊｐ．・・・．Ｎａｇｏｋｏｉ」であるログレコード１０２ａがログファイル１０１に含まれるものとする。
また、マスクデータ１０３Ａのクラス名を「ｊｐ．・・・．Ｎａｇｏｋｏｉ」とし、マスクデータ１０３Ｂのクラス名を「ｊｐ．・・・．Ｒｅｄｂｌａｃｋ」とする。 It is assumed that the log file 102 includes a log record 102 a whose class name is “jp... Nagakoi”.
In addition, the class name of the mask data 103A is “jp... Nagakoi”, and the class name of the mask data 103B is “jp... Redblack”.

マスク処理部２３０は、ログレコード１０２ａとマスクデータ１０３Ａとの排他的論理和をとってマスクログレコード１０５Ａを生成する。ログレコード１０２ａのクラス名とマスクデータ１０３Ａのクラス名とが一致するため、マスクログレコード１０５Ａのクラス名には空データが設定される。
さらに、マスク処理部２３０は、ログレコード１０２ａとマスクデータ１０３Ｂとの排他的論理和をとってマスクログレコード１０５Ｂを生成する。ログレコード１０２ａのクラス名の終部「Ｎａｇｏｋｏｉ」とマスクデータ１０３Ｂのクラス名の終部「Ｒｅｄｂｌａｃｋ」とが不一致であるため、マスクログレコード１０５Ｂのクラス名の終部にはログレコード１０２ａの値「Ｎａｇｏｋｏｉ」が設定される。 The mask processing unit 230 takes the exclusive OR of the log record 102a and the mask data 103A to generate the mask log record 105A. Since the class name of the log record 102a matches the class name of the mask data 103A, empty data is set in the class name of the mask log record 105A.
Further, the mask processing unit 230 generates the mask log record 105B by taking the exclusive OR of the log record 102a and the mask data 103B. Since the end part “Nagokoi” of the class name of the log record 102a does not match the end part “Redblack” of the class name of the mask data 103B, the value “ “Nagokoi” is set.

マスク処理部２３０は、ログファイル１０１に含まれる複数のログレコード１０２それぞれに対してマスクログレコード１０５Ａとマスクログレコード１０５Ｂとを生成する。   The mask processing unit 230 generates a mask log record 105A and a mask log record 105B for each of the plurality of log records 102 included in the log file 101.

図１３に戻り、マスクログ生成工程の説明を続ける。   Returning to FIG. 13, the description of the mask log generation process will be continued.

Ｓ１５２Ｂの後、処理はＳ１５３Ｂに進む。   After S152B, the process proceeds to S153B.

Ｓ１５３Ｂにおいて、マスク処理部２３０は複数のマスクログファイル１０４と各マスクログファイル１０４の生成に使用したマスクデータ１０３のマスク識別子とを圧縮処理部２４０に受け渡す。
Ｓ１５３Ｂの後、処理はＳ１６０Ｂ１に進む。 In S153B, the mask processing unit 230 delivers the plurality of mask log files 104 and the mask identifier of the mask data 103 used for generating each mask log file 104 to the compression processing unit 240.
After S153B, the process proceeds to S160B1.

Ｓ１６０Ｂ１において、圧縮処理部２４０は、複数のマスクログファイル１０４それぞれを圧縮して複数の圧縮ログファイル１０６を生成する。
Ｓ１６０Ｂ１の後、処理はＳ１６０Ｂ２に進む。 In S160B1, the compression processing unit 240 generates a plurality of compressed log files 106 by compressing each of the plurality of mask log files 104.
After S160B1, the process proceeds to S160B2.

Ｓ１６０Ｂ２において、圧縮処理部２４０は、複数の圧縮ログファイル１０６それぞれのデータサイズを比較する。
そして、データサイズが最も小さい圧縮ログファイル１０６を選択する。
Ｓ１６０Ｂ２の後、処理はＳ１６１Ｂに進む。 In S160B2, the compression processing unit 240 compares the data sizes of the plurality of compressed log files 106.
Then, the compressed log file 106 having the smallest data size is selected.
After S160B2, the process proceeds to S161B.

Ｓ１６１Ｂにおいて、圧縮処理部２４０は、選択した圧縮ログファイル１０６と選択した圧縮ログファイル１０６に対応するマスクデータ識別子とをマスク処理部２３０に受け渡す。
Ｓ１６１Ｂの後、処理はＳ１６２Ｂに進む。 In S161B, the compression processing unit 240 passes the selected compressed log file 106 and the mask data identifier corresponding to the selected compressed log file 106 to the mask processing unit 230.
After S161B, the process proceeds to S162B.

Ｓ１６２Ｂにおいて、ログ送信部２５０は圧縮ログファイル１０６とマスクデータ識別子とをログ収集サーバ装置３００へ送信する。
Ｓ１６２Ｂの後、ログ復元・解析工程へ進む。 In S <b> 162 </ b> B, the log transmission unit 250 transmits the compressed log file 106 and the mask data identifier to the log collection server device 300.
After S162B, the process proceeds to a log restoration / analysis process.

図１５は、実施の形態２におけるログ復元・解析工程を示すシーケンス図である。
実施の形態２におけるログ復元・解析工程の処理の流れについて、図１５に基づいて以下に説明する。 FIG. 15 is a sequence diagram illustrating a log restoration / analysis process according to the second embodiment.
The flow of the log restoration / analysis process in the second embodiment will be described below with reference to FIG.

Ｓ１７０Ｂ〜Ｓ１８０Ｂは実施の形態１で説明したＳ１７０〜Ｓ１８０に相当する処理である。
Ｓ１８１〜Ｓ１９０は実施の形態１（図８参照）と同じである。
以下、Ｓ１７０Ｂ〜Ｓ１８０Ｂについて実施の形態１のＳ１７０〜Ｓ１８０と異なる事項を主に説明する。 S170B to S180B are processes corresponding to S170 to S180 described in the first embodiment.
S181 to S190 are the same as those in the first embodiment (see FIG. 8).
Hereinafter, matters different from S170 to S180 of the first embodiment will be mainly described with respect to S170B to S180B.

Ｓ１７０Ｂにおいて、ログ収集サーバ装置３００のログ受信部３１０は、ログ収集クライアント装置２００から圧縮ログファイル１０６とマスクデータ識別子とを受信する。
そして、ログ受信部３１０は、圧縮ログファイル１０６とマスクデータ識別子とクライアント識別子とを解凍処理部３２０に受け渡す。
Ｓ１７０Ｂの後、処理はＳ１７１Ｂに進む。 In S170B, the log receiving unit 310 of the log collection server device 300 receives the compressed log file 106 and the mask data identifier from the log collection client device 200.
Then, the log receiving unit 310 passes the compressed log file 106, the mask data identifier, and the client identifier to the decompression processing unit 320.
After S170B, the process proceeds to S171B.

Ｓ１７１Ｂにおいて、解凍処理部３２０は、ログ受信部３１０から圧縮ログファイル１０６とマスクデータ識別子とクライアント識別子とを取得する。
そして、解凍処理部３２０は、取得した圧縮ログファイル１０６を解凍してマスクログファイル１０４を得る。
Ｓ１７１Ｂの後、処理はＳ１７２Ｂに進む。 In S171B, the decompression processing unit 320 obtains the compressed log file 106, the mask data identifier, and the client identifier from the log receiving unit 310.
Then, the decompression processing unit 320 decompresses the acquired compressed log file 106 to obtain the mask log file 104.
After S171B, the process proceeds to S172B.

Ｓ１７２Ｂにおいて、解凍処理部３２０は、マスクログファイル１０４とマスクデータ識別子とクライアント識別子とをマスク解除部３４０に受け渡す。
Ｓ１７２Ｂの後、処理はＳ１８０Ｂに進む。 In S172B, the decompression processing unit 320 transfers the mask log file 104, the mask data identifier, and the client identifier to the mask release unit 340.
After S172B, the process proceeds to S180B.

１８０Ｂにおいて、マスク解除部３４０は、クライアント識別子とマスクデータ識別子とに対応するマスクデータ１０３をマスクデータ管理部３３０に要求する。マスクデータ管理部３３０は、クライアント識別子に対応する複数のマスクデータ１０３のうちマスクデータ識別子で識別されるマスクデータ１０３をマスク解除部３４０に受け渡す。
Ｓ１８０Ｂの後、処理はＳ１８１に進む。 In 180B, the mask release unit 340 requests the mask data management unit 330 for the mask data 103 corresponding to the client identifier and the mask data identifier. The mask data management unit 330 delivers the mask data 103 identified by the mask data identifier among the plurality of mask data 103 corresponding to the client identifier to the mask release unit 340.
After S180B, the process proceeds to S181.

Ｓ１８１において、マスク解除部３４０はマスクデータ１０３を用いてマスクログファイル１０４のマスクを解除してログファイル１０１を得る。
Ｓ１８２において、マスク解除部３４０はログファイル１０１とクライアント識別子とをログ提供エージェント部３５０に受け渡す。
Ｓ１８３において、ログ提供エージェント部３５０はログファイル１０１とクライアント識別子とをログ監視装置１３０へ送信する。
Ｓ１９０において、ログ監視装置１３０のログ解析部１３１はログファイル１０１を解析し、解析結果を出力する。 In step S <b> 181, the mask release unit 340 uses the mask data 103 to release the mask of the mask log file 104 to obtain the log file 101.
In S <b> 182, the mask release unit 340 delivers the log file 101 and the client identifier to the log providing agent unit 350.
In S183, the log providing agent unit 350 transmits the log file 101 and the client identifier to the log monitoring apparatus 130.
In S190, the log analysis unit 131 of the log monitoring device 130 analyzes the log file 101 and outputs an analysis result.

実施の形態２において、例えば、以下のようなログ収集システム１１０について説明した。   In the second embodiment, for example, the following log collection system 110 has been described.

複数のマスクデータを作成し、初期処理（マスクデータ生成工程）の段階において識別子との対でマスクデータをクライアントとサーバ間で交換する。
そして、複数のマスクデータから圧縮効率の高い最適なマスクデータを選択し、ログ情報の収集する。 A plurality of mask data is created, and the mask data is exchanged between the client and the server in pairs with identifiers at the stage of initial processing (mask data generation step).
Then, optimal mask data with high compression efficiency is selected from the plurality of mask data, and log information is collected.

実施の形態３．
時間帯毎にマスクデータを用意し、該当時間帯のマスクデータを用いてログファイルをマスクする形態について説明する。
以下、実施の形態１−２と異なる事項について主に説明する。説明を省略する事項は実施の形態１−２と同様である。 Embodiment 3 FIG.
A mode in which mask data is prepared for each time zone and the log file is masked using the mask data of the corresponding time zone will be described.
Hereinafter, items different from the embodiment 1-2 will be mainly described. Matters whose description is omitted are the same as in Embodiment 1-2.

ログ監視システム１００の構成は、実施の形態１（図１参照）と同じである。   The configuration of the log monitoring system 100 is the same as that of the first embodiment (see FIG. 1).

クライアント記憶部は、時間に対応づけて複数のマスクデータ１０３を記憶する。
マスク処理部２３０は、クライアント記憶部に記憶された複数のマスクデータ１０３のうち当該時間に対応するマスクデータ１０３を用いてマスクログファイル１０４を生成する。 The client storage unit stores a plurality of mask data 103 in association with time.
The mask processing unit 230 generates the mask log file 104 using the mask data 103 corresponding to the time among the plurality of mask data 103 stored in the client storage unit.

マスク解除部３４０は、マスクログファイル１０４に対応するマスクデータ１０３を用いてマスクログファイル１０４からログファイル１０１を復元する。   The mask release unit 340 restores the log file 101 from the mask log file 104 using the mask data 103 corresponding to the mask log file 104.

図１６は、実施の形態３におけるマスクデータ生成工程を示すシーケンス図である。
実施の形態３におけるマスクデータ生成工程の処理の流れについて、図１６に基づいて以下に説明する。 FIG. 16 is a sequence diagram showing a mask data generation process in the third embodiment.
The process flow of the mask data generation process in the third embodiment will be described below with reference to FIG.

Ｓ１１０〜Ｓ１３０は実施の形態１（図３参照）と同じである。
Ｓ１３１Ｃ〜Ｓ１４１Ｃは実施の形態１で説明したＳ１３１〜Ｓ１４１に相当する処理である。
以下、Ｓ１３１Ｃ〜Ｓ１４１Ｃについて実施の形態１のＳ１３１〜Ｓ１４１と異なる事項を主に説明する。 S110 to S130 are the same as those in the first embodiment (see FIG. 3).
S131C to S141C are processes corresponding to S131 to S141 described in the first embodiment.
Hereinafter, items different from S131 to S141 of the first embodiment will be mainly described with respect to S131C to S141C.

Ｓ１３１Ｃにおいて、マスクデータ生成部２２０は、ログ取得エージェント部２１０からログファイル１０１を取得し、取得したログファイル１０１をクライアント記憶部に記憶する。
マスクデータ生成部２２０は、クライアント記憶部に記憶されているログファイル１０１に基づいて、時間帯毎にマスクデータ１０３を生成する。
例えば、マスクデータ生成部２２０は、複数世代のログファイル１０１それぞれに対してログファイル１０１に含まれる複数のログレコード１０２を時間帯で分ける。そして、マスクデータ生成部２２０は、時間帯が同じであり世代が異なるログレコード１０２に基づいて各時間帯用のマスクデータ１０３を生成する。
マスクデータ生成部２２０は、各時間帯用のマスクデータ１０３をクライアント記憶部に記憶する。
マスクデータ１０３の生成タイミングおよび生成方法は実施の形態１（Ｓ１３１）と同じである。 In S131C, the mask data generation unit 220 acquires the log file 101 from the log acquisition agent unit 210, and stores the acquired log file 101 in the client storage unit.
The mask data generation unit 220 generates the mask data 103 for each time period based on the log file 101 stored in the client storage unit.
For example, the mask data generation unit 220 divides the plurality of log records 102 included in the log file 101 for each of the multiple generation log files 101 by time zone. Then, the mask data generation unit 220 generates the mask data 103 for each time zone based on the log records 102 having the same time zone and different generations.
The mask data generation unit 220 stores the mask data 103 for each time period in the client storage unit.
The generation timing and generation method of the mask data 103 are the same as those in the first embodiment (S131).

図１７は、実施の形態３におけるマスクデータ生成処理（Ｓ１３１Ｃ）の概要図である。
実施の形態３におけるマスクデータ生成処理（Ｓ１３１Ｃ）について、図１７に基づいて以下に説明する。 FIG. 17 is a schematic diagram of mask data generation processing (S131C) in the third embodiment.
The mask data generation process (S131C) in the third embodiment will be described below with reference to FIG.

マスクデータ生成部２２０は、当日の第１の時間帯（１２時台）に記録されたログレコード１０２ｃ１と前日の第１の時間帯に記録されたログレコード１０２ｃ２とに基づいて第１の時間帯用のマスクデータ１０３ｃを生成する。
マスクデータ生成部２２０は、第１の時間帯以外の時間帯についても同様に、当日と前日の同時間帯のログレコード１０２に基づいて当該時間帯用のマスクデータ１０３を生成する。 The mask data generation unit 220 uses the first time zone based on the log record 102c1 recorded in the first time zone (12:00) and the log record 102c2 recorded in the first time zone on the previous day. Mask data 103c is generated.
Similarly, the mask data generation unit 220 generates the mask data 103 for the time zone based on the log record 102 of the same time zone on the current day and the previous day for time zones other than the first time zone.

図１６に戻り、マスクデータ生成工程の説明を続ける。   Returning to FIG. 16, the description of the mask data generation process will be continued.

Ｓ１３１Ｃの後、処理はＳ１３２Ｃに進む。   After S131C, the process proceeds to S132C.

Ｓ１３２Ｃにおいて、マスクデータ生成部２２０は各時間帯用のマスクデータ１０３をログ送信部２５０に受け渡す。
Ｓ１３３Ｃにおいて、ログ送信部２５０は各時間帯用のマスクデータ１０３をログ収集サーバ装置３００へ送信する。
Ｓ１４０Ｃにおいて、ログ収集サーバ装置３００のログ受信部３１０は各時間帯用のマスクデータ１０３をマスクデータ管理部３３０へ受け渡す。
Ｓ１４１Ｃにおいて、マスクデータ管理部３３０は各時間帯用のマスクデータ１０３を管理する。 In S132C, the mask data generation unit 220 delivers the mask data 103 for each time period to the log transmission unit 250.
In S <b> 133 </ b> C, the log transmission unit 250 transmits the mask data 103 for each time period to the log collection server device 300.
In S <b> 140 </ b> C, the log receiving unit 310 of the log collection server device 300 delivers the mask data 103 for each time period to the mask data management unit 330.
In S141C, the mask data management unit 330 manages the mask data 103 for each time period.

図１８は、実施の形態３におけるマスクログ生成工程を示すシーケンス図である。
実施の形態３におけるマスクログ生成工程の処理の流れについて、図１８に基づいて以下に説明する。 FIG. 18 is a sequence diagram illustrating a mask log generation process according to the third embodiment.
The flow of the process of the mask log generation process in the third embodiment will be described below based on FIG.

Ｓ１５１Ｃ以外の処理は実施の形態１（図６参照）と同じである。   Processes other than S151C are the same as those in the first embodiment (see FIG. 6).

Ｓ１５１Ｃにおいて、マスク処理部２３０はログファイル１０１が生成された時間帯用のマスクデータ１０３をクライアント記憶部から取得する。
例えば、マスク処理部２３０はログファイル１０１に含まれるログレコード１０２を参照する。ログレコード１０２が１２時台の時刻を示す場合、マスク処理部２３０は１２時台用のマスクデータ１０３を取得する。 In S151C, the mask processing unit 230 acquires the mask data 103 for the time period in which the log file 101 was generated from the client storage unit.
For example, the mask processing unit 230 refers to the log record 102 included in the log file 101. When the log record 102 indicates the time of 12:00, the mask processing unit 230 acquires the mask data 103 for 12:00.

そして、マスク処理部２３０は取得したマスクデータ１０３を用いてマスクログファイル１０４を生成する。このとき、時間（時分秒）はマスクしないものとする（Ｓ１５２）。   Then, the mask processing unit 230 generates the mask log file 104 using the acquired mask data 103. At this time, the time (hour minute second) is not masked (S152).

図１９は、実施の形態３におけるログ復元・解析工程を示すシーケンス図である。
実施の形態３におけるログ復元・解析工程の処理の流れについて、図１９に基づいて以下に説明する。 FIG. 19 is a sequence diagram illustrating a log restoration / analysis process according to the third embodiment.
The processing flow of the log restoration / analysis process in the third embodiment will be described below with reference to FIG.

Ｓ１８０Ｃ以外の処理は実施の形態１（図８参照）と同じである。   Processes other than S180C are the same as those in the first embodiment (see FIG. 8).

Ｓ１８０Ｃにおいて、マスク解除部３４０はマスクログファイル１０４に対応するマスクデータ１０３をマスクデータ管理部３３０から取得する。
例えば、マスク解除部３４０はマスクログファイル１０４内のマスクログレコード１０５を参照する。マスクログレコード１０５が１２時台の時刻を示す場合、マスク解除部３４０は１２時台用のマスクデータ１０３を取得する。 In S180C, the mask release unit 340 acquires the mask data 103 corresponding to the mask log file 104 from the mask data management unit 330.
For example, the mask release unit 340 refers to the mask log record 105 in the mask log file 104. When the mask log record 105 indicates a time in the 12 o'clock range, the mask release unit 340 acquires the mask data 103 for the 12 o'clock range.

そして、マスク解除部３４０は取得したマスクデータ１０３を用いてログファイル１０１を復元する（Ｓ１８１）。   Then, the mask release unit 340 restores the log file 101 using the acquired mask data 103 (S181).

実施の形態２と同様に、各時間帯用にマスクデータ１０３を複数用意し、当該時間帯用の複数のマスクデータ１０３を用いて複数の圧縮ログファイル１０６を生成し、データサイズの小さい圧縮ログファイル１０６を採用してもよい。   As in the second embodiment, a plurality of mask data 103 are prepared for each time zone, a plurality of compressed log files 106 are generated using the plurality of mask data 103 for the time zone, and a compressed log with a small data size is generated. The file 106 may be adopted.

１００ ログ監視システム、１０１ ログファイル、１０２ ログレコード、１０３ マスクデータ、１０４ マスクログファイル、１０５ マスクログレコード、１０６ 圧縮ログファイル、１０９ マスターログファイル、１１０ ログ収集システム、１２０ 監視対象システム、１２１ 業務アプリケーション部、１３０ ログ監視装置、１３１ ログ解析部、２００ ログ収集クライアント装置、２１０ ログ取得エージェント部、２２０ マスクデータ生成部、２３０ マスク処理部、２４０ 圧縮処理部、２５０ ログ送信部、３００ ログ収集サーバ装置、３１０ ログ受信部、３２０ 解凍処理部、３３０ マスクデータ管理部、３４０ マスク解除部、３５０ ログ提供エージェント部、９０１ 表示装置、９０２ キーボード、９０３ マウス、９０４ ドライブ装置、９１１ ＣＰＵ、９１２ バス、９１３ ＲＯＭ、９１４ ＲＡＭ、９１５ 通信ボード、９２０ 磁気ディスク装置、９２１ ＯＳ、９２２ ウィンドウシステム、９２３ プログラム群、９２４ ファイル群。   100 log monitoring system, 101 log file, 102 log record, 103 mask data, 104 mask log file, 105 mask log record, 106 compressed log file, 109 master log file, 110 log collection system, 120 monitored system, 121 business application Unit, 130 log monitoring device, 131 log analysis unit, 200 log collection client device, 210 log acquisition agent unit, 220 mask data generation unit, 230 mask processing unit, 240 compression processing unit, 250 log transmission unit, 300 log collection server device 310 log receiving unit, 320 decompression processing unit, 330 mask data management unit, 340 mask release unit, 350 log providing agent unit, 901 display device, 902 keyboard, 903 macro Scan, 904 drive, 911 CPU, 912 Bus, 913 ROM, 914 RAM, 915 communication board, 920 a magnetic disk device, 921 OS, 922 Window system, 923 Program group, 924 File group.

Claims (11)

計算機により行われた処理を示す複数のログに共通する部分データを示すマスクデータを記憶するマスクデータ記憶部と、
ログを入力するログ入力部と、
前記ログ入力部に入力されたログと前記マスクデータ記憶部に記憶されたマスクデータとに基づいて、前記部分データを省略したログをマスクログとして生成するマスクログ生成部と
を備えることを特徴とするログ収集装置。 A mask data storage unit for storing mask data indicating partial data common to a plurality of logs indicating processing performed by the computer;
A log input section for inputting logs;
A mask log generation unit configured to generate a log without the partial data as a mask log based on the log input to the log input unit and the mask data stored in the mask data storage unit; Log collector. 前記ログ収集装置は、さらに、
前記ログ入力部に入力された複数のログから複数のログに共通する部分データを抽出し、抽出した部分データを示すマスクデータを生成するマスクデータ生成部を備え、
前記マスクデータ記憶部は、前記マスクデータ生成部により生成されたマスクデータを記憶する
ことを特徴とする請求項１記載のログ収集装置。 The log collection device further includes:
A mask data generation unit that extracts partial data common to a plurality of logs from a plurality of logs input to the log input unit, and generates mask data indicating the extracted partial data,
The log collection device according to claim 1, wherein the mask data storage unit stores the mask data generated by the mask data generation unit. 前記マスクデータ生成部は、前記ログ入力部に新たに入力されたログと前記ログ入力部に以前に入力されたログとから共通する部分データを抽出し、抽出した部分データを示すマスクデータを生成する
ことを特徴とする請求項２記載のログ収集装置。 The mask data generation unit extracts common partial data from a log newly input to the log input unit and a log previously input to the log input unit, and generates mask data indicating the extracted partial data The log collection device according to claim 2, wherein: 前記ログ入力部は、複数のログを入力し、
前記マスクデータ生成部は、前記ログ入力部に入力された複数のログを所定の条件に基づいて複数のグループにグループ分けし、グループ毎にマスクデータを生成し、
前記マスクログ生成部は、前記マスクデータ生成部により生成された複数のマスクデータ毎に前記複数のログに対応する複数のマスクログを含むファイルをマスクログファイルとして生成し、
前記ログ収集装置は、さらに、
前記マスクログ生成部により生成された複数のマスクログファイルを所定の方法で圧縮するマスクログ圧縮部と、
前記マスクログ圧縮部により圧縮された複数のマスクログファイルそれぞれのデータサイズに基づいてマスクログファイルを選択するマスクログ選択部とを備える
ことを特徴とする請求項２または請求項３記載のログ収集装置。 The log input unit inputs a plurality of logs,
The mask data generation unit divides a plurality of logs input to the log input unit into a plurality of groups based on a predetermined condition, generates mask data for each group,
The mask log generation unit generates a file including a plurality of mask logs corresponding to the plurality of logs as a mask log file for each of a plurality of mask data generated by the mask data generation unit,
The log collection device further includes:
A mask log compression unit that compresses a plurality of mask log files generated by the mask log generation unit by a predetermined method;
The log collection according to claim 2, further comprising: a mask log selection unit that selects a mask log file based on a data size of each of the plurality of mask log files compressed by the mask log compression unit. apparatus. 前記ログ収集装置は、さらに、
前記マスクログ選択部により選択されたマスクログファイルを所定の方法で解凍するマスクログ解凍部と、
前記マスクログ解凍部により解凍されたマスクログファイルに含まれる複数のマスクログそれぞれに当該マスクログファイルに対応するマスクデータに示される部分データを設定することにより前記複数のログを復元するログ復元部とを備える
ことを特徴とする請求項４記載のログ収集装置。 The log collection device further includes:
A mask log decompression unit for decompressing the mask log file selected by the mask log selection unit by a predetermined method;
A log restoration unit that restores the plurality of logs by setting partial data indicated by mask data corresponding to the mask log file in each of a plurality of mask logs included in the mask log file decompressed by the mask log decompression unit The log collection device according to claim 4, further comprising: 前記マスクデータ記憶部は、時間に対応づけて複数のマスクデータを記憶し、
前記マスクログ生成部は、前記マスクデータ記憶部に記憶された複数のマスクデータのうち前記ログが記録された時刻に対応するマスクデータを用いてマスクログを生成する
ことを特徴とする請求項１記載のログ収集装置。 The mask data storage unit stores a plurality of mask data in association with time,
The mask log generation unit generates a mask log using mask data corresponding to a time at which the log was recorded among a plurality of mask data stored in the mask data storage unit. The log collector described. 前記ログ収集装置は、さらに、
前記マスクログ生成部により生成されたマスクログに前記マスクログに対応するマスクデータに示される部分データを設定することによりログを復元するログ復元部を備える
ことを特徴とする請求項６記載のログ収集装置。 The log collection device further includes:
The log according to claim 6, further comprising: a log restoration unit that restores the log by setting partial data indicated by mask data corresponding to the mask log in the mask log generated by the mask log generation unit. Collection device. 計算機により行われた処理を示す複数のログに共通する部分データを示すマスクデータを記憶するマスクデータ記憶部を備えるログ収集装置のログ収集方法であり、
ログ入力部が、ログを入力し、
マスクログ生成部が、前記ログ入力部に入力されたログと前記マスクデータ記憶部に記憶されたマスクデータとに基づいて、前記部分データを省略したログをマスクログとして生成する
ことを特徴とするログ収集装置のログ収集方法。 A log collection method of a log collection device including a mask data storage unit that stores mask data indicating partial data common to a plurality of logs indicating processing performed by a computer,
The log input part inputs the log,
The mask log generation unit generates a log from which the partial data is omitted as a mask log based on the log input to the log input unit and the mask data stored in the mask data storage unit. Log collection method for the log collector. 計算機により行われた処理を示す複数のログに共通する部分データを示すマスクデータを記憶するマスクデータ記憶部と、
ログを入力するログ入力部と、
前記ログ入力部に入力されたログと前記マスクデータ記憶部に記憶されたマスクデータとに基づいて、前記部分データを省略したログをマスクログとして生成するマスクログ生成部と、
前記マスクデータ記憶部に記憶されたマスクデータと前記マスクログ生成部により生成されたマスクログとを送信するマスクログ送信部と
を備えるログ収集クライアント装置と、
前記マスクデータと前記マスクログとを受信するマスクログ受信部と、
前記マスクログ受信部により受信されたマスクログに前記マスクログ受信部により受信されたマスクデータに示される部分データを設定することによりログを復元するログ復元部と
を備えるログ収集サーバ装置と
を有することを特徴とするログ収集システム。 A mask data storage unit for storing mask data indicating partial data common to a plurality of logs indicating processing performed by the computer;
A log input section for inputting logs;
A mask log generation unit that generates a log without the partial data as a mask log based on the log input to the log input unit and the mask data stored in the mask data storage unit;
A log collection client device comprising: a mask log transmission unit configured to transmit mask data stored in the mask data storage unit and a mask log generated by the mask log generation unit;
A mask log receiving unit for receiving the mask data and the mask log;
A log collection server device comprising: a log restoration unit that restores a log by setting partial data indicated by mask data received by the mask log reception unit in a mask log received by the mask log reception unit Log collection system characterized by that. 前記ログ収集クライアント装置は、さらに、
前記ログ入力部に入力された複数のログから複数のログに共通する部分データを抽出し、抽出した部分データを示すマスクデータを所定のタイミングで生成するマスクデータ生成部を備え、
前記マスクログ送信部は、前記マスクデータ生成部により新たに生成されたマスクデータを送信し、
前記ログ復元部は、前記マスクログ送信部により送信された新たなマスクデータを用いてログを復元する
ことを特徴とする請求項９記載のログ収集システム。 The log collection client device further includes:
A mask data generation unit that extracts partial data common to a plurality of logs from a plurality of logs input to the log input unit, and generates mask data indicating the extracted partial data at a predetermined timing,
The mask log transmission unit transmits mask data newly generated by the mask data generation unit,
The log collection system according to claim 9, wherein the log restoration unit restores a log using new mask data transmitted by the mask log transmission unit. 計算機により行われた処理を示す複数のログに共通する部分データを示すマスクデータを記憶するマスクデータ記憶部を備えるログ収集クライアント装置で、
ログ入力部が、ログを入力し、
マスクログ生成部が、前記ログ入力部に入力されたログと前記マスクデータ記憶部に記憶されたマスクデータとに基づいて、前記部分データを省略したログをマスクログとして生成し、
マスクログ送信部が、前記マスクデータ記憶部に記憶されたマスクデータと前記マスクログ生成部により生成されたマスクログとを送信し、
ログ収集サーバ装置で、
マスクログ受信部が、前記マスクデータと前記マスクログとを受信し、
ログ復元部が、前記マスクログ受信部により受信されたマスクログに前記マスクログ受信部により受信されたマスクデータに示される部分データを設定することによりログを復元する
ことを特徴とするログ収集システムのログ収集方法。 A log collection client device including a mask data storage unit that stores mask data indicating partial data common to a plurality of logs indicating processing performed by a computer,
The log input part inputs the log,
A mask log generation unit generates a log with the partial data omitted as a mask log based on the log input to the log input unit and the mask data stored in the mask data storage unit,
The mask log transmission unit transmits the mask data stored in the mask data storage unit and the mask log generated by the mask log generation unit,
On the log collection server device,
A mask log receiving unit receives the mask data and the mask log;
A log collecting system, wherein a log restoring unit restores a log by setting partial data indicated by mask data received by the mask log receiving unit in a mask log received by the mask log receiving unit Log collection method.
JP2009287050A 2009-12-18 2009-12-18 Log collection device and log collection method thereof, log collection system and log collection method thereof Pending JP2011128915A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009287050A JP2011128915A (en) 2009-12-18 2009-12-18 Log collection device and log collection method thereof, log collection system and log collection method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009287050A JP2011128915A (en) 2009-12-18 2009-12-18 Log collection device and log collection method thereof, log collection system and log collection method thereof

Publications (1)

Publication Number Publication Date
JP2011128915A true JP2011128915A (en) 2011-06-30

Family

ID=44291446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009287050A Pending JP2011128915A (en) 2009-12-18 2009-12-18 Log collection device and log collection method thereof, log collection system and log collection method thereof

Country Status (1)

Country Link
JP (1) JP2011128915A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013246654A (en) * 2012-05-25 2013-12-09 Nec Corp Log management device, log management method and log management program
JP2014116780A (en) * 2012-12-10 2014-06-26 Toshiba Corp Satellite communication system, mobile station, mobile station monitoring method, and mobile station monitoring program
JPWO2013136418A1 (en) * 2012-03-12 2015-08-03 株式会社日立製作所 Log management computer and log management method
JP2018170661A (en) * 2017-03-30 2018-11-01 日本電気株式会社 Communication system
JP2018195027A (en) * 2017-05-16 2018-12-06 富士通株式会社 Analysis system, analysis method and analysis program
JP2019176582A (en) * 2018-03-28 2019-10-10 三菱電機株式会社 Monitoring system for power receiving and distributing facility
JP7157272B1 (en) 2022-06-13 2022-10-19 セイコーソリューションズ株式会社 GATEWAY, SENSOR PROCESSING SERVER, GATEWAY CONTROL PROGRAM AND GATEWAY CONTROL METHOD

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013136418A1 (en) * 2012-03-12 2015-08-03 株式会社日立製作所 Log management computer and log management method
JP2013246654A (en) * 2012-05-25 2013-12-09 Nec Corp Log management device, log management method and log management program
JP2014116780A (en) * 2012-12-10 2014-06-26 Toshiba Corp Satellite communication system, mobile station, mobile station monitoring method, and mobile station monitoring program
JP2018170661A (en) * 2017-03-30 2018-11-01 日本電気株式会社 Communication system
US10764405B2 (en) 2017-03-30 2020-09-01 Nec Corporation Communication system
JP2018195027A (en) * 2017-05-16 2018-12-06 富士通株式会社 Analysis system, analysis method and analysis program
JP2019176582A (en) * 2018-03-28 2019-10-10 三菱電機株式会社 Monitoring system for power receiving and distributing facility
JP7019479B2 (en) 2018-03-28 2022-02-15 三菱電機株式会社 Monitoring system for power receiving and distribution equipment
JP7157272B1 (en) 2022-06-13 2022-10-19 セイコーソリューションズ株式会社 GATEWAY, SENSOR PROCESSING SERVER, GATEWAY CONTROL PROGRAM AND GATEWAY CONTROL METHOD
WO2023243465A1 (en) * 2022-06-13 2023-12-21 セイコーソリューションズ株式会社 Gateway, sensor processing server, gateway control program, and gateway control method
JP2023181774A (en) * 2022-06-13 2023-12-25 セイコーソリューションズ株式会社 Gateway, sensor processing server, gateway control program, and gateway control method

Similar Documents

Publication Publication Date Title
JP2011128915A (en) Log collection device and log collection method thereof, log collection system and log collection method thereof
CN111049705B (en) Method and device for monitoring distributed storage system
WO2020029407A1 (en) Alarm data management method and apparatus, and computer device and storage medium
JP2009199533A (en) Operation management device, operation management system, information processing method, and operation management program
JP2011128818A (en) Stream data processing apparatus and method
JP2005157521A (en) Method for monitoring state information of remote storage device and storage sub-system
JP2007334716A (en) Operation management system, monitoring device, device to be monitored, operation management method, and program
US20150205658A1 (en) Network device and method of specifying data
US11086919B2 (en) Service regression detection using real-time anomaly detection of log data
CN112187513A (en) Medical Internet of things cloud platform method and system based on big data and storage medium
US11349730B2 (en) Operation device and operation method
CN114091704B (en) Alarm suppression method and device
JP2004178296A (en) Knowledge based operation management system, method and program
CN113190620B (en) Method, device, equipment and storage medium for synchronizing data between Redis clusters
US9141452B2 (en) Failure detection method and failure detection system
CN110011845B (en) Log collection method and system
CN111162938A (en) Data processing system and method
JP2011095886A (en) Application server, method and program for reproducing application failure
JP6216621B2 (en) Plant monitoring and control system
US20170091038A1 (en) Fault tolerant event management system
US20190163392A1 (en) Lifecycle management of memory devices
CN115757270A (en) File version management system and method and computer equipment
JP2014238852A (en) Operation management device, operation management system, information processing method, and operation management program
JP5590196B2 (en) Operation management apparatus, operation management system, information processing method, and operation management program
JP2016197450A (en) Operation management device, operation management system, information processing method, and operation management program