JP2017173982A - ログ収集装置、ログ生成装置、およびログ収集方法 - Google Patents
ログ収集装置、ログ生成装置、およびログ収集方法 Download PDFInfo
- Publication number
- JP2017173982A JP2017173982A JP2016057033A JP2016057033A JP2017173982A JP 2017173982 A JP2017173982 A JP 2017173982A JP 2016057033 A JP2016057033 A JP 2016057033A JP 2016057033 A JP2016057033 A JP 2016057033A JP 2017173982 A JP2017173982 A JP 2017173982A
- Authority
- JP
- Japan
- Prior art keywords
- log
- dictionary
- compression
- text
- compression dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
- H03M7/3088—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method employing the use of a dictionary, e.g. LZ78
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
- G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Debugging And Monitoring (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
まず、本実施の形態に係るログ生成装置およびログ収集装置を含むログ生成システムの概要について説明する。
次に、各装置の構成について説明する。
ここで、圧縮辞書の内容およびその共有化の仕方について説明する。
次に、各装置の動作について説明する。
以上説明したように、本実施の形態に係るログ収集サーバ400は、ログ生成装置200からテキストログを受信するログ受信部410と、受信されたテキストログに基づいて、テキスト圧縮を行うための圧縮辞書を生成する辞書生成部440と、を有する。また、ログ収集サーバ400は、ログ生成装置200に対し、生成された圧縮辞書を送信して、当該圧縮辞書の送信後に送信されるテキストログに対して当該圧縮辞書を使用した圧縮処理を行うことを指示する辞書送信部460と、当該圧縮辞書の送信後に受信されたテキストログに対して圧縮辞書を使用して伸張処理を行う伸張処理部420とを有する。
なお、ログ生成装置200は、監視カメラに限定されるものではなく、テキストログを生成する他の各種装置であってもよい。
本開示に係るログ収集装置は、ログ生成装置からテキストログを受信するログ受信部と、受信された前記テキストログに基づいて、テキスト圧縮を行うための圧縮辞書を生成する辞書生成部と、前記ログ生成装置に対し、生成された前記圧縮辞書を送信して、当該圧縮辞書の送信後に送信される前記テキストログに対して当該圧縮辞書を使用した圧縮処理を行うことを指示する辞書送信部と、当該圧縮辞書の送信後に受信された前記テキストログに対して前記圧縮辞書を使用して伸張処理を行う伸張処理部と、を有する。
200 ログ生成装置
210 ログ生成部
220 圧縮処理部
230 ログ送信部
240 辞書受信部
250 装置側辞書格納部
300 通信ネットワーク
400 ログ収集サーバ
410 ログ受信部
420 伸張処理部
430 ログ格納部
440 辞書生成部
450 辞書格納部
460 辞書送信部
Claims (7)
- ログ生成装置からテキストログを受信するログ受信部と、
受信された前記テキストログに基づいて、テキスト圧縮を行うための圧縮辞書を生成する辞書生成部と、
前記ログ生成装置に対し、生成された前記圧縮辞書を送信して、当該圧縮辞書の送信後に送信される前記テキストログに対して当該圧縮辞書を使用した圧縮処理を行うことを指示する辞書送信部と、
当該圧縮辞書の送信後に受信された前記テキストログに対して前記圧縮辞書を使用して伸張処理を行う伸張処理部と、を有する、
ログ収集装置。 - 前記ログ受信部は、
複数の前記ログ生成装置のそれぞれから前記テキストログを受信し、
前記辞書送信部は、
前記ログ生成装置毎に前記圧縮辞書を送信し、前記複数のログ生成装置のいずれに対して前記圧縮辞書を送信したかを示す辞書共有化情報を管理し、
前記伸張処理部は、
前記辞書共有化情報を参照して、前記ログ生成装置毎に、当該ログ生成装置から送信された前記テキストログに対して前記圧縮辞書を使用して伸張処理を行うか否かを決定する、
請求項1に記載のログ収集装置。 - 前記辞書生成部は、
前記複数のログ生成装置から送信された前記テキストログに基づいて前記圧縮辞書を生成および更新し、更新前の前記圧縮辞書および更新後の前記圧縮辞書を保持し、
前記辞書送信部は、
前記ログ生成装置に対し、更新後の前記圧縮辞書を送信して、更新前の前記圧縮辞書に置き換えて前記更新後の圧縮辞書を使用することを指示し、前記更新前の圧縮辞書と前記更新後の圧縮辞書とを区別して前記辞書共有化情報に記録し、
前記伸張処理部は、
前記ログ生成装置毎に、当該ログ生成装置から送信された前記テキストログに対して前記更新前の圧縮辞書および前記更新後の圧縮辞書のいずれを使用するかを決定する、
請求項2に記載のログ収集装置。 - 前記辞書生成部は、
前記複数のログ生成装置から送信された前記テキストログに基づいて生成される前記圧縮辞書である共通辞書は別に、前記ログ生成装置毎に、当該ログ生成装置から送信された前記テキストログに基づいて前記圧縮辞書を装置辞書として生成し、
前記伸張処理部は、
前記ログ生成装置毎に、前記共通辞書と当該ログ生成装置の前記装置辞書とを使用して前記伸張処理を行う、
請求項3に記載のログ収集装置。 - 受信された前記テキストログおよび/または前記伸張処理が行われた後の前記テキストログを蓄積するログ格納部、を有し、
前記辞書生成部は、
蓄積された前記テキストログに基づいて、定期的に前記圧縮辞書を更新し、
前記辞書送信部は、
前記ログ生成装置に対し、前記圧縮辞書が更新される毎に、更新後の前記圧縮辞書を送信して、更新前の前記圧縮辞書に置き換えて前記更新後の圧縮辞書を使用することを指示し、
請求項1に記載のログ収集装置。 - テキストログを生成するログ生成部と、
生成されたテキストログをログ収集装置へ送信するログ送信部と、
前記ログ収集装置から、テキスト圧縮を行うための圧縮辞書を受信する辞書受信部と、
受信された前記圧縮辞書を使用した圧縮処理を、当該圧縮辞書の受信後に送信される前記テキストログに対して行う圧縮処理部と、を有する、
ログ生成装置。 - ログ生成装置からテキストログを受信するステップと、
受信された前記テキストログに基づいて、テキスト圧縮を行うための圧縮辞書を生成するステップと、
前記ログ生成装置に対し、生成された前記圧縮辞書を送信して、当該圧縮辞書の送信後に送信される前記テキストログに対して当該圧縮辞書を使用した圧縮処理を行うことを指示するステップと、
当該圧縮辞書の送信後に受信された前記テキストログに対して前記圧縮辞書を使用して伸張処理を行うステップと、を有する、
ログ収集方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016057033A JP6735469B2 (ja) | 2016-03-22 | 2016-03-22 | ログ収集装置、監視カメラ、およびログ収集方法 |
US16/085,410 US10469101B2 (en) | 2016-03-22 | 2017-03-09 | Log collection device, log generation device, and log collection method |
EP17769941.0A EP3435236B1 (en) | 2016-03-22 | 2017-03-09 | Log collection device, log generation device, and log collection method |
PCT/JP2017/009411 WO2017163896A1 (ja) | 2016-03-22 | 2017-03-09 | ログ収集装置、ログ生成装置、およびログ収集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016057033A JP6735469B2 (ja) | 2016-03-22 | 2016-03-22 | ログ収集装置、監視カメラ、およびログ収集方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017173982A true JP2017173982A (ja) | 2017-09-28 |
JP6735469B2 JP6735469B2 (ja) | 2020-08-05 |
Family
ID=59901227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016057033A Active JP6735469B2 (ja) | 2016-03-22 | 2016-03-22 | ログ収集装置、監視カメラ、およびログ収集方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10469101B2 (ja) |
EP (1) | EP3435236B1 (ja) |
JP (1) | JP6735469B2 (ja) |
WO (1) | WO2017163896A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019106001A (ja) * | 2017-12-12 | 2019-06-27 | 富士通株式会社 | 情報処理装置、情報処理システムおよびプログラム |
WO2020174637A1 (ja) * | 2019-02-28 | 2020-09-03 | 三菱電機株式会社 | 通信装置、通信システム、通信方法及び通信プログラム |
JP2021197087A (ja) * | 2020-06-18 | 2021-12-27 | Toa株式会社 | 情報提供システム及び情報提供方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11023420B1 (en) * | 2018-03-29 | 2021-06-01 | EMC IP Holding Company LLC | Real-time compression of log data |
US11847558B2 (en) * | 2018-05-04 | 2023-12-19 | EMC IP Holding Company LLC | Analyzing storage systems using machine learning systems |
US11151089B2 (en) * | 2018-10-29 | 2021-10-19 | EMC IP Holding Company LLC | Compression of log data using pattern recognition |
CN112333769B (zh) * | 2019-08-05 | 2022-10-11 | 华为技术有限公司 | 一种通信方法和装置 |
CN113282552B (zh) * | 2021-06-04 | 2022-11-22 | 上海天旦网络科技发展有限公司 | 流量统计日志的相似性向量化方法及系统 |
CN113377553B (zh) * | 2021-06-23 | 2024-03-22 | 浙江素泰智能电子有限公司 | 一种基于压缩字典的在线传输压缩机制 |
DE102022003682A1 (de) * | 2022-10-05 | 2024-04-11 | Mercedes-Benz Group AG | Verfahren zur Kompression und Dekompression von Log-Dateien und informationstechnisches System |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4558302A (en) | 1983-06-20 | 1985-12-10 | Sperry Corporation | High speed data compression and decompression apparatus and method |
US6606040B2 (en) | 2001-02-13 | 2003-08-12 | Mosaid Technologies, Inc. | Method and apparatus for adaptive data compression |
JP4548184B2 (ja) | 2005-03-31 | 2010-09-22 | 富士通株式会社 | 圧縮規則生成方法、圧縮通信装置及びプログラム |
JP2007087186A (ja) | 2005-09-22 | 2007-04-05 | Fuji Xerox Co Ltd | ログ収集システムおよび方法 |
US8572218B2 (en) * | 2009-12-10 | 2013-10-29 | International Business Machines Corporation | Transport data compression based on an encoding dictionary patch |
US20120296983A1 (en) | 2011-05-17 | 2012-11-22 | Microsoft Corporation | Managing compression dictionaries |
US9031997B2 (en) * | 2011-10-25 | 2015-05-12 | International Business Machines Corporation | Log file compression |
GB2496385B (en) | 2011-11-08 | 2014-03-05 | Canon Kk | Methods and network devices for communicating data packets |
JP5906906B2 (ja) * | 2012-03-30 | 2016-04-20 | 富士通株式会社 | ログ管理方法、ログ管理システムおよび情報処理装置 |
JP5959426B2 (ja) | 2012-12-10 | 2016-08-02 | 株式会社東芝 | 衛星通信システム、移動局、移動局監視方法及び移動局監視プログラム |
KR101624711B1 (ko) * | 2013-12-24 | 2016-05-26 | (주)에프씨아이 | 부동소수점 방식을 이용한 데이터 압축/복원 방법 및 장치 |
-
2016
- 2016-03-22 JP JP2016057033A patent/JP6735469B2/ja active Active
-
2017
- 2017-03-09 EP EP17769941.0A patent/EP3435236B1/en active Active
- 2017-03-09 US US16/085,410 patent/US10469101B2/en active Active
- 2017-03-09 WO PCT/JP2017/009411 patent/WO2017163896A1/ja active Application Filing
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019106001A (ja) * | 2017-12-12 | 2019-06-27 | 富士通株式会社 | 情報処理装置、情報処理システムおよびプログラム |
WO2020174637A1 (ja) * | 2019-02-28 | 2020-09-03 | 三菱電機株式会社 | 通信装置、通信システム、通信方法及び通信プログラム |
JPWO2020174637A1 (ja) * | 2019-02-28 | 2021-06-10 | 三菱電機株式会社 | 通信装置、通信システム、通信方法及び通信プログラム |
JP2021197087A (ja) * | 2020-06-18 | 2021-12-27 | Toa株式会社 | 情報提供システム及び情報提供方法 |
JP7301024B2 (ja) | 2020-06-18 | 2023-06-30 | Toa株式会社 | 情報提供システム及び情報提供方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3435236B1 (en) | 2020-04-29 |
US10469101B2 (en) | 2019-11-05 |
JP6735469B2 (ja) | 2020-08-05 |
EP3435236A1 (en) | 2019-01-30 |
US20190089371A1 (en) | 2019-03-21 |
WO2017163896A1 (ja) | 2017-09-28 |
EP3435236A4 (en) | 2019-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6735469B2 (ja) | ログ収集装置、監視カメラ、およびログ収集方法 | |
US8624983B2 (en) | Digital information input apparatus | |
US9762985B2 (en) | Storing data in motion by optical and electrical conversion of signals | |
CN101533416A (zh) | 一种音视频文件管理方法及系统 | |
JP2001325139A (ja) | 情報処理システム、情報処理装置、撮像システム、情報処理方法、記憶媒体 | |
CN113473166A (zh) | 一种数据存储系统及方法 | |
JP4568954B2 (ja) | データファイル管理用記録媒体、データファイル管理装置、画像データの伝送方法およびデータの伝送方法 | |
WO2015107653A1 (ja) | 通信装置、通信方法、および、通信プログラム | |
CN112039936B (zh) | 数据传输方法、第一数据处理设备及监控系统 | |
JP5682436B2 (ja) | バックアッププログラム、情報処理装置、情報処理端末、バックアップ方法 | |
JP2008219264A (ja) | データ圧縮転送装置、データ圧縮転送システム、データ圧縮転送方法、およびデータ圧縮転送プログラム | |
JP6455541B2 (ja) | 通信システム | |
RU2697702C1 (ru) | Способ сжатия изображения, способ восстановления изображения, устройство сжатия изображения и устройство восстановления изображения | |
CN107819595B (zh) | 一种网络切片管理装置 | |
CN113254262B (zh) | 一种数据库容灾方法、装置和电子设备 | |
CN112532700A (zh) | 一种传输数据的方法及相关设备 | |
CN109977121B (zh) | 一种大数据快速存储系统 | |
US9426173B2 (en) | System and method for elimination of spam in a data stream according to information density | |
CN113227996B (zh) | 处理时间记录的方法和装置 | |
US8836466B2 (en) | Monitoring system, device, monitoring method, and monitoring program | |
JP2016091556A (ja) | 印刷装置データ処理システムおよび印刷装置データ処理方法 | |
CN108241640B (zh) | 一种分布式的文件存储方法 | |
JP7318729B2 (ja) | データ処理装置、データ処理方法、及びプログラム | |
JP2017134539A (ja) | 中継装置、ルータ、配信システム、中継方法及び中継プログラム | |
JP4893843B2 (ja) | データファイル管理装置およびコンピューター読み取り可能なデータファイル管理用記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190319 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190625 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200624 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6735469 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |