JP2018005571A - ログ取得プログラム、ログ取得装置、及びログ取得方法 - Google Patents

ログ取得プログラム、ログ取得装置、及びログ取得方法 Download PDF

Info

Publication number
JP2018005571A
JP2018005571A JP2016131932A JP2016131932A JP2018005571A JP 2018005571 A JP2018005571 A JP 2018005571A JP 2016131932 A JP2016131932 A JP 2016131932A JP 2016131932 A JP2016131932 A JP 2016131932A JP 2018005571 A JP2018005571 A JP 2018005571A
Authority
JP
Japan
Prior art keywords
log
log data
data
access
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016131932A
Other languages
English (en)
Inventor
哲広 山口
Tetsuhiro Yamaguchi
哲広 山口
小田 仁
Hitoshi Oda
仁 小田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016131932A priority Critical patent/JP2018005571A/ja
Priority to US15/607,792 priority patent/US20180004431A1/en
Publication of JP2018005571A publication Critical patent/JP2018005571A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • G06F3/0611Improving I/O performance in relation to response time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/256Integrating or interfacing systems involving database management systems in federated or virtual databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40Data acquisition and logging

Abstract

【課題】アクセスログから特定のログデータを取得する時間を短縮する。【解決手段】アクセスログを記憶する記憶部から特定のログデータを取得するログ取得装置50は、アクセスログに含まれる複数のログデータのうち、リクエストを識別する情報と、該リクエストに関する応答時間と、ログ記録時刻とを含むログデータを取得すると、アクセスログに含まれる複数のログデータのうち、取得したログデータに含まれるログ記録時刻より応答時間前の時刻に対応するログ記録時刻を含むログデータを抽出する抽出部72と、抽出部72により抽出されたログデータから、取得したログデータに含まれるリクエストを識別する情報を含むログデータを取得する取得部74と、を含む。【選択図】図4

Description

本発明は、ログ取得プログラム、ログ取得装置、及びログ取得方法に関する。
従来、クラウドシステム上において、テナント別にトランザクションログに記録された複数のログデータから、トランザクションID等のリクエストを識別するリクエスト識別情報を用いて特定のログデータを取得する技術が知られている。この技術では、取得したログデータを、テナント毎にログデータベースに書き込む。
特表2014−502767号公報
ところで、システム内の機器の記憶部に記憶されたアクセスログを取得して分析することが行われている。そして、例えば、アクセスログに含まれるログデータを分析することで、システムに対するサイバー攻撃等を検知することが行われている。
大量のログデータが記録されたアクセスログから、前述したリクエスト識別情報が含まれるログデータ等の特定のログデータを取得する取得処理には、比較的長い時間がかかってしまう。そして、この取得処理に時間がかかることで、ログデータの分析のリアルタイム性が低下してしまう。
本発明は、一つの側面として、アクセスログから特定のログデータを取得する時間を短縮することを目的とする。
本発明は、一つの側面として、アクセスログを記憶する記憶部から特定のログデータを取得する。この取得において、前記アクセスログに含まれる複数のログデータのうち、リクエストを識別する情報と、該リクエストに関する応答時間と、ログ記録時刻とを含むログデータを取得すると、以下のログデータを抽出する。すなわち、前記アクセスログに含まれる複数のログデータのうち、取得した前記ログデータに含まれる前記ログ記録時刻より前記応答時間前の時刻に対応するログ記録時刻を含むログデータを抽出する。そして、抽出した前記ログデータから、取得した前記ログデータに含まれる前記リクエストを識別する情報を含むログデータを取得する。
一つの側面として、アクセスログから特定のログデータを取得する時間を短縮することができる、という効果を有する。
アクセスログの取得処理の一例を説明するためのブロック図である。 アクセスログの取得処理の一例を説明するためのブロック図である。 実施形態に係るログ取得システムの概略構成を示すブロック図である。 実施形態に係るログ取得装置の機能ブロック図である。 ログ格納先テーブルの一例を示す図である。 各機器のIPアドレスを説明するためのブロック図である。 データテーブルの一例を示す図である。 フラグテーブルの一例を示す図である。 アクセスログの一例を示す図である。 アクセスログの一例を示す図である。 送信ログデータの一例を示す図である。 送信ログデータを説明するためのブロック図である。 実施形態に係るログ取得装置として機能するコンピュータの概略構成を示すブロック図である。 実施形態に係るログ取得処理の一例を示すフローチャートである。
以下、図面を参照して、本発明の実施形態の一例を詳細に説明する。
まず、実施形態の詳細を説明する前に、図1を参照して、アクセスログの取得処理の問題点について説明する。ここでは、図1に示すように、プライベート環境10、及びパブリッククラウド等のクラウドシステム12が、インターネット等のネットワーク14を介して接続されている環境を例に説明する。なお、ここでいうプライベート環境とは、例えばオンプレミス、及びプライベートクラウド等の環境のことである。
図1に示すように、プライベート環境10には、業務システム16Aが構築されており、業務システム16Aは、アクセスログ18Aが記憶される記憶部を有する複数の機器20A、及びアクセスログ18Aを取得するログ取得装置22Aを含む。機器20Aとしては、例えば、Load Balancer(LB)、FireWall(FW)、サーバコンピュータ、及び仮想マシン等が挙げられる。また、プライベート環境10には、業務システム16Aとは別に、ログ分析装置24Aが設置されている。
一方、クラウドシステム12には、業務システム16Bが構築されている。業務システム16Bは、プライベート環境10の業務システム16Aと同様に、アクセスログ18Bが記憶される記憶部を有する複数の機器20B、及びアクセスログ18Bを取得するログ取得装置22Bを含む。なお、以下では、業務システム16A、16B、アクセスログ18A、18B、機器20A、20B、及びログ取得装置22A、22Bを区別せずに総称する場合は、符号の末尾のアルファベットを省略する。
ログ分析装置24Aによりアクセスログ18を解析することで業務システム16へのアクセスを分析する場合、アクセスログ18Bについては、ログ取得装置22Bが機器20Bから取得して、ネットワーク14を介してログ分析装置24Aに送信することとなる。一般的に、インターネット等のネットワーク14では、Local Area Network(LAN)等のプライベート環境10の内部のネットワークに比べて転送速度が遅く、アクセスログ18Bの送信に比較的長い時間がかかってしまう、という問題点がある。そして、この問題点により、ログ分析装置24Aによるアクセスログ18の分析のリアルタイム性が低下する。
また、一般的に、パブリッククラウド等のクラウドシステム12では、データの転送量に従った従量課金が行われる場合がある。この場合は、ネットワーク14を介してクラウドシステム12からプライベート環境10に送信するアクセスログ18Bのデータの転送量が多いほど、コストが高くなってしまう、という問題点がある。
これらの問題点に対し、例えば、収集対象とするアクセスログ18Bの種類、及び範囲等を限定することで、クラウドシステム12からプライベート環境10へのアクセスログ18Bの転送量を減らす手法が考えられる。しかしながら、この手法では、例えば、アクセスログ18Bの収集対象外となっている機器20Bに対してサイバー攻撃が行われた場合に、サイバー攻撃を検知できず、また、サイバー攻撃による影響を解析することができない。
また、例えば、図2に示すように、ログ分析装置24Aと同様のログ分析装置24Bをクラウドシステム12内に設けることで、クラウドシステム12からプライベート環境10へのアクセスログ18Bの転送量を減らす手法が考えられる。しかしながら、この手法では、ログ分析装置24が2台必要となり、コストが増大してしまう。また、例えば、ログ分析装置24がハードウェアアプライアンス製品である場合、及びパブリッククラウドで利用可能な仮想マシンの性能がログ分析装置24の性能要件を満たさない場合等は、この手法を採用することができない。
そこで、本実施形態では、アクセスログに含まれる複数のログデータから、ログデータに含まれる応答時間に基づいて、ログデータの取得範囲を限定することで、ログデータの取得時間の短縮を図る。
次に、図3を参照して、本実施形態に係るログ取得システム30の構成を説明する。図3に示すように、ログ取得システム30は、クライアント環境32、クラウドシステム34、及びプライベート環境36を含む。そして、クライアント環境32、クラウドシステム34、及びプライベート環境36に設置された機器は、インターネット等のネットワーク38を介して互いに通信可能に接続される。
クライアント環境32には、複数台のクライアント端末33(以下、単に「端末33」という)が設置されている。
クラウドシステム34には、業務システム40が構築されている。業務システム40は、LB42、FW44A、44B、アプリケーション(AP)サーバ46A、46B、データベース(DB)サーバ48A、48B、及びログ取得装置50を含む。なお、以下では、FW44A、44B、APサーバ46A、46B、及びDBサーバ48A、48Bの各々を区別せずに総称する場合は、符号の末尾のアルファベットを省略する。また、本実施形態では、LB42、FW44、APサーバ46、DBサーバ48、及びログ取得装置50の各機器は、Network Time Protocol(NTP)等を用いて、各機器の時刻が同期されているものとする。
LB42は、端末33等の業務システム40の外部からのアクセスによるFW44、APサーバ46、DBサーバ48に対する負荷を分散する。また、LB42が備える図示しない記憶部の所定の記憶領域には、LB42に対するアクセスを表すログデータが記録されるアクセスログ52Aが記憶される。
FW44は、設定されたルールに従って、インバウンド及びアウトバウンドの各々の通信を通過させたり、遮断したりする。また、FW44A、44Bが備える図示しない記憶部の所定の記憶領域には、FW44A、44Bに対するアクセスを表すログデータが記録されるアクセスログ52B、52Cが記憶される。
APサーバ46では、例えばWebアプリケーションサーバプログラム上で、後述するDB54A、54Bへのアクセスを行うWebアプリケーションが稼働する。また、APサーバ46A、46Bが備える図示しない記憶部の所定の記憶領域には、APサーバ46A、46Bに対するアクセスを表すログデータが記録されるアクセスログ52D、52Eが記憶される。
DBサーバ48A、48Bが備える図示しない記憶部の所定の記憶領域には、重要なデータとして予め定められた特定のデータ(以下、「重要データ」という)を含む各種データを記憶するDB54A、54Bが記憶される。また、該記憶部の所定の記憶領域には、DB54A、54Bに対するアクセスを表すログデータが記録されるアクセスログ56A、56Bが記憶される。
なお、以下では、アクセスログ52A、52B、52C、52D、52E、DB54A、54B、及びアクセスログ56A、56Bの各々を区別せずに総称する場合は、符号の末尾のアルファベットを省略する。
そして、LB42とFW44A、44Bとは、互いに通信可能にLAN等の図示しないネットワークに接続される。また、FW44AとAPサーバ46Aとは、互いに通信可能にネットワークに接続される。また、FW44BとAPサーバ46Bとは、互いに通信可能にネットワークに接続される。また、APサーバ46A、46BとDBサーバ48A、48Bとは、互いに通信可能にネットワークに接続される。
ログ取得装置50は、アクセスログ52及びアクセスログ56を取得可能にネットワークに接続される。そして、ログ取得装置50は、アクセスログ52及びアクセスログ56から特定のログデータを取得し、取得したログデータを、ネットワーク38を介して後述するログ分析装置62に送信する。なお、LB42、FW44、APサーバ46、DBサーバ48、及びログ取得装置50の台数及び接続構成は一例であり、図3の例に限定されないことは言うまでもない。
プライベート環境36には、クラウドシステム34の業務システム40と同様の業務システム60が構築されている。また、プライベート環境36には、ログ取得装置50から送信された特定のログデータを受信し、受信したログデータを分析するログ分析装置62が設置されている。
次に、図4を参照して、本実施形態に係るログ取得装置50の機能的な構成を説明する。図4に示すように、ログ取得装置50は、検知部70、抽出部72、取得部74、及び
送信部76を含む。また、ログ取得装置50の所定の記憶領域には、ログ格納先テーブル78が記憶される。
図5に、ログ格納先テーブル78の一例を示す。図5に示すように、ログ格納先テーブル78には、機器IP及び格納パスが記憶される。機器IPには、業務システム40内のアクセスログ52及びアクセスログ56が記憶される機器のIPアドレスが記憶される。格納パスには、アクセスログの格納先のパスが記憶される。なお、本実施形態では、一例として図6に示すように、APサーバ46AのIPアドレスが「AA:AA:AA:AA」であり、APサーバ46BのIPアドレスが「BB:BB:BB:BB」であるものとする。また、本実施形態では、FW44AのIPアドレスが「CC:CC:CC:CC」であり、FW44BのIPアドレスが「DD:DD:DD:DD」であるものとする。また、本実施形態では、LB42のIPアドレスが「EE:EE:EE:EE」であるものとする。
すなわち、図5の例では、IPアドレスが「AA:AA:AA:AA」であるAPサーバ46Aのアクセスログ52Dは、「/etc/conf/aa.log」に記憶されることを示している。
本実施形態に係る検知部70は、アクセスログ56及びDB54に記憶されたデータに基づいて、DB54に記憶された重要データに対するアクセスを検知する。図7〜図9を参照して、検知部70による重要データに対するアクセスを検知する検知処理について説明する。
図7に、DB54に記憶されるデータテーブル80の一例を示す。また、図8に、DB54に記憶されるフラグテーブル82の一例を示す。図7に示すように、データテーブル80には、データ番号、データ内容、及び部署名が記憶される。データ番号には、各データを一意に識別する番号が記憶される。データ内容には、データの内容が記憶される。部署名には、データ内容に記憶されたデータの内容を取り扱う部署名が記憶される。
一方、図8に示すように、フラグテーブル82には、部署名及び重要度フラグが記憶される。フラグテーブル82の部署名には、データテーブル80の部署名と同様の情報が記憶される。重要度フラグには、部署名に記憶された部署で取り扱われるデータの内容が重要であるか否かを示す情報が記憶される。本実施形態では、一例として、重要度フラグが「True」である部署名の部署で取り扱われるデータが重要データであり、重要度フラグが「False」である部署名の部署で取り扱われるデータが非重要データであるものとする。すなわち、図7及び図8の例では、データ番号が「000002」のデータが重要データであることを示している。
なお、例えば、重要データとしては、アクセスログの解析対象とするデータとしてユーザにより設定されたデータ等が挙げられる。また、重要データであるか否かを部署名で判定することは一例であり、これに限定されないことは言うまでもない。
また、図9に、アクセスログ56の一例を示す。なお、図9では錯綜を回避するために、上記検知処理で用いる情報を正規化した形式でのアクセスログ56の一例を示す。図9に示すように、アクセスログ56には、通信ID、通信種類、ログ記録時刻、リクエスト元IP、及び対象データ番号が記録される。
通信IDには、端末33等の業務システム40の外部からのリクエストを一意に識別するリクエスト識別情報が記憶される。本実施形態では、通信IDは、例えば端末33から業務システム40へのリクエストがあった場合、該リクエストから端末33へのレスポンスまでの一連の通信について、同一の通信IDがアクセスログ52及びアクセスログ56に記憶される。
通信種類には、通信の種類として、リクエスト(Request、要求)であるか、又はレスポンス(Repsponse、応答)であるかが記憶される。ログ記録時刻には、リクエスト又はレスポンスが発生し、該リクエスト又はレスポンスに対応するログデータがアクセスログ56に記録された日時が記憶される。なお、ログ記録時刻には、時刻のみが記憶されてもよい。
リクエスト元IPには、通信種類が「Request」である場合に、リクエスト元の機器のIPアドレスが記憶される。対象データ番号には、アクセスされたデータテーブル80のデータのデータ番号が記憶される。
検知部70は、定期的にアクセスログ56を参照し、通信種類が「Request」のログデータが記録された場合に、該ログデータの対象データ番号を取得する。そして、検知部70は、データテーブル80を参照し、取得した対象データ番号に対応するデータ番号の部署名を取得する。さらに、検知部70は、フラグテーブル82を参照し、取得した部署名に対応する部署名の重要度フラグが「True」であるか否かによって、重要データに対してアクセスされたか否かを検知する。
また、検知部70は、重要データに対してアクセスされたことを検知した場合、アクセスログ56に記録された、該アクセスに対応するログデータを抽出部72及び取得部74に出力する。すなわち、図9の例では、検知部70は、通信IDが「AAAA」であるログデータを、抽出部72及び取得部74に出力する。
抽出部72は、検知部70からログデータが入力されると、ログ格納先テーブル78を参照し、該ログデータのリクエスト元IPが示す機器から、該リクエスト元IPに対応する格納パスに記憶されたアクセスログ52を取得する。そして、抽出部72は、検知部70から入力されたログデータのログ記録時刻に基づいて、取得したアクセスログ52からログデータを抽出する。図10を参照して、抽出部72によるログデータの抽出処理について説明する。
図10に、アクセスログ52Dの一例を示す。なお、図10では錯綜を回避するために、上記抽出処理で用いる情報を正規化した形式でのアクセスログ52Dの一例を示す。図10に示すように、アクセスログ52Dには、通信ID、通信種類、ログ記録時刻、リクエスト元IP、及び応答時間が記憶される。なお、図10では、アクセスログ52Dの例を示しているが、アクセスログ52A〜52C、52Eもアクセスログ52Dと同様のログデータが記憶される。
通信ID、通信種類、ログ記録時刻、及びリクエスト元IPには、アクセスログ56の通信ID、通信種類、ログ記録時刻、及びリクエスト元IPと同様の情報が記憶される。応答時間には、リクエストからレスポンスまでに費やされた時間が記憶される。
抽出部72は、検知部70から入力されたログデータのログ記録時刻以降にアクセスログ52Dに記録されたログデータ84から、入力されたログデータの通信IDと同一の通信IDを含むログデータ86を特定する。このように、ログデータ86を特定する際の範囲を上記ログ記録時刻以降に限定しているのは、アクセスログ52Dに記録されたDBサーバ48からのレスポンスのログを特定するためである。
そして、抽出部72は、アクセスログ52Dに含まれるログデータから、特定したログデータ86に含まれるログ記録時刻よりもログデータ86に含まれる応答時間前の時刻に対応するログ記録時刻を含むログデータ88を抽出する。
図10の例では、抽出部72は、ログデータ86に含まれるログ記録時刻である「12:00:02」から、ログデータ86に含まれる応答時間である「3000ms」(=3秒)を減算した「11:59:59」に記録されたログデータ88を抽出する。
取得部74は、抽出部72により抽出されたログデータ88から、ログデータ86に含まれる通信IDと同一の通信IDが含まれるログデータ90を取得する。
また、抽出部72は、取得部74により取得されたログデータ90に含まれるリクエスト元IPの機器から、該リクエスト元IPに対応する格納パスに記憶されたアクセスログ52を取得して、上記抽出処理を行う。そして、抽出部72は、抽出対象のアクセスログ52が、通信経路の最上流の機器(本実施形態では、LB42)のアクセスログ52Aとなるまで、上記抽出処理を繰り返す。
同様に、取得部74も、抽出部72により繰り返し抽出されたログデータ88に対して、上記のログデータ90を取得する処理を繰り返し行う。
送信部76は、検知部70から入力されたログデータ、ログデータ86、及びログデータ90を時系列に並べ、各ログデータの出力元の機器を示す情報を付与した送信ログデータ92を生成する。そして、送信部76は、生成した送信ログデータ92を、ネットワーク38を介してログ分析装置62に送信する。
図11に、送信ログデータ92の一例を示す。図11に示すように、送信ログデータ92には、通信ID、通信種類、ログ記録時刻、リクエスト元IP、対象データ番号、応答時間、及び出力元機器が記憶される。通信ID、通信種類、ログ記録時刻、リクエスト元IP、対象データ番号、及び応答時間には、アクセスログ52及びアクセスログ56の少なくとも一方に記憶される対応する情報と同様の情報が記憶される。出力元機器には、前述した各ログデータの出力元の機器を示す情報として、該出力元の機器のIPアドレスが記憶される。
図11の例では、送信ログデータ92には、一例として図12に示すように、通信経路に存在するLB42、FW44A、APサーバ46A、及びDBサーバ48Bの一連の通信に関連するリクエスト及びレスポンスのログデータが記憶される。
ログ取得装置50は、例えば図13に示すコンピュータ100で実現することができる。コンピュータ100は、Central Processing Unit(CPU)101、一時記憶領域としてのメモリ102、及び不揮発性の記憶部103を備える。また、コンピュータ100は、表示装置及び入力装置等の入出力装置104を備える。また、コンピュータ100は、記録媒体108に対するデータの読み込みと書き込みとを制御するRead/Write(R/W)部105、及びネットワークに接続されるネットワークI/F106を備える。CPU101、メモリ102、記憶部103、入出力装置104、R/W部105、及びネットワークI/F106は、バス107を介して互いに接続される。
記憶部103は、Hard Disk Drive(HDD)、Solid State Drive(SSD)、フラッシュメモリ等によって実現することができる。記憶媒体としての記憶部103には、コンピュータ100をログ取得装置50として機能させるためのログ取得プログラム110が記憶される。ログ取得プログラム110は、検知プロセス111、抽出プロセス112、取得プロセス113、及び送信プロセス114を有する。また、記憶部103は、ログ格納先テーブル78が記憶される情報記憶領域115を有する。
CPU101は、ログ取得プログラム110を記憶部103から読み出してメモリ102に展開し、ログ取得プログラム110が有するプロセスを実行する。CPU101は、検知プロセス111を実行することで、図4に示す検知部70として動作する。CPU101は、抽出プロセス112を実行することで、図4に示す抽出部72として動作する。CPU101は、取得プロセス113を実行することで、図4に示す取得部74として動作する。CPU101は、送信プロセス114を実行することで、図4に示す送信部76として動作する。これにより、ログ取得プログラム110を実行したコンピュータ100が、ログ取得装置50として機能することになる。
また、ログ取得プログラム110により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit(ASIC)等で実現することも可能である。
次に、本実施形態に係るログ取得装置50の作用を説明する。ログ取得装置50がログ取得プログラム110を実行することで、図14に示すログ取得処理を実行する。図14に示すログ取得処理は、例えばログ取得装置50の電源がオン状態とされた場合等にCPU101により実行される。
図14に示すログ取得処理のステップS10で、検知部70は、DBサーバ48からアクセスログ56を取得する。なお、本実施形態では、検知部70は、アクセスログ56に記録されたログデータのうち、ステップS10の処理を前回実行してから未取得のログデータを取得する。
次のステップS12で、検知部70は、前述したように、ステップS10で取得されたログデータのうち、通信種類が「Request」のログデータを取得する。そして、検知部70は、データテーブル80及びフラグテーブル82を参照し、取得したログデータに基づいて、重要データに対してアクセスされたか否かを判定する。この判定が否定判定となった場合は、処理はステップS10に戻り、肯定判定となった場合は、処理はステップS14に移行する。
ステップS14で、検知部70は、ステップS10で取得されたログデータから、ステップS12で検知した重要データに対するアクセスに対応するログデータを抽出する。次のステップS16で、抽出部72は、ログ格納先テーブル78を参照し、ステップS14で抽出されたログデータに含まれるリクエスト元IPが示す機器から、該リクエスト元IPに対応する格納パスに記憶されたアクセスログ52を取得する。
なお、後述するステップS24の判定が否定判定となり、本ステップS14が2回目以降に実行される場合は、抽出部72は、以下の処理によってアクセスログ52を取得する。すなわち、この場合、抽出部72は、ログ格納先テーブル78を参照し、後述するステップS22で取得されたログデータ90に含まれるリクエスト元IPが示す機器から、該リクエスト元IPに対応する格納パスに記憶されたアクセスログ52を取得する。
次のステップS18で、抽出部72は、前述したように、ステップS16で取得されたアクセスログ52に、ステップS14で抽出されたログデータに含まれるログ記録時刻以降に記録されたログデータ84から、ログデータ86を特定する。なお、本ステップS18が2回目以降に実行される場合は、以下の処理でログデータ86を特定する。すなわち、この場合、抽出部72は、直前のステップS16で取得されたアクセスログ52に、前回のステップS18で特定されたログデータ86に含まれるログ記録時刻以降に記録されたログデータ84から、ログデータ86を特定する。
次のステップS20で、抽出部72は、前述したように、ステップS16で取得されたアクセスログ52に含まれるログデータから、以下の処理によってログデータ88を抽出する。すなわち、抽出部72は、該ログデータから、ステップS18で特定されたログデータ86に含まれるログ記録時刻よりもログデータ86に含まれる応答時間前の時刻に対応するログ記録時刻を含むログデータ88を抽出する。
次のステップS22で、取得部74は、ステップS20で抽出されたログデータ88から、ステップS18で特定されたログデータ86に含まれる通信IDと同一の通信IDが含まれるログデータ90を取得する。
次のステップS24で、取得部74は、上記ステップS16〜ステップS22の処理対象としたアクセスログ52が、LB42のアクセスログ52であるか否かを判定する。この判定が否定判定となった場合は、処理はステップS16に戻り、肯定判定となった場合は、処理はステップS26に移行する。
ステップS26で、送信部76は、前述したように、ステップS14で抽出されたログデータ、ステップS18で特定されたログデータ86、及びステップS22で取得されたログデータ90を用いて、送信ログデータ92を生成する。次のステップS28で、送信部76は、ステップS26で生成された送信ログデータ92を、ネットワーク38を介してログ分析装置62に送信する。本ステップS28の処理が終了すると、処理はステップS10に戻る。
上記のログ取得処理によるログデータの転送量の削減効果を試算する。ここでは、一例として、アクセスログが記憶される機器の台数が100台で、リクエスト数が10000件/秒である場合について試算する。また、ここでは、一例として、1回のリクエストに関連する機器の台数が全体の10%である10台で、アクセスログに記録される1行のログデータのデータ容量が0.5kbitである場合について試算する。さらに、ここでは、一例として、重要データに対するリクエスト数が1件/秒である場合について試算する。
1秒間にアクセスログに記録されるログデータの行数は、以下に示す(1)式で算出される。
ログデータの行数=リクエスト数/秒×1リクエストに関連するサーバ台数×2(通信の往復分)・・・(1)
すなわち、上記の例では、ログデータの行数は、以下に示す(2)式に従って、200000行/秒と試算される。
10000×10×2=200000 ・・・(2)
従って、上記の例では、1秒間のログデータの転送量は、以下に示す(3)式に従って、100mbitと試算される。
200000×0.5=100000(kbit)=100(mbit)・・・(3)
これに対し、上記取得処理で取得される1秒間のログデータの行数は、以下に示す(4)式で算出される。
ログデータの行数=重要データに対するリクエスト数/秒×経由した機器の台数×2(通信の往復分)・・・(4)
すなわち、上記の例では、ログデータの行数は、以下に示す(5)式に従って、20行/秒と試算される。
1×10×2=20 ・・・(5)
従って、上記の例では、1秒間のログデータの転送量は、以下に示す(6)式に従って、10kbit/秒と試算される。
20×0.5=10 ・・・(6)
このように、上記の例で示される規模のシステムでは、本実施形態の手法を適用することで、アクセスログに記録されるログデータを全て転送する場合に比較して、ログデータの転送量が10000万分の1に削減される。
以上説明したように、本実施形態によれば、通信ID、応答時間、及びログ記録時刻を含むログデータがアクセスログ52に記録された場合に、以下の処理を行う。すなわち、本実施形態によれば、該ログデータに含まれるログ記録時刻よりも応答時間前の時刻に対応するログ記録時刻を含むログデータを抽出する。そして、抽出したログデータから、記録された上記ログデータに含まれる通信IDを含むログデータを取得する。このように、本実施の形態によれば、抽出するログデータを、ログ記録時刻よりも応答時間前の時刻に対応するログ記録時刻を含むログデータに限定している結果、アクセスログから特定のログデータを取得する時間を短縮することができる。さらに、ネットワーク14を介したログデータの転送量も低減することができる。
また、本実施形態によれば、重要データに対してアクセスされた場合に、重要データに対するリクエスト元のアクセスログ52に含まれる複数のログデータから、上記応答時間前の時刻に対応するログ記録時刻を含むログデータを抽出している。これにより、重要データにアクセスされた通信に関連するログデータを取得することができる。
また、本実施形態によれば、取得したログデータに含まれるリクエスト元IPが示す機器のアクセスログ52に含まれる複数のログデータから、以下に示すログデータを抽出する。すなわち、取得したログデータに含まれる通信IDを含み、かつ応答時間及びログ記録時刻を含むログデータよりも該応答時間前の時刻に対応するログ記録時刻を含むログデータをさらに抽出する。さらに、抽出したログデータから、上記通信IDを含むログデータを取得する。これにより、アクセスログ52から一連の通信に関連するログデータを取得することができる。
なお、上記実施形態では、重要データに対してアクセスされた場合に、ログデータ88を抽出する場合について説明したが、これに限定されない。例えば、アクセスログ52を定期的に参照し、通信ID、応答時間、及びログ記録時刻を含むログデータが記録された場合に、ログデータ88を抽出する形態としてもよい。
また、上記実施形態では、ログ取得プログラム110が記憶部103に予め記憶(インストール)されている態様を説明したが、これに限定されない。ログ取得プログラム110は、CD−ROM、DVD−ROM、USBメモリ、メモリカード等の記録媒体に記録された形態で提供することも可能である。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
アクセスログを記憶する記憶部から特定のログデータを取得するログ取得プログラムにおいて、
前記アクセスログに含まれる複数のログデータのうち、リクエストを識別する情報と、該リクエストに関する応答時間と、ログ記録時刻とを含むログデータを取得すると、前記アクセスログに含まれる複数のログデータのうち、取得した前記ログデータに含まれる前記ログ記録時刻より前記応答時間前の時刻に対応するログ記録時刻を含むログデータを抽出し、
抽出した前記ログデータから、取得した前記ログデータに含まれる前記リクエストを識別する情報を含むログデータを取得する、
処理をコンピュータに実行させることを特徴とするログ取得プログラム。
(付記2)
予め定められた特定のデータに対してアクセスされた場合に、前記データに対するリクエスト元の記憶部に記憶された前記アクセスログに含まれる複数のログデータのうち、前記応答時間前の時刻に対応するログ記録時刻を含むログデータを抽出する、
付記1記載のログ取得プログラム。
(付記3)
前記アクセスログに含まれるログデータは、リクエスト元を識別するリクエスト元識別情報をさらに含み、
前記データへのリクエストを送信した端末から前記データに対してアクセスするための通信経路に複数の機器が存在し、
取得したログデータに含まれる前記リクエスト元識別情報が示すリクエスト元に対応する前記機器の記憶部に記憶されたアクセスログに含まれる複数のログデータのうち、取得したログデータに含まれる前記リクエストを識別する情報を含み、かつ前記応答時間及び前記ログ記録時刻を含むログデータより該応答時間前の時刻に対応するログ記録時刻を含むログデータをさらに抽出し、
抽出した前記ログデータから、前記応答時間及び前記ログ記録時刻を含むログデータに含まれる前記リクエストを識別する情報を含むログデータをさらに取得する、
付記2記載のログ取得プログラム。
(付記4)
アクセスログを記憶する記憶部から特定のログデータを取得するログ取得装置において、
前記アクセスログに含まれる複数のログデータのうち、リクエストを識別する情報と、該リクエストに関する応答時間と、ログ記録時刻とを含むログデータを取得すると、前記アクセスログに含まれる複数のログデータのうち、取得した前記ログデータに含まれる前記ログ記録時刻より前記応答時間前の時刻に対応するログ記録時刻を含むログデータを抽出する抽出部と、
前記抽出部により抽出された前記ログデータから、取得した前記ログデータに含まれる前記リクエストを識別する情報を含むログデータを取得する取得部と、
含むことを特徴とするログ取得装置。
(付記5)
前記抽出部は、予め定められた特定のデータに対してアクセスされた場合に、前記データに対するリクエスト元の記憶部に記憶された前記アクセスログに含まれる複数のログデータのうち、前記応答時間前の時刻に対応するログ記録時刻を含むログデータを抽出する、
付記4記載のログ取得装置。
(付記6)
前記アクセスログに含まれるログデータは、リクエスト元を識別するリクエスト元識別情報をさらに含み、
前記データへのリクエストを送信した端末から前記データに対してアクセスするための通信経路に複数の機器が存在し、
前記抽出部は、前記取得部により取得されたログデータに含まれる前記リクエスト元識別情報が示すリクエスト元に対応する前記機器の記憶部に記憶されたアクセスログに含まれる複数のログデータのうち、取得したログデータに含まれる前記リクエストを識別する情報を含み、かつ前記応答時間及び前記ログ記録時刻を含むログデータより該応答時間前の時刻に対応するログ記録時刻を含むログデータをさらに抽出し、
前記取得部は、前記抽出部により抽出された前記ログデータから、前記応答時間及び前記ログ記録時刻を含むログデータに含まれる前記リクエストを識別する情報を含むログデータをさらに取得する、
付記5記載のログ取得装置。
(付記7)
アクセスログを記憶する記憶部から特定のログデータを取得するログ取得方法において、
前記アクセスログに含まれる複数のログデータのうち、リクエストを識別する情報と、該リクエストに関する応答時間と、ログ記録時刻とを含むログデータを取得すると、前記アクセスログに含まれる複数のログデータのうち、取得した前記ログデータに含まれる前記ログ記録時刻より前記応答時間前の時刻に対応するログ記録時刻を含むログデータを抽出し、
抽出した前記ログデータから、取得した前記ログデータに含まれる前記リクエストを識別する情報を含むログデータを取得する、
処理をコンピュータに実行させることを特徴とするログ取得方法。
(付記8)
予め定められた特定のデータに対してアクセスされた場合に、前記データに対するリクエスト元の記憶部に記憶された前記アクセスログに含まれる複数のログデータのうち、前記応答時間前の時刻に対応するログ記録時刻を含むログデータを抽出する、
付記7記載のログ取得方法。
(付記9)
前記アクセスログに含まれるログデータは、リクエスト元を識別するリクエスト元識別情報をさらに含み、
前記データへのリクエストを送信した端末から前記データに対してアクセスするための通信経路に複数の機器が存在し、
取得したログデータに含まれる前記リクエスト元識別情報が示すリクエスト元に対応する前記機器の記憶部に記憶されたアクセスログに含まれる複数のログデータのうち、取得したログデータに含まれる前記リクエストを識別する情報を含み、かつ前記応答時間及び前記ログ記録時刻を含むログデータより該応答時間前の時刻に対応するログ記録時刻を含むログデータをさらに抽出し、
抽出した前記ログデータから、前記応答時間及び前記ログ記録時刻を含むログデータに含まれる前記リクエストを識別する情報を含むログデータをさらに取得する、
付記8記載のログ取得方法。
(付記10)
アクセスログを記憶する記憶部から特定のログデータを取得するログ取得プログラムにおいて、
前記アクセスログに含まれる複数のログデータのうち、リクエストを識別する情報と、該リクエストに関する応答時間と、ログ記録時刻とを含むログデータを取得すると、前記アクセスログに含まれる複数のログデータのうち、取得した前記ログデータに含まれる前記ログ記録時刻より前記応答時間前の時刻に対応するログ記録時刻を含むログデータを抽出し、
抽出した前記ログデータから、取得した前記ログデータに含まれる前記リクエストを識別する情報を含むログデータを取得する、
処理をコンピュータに実行させることを特徴とするログ取得プログラムを記憶した記憶媒体。
50 ログ取得装置
52A、52B、52C、52D、52E、56A、56B アクセスログ
70 検知部
72 抽出部
74 取得部
76 送信部
78 ログ格納先テーブル
100 コンピュータ
101 CPU
102 メモリ
103 記憶部
108 記録媒体
110 ログ取得プログラム

Claims (5)

  1. アクセスログを記憶する記憶部から特定のログデータを取得するログ取得プログラムにおいて、
    前記アクセスログに含まれる複数のログデータのうち、リクエストを識別する情報と、該リクエストに関する応答時間と、ログ記録時刻とを含むログデータを取得すると、前記アクセスログに含まれる複数のログデータのうち、取得した前記ログデータに含まれる前記ログ記録時刻より前記応答時間前の時刻に対応するログ記録時刻を含むログデータを抽出し、
    抽出した前記ログデータから、取得した前記ログデータに含まれる前記リクエストを識別する情報を含むログデータを取得する、
    処理をコンピュータに実行させることを特徴とするログ取得プログラム。
  2. 予め定められた特定のデータに対してアクセスされた場合に、前記データに対するリクエスト元の記憶部に記憶された前記アクセスログに含まれる複数のログデータのうち、前記応答時間前の時刻に対応するログ記録時刻を含むログデータを抽出する、
    請求項1記載のログ取得プログラム。
  3. 前記アクセスログに含まれるログデータは、リクエスト元を識別するリクエスト元識別情報をさらに含み、
    前記データへのリクエストを送信した端末から前記データに対してアクセスするための通信経路に複数の機器が存在し、
    取得したログデータに含まれる前記リクエスト元識別情報が示すリクエスト元に対応する前記機器の記憶部に記憶されたアクセスログに含まれる複数のログデータのうち、取得したログデータに含まれる前記リクエストを識別する情報を含み、かつ前記応答時間及び前記ログ記録時刻を含むログデータより該応答時間前の時刻に対応するログ記録時刻を含むログデータをさらに抽出し、
    抽出した前記ログデータから、前記応答時間及び前記ログ記録時刻を含むログデータに含まれる前記リクエストを識別する情報を含むログデータをさらに取得する、
    請求項2記載のログ取得プログラム。
  4. アクセスログを記憶する記憶部から特定のログデータを取得するログ取得装置において、
    前記アクセスログに含まれる複数のログデータのうち、リクエストを識別する情報と、該リクエストに関する応答時間と、ログ記録時刻とを含むログデータを取得すると、前記アクセスログに含まれる複数のログデータのうち、取得した前記ログデータに含まれる前記ログ記録時刻より前記応答時間前の時刻に対応するログ記録時刻を含むログデータを抽出する抽出部と、
    前記抽出部により抽出された前記ログデータから、取得した前記ログデータに含まれる前記リクエストを識別する情報を含むログデータを取得する取得部と、
    含むことを特徴とするログ取得装置。
  5. アクセスログを記憶する記憶部から特定のログデータを取得するログ取得方法において、
    前記アクセスログに含まれる複数のログデータのうち、リクエストを識別する情報と、該リクエストに関する応答時間と、ログ記録時刻とを含むログデータを取得すると、前記アクセスログに含まれる複数のログデータのうち、取得した前記ログデータに含まれる前記ログ記録時刻より前記応答時間前の時刻に対応するログ記録時刻を含むログデータを抽出し、
    抽出した前記ログデータから、取得した前記ログデータに含まれる前記リクエストを識別する情報を含むログデータを取得する、
    処理をコンピュータに実行させることを特徴とするログ取得方法。
JP2016131932A 2016-07-01 2016-07-01 ログ取得プログラム、ログ取得装置、及びログ取得方法 Pending JP2018005571A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016131932A JP2018005571A (ja) 2016-07-01 2016-07-01 ログ取得プログラム、ログ取得装置、及びログ取得方法
US15/607,792 US20180004431A1 (en) 2016-07-01 2017-05-30 Non-transitory computer-readable recording medium recoding log obtaining program, log obtaining device, and log obtaining method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016131932A JP2018005571A (ja) 2016-07-01 2016-07-01 ログ取得プログラム、ログ取得装置、及びログ取得方法

Publications (1)

Publication Number Publication Date
JP2018005571A true JP2018005571A (ja) 2018-01-11

Family

ID=60807562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016131932A Pending JP2018005571A (ja) 2016-07-01 2016-07-01 ログ取得プログラム、ログ取得装置、及びログ取得方法

Country Status (2)

Country Link
US (1) US20180004431A1 (ja)
JP (1) JP2018005571A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102122968B1 (ko) * 2019-01-28 2020-06-15 숭실대학교산학협력단 애플리케이션 설치 정보 분석 시스템 및 방법
JP2020102100A (ja) * 2018-12-25 2020-07-02 Necプラットフォームズ株式会社 ログ取得装置、ログデータ取得方法およびログデータ取得プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10452278B2 (en) * 2017-03-24 2019-10-22 Western Digital Technologies, Inc. System and method for adaptive early completion posting using controller memory buffer
CN112685375B (zh) * 2019-10-18 2023-04-28 上海哔哩哔哩科技有限公司 基于cdn的日志分析方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6247149B1 (en) * 1997-10-28 2001-06-12 Novell, Inc. Distributed diagnostic logging system
US7516209B2 (en) * 2003-06-27 2009-04-07 Microsoft Corporation Method and framework for tracking/logging completion of requests in a computer system
JP2005141441A (ja) * 2003-11-06 2005-06-02 Hitachi Ltd 負荷分散システム
US8341405B2 (en) * 2006-09-28 2012-12-25 Microsoft Corporation Access management in an off-premise environment
US20140058801A1 (en) * 2010-06-04 2014-02-27 Sapience Analytics Private Limited System And Method To Measure, Aggregate And Analyze Exact Effort And Time Productivity
CN102769628B (zh) * 2012-07-27 2014-03-26 腾讯科技(深圳)有限公司 页面登录方法及服务器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020102100A (ja) * 2018-12-25 2020-07-02 Necプラットフォームズ株式会社 ログ取得装置、ログデータ取得方法およびログデータ取得プログラム
KR102122968B1 (ko) * 2019-01-28 2020-06-15 숭실대학교산학협력단 애플리케이션 설치 정보 분석 시스템 및 방법

Also Published As

Publication number Publication date
US20180004431A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
US9954886B2 (en) Method and apparatus for detecting website security
CN109802953B (zh) 一种工控资产的识别方法及装置
JP2018005571A (ja) ログ取得プログラム、ログ取得装置、及びログ取得方法
JP6030272B2 (ja) ウェブサイト情報抽出装置、システム、ウェブサイト情報抽出方法、および、ウェブサイト情報抽出プログラム
CN110808879B (zh) 一种协议识别方法、装置、设备及可读存储介质
CN110198248B (zh) 检测ip地址的方法和装置
US20230126692A1 (en) System and method for blocking phishing attempts in computer networks
US20100077092A1 (en) Feature extraction method and apparatus
CN110619022B (zh) 基于区块链网络的节点检测方法、装置、设备及存储介质
CN112769775B (zh) 一种威胁情报关联分析方法、系统、设备及计算机介质
CN111752770A (zh) 服务请求的处理方法、系统、计算机设备和存储介质
US20180095819A1 (en) Incident analysis program, incident analysis method, information processing device, service identification program, service identification method, and service identification device
CN108134816A (zh) 对远程设备上的数据的访问
US10574765B2 (en) Method, device, and non-transitory computer-readable recording medium
JP2019159431A (ja) 評価プログラム、評価方法および評価装置
CN114363062A (zh) 一种域名检测方法、系统、设备及计算机可读存储介质
RU2008121872A (ru) Ближайший узел для соединений распределенных служб
CN109905486B (zh) 一种应用程序识别展示方法和装置
WO2020065737A1 (ja) 影響範囲推定装置、影響範囲推定方法、及びコンピュータ読み取り可能な記録媒体
CN108293075B (zh) 共享终端检测方法以及为此的设备
US20230008765A1 (en) Estimation apparatus, estimation method and program
CN108133046B (zh) 数据分析方法及装置
CN107592322B (zh) 网址拦截方法及装置
US10579429B2 (en) Log system and log method
CN108124014B (zh) 一种浏览器智能预防第三方Cookie跟踪的方法