JP2020197929A - Log analysis system and log analysis method - Google Patents

Log analysis system and log analysis method Download PDF

Info

Publication number
JP2020197929A
JP2020197929A JP2019103848A JP2019103848A JP2020197929A JP 2020197929 A JP2020197929 A JP 2020197929A JP 2019103848 A JP2019103848 A JP 2019103848A JP 2019103848 A JP2019103848 A JP 2019103848A JP 2020197929 A JP2020197929 A JP 2020197929A
Authority
JP
Japan
Prior art keywords
log
server
terminal
analysis
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019103848A
Other languages
Japanese (ja)
Other versions
JP7300317B2 (en
Inventor
光徳 梶原
Mitsunori Kajiwara
光徳 梶原
渚子 田中
Migiwa Tanaka
渚子 田中
好貴 光谷
Yoshitaka Mitsuya
好貴 光谷
知太 寺田
Tomota Terada
知太 寺田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nomura Research Institute Ltd
Original Assignee
Nomura Research Institute Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=73648008&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2020197929(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nomura Research Institute Ltd filed Critical Nomura Research Institute Ltd
Priority to JP2019103848A priority Critical patent/JP7300317B2/en
Publication of JP2020197929A publication Critical patent/JP2020197929A/en
Application granted granted Critical
Publication of JP7300317B2 publication Critical patent/JP7300317B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide a log analysis system that can analyze log information when accessing a server on a network from a terminal.SOLUTION: A log analysis system includes a VPN device 30 and an analysis device 40. The VPN device mediates communications between terminals 10-1 to 10-N and servers 20-1 to 20-M while encrypting them, and collects logs related to the communications between the terminals and the servers. The analysis device analyzes the collected logs. The VPN device may receive encrypted data, decrypt the encrypted data, and then store the decrypted data as a log.SELECTED DRAWING: Figure 1

Description

本発明は、ログ解析システム及びログ解析方法に関する。 The present invention relates to a log analysis system and a log analysis method.

通信技術、情報処理技術の進展と共に、企業や政府機関等からネットワークを介して種々のサービスが提供されている。ユーザ(消費者)は、携帯電話、スマートフォン等の各種端末を操作して、上記サービスを利用する。例えば、所謂、Eコマースと称される、商品やサービスの売買を行う電子商取引の利用が日常的に行われている。 With the progress of communication technology and information processing technology, various services are provided from companies and government agencies via networks. The user (consumer) operates various terminals such as a mobile phone and a smartphone to use the above service. For example, so-called e-commerce, which is the use of electronic commerce for buying and selling goods and services, is routinely performed.

このような電子商取引ではユーザの行動を把握する目的で、WEBサイト等へのアクセス情報(ログ情報)が収集されることがある。例えば、特許文献1には、サービス提供者が提供するサービスにおいて、ユーザの属性や行動履歴などを含むユーザ情報が取得され、かかるユーザ情報に基づいて、ユーザに応じた広告やその他の情報が提供されている、と記載されている。 In such electronic commerce, access information (log information) to a WEB site or the like may be collected for the purpose of grasping the user's behavior. For example, in Patent Document 1, in a service provided by a service provider, user information including user attributes and action history is acquired, and advertisements and other information according to the user are provided based on the user information. It is stated that it has been done.

特開2019−46473号公報Japanese Unexamined Patent Publication No. 2019-46473

上記特許文献1に記載されたように、ユーザに対して的確な広告等を発信するためには、ユーザの行動履歴等が必要となる。 As described in Patent Document 1, in order to send an accurate advertisement or the like to the user, the user's action history or the like is required.

しかしながら、サービス提供者が真に必要とするログ情報が収集されていないのが現状である。例えば、ログ収集を目的として、スマートフォン等の端末にログ収集のための専用アプリケーションをインストールすることが考えられる。 However, the current situation is that the log information that the service provider really needs is not collected. For example, for the purpose of log collection, it is conceivable to install a dedicated application for log collection on a terminal such as a smartphone.

しかし、このような専用アプリケーションを活用したログ収集では、OS(Operating System)ごとに上記アプリケーションを用意する必要があったり、端末とサーバ間の通信が暗号化されている場合には有用な情報が得ることができなかったりする。 However, in log collection using such a dedicated application, useful information is available when it is necessary to prepare the above application for each OS (Operating System) or when the communication between the terminal and the server is encrypted. I can't get it.

本発明は、端末からネットワーク上のサーバにアクセスした際のログ情報を解析可能とする、ログ解析システム及びログ解析方法を提供することを主たる目的とする。 A main object of the present invention is to provide a log analysis system and a log analysis method that enable analysis of log information when a server on a network is accessed from a terminal.

本発明の第1の視点によれば、端末とサーバ間の通信を暗号化しつつ仲介すると共に、前記端末とサーバ間の通信に関するログを収集する、VPN(Virtual Private Network)装置と、前記収集されたログを解析する、解析装置と、を含む、ログ解析システムが提供される。 According to the first aspect of the present invention, the VPN (Virtual Private Network) device that mediates the communication between the terminal and the server while encrypting the communication and collects the log related to the communication between the terminal and the server, and the collected one. A log analysis system including an analysis device for analyzing the logs is provided.

本発明の第2の視点によれば、端末とサーバ間の通信を暗号化しつつ仲介すると共に、前記端末とサーバ間の通信に関するログを収集するステップと、前記収集されたログを解析するステップと、を含むログ解析方法が提供される。 According to the second aspect of the present invention, there are a step of collecting logs related to the communication between the terminal and the server while encrypting and mediating the communication between the terminal and the server, and a step of analyzing the collected logs. A log analysis method including, is provided.

本発明の各視点によれば、端末からネットワーク上のサーバにアクセスした際のログ情報を解析可能とする、ログ解析システム及びログ解析方法が提供される。なお、本発明により、当該効果の代わりに、又は当該効果と共に、他の効果が奏されてもよい。 According to each viewpoint of the present invention, there is provided a log analysis system and a log analysis method that enable analysis of log information when a server on a network is accessed from a terminal. In addition, according to the present invention, other effects may be produced in place of or in combination with the effect.

第1の実施形態に係るログ解析システムの概略構成の一例を示す図である。It is a figure which shows an example of the schematic structure of the log analysis system which concerns on 1st Embodiment. 第1の実施形態に係るVPN(Virtual Private Network)装置の処理構成の一例を示す図である。It is a figure which shows an example of the processing configuration of the VPN (Virtual Private Network) apparatus which concerns on 1st Embodiment. 設定情報取得部が生成するGUI(Graphical User Interface)の一例を示す図である。It is a figure which shows an example of GUI (Graphical User Interface) generated by the setting information acquisition part. 第1の実施形態に係るVPN装置の処理構成の別の一例を示す図である。It is a figure which shows another example of the processing structure of the VPN apparatus which concerns on 1st Embodiment. ログ収集部が収集したログ情報の一例を示す図である。It is a figure which shows an example of the log information collected by the log collection part. 第1の実施形態に係る解析装置の処理構成の一例を示す図である。It is a figure which shows an example of the processing structure of the analysis apparatus which concerns on 1st Embodiment. 設定情報取得部が生成するGUIの一例を示す図である。It is a figure which shows an example of GUI generated by the setting information acquisition part. 第1の実施形態に係るログ解析部の動作を説明するための図である。It is a figure for demonstrating the operation of the log analysis part which concerns on 1st Embodiment. 第1の実施形態に係るログ解析部の動作を説明するための図である。It is a figure for demonstrating the operation of the log analysis part which concerns on 1st Embodiment. 第1の実施形態に係るログ解析部の動作を説明するための図である。It is a figure for demonstrating the operation of the log analysis part which concerns on 1st Embodiment. 第1の実施形態に係るログ解析システムの動作の一例を示すシーケンス図である。It is a sequence diagram which shows an example of the operation of the log analysis system which concerns on 1st Embodiment. 第1の実施形態に係るVPN装置のハードウェア構成の一例を示すである。An example of the hardware configuration of the VPN device according to the first embodiment is shown.

[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。
[First Embodiment]
The first embodiment will be described in more detail with reference to the drawings.

図1は、第1の実施形態に係るログ解析システムの概略構成の一例を示す図である。図1を参照すると、ログ解析システムは、複数の端末10−1〜10−N(Nは正の整数、以下同じ)と、複数のサーバ20−1〜20−M(Mは正の整数、以下同じ)と、VPN(Virtual Private Network)装置30と、解析装置40と、を含んで構成される。 FIG. 1 is a diagram showing an example of a schematic configuration of a log analysis system according to the first embodiment. Referring to FIG. 1, the log analysis system includes a plurality of terminals 10-1 to 10-N (N is a positive integer, the same applies hereinafter) and a plurality of servers 20-1 to 20-M (M is a positive integer, The same applies hereinafter), a VPN (Virtual Private Network) device 30, and an analysis device 40.

なお、以降の説明において、端末10−1〜10−Nを区別する特段の理由がない場合には単に「端末10」と表記する。同様に、サーバ20−1〜20−Mを区別する特段の理由がない場合には単に「サーバ20」と表記する。 In the following description, if there is no particular reason for distinguishing terminals 10-1 to 10-N, it is simply referred to as "terminal 10". Similarly, unless there is a particular reason to distinguish between servers 20-1 to 20-M, it is simply referred to as "server 20".

端末10は、有線又は無線の通信手段によりネットワークにアクセスする。端末10として、スマートフォン、携帯電話機、ゲーム機、タブレット等の携帯端末装置やコンピュータ(パーソナルコンピュータ、ノートパソコン)等が例示される。 The terminal 10 accesses the network by a wired or wireless communication means. Examples of the terminal 10 include mobile terminal devices such as smartphones, mobile phones, game machines, and tablets, computers (personal computers, laptop computers), and the like.

サーバ20は、インターネット等のネットワーク上に設置され、電子商取引や情報検索等の各種サービスを提供する。 The server 20 is installed on a network such as the Internet and provides various services such as electronic commerce and information retrieval.

VPN装置30は、端末10とサーバ20間の通信を暗号化しつつ仲介すると共に、端末10とサーバ20間の通信に関するログ(サーバ20へのリクエスト、端末10へのレスポンス)を収集する装置である。 The VPN device 30 is a device that mediates communication between the terminal 10 and the server 20 while encrypting the communication, and collects logs (requests to the server 20 and responses to the terminal 10) regarding communication between the terminal 10 and the server 20. ..

VPN装置30は、端末10とサーバ20の間の通信を仲介する通信装置(プロキシサーバ)として動作する。VPN装置30は、端末10からサーバ20に向けて送信されるユーザデータ(パケット)を受信し、当該受信データをその宛先となるサーバ20に転送する。VPN装置30は、サーバ20から上記データの応答を受信すると、受信した応答を端末10に転送する。 The VPN device 30 operates as a communication device (proxy server) that mediates communication between the terminal 10 and the server 20. The VPN device 30 receives user data (packets) transmitted from the terminal 10 to the server 20, and transfers the received data to the destination server 20. When the VPN device 30 receives the response of the above data from the server 20, the VPN device 30 transfers the received response to the terminal 10.

VPN装置30は、上記データ転送の際に、他の装置(端末10、サーバ20)との通信を暗号化する。具体的には、VPN装置30は、SSL(Secure Sockets Layer)等のプロトコルを用いて端末10、サーバ20それぞれの間の通信を暗号化する。 The VPN device 30 encrypts communication with other devices (terminal 10, server 20) at the time of the data transfer. Specifically, the VPN device 30 encrypts the communication between the terminal 10 and the server 20 by using a protocol such as SSL (Secure Sockets Layer).

VPN装置30は、端末10とサーバ20の間の通信ログ(アクセスログ)を収集する。その際、VPN装置30は、暗号化された状態のログを収集するのではなく、暗号が復号された状態のログ(平文のログ)を収集する。つまり、VPN装置30は、端末10、サーバ20から暗号化されたデータ(パケット)を受信し、当該暗号化されたデータを復号した後に、復号されたデータをログとして記憶する。 The VPN device 30 collects a communication log (access log) between the terminal 10 and the server 20. At that time, the VPN device 30 does not collect the log in the encrypted state, but collects the log in the decrypted state (plaintext log). That is, the VPN device 30 receives the encrypted data (packet) from the terminal 10 and the server 20, decrypts the encrypted data, and then stores the decrypted data as a log.

VPN装置30は、収集したログを定期的、又は所定のタイミングで解析装置40に送信する。 The VPN device 30 transmits the collected logs to the analysis device 40 at regular intervals or at predetermined timings.

解析装置40は、受信したログ(VPN装置30により収集されたログ)を解析し、その結果(ログ解析結果)を出力する。 The analysis device 40 analyzes the received log (log collected by the VPN device 30) and outputs the result (log analysis result).

なお、本願開示では、VPN装置30がログを収集することに同意したユーザのアクセスログを収集することを前提とする。そのため、端末10はVPN装置30を経由してネットワークにアクセスするように設定される。 The disclosure of the present application is based on the premise that the VPN device 30 collects the access log of the user who has agreed to collect the log. Therefore, the terminal 10 is set to access the network via the VPN device 30.

具体的には、端末10にはパケットの送信先をVPN装置30に設定するような簡単なアプリケーションがインストールされ、当該アプリケーションを動作させることで端末10はVPN装置30に向けてパケットを送信する。このように、端末10のユーザはVPN装置30がアクセスログを収集することに同意しているので、本願開示のログ解析システムではプライバシー等に関する問題は生じない。 Specifically, a simple application for setting a packet transmission destination to the VPN device 30 is installed in the terminal 10, and the terminal 10 transmits a packet to the VPN device 30 by operating the application. As described above, since the user of the terminal 10 agrees that the VPN device 30 collects the access log, the log analysis system disclosed in the present application does not cause a problem related to privacy or the like.

図2は、第1の実施形態に係るVPN装置30の処理構成(処理モジュール)の一例を示す図である。図2を参照すると、VPN装置30は、通信制御部301と、ログ収集部302と、設定情報取得部303と、を含んで構成される。 FIG. 2 is a diagram showing an example of a processing configuration (processing module) of the VPN device 30 according to the first embodiment. Referring to FIG. 2, the VPN device 30 includes a communication control unit 301, a log collection unit 302, and a setting information acquisition unit 303.

通信制御部301は、他の装置(端末10、サーバ20)との間の通信を制御する手段である。 The communication control unit 301 is a means for controlling communication with other devices (terminal 10, server 20).

通信制御部301は、自装置と端末10の間の暗号化通信と、自装置とサーバ20の間の暗号化通信と、が異なるようにする。具体的には、通信制御部301は、各装置との間でSSL通信を用いる場合には、端末10との暗号化通信には第1の共通鍵、サーバ20との暗号化通信には第2の共通鍵をそれぞれ用いるようにする。即ち、通信制御部301は、端末10と自装置との間の暗号化通信と、サーバ20と自装置との間の暗号化通信と、をそれぞれ終端する。 The communication control unit 301 makes the encrypted communication between the own device and the terminal 10 different from the encrypted communication between the own device and the server 20. Specifically, when SSL communication is used with each device, the communication control unit 301 has a first common key for encrypted communication with the terminal 10 and a first for encrypted communication with the server 20. Try to use each of the two common keys. That is, the communication control unit 301 terminates the encrypted communication between the terminal 10 and the own device and the encrypted communication between the server 20 and the own device, respectively.

なお、通信制御部301は、端末10とサーバ20の間の通信を復号し、再暗号するのが原則であるが、端末10とサーバ20の間の通信によっては上記処理を実施すると通信が正常に行えない場合がある。具体的には、上記処理を実施すると、サーバ20又は端末10が正常に応答しない場合がある。そのような場合、通信制御部301は、端末10とサーバ20の間の通信に何らの処理を施さず、そのままパケットを転送する。例えば、通信制御部301は、暗号化されたパケットをサーバ20から受信し、端末10が当該サーバ20からのパケットに応答しない場合には、サーバ20から取得したデータをそのまま端末10に転送する。 In principle, the communication control unit 301 decrypts and re-encrypts the communication between the terminal 10 and the server 20, but depending on the communication between the terminal 10 and the server 20, the communication is normal when the above processing is performed. It may not be possible to do so. Specifically, when the above processing is performed, the server 20 or the terminal 10 may not respond normally. In such a case, the communication control unit 301 does not perform any processing on the communication between the terminal 10 and the server 20, and transfers the packet as it is. For example, the communication control unit 301 receives the encrypted packet from the server 20, and when the terminal 10 does not respond to the packet from the server 20, the communication control unit 301 transfers the data acquired from the server 20 to the terminal 10 as it is.

このように、VPN装置30は、特定のサーバ20から暗号化されたデータを受信した際、端末10が正常な動作をしない場合には、端末10とサーバ20の間の通信を復号しない。即ち、VPN装置30は、暗号化されていない通信はそのまま記録する。VPN装置30は、暗号化されている通信は、一度「復号」し、平文を記録して(ログを記録して)、再び「暗号化」する。さらに、VPN装置30は、上記処理(復号、再暗号)を行うと正しく通信が行えない場合には、「復号化」せずにスルーする(暗号化されているものをそのまま受信側に送信する)。その結果、特殊な仕様を有するサーバ20と端末10の間の通信もログとして記憶することができる。 As described above, the VPN device 30 does not decrypt the communication between the terminal 10 and the server 20 if the terminal 10 does not operate normally when the encrypted data is received from the specific server 20. That is, the VPN device 30 records the unencrypted communication as it is. The VPN device 30 "decrypts" the encrypted communication once, records the plaintext (records the log), and then "encrypts" it again. Further, if the VPN device 30 cannot communicate correctly after performing the above processing (decryption, re-encryption), the VPN device 30 passes through without "decrypting" (the encrypted one is transmitted to the receiving side as it is). ). As a result, communication between the server 20 and the terminal 10 having special specifications can also be stored as a log.

通信制御部301は、他の装置から暗号化されたデータを取得すると、当該取得データの暗号を復号する。その後、通信制御部301は、復号したデータ(平文のデータ)をログ収集部302に引き渡す。 When the communication control unit 301 acquires the encrypted data from another device, the communication control unit 301 decrypts the acquired data. After that, the communication control unit 301 delivers the decoded data (plaintext data) to the log collection unit 302.

ログ収集部302は、端末10とサーバ20の間の通信のログ(アクセスログ)を収集する手段である。ログ収集部302は、通信制御部301から取得したデータを記憶部(図示せず)に格納する。その際、ログ収集部302は、システム管理者等が入力する「ログ収集動作設定情報」に応じたログ収集動作を行う。ログ収集動作設定情報は、VPN装置30がログを収集する際の動作を規定する情報である。 The log collecting unit 302 is a means for collecting a log (access log) of communication between the terminal 10 and the server 20. The log collecting unit 302 stores the data acquired from the communication control unit 301 in a storage unit (not shown). At that time, the log collection unit 302 performs a log collection operation according to the "log collection operation setting information" input by the system administrator or the like. The log collection operation setting information is information that defines an operation when the VPN device 30 collects logs.

設定情報取得部303は、ログ収集動作設定情報を取得(入力)する手段である。例えば、設定情報取得部303は、システム管理者等が上記ログ収集動作設定情報を入力するためのGUI(Graphical User Interface)を生成する(例えば、図3参照)。あるいは、設定情報取得部303は、ログ収集動作設定情報が記載されたファイルを入力してもよいし、ネットワーク上のデータベースサーバ等からログ収集動作設定情報を取得してもよい。 The setting information acquisition unit 303 is a means for acquiring (inputting) log collection operation setting information. For example, the setting information acquisition unit 303 generates a GUI (Graphical User Interface) for the system administrator or the like to input the log collection operation setting information (see, for example, FIG. 3). Alternatively, the setting information acquisition unit 303 may input a file in which the log collection operation setting information is described, or may acquire the log collection operation setting information from a database server or the like on the network.

ログ収集動作設定情報により定めることが可能な動作は多岐にわたる。例えば、ログを収集する際の端末10とサーバ20の間の通信方向に関する設定が可能である。より具体的には、端末10とサーバ20における双方向の通信をログとして残すのか、一方向(上り、下り)だけの通信をログとして残すのかといった設定が可能である。 There are various operations that can be determined by the log collection operation setting information. For example, it is possible to set the communication direction between the terminal 10 and the server 20 when collecting logs. More specifically, it is possible to set whether to record the bidirectional communication between the terminal 10 and the server 20 as a log or to record the communication in only one direction (uplink and downlink) as a log.

例えば、上り方向の通信(端末10からサーバ20に向けた通信)に関するログを残す設定の場合には、ログ収集部302は、端末10から取得したデータ(平文のデータ)だけをログとして記憶部に格納する。 For example, in the case of setting to leave a log related to upstream communication (communication from the terminal 10 to the server 20), the log collecting unit 302 stores only the data (plaintext data) acquired from the terminal 10 as a log. Store in.

あるいは、同一のサーバ20(同一のドメイン)へのアクセスは最初のアクセス以外はログとして記憶しないといった設定も可能である。例えば、図1において、端末10−2がサーバ20−1にアクセスした場合を考える。この場合、端末10−2がサーバ20−1に最初にアクセスした際のログは記憶されるが、端末10−2が当該サーバ20−1に続けてアクセスした際のログは記憶されない。 Alternatively, it is possible to set that the access to the same server 20 (same domain) is not stored as a log except for the first access. For example, consider the case where the terminal 10-2 accesses the server 20-1 in FIG. In this case, the log when the terminal 10-2 first accesses the server 20-1 is stored, but the log when the terminal 10-2 subsequently accesses the server 20-1 is not stored.

なお、この場合であっても、端末10−2がサーバ20−1とは異なるサーバ(例えば、サーバ20−2)にアクセスした後、再び、サーバ20−1にアクセスした場合には、当該サーバ20−1に関するログは記憶される。 Even in this case, if the terminal 10-2 accesses a server different from the server 20-1 (for example, the server 20-2) and then accesses the server 20-1 again, the server is the server. The log for 20-1 is stored.

ネットワーク上におけるユーザの行動を大局的に把握するという目的においては、同一のサーバ20(同一のドメイン)にアクセスした際の情報はあまり重要ではない。このような重要ではないデータの記憶を省略することで、VPN装置30や解析装置40が取り扱うログ情報のサイズを削減する。 Information when accessing the same server 20 (same domain) is not very important for the purpose of grasping the user's behavior on the network in a broad sense. By omitting the storage of such unimportant data, the size of the log information handled by the VPN device 30 and the analysis device 40 is reduced.

同一のサーバ20から端末10に向けて送信されるデータに関して、最初のデータ(最初の応答)だけを記憶し、その後に続くログは記憶しないといった設定も可能である。 Regarding the data transmitted from the same server 20 to the terminal 10, it is possible to set that only the first data (first response) is stored and the subsequent logs are not stored.

ログ収集動作設定情報に「時間」に関する設定が含まれていてもよい。例えば、端末10がサーバ20にアクセスしてから所定の時間が経過した後に、当該端末10とサーバ20の間のアクセスログが記憶されてもよい。 The log collection operation setting information may include a setting related to "time". For example, the access log between the terminal 10 and the server 20 may be stored after a predetermined time has elapsed since the terminal 10 accessed the server 20.

例えば、上記所定の時間に数秒を設定する。ユーザが上記数秒の間で別のサーバ20にアクセスを移したのであれば、ユーザが操作を誤って意図しないサイトにアクセスしたことなどが考えられる。上記時刻の設定を設定情報に含めることで、このようなユーザの意図に反したログを排除できる。その結果、ログのサイズが削減されると共に、解析装置40における解析精度を向上させることができる。 For example, a few seconds are set at the predetermined time. If the user transfers access to another server 20 within the above few seconds, it is possible that the user accidentally accessed an unintended site. By including the above time setting in the setting information, it is possible to eliminate such a log contrary to the user's intention. As a result, the size of the log can be reduced and the analysis accuracy in the analysis device 40 can be improved.

端末10やサーバ20から取得するデータの内容に応じたログ収集動作がログ収集動作設定情報に含まれてもよい。 The log collection operation setting information may include a log collection operation according to the content of the data acquired from the terminal 10 or the server 20.

例えば、端末10からサーバ20に送られるリクエストにリファラが含まれている場合に、ログとして残すと言った設定であってもよい。リファラはリンク元のURL(Uniform Resource Locator)を示す情報であって、ログ解析時に重要な情報となる。従って、リファラを含むリクエスト(アクセスログ)だけを残すことで、ログのサイズを削減できる。 For example, if the request sent from the terminal 10 to the server 20 includes a referrer, it may be set to be recorded as a log. The referrer is information indicating the URL (Uniform Resource Locator) of the link source, and is important information at the time of log analysis. Therefore, the size of the log can be reduced by leaving only the request (access log) including the referrer.

特定の属性を有するデータをログとして残すといった設定や、特定の属性を有するデータをログとして残さないといった設定も可能である。例えば、取得されたデータが「画像」であれば、当該画像に係るデータをログとして残さない設定が可能である。 It is also possible to set that data having a specific attribute is left as a log, or that data having a specific attribute is not left as a log. For example, if the acquired data is an "image", it is possible to set not to leave the data related to the image as a log.

あるいは、特定の種類の画像に限ってログとして残す設定も可能である。例えば、画像データのうち、特定の対象(例えば、スマートフォン等)に関する画像だけをログとして残すような設定も可能である。 Alternatively, it is possible to set to leave only a specific type of image as a log. For example, it is possible to set to leave only an image related to a specific target (for example, a smartphone or the like) as a log among the image data.

この場合、図4に示すように、上記特定の対象を判別するための学習モデル304を使って取得した画像データがログに残す対象か否かが判定されてもよい。なお、学習モデル304は、画像にラベルが付与された教師データを用いた機械学習により生成される。学習モデル(分類モデル)の生成には、サポートベクタマシン、ブースティングやニューラルネットワーク等の任意のアルゴリズムを用いることができる。なお、上記サポートベクタマシン等のアルゴリズムは公知の技術を使用することができるので、その説明を省略する。 In this case, as shown in FIG. 4, it may be determined whether or not the image data acquired by using the learning model 304 for discriminating the specific target is the target to be recorded in the log. The learning model 304 is generated by machine learning using the teacher data with labels attached to the images. Any algorithm such as a support vector machine, boosting, or neural network can be used to generate a learning model (classification model). Since a known technique can be used for the algorithm such as the support vector machine, the description thereof will be omitted.

このように、VPN装置30は、受信データの特性(例えば、受信データが画像ファイル)に応じて受信データをログとして記憶するか否かを定めることができる。さらに、VPN装置30は、受信データが画像データであって、予め定めた対象を含む画像データである場合には当該予め定めた対象を含む画像データをログとして記憶してもよい。 In this way, the VPN device 30 can determine whether or not to store the received data as a log according to the characteristics of the received data (for example, the received data is an image file). Further, when the received data is image data and the image data includes a predetermined target, the VPN device 30 may store the image data including the predetermined target as a log.

具体的には、ログ収集部302は、取得したデータが画像ファイルか否かをファイル名や拡張子に基づき判断する。ログ収集部302は、取得したデータが「画像」であれば、当該画像データを学習モデル304に入力する。ログ収集部302は、学習モデル304の判定結果(特定の対象、非特定の対象)に応じたログ収集動作を行う。 Specifically, the log collection unit 302 determines whether or not the acquired data is an image file based on the file name and extension. If the acquired data is an "image", the log collecting unit 302 inputs the image data to the learning model 304. The log collection unit 302 performs a log collection operation according to the determination result (specific target, non-specific target) of the learning model 304.

例えば、スマートフォンに関する画像データをログとして記憶する設定がなされていれば、ログ収集部302は学習モデル304により「スマートフォン」と判定されたデータを記憶し、「非スマートフォン」と判定されたデータは破棄する。 For example, if the image data related to the smartphone is set to be stored as a log, the log collecting unit 302 stores the data determined to be "smartphone" by the learning model 304, and discards the data determined to be "non-smartphone". To do.

図5は、ログ収集部302が収集したログ情報の一例を示す図である。図5に示すように、ログ収集部302は、ログを取得した日時、ログの送信元、アクセスログを対応付けて記憶する。なお、図5に記載した「備考」はログの内容に関する理解を容易にするためのものであり、実際のログ情報には含まれない。 FIG. 5 is a diagram showing an example of log information collected by the log collecting unit 302. As shown in FIG. 5, the log collecting unit 302 stores the date and time when the log was acquired, the source of the log, and the access log in association with each other. The "remarks" shown in FIG. 5 are for facilitating the understanding of the contents of the log and are not included in the actual log information.

図5には、上り方向(端末10からサーバ20に向けた通信)のアクセスログに限って記載している。図5には、送信元として端末10の符号が記載されているが、送信元の識別子にはIP(Internet Protocol)アドレス等を用いることができる。 FIG. 5 shows only the access log in the upstream direction (communication from the terminal 10 to the server 20). Although the code of the terminal 10 is shown as the source in FIG. 5, an IP (Internet Protocol) address or the like can be used as the identifier of the source.

図5では、VPN装置30が取得したログを順番に記載(時系列で記載)しているが、アクセスログは端末10ごとに区分されて記憶されてもよい。即ち、VPN装置30は、端末10とサーバ20の間の通信ログを時系列に記憶していきログ情報を生成してもよいし、端末10ごとに区分して通信ログを記憶してログ情報を生成してもよい。 In FIG. 5, the logs acquired by the VPN device 30 are described in order (described in chronological order), but the access log may be divided and stored for each terminal 10. That is, the VPN device 30 may store the communication log between the terminal 10 and the server 20 in chronological order to generate log information, or may separately store the communication log for each terminal 10 and store the log information. May be generated.

図6は、第1の実施形態に係る解析装置40の処理構成(処理モジュール)の一例を示す図である。図6を参照すると、解析装置40は、通信制御部401と、ログ解析部402と、設定情報取得部403と、を含んで構成される。 FIG. 6 is a diagram showing an example of a processing configuration (processing module) of the analysis device 40 according to the first embodiment. Referring to FIG. 6, the analysis device 40 includes a communication control unit 401, a log analysis unit 402, and a setting information acquisition unit 403.

通信制御部401は、他の装置(例えば、VPN装置30)との間の通信を制御する手段である。 The communication control unit 401 is a means for controlling communication with another device (for example, VPN device 30).

ログ解析部402は、VPN装置30から取得したログ情報を解析する手段である。 The log analysis unit 402 is a means for analyzing the log information acquired from the VPN device 30.

設定情報取得部403は、ログ解析部402によるログ解析時の動作を定める設定情報(以下、ログ解析動作設定情報と表記する)を取得する手段である。例えば、設定情報取得部403は、システム管理者等がログ解析動作設定情報を入力するためのGUIを生成する(例えば、図7参照)。 The setting information acquisition unit 403 is a means for acquiring setting information (hereinafter, referred to as log analysis operation setting information) that determines an operation at the time of log analysis by the log analysis unit 402. For example, the setting information acquisition unit 403 generates a GUI for the system administrator or the like to input the log analysis operation setting information (see, for example, FIG. 7).

設定情報取得部403は、当該GUIにより設定された情報をログ解析部402に引き渡す。 The setting information acquisition unit 403 delivers the information set by the GUI to the log analysis unit 402.

ログ解析部402は、ログ解析動作設定情報に応じたログ解析を実行し、その結果を出力する。 The log analysis unit 402 executes log analysis according to the log analysis operation setting information, and outputs the result.

ログ解析動作設定情報には、どのようなログ解析を実行するかに関する情報が含まれる。 The log analysis operation setting information includes information on what kind of log analysis is to be executed.

例えば、ログ解析部402は、システム管理者から指定されたサイトを基準とし当該サイトへのアクセスに関する入出力を解析する。当該解析の指示がログ解析動作設定情報に含まれていた場合には、ログ解析部402は、図8に示すようなログ解析結果を出力する。 For example, the log analysis unit 402 analyzes the input / output related to the access to the site based on the site specified by the system administrator. When the analysis instruction is included in the log analysis operation setting information, the log analysis unit 402 outputs the log analysis result as shown in FIG.

図8を参照すると、システム管理者は、アクセスフローの基準となるサイト(あるいは、ネットワークドメイン)を指定する。この場合、ログ解析部402は、VPN装置30から取得したログ情報のなかから上記基準サイトを探索する。その後、ログ解析部402は、当該探索した基準サイトの直前にアクセスされたサイトと基準サイトの直後にアクセスされたサイトをそれぞれ抽出し、サイトごとのその人数(端末数)を計数する。 With reference to FIG. 8, the system administrator specifies a site (or network domain) as a reference for the access flow. In this case, the log analysis unit 402 searches for the reference site from the log information acquired from the VPN device 30. After that, the log analysis unit 402 extracts the site accessed immediately before the searched reference site and the site accessed immediately after the reference site, and counts the number of people (the number of terminals) for each site.

ログ解析部402は、上記結果(サイトごとのアクセス人数)を含むログ解析結果を表示する。図8の例では、基準サイトを中心に当該サイトへのアクセスフロー(基準サイトへの入出力)が生成され、人数の多可がフローの向きを示す矢印の太さにより表現されている。 The log analysis unit 402 displays the log analysis result including the above result (the number of visitors for each site). In the example of FIG. 8, an access flow (input / output to / from the reference site) to the reference site is generated centering on the reference site, and the number of people is represented by the thickness of the arrow indicating the direction of the flow.

図8を参照すると、基準サイトへのアクセスはサイトAよりもサイトBからの方が多く、基準サイトから他のサイトに移る場合には、サイトCの方がサイトDよりも多いことが分かる。このように、解析装置40は、VPN装置30により収集されたログに基づき、特定のサイトを基準とするアクセスフローを生成してもよい。 With reference to FIG. 8, it can be seen that the access to the reference site is more from site B than from site A, and when moving from the reference site to another site, site C is more than site D. In this way, the analysis device 40 may generate an access flow based on a specific site based on the log collected by the VPN device 30.

図8の例では、基準サイトを中心に1段の入出力をログ解析結果としているが、ユーザが当該段数を指定してもよい。例えば、アクセスフローを生成する際の段数を「2段」とすると、図9に示すようなログ解析結果が得られる。 In the example of FIG. 8, the input / output of one stage centering on the reference site is used as the log analysis result, but the user may specify the number of stages. For example, assuming that the number of stages when generating the access flow is "2 stages", the log analysis result as shown in FIG. 9 can be obtained.

図8や図9に示すようなログ解析結果に接したシステム管理者等は、ネットワーク上におけるユーザの行動を把握することができる。 A system administrator or the like who comes into contact with the log analysis results as shown in FIGS. 8 and 9 can grasp the user's behavior on the network.

なお、リファラを使用すれば、自社サイトに到達する経路を企業等は把握できる。例えば、図8の例では、基準サイトを運営する企業等は、サイトAやサイトBからのアクセスを把握することができる。しかし、ユーザが基準サイトを離れどのようなサイトに遷移するかに関しては、企業等は把握することができない。 By using the referrer, companies can grasp the route to reach their own site. For example, in the example of FIG. 8, the company or the like that operates the reference site can grasp the access from the site A or the site B. However, companies and the like cannot grasp what kind of site the user will transition to after leaving the reference site.

一方、第1の実施形態に係る解析装置40は、基準サイトからの出力(遷移先)も上記企業等に提供することができるため、基準サイトを運営する企業等に対して有益な情報を提供できる。図8の例では、基準サイトを運営する企業等は、サイトCへの広告を増やすといったような対応が可能となる。 On the other hand, since the analysis device 40 according to the first embodiment can also provide the output (transition destination) from the reference site to the above-mentioned companies and the like, it provides useful information to the companies and the like that operate the reference site. it can. In the example of FIG. 8, the company or the like that operates the reference site can take measures such as increasing the number of advertisements on the site C.

ログ解析部402は、サイトを予め複数の種類にカテゴライズし、カテゴライズされた種類ごとのアクセス状況を解析してもよい。例えば、ログ解析部402は、図10に示すようなログ解析を行ってもよい。 The log analysis unit 402 may categorize the site into a plurality of types in advance and analyze the access status for each categorized type. For example, the log analysis unit 402 may perform log analysis as shown in FIG.

具体的には、ログ解析部402は、VPN装置30から取得するログ情報に含まれ得るサイトを予め定めた種類(ジャンル)に分類する。例えば、図10を参照すると、ログ情報に含まれるサイトは「ポータルサイト」、「ニュースサイト」、「ECサイト」に分類される。 Specifically, the log analysis unit 402 classifies the sites that can be included in the log information acquired from the VPN device 30 into a predetermined type (genre). For example, referring to FIG. 10, the sites included in the log information are classified into "portal site", "news site", and "EC site".

ログ解析部402は、ログ情報に含まれる各サイトを上記ジャンルのいずれかに分類し、時間帯ごとにアクセスの回数を計数する。図10の例では、20:00の時間帯にEC(Electronic Commerce)サイトへのアクセスが急増することがわかる。 The log analysis unit 402 classifies each site included in the log information into one of the above genres, and counts the number of accesses for each time zone. In the example of FIG. 10, it can be seen that the number of accesses to the EC (Electronic Commerce) site increases rapidly during the time zone of 20:00.

続いて、図面を参照しつつ、第1の実施形態に係るログ解析システムの動作について説明する。図11は、第1の実施形態に係るログ解析システムの動作の一例を示すシーケンス図である。 Subsequently, the operation of the log analysis system according to the first embodiment will be described with reference to the drawings. FIG. 11 is a sequence diagram showing an example of the operation of the log analysis system according to the first embodiment.

VPN装置30は、端末10とサーバ20の間の通信を中継する(ステップS01)。 The VPN device 30 relays the communication between the terminal 10 and the server 20 (step S01).

VPN装置30は、端末10及びサーバ20間の通信ログ(アクセスログ)を収集する(ステップS02)。 The VPN device 30 collects a communication log (access log) between the terminal 10 and the server 20 (step S02).

VPN装置30は、上記収集したログを定期的、又は所定のタイミングで解析装置40に送信する(ステップS03)。 The VPN device 30 transmits the collected logs to the analysis device 40 at regular intervals or at predetermined timings (step S03).

解析装置40は、取得したログ情報を解析する(ステップS04)。 The analysis device 40 analyzes the acquired log information (step S04).

続いて、ログ解析システムを構成する各装置のハードウェアについて説明する。図12は、VPN装置30のハードウェア構成の一例を示す図である。 Next, the hardware of each device constituting the log analysis system will be described. FIG. 12 is a diagram showing an example of the hardware configuration of the VPN device 30.

VPN装置30は、情報処理装置(所謂、コンピュータ)により構成可能であり、図12に例示する構成を備える。例えば、VPN装置30は、プロセッサ311、メモリ312、入出力インターフェイス313及び通信インターフェイス314等を備える。上記プロセッサ311等の構成要素は内部バス等により接続され、相互に通信可能に構成されている。 The VPN device 30 can be configured by an information processing device (so-called computer), and includes the configuration illustrated in FIG. For example, the VPN device 30 includes a processor 311, a memory 312, an input / output interface 313, a communication interface 314, and the like. The components such as the processor 311 are connected by an internal bus or the like so that they can communicate with each other.

但し、図12に示す構成は、VPN装置30のハードウェア構成を限定する趣旨ではない。VPN装置30は、図示しないハードウェアを含んでもよいし、必要に応じて入出力インターフェイス313を備えていなくともよい。また、VPN装置30に含まれるプロセッサ311等の数も図12の例示に限定する趣旨ではなく、例えば、複数のプロセッサ311がVPN装置30に含まれていてもよい。 However, the configuration shown in FIG. 12 is not intended to limit the hardware configuration of the VPN device 30. The VPN device 30 may include hardware (not shown), and may not include an input / output interface 313 if necessary. Further, the number of processors 311 and the like included in the VPN device 30 is not limited to the example shown in FIG. 12, and for example, a plurality of processors 311 may be included in the VPN device 30.

プロセッサ311は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)等のプログラマブルなデバイスである。あるいは、プロセッサ311は、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等のデバイスであってもよい。プロセッサ311は、オペレーティングシステム(OS;Operating System)を含む各種プログラムを実行する。 The processor 311 is a programmable device such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a DSP (Digital Signal Processor). Alternatively, the processor 311 may be a device such as an FPGA (Field Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit). Processor 311 executes various programs including an operating system (OS).

メモリ312は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等である。メモリ312は、OSプログラム、アプリケーションプログラム、各種データを格納する。 The memory 312 is a RAM (Random Access Memory), a ROM (Read Only Memory), an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like. The memory 312 stores an OS program, an application program, and various data.

入出力インターフェイス313は、図示しない表示装置や入力装置のインターフェイスである。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボードやマウス等のユーザ操作を受け付ける装置である。 The input / output interface 313 is an interface of a display device or an input device (not shown). The display device is, for example, a liquid crystal display or the like. The input device is, for example, a device that accepts user operations such as a keyboard and a mouse.

通信インターフェイス314は、他の装置と通信を行う回路、モジュール等である。例えば、通信インターフェイス314は、NIC(Network Interface Card)等を備える。 The communication interface 314 is a circuit, a module, or the like that communicates with another device. For example, the communication interface 314 includes a NIC (Network Interface Card) and the like.

VPN装置30の機能は、各種処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ312に格納されたプログラムをプロセッサ311が実行することで実現される。また、当該プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transitory)なものとすることができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。また、上記プログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。 The function of the VPN device 30 is realized by various processing modules. The processing module is realized, for example, by the processor 311 executing a program stored in the memory 312. The program can also be recorded on a computer-readable storage medium. The storage medium may be a non-transitory such as a semiconductor memory, a hard disk, a magnetic recording medium, or an optical recording medium. That is, the present invention can also be embodied as a computer program product. In addition, the program can be downloaded via a network or updated using a storage medium in which the program is stored. Further, the processing module may be realized by a semiconductor chip.

なお、解析装置40もVPN装置30と同様に情報処理装置により構成可能であり、その基本的なハードウェア構成はVPN装置30と相違する点はないので説明を省略する。 The analysis device 40 can also be configured by an information processing device like the VPN device 30, and its basic hardware configuration is not different from that of the VPN device 30, so the description thereof will be omitted.

以上のように、第1の実施形態に係るログ収集システムは、端末10とサーバ20の間の通信に関するログをVPN装置30が収集する。VPN装置30は、端末10やサーバ20と行う暗号化通信を終端するため、これらの装置から受信したデータを復号し平文のデータ(アクセスログ)を収集することができる。解析装置40は、当該VPN装置30により収集されたデータを解析する。その結果、端末10からネットワーク上のサーバ20にアクセスした際のログ情報の解析を可能とするログ解析システムが実現できる。 As described above, in the log collection system according to the first embodiment, the VPN device 30 collects logs related to communication between the terminal 10 and the server 20. Since the VPN device 30 terminates the encrypted communication performed with the terminal 10 and the server 20, it is possible to decrypt the data received from these devices and collect the plaintext data (access log). The analysis device 40 analyzes the data collected by the VPN device 30. As a result, it is possible to realize a log analysis system that enables analysis of log information when the terminal 10 accesses the server 20 on the network.

[変形例]
なお、上記実施形態にて説明したログ解析システムの構成、動作等は例示であって、システムの構成等を限定する趣旨ではない。
[Modification example]
The configuration, operation, and the like of the log analysis system described in the above embodiment are examples, and are not intended to limit the system configuration and the like.

例えば、VPN装置30の一部機能が解析装置40に含まれていてもよいし、その逆であってもよい。例えば、VPN装置30の設定情報取得機能が解析装置40に含まれていてもよい。この場合、解析装置40が、ログ収集動作設定情報とログ解析動作設定情報の2つを入力し、ログ収集動作設定情報をVPN装置30に送信してもよい。 For example, a part of the functions of the VPN device 30 may be included in the analysis device 40, or vice versa. For example, the analysis device 40 may include a setting information acquisition function of the VPN device 30. In this case, the analysis device 40 may input the log collection operation setting information and the log analysis operation setting information and transmit the log collection operation setting information to the VPN device 30.

あるいは、解析装置40が、ログ解析動作設定情報に基づきログ収集動作設定情報を生成し、当該生成されたログ収集動作設定情報をVPN装置30に送信してもよい。即ち、解析装置40は、要求されたログ解析動作に適したログ情報を収集するようにVPN装置30に指示をしてもよい。例えば、解析装置40は、図8や図9に示すようなアクセスフローの生成を行う場合(当該フローの生成がログ解析動作設定情報に含まれる場合)、端末10からサーバ20へのアクセスに限り記憶するようなログ収集動作設定情報を生成し、VPN装置30に設定してもよい。 Alternatively, the analysis device 40 may generate log collection operation setting information based on the log analysis operation setting information, and transmit the generated log collection operation setting information to the VPN device 30. That is, the analysis device 40 may instruct the VPN device 30 to collect log information suitable for the requested log analysis operation. For example, when the analysis device 40 generates the access flow as shown in FIGS. 8 and 9 (when the generation of the flow is included in the log analysis operation setting information), the analysis device 40 is limited to the access from the terminal 10 to the server 20. Log collection operation setting information to be stored may be generated and set in the VPN device 30.

また、VPN装置30では端末10からアクセスするユーザ又は端末を識別可能となっており、そのユーザID又は端末IDを紐づけてログを保持しており、VPN装置30又は解析装置40ではユーザIDで特定されるユーザの個人属性または端末IDで特定される端末を使用するユーザの個人属性を保持し、個人属性とは例えば性別、年齢、住所エリア、職業等であり、ログとこれらの個人属性を結合(SQL上のJOINなど)することで、個人属性別の分析が可能となる。具体的には、男性のみのログを特定して分析することが可能となる。 Further, the SQLN device 30 can identify a user or a terminal accessing from the terminal 10, and holds a log by associating the user ID or the terminal ID with the user ID, and the SQLN device 30 or the analysis device 40 uses the user ID. It holds the personal attributes of the specified user or the personal attributes of the user who uses the terminal specified by the terminal ID, and the personal attributes are, for example, gender, age, address area, occupation, etc., and the log and these personal attributes are stored. By combining (JOIN on SQL, etc.), analysis by individual attribute becomes possible. Specifically, it is possible to identify and analyze logs of only men.

さらに、VPN装置30では端末10のどのアプリケーション(ブラウザ、各種SNSアプリなど)からのリクエストで外部にアクセスしているかも識別可能であり、アプリケーション名、アプリケーションID、アプリケーション種別も含めてログとして保持することも可能であり、このようなログを分析することでアプリケーション別の分析も可能となる。 Further, the VPN device 30 can also identify which application (browser, various SNS applications, etc.) of the terminal 10 is accessing the outside, and holds the application name, application ID, and application type as a log. It is also possible, and by analyzing such logs, it is possible to analyze by application.

さらに、解析装置40は、VPN装置30から取得したログ情報に加え、他のデータ(例えば、ユーザによるアンケートデータ、ID−POS(ID付きのPOSデータ)、VPN装置30とは異なる手段から取得したアクセスログ、各企業は保有するユーザ情報)を取得、保持し、ログ情報と当該他のデータを対応付けてログ情報の分析等を行ってもよい。 Further, in addition to the log information acquired from the VDC device 30, the analysis device 40 is acquired from other data (for example, questionnaire data by the user, ID-POS (POS data with an ID), and means different from the VPN device 30. Access log, user information held by each company) may be acquired and retained, and log information may be analyzed by associating the log information with the other data.

さらに、VPN装置30や解析装置40は、取得したアクセスログに含まれるURLに対してWEBクローリングを行い、上記アクセスログに含まれるURLのコンテンツの種別、種類(どのようなコンテンツのWEBページ)を把握して保持してもよい。当該WEBクローリングにより収集された情報は、ログ解析に活用されてもよい。 Further, the VPN device 30 and the analysis device 40 perform WEB crawling on the URL included in the acquired access log, and determine the type and type (WEB page of what kind of content) of the URL content included in the access log. You may grasp and hold it. The information collected by the WEB crawling may be utilized for log analysis.

さらに、VPN装置30や解析装置40は、取得したアクセスログのURLのドメインに基づき、当該ドメインの所有企業やサービスを特定し、保持してもよい。解析装置40は、当該情報をログ解析に活用してもよい。なお、ドメインの所有企業等の特定は、Whois検索等により可能である。 Further, the VPN device 30 and the analysis device 40 may identify and retain the company or service that owns the domain based on the domain of the URL of the acquired access log. The analysis device 40 may utilize the information for log analysis. It should be noted that the company that owns the domain can be specified by a Whois search or the like.

以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。 Although the embodiments of the present invention have been described above, the present invention is not limited to these embodiments. It will be appreciated by those skilled in the art that these embodiments are merely exemplary and that various modifications are possible without departing from the scope and spirit of the invention.

10、10−1〜10−N 端末
20、20−1〜20−M サーバ
30 VPN装置
40 解析装置
301、401 通信制御部
302 ログ収集部
303、403 設定情報取得部
304 学習モデル
311 プロセッサ
312 メモリ
313 入出力インターフェイス
314 通信インターフェイス
402 ログ解析部
10, 10-1 to 10-N terminal
20, 20-1 to 20-M Server 30 VPN device 40 Analysis device 301, 401 Communication control unit 302 Log collection unit 303, 403 Setting information acquisition unit 304 Learning model 311 Processor 312 Memory 313 Input / output interface 314 Communication interface 402 Log analysis Department

Claims (10)

端末とサーバ間の通信を暗号化しつつ仲介すると共に、前記端末とサーバ間の通信に関するログを収集する、VPN(Virtual Private Network)装置と、
前記収集されたログを解析する、解析装置と、
を含む、ログ解析システム。
A VPN (Virtual Private Network) device that mediates communication between a terminal and a server while encrypting it, and collects logs related to communication between the terminal and the server.
An analyzer that analyzes the collected logs,
A log analysis system, including.
前記VPN装置は、暗号化されたデータを受信し、前記暗号化されたデータを復号した後に、前記復号されたデータをログとして記憶する、請求項1に記載のログ解析システム。 The log analysis system according to claim 1, wherein the VPN device receives encrypted data, decrypts the encrypted data, and then stores the decrypted data as a log. 前記VPN装置は、受信データの特性に応じて前記受信データをログとして記憶するか否かを定める、請求項1又は2に記載のログ解析システム。 The log analysis system according to claim 1 or 2, wherein the VPN device determines whether or not to store the received data as a log according to the characteristics of the received data. 前記VPN装置は、前記受信データが画像データであって、予め定めた対象を含む画像データである場合には前記予め定めた対象を含む画像データをログとして記憶する、請求項3に記載のログ解析システム。 The log according to claim 3, wherein the VPN device stores the image data including the predetermined target as a log when the received data is the image data and the image data includes the predetermined target. Analysis system. 前記VPN装置は、前記サーバから暗号化されたデータを受信した際、前記サーバから受信したデータに前記端末が正常な応答をしない場合には、前記端末とサーバ間の通信を復号しない、請求項1乃至4のいずれか一項に記載のログ解析システム。 The VPN device does not decode the communication between the terminal and the server when the terminal does not normally respond to the data received from the server when the encrypted data is received from the server. The log analysis system according to any one of 1 to 4. 前記解析装置は、前記収集されたログに基づき、特定のサイトを基準とするアクセスフローを生成する、請求項1乃至5のいずれか一項に記載のログ解析システム。 The log analysis system according to any one of claims 1 to 5, wherein the analysis device generates an access flow based on a specific site based on the collected logs. 前記解析装置は、前記アクセスフローを生成する際の段数を外部から取得する、請求項6に記載のログ解析システム。 The log analysis system according to claim 6, wherein the analysis device acquires the number of stages when generating the access flow from the outside. 前記VPN装置は、前記ログを収集する際の動作を定めたログ収集動作設定情報に基づきログを収集し、
前記解析装置は、前記ログを解析する際の動作を定めたログ解析動作設定情報に基づき前記収集されたログを解析する、請求項1乃至7のいずれか一項に記載のログ解析システム。
The VPN device collects logs based on the log collection operation setting information that defines the operation when collecting the logs.
The log analysis system according to any one of claims 1 to 7, wherein the analysis device analyzes the collected logs based on log analysis operation setting information that defines an operation when analyzing the logs.
前記解析装置は、前記ログ解析動作設定情報に基づき前記ログ収集動作設定情報を生成し、前記生成されたログ収集動作設定情報を前記VPN装置に送信する、請求項8に記載のログ解析システム。 The log analysis system according to claim 8, wherein the analysis device generates the log collection operation setting information based on the log analysis operation setting information, and transmits the generated log collection operation setting information to the VPN device. 端末とサーバ間の通信を暗号化しつつ仲介すると共に、前記端末とサーバ間の通信に関するログを収集するステップと、
前記収集されたログを解析するステップと、
を含むログ解析方法。
A step of collecting logs related to the communication between the terminal and the server while encrypting and mediating the communication between the terminal and the server.
The steps to analyze the collected logs and
Log analysis method including.
JP2019103848A 2019-06-03 2019-06-03 Log analysis system and log analysis method Active JP7300317B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019103848A JP7300317B2 (en) 2019-06-03 2019-06-03 Log analysis system and log analysis method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019103848A JP7300317B2 (en) 2019-06-03 2019-06-03 Log analysis system and log analysis method

Publications (2)

Publication Number Publication Date
JP2020197929A true JP2020197929A (en) 2020-12-10
JP7300317B2 JP7300317B2 (en) 2023-06-29

Family

ID=73648008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019103848A Active JP7300317B2 (en) 2019-06-03 2019-06-03 Log analysis system and log analysis method

Country Status (1)

Country Link
JP (1) JP7300317B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230216935A1 (en) * 2021-12-30 2023-07-06 The Nielsen Company (Us), Llc Methods and apparatus to identify main page views

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297749A (en) * 2003-03-27 2004-10-21 Tsg Kk Vpn device
JP2006352834A (en) * 2005-05-20 2006-12-28 Hitachi Ltd System and method for encrypted communication
JP2011123524A (en) * 2009-12-08 2011-06-23 Yahoo Japan Corp Advertisement control device and method
JP2016143320A (en) * 2015-02-04 2016-08-08 富士通株式会社 Log monitoring method, log monitor, log monitoring system, and log monitoring program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297749A (en) * 2003-03-27 2004-10-21 Tsg Kk Vpn device
JP2006352834A (en) * 2005-05-20 2006-12-28 Hitachi Ltd System and method for encrypted communication
JP2011123524A (en) * 2009-12-08 2011-06-23 Yahoo Japan Corp Advertisement control device and method
JP2016143320A (en) * 2015-02-04 2016-08-08 富士通株式会社 Log monitoring method, log monitor, log monitoring system, and log monitoring program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小川 卓, 「やりたいこと」からパッと引ける GOOGLEアナリティクス分析・改善のすべてがわかる本, vol. 第1版, JPN6023004895, 31 August 2017 (2017-08-31), JP, pages 221 - 222, ISSN: 0004988270 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230216935A1 (en) * 2021-12-30 2023-07-06 The Nielsen Company (Us), Llc Methods and apparatus to identify main page views

Also Published As

Publication number Publication date
JP7300317B2 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
CN109891424B (en) Establishing links between identifiers without revealing specific identifying information
US10574686B2 (en) Security verification by message interception and modification
US6983379B1 (en) Method and system for monitoring online behavior at a remote site and creating online behavior profiles
EP2901653B1 (en) Systems and methods for audience measurement
US10885466B2 (en) Method for performing user profiling from encrypted network traffic flows
Gonzalez et al. User profiling in the time of https
US20160048868A1 (en) Systems and methods for obfuscated audience measurement
US11093565B2 (en) Methods and systems for identifying multiple devices belonging to a single user by merging deterministic and probabilistic data to generate a cross device data structure
US20200162537A1 (en) Passive re-assembly of http2 fragmented segments
US20230351052A1 (en) Data integrity
Ren et al. App identification based on encrypted multi-smartphone sources traffic fingerprints
JP7300317B2 (en) Log analysis system and log analysis method
US10891648B1 (en) Systems and methods for tracking the flow of user information over a network
Alan et al. Client diversity factor in HTTPS webpage fingerprinting
US10855513B2 (en) Information pushing method, device and computer readable storage medium
Erquiaga et al. Observer effect: How Intercepting HTTPS traffic forces malware to change their behavior
JP6007149B2 (en) Web browsing history acquisition apparatus, method, and program
CN113783835B (en) Password sharing method, device, equipment and storage medium
US20230105375A1 (en) Scalable messaging framework for providing machine learning services across multiple availability zones
Sanders Techniques for the analysis of modern web page traffic using anonymized tcp/ip headers
CN114666315A (en) HTTP request processing method and device of load balancing equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230619

R150 Certificate of patent or registration of utility model

Ref document number: 7300317

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150