JP2020197929A - Log analysis system and log analysis method - Google Patents
Log analysis system and log analysis method Download PDFInfo
- Publication number
- JP2020197929A JP2020197929A JP2019103848A JP2019103848A JP2020197929A JP 2020197929 A JP2020197929 A JP 2020197929A JP 2019103848 A JP2019103848 A JP 2019103848A JP 2019103848 A JP2019103848 A JP 2019103848A JP 2020197929 A JP2020197929 A JP 2020197929A
- Authority
- JP
- Japan
- Prior art keywords
- log
- server
- terminal
- analysis
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 114
- 230000006854 communication Effects 0.000 claims abstract description 72
- 238000004891 communication Methods 0.000 claims abstract description 72
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000009193 crawling Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Abstract
Description
本発明は、ログ解析システム及びログ解析方法に関する。 The present invention relates to a log analysis system and a log analysis method.
通信技術、情報処理技術の進展と共に、企業や政府機関等からネットワークを介して種々のサービスが提供されている。ユーザ(消費者)は、携帯電話、スマートフォン等の各種端末を操作して、上記サービスを利用する。例えば、所謂、Eコマースと称される、商品やサービスの売買を行う電子商取引の利用が日常的に行われている。 With the progress of communication technology and information processing technology, various services are provided from companies and government agencies via networks. The user (consumer) operates various terminals such as a mobile phone and a smartphone to use the above service. For example, so-called e-commerce, which is the use of electronic commerce for buying and selling goods and services, is routinely performed.
このような電子商取引ではユーザの行動を把握する目的で、WEBサイト等へのアクセス情報(ログ情報)が収集されることがある。例えば、特許文献1には、サービス提供者が提供するサービスにおいて、ユーザの属性や行動履歴などを含むユーザ情報が取得され、かかるユーザ情報に基づいて、ユーザに応じた広告やその他の情報が提供されている、と記載されている。
In such electronic commerce, access information (log information) to a WEB site or the like may be collected for the purpose of grasping the user's behavior. For example, in
上記特許文献1に記載されたように、ユーザに対して的確な広告等を発信するためには、ユーザの行動履歴等が必要となる。
As described in
しかしながら、サービス提供者が真に必要とするログ情報が収集されていないのが現状である。例えば、ログ収集を目的として、スマートフォン等の端末にログ収集のための専用アプリケーションをインストールすることが考えられる。 However, the current situation is that the log information that the service provider really needs is not collected. For example, for the purpose of log collection, it is conceivable to install a dedicated application for log collection on a terminal such as a smartphone.
しかし、このような専用アプリケーションを活用したログ収集では、OS(Operating System)ごとに上記アプリケーションを用意する必要があったり、端末とサーバ間の通信が暗号化されている場合には有用な情報が得ることができなかったりする。 However, in log collection using such a dedicated application, useful information is available when it is necessary to prepare the above application for each OS (Operating System) or when the communication between the terminal and the server is encrypted. I can't get it.
本発明は、端末からネットワーク上のサーバにアクセスした際のログ情報を解析可能とする、ログ解析システム及びログ解析方法を提供することを主たる目的とする。 A main object of the present invention is to provide a log analysis system and a log analysis method that enable analysis of log information when a server on a network is accessed from a terminal.
本発明の第1の視点によれば、端末とサーバ間の通信を暗号化しつつ仲介すると共に、前記端末とサーバ間の通信に関するログを収集する、VPN(Virtual Private Network)装置と、前記収集されたログを解析する、解析装置と、を含む、ログ解析システムが提供される。 According to the first aspect of the present invention, the VPN (Virtual Private Network) device that mediates the communication between the terminal and the server while encrypting the communication and collects the log related to the communication between the terminal and the server, and the collected one. A log analysis system including an analysis device for analyzing the logs is provided.
本発明の第2の視点によれば、端末とサーバ間の通信を暗号化しつつ仲介すると共に、前記端末とサーバ間の通信に関するログを収集するステップと、前記収集されたログを解析するステップと、を含むログ解析方法が提供される。 According to the second aspect of the present invention, there are a step of collecting logs related to the communication between the terminal and the server while encrypting and mediating the communication between the terminal and the server, and a step of analyzing the collected logs. A log analysis method including, is provided.
本発明の各視点によれば、端末からネットワーク上のサーバにアクセスした際のログ情報を解析可能とする、ログ解析システム及びログ解析方法が提供される。なお、本発明により、当該効果の代わりに、又は当該効果と共に、他の効果が奏されてもよい。 According to each viewpoint of the present invention, there is provided a log analysis system and a log analysis method that enable analysis of log information when a server on a network is accessed from a terminal. In addition, according to the present invention, other effects may be produced in place of or in combination with the effect.
[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。
[First Embodiment]
The first embodiment will be described in more detail with reference to the drawings.
図1は、第1の実施形態に係るログ解析システムの概略構成の一例を示す図である。図1を参照すると、ログ解析システムは、複数の端末10−1〜10−N(Nは正の整数、以下同じ)と、複数のサーバ20−1〜20−M(Mは正の整数、以下同じ)と、VPN(Virtual Private Network)装置30と、解析装置40と、を含んで構成される。
FIG. 1 is a diagram showing an example of a schematic configuration of a log analysis system according to the first embodiment. Referring to FIG. 1, the log analysis system includes a plurality of terminals 10-1 to 10-N (N is a positive integer, the same applies hereinafter) and a plurality of servers 20-1 to 20-M (M is a positive integer, The same applies hereinafter), a VPN (Virtual Private Network)
なお、以降の説明において、端末10−1〜10−Nを区別する特段の理由がない場合には単に「端末10」と表記する。同様に、サーバ20−1〜20−Mを区別する特段の理由がない場合には単に「サーバ20」と表記する。
In the following description, if there is no particular reason for distinguishing terminals 10-1 to 10-N, it is simply referred to as "
端末10は、有線又は無線の通信手段によりネットワークにアクセスする。端末10として、スマートフォン、携帯電話機、ゲーム機、タブレット等の携帯端末装置やコンピュータ(パーソナルコンピュータ、ノートパソコン)等が例示される。
The
サーバ20は、インターネット等のネットワーク上に設置され、電子商取引や情報検索等の各種サービスを提供する。
The
VPN装置30は、端末10とサーバ20間の通信を暗号化しつつ仲介すると共に、端末10とサーバ20間の通信に関するログ(サーバ20へのリクエスト、端末10へのレスポンス)を収集する装置である。
The
VPN装置30は、端末10とサーバ20の間の通信を仲介する通信装置(プロキシサーバ)として動作する。VPN装置30は、端末10からサーバ20に向けて送信されるユーザデータ(パケット)を受信し、当該受信データをその宛先となるサーバ20に転送する。VPN装置30は、サーバ20から上記データの応答を受信すると、受信した応答を端末10に転送する。
The
VPN装置30は、上記データ転送の際に、他の装置(端末10、サーバ20)との通信を暗号化する。具体的には、VPN装置30は、SSL(Secure Sockets Layer)等のプロトコルを用いて端末10、サーバ20それぞれの間の通信を暗号化する。
The
VPN装置30は、端末10とサーバ20の間の通信ログ(アクセスログ)を収集する。その際、VPN装置30は、暗号化された状態のログを収集するのではなく、暗号が復号された状態のログ(平文のログ)を収集する。つまり、VPN装置30は、端末10、サーバ20から暗号化されたデータ(パケット)を受信し、当該暗号化されたデータを復号した後に、復号されたデータをログとして記憶する。
The
VPN装置30は、収集したログを定期的、又は所定のタイミングで解析装置40に送信する。
The
解析装置40は、受信したログ(VPN装置30により収集されたログ)を解析し、その結果(ログ解析結果)を出力する。
The
なお、本願開示では、VPN装置30がログを収集することに同意したユーザのアクセスログを収集することを前提とする。そのため、端末10はVPN装置30を経由してネットワークにアクセスするように設定される。
The disclosure of the present application is based on the premise that the
具体的には、端末10にはパケットの送信先をVPN装置30に設定するような簡単なアプリケーションがインストールされ、当該アプリケーションを動作させることで端末10はVPN装置30に向けてパケットを送信する。このように、端末10のユーザはVPN装置30がアクセスログを収集することに同意しているので、本願開示のログ解析システムではプライバシー等に関する問題は生じない。
Specifically, a simple application for setting a packet transmission destination to the
図2は、第1の実施形態に係るVPN装置30の処理構成(処理モジュール)の一例を示す図である。図2を参照すると、VPN装置30は、通信制御部301と、ログ収集部302と、設定情報取得部303と、を含んで構成される。
FIG. 2 is a diagram showing an example of a processing configuration (processing module) of the
通信制御部301は、他の装置(端末10、サーバ20)との間の通信を制御する手段である。
The
通信制御部301は、自装置と端末10の間の暗号化通信と、自装置とサーバ20の間の暗号化通信と、が異なるようにする。具体的には、通信制御部301は、各装置との間でSSL通信を用いる場合には、端末10との暗号化通信には第1の共通鍵、サーバ20との暗号化通信には第2の共通鍵をそれぞれ用いるようにする。即ち、通信制御部301は、端末10と自装置との間の暗号化通信と、サーバ20と自装置との間の暗号化通信と、をそれぞれ終端する。
The
なお、通信制御部301は、端末10とサーバ20の間の通信を復号し、再暗号するのが原則であるが、端末10とサーバ20の間の通信によっては上記処理を実施すると通信が正常に行えない場合がある。具体的には、上記処理を実施すると、サーバ20又は端末10が正常に応答しない場合がある。そのような場合、通信制御部301は、端末10とサーバ20の間の通信に何らの処理を施さず、そのままパケットを転送する。例えば、通信制御部301は、暗号化されたパケットをサーバ20から受信し、端末10が当該サーバ20からのパケットに応答しない場合には、サーバ20から取得したデータをそのまま端末10に転送する。
In principle, the
このように、VPN装置30は、特定のサーバ20から暗号化されたデータを受信した際、端末10が正常な動作をしない場合には、端末10とサーバ20の間の通信を復号しない。即ち、VPN装置30は、暗号化されていない通信はそのまま記録する。VPN装置30は、暗号化されている通信は、一度「復号」し、平文を記録して(ログを記録して)、再び「暗号化」する。さらに、VPN装置30は、上記処理(復号、再暗号)を行うと正しく通信が行えない場合には、「復号化」せずにスルーする(暗号化されているものをそのまま受信側に送信する)。その結果、特殊な仕様を有するサーバ20と端末10の間の通信もログとして記憶することができる。
As described above, the
通信制御部301は、他の装置から暗号化されたデータを取得すると、当該取得データの暗号を復号する。その後、通信制御部301は、復号したデータ(平文のデータ)をログ収集部302に引き渡す。
When the
ログ収集部302は、端末10とサーバ20の間の通信のログ(アクセスログ)を収集する手段である。ログ収集部302は、通信制御部301から取得したデータを記憶部(図示せず)に格納する。その際、ログ収集部302は、システム管理者等が入力する「ログ収集動作設定情報」に応じたログ収集動作を行う。ログ収集動作設定情報は、VPN装置30がログを収集する際の動作を規定する情報である。
The
設定情報取得部303は、ログ収集動作設定情報を取得(入力)する手段である。例えば、設定情報取得部303は、システム管理者等が上記ログ収集動作設定情報を入力するためのGUI(Graphical User Interface)を生成する(例えば、図3参照)。あるいは、設定情報取得部303は、ログ収集動作設定情報が記載されたファイルを入力してもよいし、ネットワーク上のデータベースサーバ等からログ収集動作設定情報を取得してもよい。
The setting
ログ収集動作設定情報により定めることが可能な動作は多岐にわたる。例えば、ログを収集する際の端末10とサーバ20の間の通信方向に関する設定が可能である。より具体的には、端末10とサーバ20における双方向の通信をログとして残すのか、一方向(上り、下り)だけの通信をログとして残すのかといった設定が可能である。
There are various operations that can be determined by the log collection operation setting information. For example, it is possible to set the communication direction between the terminal 10 and the
例えば、上り方向の通信(端末10からサーバ20に向けた通信)に関するログを残す設定の場合には、ログ収集部302は、端末10から取得したデータ(平文のデータ)だけをログとして記憶部に格納する。
For example, in the case of setting to leave a log related to upstream communication (communication from the terminal 10 to the server 20), the
あるいは、同一のサーバ20(同一のドメイン)へのアクセスは最初のアクセス以外はログとして記憶しないといった設定も可能である。例えば、図1において、端末10−2がサーバ20−1にアクセスした場合を考える。この場合、端末10−2がサーバ20−1に最初にアクセスした際のログは記憶されるが、端末10−2が当該サーバ20−1に続けてアクセスした際のログは記憶されない。 Alternatively, it is possible to set that the access to the same server 20 (same domain) is not stored as a log except for the first access. For example, consider the case where the terminal 10-2 accesses the server 20-1 in FIG. In this case, the log when the terminal 10-2 first accesses the server 20-1 is stored, but the log when the terminal 10-2 subsequently accesses the server 20-1 is not stored.
なお、この場合であっても、端末10−2がサーバ20−1とは異なるサーバ(例えば、サーバ20−2)にアクセスした後、再び、サーバ20−1にアクセスした場合には、当該サーバ20−1に関するログは記憶される。 Even in this case, if the terminal 10-2 accesses a server different from the server 20-1 (for example, the server 20-2) and then accesses the server 20-1 again, the server is the server. The log for 20-1 is stored.
ネットワーク上におけるユーザの行動を大局的に把握するという目的においては、同一のサーバ20(同一のドメイン)にアクセスした際の情報はあまり重要ではない。このような重要ではないデータの記憶を省略することで、VPN装置30や解析装置40が取り扱うログ情報のサイズを削減する。
Information when accessing the same server 20 (same domain) is not very important for the purpose of grasping the user's behavior on the network in a broad sense. By omitting the storage of such unimportant data, the size of the log information handled by the
同一のサーバ20から端末10に向けて送信されるデータに関して、最初のデータ(最初の応答)だけを記憶し、その後に続くログは記憶しないといった設定も可能である。
Regarding the data transmitted from the
ログ収集動作設定情報に「時間」に関する設定が含まれていてもよい。例えば、端末10がサーバ20にアクセスしてから所定の時間が経過した後に、当該端末10とサーバ20の間のアクセスログが記憶されてもよい。
The log collection operation setting information may include a setting related to "time". For example, the access log between the terminal 10 and the
例えば、上記所定の時間に数秒を設定する。ユーザが上記数秒の間で別のサーバ20にアクセスを移したのであれば、ユーザが操作を誤って意図しないサイトにアクセスしたことなどが考えられる。上記時刻の設定を設定情報に含めることで、このようなユーザの意図に反したログを排除できる。その結果、ログのサイズが削減されると共に、解析装置40における解析精度を向上させることができる。
For example, a few seconds are set at the predetermined time. If the user transfers access to another
端末10やサーバ20から取得するデータの内容に応じたログ収集動作がログ収集動作設定情報に含まれてもよい。
The log collection operation setting information may include a log collection operation according to the content of the data acquired from the terminal 10 or the
例えば、端末10からサーバ20に送られるリクエストにリファラが含まれている場合に、ログとして残すと言った設定であってもよい。リファラはリンク元のURL(Uniform Resource Locator)を示す情報であって、ログ解析時に重要な情報となる。従って、リファラを含むリクエスト(アクセスログ)だけを残すことで、ログのサイズを削減できる。
For example, if the request sent from the terminal 10 to the
特定の属性を有するデータをログとして残すといった設定や、特定の属性を有するデータをログとして残さないといった設定も可能である。例えば、取得されたデータが「画像」であれば、当該画像に係るデータをログとして残さない設定が可能である。 It is also possible to set that data having a specific attribute is left as a log, or that data having a specific attribute is not left as a log. For example, if the acquired data is an "image", it is possible to set not to leave the data related to the image as a log.
あるいは、特定の種類の画像に限ってログとして残す設定も可能である。例えば、画像データのうち、特定の対象(例えば、スマートフォン等)に関する画像だけをログとして残すような設定も可能である。 Alternatively, it is possible to set to leave only a specific type of image as a log. For example, it is possible to set to leave only an image related to a specific target (for example, a smartphone or the like) as a log among the image data.
この場合、図4に示すように、上記特定の対象を判別するための学習モデル304を使って取得した画像データがログに残す対象か否かが判定されてもよい。なお、学習モデル304は、画像にラベルが付与された教師データを用いた機械学習により生成される。学習モデル(分類モデル)の生成には、サポートベクタマシン、ブースティングやニューラルネットワーク等の任意のアルゴリズムを用いることができる。なお、上記サポートベクタマシン等のアルゴリズムは公知の技術を使用することができるので、その説明を省略する。
In this case, as shown in FIG. 4, it may be determined whether or not the image data acquired by using the
このように、VPN装置30は、受信データの特性(例えば、受信データが画像ファイル)に応じて受信データをログとして記憶するか否かを定めることができる。さらに、VPN装置30は、受信データが画像データであって、予め定めた対象を含む画像データである場合には当該予め定めた対象を含む画像データをログとして記憶してもよい。
In this way, the
具体的には、ログ収集部302は、取得したデータが画像ファイルか否かをファイル名や拡張子に基づき判断する。ログ収集部302は、取得したデータが「画像」であれば、当該画像データを学習モデル304に入力する。ログ収集部302は、学習モデル304の判定結果(特定の対象、非特定の対象)に応じたログ収集動作を行う。
Specifically, the
例えば、スマートフォンに関する画像データをログとして記憶する設定がなされていれば、ログ収集部302は学習モデル304により「スマートフォン」と判定されたデータを記憶し、「非スマートフォン」と判定されたデータは破棄する。
For example, if the image data related to the smartphone is set to be stored as a log, the
図5は、ログ収集部302が収集したログ情報の一例を示す図である。図5に示すように、ログ収集部302は、ログを取得した日時、ログの送信元、アクセスログを対応付けて記憶する。なお、図5に記載した「備考」はログの内容に関する理解を容易にするためのものであり、実際のログ情報には含まれない。
FIG. 5 is a diagram showing an example of log information collected by the
図5には、上り方向(端末10からサーバ20に向けた通信)のアクセスログに限って記載している。図5には、送信元として端末10の符号が記載されているが、送信元の識別子にはIP(Internet Protocol)アドレス等を用いることができる。 FIG. 5 shows only the access log in the upstream direction (communication from the terminal 10 to the server 20). Although the code of the terminal 10 is shown as the source in FIG. 5, an IP (Internet Protocol) address or the like can be used as the identifier of the source.
図5では、VPN装置30が取得したログを順番に記載(時系列で記載)しているが、アクセスログは端末10ごとに区分されて記憶されてもよい。即ち、VPN装置30は、端末10とサーバ20の間の通信ログを時系列に記憶していきログ情報を生成してもよいし、端末10ごとに区分して通信ログを記憶してログ情報を生成してもよい。
In FIG. 5, the logs acquired by the
図6は、第1の実施形態に係る解析装置40の処理構成(処理モジュール)の一例を示す図である。図6を参照すると、解析装置40は、通信制御部401と、ログ解析部402と、設定情報取得部403と、を含んで構成される。
FIG. 6 is a diagram showing an example of a processing configuration (processing module) of the
通信制御部401は、他の装置(例えば、VPN装置30)との間の通信を制御する手段である。
The
ログ解析部402は、VPN装置30から取得したログ情報を解析する手段である。
The
設定情報取得部403は、ログ解析部402によるログ解析時の動作を定める設定情報(以下、ログ解析動作設定情報と表記する)を取得する手段である。例えば、設定情報取得部403は、システム管理者等がログ解析動作設定情報を入力するためのGUIを生成する(例えば、図7参照)。
The setting
設定情報取得部403は、当該GUIにより設定された情報をログ解析部402に引き渡す。
The setting
ログ解析部402は、ログ解析動作設定情報に応じたログ解析を実行し、その結果を出力する。
The
ログ解析動作設定情報には、どのようなログ解析を実行するかに関する情報が含まれる。 The log analysis operation setting information includes information on what kind of log analysis is to be executed.
例えば、ログ解析部402は、システム管理者から指定されたサイトを基準とし当該サイトへのアクセスに関する入出力を解析する。当該解析の指示がログ解析動作設定情報に含まれていた場合には、ログ解析部402は、図8に示すようなログ解析結果を出力する。
For example, the
図8を参照すると、システム管理者は、アクセスフローの基準となるサイト(あるいは、ネットワークドメイン)を指定する。この場合、ログ解析部402は、VPN装置30から取得したログ情報のなかから上記基準サイトを探索する。その後、ログ解析部402は、当該探索した基準サイトの直前にアクセスされたサイトと基準サイトの直後にアクセスされたサイトをそれぞれ抽出し、サイトごとのその人数(端末数)を計数する。
With reference to FIG. 8, the system administrator specifies a site (or network domain) as a reference for the access flow. In this case, the
ログ解析部402は、上記結果(サイトごとのアクセス人数)を含むログ解析結果を表示する。図8の例では、基準サイトを中心に当該サイトへのアクセスフロー(基準サイトへの入出力)が生成され、人数の多可がフローの向きを示す矢印の太さにより表現されている。
The
図8を参照すると、基準サイトへのアクセスはサイトAよりもサイトBからの方が多く、基準サイトから他のサイトに移る場合には、サイトCの方がサイトDよりも多いことが分かる。このように、解析装置40は、VPN装置30により収集されたログに基づき、特定のサイトを基準とするアクセスフローを生成してもよい。
With reference to FIG. 8, it can be seen that the access to the reference site is more from site B than from site A, and when moving from the reference site to another site, site C is more than site D. In this way, the
図8の例では、基準サイトを中心に1段の入出力をログ解析結果としているが、ユーザが当該段数を指定してもよい。例えば、アクセスフローを生成する際の段数を「2段」とすると、図9に示すようなログ解析結果が得られる。 In the example of FIG. 8, the input / output of one stage centering on the reference site is used as the log analysis result, but the user may specify the number of stages. For example, assuming that the number of stages when generating the access flow is "2 stages", the log analysis result as shown in FIG. 9 can be obtained.
図8や図9に示すようなログ解析結果に接したシステム管理者等は、ネットワーク上におけるユーザの行動を把握することができる。 A system administrator or the like who comes into contact with the log analysis results as shown in FIGS. 8 and 9 can grasp the user's behavior on the network.
なお、リファラを使用すれば、自社サイトに到達する経路を企業等は把握できる。例えば、図8の例では、基準サイトを運営する企業等は、サイトAやサイトBからのアクセスを把握することができる。しかし、ユーザが基準サイトを離れどのようなサイトに遷移するかに関しては、企業等は把握することができない。 By using the referrer, companies can grasp the route to reach their own site. For example, in the example of FIG. 8, the company or the like that operates the reference site can grasp the access from the site A or the site B. However, companies and the like cannot grasp what kind of site the user will transition to after leaving the reference site.
一方、第1の実施形態に係る解析装置40は、基準サイトからの出力(遷移先)も上記企業等に提供することができるため、基準サイトを運営する企業等に対して有益な情報を提供できる。図8の例では、基準サイトを運営する企業等は、サイトCへの広告を増やすといったような対応が可能となる。
On the other hand, since the
ログ解析部402は、サイトを予め複数の種類にカテゴライズし、カテゴライズされた種類ごとのアクセス状況を解析してもよい。例えば、ログ解析部402は、図10に示すようなログ解析を行ってもよい。
The
具体的には、ログ解析部402は、VPN装置30から取得するログ情報に含まれ得るサイトを予め定めた種類(ジャンル)に分類する。例えば、図10を参照すると、ログ情報に含まれるサイトは「ポータルサイト」、「ニュースサイト」、「ECサイト」に分類される。
Specifically, the
ログ解析部402は、ログ情報に含まれる各サイトを上記ジャンルのいずれかに分類し、時間帯ごとにアクセスの回数を計数する。図10の例では、20:00の時間帯にEC(Electronic Commerce)サイトへのアクセスが急増することがわかる。
The
続いて、図面を参照しつつ、第1の実施形態に係るログ解析システムの動作について説明する。図11は、第1の実施形態に係るログ解析システムの動作の一例を示すシーケンス図である。 Subsequently, the operation of the log analysis system according to the first embodiment will be described with reference to the drawings. FIG. 11 is a sequence diagram showing an example of the operation of the log analysis system according to the first embodiment.
VPN装置30は、端末10とサーバ20の間の通信を中継する(ステップS01)。
The
VPN装置30は、端末10及びサーバ20間の通信ログ(アクセスログ)を収集する(ステップS02)。
The
VPN装置30は、上記収集したログを定期的、又は所定のタイミングで解析装置40に送信する(ステップS03)。
The
解析装置40は、取得したログ情報を解析する(ステップS04)。
The
続いて、ログ解析システムを構成する各装置のハードウェアについて説明する。図12は、VPN装置30のハードウェア構成の一例を示す図である。
Next, the hardware of each device constituting the log analysis system will be described. FIG. 12 is a diagram showing an example of the hardware configuration of the
VPN装置30は、情報処理装置(所謂、コンピュータ)により構成可能であり、図12に例示する構成を備える。例えば、VPN装置30は、プロセッサ311、メモリ312、入出力インターフェイス313及び通信インターフェイス314等を備える。上記プロセッサ311等の構成要素は内部バス等により接続され、相互に通信可能に構成されている。
The
但し、図12に示す構成は、VPN装置30のハードウェア構成を限定する趣旨ではない。VPN装置30は、図示しないハードウェアを含んでもよいし、必要に応じて入出力インターフェイス313を備えていなくともよい。また、VPN装置30に含まれるプロセッサ311等の数も図12の例示に限定する趣旨ではなく、例えば、複数のプロセッサ311がVPN装置30に含まれていてもよい。
However, the configuration shown in FIG. 12 is not intended to limit the hardware configuration of the
プロセッサ311は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)等のプログラマブルなデバイスである。あるいは、プロセッサ311は、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等のデバイスであってもよい。プロセッサ311は、オペレーティングシステム(OS;Operating System)を含む各種プログラムを実行する。
The
メモリ312は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等である。メモリ312は、OSプログラム、アプリケーションプログラム、各種データを格納する。
The
入出力インターフェイス313は、図示しない表示装置や入力装置のインターフェイスである。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボードやマウス等のユーザ操作を受け付ける装置である。
The input /
通信インターフェイス314は、他の装置と通信を行う回路、モジュール等である。例えば、通信インターフェイス314は、NIC(Network Interface Card)等を備える。
The
VPN装置30の機能は、各種処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ312に格納されたプログラムをプロセッサ311が実行することで実現される。また、当該プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transitory)なものとすることができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。また、上記プログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。
The function of the
なお、解析装置40もVPN装置30と同様に情報処理装置により構成可能であり、その基本的なハードウェア構成はVPN装置30と相違する点はないので説明を省略する。
The
以上のように、第1の実施形態に係るログ収集システムは、端末10とサーバ20の間の通信に関するログをVPN装置30が収集する。VPN装置30は、端末10やサーバ20と行う暗号化通信を終端するため、これらの装置から受信したデータを復号し平文のデータ(アクセスログ)を収集することができる。解析装置40は、当該VPN装置30により収集されたデータを解析する。その結果、端末10からネットワーク上のサーバ20にアクセスした際のログ情報の解析を可能とするログ解析システムが実現できる。
As described above, in the log collection system according to the first embodiment, the
[変形例]
なお、上記実施形態にて説明したログ解析システムの構成、動作等は例示であって、システムの構成等を限定する趣旨ではない。
[Modification example]
The configuration, operation, and the like of the log analysis system described in the above embodiment are examples, and are not intended to limit the system configuration and the like.
例えば、VPN装置30の一部機能が解析装置40に含まれていてもよいし、その逆であってもよい。例えば、VPN装置30の設定情報取得機能が解析装置40に含まれていてもよい。この場合、解析装置40が、ログ収集動作設定情報とログ解析動作設定情報の2つを入力し、ログ収集動作設定情報をVPN装置30に送信してもよい。
For example, a part of the functions of the
あるいは、解析装置40が、ログ解析動作設定情報に基づきログ収集動作設定情報を生成し、当該生成されたログ収集動作設定情報をVPN装置30に送信してもよい。即ち、解析装置40は、要求されたログ解析動作に適したログ情報を収集するようにVPN装置30に指示をしてもよい。例えば、解析装置40は、図8や図9に示すようなアクセスフローの生成を行う場合(当該フローの生成がログ解析動作設定情報に含まれる場合)、端末10からサーバ20へのアクセスに限り記憶するようなログ収集動作設定情報を生成し、VPN装置30に設定してもよい。
Alternatively, the
また、VPN装置30では端末10からアクセスするユーザ又は端末を識別可能となっており、そのユーザID又は端末IDを紐づけてログを保持しており、VPN装置30又は解析装置40ではユーザIDで特定されるユーザの個人属性または端末IDで特定される端末を使用するユーザの個人属性を保持し、個人属性とは例えば性別、年齢、住所エリア、職業等であり、ログとこれらの個人属性を結合(SQL上のJOINなど)することで、個人属性別の分析が可能となる。具体的には、男性のみのログを特定して分析することが可能となる。
Further, the
さらに、VPN装置30では端末10のどのアプリケーション(ブラウザ、各種SNSアプリなど)からのリクエストで外部にアクセスしているかも識別可能であり、アプリケーション名、アプリケーションID、アプリケーション種別も含めてログとして保持することも可能であり、このようなログを分析することでアプリケーション別の分析も可能となる。
Further, the
さらに、解析装置40は、VPN装置30から取得したログ情報に加え、他のデータ(例えば、ユーザによるアンケートデータ、ID−POS(ID付きのPOSデータ)、VPN装置30とは異なる手段から取得したアクセスログ、各企業は保有するユーザ情報)を取得、保持し、ログ情報と当該他のデータを対応付けてログ情報の分析等を行ってもよい。
Further, in addition to the log information acquired from the
さらに、VPN装置30や解析装置40は、取得したアクセスログに含まれるURLに対してWEBクローリングを行い、上記アクセスログに含まれるURLのコンテンツの種別、種類(どのようなコンテンツのWEBページ)を把握して保持してもよい。当該WEBクローリングにより収集された情報は、ログ解析に活用されてもよい。
Further, the
さらに、VPN装置30や解析装置40は、取得したアクセスログのURLのドメインに基づき、当該ドメインの所有企業やサービスを特定し、保持してもよい。解析装置40は、当該情報をログ解析に活用してもよい。なお、ドメインの所有企業等の特定は、Whois検索等により可能である。
Further, the
以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。 Although the embodiments of the present invention have been described above, the present invention is not limited to these embodiments. It will be appreciated by those skilled in the art that these embodiments are merely exemplary and that various modifications are possible without departing from the scope and spirit of the invention.
10、10−1〜10−N 端末
20、20−1〜20−M サーバ
30 VPN装置
40 解析装置
301、401 通信制御部
302 ログ収集部
303、403 設定情報取得部
304 学習モデル
311 プロセッサ
312 メモリ
313 入出力インターフェイス
314 通信インターフェイス
402 ログ解析部
10, 10-1 to 10-N terminal
20, 20-1 to 20-
Claims (10)
前記収集されたログを解析する、解析装置と、
を含む、ログ解析システム。 A VPN (Virtual Private Network) device that mediates communication between a terminal and a server while encrypting it, and collects logs related to communication between the terminal and the server.
An analyzer that analyzes the collected logs,
A log analysis system, including.
前記解析装置は、前記ログを解析する際の動作を定めたログ解析動作設定情報に基づき前記収集されたログを解析する、請求項1乃至7のいずれか一項に記載のログ解析システム。 The VPN device collects logs based on the log collection operation setting information that defines the operation when collecting the logs.
The log analysis system according to any one of claims 1 to 7, wherein the analysis device analyzes the collected logs based on log analysis operation setting information that defines an operation when analyzing the logs.
前記収集されたログを解析するステップと、
を含むログ解析方法。
A step of collecting logs related to the communication between the terminal and the server while encrypting and mediating the communication between the terminal and the server.
The steps to analyze the collected logs and
Log analysis method including.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019103848A JP7300317B2 (en) | 2019-06-03 | 2019-06-03 | Log analysis system and log analysis method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019103848A JP7300317B2 (en) | 2019-06-03 | 2019-06-03 | Log analysis system and log analysis method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020197929A true JP2020197929A (en) | 2020-12-10 |
JP7300317B2 JP7300317B2 (en) | 2023-06-29 |
Family
ID=73648008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019103848A Active JP7300317B2 (en) | 2019-06-03 | 2019-06-03 | Log analysis system and log analysis method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7300317B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230216935A1 (en) * | 2021-12-30 | 2023-07-06 | The Nielsen Company (Us), Llc | Methods and apparatus to identify main page views |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004297749A (en) * | 2003-03-27 | 2004-10-21 | Tsg Kk | Vpn device |
JP2006352834A (en) * | 2005-05-20 | 2006-12-28 | Hitachi Ltd | System and method for encrypted communication |
JP2011123524A (en) * | 2009-12-08 | 2011-06-23 | Yahoo Japan Corp | Advertisement control device and method |
JP2016143320A (en) * | 2015-02-04 | 2016-08-08 | 富士通株式会社 | Log monitoring method, log monitor, log monitoring system, and log monitoring program |
-
2019
- 2019-06-03 JP JP2019103848A patent/JP7300317B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004297749A (en) * | 2003-03-27 | 2004-10-21 | Tsg Kk | Vpn device |
JP2006352834A (en) * | 2005-05-20 | 2006-12-28 | Hitachi Ltd | System and method for encrypted communication |
JP2011123524A (en) * | 2009-12-08 | 2011-06-23 | Yahoo Japan Corp | Advertisement control device and method |
JP2016143320A (en) * | 2015-02-04 | 2016-08-08 | 富士通株式会社 | Log monitoring method, log monitor, log monitoring system, and log monitoring program |
Non-Patent Citations (1)
Title |
---|
小川 卓, 「やりたいこと」からパッと引ける GOOGLEアナリティクス分析・改善のすべてがわかる本, vol. 第1版, JPN6023004895, 31 August 2017 (2017-08-31), JP, pages 221 - 222, ISSN: 0004988270 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230216935A1 (en) * | 2021-12-30 | 2023-07-06 | The Nielsen Company (Us), Llc | Methods and apparatus to identify main page views |
Also Published As
Publication number | Publication date |
---|---|
JP7300317B2 (en) | 2023-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109891424B (en) | Establishing links between identifiers without revealing specific identifying information | |
US10574686B2 (en) | Security verification by message interception and modification | |
US6983379B1 (en) | Method and system for monitoring online behavior at a remote site and creating online behavior profiles | |
EP2901653B1 (en) | Systems and methods for audience measurement | |
US10885466B2 (en) | Method for performing user profiling from encrypted network traffic flows | |
Gonzalez et al. | User profiling in the time of https | |
US20160048868A1 (en) | Systems and methods for obfuscated audience measurement | |
US11093565B2 (en) | Methods and systems for identifying multiple devices belonging to a single user by merging deterministic and probabilistic data to generate a cross device data structure | |
US20200162537A1 (en) | Passive re-assembly of http2 fragmented segments | |
US20230351052A1 (en) | Data integrity | |
Ren et al. | App identification based on encrypted multi-smartphone sources traffic fingerprints | |
JP7300317B2 (en) | Log analysis system and log analysis method | |
US10891648B1 (en) | Systems and methods for tracking the flow of user information over a network | |
Alan et al. | Client diversity factor in HTTPS webpage fingerprinting | |
US10855513B2 (en) | Information pushing method, device and computer readable storage medium | |
Erquiaga et al. | Observer effect: How Intercepting HTTPS traffic forces malware to change their behavior | |
JP6007149B2 (en) | Web browsing history acquisition apparatus, method, and program | |
CN113783835B (en) | Password sharing method, device, equipment and storage medium | |
US20230105375A1 (en) | Scalable messaging framework for providing machine learning services across multiple availability zones | |
Sanders | Techniques for the analysis of modern web page traffic using anonymized tcp/ip headers | |
CN114666315A (en) | HTTP request processing method and device of load balancing equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220412 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7300317 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |