JP2018064230A - Generation device, generation method, and generation program - Google Patents

Generation device, generation method, and generation program Download PDF

Info

Publication number
JP2018064230A
JP2018064230A JP2016202572A JP2016202572A JP2018064230A JP 2018064230 A JP2018064230 A JP 2018064230A JP 2016202572 A JP2016202572 A JP 2016202572A JP 2016202572 A JP2016202572 A JP 2016202572A JP 2018064230 A JP2018064230 A JP 2018064230A
Authority
JP
Japan
Prior art keywords
log
logs
generation
appearance
processing content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016202572A
Other languages
Japanese (ja)
Other versions
JP6644665B2 (en
Inventor
亮太 水谷
Ryota Mizutani
亮太 水谷
健 臼井
Takeshi Usui
健 臼井
佳憲 北辻
Yoshinori Kitatsuji
佳憲 北辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2016202572A priority Critical patent/JP6644665B2/en
Publication of JP2018064230A publication Critical patent/JP2018064230A/en
Application granted granted Critical
Publication of JP6644665B2 publication Critical patent/JP6644665B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

PROBLEM TO BE SOLVED: To generate a work flow even if an ID associated with a normal process is not included in a log.SOLUTION: A generation device 1 includes: a log acquisition unit 121 for acquiring logs generated by a plurality of communication apparatuses included in a communication network N if a prescribed process to use the communication network N completed normally a plurality of times; an identifying unit 122 for identifying frequencies of occurrence order of a plurality of logs corresponding to a plurality of respective processes on the basis of generation time of the logs; and a generation unit 123 for generating a work flow indicating occurrence order of logs when the prescribed process has completed normally on the basis of the identified frequencies of occurrence order.SELECTED DRAWING: Figure 1

Description

本発明は、ワークフローを生成する生成装置、生成方法、及び生成プログラムに関する。   The present invention relates to a generation device, a generation method, and a generation program for generating a workflow.

従来、通信ネットワークに係るログに基づいて、正常な処理に対応して複数の通信機器が出力するログの出力順序を示すワークフローを作成することが行われている。例えば、非特許文献1には、正常な処理に紐づくIDが複数のログに含まれていることを前提とし、正常な処理によって生成されるログに基づいて、システムの通常の実行動作を表すワークフローを生成する方法が開示されている。このように、正常な処理に対応するログのワークフローを作成し、当該ワークフローに示す順序でログが出力されたか否かをモニタリングすることにより、通信ネットワーク上で異常が発生したことを早期に検出することができる。   Conventionally, based on a log related to a communication network, a workflow indicating an output order of logs output by a plurality of communication devices corresponding to normal processing has been created. For example, Non-Patent Document 1 represents a normal execution operation of a system based on a log generated by normal processing on the assumption that an ID associated with normal processing is included in a plurality of logs. A method for generating a workflow is disclosed. In this way, by creating a log workflow corresponding to normal processing and monitoring whether or not logs are output in the order shown in the workflow, it is detected early that an abnormality has occurred on the communication network. be able to.

Qiang Fu, Jian-Guang Lou, Yi Wang, Jiang Li, “Execution Anomaly Detection in Distributed Systems through Unstructured Log Analysis” [online]、平成21年12月9日、Microsoft(登録商標)、[平成28年9月15日検索]、インターネット〈URL:https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/DM790-CR.pdf〉Qiang Fu, Jian-Guang Lou, Yi Wang, Jiang Li, “Execution Anomaly Detection in Distributed Systems through Unstructured Log Analysis” [online], December 9, 2009, Microsoft (registered trademark), [September 2016 15th search], Internet <URL: https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/DM790-CR.pdf>

しかしながら、非特許文献1に示す方法では、正常な処理に紐づくIDがログに含まれていない場合、ワークフローを生成することができないという問題がある。このような問題に対して、正常な処理に対応するログを手動で特定し、手動でワークフローを作成することが考えられる。しかしながら、通信機器が出力する複数のログには、正常な処理に対応するログと、定常的に行われる処理等に対応するログとが混在しているため、正常な処理に対応するログのみを手動で抽出することが困難であるという問題がある。   However, the method shown in Non-Patent Document 1 has a problem that a workflow cannot be generated if an ID associated with normal processing is not included in the log. For such a problem, it is conceivable to manually specify a log corresponding to normal processing and manually create a workflow. However, since the logs corresponding to normal processing and logs corresponding to routine processing etc. are mixed in the multiple logs output by the communication device, only logs corresponding to normal processing are included. There is a problem that it is difficult to extract manually.

そこで、本発明はこれらの点に鑑みてなされたものであり、正常な処理に紐づくIDがログに含まれていない場合であっても複数のログからワークフローを生成することができる生成装置、生成方法、及び生成プログラムを提供することを目的とする。   Therefore, the present invention has been made in view of these points, and a generation device capable of generating a workflow from a plurality of logs even when an ID associated with normal processing is not included in the log, It is an object to provide a generation method and a generation program.

本発明の第1の態様に係る生成装置は、通信ネットワークを利用する所定処理が複数回正常に完了した場合に、前記通信ネットワークを構成する複数の通信機器のそれぞれが生成したログを取得するログ取得部と、前記ログの生成時間に基づいて、複数の処理のそれぞれに対応する複数のログの出現順序の頻度を特定する特定部と、特定された前記出現順序の頻度に基づいて、前記所定処理が正常に完了したときの前記ログの出現順序を示すワークフローを生成する生成部と、を備える。   The generation apparatus according to the first aspect of the present invention provides a log for acquiring logs generated by each of a plurality of communication devices constituting the communication network when a predetermined process using the communication network is normally completed a plurality of times. An acquisition unit; a specifying unit that specifies a frequency of appearance order of a plurality of logs corresponding to each of a plurality of processes based on a generation time of the log; and a predetermined unit based on the frequency of the specified appearance order And a generation unit that generates a workflow indicating the order of appearance of the logs when the processing is normally completed.

前記特定部は、同一の処理内容を示すログごとに、当該ログの後に出力された付随ログを、前記付随ログの処理内容ごとに集計し、当該ログの後に出現する前記付随ログの出現確率を前記付随ログの処理内容ごとに算出することにより、前記出現順序の頻度を特定してもよい。   For each log indicating the same processing content, the specifying unit aggregates the accompanying log output after the log for each processing content of the accompanying log, and determines the appearance probability of the accompanying log that appears after the log. The frequency of the appearance order may be specified by calculating for each processing content of the accompanying log.

前記特定部は、同一の処理内容を示すログごとに、当該ログの前に出力された付随ログを、前記付随ログの処理内容ごとに集計し、当該ログの前に出現する前記付随ログの出現確率を前記付随ログの処理内容ごとに算出することにより、前記出現順序の頻度を特定してもよい。   For each log indicating the same processing content, the specifying unit aggregates the accompanying log output before the log for each processing content of the accompanying log, and the appearance of the accompanying log that appears before the log The frequency of the appearance order may be specified by calculating the probability for each processing content of the accompanying log.

前記特定部は、前記同一の処理内容を示すログごとに、当該ログの生成時間から所定範囲内の時間に生成された前記付随ログを、前記付随ログの処理内容ごとに集計してもよい。
前記特定部は、前記ログ取得部が取得した複数のログのそれぞれから、ログの生成タイミングに応じて変化する情報を除去することにより、前記ログの処理内容を示す情報を特定してもよい。
For each log indicating the same processing content, the specifying unit may count the accompanying log generated at a time within a predetermined range from the generation time of the log for each processing content of the accompanying log.
The specifying unit may specify information indicating the processing content of the log by removing information that changes according to a log generation timing from each of the plurality of logs acquired by the log acquiring unit.

前記特定部は、前記ログに含まれる文字列の類似度を算出し、当該類似度が所定値以上のログを同一の処理内容のログとしてもよい。
前記生成部は、特定された前記出現順序の頻度に基づいて、前記所定処理を実行したときの前記ログの出現順序を示すワークフローを1以上生成してもよい。
The specifying unit may calculate the similarity of the character strings included in the log, and a log having the similarity equal to or higher than a predetermined value may be a log having the same processing content.
The generation unit may generate one or more workflows indicating the appearance order of the logs when the predetermined process is executed based on the identified appearance order frequency.

本発明の第2の態様に係る生成方法は、コンピュータが実行する、通信ネットワークを利用する所定処理が複数回正常に完了した場合に、前記通信ネットワークを構成する複数の通信機器のそれぞれが生成したログを取得するステップと、前記ログの生成時間に基づいて、複数の処理のそれぞれに対応する複数のログの出現順序の頻度を特定するステップと、特定された前記出現順序の頻度に基づいて、前記所定処理が正常に完了したときの前記ログの出現順序を示すワークフローを生成するステップと、を備える。   The generation method according to the second aspect of the present invention is generated by each of a plurality of communication devices constituting the communication network when a predetermined process using the communication network executed by a computer is normally completed a plurality of times. Acquiring a log, identifying a frequency of appearance order of a plurality of logs corresponding to each of a plurality of processes based on a generation time of the log, and based on a frequency of the identified appearance order, Generating a workflow indicating the appearance order of the logs when the predetermined processing is normally completed.

本発明の第3の態様に係る生成プログラムは、コンピュータを、通信ネットワークを利用する所定処理が複数回正常に完了した場合に、前記通信ネットワークを構成する複数の通信機器のそれぞれが生成したログを取得するログ取得部、前記ログの生成時間に基づいて、複数の処理のそれぞれに対応する複数のログの出現順序の頻度を特定する特定部、及び、特定された前記出現順序の頻度に基づいて、前記所定処理が正常に完了したときの前記ログの出現順序を示すワークフローを生成する生成部、として機能させる。   The generation program according to the third aspect of the present invention is a program for generating a log generated by each of a plurality of communication devices constituting the communication network when a predetermined process using the communication network is normally completed a plurality of times. Based on the log acquisition unit to be acquired, the specifying unit that specifies the frequency of appearance order of a plurality of logs corresponding to each of a plurality of processes based on the generation time of the log, and the frequency of the specified appearance order , And function as a generation unit that generates a workflow indicating the order of appearance of the logs when the predetermined processing is normally completed.

本発明によれば、正常な処理に紐づくIDがログに含まれていない場合であっても複数のログからワークフローを生成することができるという効果を奏する。   According to the present invention, there is an effect that a workflow can be generated from a plurality of logs even when an ID associated with normal processing is not included in the log.

本実施形態に係る生成装置の概要を示す図である。It is a figure which shows the outline | summary of the production | generation apparatus which concerns on this embodiment. 本実施形態に係る生成装置の構成を示す図である。It is a figure which shows the structure of the production | generation apparatus which concerns on this embodiment. 本実施形態に係る特定部が複数のログを分類する例を示す図である。It is a figure which shows the example which the specific part which concerns on this embodiment classifies a some log. 本実施形態に係る選択されたログに付随ログを関連付けた例を示す図である。It is a figure which shows the example which linked | related the accompanying log with the selected log which concerns on this embodiment. 本実施形態に係る付随ログのそれぞれの出現確率の算出例を示す図である。It is a figure which shows the example of calculation of each appearance probability of the accompanying log which concerns on this embodiment. 本実施形態に係る有向グラフの例を示す図である。It is a figure which shows the example of the directed graph which concerns on this embodiment. 本実施形態に係るワークフローの生成に係る生成装置の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process of the production | generation apparatus which concerns on the production | generation of the workflow which concerns on this embodiment.

[生成装置1の概要]
図1は、本実施形態に係る生成装置1の概要を示す図である。生成装置1は、通信ネットワークNを利用する所定処理を実行したときの、通信ネットワークNを構成する複数の通信機器4のそれぞれが生成したログの出現順序を示すワークフローを生成するコンピュータである。ここで、通信ネットワークNは、例えば、通信事業者が構築したネットワークであり、基地局や中継器等の複数の通信機器4によって構成されているものとする。ここで、複数の通信機器4のそれぞれは時計を備えており、当該時計は同期しているものとする。
[Outline of Generation Device 1]
FIG. 1 is a diagram illustrating an overview of a generation apparatus 1 according to the present embodiment. The generation device 1 is a computer that generates a workflow indicating the order of appearance of logs generated by each of the plurality of communication devices 4 configuring the communication network N when a predetermined process using the communication network N is executed. Here, the communication network N is, for example, a network constructed by a communication carrier, and is configured by a plurality of communication devices 4 such as base stations and repeaters. Here, it is assumed that each of the plurality of communication devices 4 includes a clock and the clock is synchronized.

生成装置1においてワークフローを生成するにあたり、まず、生成装置1のユーザは、端末等の所定装置2において、所定処理を複数回実行させる(図1の(1))。所定処理は、例えば、所定装置2とサーバ3との間で実行される、通信ネットワークNを利用する処理であり、例えば、仮想サーバの構築処理である。   In generating a workflow in the generation device 1, first, the user of the generation device 1 causes the predetermined device 2 such as a terminal to execute predetermined processing a plurality of times ((1) in FIG. 1). The predetermined process is a process that uses the communication network N and is executed between the predetermined device 2 and the server 3, for example, a virtual server construction process.

生成装置1は、複数回実行された所定処理が正常に完了した場合に、通信ネットワークNを構成する複数の通信機器4が生成したログを取得する(図1の(2))。生成装置1は、取得したログの生成時間に基づいて、複数の処理のそれぞれに対応する複数のログの出現順序の頻度を特定する(図1の(3))。生成装置1は、特定した出現順序の頻度に基づいて、所定処理が正常に完了したときのログの出現順序を示すワークフローを生成する(図1の(4))。   The generation device 1 acquires logs generated by a plurality of communication devices 4 configuring the communication network N when a predetermined process executed a plurality of times is normally completed ((2) in FIG. 1). The generation device 1 specifies the frequency of the appearance order of a plurality of logs corresponding to each of the plurality of processes based on the acquired log generation time ((3) in FIG. 1). The generation device 1 generates a workflow indicating the order of appearance of logs when the predetermined process is normally completed based on the frequency of the specified appearance order ((4) in FIG. 1).

このように、生成装置1は、同一の処理内容を示すログごとの出現順序の頻度に基づいてワークフローを生成するので、正常な処理に紐づくIDがログに含まれていない場合であっても複数のログからワークフローを生成することができる。
以下、生成装置1の構成について説明する。
In this way, the generation device 1 generates a workflow based on the frequency of appearance order for each log indicating the same processing content, so even if the ID associated with normal processing is not included in the log Workflows can be generated from multiple logs.
Hereinafter, the structure of the production | generation apparatus 1 is demonstrated.

[生成装置1の構成例]
図2は、本実施形態に係る生成装置1の構成を示す図である。
生成装置1は、記憶部11と、制御部12とを備える。
[Configuration Example of Generating Device 1]
FIG. 2 is a diagram illustrating a configuration of the generation apparatus 1 according to the present embodiment.
The generation device 1 includes a storage unit 11 and a control unit 12.

記憶部11は、例えば、ROM及びRAM等である。記憶部11は、生成装置1を機能させるための各種プログラムを記憶する。例えば、記憶部11は、生成装置1の制御部12を、後述するログ取得部121、特定部122、生成部123、及び出力部124として機能させるワークフロー生成プログラムを記憶する。また、記憶部11は、複数の通信機器4が生成したログを記憶する。   The storage unit 11 is, for example, a ROM and a RAM. The storage unit 11 stores various programs for causing the generation device 1 to function. For example, the storage unit 11 stores a workflow generation program that causes the control unit 12 of the generation apparatus 1 to function as a log acquisition unit 121, a specification unit 122, a generation unit 123, and an output unit 124 described later. In addition, the storage unit 11 stores logs generated by the plurality of communication devices 4.

制御部12は、例えばCPUである。制御部12は、記憶部11に記憶されている各種プログラムを実行することにより、生成装置1に係る機能を制御する。制御部12は、ワークフロー生成プログラムを実行することにより、ログ取得部121、特定部122、生成部123、及び出力部124として機能する。   The control unit 12 is a CPU, for example. The control unit 12 controls functions related to the generation device 1 by executing various programs stored in the storage unit 11. The control unit 12 functions as a log acquisition unit 121, a specification unit 122, a generation unit 123, and an output unit 124 by executing a workflow generation program.

ログ取得部121は、通信ネットワークNを利用する所定処理が複数回正常に完了した場合に、通信ネットワークNを構成する複数の通信機器4のそれぞれが生成したログを取得する。具体的には、ログ取得部121は、所定装置2において所定処理を複数回実行させて当該所定処理が正常に完了した場合に、複数の通信機器4のそれぞれにアクセスし、複数の通信機器4のそれぞれが生成したログを取得する。ログ取得部121は、取得したログを記憶部11に記憶させる。ここで、ログには、ログが生成された時刻等の、ログの生成タイミングに応じて変化する情報や、処理内容を示す情報が含まれているものとする。   The log acquisition unit 121 acquires a log generated by each of the plurality of communication devices 4 configuring the communication network N when the predetermined process using the communication network N is normally completed a plurality of times. Specifically, the log acquisition unit 121 accesses each of the plurality of communication devices 4 when the predetermined processing is executed normally in the predetermined device 2 and the predetermined processing is normally completed, and the plurality of communication devices 4 are accessed. Get logs generated by each of. The log acquisition unit 121 stores the acquired log in the storage unit 11. Here, it is assumed that the log includes information that changes according to the log generation timing, such as the time when the log was generated, and information indicating the processing content.

なお、所定装置2において実行される所定処理に応じて動作する複数の通信機器4を特定しておき、ログ取得部121が、特定された複数の通信機器4において生成されたログを取得するようにしてもよい。このようにすることで、生成装置1は、所定処理と明らかに関係がないログを取得しないようにして、生成装置1の処理負荷を軽減することができる。   A plurality of communication devices 4 that operate according to a predetermined process executed in the predetermined device 2 are specified, and the log acquisition unit 121 acquires logs generated in the specified plurality of communication devices 4. It may be. By doing in this way, the production | generation apparatus 1 can reduce the processing load of the production | generation apparatus 1 by not acquiring the log which is not clearly related to a predetermined process.

また、通信ネットワークNをインターネット等と接続しないローカルネットワークとしておき、ログ取得部121は、ローカルネットワークにおいて複数の通信機器4のそれぞれが生成したログを取得してもよい。このようにすることで、通信機器4は、インターネット等を介して接続される外部機器との通信を行わないので、生成装置1は、当該通信に係るログを取得しないようにすることができる。   Alternatively, the communication network N may be a local network that is not connected to the Internet or the like, and the log acquisition unit 121 may acquire logs generated by each of the plurality of communication devices 4 in the local network. By doing in this way, since the communication apparatus 4 does not communicate with the external apparatus connected via the internet etc., the production | generation apparatus 1 can make it not acquire the log which concerns on the said communication.

特定部122は、ログの生成時間に基づいて、複数の処理のそれぞれに対応する複数のログの出現順序の頻度を特定する。これにより、特定部122は、相対的に出現順序の頻度が高いログの順序、すなわち、所定処理が実行されたことに応じて出力されるログの順序を特定することができる。   The specifying unit 122 specifies the frequency of the appearance order of the plurality of logs corresponding to each of the plurality of processes based on the log generation time. Thereby, the specifying unit 122 can specify the order of logs having a relatively high frequency of appearance order, that is, the order of logs output in response to the execution of the predetermined process.

まず、特定部122は、ログ取得部121が取得した複数のログのそれぞれから処理内容を示す情報を特定する。具体的には、特定部122は、ログ取得部121が取得した複数のログのそれぞれから、ログの生成タイミングに応じて変化する情報を除去することにより、複数のログのそれぞれの処理内容を示す情報を特定する。続いて、特定部122は、処理内容を示す情報に基づいてログを分類する。   First, the specifying unit 122 specifies information indicating the processing content from each of the plurality of logs acquired by the log acquiring unit 121. Specifically, the specifying unit 122 indicates each processing content of the plurality of logs by removing information that changes according to the log generation timing from each of the plurality of logs acquired by the log acquisition unit 121. Identify information. Subsequently, the specifying unit 122 classifies the log based on information indicating the processing content.

図3は、本実施形態に係る特定部122が複数のログを分類する例を示す図である。例えば、ログA1を構成する文字列と、ログA2を構成する文字列とは、ログの生成タイミングに応じて変化する情報と、処理内容を示す情報とを少なくとも含んでおり、ログA1とログA2とは完全一致していない。これに対して、特定部122は、ログから、ログの生成タイミングに応じて変化する情報を除去し、その後、ログA1とログA2との双方に共通している文字列を、処理内容を示す情報と特定する。そして、特定部122は、ログA1とログA2とを、ログAと分類する。   FIG. 3 is a diagram illustrating an example in which the specifying unit 122 according to the present embodiment classifies a plurality of logs. For example, the character string that configures the log A1 and the character string that configures the log A2 include at least information that changes according to the log generation timing and information that indicates the processing content. The log A1 and the log A2 Is not exactly the same. On the other hand, the specifying unit 122 removes information that changes in accordance with the log generation timing from the log, and then indicates the processing content of a character string that is common to both the log A1 and the log A2. Identify with information. Then, the specifying unit 122 classifies the log A1 and the log A2 as the log A.

なお、特定部122は、複数のログのそれぞれについて、ログの生成タイミングに応じて変化する情報を除去して、処理内容を示す情報を特定したが、これに限らない。例えば、特定部122は、ログに含まれる文字列の類似度を算出し、類似度が所定値以上のログを同一の処理内容のログに分類してもよい。このようにすることで、特定部122は、類似度が高いログを同じ処理内容のログに分類することができる。   In addition, although the specific | specification part 122 removed the information which changes according to the production | generation timing of a log about each of several logs, and specified the information which shows the processing content, it is not restricted to this. For example, the specifying unit 122 may calculate the similarity of a character string included in the log, and classify logs having a similarity greater than or equal to a predetermined value into logs having the same processing content. By doing in this way, the specific | specification part 122 can classify | categorize a log with high similarity into the log of the same processing content.

続いて、特定部122は、ログの生成時間と処理内容を示す情報とに基づいて、同一の処理内容を示すログ(分類後のログ)ごとに、当該ログの前に出力された付随ログを、付随ログの処理内容ごとに集計する。同様に、特定部122は、同一の処理内容を示すログごとに、当該ログの後に出力された付随ログを、付随ログの処理内容ごとに集計する。ここで、特定部122は、同一の処理内容を示すログごとに、当該ログの直前又は直後に生成された付随ログを集計対象とする。   Subsequently, based on the log generation time and the information indicating the processing content, the specifying unit 122 displays the accompanying log output before the log for each log indicating the same processing content (log after classification). , Aggregate for each processing content of the accompanying log. Similarly, for each log indicating the same processing content, the specifying unit 122 adds up the accompanying log output after the log for each processing content of the accompanying log. Here, for each log indicating the same processing content, the specifying unit 122 sets the accompanying log generated immediately before or immediately after the log as an aggregation target.

例えば、特定部122は、複数のログのうち、未選択のログであって、生成時刻が最も古いログを選択する。特定部122は、選択されたログの直前に生成されたログと、直後に生成されたログとを付随ログとして特定し、選択されたログに関連付ける。図4は、本実施形態に係る選択されたログに付随ログを関連付けた例を示す図である。図4に示す例では、ログAに、直前に生成された付随ログとしてログCとログBとが関連付けられていることが確認できる。また、図4に示す例では、ログAに、直後に生成された付随ログとしてログBとログDとが関連付けられていることが確認できる。   For example, the specifying unit 122 selects a log that has not been selected and has the oldest generation time among the plurality of logs. The specifying unit 122 specifies the log generated immediately before the selected log and the log generated immediately after as the accompanying log, and associates them with the selected log. FIG. 4 is a diagram illustrating an example in which an accompanying log is associated with a selected log according to the present embodiment. In the example shown in FIG. 4, it can be confirmed that the log C and the log B are associated with the log A as the accompanying log generated immediately before. In the example illustrated in FIG. 4, it can be confirmed that the log B and the log D are associated with the log A as an accompanying log generated immediately after.

特定部122は、選択されたログに対して付随ログを関連付けると、複数のログのうち、未選択のログであって、生成時刻が最も古いログを選択する。そして、特定部122は、同様の処理を繰り返すことにより、同一の処理内容を示すログの前後に出現する付随ログを、付随ログの処理内容ごとに集計する。   When the identifying unit 122 associates the accompanying log with the selected log, the identifying unit 122 selects a log that has not been selected and has the oldest generation time among the plurality of logs. Then, the identification unit 122 repeats the same processing, thereby totaling the accompanying logs that appear before and after the log indicating the same processing content for each processing content of the accompanying log.

なお、特定部122は、同一の処理内容を示すログ(選択されたログ)ごとに、当該ログの生成時間から所定範囲内に生成されたログを付随ログとし、当該付随ログを、付随ログの処理内容ごとに集計するようにしてもよい。このようにすることで、特定部122は、正常な処理に応じて順番に実行されるログの間に、定常ログ等の不要なログが混在した場合であっても、正常な処理に応じて順番に実行されるログを付随ログとして集計対象とすることができる。   For each log (selected log) indicating the same processing content, the specifying unit 122 sets a log generated within a predetermined range from the generation time of the log as an accompanying log, and uses the accompanying log as an associated log. You may make it total for every processing content. By doing in this way, the specifying unit 122 responds to normal processing even when unnecessary logs such as regular logs are mixed between logs that are sequentially executed according to normal processing. Logs that are executed in order can be counted as accompanying logs.

続いて、特定部122は、同一の処理内容を示すログの前後に出現する付随ログの出現確率を付随ログの処理内容ごとに算出することにより、出現順序の頻度を特定する。例えば、特定部122は、図4に示す付随ログの関連付けの結果に基づいて、同一の処理内容を示すログの直前に出現する付随ログ、及び同一の処理内容を示すログの直後に出現する付随ログのそれぞれの出現確率を算出する。図5は、付随ログのそれぞれの出現確率の算出例を示す図である。図5に示す例では、ログAの直後にログBが90%の確率で出現し、ログDが5%の確率で出現していることが確認できる。   Subsequently, the specifying unit 122 specifies the appearance order frequency by calculating the appearance probability of the accompanying log appearing before and after the log indicating the same processing content for each processing content of the accompanying log. For example, based on the result of association of the accompanying logs shown in FIG. 4, the specifying unit 122 associates the accompanying log that appears immediately before the log that shows the same processing content and the accompanying log that appears immediately after the log that shows the same processing content The appearance probability of each log is calculated. FIG. 5 is a diagram illustrating an example of calculating the appearance probability of each accompanying log. In the example shown in FIG. 5, it can be confirmed that immediately after the log A, the log B appears with a probability of 90% and the log D appears with a probability of 5%.

生成部123は、特定部122によって特定された出現順序の頻度に基づいて、所定処理が正常に完了したときのログの出現順序を示すワークフローを1以上生成する。例えば、生成部123は、図5に示す付随ログごとの出現確率に基づいて、所定値よりも高い出現確率を示すログの出現順序を特定する。例えば、所定値が80%である場合、生成部123は、図5に示す例において、ログの出現順序として、ログAからログB、ログBからログC、ログEからログCというログの出現順序を特定する。   The generation unit 123 generates one or more workflows indicating the appearance order of logs when the predetermined process is normally completed based on the frequency of the appearance order specified by the specifying unit 122. For example, the generation unit 123 specifies the appearance order of logs indicating an appearance probability higher than a predetermined value based on the appearance probability for each accompanying log illustrated in FIG. For example, when the predetermined value is 80%, in the example illustrated in FIG. 5, the generation unit 123 generates log appearances of log A to log B, log B to log C, and log E to log C as the log appearance order. Identify the order.

続いて、生成部123は、特定したログの出現順序に基づいて有向グラフを生成する。図6は、本実施形態に係る有向グラフの例を示す図である。続いて、生成部123は、生成した有向グラフに基づいて、1以上のワークフローを生成する。図6に示す例において、生成部123は、ワークフローとして、ログA、ログB、ログCの順番を示すワークフローと、ログE、ログCの順番を示すワークフローとを特定する。ここで、生成部123は、1以上のワークフローを生成することにより、正常な処理を実行したときに発生する可能性が高い全てのワークフローを特定することができる。   Subsequently, the generation unit 123 generates a directed graph based on the identified log appearance order. FIG. 6 is a diagram illustrating an example of the directed graph according to the present embodiment. Subsequently, the generation unit 123 generates one or more workflows based on the generated directed graph. In the example illustrated in FIG. 6, the generation unit 123 identifies a workflow indicating the order of log A, log B, and log C and a workflow indicating the order of log E and log C as the workflow. Here, the generation unit 123 can identify all workflows that are likely to occur when normal processing is executed by generating one or more workflows.

出力部124は、生成部123が生成した1以上のワークフローを示す情報を出力する。例えば、出力部124は、生成装置1に設けられた表示部(不図示)にワークフローを示す情報を表示させたり、生成装置1と通信可能に接続された端末にワークフローを示す情報を送信したりする。   The output unit 124 outputs information indicating one or more workflows generated by the generation unit 123. For example, the output unit 124 displays information indicating the workflow on a display unit (not shown) provided in the generation device 1, or transmits information indicating the workflow to a terminal connected to be able to communicate with the generation device 1. To do.

[ワークフローの生成に係る処理の流れ]
続いて、ワークフローの生成に係る処理の流れについて説明する。図7は、本実施形態に係るワークフローの生成に係る生成装置1の処理の流れを示すフローチャートである。
[Flow of processing related to workflow generation]
Next, the flow of processing related to workflow generation will be described. FIG. 7 is a flowchart showing a processing flow of the generation apparatus 1 related to generation of a workflow according to the present embodiment.

まず、ログ取得部121は、通信ネットワークNを利用する所定処理が複数回正常に完了した場合に、通信ネットワークNを構成する複数の通信機器4のそれぞれが生成したログを取得する(S10)。   First, when the predetermined process using the communication network N is normally completed a plurality of times, the log acquisition unit 121 acquires a log generated by each of the plurality of communication devices 4 configuring the communication network N (S10).

続いて、特定部122は、S10において取得されたログから、処理内容を示す情報を抽出し、当該処理内容を示す情報に基づいてログを分類する(S20)。
続いて、特定部122は、取得された複数のログから1つのログを選択する(S30)。例えば、特定部122は、未選択のログのうち、生成時刻が最も古いログを選択する。
Subsequently, the specifying unit 122 extracts information indicating the processing content from the log acquired in S10, and classifies the log based on the information indicating the processing content (S20).
Subsequently, the specifying unit 122 selects one log from the plurality of acquired logs (S30). For example, the specifying unit 122 selects a log with the oldest generation time among unselected logs.

続いて、特定部122は、選択したログの処理内容(分類ログ)に、当該ログの前後に出現した付随ログを関連付ける(S40)。
続いて、特定部122は、全てのログが選択済か否かを判定する(S50)。特定部122は、全てのログが選択済であると判定すると、S60に処理を移し、全てのログが選択済ではないと判定すると、S30に処理を移す。
続いて、特定部122は、ログの処理内容ごとに、付随ログの出現確率を算出する(S60)。
Subsequently, the specifying unit 122 associates the accompanying log appearing before and after the log with the processing content (classification log) of the selected log (S40).
Subsequently, the specifying unit 122 determines whether all logs have been selected (S50). If the identifying unit 122 determines that all logs have been selected, the process proceeds to S60. If the identifying unit 122 determines that all logs have not been selected, the process proceeds to S30.
Subsequently, the specifying unit 122 calculates the appearance probability of the accompanying log for each processing content of the log (S60).

続いて、生成部123は、S60の算出結果に基づいて、出現確率が所定値以上のログの出現順序を特定する(S70)。
続いて、生成部123は、特定したログの出現順序に基づいて有向グラフを生成する(S80)。
続いて、生成部123は、生成した有向グラフに基づいて、所定処理が正常に完了したときのログの出現順序を示す1以上のワークフローを生成する(S90)。
Subsequently, the generation unit 123 specifies the appearance order of logs having an appearance probability equal to or higher than a predetermined value based on the calculation result of S60 (S70).
Subsequently, the generation unit 123 generates a directed graph based on the identified log appearance order (S80).
Subsequently, based on the generated directed graph, the generation unit 123 generates one or more workflows indicating the order of appearance of logs when the predetermined process is normally completed (S90).

[本実施形態における効果]
以上のとおり、本実施形態に係る生成装置1は、通信ネットワークNを利用する所定処理が複数回正常に完了した場合に、通信ネットワークNを構成する複数の通信機器4のそれぞれが生成したログを取得し、当該ログの生成時間に基づいて、複数の処理のそれぞれに対応する複数のログの出現順序の頻度を特定し、特定された出現順序の頻度に基づいて、所定処理が正常に完了したときのログの出現順序を示すワークフローを生成する。
[Effect in this embodiment]
As described above, the generation device 1 according to the present embodiment generates logs generated by each of the plurality of communication devices 4 configuring the communication network N when the predetermined process using the communication network N is normally completed a plurality of times. The frequency of appearance order of a plurality of logs corresponding to each of the plurality of processes is identified based on the generation time of the log, and the predetermined process is normally completed based on the frequency of the identified appearance order A workflow indicating the order of appearance of logs is generated.

所定処理を複数回正常に完了させたときに通信機器4から取得したログには、所定処理が正常に完了したときのログが相対的に多く含まれるので、生成装置1は、相対的に出現頻度が高いログの出現順序を、所定処理が正常に完了したときのログの出現順序と特定することができる。これにより、生成装置1は、一連の処理に紐づくIDがログに含まれていない場合であっても複数のログからワークフローを生成することができる。   Since the log acquired from the communication device 4 when the predetermined process is normally completed a plurality of times includes a relatively large number of logs when the predetermined process is normally completed, the generation apparatus 1 appears relatively. The appearance order of logs with high frequency can be specified as the appearance order of logs when the predetermined process is normally completed. Accordingly, the generation device 1 can generate a workflow from a plurality of logs even when an ID associated with a series of processes is not included in the log.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above embodiment. In particular, the specific embodiments of the distribution / integration of the devices are not limited to those illustrated above, and all or a part thereof may be arbitrarily selected according to various additions or according to the functional load. It can be configured to be functionally or physically distributed and integrated in units.

例えば、上述の実施形態では、生成装置1が、複数の通信機器4のそれぞれにアクセスし、複数の通信機器4のそれぞれが生成したログを取得することとしたが、これに限らない。例えば、複数の通信機器4のそれぞれが生成したログを取得するログ取得装置と、生成装置1とを設けておき、生成装置1が、ログ取得装置から、複数の通信機器4のそれぞれが生成したログを取得してもよい。   For example, in the above-described embodiment, the generation device 1 accesses each of the plurality of communication devices 4 and acquires the logs generated by each of the plurality of communication devices 4, but is not limited thereto. For example, a log acquisition device that acquires logs generated by each of the plurality of communication devices 4 and the generation device 1 are provided, and the generation device 1 generates each of the plurality of communication devices 4 from the log acquisition device. A log may be acquired.

1・・・生成装置、11・・・記憶部、12・・・制御部、121・・・ログ取得部、122・・・特定部、123・・・生成部、124・・・出力部、2・・・所定装置、3・・・サーバ、4・・・通信機器、N・・・通信ネットワーク DESCRIPTION OF SYMBOLS 1 ... Generation apparatus, 11 ... Memory | storage part, 12 ... Control part, 121 ... Log acquisition part, 122 ... Identification part, 123 ... Generation part, 124 ... Output part, 2 ... predetermined device, 3 ... server, 4 ... communication equipment, N ... communication network

Claims (9)

通信ネットワークを利用する所定処理が複数回正常に完了した場合に、前記通信ネットワークを構成する複数の通信機器のそれぞれが生成したログを取得するログ取得部と、
前記ログの生成時間に基づいて、複数の処理のそれぞれに対応する複数のログの出現順序の頻度を特定する特定部と、
特定された前記出現順序の頻度に基づいて、前記所定処理が正常に完了したときの前記ログの出現順序を示すワークフローを生成する生成部と、
を備える生成装置。
A log acquisition unit for acquiring a log generated by each of a plurality of communication devices constituting the communication network when a predetermined process using the communication network is normally completed a plurality of times;
A specifying unit that specifies the frequency of appearance order of a plurality of logs corresponding to each of a plurality of processes based on the generation time of the log;
A generating unit that generates a workflow indicating the order of appearance of the log when the predetermined processing is normally completed based on the frequency of the identified order of appearance;
A generating device comprising:
前記特定部は、同一の処理内容を示すログごとに、当該ログの後に出力された付随ログを、前記付随ログの処理内容ごとに集計し、当該ログの後に出現する前記付随ログの出現確率を前記付随ログの処理内容ごとに算出することにより、前記出現順序の頻度を特定する、
請求項1に記載の生成装置。
For each log indicating the same processing content, the specifying unit aggregates the accompanying log output after the log for each processing content of the accompanying log, and determines the appearance probability of the accompanying log that appears after the log. By calculating each processing content of the accompanying log, the frequency of the appearance order is specified,
The generation device according to claim 1.
前記特定部は、同一の処理内容を示すログごとに、当該ログの前に出力された付随ログを、前記付随ログの処理内容ごとに集計し、当該ログの前に出現する前記付随ログの出現確率を前記付随ログの処理内容ごとに算出することにより、前記出現順序の頻度を特定する、
請求項1又は2に記載の生成装置。
For each log indicating the same processing content, the specifying unit aggregates the accompanying log output before the log for each processing content of the accompanying log, and the appearance of the accompanying log that appears before the log Specifying the frequency of the appearance order by calculating the probability for each processing content of the accompanying log,
The generating apparatus according to claim 1 or 2.
前記特定部は、前記同一の処理内容を示すログごとに、当該ログの生成時間から所定範囲内の時間に生成された前記付随ログを、前記付随ログの処理内容ごとに集計する、
請求項2又は3に記載の生成装置。
For each log indicating the same processing content, the specifying unit aggregates the accompanying log generated at a time within a predetermined range from the generation time of the log for each processing content of the accompanying log.
The generation device according to claim 2 or 3.
前記特定部は、前記ログ取得部が取得した複数のログのそれぞれから、ログの生成タイミングに応じて変化する情報を除去することにより、前記ログの処理内容を示す情報を特定する、
請求項1から4のいずれか1項に記載の生成装置。
The specifying unit specifies information indicating the processing content of the log by removing information that changes according to the log generation timing from each of the plurality of logs acquired by the log acquisition unit.
The generation device according to any one of claims 1 to 4.
前記特定部は、前記ログに含まれる文字列の類似度を算出し、当該類似度が所定値以上のログを同一の処理内容のログとする、
請求項1から5のいずれか1項に記載の生成装置。
The specifying unit calculates the similarity of a character string included in the log, and sets a log having the similarity equal to or higher than a predetermined value as a log having the same processing content.
The generation device according to any one of claims 1 to 5.
前記生成部は、特定された前記出現順序の頻度に基づいて、前記所定処理を実行したときの前記ログの出現順序を示すワークフローを1以上生成する、
請求項1又は2に記載の生成装置。
The generation unit generates one or more workflows indicating the appearance order of the logs when the predetermined processing is executed based on the frequency of the specified appearance order;
The generating apparatus according to claim 1 or 2.
コンピュータが実行する、
通信ネットワークを利用する所定処理が複数回正常に完了した場合に、前記通信ネットワークを構成する複数の通信機器のそれぞれが生成したログを取得するステップと、
前記ログの生成時間に基づいて、複数の処理のそれぞれに対応する複数のログの出現順序の頻度を特定するステップと、
特定された前記出現順序の頻度に基づいて、前記所定処理が正常に完了したときの前記ログの出現順序を示すワークフローを生成するステップと、
を備える生成方法。
The computer runs,
Acquiring a log generated by each of a plurality of communication devices constituting the communication network when a predetermined process using the communication network is normally completed a plurality of times; and
Identifying the frequency of appearance order of a plurality of logs corresponding to each of a plurality of processes based on the generation time of the logs;
Generating a workflow indicating the appearance order of the log when the predetermined processing is normally completed based on the identified frequency of the appearance order;
A generation method comprising:
コンピュータを、
通信ネットワークを利用する所定処理が複数回正常に完了した場合に、前記通信ネットワークを構成する複数の通信機器のそれぞれが生成したログを取得するログ取得部、
前記ログの生成時間に基づいて、複数の処理のそれぞれに対応する複数のログの出現順序の頻度を特定する特定部、及び、
特定された前記出現順序の頻度に基づいて、前記所定処理が正常に完了したときの前記ログの出現順序を示すワークフローを生成する生成部、
として機能させる生成プログラム。
Computer
A log acquisition unit that acquires logs generated by each of a plurality of communication devices constituting the communication network when a predetermined process using the communication network is normally completed a plurality of times;
Based on the generation time of the log, a specifying unit that specifies the frequency of appearance order of a plurality of logs corresponding to each of a plurality of processes, and
A generating unit that generates a workflow indicating the order of appearance of the logs when the predetermined process is normally completed based on the frequency of the identified order of appearance;
Generator program to function as.
JP2016202572A 2016-10-14 2016-10-14 Generation apparatus, generation method, and generation program Expired - Fee Related JP6644665B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016202572A JP6644665B2 (en) 2016-10-14 2016-10-14 Generation apparatus, generation method, and generation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016202572A JP6644665B2 (en) 2016-10-14 2016-10-14 Generation apparatus, generation method, and generation program

Publications (2)

Publication Number Publication Date
JP2018064230A true JP2018064230A (en) 2018-04-19
JP6644665B2 JP6644665B2 (en) 2020-02-12

Family

ID=61968052

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016202572A Expired - Fee Related JP6644665B2 (en) 2016-10-14 2016-10-14 Generation apparatus, generation method, and generation program

Country Status (1)

Country Link
JP (1) JP6644665B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010033456A (en) * 2008-07-30 2010-02-12 Hitachi Ltd Computer system, information gathering support apparatus, and information gathering support method
JP2011253355A (en) * 2010-06-02 2011-12-15 Fujitsu Ltd Analysis program and analysis device and analysis method
JP2015095065A (en) * 2013-11-12 2015-05-18 富士通株式会社 Analysis method, analysis apparatus, and analysis program
US9049105B1 (en) * 2012-05-11 2015-06-02 Amazon Technologies, Inc. Systems and methods for tracking and managing event records associated with network incidents

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010033456A (en) * 2008-07-30 2010-02-12 Hitachi Ltd Computer system, information gathering support apparatus, and information gathering support method
JP2011253355A (en) * 2010-06-02 2011-12-15 Fujitsu Ltd Analysis program and analysis device and analysis method
US9049105B1 (en) * 2012-05-11 2015-06-02 Amazon Technologies, Inc. Systems and methods for tracking and managing event records associated with network incidents
JP2015095065A (en) * 2013-11-12 2015-05-18 富士通株式会社 Analysis method, analysis apparatus, and analysis program

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
QIANG FU, ET AL.: "Execution Anomaly Detection in Distributed Systems through Unstructured Log Analysis", 2009 NINTH IEEE INTERNATIONAL CONFERENCE ON DATA MINING, JPN6019045848, 9 December 2009 (2009-12-09), pages 149 - 158, XP031585329, ISSN: 0004161275 *
佐々木 淳、ほか: "ログ監視におけるホワイトリストの自動生成", 電子情報通信学会技術研究報告 VOL.115 NO.328, vol. 第115巻, JPN6019045842, 19 November 2015 (2015-11-19), JP, pages 27 - 32, ISSN: 0004161272 *
宋 強、ほか: "ファイルレコメンデーションのためのファイル利用履歴に基づくタスク間ワークフロー抽出手法", 第4回データ工学と情報マネジメントに関するフォーラム論文集 (第10回日本データベース学会年次大会), JPN6019045850, 3 March 2012 (2012-03-03), JP, ISSN: 0004161274 *
石崎 夕香里、ほか: "大容量WAFログデータの分析手法の検討", 情報処理学会 研究報告 コンピュータセキュリティ(CSEC) 2015−CSEC−068, JPN6019045845, 6 March 2015 (2015-03-06), JP, pages 1 - 8, ISSN: 0004161273 *

Also Published As

Publication number Publication date
JP6644665B2 (en) 2020-02-12

Similar Documents

Publication Publication Date Title
CN108153670B (en) Interface testing method and device and electronic equipment
US10346282B2 (en) Multi-data analysis based proactive defect detection and resolution
US20170168885A1 (en) System and Method for Testing Internet of Things Network
JP2019503525A5 (en)
JP2019513246A (en) Training method of random forest model, electronic device and storage medium
JP2019501551A5 (en) Cloud-based system and method for managing messages related to operation of cable test devices and computing devices
CN109995612B (en) Service inspection method and device and electronic equipment
JP2014521184A5 (en)
US9933772B2 (en) Analyzing SCADA systems
US10055329B2 (en) Detection of antipatterns through statistical analysis
CA3123916C (en) Microapp functionality recommendations with cross-application activity correlation
JP2018519604A5 (en)
CN108073506A (en) Test method and device
US9558307B1 (en) System and method for providing a scalable server-implemented regression query environment for remote testing and analysis of a chip-design model
JP2015114988A5 (en)
CN109814957A (en) A kind of label addition method and device for IOS system
JP2021114278A (en) Method and apparatus for generating information
JP6644665B2 (en) Generation apparatus, generation method, and generation program
JP6660901B2 (en) Generation apparatus, generation method, and generation program
EP3131014B1 (en) Multi-data analysis based proactive defect detection and resolution
JP7097408B2 (en) Methods, devices, electronic devices and storage media for treating local hotspots
JP2018132965A (en) Fault analysis program, fault analysis device, and fault analysis method
US20210103663A1 (en) Methods and apparatuses for vulnerability detection and maintenance prediction in industrial control systems using hash data analytics
US9229898B2 (en) Causation isolation using a configuration item metric identified based on event classification
Tokuda et al. Monitoring dependability of city-scale IoT using D-case

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200108

R150 Certificate of patent or registration of utility model

Ref document number: 6644665

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees