JP2015108898A - Abnormality detection system and abnormality detection method - Google Patents

Abnormality detection system and abnormality detection method Download PDF

Info

Publication number
JP2015108898A
JP2015108898A JP2013250595A JP2013250595A JP2015108898A JP 2015108898 A JP2015108898 A JP 2015108898A JP 2013250595 A JP2013250595 A JP 2013250595A JP 2013250595 A JP2013250595 A JP 2013250595A JP 2015108898 A JP2015108898 A JP 2015108898A
Authority
JP
Japan
Prior art keywords
normal model
normal
abnormality
unit
terminals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013250595A
Other languages
Japanese (ja)
Inventor
充敏 熊谷
Mitsutoshi Kumagai
充敏 熊谷
慎吾 折原
Shingo Orihara
慎吾 折原
浩志 朝倉
Hiroshi Asakura
浩志 朝倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2013250595A priority Critical patent/JP2015108898A/en
Publication of JP2015108898A publication Critical patent/JP2015108898A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To quickly and highly accurately detect abnormality.SOLUTION: In an abnormality detection system 100, a normal model integration device 10 collects a normal model from each of a plurality of terminals 20, and integrates the plurality of collected normal models to generate an integrated normal model. Then, the normal model integration device 10 transmits the integrated normal model to each of the plurality of terminals 20. Also, each of the plurality of terminals 20 acquires an operation performed by a user as a log, and calculates a degree of abnormality indicating a degree of abnormality of the operation by using the acquired log and the integrated normal model received from the normal model integration device 10, and determines whether or not the degree of abnormality is less than a threshold. When it is determined that degree of abnormality is less than the threshold as a result, the terminal 20 outputs information indicating that an abnormal operation is being performed, or forcedly completes the operation.

Description

本発明は、異常検知システム及び異常検知方法に関する。   The present invention relates to an abnormality detection system and an abnormality detection method.

従来、ユーザが有するPC(Personal Computer)、スマートフォン、タブレット等の端末が、端末上での動作をログとして取得し、該当ログと正常モデルとを用いて、端末の異常を検知することが行われている。   Conventionally, terminals such as PCs (Personal Computers), smartphones, tablets, etc. possessed by users have acquired operations on the terminals as logs, and detected abnormalities in the terminals using the corresponding logs and normal models. ing.

このような異常を検知する技術として、例えば、各端末の検知結果を統合的に比較して、端末の異常動作を検知する技術が知られている。また、例えば、新規に追加された端末に対しては、端末の情報が少なく、正しい異常検知が困難であるため、異常判定の閾値を緩めることで、正常動作を異常と誤判定することを少なくする技術が知られている。   As a technique for detecting such an abnormality, for example, a technique for detecting an abnormal operation of a terminal by comprehensively comparing detection results of each terminal is known. Also, for example, for newly added terminals, since there is little information on the terminals and it is difficult to detect correct abnormality, it is less likely that normal operation is erroneously determined as abnormal by relaxing the abnormality determination threshold. The technology to do is known.

特許第4940220号公報Japanese Patent No. 4940220

しかしながら、このような従来技術では、迅速に、高精度な異常検知を行うことができないという課題があった。つまり、例えば、各端末の検知結果を統合的に比較する技術では、各端末の結果をすべて比較するので、端末数が多い環境においては、異常検知に長時間を要してしまうという課題があった。また、例えば、異常動作の閾値を緩めることで正常動作を異常と誤判定することを防ぐ技術では、ログが少ない端末において精度の高い異常検知を行うことが困難な場合があるという問題があった。   However, such a conventional technique has a problem in that it cannot quickly and accurately detect an abnormality. In other words, for example, in the technology that compares the detection results of each terminal in an integrated manner, all the results of each terminal are compared. Therefore, in an environment with a large number of terminals, there is a problem that it takes a long time to detect an abnormality. It was. In addition, for example, a technique that prevents a normal operation from being erroneously determined to be abnormal by relaxing the threshold of abnormal operation has a problem that it may be difficult to accurately detect an abnormality in a terminal with a small number of logs. .

そこで、この発明は、迅速に、高精度な異常検知を行うことを目的とする。   Accordingly, an object of the present invention is to quickly and accurately detect an abnormality.

上述した課題を解決し、目的を達成するため、開示の異常検知システムは、複数の端末と、統合装置とを有する異常検知システムにおいて、前記統合装置は、前記複数の端末のそれぞれから、正常モデルを収集する収集部と、前記収集部によって収集された複数の正常モデルを統合して統合正常モデルを生成する統合部と、前記統合部によって統合された統合正常モデルを前記複数の端末のそれぞれに対して送信する送信部と、を備え、前記複数の端末のそれぞれは、ユーザが行った動作をログとして取得する取得部と、前記取得部によって取得されたログと、前記統合装置から受信した統合正常モデルを用いて、前記動作の異常度合いを示す異常度を算出し、該異常度が所定の閾値を下回っているか否かを判定する判定部と、前記判定部によって異常度が閾値を下回っていると判定された場合には、異常な動作が行われている旨の出力、または、前記動作を強制終了することを行う出力部と、を備えることを特徴とする。   In order to solve the above-described problems and achieve the object, the disclosed abnormality detection system includes a plurality of terminals and an integrated device, and the integrated device receives a normal model from each of the plurality of terminals. A collecting unit that collects a plurality of normal models collected by the collecting unit to generate an integrated normal model, and an integrated normal model integrated by the integrating unit to each of the plurality of terminals. Each of the plurality of terminals, an acquisition unit that acquires the operation performed by the user as a log, the log acquired by the acquisition unit, and the integration received from the integration device Using a normal model, a degree of abnormality indicating the degree of abnormality of the motion is calculated, and a determination unit that determines whether or not the degree of abnormality is below a predetermined threshold, and the determination unit When the degree of abnormality is determined to be below the threshold, an output indicating that an abnormal operation is being performed, or an output unit that forcibly terminates the operation is provided. And

また、開示の異常検知方法は、統合装置で実行される異常検知方法であって、複数の端末のそれぞれから、正常モデルを収集する収集ステップと、前記収集ステップによって収集された複数の正常モデルを統合して統合正常モデルを生成する統合ステップと、前記統合ステップによって統合された統合正常モデルを前記複数の端末のそれぞれに対して送信する送信ステップと、を含んだことを特徴とする。   Further, the disclosed abnormality detection method is an abnormality detection method executed by an integrated device, and includes a collection step of collecting normal models from each of a plurality of terminals, and a plurality of normal models collected by the collection step. An integration step of integrating and generating an integrated normal model and a transmission step of transmitting the integrated normal model integrated by the integration step to each of the plurality of terminals are included.

本願に開示する異常検知システム及び異常検知方法は、迅速に、高精度な異常検知を行うことが可能である。   The abnormality detection system and the abnormality detection method disclosed in the present application can quickly and highly accurately detect an abnormality.

図1は、第一の実施形態に係る異常検知システムの構成の一例を示す図である。FIG. 1 is a diagram illustrating an example of the configuration of the abnormality detection system according to the first embodiment. 図2は、第一の実施形態に係る正常モデル統合装置の構成を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration of the normal model integration device according to the first embodiment. 図3は、第一の実施形態に係る正常モデル・スコア記憶部に記憶される情報の一例を示す図である。FIG. 3 is a diagram illustrating an example of information stored in the normal model score storage unit according to the first embodiment. 図4は、第一の実施形態に係る正常モデル統合装置における全体の処理の流れを説明する図である。FIG. 4 is a diagram for explaining the overall processing flow in the normal model integration device according to the first embodiment. 図5は、第一の実施形態に係る端末の構成を示すブロック図である。FIG. 5 is a block diagram illustrating a configuration of the terminal according to the first embodiment. 図6は、第一の実施形態に係る端末の正常モデル作成処理を説明する図である。FIG. 6 is a diagram illustrating a normal model creation process of the terminal according to the first embodiment. 図7は、第一の実施形態に係る端末の異常検知処理を説明する図である。FIG. 7 is a diagram for explaining the abnormality detection process of the terminal according to the first embodiment. 図8は、第一の実施形態に係る異常検知システムの全体の処理を説明する図である。FIG. 8 is a diagram for explaining the overall processing of the abnormality detection system according to the first embodiment. 図9は、第一の実施形態に係る正常モデル統合装置における正常モデル統合処理の流れを説明するためのフローチャートである。FIG. 9 is a flowchart for explaining the flow of normal model integration processing in the normal model integration device according to the first embodiment. 図10は、第一の実施形態に係る端末における正常モデル送信処理の流れを説明するためのフローチャートである。FIG. 10 is a flowchart for explaining the flow of the normal model transmission process in the terminal according to the first embodiment. 図11は、第一の実施形態に係る端末における異常検知処理の流れを説明するためのフローチャートである。FIG. 11 is a flowchart for explaining the flow of the abnormality detection process in the terminal according to the first embodiment. 図12は、従来の異常検知システムを説明する図である。FIG. 12 is a diagram for explaining a conventional abnormality detection system. 図13は、従来の異常検知システムを説明する図である。FIG. 13 is a diagram for explaining a conventional abnormality detection system. 図14は、第一の実施形態に係る異常検知システムの概要を説明する図である。FIG. 14 is a diagram illustrating an overview of the abnormality detection system according to the first embodiment. 図15は、一つの端末に正常モデル統合処理を行わせる場合の異常検知システムの構成の一例を示す図である。FIG. 15 is a diagram illustrating an example of a configuration of an abnormality detection system in a case where normal model integration processing is performed on one terminal. 図16は、各端末に正常モデル統合処理を行わせる場合の異常検知システムの構成の一例を示す図である。FIG. 16 is a diagram illustrating an example of a configuration of an abnormality detection system when each terminal performs normal model integration processing. 図17は、モデル統合プログラムを実行するコンピュータを示す図である。FIG. 17 is a diagram illustrating a computer that executes a model integration program.

以下に図面を参照して、この発明に係る異常検知システム及び異常検知方法の実施形態を詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。   Hereinafter, embodiments of an abnormality detection system and an abnormality detection method according to the present invention will be described in detail with reference to the drawings. In addition, this invention is not limited by this embodiment.

[第一の実施形態]
以下の実施形態では、第一の実施形態に係る異常検知システムの構成、正常モデル統合装置の構成、端末の構成、正常モデル統合装置における処理の流れ及び端末における処理の流れを順に説明し、最後に第一の実施形態による効果を説明する。
[First embodiment]
In the following embodiments, the configuration of the abnormality detection system according to the first embodiment, the configuration of the normal model integration device, the configuration of the terminal, the processing flow in the normal model integration device, and the processing flow in the terminal will be described in order. Next, effects of the first embodiment will be described.

[システムの構成]
まず、第一の実施形態に係る異常検知システム100の構成の一例を説明する。図1は、第一の実施形態に係る異常検知システムの構成の一例を示す図である。図1に示すように、異常検知システム100は、正常モデル統合装置10と、複数の端末20A〜20Nとを有する。正常モデル統合装置10と、複数の端末20A〜20Nとは、ネットワーク30を介して接続されている。なお、複数の端末20A〜20Nについて、特に区別することなく説明する場合には、「端末20」と記載する。また、図1に例示した各装置の設置数は、あくまで一例であり、これに限定されるものではない。
[System configuration]
First, an example of the configuration of the abnormality detection system 100 according to the first embodiment will be described. FIG. 1 is a diagram illustrating an example of the configuration of the abnormality detection system according to the first embodiment. As illustrated in FIG. 1, the abnormality detection system 100 includes a normal model integration device 10 and a plurality of terminals 20A to 20N. The normal model integration device 10 and the plurality of terminals 20 </ b> A to 20 </ b> N are connected via a network 30. Note that the terminals 20A to 20N are described as “terminal 20” when they are not particularly distinguished. Moreover, the installation number of each apparatus illustrated in FIG. 1 is an example to the last, and is not limited to this.

正常モデル統合装置10は、各端末20A〜20Nから正常モデル・スコアを収集し、収集した各端末20A〜20Nの正常モデルを統合する。そして、正常モデル統合装置10は、統合した正常モデルを各端末20A〜20Nに対して送信する。ここで、正常モデルとは、ユーザの正常動作の傾向・特徴を表したものであり、動作ログを正常モデルに入力することで、その動作の異常度が出力される。   The normal model integration device 10 collects normal model scores from the terminals 20A to 20N, and integrates the collected normal models of the terminals 20A to 20N. Then, the normal model integration device 10 transmits the integrated normal model to each of the terminals 20A to 20N. Here, the normal model represents a tendency / feature of the normal operation of the user, and the abnormal degree of the operation is output by inputting the operation log into the normal model.

このように、正常モデル統合装置10は、作成された端末毎の正常モデルを統合することで、そのユーザ固有の正常モデルを作成する。統合の方法としては、例えば、端末毎の正常モデルの信頼度を示すスコアによる重み付平均・スコアが最大となる端末の正常モデルを選択等があるが、それらに限定されるものではない。正常モデル統合装置10は、正常モデルを統合した後には各端末20A〜20Nに送信する。なお、送信のタイミングで、スコアはリセットされる。また、各端末20A〜20Nの正常モデルの収集・送信方法としては、LAN内での共有、クラウドサービスの利用、USBメモリ等の外部記憶媒体経由等が考えられるが、これらに限定されない。   In this way, the normal model integration device 10 creates a normal model unique to the user by integrating the created normal models for each terminal. As an integration method, for example, a normal model of a terminal having a maximum weighted average / score based on a score indicating reliability of a normal model for each terminal is selected, but is not limited thereto. The normal model integration device 10 transmits the normal models to the terminals 20A to 20N after integrating the normal models. The score is reset at the transmission timing. In addition, as a normal model collection / transmission method for each of the terminals 20A to 20N, sharing within a LAN, use of a cloud service, and via an external storage medium such as a USB memory are conceivable, but are not limited thereto.

複数の端末20A〜20Nは、あるユーザが所有するPC、スマートフォン、タブレットなどの端末機器である。各端末20A〜20Nは、ユーザが行った動作をログとして取得し、取得されたログと、正常モデル統合装置10から受信した正常モデルを用いて、動作の異常度を算出する。そして、各端末20A〜20Nは、算出した異常度が閾値を下回っているか否かを判定し、異常度が閾値を下回っていると判定した場合には、異常な動作が行われている旨の出力、または、動作を強制終了することを行う。   The plurality of terminals 20A to 20N are terminal devices such as PCs, smartphones, and tablets owned by a certain user. Each of the terminals 20 </ b> A to 20 </ b> N acquires the operation performed by the user as a log, and calculates the degree of abnormality of the operation using the acquired log and the normal model received from the normal model integration device 10. Then, each of the terminals 20A to 20N determines whether or not the calculated abnormality degree is below the threshold value, and if it is determined that the abnormality degree is below the threshold value, an abnormal operation is performed. The output or operation is forcibly terminated.

また、端末20A〜20Nは、正常動作をログとして記録し、そのログを基にして端末毎の正常モデルを作成する。正常モデルの作成方法としては、例えば、ログの特徴から求められた特徴ベクトルの分布を正規分布や混合正規分布といった確率分布で近似する方法があるが、それらに限定されるものではない。また、端末20A〜20Nは、正常モデルの作成に用いたログ数を基に、その正常モデルがどれだけ正しいのかという信頼度を表すスコアを算出し記録する。なお、この正常モデル・スコアは、新たな動作のログが記録されるたびに、更新されるものである。   Further, the terminals 20A to 20N record normal operation as a log, and create a normal model for each terminal based on the log. As a normal model creation method, for example, there is a method of approximating the distribution of feature vectors obtained from the features of the log with a probability distribution such as a normal distribution or a mixed normal distribution, but is not limited thereto. Also, the terminals 20A to 20N calculate and record a score representing the reliability of how correct the normal model is based on the number of logs used for creating the normal model. The normal model score is updated each time a new action log is recorded.

また、端末20A〜20Nは、端末で動作が起こった際、正常モデルとその動作のログを比較することで、動作の異常度を算出する。そして、端末20A〜20Nは、異常度が予め定められた閾値を下回っていた場合に、その動作は異常であると検知する。   In addition, when an operation occurs in the terminal, the terminals 20A to 20N calculate the degree of abnormality of the operation by comparing the normal model with the log of the operation. Then, the terminals 20A to 20N detect that the operation is abnormal when the degree of abnormality is below a predetermined threshold.

このように、正常モデル統合装置10が、各端末20A〜20Nの正常モデルを効果的に統合することで、より検知精度が高い異常検知処理を行うことが可能となる。また、端末数が多い環境であっても、特定の装置に集中的な負荷をかけることなく、迅速に異常検知処理を行うことが可能である。   As described above, the normal model integration device 10 can effectively perform abnormality detection processing with higher detection accuracy by effectively integrating the normal models of the terminals 20A to 20N. Further, even in an environment with a large number of terminals, it is possible to quickly perform an abnormality detection process without applying a intensive load on a specific device.

[正常モデル統合装置の構成]
次に、図2を用いて、図1に示した正常モデル統合装置10の構成を説明する。図2は、第一の実施形態に係る正常モデル統合装置の構成を示すブロック図である。図2に示すように、正常モデル統合装置10は、通信処理部11、制御部12および記憶部13を有する。
[Configuration of normal model integration device]
Next, the configuration of the normal model integration device 10 shown in FIG. 1 will be described with reference to FIG. FIG. 2 is a block diagram illustrating a configuration of the normal model integration device according to the first embodiment. As shown in FIG. 2, the normal model integration device 10 includes a communication processing unit 11, a control unit 12, and a storage unit 13.

通信処理部11は、接続される複数の端末20A〜20Nとの間でやり取りする各種情報に関する通信を制御する。例えば、通信処理部11は、正常モデル及び正常モデルの信頼度を示すスコアを各端末20A〜20Nから受信し、統合した正常モデルを各端末20A〜20Nに対して送信する。   The communication processing unit 11 controls communication related to various types of information exchanged with the connected terminals 20A to 20N. For example, the communication processing unit 11 receives a normal model and a score indicating the reliability of the normal model from each terminal 20A to 20N, and transmits the integrated normal model to each terminal 20A to 20N.

記憶部13は、図2に示すように、正常モデル・スコア記憶部13aを有する。記憶部13は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などである。   As shown in FIG. 2, the storage unit 13 includes a normal model / score storage unit 13a. The storage unit 13 is, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk.

正常モデル・スコア記憶部13aは、各端末20A〜20Nの正常モデルと、各正常モデルの信頼度を示すスコアとを記憶する。ここで、図3を用いて、正常モデル・スコア記憶部13aに記憶される情報の一例について説明する。図3は、第一の実施形態に係る正常モデル・スコア記憶部に記憶される情報の一例を示す図である。   The normal model / score storage unit 13a stores a normal model of each of the terminals 20A to 20N and a score indicating the reliability of each normal model. Here, an example of information stored in the normal model / score storage unit 13a will be described with reference to FIG. FIG. 3 is a diagram illustrating an example of information stored in the normal model score storage unit according to the first embodiment.

図3に例示するように、正常モデル・スコア記憶部13aは、端末20を一意に識別する「端末ID」と、各端末20に設定された正常モデルである「正常モデル」と、正常モデルの信頼度を示す値である「スコア」とを対応付けて記憶する。具体的な例を挙げて説明すると、例えば、正常モデル・スコア記憶部13aは、端末ID「A」と、正常モデル「ω」と、スコア「20」とを対応付けて記憶する。 As illustrated in FIG. 3, the normal model score storage unit 13 a includes a “terminal ID” that uniquely identifies the terminal 20, a “normal model” that is a normal model set in each terminal 20, and a normal model A “score”, which is a value indicating the reliability, is stored in association with each other. For example, the normal model / score storage unit 13a stores the terminal ID “A”, the normal model “ω 1 ”, and the score “20” in association with each other.

図2に戻って、制御部12は、収集部12a、統合部12bおよび送信部12cを有する。ここで、制御部12は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などの電子回路やASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの集積回路である。   Returning to FIG. 2, the control unit 12 includes a collection unit 12a, an integration unit 12b, and a transmission unit 12c. Here, the control unit 12 is an electronic circuit such as a CPU (Central Processing Unit) or MPU (Micro Processing Unit), or an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

収集部12aは、各端末20から正常モデルを収集する。また、収集部12aは、各端末20から正常モデルとともに、各正常モデルの信頼度を示すスコアを収集する。例えば、収集部12aは、各端末20で求められた正常モデルとスコアを収集し、正常モデル・スコア記憶部13aに格納する。なお、すべての端末20のスコアが「0」であった場合には、以下で説明する正常モデルを統合する処理を行わないものとする。   The collection unit 12a collects normal models from each terminal 20. Further, the collection unit 12a collects a score indicating the reliability of each normal model together with the normal model from each terminal 20. For example, the collection unit 12a collects normal models and scores obtained by each terminal 20 and stores them in the normal model / score storage unit 13a. When the scores of all the terminals 20 are “0”, the process for integrating the normal models described below is not performed.

統合部12bは、収集部12aによって収集された各端末20の正常モデルを統合する。また、統合部12bは、スコアが大きい正常モデルほど影響が大きくなるように、各端末20の正常モデルを統合する。   The integration unit 12b integrates the normal models of the terminals 20 collected by the collection unit 12a. In addition, the integration unit 12b integrates the normal models of the terminals 20 so that the normal model having a larger score has a larger influence.

例えば、統合部12bは、収取された各端末の正常モデルを下記(1)式に従って、統合する。「ω」は、統合された正常モデルであり、「ω」は、端末kの正常モデルであり、「α」は、端末kのスコアであり、「N」は、ユーザが所有する端末数である。このような正常モデルを統合する方法として、各端末20の正常モデルのスコアによる重み付平均を行うことで、スコアが高い端末20ほど統合の際に強い影響を持つこととなる。 For example, the integration unit 12b integrates the collected normal models of the terminals according to the following equation (1). “Ω” is the integrated normal model, “ω k ” is the normal model of terminal k, “α k ” is the score of terminal k, and “N” is the terminal owned by the user Is a number. As a method for integrating such normal models, by performing weighted averaging based on the score of the normal model of each terminal 20, the terminal 20 having a higher score has a stronger influence on the integration.

Figure 2015108898
Figure 2015108898

送信部12cは、統合部12bによって統合された正常モデルを各端末20に対して送信する。このように、統合した正常モデルを各端末20に送信することで、各端末20に設定された正常モデルを入れ替えさせる。また、送信部12cが正常モデルを各端末20に送信した後は、正常モデル・スコア記憶部13aに記憶されたスコアをすべて「0」にリセットする。   The transmission unit 12 c transmits the normal model integrated by the integration unit 12 b to each terminal 20. In this way, by transmitting the integrated normal model to each terminal 20, the normal model set in each terminal 20 is replaced. After the transmission unit 12c transmits the normal model to each terminal 20, the scores stored in the normal model / score storage unit 13a are all reset to “0”.

ここで、正常モデル統合装置10における全体の処理の流れを説明する。図4は、第一の実施形態に係る正常モデル統合装置における全体の処理の流れを説明する図である。図4に示すように、正常モデル統合装置10は、各端末の正常モデル「ω」・スコアを収集する(図4の(1)参照)。そして、正常モデル統合装置10は、統合された正常モデルを作成する(図4の(2)参照)。 Here, an overall processing flow in the normal model integration device 10 will be described. FIG. 4 is a diagram for explaining the overall processing flow in the normal model integration device according to the first embodiment. As illustrated in FIG. 4, the normal model integration device 10 collects the normal model “ω k ” / score of each terminal (see (1) in FIG. 4). Then, the normal model integration device 10 creates an integrated normal model (see (2) in FIG. 4).

続いて、正常モデル統合装置10は、統合された正常モデルの各端末20への分配を行う(図4の(3)参照)。これにより、作成された正常モデルは、各端末20に分配され、既存の正常モデルと入れ替えられて、各端末20上で機能することとなる。   Subsequently, the normal model integration device 10 distributes the integrated normal models to the terminals 20 (see (3) in FIG. 4). As a result, the created normal model is distributed to each terminal 20 and is replaced with the existing normal model to function on each terminal 20.

[端末の構成]
次に、図5を用いて、図1に示した端末20の構成を説明する。図5は、第一の実施形態に係る端末の構成を示すブロック図である。図5に示すように、端末20は、通信処理部21、制御部22および記憶部23を有する。
[Terminal configuration]
Next, the configuration of the terminal 20 shown in FIG. 1 will be described with reference to FIG. FIG. 5 is a block diagram illustrating a configuration of the terminal according to the first embodiment. As illustrated in FIG. 5, the terminal 20 includes a communication processing unit 21, a control unit 22, and a storage unit 23.

通信処理部21は、接続される正常モデル統合装置10との間でやり取りする各種情報に関する通信を制御する。例えば、通信処理部21は、正常モデル及び正常モデルの信頼度を示すスコアを正常モデル統合装置10に送信し、統合した正常モデルを正常モデル統合装置10から受信する。   The communication processing unit 21 controls communication related to various types of information exchanged with the normal model integration device 10 connected thereto. For example, the communication processing unit 21 transmits a normal model and a score indicating the reliability of the normal model to the normal model integration device 10, and receives the integrated normal model from the normal model integration device 10.

記憶部23は、図5に示すように、正常モデル・スコア記憶部23aを有する。記憶部23は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などである。   As shown in FIG. 5, the storage unit 23 includes a normal model / score storage unit 23a. The storage unit 23 is, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk.

正常モデル・スコア記憶部23aは、自端末に設定された正常モデルと、正常モデルの信頼度を示すスコアとを記憶する。具体的には、正常モデル・スコア記憶部23aは、自端末に設定された正常モデルである「正常モデル」と、正常モデルの信頼度を示す値である「スコア」とを対応付けて記憶する。   The normal model / score storage unit 23a stores a normal model set in the terminal itself and a score indicating the reliability of the normal model. Specifically, the normal model / score storage unit 23a stores a “normal model” that is a normal model set in the terminal itself and a “score” that is a value indicating the reliability of the normal model in association with each other. .

制御部22は、取得部22a、変換部22b、算出部22c、判定部22dおよび出力部22eを有する。ここで、制御部22は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などの電子回路やASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの集積回路である。   The control unit 22 includes an acquisition unit 22a, a conversion unit 22b, a calculation unit 22c, a determination unit 22d, and an output unit 22e. Here, the control unit 22 is an electronic circuit such as a CPU (Central Processing Unit) or MPU (Micro Processing Unit), or an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

取得部22aは、ユーザが行った動作をログとして取得する。具体的には、取得部22aは、自端末20上での動作(例えば、端末20を介したユーザのWebアクセスの操作等)をログとして取得する。   The acquisition unit 22a acquires an operation performed by the user as a log. Specifically, the acquisition unit 22a acquires an operation on the terminal 20 (for example, a user's Web access operation via the terminal 20) as a log.

変換部22bは、取得部22aによって取得されたログを特徴ベクトルに変換する。具体的には、取得部22aによって取得されたログを、後述する算出部22cの処理に利用するために、特徴ベクトルへの変換を行う。ここで、特徴ベクトルとは、ログの特徴n次元の数ベクトルで表現したものである。   The conversion unit 22b converts the log acquired by the acquisition unit 22a into a feature vector. Specifically, the log acquired by the acquisition unit 22a is converted into a feature vector in order to be used for the processing of the calculation unit 22c described later. Here, the feature vector is expressed by a log feature n-dimensional number vector.

例えば、端末上での動作がWebアクセスである場合の特徴ベクトルの例について説明する。Webアクセスのログの場合には、そのログの特徴は、例えば「アクセス先のURLの文字列」に現れるため、変換部22bは、URLの文字列から特徴ベクトルを生成する。文字列から特徴ベクトルへ変換する方式としては、例えばN−gramによるものがある。N−gramとは、文字列の先頭から1文字ずつずらしながらn文字の組を作る方式である。   For example, an example of a feature vector when the operation on the terminal is Web access will be described. In the case of a Web access log, the characteristics of the log appear in, for example, “access destination URL character string”, and therefore the conversion unit 22b generates a feature vector from the URL character string. As a method for converting a character string into a feature vector, for example, there is an N-gram method. N-gram is a method of creating a set of n characters while shifting character by character from the beginning of a character string.

例えば、URLが「http://www.AAABBBCCC.co.jp」であって、N=7である場合には、「http://」、「ttp://w」、「tp://ww」、「p://www」・・・というように、1文字ずつずらしながら作成する。そして、要素に分割されたURLを特徴ベクトルに変換する。変換には、各要素の出現回数をそのまま特徴ベクトル方式や、回数によらず出現するかしないかに応じて「1」、「0」に対応させる方式がある。   For example, when the URL is “http://www.AAABBBCCC.co.jp” and N = 7, “http: //”, “ttp: // w”, “tp: // “ww”, “p: // www”, and so on. Then, the URL divided into elements is converted into a feature vector. For the conversion, there are a feature vector method in which the number of times each element appears as it is, and a method in which “1” and “0” are associated with each element depending on whether it appears regardless of the number of times.

算出部22cは、変換部22bによって変換された特徴ベクトルを基に、正常モデルを作成する。具体的には、算出部22cは、ユーザが所有する端末毎に、ユーザが行う正常な動作(Webアクセス等)をログとして収集し、そのログを用いて、その端末上でのユーザの正常動作の傾向・特徴を表す「正常モデル」を作成する。ここで、正常モデルの作成方法としては、特徴ベクトルの分布を正規分布や混合正規分布といった確率分布で近似する方法等があるが、それらに限定されるものではない。   The calculation unit 22c creates a normal model based on the feature vector converted by the conversion unit 22b. Specifically, for each terminal owned by the user, the calculation unit 22c collects normal operations (such as web access) performed by the user as a log, and uses the log to perform normal operation of the user on the terminal. Create a “normal model” that represents trends and features of Here, as a method for creating a normal model, there is a method of approximating the distribution of feature vectors with a probability distribution such as a normal distribution or a mixed normal distribution, but it is not limited thereto.

ここで、図6の例を用いて、正常モデル作成処理を説明する。図6は、第一の実施形態に係る端末の正常モデル作成処理を説明する図である。図6に例示するように、端末1における正常動作ログA〜Cを正常モデルを作成する算出部22cに入力し、端末1の正常モデル「ω」を作成する。正常モデルとしては、正常で動作の起こりやすさを表す確率分布等があるが、これに限定されるものではない。   Here, the normal model creation process will be described with reference to the example of FIG. FIG. 6 is a diagram illustrating a normal model creation process of the terminal according to the first embodiment. As illustrated in FIG. 6, the normal operation logs A to C in the terminal 1 are input to the calculation unit 22 c that generates a normal model, and the normal model “ω” of the terminal 1 is generated. As a normal model, there is a probability distribution or the like indicating normal and ease of operation, but is not limited to this.

ここで、正常モデルとして正規分布N(x;m,Σ)とする場合について説明する。xは特徴ベクトル、mは平均、Σは分散を表すものとする。この正常モデルは、特徴ベクトルxが表す動作を入力としたとき、その動作がどれだけ起こりやすいかという確率を出力として返す。この確率が、予め定めた閾値よりも小さい場合は、その動作を異常であると判定する。   Here, a case where the normal distribution is a normal distribution N (x; m, Σ) will be described. x is a feature vector, m is an average, and Σ is variance. In this normal model, when an operation represented by the feature vector x is input, a probability of how easily the operation occurs is returned as an output. If this probability is smaller than a predetermined threshold, it is determined that the operation is abnormal.

そして、正常動作を表す特徴ベクトルx’が与えられるたびに、正規分布の平均m、分散Σを更新する。更新の方法としては、 ベイズの法則を用いた方法が考えられる。ベイズの法則とは、P(A)をAが起こる確率、P(B|A)をAが起こったと既知の場合にBが起こる確率としたとき、「P(A|B)=P(B|A)P(A)/P(B)」の関係式が成り立つというものである。   Each time a feature vector x ′ representing normal operation is given, the average m of the normal distribution and the variance Σ are updated. As a renewal method, a method using Bayes's law can be considered. Bayes' law is defined as “P (A | B) = P (B” where P (A) is the probability that A will occur and P (B | A) is the probability that B will occur when A is known to have occurred. | A) P (A) / P (B) "is satisfied.

ここで、Bを特徴ベクトルx、Aを(m,Σ)、Pを正規分布Nとすると、左辺は正規分布Nから特徴ベクトルxが発生したと分かったときの、正規分布Nの平均・分散がm,Σである確率を表す。ベイズの法則を用いた更新方法としては、特徴ベクトルxが与えられた時に、上記の左辺を最大にするようなm,Σを選択するというものである。なお、ここでは、ベイズの法則による更新方法を説明したが、更新方法はこれに限るものではない。   Here, assuming that B is a feature vector x, A is (m, Σ), and P is a normal distribution N, the left side is the average and variance of the normal distribution N when it is known that the feature vector x has occurred from the normal distribution N Represents the probability that is m, Σ. As an update method using Bayes' law, when a feature vector x is given, m and Σ that maximize the left side are selected. Although the updating method based on Bayes' law is described here, the updating method is not limited to this.

また、正常モデルの作成に用いた特徴ベクトルは正常モデルの信頼度を表すスコアの算出に用いられ、ここでは特に、「スコア=正常モデルの作成に用いた特徴ベクトルの総数」と定める。これは、正常モデル作成に用いた特徴ベクトルの数が多いほど、それを用いた異常検知精度は一般に高くなるという特徴を利用しているものである。   The feature vector used for creating the normal model is used to calculate a score representing the reliability of the normal model. In particular, the score is defined as “score = total number of feature vectors used for creating the normal model”. This utilizes the feature that, as the number of feature vectors used for normal model creation increases, the abnormality detection accuracy using the feature vector generally increases.

判定部22dは、取得部22aによって取得されたログと正常モデル統合装置10から受信した統合正常モデルを用いて、動作の異常度合いを示す異常度を算出し、該異常度が所定の閾値を下回っているか否かを判定する。具体的には、判定部22dは、変換部22bによって変換された特徴ベクトルを正常モデルに入力して、異常度を算出し、該異常度が所定の閾値を超えるか否かを判定する。   The determination unit 22d uses the log acquired by the acquisition unit 22a and the integrated normal model received from the normal model integration device 10 to calculate an abnormality level indicating the degree of abnormal operation, and the abnormality level falls below a predetermined threshold. It is determined whether or not. Specifically, the determination unit 22d inputs the feature vector converted by the conversion unit 22b to the normal model, calculates the degree of abnormality, and determines whether the degree of abnormality exceeds a predetermined threshold.

ここで、図7を用いて、端末20の異常検知処理を説明する。図7は、第一の実施形態に係る端末の異常検知処理を説明する図である。端末20で動作した際に、正常モデルに動作のログを入力することで、動作の異常度が出力される。異常度が予め設定された閾値を下回った場合には、その動作が異常であると検知する。   Here, the abnormality detection process of the terminal 20 will be described with reference to FIG. FIG. 7 is a diagram for explaining the abnormality detection process of the terminal according to the first embodiment. When operating on the terminal 20, the operation abnormality level is output by inputting the operation log to the normal model. When the degree of abnormality falls below a preset threshold, it is detected that the operation is abnormal.

図7の例を用いて説明すると、判定部22dは、正常モデルωに動作ログDを入力し、異常度0.1が出力されたものとする。そして、異常度「0.1」が予め設定された閾値「0.2」を下回っているので、動作ログDの動作は異常であるものとして検知する。一方、異常度が閾値以上であり、正常と判定された場合には、その特徴ベクトルは前述の算出部22cに送られ、正常モデルの作成(更新)に利用される。   If it demonstrates using the example of FIG. 7, the determination part 22d shall input the operation log D to the normal model (omega), and the abnormality degree 0.1 shall be output. Since the degree of abnormality “0.1” is below the preset threshold value “0.2”, the operation of the operation log D is detected as being abnormal. On the other hand, if the degree of abnormality is greater than or equal to the threshold value and it is determined that the normality is normal, the feature vector is sent to the calculation unit 22c described above and used for creating (updating) a normal model.

出力部22eは、判定部22dによって異常度が閾値を下回っていると判定された場合には、異常な動作が行われている旨の出力、または、動作を強制終了することを行う。例えば、出力部22eは、ユーザや管理者に対して異常な動作が行われている旨を報知するために異常動作が行われていることをメッセージとして通知する処理や、動作の強制停止する処理を行う。   If the determination unit 22d determines that the degree of abnormality is below the threshold, the output unit 22e outputs that the abnormal operation is being performed, or forcibly terminates the operation. For example, the output unit 22e notifies the user or the administrator that an abnormal operation is being performed, a process for notifying that the abnormal operation is being performed as a message, or a process for forcibly stopping the operation. I do.

ここで、図8を用いて、異常検知システム100の全体の処理を説明する。図8は、第一の実施形態に係る異常検知システムの全体の処理を説明する図である。図8に示すように、正常モデル統合装置10は、各端末20A〜20Nから正常モデルおよびスコアを収集し、収集した各端末20A〜20Nの正常モデルを統合する。そして、正常モデル統合装置10は、統合した正常モデルを各端末20A〜20Nに対して送信する。   Here, the overall processing of the abnormality detection system 100 will be described with reference to FIG. FIG. 8 is a diagram for explaining the overall processing of the abnormality detection system according to the first embodiment. As shown in FIG. 8, the normal model integration device 10 collects normal models and scores from the terminals 20A to 20N, and integrates the collected normal models of the terminals 20A to 20N. Then, the normal model integration device 10 transmits the integrated normal model to each of the terminals 20A to 20N.

そして、各端末20A〜20Nは、ユーザが行った動作をログとして取得し、取得されたログと、正常モデル統合装置10から受信した正常モデルを用いて、動作の異常度を算出する。そして、各端末20A〜20Nは、算出した異常度が閾値を下回っているか否かを判定し、異常度が閾値を下回っていると判定した場合には、異常な動作が行われている旨を出力する。   And each terminal 20A-20N acquires operation | movement which the user performed as a log, and calculates the abnormal degree of operation | movement using the acquired log and the normal model received from the normal model integration apparatus 10. FIG. Then, each terminal 20A to 20N determines whether or not the calculated abnormality degree is below the threshold value, and if it is determined that the abnormality degree is below the threshold value, it indicates that an abnormal operation is being performed. Output.

このように、第一の実施形態に係る異常検知システム100では、正常モデル統合装置10が、各端末20A〜20Nの正常モデルを効果的に統合することで、より検知精度が高い異常検知処理を行うことが可能となる。また、端末数が多い環境であっても、特定の装置に集中的な負荷をかけることなく、迅速に異常検知処理を行うことが可能である。   Thus, in the abnormality detection system 100 according to the first embodiment, the normal model integration device 10 effectively integrates the normal models of the terminals 20A to 20N, thereby performing abnormality detection processing with higher detection accuracy. Can be done. Further, even in an environment with a large number of terminals, it is possible to quickly perform an abnormality detection process without applying a intensive load on a specific device.

[正常モデル統合装置による処理]
次に、図9を用いて、第一の実施形態に係る正常モデル統合装置10による処理を説明する。図9は、第一の実施形態に係る正常モデル統合装置における正常モデル統合処理の流れを説明するためのフローチャートである。
[Process by normal model integration device]
Next, processing performed by the normal model integration device 10 according to the first embodiment will be described with reference to FIG. FIG. 9 is a flowchart for explaining the flow of normal model integration processing in the normal model integration device according to the first embodiment.

図9に示すように、正常モデル統合装置10の収集部12aは、正常モデルを統合する旨の指示を受け付けると(ステップ101肯定)、各端末20の正常モデル・スコアを収集する(ステップ102)。例えば、収集部12aは、各端末20で求められた正常モデルとスコアを収集し、正常モデル・スコア記憶部13aに格納する。   As illustrated in FIG. 9, when the collection unit 12a of the normal model integration device 10 receives an instruction to integrate normal models (Yes in Step 101), the normal model score of each terminal 20 is collected (Step 102). . For example, the collection unit 12a collects normal models and scores obtained by each terminal 20 and stores them in the normal model / score storage unit 13a.

そして、統合部12bは、各端末20の正常モデルを統合する(ステップ103)。例えば、統合部12bは、収取された各端末の正常モデルを上記(1)式に従って、統合する。そして、送信部12cは、統合された正常モデルを各端末20へ分配する(ステップ104)。このように、統合した正常モデルを各端末20に送信することで、各端末20に設定された正常モデルを入れ替えさせる。また、送信部12cが正常モデルを各端末20に送信した後は、正常モデル・スコア記憶部13aに記憶されたスコアをすべて「0」にリセットする。   Then, the integration unit 12b integrates the normal models of the terminals 20 (Step 103). For example, the integration unit 12b integrates the collected normal models of each terminal according to the above equation (1). Then, the transmission unit 12c distributes the integrated normal model to each terminal 20 (step 104). In this way, by transmitting the integrated normal model to each terminal 20, the normal model set in each terminal 20 is replaced. After the transmission unit 12c transmits the normal model to each terminal 20, the scores stored in the normal model / score storage unit 13a are all reset to “0”.

[端末による処理]
次に、図10、図11を用いて、第一の実施形態に係る端末20による処理を説明する。図10は、第一の実施形態に係る端末における正常モデル送信処理の流れを説明するためのフローチャートである。図11は、第一の実施形態に係る端末における異常検知処理の流れを説明するためのフローチャートである。
[Processing by terminal]
Next, processing by the terminal 20 according to the first embodiment will be described with reference to FIGS. 10 and 11. FIG. 10 is a flowchart for explaining the flow of the normal model transmission process in the terminal according to the first embodiment. FIG. 11 is a flowchart for explaining the flow of the abnormality detection process in the terminal according to the first embodiment.

まず、図10を用いて、正常モデル送信処理の流れを説明する。図10に示すように、端末20の変換部22bは、所定の時間が経過すると(ステップ201肯定)、取得部22aによって取得されたログを特徴ベクトルに変換する(ステップ202)。例えば、変換部22bは、予め定められた所定の周期で、取得部22aによって取得されたログを、後述する算出部22cの処理に利用するために、特徴ベクトルへの変換を行う。   First, the flow of normal model transmission processing will be described with reference to FIG. As shown in FIG. 10, when the predetermined time has elapsed (Yes in Step 201), the conversion unit 22b of the terminal 20 converts the log acquired by the acquisition unit 22a into a feature vector (Step 202). For example, the conversion unit 22b performs conversion into a feature vector in order to use the log acquired by the acquisition unit 22a at a predetermined cycle, which is used for processing of the calculation unit 22c described later.

そして、算出部22cは、特徴ベクトルを基に、正常モデルを作成する(ステップ203)。具体的には、算出部22cは、ユーザが所有する端末毎に、ユーザが行う正常な動作(Webアクセス等)をログとして収集し、そのログを用いて、その端末上でのユーザの正常動作の傾向・特徴を表す「正常モデル」を作成する。その後、通信処理部21は、正常モデル統合装置10から要求があった場合等に、作成した正常モデルを正常モデル統合装置10へ送信する(ステップ204)。   Then, the calculation unit 22c creates a normal model based on the feature vector (step 203). Specifically, for each terminal owned by the user, the calculation unit 22c collects normal operations (such as web access) performed by the user as a log, and uses the log to perform normal operation of the user on the terminal. Create a “normal model” that represents trends and features of Thereafter, the communication processing unit 21 transmits the created normal model to the normal model integration device 10 when there is a request from the normal model integration device 10 (step 204).

次に、図11を用いて、異常検知処理の流れを説明する。図11に示すように、端末20の取得部22aが端末上での動作をログとして取得すると(ステップ301肯定)、変換部22bは、取得したログを特徴ベクトルに変換する(ステップ302)。   Next, the flow of the abnormality detection process will be described with reference to FIG. As shown in FIG. 11, when the acquisition unit 22a of the terminal 20 acquires the operation on the terminal as a log (Yes at Step 301), the conversion unit 22b converts the acquired log into a feature vector (Step 302).

そして、判定部22dは、特徴ベクトルを用いて異常判定処理を行う(ステップ303)。具体的には、判定部22dは、変換部22bによって変換された特徴ベクトルを正常モデルに入力して、異常度を算出し、該異常度が所定の閾値を超えるか否かを判定する。
この結果、判定部22dは、異常度が閾値より小さいか否かを判定する(ステップ304)。
Then, the determination unit 22d performs an abnormality determination process using the feature vector (step 303). Specifically, the determination unit 22d inputs the feature vector converted by the conversion unit 22b to the normal model, calculates the degree of abnormality, and determines whether the degree of abnormality exceeds a predetermined threshold.
As a result, the determination unit 22d determines whether or not the degree of abnormality is smaller than a threshold value (step 304).

この結果、判定部22dが、異常度が閾値より小さいと判定した場合には、出力部22eは、ユーザ・管理者への警告を行い、動作を強制停止する(ステップ305)。一方、判定部22dが、異常度が閾値以上であると判定した場合には、そのまま処理を終了する。なお、異常を検知した場合に、ユーザ・管理者への警告を行うことと、動作を強制停止することとを必ずしも両方する必要はなく、ユーザ・管理者への警告を行うこと、または、動作を強制停止することのいずれか一方を行うようにしてもよい。   As a result, when the determination unit 22d determines that the degree of abnormality is smaller than the threshold value, the output unit 22e warns the user / administrator and forcibly stops the operation (step 305). On the other hand, if the determination unit 22d determines that the degree of abnormality is greater than or equal to the threshold value, the process ends. When an abnormality is detected, it is not always necessary to both warn the user / administrator and forcibly stop the operation. One of the forced stop may be performed.

[第一の実施形態の効果]
上述してきたように、第一の実施形態に係る異常検知システム100では、正常モデル統合装置10は、複数の端末20のそれぞれから、正常モデル・スコアを収集し、収集された複数の正常モデルを統合して統合正常モデルを生成する。そして、正常モデル統合装置10は、統合された統合正常モデルを複数の端末20のそれぞれに対して送信する。また、複数の端末20のそれぞれは、ユーザが行った動作をログとして取得し、取得されたログと、正常モデル統合装置10から受信した統合正常モデルを用いて、動作の異常度合いを示す異常度を算出し、該異常度が所定の閾値を下回っているか否かを判定する。この結果、端末20は、異常度が閾値を下回っていると判定された場合には、異常な動作が行われている旨の出力、または、動作を強制終了することを行う。
[Effect of the first embodiment]
As described above, in the abnormality detection system 100 according to the first embodiment, the normal model integration device 10 collects the normal model score from each of the plurality of terminals 20, and uses the collected plurality of normal models. Integrate to generate an integrated normal model. Then, the normal model integration device 10 transmits the integrated integrated normal model to each of the plurality of terminals 20. In addition, each of the plurality of terminals 20 acquires the operation performed by the user as a log, and uses the acquired log and the integrated normal model received from the normal model integration device 10 to indicate the degree of abnormality of the operation. Is calculated, and it is determined whether or not the degree of abnormality is below a predetermined threshold. As a result, when it is determined that the degree of abnormality is below the threshold, the terminal 20 outputs that the abnormal operation is being performed, or forcibly terminates the operation.

これにより、第一の実施形態に係る異常検知システム100では、すべての端末の検知結果を比較することなく、各端末上で異常検知を行うことにより迅速な検知を可能とし、かつログが少ない端末に置いても高精度な異常検知を行うことが可能となる。ここで、図12および図13を用いて、従来の異常検知システムについて説明する。図12および図13は、従来の異常検知システムを説明する図である。つまり、図12に例示するように、従来の異常検知システムの一つでは、各端末の異常検知システムで算出された異常度を統合する。そして、ある端末における動作の異常判定のためには、すべての異常検知システムに、その動作ログを入力として与える必要がある。そして、各異常検知システムで判定した異常度を集約し、それらを統合して最終的に判定する。このため、端末数が多い環境においては異常検知に時間的コストを要する。   Thereby, in the abnormality detection system 100 according to the first embodiment, it is possible to perform rapid detection by performing abnormality detection on each terminal without comparing the detection results of all terminals, and a terminal with few logs. It is possible to detect anomalies with high accuracy even if it is placed. Here, a conventional abnormality detection system will be described with reference to FIGS. 12 and 13. 12 and 13 are diagrams for explaining a conventional abnormality detection system. That is, as illustrated in FIG. 12, in one of the conventional abnormality detection systems, the degree of abnormality calculated by the abnormality detection system of each terminal is integrated. Then, in order to determine an operation abnormality in a certain terminal, it is necessary to provide an operation log as an input to all abnormality detection systems. Then, the degree of abnormality determined by each abnormality detection system is collected, integrated, and finally determined. For this reason, in an environment where the number of terminals is large, it takes time to detect an abnormality.

また、図13に例示するように、従来の異常検知システムの一つでは、各端末の動作ログが一つの異常検知システムに入力される。そして、一つの異常検知システムにおいて、すべての端末の動作ログを処理するため、異常検知システムへの負荷が大きくなる。   Further, as illustrated in FIG. 13, in one of the conventional abnormality detection systems, the operation log of each terminal is input to one abnormality detection system. And since the operation log of all the terminals is processed in one abnormality detection system, the load on the abnormality detection system increases.

これに対して、第一の実施形態に係る異常検知システム100では、図14に示すように、正常モデル統合装置10が、各端末の異常検知システムの正常モデルを統合し、新たな正常モデルを作成する。作成された正常モデルは、各端末20に再分配され異常検知に利用される。このように、各端末20上で異常検知が行われるため、1つの装置に負荷が集中することはなく、また、正常モデルの統合を行うことで、すべての端末20において、迅速に高精度な異常検知を行うことが可能となる。   On the other hand, in the abnormality detection system 100 according to the first embodiment, as shown in FIG. 14, the normal model integration device 10 integrates the normal models of the abnormality detection system of each terminal, and creates a new normal model. create. The created normal model is redistributed to each terminal 20 and used for abnormality detection. As described above, since the abnormality detection is performed on each terminal 20, the load is not concentrated on one device, and the normal model is integrated to quickly and highly accurately all the terminals 20. Anomaly detection can be performed.

また、第一の実施形態に係る異常検知システム100では、スコアを考慮した正常モデルの統合を行うことで、スコアが低い正常モデルの影響を小さく、スコアが高い正常モデルの影響を大きく受けた新たな正常モデルを自動的に作成することができる。また、ログや特徴ベクトル自身ではなく正常モデルを統合するため、膨大なログの転送、膨大なログからの正常モデル作成にかかるコストを軽減できる。また、異常検知は各端末20毎に行うため、正常モデル統合装置10には判定結果の統合等に係るコストはない。   Further, in the abnormality detection system 100 according to the first embodiment, by integrating the normal models in consideration of the score, the influence of the normal model having a low score is reduced and the influence of the normal model having a high score is greatly influenced. Normal models can be created automatically. In addition, since normal models are integrated instead of logs and feature vectors themselves, it is possible to reduce the cost of transferring a huge log and creating a normal model from a huge log. Moreover, since abnormality detection is performed for each terminal 20, the normal model integration device 10 has no cost related to integration of determination results.

[システム構成等]
上記した第一の実施形態に係る異常検知システム100では、正常モデル統合装置10が各端末の正常モデルおよびスコアを収集して正常モデルを統合し、各端末に統合した正常モデルを送信する場合を説明したが、ユーザ所有の端末に正常モデル統合装置10の機能を具備させてもよい。例えば、図15に例示するように、異常検知システム100Aでは、複数の端末のうちの一つの端末20Aに、上述した正常モデル統合装置10の機能である正常モデル統合機能として、収集部12a、統合部12bおよび送信部12cを具備させる。そして、端末20Aは、各端末20B〜20Nの正常モデルおよびスコアを収集して正常モデルを統合し、各端末20B〜20Nに統合した正常モデルを送信する。
[System configuration, etc.]
In the abnormality detection system 100 according to the first embodiment described above, the normal model integration device 10 collects the normal models and scores of the terminals, integrates the normal models, and transmits the integrated normal models to the terminals. As described above, the function of the normal model integration device 10 may be provided in a user-owned terminal. For example, as illustrated in FIG. 15, in the abnormality detection system 100 </ b> A, the collection unit 12 a is integrated as a normal model integration function that is a function of the normal model integration device 10 described above, into one terminal 20 </ b> A among a plurality of terminals. The unit 12b and the transmission unit 12c are provided. Then, the terminal 20A collects the normal models and scores of the terminals 20B to 20N, integrates the normal models, and transmits the normal models integrated to the terminals 20B to 20N.

また、図16に例示するように、複数の端末200A〜200Nに、上述した正常モデル統合装置10の機能である正常モデル統合機能として、収集部12a、統合部12bおよび送信部12cを具備させてもよい。この場合には、各端末200A〜200Nは、自装置以外の端末から正常モデルおよびスコアを収集して正常モデルを統合し、自装置以外の端末に統合した正常モデルを送信する。   Further, as illustrated in FIG. 16, a plurality of terminals 200 </ b> A to 200 </ b> N are provided with a collection unit 12 a, an integration unit 12 b, and a transmission unit 12 c as normal model integration functions that are functions of the normal model integration device 10 described above. Also good. In this case, each of the terminals 200 </ b> A to 200 </ b> N collects normal models and scores from terminals other than the own apparatus, integrates the normal models, and transmits the integrated normal model to terminals other than the own apparatus.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、収集部12aと統合部12bとを統合してもよい。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。   Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured. For example, the collection unit 12a and the integration unit 12b may be integrated. Further, all or any part of each processing function performed in each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as hardware by wired logic.

また、本実施形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。   In addition, among the processes described in the present embodiment, all or part of the processes described as being performed automatically can be performed manually, or the processes described as being performed manually can be performed. All or a part can be automatically performed by a known method. In addition, the processing procedure, control procedure, specific name, and information including various data and parameters shown in the above-described document and drawings can be arbitrarily changed unless otherwise specified.

[プログラム]
また、上記実施形態において説明した正常モデル統合装置10が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、第一の実施形態に係る正常モデル統合装置10が実行する処理をコンピュータが実行可能な言語で記述したモデル統合プログラムを作成することもできる。この場合、コンピュータがモデル統合プログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるモデル統合プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されモデル統合プログラムをコンピュータに読み込ませて実行することにより上記第一の実施形態と同様の処理を実現してもよい。以下に、図2に示した正常モデル統合装置10と同様の機能を実現するモデル統合プログラムを実行するコンピュータの一例を説明する。
[program]
It is also possible to create a program that describes the processing executed by the normal model integration device 10 described in the above embodiment in a language that can be executed by a computer. For example, it is possible to create a model integration program in which the processing executed by the normal model integration device 10 according to the first embodiment is described in a language that can be executed by a computer. In this case, when the computer executes the model integration program, the same effect as in the above embodiment can be obtained. Further, the model integration program is recorded on a computer-readable recording medium, and the processing similar to that of the first embodiment is realized by recording the model integration program on the recording medium and causing the computer to read and execute the model integration program. May be. An example of a computer that executes a model integration program that implements the same function as that of the normal model integration device 10 illustrated in FIG. 2 will be described below.

図17は、モデル統合プログラムを実行するコンピュータ1000を示す図である。図17に例示するように、コンピュータ1000は、例えば、メモリ1010と、CPU1020と、ハードディスクドライブインタフェース1030と、ディスクドライブインタフェース1040と、シリアルポートインタフェース1050と、ビデオアダプタ1060と、ネットワークインタフェース1070とを有し、これらの各部はバス1080によって接続される。   FIG. 17 is a diagram illustrating a computer 1000 that executes a model integration program. As illustrated in FIG. 17, the computer 1000 includes, for example, a memory 1010, a CPU 1020, a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. These units are connected by a bus 1080.

メモリ1010は、図17に例示するように、ROM(Read Only Memory)1011及びRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、図17に例示するように、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、図17に例示するように、ディスクドライブ1100に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1100に挿入される。シリアルポートインタフェース1050は、図17に例示するように、例えばマウス1110、キーボード1120に接続される。ビデオアダプタ1060は、図17に例示するように、例えばディスプレイ1130に接続される。   The memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM 1012 as illustrated in FIG. The ROM 1011 stores a boot program such as BIOS (Basic Input Output System). The hard disk drive interface 1030 is connected to the hard disk drive 1090 as illustrated in FIG. The disk drive interface 1040 is connected to the disk drive 1100 as illustrated in FIG. For example, a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive 1100. The serial port interface 1050 is connected to, for example, a mouse 1110 and a keyboard 1120 as illustrated in FIG. The video adapter 1060 is connected to a display 1130, for example, as illustrated in FIG.

ここで、図17に例示するように、ハードディスクドライブ1090は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、上記のモデル統合プログラムは、コンピュータ1000によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ1090に記憶される。   Here, as illustrated in FIG. 17, the hard disk drive 1090 stores, for example, an OS 1091, an application program 1092, a program module 1093, and program data 1094. That is, the model integration program is stored in, for example, the hard disk drive 1090 as a program module in which a command to be executed by the computer 1000 is described.

また、上記実施形態で説明した各種データは、プログラムデータとして、例えばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020が、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出し、各種処理手順を実行する。   In addition, various data described in the above embodiment is stored as program data in, for example, the memory 1010 or the hard disk drive 1090. Then, the CPU 1020 reads the program module 1093 and the program data 1094 stored in the memory 1010 and the hard disk drive 1090 to the RAM 1012 as necessary, and executes various processing procedures.

なお、モデル統合プログラムに係るプログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してCPU1020によって読み出されてもよい。あるいは、モデル統合プログラムに係るプログラムモジュール1093やプログラムデータ1094は、ネットワーク(LAN(Local Area Network)、WAN(Wide Area Network)等)を介して接続された他のコンピュータに記憶され、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。   Note that the program module 1093 and the program data 1094 related to the model integration program are not limited to being stored in the hard disk drive 1090, but are stored in, for example, a removable storage medium and read out by the CPU 1020 via the disk drive or the like. Also good. Alternatively, the program module 1093 and the program data 1094 related to the model integration program are stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.), and the network interface 1070 is stored. Via the CPU 1020.

10 正常モデル統合装置
11、21 通信処理部
12、22 制御部
12a 収集部
12b 統合部
12c 送信部
13、23 記憶部
13a、23a 正常モデル・スコア記憶部
20、20A〜20N、200A〜200N 端末
22a 取得部
22b 変換部
22c 算出部
22d 判定部
22e 出力部
30 ネットワーク
100、100A、100B 異常検知システム
DESCRIPTION OF SYMBOLS 10 Normal model integration apparatus 11, 21 Communication processing part 12, 22 Control part 12a Collection part 12b Integration part 12c Transmission part 13, 23 Storage part 13a, 23a Normal model score storage part 20, 20A-20N, 200A-200N Terminal 22a Acquisition unit 22b Conversion unit 22c Calculation unit 22d Determination unit 22e Output unit 30 Network 100, 100A, 100B Abnormality detection system

Claims (5)

複数の端末と、統合装置とを有する異常検知システムにおいて、
前記統合装置は、
前記複数の端末のそれぞれから、正常モデルを収集する収集部と、
前記収集部によって収集された複数の正常モデルを統合して統合正常モデルを生成する統合部と、
前記統合部によって統合された統合正常モデルを前記複数の端末のそれぞれに対して送信する送信部と、
を備え、
前記複数の端末のそれぞれは、
ユーザが行った動作をログとして取得する取得部と、
前記取得部によって取得されたログと、前記統合装置から受信した統合正常モデルを用いて、前記動作の異常度合いを示す異常度を算出し、該異常度が所定の閾値を下回っているか否かを判定する判定部と、
前記判定部によって異常度が閾値を下回っていると判定された場合には、異常な動作が行われている旨の出力、または、前記動作を強制終了することを行う出力部と、
を備えることを特徴とする異常検知システム。
In an anomaly detection system having a plurality of terminals and an integrated device,
The integrated device is
A collection unit that collects normal models from each of the plurality of terminals;
An integration unit that integrates a plurality of normal models collected by the collection unit to generate an integrated normal model;
A transmission unit that transmits an integrated normal model integrated by the integration unit to each of the plurality of terminals;
With
Each of the plurality of terminals is
An acquisition unit for acquiring a user's actions as a log;
Using the log acquired by the acquisition unit and the integrated normal model received from the integration device, an abnormality level indicating the degree of abnormality of the operation is calculated, and whether or not the abnormality level is below a predetermined threshold value. A determination unit for determining;
When it is determined by the determination unit that the degree of abnormality is below a threshold, an output indicating that an abnormal operation is being performed, or an output unit that forcibly terminates the operation;
An anomaly detection system comprising:
前記収集部は、各端末から正常モデルとともに、各正常モデルの信頼度を示す値を収集し、
前記統合部は、前記値が大きい正常モデルほど影響が大きくなるように、前記各端末の正常モデルを統合することを特徴とする請求項1に記載の異常検知システム。
The collection unit collects a value indicating the reliability of each normal model together with the normal model from each terminal,
The anomaly detection system according to claim 1, wherein the integration unit integrates the normal models of the terminals so that the normal model having a larger value has a larger influence.
前記端末が、前記取得部によって取得されたログを特徴ベクトルに変換する変換部をさらに備え、
前記判定部は、前記変換部によって変換された特徴ベクトルを前記正常モデルに入力して、前記異常度を算出し、該異常度が所定の閾値を下回っているか否かを判定することを特徴とする請求項1または2に記載の異常検知システム。
The terminal further includes a conversion unit that converts the log acquired by the acquisition unit into a feature vector,
The determination unit inputs the feature vector converted by the conversion unit to the normal model, calculates the degree of abnormality, and determines whether or not the degree of abnormality is below a predetermined threshold. The abnormality detection system according to claim 1 or 2.
統合装置で実行される異常検知方法であって、
複数の端末のそれぞれから、正常モデルを収集する収集ステップと、
前記収集ステップによって収集された複数の正常モデルを統合して統合正常モデルを生成する統合ステップと、
前記統合ステップによって統合された統合正常モデルを前記複数の端末のそれぞれに対して送信する送信ステップと、
を含んだことを特徴とする異常検知方法。
An anomaly detection method executed by an integrated device,
A collection step for collecting normal models from each of a plurality of terminals;
An integration step of generating a unified normal model by integrating a plurality of normal models collected in the collecting step;
A transmitting step of transmitting the integrated normal model integrated by the integrating step to each of the plurality of terminals;
An abnormality detection method characterized by including
前記収集ステップは、前記各端末から正常モデルとともに、各正常モデルの信頼度を示す値を収集し、
前記統合ステップは、前記値が大きい正常モデルほど影響が大きくなるように、前記各端末の正常モデルを統合することを特徴とする請求項5に記載の異常検知方法。
The collecting step collects a value indicating the reliability of each normal model together with the normal model from each terminal,
The abnormality detection method according to claim 5, wherein in the integration step, the normal models of the terminals are integrated so that the normal model having the larger value has a larger influence.
JP2013250595A 2013-12-03 2013-12-03 Abnormality detection system and abnormality detection method Pending JP2015108898A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013250595A JP2015108898A (en) 2013-12-03 2013-12-03 Abnormality detection system and abnormality detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013250595A JP2015108898A (en) 2013-12-03 2013-12-03 Abnormality detection system and abnormality detection method

Publications (1)

Publication Number Publication Date
JP2015108898A true JP2015108898A (en) 2015-06-11

Family

ID=53439217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013250595A Pending JP2015108898A (en) 2013-12-03 2013-12-03 Abnormality detection system and abnormality detection method

Country Status (1)

Country Link
JP (1) JP2015108898A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017122798A1 (en) * 2016-01-14 2017-07-20 国立研究開発法人産業技術総合研究所 Target value estimation system, target value estimation method, and target value estimation program
WO2017154844A1 (en) * 2016-03-07 2017-09-14 日本電信電話株式会社 Analysis device, analysis method, and analysis program
WO2019167225A1 (en) * 2018-03-01 2019-09-06 日本電気株式会社 Information processing device, control method, and program
CN110963027A (en) * 2018-10-01 2020-04-07 丰田自动车株式会社 Abnormality detection device and control device
WO2020129610A1 (en) * 2018-12-19 2020-06-25 日本電信電話株式会社 Detection device, detection method, and detection program
WO2022176128A1 (en) * 2021-02-18 2022-08-25 日本電信電話株式会社 Analysis device, analysis system, analysis method and analysis program
WO2023228316A1 (en) * 2022-05-25 2023-11-30 日本電信電話株式会社 Detection device, detection method, and detection program

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2574682A (en) * 2016-01-14 2019-12-18 Aist System, method, and computer program for estimation of target value
US10614830B2 (en) 2016-01-14 2020-04-07 National Institute Of Advanced Industrial Science And Technology System, method, and computer program for estimation of target value
WO2017122798A1 (en) * 2016-01-14 2017-07-20 国立研究開発法人産業技術総合研究所 Target value estimation system, target value estimation method, and target value estimation program
WO2017154844A1 (en) * 2016-03-07 2017-09-14 日本電信電話株式会社 Analysis device, analysis method, and analysis program
JPWO2017154844A1 (en) * 2016-03-07 2018-07-05 日本電信電話株式会社 Analysis apparatus, analysis method, and analysis program
US11049030B2 (en) 2016-03-07 2021-06-29 Nippon Telegraph And Telephone Corporation Analysis apparatus, analysis method, and analysis program
WO2019167225A1 (en) * 2018-03-01 2019-09-06 日本電気株式会社 Information processing device, control method, and program
US11899793B2 (en) 2018-03-01 2024-02-13 Nec Corporation Information processing apparatus, control method, and program
JPWO2019167225A1 (en) * 2018-03-01 2021-03-18 日本電気株式会社 Information processing equipment, control methods, and programs
CN110963027B (en) * 2018-10-01 2023-10-13 丰田自动车株式会社 Abnormality detection device and control device
CN110963027A (en) * 2018-10-01 2020-04-07 丰田自动车株式会社 Abnormality detection device and control device
JP2020102671A (en) * 2018-12-19 2020-07-02 日本電信電話株式会社 Detection device, detection method and detection program
JP7127525B2 (en) 2018-12-19 2022-08-30 日本電信電話株式会社 DETECTION DEVICE, DETECTION METHOD, AND DETECTION PROGRAM
AU2019404523B2 (en) * 2018-12-19 2022-10-20 Nippon Telegraph And Telephone Corporation Detection device, detection method, and detection program
US11489746B2 (en) 2018-12-19 2022-11-01 Nippon Telegraph And Telephone Corporation Detection device, detection method, and detection program
CN113196707A (en) * 2018-12-19 2021-07-30 日本电信电话株式会社 Detection device, detection method, and detection program
WO2020129610A1 (en) * 2018-12-19 2020-06-25 日本電信電話株式会社 Detection device, detection method, and detection program
WO2022176128A1 (en) * 2021-02-18 2022-08-25 日本電信電話株式会社 Analysis device, analysis system, analysis method and analysis program
WO2023228316A1 (en) * 2022-05-25 2023-11-30 日本電信電話株式会社 Detection device, detection method, and detection program

Similar Documents

Publication Publication Date Title
JP2015108898A (en) Abnormality detection system and abnormality detection method
WO2017154844A1 (en) Analysis device, analysis method, and analysis program
US9569325B2 (en) Method and system for automated test and result comparison
US11210172B2 (en) System and method for information handling system boot status and error data capture and analysis
JP2018045403A (en) Abnormality detection system and abnormality detection method
US9524223B2 (en) Performance metrics of a computer system
Hong et al. DAC‐Hmm: detecting anomaly in cloud systems with hidden Markov models
EP3206367A1 (en) Techniques for detecting attacks in a publish-subscribe network
JP7127525B2 (en) DETECTION DEVICE, DETECTION METHOD, AND DETECTION PROGRAM
JPWO2016084326A1 (en) Information processing system, information processing method, and program
JP6858798B2 (en) Feature generator, feature generator and program
US20170085460A1 (en) Benchmarking servers based on production data
US20140172369A1 (en) Computer-readable recording medium, abnormality cause estimating apparatus, and abnormality cause estimating method
WO2023181241A1 (en) Monitoring server device, system, method, and program
JP2010108266A (en) Failure detection device, failure detection method, failure detection program, wordbook forming device, and failure occurrence analysis device
WO2014054233A1 (en) Performance evaluation device, method and program for information system
AU2017417179A1 (en) Alarm processing devices, methods, and systems
JP6892005B2 (en) Information processing equipment, control methods, and programs
US10649869B2 (en) Burn process data retrieval and notification
JP2017207995A (en) Service monitoring device and service monitoring method
US11271832B2 (en) Communication monitoring apparatus and communication monitoring method
US9396083B2 (en) Computer system processes
JP7176630B2 (en) DETECTION DEVICE, DETECTION METHOD AND DETECTION PROGRAM
US20170109250A1 (en) Monitoring apparatus, method of monitoring and non-transitory computer-readable storage medium
JP2018190281A (en) Data processing apparatus, data processing method, and program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20151001

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151005