JP2019103069A - Specific system, specific method and specific program - Google Patents
Specific system, specific method and specific program Download PDFInfo
- Publication number
- JP2019103069A JP2019103069A JP2017234400A JP2017234400A JP2019103069A JP 2019103069 A JP2019103069 A JP 2019103069A JP 2017234400 A JP2017234400 A JP 2017234400A JP 2017234400 A JP2017234400 A JP 2017234400A JP 2019103069 A JP2019103069 A JP 2019103069A
- Authority
- JP
- Japan
- Prior art keywords
- abnormality
- cause
- communication feature
- operation log
- specific
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
Description
本発明は、特定システム、特定方法及び特定プログラムに関する。 The present invention relates to a specific system, a specific method, and a specific program.
PC(Personal Computer)等の機器におけるマルウェア感染等による異常を検知する方法として、機器の挙動パターンと既知の異常パターンを比較して異常を検知するブラックリスト方式と、機器の挙動パターンと正常状態の挙動パターンを比較して異常を検知するホワイトリスト方式が従来から実用化されている。 As a method of detecting an abnormality due to malware infection or the like in a device such as a PC (Personal Computer), a blacklist method of detecting an abnormality by comparing the behavior pattern of the device with a known abnormality pattern, a behavior pattern of the device and a normal state Conventionally, a whitelist method for detecting abnormalities by comparing behavior patterns has been put to practical use.
また、システム負荷情報を基に異常判定を行い、異常が発生した機器で実行されている機能を特定しブラックリストに登録する一方、異常が発生していない機器で実行されている機能をホワイトリストに登録する技術が知られている。 In addition, based on system load information, it performs abnormality determination, identifies the function being executed by the device where the abnormality has occurred, and registers it in the blacklist, while whitelisting the function being performed by the device where no abnormality has occurred. Technologies to register with are known.
しかしながら、従来の技術には、未知の異常の検知と異常原因の特定を効率的に行うことができない場合があるという問題がある。例えば、ブラックリスト方式では予め異常パターンが定められているため、定められた異常パターンと合致した場合に異常原因を特定可能であるが、未知マルウェア等による異常の検知は困難である。一方、ホワイトリスト方式では正常状態と合致しない挙動パターンは全て異常として検知可能であるが、異常原因の特定は困難である。 However, the prior art has a problem that detection of unknown abnormality and identification of the cause of abnormality may not be efficiently performed. For example, in the blacklist method, since the abnormal pattern is determined in advance, the cause of the abnormality can be identified when the determined abnormal pattern is matched, but it is difficult to detect an abnormality due to unknown malware or the like. On the other hand, in the whitelist method, behavior patterns that do not match the normal state can all be detected as abnormal, but identification of the cause of the abnormality is difficult.
また、異常が発生した機器で実行されている機能を特定しブラックリストに登録し、異常が発生していない機器で実行されている機能をホワイトリストに登録する技術では、異常動作をしている機能を特定できるに過ぎず、異常原因を特定することは困難である。 Also, with the technology that identifies the function being executed on the device where the abnormality has occurred and registers it in the blacklist, and registers the function being performed on the device where the abnormality has not occurred in the whitelist, an abnormal operation is performed. It is only possible to identify the function, and it is difficult to identify the cause of abnormality.
上述した課題を解決し、目的を達成するために、本発明の特定システムは、機器の正常動作時の通信特徴量又は動作ログを収集又は学習し、機器が異常状態であることを検知するための検知モデルを生成する第1の生成部と、機器の異常原因ごとの通信特徴量又は動作ログを収集又は学習し、機器の異常原因を特定するための特定モデルを生成する第2の生成部と、前記検知モデルと第1の機器から取得した通信特徴量及び動作ログとを基に、前記第1の機器が異常状態であることを検知する検知部と、前記検知部によって前記第1の機器が異常状態であることが検知された場合、前記特定モデルと前記第1の機器から取得した通信特徴量又は動作ログとを基に、前記第1の機器の異常原因を特定する特定部と、を有することを特徴とする。 In order to solve the problems described above and achieve the purpose, the specific system of the present invention collects or learns communication feature values or operation logs during normal operation of the device, and detects that the device is in an abnormal state. First generation unit that generates a detection model of the second, and a second generation unit that collects or learns communication feature amounts or operation logs for each cause of abnormality of the device, and generates a specific model for identifying the cause of abnormality of the device A detection unit for detecting that the first device is in an abnormal state based on the detection model and the communication feature and the operation log acquired from the first device, and the first detection unit using the detection unit An identifying unit that identifies an abnormality cause of the first device based on the specific model and the communication feature or the operation log acquired from the first device when it is detected that the device is in an abnormal state; , And is characterized by.
本発明によれば、未知の異常の検知と異常原因の特定を効率的に行うことができる。 According to the present invention, detection of an unknown abnormality and identification of the cause of the abnormality can be efficiently performed.
以下に、本願に係る特定システム、特定方法及び特定プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。 Hereinafter, embodiments of a specifying system, a specifying method, and a specifying program according to the present application will be described in detail based on the drawings. The present invention is not limited by the embodiments described below.
[第1の実施形態の構成]
まず、図1を用いて、第1の実施形態に係る特定システムの構成について説明する。図1は、第1の実施形態に係る特定システムの構成の一例を示す図である。図1に示すように、特定システム1は、特定装置10、ゲートウェイ装置20及び機器30を有する。また、特定装置10及びゲートウェイ装置20は、ネットワーク2を介して通信可能に接続されている。また、機器30は、ゲートウェイ装置20と通信可能に接続されている。
Configuration of First Embodiment
First, the configuration of a specific system according to the first embodiment will be described using FIG. FIG. 1 is a diagram illustrating an example of the configuration of a specific system according to the first embodiment. As shown in FIG. 1, the identification system 1 includes an
例えば、機器30は、PC、スマートフォン等の端末装置である。ネットワーク2は、例えばインターネットである。また、ゲートウェイ装置20は、機器30と同一のLAN(Local Area Network)に接続され、機器30によって行われた通信の通信特徴量又は機器30の動作ログをキャプチャする。また、特定装置10は、ゲートウェイ装置20によってキャプチャされた通信特徴量又は動作ログを取得し、異常の検知及び異常原因の特定を行う。
For example, the
通信特徴量は、例えば、送信元IPアドレス、送信元MACアドレス、送信先IPアドレス、送信先MACアドレス、フロー数等である。また、動作ログは、実行されたプロセスのID、プロセスの実行開始時刻等である。 The communication feature amount is, for example, a transmission source IP address, a transmission source MAC address, a transmission destination IP address, a transmission destination MAC address, the number of flows, and the like. The action log is the ID of the executed process, the execution start time of the process, and the like.
図2を用いて、第1の実施形態に係る特定装置の構成について説明する。図2は、第1の実施形態に係る特定装置の構成の一例を示す図である。図2に示すように、特定装置10は、通信部11、入力部12、出力部13、記憶部14及び制御部15を有する。
The configuration of the identification device according to the first embodiment will be described with reference to FIG. FIG. 2 is a diagram illustrating an example of the configuration of the identification device according to the first embodiment. As shown in FIG. 2, the
通信部11は、ネットワークを介して、他の装置との間でデータ通信を行う。例えば、通信部11はNIC(Network Interface Card)である。入力部12は、ユーザからのデータの入力を受け付ける。入力部12は、例えば、マウスやキーボード等の入力装置である。出力部13は、画面の表示等により、データを出力する。出力部13は、例えば、ディスプレイ等の表示装置である。
The
また、入力部12及び出力部13は、それぞれ、入力インタフェース及び出力インタフェースであってもよい。例えば、入力部12及び出力部13は、特定装置10に接続された他の装置及びメモリカードやUSB(Universal Serial Bus)メモリ等のメディアとの間でデータの入力及び出力を行う。また、入力部12は、通信部11が受信したデータを入力データとして受け付けてもよい。また、出力部13は、通信部11に対してデータを出力してもよい。
The input unit 12 and the
記憶部14は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク等の記憶装置である。なお、記憶部14は、RAM(Random Access Memory)、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)等のデータを書き換え可能な半導体メモリであってもよい。記憶部14は、特定装置10で実行されるOS(Operating System)や各種プログラムを記憶する。さらに、記憶部14は、プログラムの実行で用いられる各種情報を記憶する。また、記憶部14は、検知モデル141、特定モデル142及び異常原因DB143を記憶する。
The storage unit 14 is a storage device such as a hard disk drive (HDD), a solid state drive (SSD), or an optical disk. The storage unit 14 may be a semiconductor memory capable of rewriting data such as a random access memory (RAM), a flash memory, and a non volatile static random access memory (NV SRAM). The storage unit 14 stores an operating system (OS) executed by the
検知モデル141は、機器30が異常状態であることを検知するためのモデルである。
例えば、検知モデル141は、通信特徴量又は動作ログからアノマリスコアを計算する関数及びパラメータを含む。
The detection model 141 is a model for detecting that the
For example, the detection model 141 includes functions and parameters for calculating an anomaly score from a communication feature or operation log.
特定モデル142は、機器30の異常原因を特定するためのモデルである。例えば、異常原因及び異常原因を特定するための通信特徴量又は動作ログが記載されたシグネチャファイルである。
The
異常原因DB143は、異常原因ごとの通信特徴量である。図3は、第1の実施形態に係る異常原因DBのデータ構成の一例を示す図である。図3に示すように、例えば、異常原因DB143において、「マルウェアA」という異常原因には、通信特徴量として、送信元IPアドレス「192.0.2.10」、送信元MACアドレス「00−00−5E−00−53−10」、送信先IPアドレス「192.0.2.15」、送信先MACアドレス「00−00−5E−00−53−15」等が対応付けられている。また、異常原因DB143の通信特徴量又は動作ログは、図3に示すものに限られない。例えば、異常原因DB143の通信特徴量又は動作ログは、ネットワークパケットのキャプチャデータやペイロードのフロー情報、CPU等のリソースや他のサーバにログインする際に使用するtelnetコマンド等のログ、フロー情報の組み合わせ、ネットワークインタフェース間を行き来するIP(Internet Protocol)トラフィックに関するフローログ、フローログの組み合わせ等を含んでいてもよい。
The abnormality cause
また、「DoS攻撃」という異常原因には、通信特徴量として、送信元IPアドレス「192.0.2.20」、送信元MACアドレス「00−00−5E−00−53−20」、送信先IPアドレス「10.10.0.15」、送信先MACアドレス「00−00−5E−00−53−25」等が、動作ログとして、同一送信先IPアドレスへの通信が増えていること等が対応付けられている。また、「DoS攻撃」という異常原因には、通信特徴量として、送信元IPアドレス「192.0.2.21」、送信元MACアドレス「00−00−5E−00−53−21」、送信先IPアドレス「10.20.0.25」、送信先MACアドレス「00−00−5E−00−53−26」等が、動作ログとして、同一送信先IPアドレスへの通信が増えていること等が対応付けられている。このように、異常原因DB143では、1つの異常原因に複数の異なる通信特徴量又は動作ログが対応付けられていてもよい。
In addition, as an abnormality cause of “DoS attack”, transmission source IP address “192.0.2.20”, transmission source MAC address “00-00-5E-00-53-20” as transmission feature amount, transmission Communication to the same destination IP address is increasing as the operation log for the destination IP address "10.10.0.15", destination MAC address "00-00-5E-00-53-25", etc. Etc. are associated. In addition, as an abnormality cause of “DoS attack”, transmission source IP address “192.0.2.21”, transmission source MAC address “00-00-5E-00-53-21”, transmission as a communication feature value Communication to the same destination IP address is increasing as the operation log for the destination IP address “10.20.0.25”, destination MAC address “00-00-5E-00-53-26”, etc. Etc. are associated. As described above, in the
制御部15は、特定装置10全体を制御する。制御部15は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、TPU(Tensor Processing Unit)、MPU(Micro Processing Unit)等の電子回路や、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の集積回路である。また、制御部15は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部15は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部15は、第1の生成部151、検知部152、第2の生成部153、特定部154及び格納部155を有する。
The control unit 15 controls the
第1の生成部151は、機器30の正常動作時の通信特徴量又は動作ログ(以降、正常データ)を学習し、機器30が異常状態であることを検知するための検知モデル141を生成する。例えば、第1の生成部151は、検知モデル141が、入力された通信特徴量又は動作ログと正常データとが類似していないほど高いアノマリスコアを出力するように学習を行う、又は検知モデル141が、入力された通信特徴量又は動作ログと正常データの同一性判定結果を出力するように収集を行う。
The first generation unit 151 learns a communication feature amount or an operation log (hereinafter, normal data) when the
第2の生成部153は、機器30の異常原因ごとの通信特徴量を学習し、機器30の異常原因を特定するための特定モデル142を生成する。例えば、第2の生成部153は、異常原因DB143を基に、特定モデル142が、入力された通信特徴量又は動作ログと類似する通信特徴量又は動作ログに対応付けられた異常原因を出力するように学習を行う、又は特定モデル142が、入力された通信特徴量又は動作ログと同一である通信特徴量又は動作ログに対応付けられた異常原因を出力するように収集を行う。
The
また、第2の生成部153は、異常原因ごとの通信特徴量の傾向を学習することができる。つまり、第2の生成部153は、特定モデル142に異常原因DB143に存在しない通信特徴量の組み合わせが入力された場合であっても、通信特徴量の傾向が類似する異常原因を出力できるようにすることができる。
In addition, the
検知部152は、検知モデル141と機器30から取得した通信特徴量又は動作ログとを基に、機器30が異常状態であることを検知する。例えば、検知部152は、検知対象の機器30の通信特徴量又は動作ログを検知モデル141に入力し、検知モデル141によって出力されたアノマリスコアが閾値以上である場合、機器30が異常状態であることを検知する。
The
特定部154は、検知部152によって機器30が異常状態であることが検知された場合、特定モデル142と機器30から取得した通信特徴量又は動作ログとを基に、機器30の異常原因を特定する。例えば、特定部154は、検知部152によって異常状態であることが検知された機器30の通信特徴量又は動作ログを特定モデル142に入力し、特定モデル142によって出力された異常原因を取得する。
When the detecting
また、出力部13は、機器30から取得した通信特徴量又は動作ログと特定部154によって特定された機器30の第1の異常原因とを出力する。ここで、出力部13によって出力された通信特徴量又は動作ログと第1の異常原因とに対しては、インシデントレスポンスが行われる。例えば、インシデントレスポンスは、システムの管理者が通信特徴量又は動作ログに基づいて異常原因を特定することである。そして、入力部12は、出力部13によって出力された通信特徴量又は動作ログと第1の異常原因とに基づいて行われたインシデントレスポンスによって特定された第2の異常原因の入力を受け付ける。
Further, the
ここで、特定部154が特定した第1の異常原因と、インシデントレスポンスによって特定された第2の異常原因とが同一である場合と同一でない場合とが考えられる。格納部155は、第1の異常原因と第2の異常原因とが同一でない場合、第2の異常原因と通信特徴量とを対応付けて記憶部14に格納する。 Here, it is conceivable that the first abnormality cause identified by the identification unit 154 and the second abnormality cause identified by the incident response are identical or not identical. When the first abnormality cause and the second abnormality cause are not the same, the storage unit 155 stores the second abnormality cause and the communication feature amount in the storage unit 14 in association with each other.
一方、格納部155は、第1の異常原因と第2の異常原因とが同一である場合、第1の異常原因と通信特徴量とを対応付けて記憶部14に格納する。なお、この場合、格納部155は、第2の異常原因と通信特徴量とを対応付けて記憶部14に格納してもよい。 On the other hand, when the first abnormality cause and the second abnormality cause are the same, the storage unit 155 stores the first abnormality cause and the communication feature amount in the storage unit 14 in association with each other. In this case, the storage unit 155 may store the second cause of abnormality and the communication feature amount in the storage unit 14 in association with each other.
そして、第2の生成部153は、記憶部14から取得した異常原因と通信特徴量又は動作ログとを学習する、又は記憶部14から取得した異常原因と通信特徴量又は動作ログとを収集する。これにより、特定装置10は、インシデントレスポンスの結果を特定モデル142に反映させることができる。
Then, the
例えば、検知対象の機器30の通信特徴量として、送信元IPアドレス「192.0.2.22」、送信元MACアドレス「00−00−5E−00−53−22」、送信先IPアドレス「192.0.2.27」、送信先MACアドレス「00−00−5E−00−53−27」、通信プロトコル「UDPプロトコル」が特定装置10に入力されたとする。また、この場合、当該機器30が異常状態であることが検知部152によって検知されたこととする。
For example, as communication feature quantities of the
このとき、特定部154は、通信特徴量として、送信元IPアドレス「192.0.2.22」、送信元MACアドレス「00−00−5E−00−53−22」、送信先IPアドレス「192.0.2.27」、送信先MACアドレス「00−00−5E−00−53−27」、通信プロトコル「UDPプロトコル」を、特定モデル142に入力する。そして、特定モデル142は、入力された通信特徴量に対応する異常原因として、「DoS攻撃」を出力したこととする。
At this time, the specifying unit 154 sets the transmission source IP address “192.0.2.22”, the transmission source MAC address “00-00-5E-00-53-22”, and the transmission destination IP address “as communication feature values. 192.0.2.27 ", the transmission destination MAC address" 00-00-5E-00-53-27 ", and the communication protocol" UDP protocol "are input to the
ここで、出力部13は、異常原因として「DoS攻撃」を出力し、通信特徴量として、送信元IPアドレス「192.0.2.22」、送信元MACアドレス「00−00−5E−00−53−22」、送信先IPアドレス「192.0.2.27」、送信先MACアドレス「00−00−5E−00−53−27」、通信プロトコル「UDPプロトコル」を出力する。
Here, the
その後、システム管理者は、出力部13によって出力された通信特徴量と異常原因に基づいてインシデントレスポンスを行い、異常原因が「マルウェアC」であることを特定したとする。システム管理者は、インシデントレスポンスによって特定した異常原因「マルウェアC」を、入力部12に入力する。
Thereafter, it is assumed that the system administrator performs an incident response based on the communication feature amount and the abnormality cause output by the
ここで、「DoS攻撃」は、第1の異常原因である。また、「マルウェアC」は、第1の異常原因である。このように、第1の異常原因と第2の異常原因が同一でないため、格納部155は、第2の異常原因「マルウェアC」と通信特徴量とを対応付けて記憶部14の異常原因DB143に格納する。
Here, “DoS attack” is the first cause of abnormality. Also, "malware C" is a first cause of abnormality. As described above, since the first abnormality cause and the second abnormality cause are not the same, the storage unit 155 associates the second abnormality cause “malware C” with the communication feature value, and the
前記も含め、異常検知の方法として以下の例がある。「DoS攻撃」の場合は同一の送信先IPアドレスへの通信が増えていることや前記フロー情報に含まれるデータ量が少ないことから検知可能であり、「ブルートフォース攻撃」の場合は他のサーバにログインする際に使用するtelnet通信やSSH通信を複数回行い、動作ログにおいて複数回ログイン失敗していることから検知可能であり、「ポートスキャン」の場合は正常時に通信していないポートにアクセスがあること、複数の送信先IPアドレスの同一ポートにアクセスが繰り返されていること、同一の送信先IPアドレスのあらゆるポートを順次アクセスしていることから検知可能である。また、「マルウェア」の場合は、マルウェアMIRAIを例に挙げると、前記telnet通信によりログイン成功した送信先IPアドレスとログイン情報を外部のC&C(Command and Control)サーバへ送信していること、前記C&Cサーバから前記telnet通信によりログインし悪意のあるプログラムを機器にダウンロードさせていること、前記C&Cサーバから前記機器に命令し「DoS攻撃」を行わせていることから検知可能である。 There is the following example as a method of abnormality detection including the above. In the case of "DoS attack", it can be detected from the fact that the communication to the same destination IP address is increasing and the amount of data contained in the flow information is small, and in the case of "brute force attack" other servers The telnet communication and the SSH communication which are used when logging in are performed multiple times, and it is possible to detect from login failure multiple times in the operation log, and in the case of "port scan", access a port not communicating at normal time It can be detected from the fact that the same port of a plurality of destination IP addresses is being repeated, and that every port of the same destination IP address is sequentially accessed. Further, in the case of “malware”, taking the malware MIRAI as an example, transmitting destination IP address and login information successfully logged in by the telnet communication to an external C & C (Command and Control) server, the C & C It can be detected from the fact that a malicious program is downloaded to the device by the telnet communication from the server and downloaded to the device, and that the C & C server instructs the device to perform the “DoS attack”.
[第1の実施形態の処理]
図4及び5を用いて、特定装置10の処理の流れを説明する。特定装置10の処理は、大きく初期設定フェーズと運用フェーズに分けられる。初期設定フェーズにおいて、特定装置10は、主に収集又は初期学習を行う。また、運用フェーズにおいて、特定装置10は、主に機器の異常検知及び異常原因の特定を行う。
Processing of the First Embodiment
The process flow of the
図4は、第1の実施形態に係る特定装置の初期設定フェーズにおける処理の流れを示すフローチャートである。図4に示すように、まず、第2の生成部153は、異常原因DB143に異常原因の通信特徴量又は動作ログが存在するか否かを確認する(ステップS101)。
FIG. 4 is a flowchart showing the flow of processing in the initial setting phase of the specific device according to the first embodiment. As shown in FIG. 4, first, the
ここで、異常原因DB143に異常原因の通信特徴量又は動作ログが存在する場合(ステップS101、Yes)第2の生成部153は、異常原因の収集又は初期学習を行い、特定モデル142を生成する(ステップS102)。一方、異常原因DB143に異常原因の通信特徴量又は動作ログが存在しない場合(ステップS101、No)第2の生成部153は、異常原因の収集又は初期学習を行わない。このように、第2の生成部153は、異常原因DB143に異常原因と通信特徴量又は動作ログとが記憶されている場合にのみ特定モデル142を生成することとしてもよい。
Here, if there is a communication feature amount or operation log of the abnormality cause in the abnormality cause DB 143 (Yes at step S101), the
次に、第1の生成部151は、機器の正常動作時の通信特徴量又は動作ログを基に、正常動作の収集又は初期学習を行い、検知モデル141を生成する(ステップS103)。なお、例えば、初期学習は、正常データ又は異常原因DB143に記憶された異常原因と通信特徴量又は動作ログとを基に、検知モデル141又は特定モデル142を新規生成する処理である。これに対して、例えば、再学習は、異常原因DB143に記憶された異常原因と通信特徴量又は動作ログとであって、初期学習の際に記憶されていなかった異常原因と通信特徴量又は動作ログとを基に、特定モデル142を更新する処理である。
Next, the first generation unit 151 performs normal operation collection or initial learning based on the communication feature amount or the operation log during normal operation of the device, and generates a detection model 141 (step S103). Note that, for example, initial learning is processing of newly generating the detection model 141 or the
図5は、第1の実施形態に係る特定装置の運用フェーズにおける処理の流れを示すフローチャートである。図5に示すように、まず、検知部152は、検知対象の機器30の通信特徴量又は動作ログを取得する(ステップS201)。次に、検知部152は、取得した通信特徴量又は動作ログを検知モデル141に入力する(ステップS202)。ここで、検知部152によって異常が検知されなかった場合(ステップS202、No)、処理がステップS201に戻され、検知部152は、次の検知対象の機器30の通信特徴量又は動作ログを取得する(ステップS201)。
FIG. 5 is a flowchart showing the flow of processing in the operation phase of the specific device according to the first embodiment. As illustrated in FIG. 5, first, the
一方、検知部152によって異常が検知された場合(ステップS202、Yes)、特定部154は、検知対象の機器30の通信特徴量又は動作ログを特定モデル142に入力し、異常原因を特定する(ステップS203)。そして、出力部13は、検知対象の機器30の通信特徴量又は動作ログと特定部154によって特定された異常原因を出力する(ステップS204)。そして、入力部12は、インシデントレスポンス結果の入力を受け付ける(ステップS205)。
On the other hand, when an abnormality is detected by the detection unit 152 (Step S202, Yes), the identification unit 154 inputs the communication feature amount or operation log of the
ここで、特定部154が特定した異常原因とインシデントレスポンス結果の異常原因が同一である場合(ステップS206、Yes)、処理がステップS201に戻され、検知部152は、次の検知対象の機器30の通信特徴量及び動作ログを取得する(ステップS201)。
Here, when the abnormality cause identified by the identification unit 154 and the abnormality cause of the incident response result are the same (Yes at step S206), the process returns to step S201, and the
一方、特定部154が特定した異常原因とインシデントレスポンス結果の異常原因が同一でない場合(ステップS206、No)、格納部155は、インシデントレスポンス結果の異常原因を検知対象の機器30の通信特徴量又は動作ログとともに異常原因DB143に格納する(ステップS207)。
On the other hand, when the abnormality cause specified by the identification unit 154 and the abnormality cause of the incident response result are not the same (step S206, No), the storage unit 155 detects the communication cause of the
ここで、初期設定フェーズにおける異常原因の収集又は初期学習(図4のステップS102)が実行済みである場合(ステップS208、Yes)、第2の生成部153は、異常原因DB143から異常原因と通信特徴量又は動作ログとを取得し、異常原因の収集又は再学習を行う(ステップS209)。
Here, if the collection or initial learning of the abnormal cause in the initial setting phase (step S102 in FIG. 4) has already been executed (step S208, Yes), the
一方、初期設定フェーズにおける異常原因の初期学習(図4のステップS102)が実行済みでない場合(ステップS208、No)、第2の生成部153は、異常原因DB143から異常原因と通信特徴量又は動作ログとを取得し、異常原因の収集又は初期学習を行う(ステップS210)。
On the other hand, if the initial learning of the cause of the abnormality (step S102 in FIG. 4) in the initial setting phase has not been executed (No in step S208), the
異常原因の収集又は再学習(ステップS209)もしくは収集又は初期学習(ステップS210)が行われると、処理がステップS201に戻され、検知部152は、次の検知対象の機器30の通信特徴量又は動作ログを取得する(ステップS201)。
When the collection or relearning of the cause of the abnormality (step S209) or the collection or the initial learning (step S210) is performed, the process returns to step S201, and the
[第1の実施形態の効果]
第1の生成部151は、機器30の正常動作時の通信特徴量又は動作ログを学習し、機器30が異常状態であることを検知するための検知モデル141を生成する。第2の生成部153は、機器30の異常原因ごとの通信特徴量又は動作ログを収集又は学習し、機器30の異常原因を特定するための特定モデル142を生成する。検知部152は、検知モデル141と機器30から取得した通信特徴量又は動作ログとを基に、機器30が異常状態であることを検知する。特定部154は、検知部152によって機器30が異常状態であることが検知された場合、特定モデル142と機器30から取得した通信特徴量又は動作ログとを基に、機器30の異常原因を特定する。
[Effect of First Embodiment]
The first generation unit 151 learns a communication feature amount or an operation log at the time of normal operation of the
このように、特定システム1は、異常の検知及び異常原因の特定を両立可能なアーキテクチャを有する。例えば、特定システム1は、ホワイトリスト方式を利用した異常検知及びブラックリスト方式を利用した異常原因の特定の両方を行うことができる。また、特定装置10は、異常が検知された場合にのみ異常原因の特定を行うことができるため、異常原因の特定に要する処理負荷を低減させることができる。このため、本実施形態によれば、未知の異常の検知と異常原因の特定を効率的に行うことができる。
Thus, the specific system 1 has an architecture capable of both detecting the abnormality and identifying the cause of the abnormality. For example, the identification system 1 can perform both the abnormality detection using the whitelist method and the identification of the abnormality cause using the blacklist method. In addition, since the
出力部13は、機器30から取得した通信特徴量又は動作ログと特定部154によって特定された機器30の第1の異常原因とを出力する。入力部12は、出力部13によって出力された通信特徴量又は動作ログと第1の異常原因とに基づいて行われたインシデントレスポンスによって特定された第2の異常原因の入力を受け付ける。格納部155は、第1の異常原因と第2の異常原因とが同一でない場合、第2の異常原因と通信特徴量又は動作ログとを対応付けて記憶部14に格納する。第2の生成部153は、記憶部14から取得した異常原因と通信特徴量又は動作ログとを収集又は学習する。
The
インシデントレスポンスにおいては、システム管理者等の知見及び既存の異常原因特定手法を用いた精度の高い異常原因の特定が行われることが考えられる。このため、本実施形態では、インシデントレスポンスの結果を異常原因の特定のためのモデルに反映させることで、特定システム1による異常原因の特定精度を向上させることができる。 In the incident response, it is conceivable that identification of a highly accurate abnormality cause is performed using knowledge of a system administrator or the like and an existing abnormality cause identification method. For this reason, in the present embodiment, by reflecting the result of the incident response on the model for identifying the cause of abnormality, it is possible to improve the identification accuracy of the cause of abnormality by the specific system 1.
第2の生成部153は、異常原因DB143に異常原因と通信特徴量又は動作ログとが記憶されている場合にのみ特定モデル142を生成することとしてもよい。これにより、特定システム1は、異常原因DB143に異常原因と通信特徴量又は動作ログとが記憶されていない場合であっても処理を開始することができる。
The
なお、この場合は、インシデントレスポンスによって特定された異常原因が異常原因DB143に格納され、当該異常原因に基づく学習が行われることで、特定システム1による異常原因の特定が可能となる。
In this case, the abnormal cause identified by the incident response is stored in the
[その他の実施形態]
特定システム1の装置構成は、図1のものに限られない。例えば、特定システム1は、第1の生成部151及び検知部152に相当する機能を備えた検知装置と、第2の生成部153及び特定部154に相当する機能を備えた特定装置とを有するものであってもよい。また、特定装置10は、ゲートウェイ装置20を経由せずに、直接機器30の通信特徴量又は動作ログを取得してもよい。
Other Embodiments
The device configuration of the specific system 1 is not limited to that of FIG. For example, the identification system 1 includes a detection device having a function corresponding to the first generation unit 151 and the
また、これまでの説明における「通信特徴量又は動作ログ」は、「通信特徴量」、「動作ログ」又は「通信特徴量及び動作ログ」に置き換えてもよい。例えば、検知モデル141は、通信特徴量及び動作ログの両方から生成されたものであってもよい。また、例えば、異常原因DB143には、異常原因と動作ログが記憶されていてもよい。
Also, the “communication feature or operation log” in the above description may be replaced with “communication feature”, “operation log” or “communication feature and operation log”. For example, the detection model 141 may be generated from both the communication feature and the operation log. Further, for example, the
例えば、第1の生成部151は、機器30の正常動作時の動作ログを学習し、機器30が異常状態であることを検知するための検知モデル141を生成する。第2の生成部153は、機器30の異常原因ごとの通信特徴量を収集又は学習し、機器30の異常原因を特定するための特定モデル142を生成する。検知部152は、検知モデル141と機器30から取得した動作ログとを基に、機器30が異常状態であることを検知する。特定部154は、検知部152によって機器30が異常状態であることが検知された場合、特定モデル142と機器30から取得した通信特徴量とを基に、機器30の異常原因を特定する。
For example, the first generation unit 151 learns an operation log at the time of normal operation of the
[システム構成等]
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
[System configuration etc.]
Further, each component of each device illustrated in the drawings is functionally conceptual, and does not necessarily have to be physically configured as illustrated. That is, the specific form of the dispersion and integration of each device is not limited to that shown in the drawings, and all or a part thereof is functionally or physically dispersed in any unit depending on various loads, usage conditions, etc. It can be integrated and configured. Furthermore, all or any part of each processing function performed in each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as wired logic hardware.
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。 Also, among the processes described in the present embodiment, all or part of the process described as being automatically performed can be manually performed, or the process described as being manually performed. All or part of them can be automatically performed by a known method. In addition to the above, the processing procedures, control procedures, specific names, and information including various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified.
[プログラム]
一実施形態として、特定装置10は、パッケージソフトウェアやオンラインソフトウェアとして上記の異常検知処理及び異常原因の特定処理を実行する特定プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の特定プログラムを情報処理装置に実行させることにより、情報処理装置を特定装置10として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはサーバ機器、スマートフォン、携帯電話機やPHS(Personal Handyphone System)等の移動体通信端末、さらには、PDA(Personal Digital Assistant)等のスレート端末等がその範疇に含まれる。
[program]
In one embodiment, the
また、特定装置10は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の異常検知処理及び異常原因の特定処理に関するサービスを提供する特定サーバ装置として実装することもできる。例えば、特定サーバ装置は、機器の通信特徴量及び動作ログを入力とし、異常状態であるか否か及び異常状態であった場合の異常原因を出力とする特定サービスを提供するサーバ装置として実装される。この場合、特定サーバ装置は、Webサーバとして実装することとしてもよいし、アウトソーシングによって上記の異常検知処理及び異常原因の特定処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。
The
図6は、特定プログラムを実行するコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
FIG. 6 is a diagram illustrating an example of a computer that executes a specific program. The
メモリ1010は、ROM(Read Only Memory)1011及びRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1100に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1100に挿入される。シリアルポートインタフェース1050は、例えばマウス1110、キーボード1120に接続される。ビデオアダプタ1060は、例えばディスプレイ1130に接続される。
The
ハードディスクドライブ1090は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、特定装置10の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール1093として実装される。プログラムモジュール1093は、例えばハードディスクドライブ1090に記憶される。例えば、特定装置10における機能構成と同様の処理を実行するためのプログラムモジュール1093が、ハードディスクドライブ1090に記憶される。なお、ハードディスクドライブ1090は、SSDにより代替されてもよい。
The hard disk drive 1090 stores, for example, an
また、上述した実施形態の処理で用いられる設定データは、プログラムデータ1094として、例えばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020は、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して、上述した実施形態の処理を実行する。
The setting data used in the process of the above-described embodiment is stored as
なお、プログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ1100等を介してCPU1020によって読み出されてもよい。あるいは、プログラムモジュール1093及びプログラムデータ1094は、ネットワーク(LAN、WAN(Wide Area Network)等)を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール1093及びプログラムデータ1094は、他のコンピュータから、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
The
1 特定システム
2 ネットワーク
10 特定装置
11 通信部
12 入力部
13 出力部
14 記憶部
15 制御部
20 ゲートウェイ装置
30 機器
141 検知モデル
142 特定モデル
143 異常原因DB
151 第1の生成部
152 検知部
153 第2の生成部
154 特定部
155 格納部
DESCRIPTION OF SYMBOLS 1
151
Claims (5)
機器の異常原因ごとの通信特徴量又は動作ログを収集又は学習し、機器の異常原因を特定するための特定モデルを生成する第2の生成部と、
前記検知モデルと第1の機器から取得した通信特徴量又は動作ログとを基に、前記第1の機器が異常状態であることを検知する検知部と、
前記検知部によって前記第1の機器が異常状態であることが検知された場合、前記特定モデルと前記第1の機器から取得した通信特徴量又は動作ログとを基に、前記第1の機器の異常原因を特定する特定部と、
を有することを特徴とする特定システム。 A first generation unit that collects or learns a communication feature or operation log during normal operation of the device, and generates a detection model for detecting that the device is in an abnormal state;
A second generation unit that collects or learns a communication feature amount or an operation log for each malfunction cause of the device, and generates a specific model for identifying the malfunction cause of the device;
A detection unit configured to detect that the first device is in an abnormal state based on the detection model and a communication feature or operation log acquired from the first device;
When the detection unit detects that the first device is in an abnormal state, the first device is detected based on the specific model and the communication feature or the operation log acquired from the first device. A specific part that identifies the cause of the abnormality;
A specific system characterized by having:
前記出力部によって出力された前記通信特徴量又は前記動作ログと前記第1の異常原因とに基づいて行われたインシデントレスポンスによって特定された第2の異常原因の入力を受け付ける入力部と、
前記第1の異常原因と前記第2の異常原因とが同一でない場合、前記第2の異常原因と前記通信特徴量又は前記動作ログとを対応付けて記憶部に格納する格納部と、
をさらに有し、
前記第2の生成部は、前記記憶部から取得した異常原因と通信特徴量又は動作ログとを学習することを特徴とする請求項1に記載の特定システム。 An output unit that outputs the communication feature amount or operation log acquired from the first device and the first cause of abnormality of the first device identified by the identification unit;
An input unit that receives an input of a second abnormality cause specified by an incident response performed based on the communication feature amount output by the output unit or the operation log and the first abnormality cause;
A storage unit that stores the second abnormality cause and the communication feature amount or the operation log in the storage unit in association with each other when the first abnormality cause and the second abnormality cause are not the same;
And have
The identification system according to claim 1, wherein the second generation unit learns the cause of abnormality acquired from the storage unit and the communication feature amount or the operation log.
機器の正常動作時の通信特徴量又は動作ログを学習し、機器が異常状態であることを検知するための検知モデルを生成する第1の収集工程又は学習工程と、
機器の異常原因ごとの通信特徴量又は動作ログを収集又は学習し、機器の異常原因を特定するための特定モデルを生成する第2の収集工程又は学習工程と、
前記検知モデルと第1の機器から取得した通信特徴量又は動作ログとを基に、前記第1の機器が異常状態であることを検知する検知工程と、
前記検知工程によって前記第1の機器が異常状態であることが検知された場合、前記特定モデルと前記第1の機器から取得した通信特徴量又は動作ログとを基に、前記第1の機器の異常原因を特定する特定工程と、
を含んだことを特徴とする特定方法。 A specific method implemented in a specific system,
A first collecting step or learning step of learning a communication feature amount or an operation log during normal operation of the device, and generating a detection model for detecting that the device is in an abnormal state;
A second collecting step or learning step of collecting or learning the communication feature value or operation log for each device abnormality cause, and generating a specific model for identifying the device abnormality cause;
A detection step of detecting that the first device is in an abnormal state based on the detection model and a communication feature or operation log acquired from the first device;
When it is detected in the detection step that the first device is in an abnormal state, the first device is detected based on the specific model and the communication feature or operation log acquired from the first device. A specific process of identifying the cause of abnormality;
Specific method characterized in that it contains.
機器の正常動作時の通信特徴量又は動作ログを学習し、機器が異常状態であることを検知するための検知モデルを生成する第1の生成ステップと、
機器の異常原因ごとの通信特徴量又は動作ログを収集又は学習し、機器の異常原因を特定するための特定モデルを生成する第2の生成ステップと、
前記検知モデルと第1の機器から取得した通信特徴量又は動作ログとを基に、前記第1の機器が異常状態であることを検知する検知ステップと、
前記検知ステップによって前記第1の機器が異常状態であることが検知された場合、前記特定モデルと前記第1の機器から取得した通信特徴量とを基に、前記第1の機器の異常原因を特定する特定ステップと、
を実行させることを特徴とする特定プログラム。 On the computer
A first generation step of learning a communication feature amount or an operation log at the time of normal operation of the device, and generating a detection model for detecting that the device is in an abnormal state;
A second generation step of collecting or learning communication feature quantities or operation logs for each device abnormality cause, and generating a specific model for identifying the device abnormality cause;
Detecting that the first device is in an abnormal state based on the detection model and a communication feature or operation log acquired from the first device;
When it is detected in the detection step that the first device is in an abnormal state, the cause of the abnormality of the first device is determined based on the specific model and the communication feature obtained from the first device. Specific steps to identify,
A specific program characterized by causing it to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017234400A JP6864610B2 (en) | 2017-12-06 | 2017-12-06 | Specific system, specific method and specific program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017234400A JP6864610B2 (en) | 2017-12-06 | 2017-12-06 | Specific system, specific method and specific program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019103069A true JP2019103069A (en) | 2019-06-24 |
JP6864610B2 JP6864610B2 (en) | 2021-04-28 |
Family
ID=66977239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017234400A Active JP6864610B2 (en) | 2017-12-06 | 2017-12-06 | Specific system, specific method and specific program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6864610B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021014592A1 (en) * | 2019-07-23 | 2021-01-28 | ||
WO2021192191A1 (en) * | 2020-03-27 | 2021-09-30 | 日本電気株式会社 | Abnormal access prediction system, abnormal access prediction method, and program recording medium |
WO2024003995A1 (en) * | 2022-06-27 | 2024-01-04 | 日本電信電話株式会社 | Abnormality detection device, abnormality detection method, and abnormality detection program |
JP7413924B2 (en) | 2020-05-25 | 2024-01-16 | 富士フイルムビジネスイノベーション株式会社 | Information processing device and information processing program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016143104A (en) * | 2015-01-30 | 2016-08-08 | 株式会社日立ハイテクノロジーズ | Utilization data classification device |
WO2017154844A1 (en) * | 2016-03-07 | 2017-09-14 | 日本電信電話株式会社 | Analysis device, analysis method, and analysis program |
-
2017
- 2017-12-06 JP JP2017234400A patent/JP6864610B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016143104A (en) * | 2015-01-30 | 2016-08-08 | 株式会社日立ハイテクノロジーズ | Utilization data classification device |
WO2017154844A1 (en) * | 2016-03-07 | 2017-09-14 | 日本電信電話株式会社 | Analysis device, analysis method, and analysis program |
Non-Patent Citations (1)
Title |
---|
及川 達也 外4名: "統計的クラスタリング手法によるネットワーク異常状態の検出", 電子情報通信学会技術研究報告, vol. 102, no. 351, JPN6020046630, 24 September 2002 (2002-09-24), JP, pages 83 - 88, ISSN: 0004402255 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021014592A1 (en) * | 2019-07-23 | 2021-01-28 | ||
JP7184197B2 (en) | 2019-07-23 | 2022-12-06 | 日本電信電話株式会社 | Abnormality detection device, abnormality detection method and abnormality detection program |
WO2021192191A1 (en) * | 2020-03-27 | 2021-09-30 | 日本電気株式会社 | Abnormal access prediction system, abnormal access prediction method, and program recording medium |
JP7413924B2 (en) | 2020-05-25 | 2024-01-16 | 富士フイルムビジネスイノベーション株式会社 | Information processing device and information processing program |
WO2024003995A1 (en) * | 2022-06-27 | 2024-01-04 | 日本電信電話株式会社 | Abnormality detection device, abnormality detection method, and abnormality detection program |
Also Published As
Publication number | Publication date |
---|---|
JP6864610B2 (en) | 2021-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8370933B1 (en) | Systems and methods for detecting the insertion of poisoned DNS server addresses into DHCP servers | |
JP6864610B2 (en) | Specific system, specific method and specific program | |
US11356467B2 (en) | Log analysis device, log analysis method, and log analysis program | |
US11184363B2 (en) | Securing network-based compute resources using tags | |
US20230362182A1 (en) | Abnormality sensing device and abnormality sensing method | |
CN109558207B (en) | System and method for forming log for anti-virus scanning of file in virtual machine | |
JP6491356B2 (en) | Classification method, classification device, and classification program | |
JP6050162B2 (en) | Connection destination information extraction device, connection destination information extraction method, and connection destination information extraction program | |
US20210160259A1 (en) | System for automated signature generation and refinement | |
JP6915305B2 (en) | Detection device, detection method and detection program | |
US20200342109A1 (en) | Baseboard management controller to convey data | |
JP6787861B2 (en) | Sorting device | |
JP7052602B2 (en) | Generator, generation method and generation program | |
JP6683655B2 (en) | Detection device and detection method | |
CN110659478A (en) | Method for detecting malicious files that prevent analysis in an isolated environment | |
JP6708575B2 (en) | Classification device, classification method, and classification program | |
US20190325136A1 (en) | Analysis apparatus, analysis method, and analysis program | |
US11928208B2 (en) | Calculation device, calculation method, and calculation program | |
JP2018120308A (en) | Classification apparatus, classification method and classification program | |
JP6676790B2 (en) | Request control device, request control method, and request control program | |
JP7176630B2 (en) | DETECTION DEVICE, DETECTION METHOD AND DETECTION PROGRAM | |
JP7405162B2 (en) | Analytical systems, methods and programs | |
JP2018169897A (en) | Detection apparatus, detection method, and detection program | |
JP2019022066A (en) | Detection system, detection method, and detection program | |
US20210044568A1 (en) | Specifying system and specifying method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210402 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6864610 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |