JP2017211978A - 業務処理システム監視装置および監視方法 - Google Patents

業務処理システム監視装置および監視方法 Download PDF

Info

Publication number
JP2017211978A
JP2017211978A JP2017006126A JP2017006126A JP2017211978A JP 2017211978 A JP2017211978 A JP 2017211978A JP 2017006126 A JP2017006126 A JP 2017006126A JP 2017006126 A JP2017006126 A JP 2017006126A JP 2017211978 A JP2017211978 A JP 2017211978A
Authority
JP
Japan
Prior art keywords
terminal
computer
probability
computers
business processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017006126A
Other languages
English (en)
Other versions
JP6774881B2 (ja
Inventor
信隆 川口
Nobutaka Kawaguchi
信隆 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JP2017211978A publication Critical patent/JP2017211978A/ja
Application granted granted Critical
Publication of JP6774881B2 publication Critical patent/JP6774881B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】複数のコンピュータを含む業務処理システムに対する攻撃を検出し、その攻撃による影響を分析できるようにすること。【解決手段】業務処理システム監視装置10は、複数のコンピュータ51A〜51Fを含む業務処理システム50を監視する。本装置10は、業務処理に関連して複数のコンピュータで実行される活動およびその活動の重要度を管理する活動管理部200と、各コンピュータに対する攻撃を検知する検知部210と、各コンピュータで実行される情報処理活動の重要度100と、各コンピュータのシステム構成130と、検知部による検知結果110とに基づいて、一つ以上のコンピュータに対する攻撃の影響を分析する影響分析部220とを備える。【選択図】図1

Description

本発明は、業務処理システム監視装置および監視方法に関する。
情報漏洩や不正アクセス等の脅威をもたらすコンピュータウイルスやスパイウェア、ボットプログラムといった悪意ある不正プログラム(マルウェア)が増加している。マルウェアの脅威からシステムやネットワークを守るには、最初に、マルウェアを検知する必要がある。
ここで、マルウェア検知には様々な方式があるが、方式によっては検知に時間がかかるという課題がある。また、高度なマルウェアに対しては検知精度が低下するという課題がある。さらに近年、高度なマルウェアを巧みに活用して特定の官庁や企業、組織のネットワークへ侵入し、機密情報の窃取やシステム破壊を行う「標的型攻撃」が、セキュリティ上の大きな脅威となっている。
これらのマルウェアや標的型攻撃による被害を最小化するには、感染を抑制する仕組みが必要である。つまり、ソフトウェアの脆弱性等を悪用して初期感染端末からネットワーク内の他端末へ感染する活動を検知し、攻撃の影響範囲を分析し、分析結果を基に対処を決定し、決定した対処を実施する、といった仕組みが必要となる。
特に、影響範囲の分析は、効果的、効率的な攻撃対処の実現に必要である。影響範囲の分析とは、検知結果やシステムで行われているミッション(業務内容)を基に、攻撃被害を受けている可能性がある端末や今後被害を受ける可能性がある端末を特定する、ことである。
特許文献1では、サイバー攻撃を実行する複数の攻撃シーケンスを攻撃シナリオとして保持し、現状のイベントが攻撃シナリオに一致するか否かを分析することで、検知装置により未だ検知されていない攻撃や被害を受けている端末を抽出する。そして、特許文献1では、抽出した攻撃に対して、対策データベースに格納されている対策を実施する。
特許文献2では、攻撃されていることが検知された端末を基準に、その端末から影響を受けている可能性のある端末を特定する。特許文献2では、ネットワークを通じて基準端末へアクセスした履歴を持つ端末や、その基準端末からアクセスされた履歴を持つ端末を、影響を受けている可能性がある端末として特定する。
非特許文献1では、マルウェアに感染した端末において、どのリソース(ファイル・プロセス)が汚染されているのかを、ベイジアンネットワークにより推定する。非特許文献1では、汚染が確定しているリソースと、推定対象リソース間とのインタラクション(ファイルのリード/ライト等)のタイミング等を基に、汚染されたかを推定する。
特開2015−121968号公報 国際公開第2015/140843号
Yuan Yang, et al, "Identifying Intrusion Infections via Probabilistic Inference on Bayesian Network," In Proc. of DIMVA2015, July, 2015.
従来技術では、複数の端末を含む業務処理システムにおいて、複数の端末をまたがった任意の攻撃により被害を受ける端末を正確に特定するのは難しい。
特許文献1では、攻撃シナリオに従って影響範囲を特定するため、攻撃シナリオに含まれない攻撃に対しては対応できない。特許文献2では、通信状況のみを用いて影響の有無を分析しており、各端末の活動状況やシステム構成、防衛対象の業務システムのミッションを全く考慮していない。したがって、特許文献2も、高精度に影響範囲を特定することは難しい。
なお、非特許文献1は、単一の端末内において、被害を受けているリソースを特定する技術であり、複数の端末を含む業務処理システムに対応していない。
本発明は、上述の課題に鑑みてなされたもので、その目的は、複数のコンピュータを含む業務処理システムに対する攻撃を検出し、その攻撃による影響を分析できるようにした業務処理システム監視装置および監視方法を提供することにある。
上記課題を解決すべく、本発明の一つの観点に従う業務処理システム監視装置は、複数のコンピュータを含む業務処理システムを監視する装置であって、業務処理に関連して複数のコンピュータで実行される活動およびその活動の重要度を管理する活動管理部と、各コンピュータに対する攻撃を検知する検知部と、各コンピュータで実行される情報処理活動の重要度と、各コンピュータのシステム構成と、検知部による検知結果とに基づいて、各コンピュータのうちいずれか一つ以上のコンピュータに対する攻撃の影響を分析する影響分析部と、を備える。
影響分析部は、各コンピュータのうち、攻撃が検知された第1コンピュータと、未だ検知されていないが攻撃されている可能性のある第2コンピュータを検出し、第2コンピュータが攻撃されている確率を算出することもできる。
本発明によれば、各コンピュータで実行される情報処理活動の重要度と、各コンピュータのシステム構成と、攻撃の検知結果とに基づいて、コンピュータに対する攻撃の影響を分析することができる。
業務処理システムと「業務処理システム監視装置」としてのミッション保証装置とを含む全体システムの概要を示す説明図である。 ミッション保証装置の構成を示す図である。 影響分析のシナリオを示す図である。 ミッション関連活動データベースのレコード例を示す図である。 検知データベースのレコード例を示す図である。 活動内容データベースのレコード例を示す図である。 システム構成データベースのレコード例を示す図である。 脆弱性情報データベースのレコード例を示す図である。 ネットワーク接続性データベースのレコード例を示す図である。 攻撃パターンデータベースのレコード例を示す図である。 関係ネットワークデータベースのレコード例を示す図である。 被害推定・被害予測データベースのレコード例を示す図である。 影響分析部の処理概要を示す図である。 被害推定関係ネットワーク構築部の処理手順を示す図である。 被害予測関係ネットワーク構築部の処理手順を示す図である。 影響分析結果を表示する画面の例を示す図である。 不審活動の同期性についての説明図である。
以下、図面に基づいて、本発明の実施の形態を説明する。本実施形態に係る業務処理システム監視装置は、防衛対象の業務処理システム50におけるミッションと、各端末51の活動状況と、各端末のシステム構成に関する情報とに基づいて、攻撃対象となりやすい端末や攻撃被害を受けている端末との共通項が多い端末を特定する。
本実施形態の業務処理システム監視装置は、攻撃が業務処理システムに及ぼす影響を分析する影響分析部を持つ。影響分析部は、業務処理システムに含まれる複数の端末の中から、攻撃被害を受けている可能性がある被害推定端末と、現在は攻撃されていないが将来攻撃される可能性のある被害予測端末とを特定する。さらに、本実施形態の業務処理システム監視装置は、攻撃を検知する機能、攻撃への対処を導出する機能、対処を実施する機能を備える。
本実施形態の業務処理システム監視装置は、業務処理システムで行われるミッション(業務内容)を把握し、攻撃発生時の影響を分析することで、攻撃に対する効果的な対策を実現する。本実施形態の業務処理システム監視装置によれば、標的型攻撃やマルウェア活動の影響を適切に分析でき、効果的な対処へ繋げることができる。
図1〜図17を用いて第1実施例を説明する。図1は、「業務処理システム監視装置」の一例としてのミッション保証装置10と、防衛対象の業務処理システム50とを含む全体システムの概略図である。図2は、ミッション保証装置10の構成例を示す。
ミッション保証装置10は、通信ネットワーク40を介して、業務処理システム50内の各端末51A〜51Fと接続されている。さらに、ミッション保証装置10は、通信ネットワーク40を監視するネットワークセンサ20とも接続されている。ミッション保証装置10は、通信ネットワーク40およびシステム端末51A〜51Fを介して、システム端末51A〜51Fをそれぞれ監視する端末センサ30と接続されている。
本実施例では、6台のシステム端末51A〜51Fから構成される業務処理システム50において、3台のシステム端末51A〜51Cにおいて攻撃が検知された場合の、分析および対処について述べる。残りの3台のシステム端末51D〜51Fに対する攻撃の影響を分析する方法について詳述する。システム端末51A〜51Fは、「コンピュータ」の例である。以下、システム端末を「端末」と略記する。
なお、以下では、攻撃による被害が確定的である端末を被害確定端末51A〜51Cと、攻撃による被害を受けている可能性がある端末を被害推定端末51Dと、今後被害を受ける可能性がある端末を被害予測端末51Eと、呼ぶ。端末51Fは、攻撃とは無関係の端末である。各端末51A〜51Fを特に区別しない場合は、端末51と呼ぶ。
(システム概要)
ミッション保証装置10は、例えば、ミッション関連活動の導出(200)、攻撃の検知(210)、攻撃による影響の分析(220)、分析結果に基づく対処の導出(230)、対処の実施(240)という5つの処理を担う。
さらに、ミッション保証装置10は、ミッション関連活動DB100、検知DB110、活動内容DB120、システム構成DB130、脆弱性情報DB140、ネットワーク接続性情報DB150、攻撃パターンDB160、ナレッジDB170、関係ネットワークDB180、および被害推定・被害予測DB190を備える。図中では、「DB」という語句を省略して表示する場合がある。
ミッション保証装置10は、2つの動作フェイズを持つ。一つは、ミッション関連活動を導出するフェイズである。ミッション関連活動導出フェイズでは、業務処理システム50でのミッション関連活動を導出する。他の一つは、攻撃へ対処するフェイズである。攻撃対処フェイズは、ミッション関連活動導出フェイズの完了後に実施され、攻撃の検知および攻撃への対処を行う。
ミッション関連活動の導出は、ミッション関連活動導出部200で行う。ここで、ミッション関連活動とは、業務処理システム50で実施する業務に関連する端末51の挙動である。
図2に示すように、ミッション関連活動導出部200は、例えば、ミッション関連活動入力支援部201と、通常プロファイル作成部202を備える。ミッション関連活動入力支援部210は、ミッション関連活動に関する情報を業務処理システム50の管理者H1が入力するためのインターフェースである。
通常プロファイル作成部220は、ネットワークセンサ20および各端末センサ30からの情報を基に、業務処理システム50における端末51の平常時の挙動を習得する。ミッション関連活動入力支援部210と通常プロファイル作成部220とで定義されたミッション関連活動は、ミッション関連活動データベース100へ格納される。以下、データベースをDBと略記する場合がある。
端末51への攻撃の検知は、検知部210で行う。検知部210は、ネットワークセンサ20および端末センサ30からの情報に基づいて、端末51への攻撃を検知する。具体的な検知方法の一例を挙げる。例えば、検知部210は、両センサ20,30から受信する端末挙動情報のうち、ミッション関連活動DB100に格納されていない挙動を不審活動と見做す。検知部210は、例えば一定時間内に一定数以上の不審活動を行う端末51を不審端末と見做す。検知部210は、不審端末の間で通信が発生しているとき、攻撃を検知する。以上の検知方法は一例であり、検知部210は、他の方法により、攻撃を検知してもよい。検知部210の検知結果は、検知DB110に格納される。
攻撃の影響分析は、影響分析部220で行う。影響分析部220は、ある端末51が被害推定端末である確率と、被害予測端末である確率とをそれぞれ導出する。影響分析部220は、後述のように、ミッション関連活動DB100、検知DB110、活動内容DB120、システム構成DB130、脆弱性情報DB140、ネットワーク接続性DB150、攻撃パターンDB160、ナレッジDB170を入力として用いる。
活動内容DB120には、ネットワークセンサ20および各端末センサ30から収集した情報が格納される。システム構成DB130には、業務処理システム50内の各端末51のシステム構成が格納される。脆弱性情報DB140には、外部から収集した脆弱性に関する情報が格納される。ネットワーク接続性DB150には、端末51間の通信可否に関する情報が格納される。攻撃パターンDB160には、業務処理システム50で過去に発生した攻撃パターンが格納される。例えば、或る端末が攻撃された場合に、その後、他の特定の端末が攻撃された割合が攻撃パターンとして、攻撃パターンDB160へ格納される。ナレッジDB170には、影響分析に資する情報が格納される。例えば、最近の攻撃のトレンドに関する情報等がナレッジDB170へ格納される。
影響分析部220は、被害推定関係ネットワーク構築部221と、被害予測関係ネットワーク構築部222と、影響分析ユーザインタラクション部223と、確率算出部224とを含む。
被害推定関係ネットワーク構築部221は、或る端末51が被害推定端末である確率を他端末との関係性の観点から分析して、ベイジアンネットワークの形式で関係ネットワークDB180へ格納する。
被害予測関係ネットワーク構築部222は、或る端末51が被害予測端末である確率を他端末との関係性の観点から分析して、ベイジアンネットワークの形式で関係ネットワークDB180へ格納する。
影響分析ユーザインタラクション部223は、関係ネットワークDB180に格納されたベイジアンネットワークを可視化し、ミッション保証装置10を管理する管理者H2に提示する。管理者H2は、影響分析ユーザインタラクション部223を介して、ベイジアンネットワークの要素に修正を加える。
確率算出部224は、修正が加えられたベイジアンネットワークを基に、各端末51が被害推定端末である確率と被害予測端末である確率とをそれぞれ算出し、算出結果を被害推定・被害予測DB190へ格納する。
攻撃に対する対処の導出は、対処導出部230で行う。対処導出部230は、被害推定・被害予測DB190の内容を基に、各端末51に対する対処策と対処策を実施する優先度とを決定する。例えば、被害推定端末・被害予測端末である確率が高い端末や、ミッションへの影響が高い端末には、高い優先度が設定される。各端末での対処策は、予め作成されている対処策候補の一覧表等を基に決めてもよい。対処策としては、例えば、端末51のネットワーク40からの遮断、端末51の強制シャットダウン、端末51が通信可能な相手端末の限定等が挙げられる。さらには、被害予測端末の場合、攻撃される前に、予め用意してあるバックアップ用端末へ切り替えてもよい。
対処の実施は、対処実施部240で行う。対処実施部240は、対処導出部230の決定に従って、通信ネットワーク40や端末センサ30に働きかけて、選択された対処策を実施する。
ネットワークセンサ20は、通信ネットワーク40の通信を監視し、どの端末51がどの端末と通信しているのかを記録する。ミッション保証装置10がミッション関連活動導出フェイズの場合、ネットワークセンサ20の記録を通常ミッション作成部220へ送信する。ミッション保証装置10が攻撃検知フェイズの場合、ネットワークセンサ20の記録を活動内容DB120へ格納する。
端末センサ30は、各端末51にインストールされており、各端末51の挙動を検出して記録する。端末センサ30は、例えば、各端末51のファイルアクセス、通信、プロセス起動等を記録する。ミッション保証装置10がミッション関連活動導出フェイズの場合は、端末センサ30の記録を通常ミッション作成部220へ送信する。ミッション保証装置10が攻撃検知フェイズの場合は、端末センサ30の記録を活動内容DB120へ格納する。
通信ネットワーク40は、例えば、インターネット、WAN(World Area Network)、LAN(Local Area Network)、携帯電話、PHS等の公衆回線網である。通信ネットワーク40は、ミッション保証装置10と、業務処理システム50内の各端末51と、ネットワークセンサ20を接続する。
(ハードウェア構成)
図2は、ミッション保証装置10のハードウェア構成を示している。ミッション保証装置10は、例えば、CPU(Central Processing Unit)11、メモリ12、外部記憶装置13、ユーザインターフェース部14、通信インターフェース15、バス16を備えるコンピュータとして構成される。なお、各端末51およびネットワークセンサ20も同様に、CPUやメモリ等を備えるコンピュータとして構成される。
CPU11は、メモリ12内に保存されたコンピュータプログラムを実行することで、所定の各機能を実現する。所定の各機能とは、ミッション関連活動動導出部200、検知部210、影響分析部220、対処導出部230、対処実施部240である。
メモリ12は、上述の各機能を実現するのに必要なコンピュータプログラムを記憶している。コンピュータプログラムを外部記憶装置13に記憶しておき、外部記憶装置13からメモリ12へコンピュータプログラムを読み出して、CPU11がそのコンピュータプログラムを実行してもよい。
外部記憶装置13は、例えば、HDD(Hard Disk Drive)やフラッシュメモリデバイス等の比較的大容量の不揮発性記憶媒体から構成される。外部記憶装置13は、ミッション保証装置10で使用する各DB100〜190を格納する。
ユーザインターフェース部14は、管理者H2とミッション保証装置10が情報を交換する装置であり、情報入力部と情報出力部を備える。情報入力部には、例えば、キーボード、マウス、タッチパネル、音声入力装置等がある。情報出力部には、例えば、ディスプレイ、プリンタ、音声合成装置がある。
なお、ミッション保証装置10は、USB(Universal Serial Bus)メモリ等の記録媒体との間で情報を入出力するためのインターフェースを備えることもできる。
通信インターフェース15は、ミッション保証装置10を通信ネットワーク40に接続する。
バス16は、CPU11、メモリ12、外部記憶装置13、ユーザインターフェース部14、インターフェース15を相互に接続し、それら各装置11〜15間での双方向通信を実現する。
(影響分析のシナリオ)
図3に影響分析のシナリオを示す。図3では、端末51A〜51Fの頭の符号「51」を省略して示す。本シナリオでは、標的型攻撃により端末51A,51B,51C,51Dが被害を受けた時点で、端末51A,51B,51Cが検知部210によって検知されたケースを想定する。この時点では、端末51Dへの攻撃は未だ検知されていない。攻撃が検知された端末51A〜51Cを、被害確定端末52と分類できる。攻撃されているが検知されていない端末51Dを、被害推定端末53と分類できる。
本シナリオでは、今後、標的型攻撃の被害は端末51Eにも及ぶものとする。現在は攻撃されていないが将来攻撃される可能性のある端末51Eは、被害予測端末54と呼ぶことができる。影響分析部220は、業務処理システム50の
さらに、本シナリオでは、端末51Fは現在被害を受けておらず、今後も被害を受けないものとする。現在も将来も攻撃を受ける可能性のない端末51Fは、無関係端末55と分類できる。
影響分析部220は、業務処理システム50を構成する各端末51から、被害確定端末52、被害推定端末53、被害予測端末54、無関係端末55をそれぞれ識別する。
(各種DBの構成)
図4は、ミッションに関連する活動を管理するミッション関連活動DB100の構成例を示す。このDB100の各レコードは、ミッション内容とその重要度を示す。このDB100は、例えば、識別子(ID)101、活動端末102、活動タイプ103、活動内容104、ミッション重要度105を管理する。
ここで、ID101は、各ミッションを一意に識別する識別子である。活動端末102は、ミッションを実行する端末の識別子である。活動タイプ103は、ミッションの種類を示す。活動内容104は、具体的な活動内容を示す。ミッション重要度105は、ミッションの重要度を示す。ミッション重要度は、例えば、L(Low)、M(Middle)、H(High)の3段階で管理することができる。これに限らず、2段階、4段階以上で、ミッションの重要性を管理してもよいし、数値で表現してもよい。
活動タイプ103および活動内容104には、「N/A」という値を設定できる。活動タイプ103、活動内容104に「N/A」が設定された場合、活動端末102で指定された全ての活動に対して、ミッション重要度105の値が設定される。
以下、図4に示した例を説明する。DB100の最上段に示す「ID=1」のレコードには、活動端末102に「端末51A」が、活動タイプ103に「内部通信」が、活動内容104に「端末51A→端末51B:80」(「80」は通信先のポート番号)が、ミッション重要度105に「M」が、それぞれ設定される。
「ID=2」のレコードには、活動端末102に「端末A」、活動タイプ103に「WEB通信」、活動内容104に「端末A→a.b.c.d」、ミッション重要度105に「M」が設定される。
「ID=3」のレコードには、活動端末102に「端末B」、活動タイプ103に「プロセス」、活動内容104に「a.exe」、ミッション重要度105に「M」が設定されている。
「ID=4」のレコードには、活動端末102に「端末B」、活動タイプ103に「プロセス」、活動内容104に「b.exe」、ミッション重要度105に「M」が設定されている。
「ID=5」のレコードには、活動端末102に「端末B」、活動タイプ103に「ポートオープン」、活動内容104に「b.exe:80」(b.exeが80番ポートでリスニングを行うことを示す)、ミッション重要度105に「H」が設定される。
「ID=6」のレコードには、活動端末102に「端末C」、活動タイプ103に「プロセス」、活動内容104に「c.exe」、ミッション重要度105に「L」が設定されている。
「ID=7」のレコードには、活動端末102に「端末D」、活動タイプ103に「N/A」、活動内容104に「N/A」、ミッション重要度105に「H」が設定されている。
「ID=8」のレコードには、活動端末102に「端末E」、活動タイプ103に「ポートオープン」、活動内容104に「b.exe:80」、ミッション重要度105に「H」が設定される。
「ID=9」のレコードには、活動端末102に「端末F」、活動タイプ103に「N/A」、活動内容104に「N/A」、ミッション重要度105に「L」が設定されている。
図5は、検知された攻撃を管理する検知DB110の構成例である。このDB110の各レコードは、ID111と、検知時刻112と、検知端末113、および検知理由114を記録する。
ID111は、DB110内のレコードを一意に識別する識別子である。検知時刻112は、攻撃が検知された時刻である。検知端末113は、検知対象の端末を特定する識別子である。一度に複数の端末51が検知された場合は、全ての端末の識別子が検知端末113に記載される。検知理由114は、攻撃を検知した理由である。
以下、図5のレコード例を幾つか説明する。「ID=1」のレコードでは、検知時刻112に「2015/12/16 10:00:00」、検知端末113に「端末A,B,C」、検知理由114に「A,B,C、3つの端末の不審活動数が閾値を超える」が設定されている。なお、この検知レコードは図3に示すシナリオと一致する。
「ID=2」のレコードには、検知時刻112に「2016/12/16 10:00:00」、検知端末113に「端末D」、検知理由114に「既知のマルウェア起動」が設定される。「ID=3」のレコードには、検知時刻112に「2017/12/16 10:00:00」、検知端末113に「端末E」、検知理由114に「既知のマルウェア起動」が設定される。
図6は、各端末51の活動を管理する活動内容DB120の構成例を示す。このDB120の各レコードは、ネットワークセンサ20もしくは端末センサ30が検知した、各端末51の活動内容を記録している。すなわち各レコードは、ID121、記録時刻122、活動端末123、活動種類124、活動内容125、非ミッション活動フラグ126を記録する。
ID121は、DB120内のレコードを一意に識別する識別子である。記録時刻122は、端末51の活動を記録した時刻である。活動端末123は、活動の主体となった端末の識別子である。活動種類124は、活動の種類である。活動内容125は、実施された活動内容である。
非ミッション活動フラグ126は、検知された活動がミッション関連活動DB100に含まれない活動であるかを示すフラグである。活動内容125がミッション関連活動DB100に記載されていない活動である場合、フラグ値には「Y」が設定される。これに対し、活動内容125がミッション関連活動DB100に記載されている活動である場合、フラグ値には「N」が設定される。フラグ値に「Y」が設定された活動は、通常時には行われない活動であること、を示す。
図6のレコード例を説明する。「ID=1」のレコードには、記録時刻122に「2015/12/16 09:00:00」、活動端末123に「端末A」、活動種類124に「プロセス」、活動内容125に「mal.exe」、非ミッション活動フラグ126に「Y」が設定される。
「ID=2」のレコードには、記録時刻122に「2015/12/16 09:10:00」、活動端末123に「端末A」、活動種類124に「内部通信」、活動内容125に「端末A→端末B:80」、非ミッション活動フラグ126に「N」が設定されている。
「ID=3」のレコードには、記録時刻122に「2015/12/16 09:10:00」、活動端末123に「端末A」、活動種類124に「内部通信」、活動内容125に「端末A→端末D:80」、非ミッション活動フラグ126に「N」が設定されている。
「ID=4」のレコードには、記録時刻122に「2015/12/16 09:10:00」、活動端末123に「端末A」、活動種類124に「ポートオープン」、活動内容125に「mal.exe:100」、非ミッション活動フラグ126に「Y」が設定されている。
「ID=5」のレコードには、記録時刻122に「2015/12/16 09:20:00」、活動端末123に「端末B」、活動種類124に「プロセス」、活動内容125に「mal.exe」、非ミッション活動フラグ126に「Y」が設定されている。
「ID=6」のレコードには、記録時刻122に「2015/12/16 09:30:00」、活動端末123に「端末B」、活動種類124に「内部通信」、活動内容125に「端末B→端末C:80」、非ミッション活動フラグ126に「N」が設定されている。
「ID=7」のレコードには、記録時刻122に「2015/12/16 09:30:00」、活動端末123に「端末B」、活動種類124に「ポートオープン」、活動内容125に「mal.exe:100」、非ミッション活動フラグ126に「Y」が設定されている。
「ID=8」のレコードには、記録時刻122に「2015/12/16 09:40:00」、活動端末123に「端末C」、活動種類124に「プロセス」、活動内容125に「mal.exe」、非ミッション活動フラグ126に「Y」が設定されている。
「ID=9」のレコードには、記録時刻122に「2015/12/16 09:50:00」、活動端末123に「端末C」、活動種類124に「内部通信」、活動内容125に「端末C→端末D:80」、非ミッション活動フラグ126に「N」が設定されている。
「ID=10」のレコードは、記録時刻122に「2015/12/16 10:00:00」、活動端末123に「端末C」、活動種類124に「ポートオープン」、活動内容125に「mal.exe:100」、非ミッション活動フラグ126に「Y」が設定されている。
「ID=11」のレコードには、記録時刻122に「2015/12/16 09:30:00」、活動端末123に「端末D」、活動種類124に「プロセス」、活動内容125に「mal.exe」、非ミッション活動フラグ126に「Y」が設定されている。
「ID=12」のレコードには、記録時刻122に「2015/12/16 09:40:00」、活動端末123に「端末E」、活動種類124に「ポートオープン」、活動内容125に「b.exe:80」、非ミッション活動フラグ126に「N」が設定されている。
図7は、端末51の構成を管理するシステム構成DB130の構成例を示す。このDB130の各レコードは、端末51にインストールされているOS(オペレーティングシステム)やAPP(アプリケーション)を記録している。本DB130は、管理者H2によって管理される。管理者H2が、各端末51のシステム構成の情報をDB130へ手入力することができる。または、構成を自動的に管理してミッション保証装置10へ報告する構成管理プログラムを各端末51にインストールしておき、システム構成DB130の内容を自動的に更新する構成としてもよい。なお、端末センサ30内に構成管理プログラムを設けてもよい。
システム構成DB130は、ID131と、端末132と、資産タイプ133と、資産内容134を記録する。
ID131は、各レコードを一意に識別する識別子である。端末132は、対象となる端末の識別子である。資産タイプ133は、資産の種類である。資産内容134は、資産の内容を示す。図7のレコード例を説明する。
「ID=1」のレコードには、端末132に「端末A」、資産タイプ133に「OS」、資産内容134に「OS−1」が設定されている。
「ID=2」のレコードには、端末132に「端末A」、資産タイプ133に「APP」、資産内容134に「APP−1」が設定されている。
「ID=3」のレコードには、端末132に「端末B」、資産タイプ133に「OS」、資産内容134に「OS−2」が設定されている。
「ID=4」のレコードには、端末132に「端末B」、資産タイプ133に「APP」、資産内容134に「APP−1」が設定されている。
「ID=5」のレコードには、端末132に「端末C」、資産タイプ133に「OS」、資産内容134に「OS−3」が設定されている。
「ID=6」のレコードには、端末132に「端末C」、資産タイプ133に「APP」、資産内容134に「APP−1」が設定されている。
「ID=7」のレコードには、端末132に「端末D」、資産タイプ133に「OS」、資産内容134に「OS−1」が設定されている。
「ID=8」のレコードには、端末132に「端末D」、資産タイプ133に「APP」、資産内容134に「APP−1」が設定されている。
「ID=9」のレコードには、端末132に「端末E」、資産タイプ133に「OS」、資産内容134に「OS−2」が設定されている。
「ID=10」のレコードには、端末132に「端末E」、資産タイプ133に「APP」、資産内容134に「APP−1」が設定されている。
「ID=11」のレコードには、端末132に「端末F」、資産タイプ133に「OS」、資産内容134に「OS−4」が設定されている。
「ID=12」のレコードには、端末132に「端末F」、資産タイプ133に「APP」、資産内容134に「APP−4」が設定されている。
図8は、脆弱性情報を管理する脆弱性情報DB140の構成例である。このDB140の各レコードは、様々なセキュリティベンダや公的機関等から公開された脆弱性に関する情報を記録する。脆弱性情報DB140は、ID141と、脆弱性ID142と、公開日時143と、影響を受けるAPP/OS144を記録する。
ID141は、各レコードを一意に識別する識別子である。脆弱性ID142は、脆弱性を公開された機関により付与された、脆弱性の識別子である。公開日時143は、脆弱性が公開された日時を示す。影響を受けるAPP/OS144は、脆弱性により影響を受けるオペレーティングシステムやアプリケーションプログラムを示す。
図8のレコード例を説明する。「ID=1」のレコードには、脆弱性ID142に「CVE-2015-9999」、公開日時に「2015/12/10」、影響を受けるAPP/OSに「APP-1」が設定されている。
「ID=2」のレコードには、脆弱性ID142に「CVE-2016-9999」、公開日時に「2015/12/11」、影響を受けるAPP/OSに「OS-4」が設定されている。
図9は、端末51間のネットワーク接続関係を管理するネットワーク接続性DB150の構成例である。ネットワーク接続性DB150の各レコードは、或る端末から他の端末への通信の可否を示す。通信の可否は、通信経路上のファイアーウォールや端末上で、通信が許可されているかによって決定される。本DB150は、管理者H1または管理者H2によって管理される。
ネットワーク接続性DB150は、例えば、ID151と、通信元端末152と、通信先端末153と、状態154を含む。
ID151は、各レコードを一意に識別するための識別子である。通信元端末152は、通信を開始する端末を示す。通信先端末153は、通信の宛先である端末を示す。状態154は、通信元端末152から通信先端末153への通信が許可されているか否かの状態を示す。
図9のレコード例を説明する。「ID=1」のレコードには、通信元端末152に「端末A」、通信先端末153に「端末E」、状態154に「可」が設定されている。
「ID=2」のレコードには、通信元端末152に「端末A」、通信先端末153に「端末F」、状態154に「非」が設定されている。
「ID=3」のレコードには、通信元端末152に「端末C」、通信先端末153に「端末F」、状態154に「可」が設定されている。
図10は、業務処理システム50への攻撃パターンを管理する攻撃パターンDB160の構成例を示す。このDB160の各レコードは、業務処理システム50における過去の事例から得られた攻撃パターンを記録している。ここでの攻撃パターンは、ある端末が攻撃された後に他の特定の端末が攻撃された割合を示す。攻撃パターンDB160のレコードは、管理者H2が手動で入力することができる。管理者H2は、攻撃が業務処理システム50に起きるたびに、被害動向を分析し、その分析結果を攻撃パターンDB160へ入力する。管理者H2は、検知DB110の情報を基にして攻撃パターンDB160に情報を入力してもよい。
攻撃パターンDB160は、ID161と、初期被害端末162と、継続被害端末163と、確率164とを含む。
ID161は、各レコードを一意に識別するための識別子である。初期被害端末162は、過去の攻撃において、相対的に先に攻撃された端末を示す。継続被害端末163は、過去の攻撃において、相対的に後に攻撃された端末を示す。確率164は、過去の攻撃において、初期被害端末162が攻撃された後に、継続被害端末163が攻撃された割合を示す。
図10のレコード例を説明する。「ID=1」のレコードには、初期被害端末162に「端末A」が、継続被害端末163に「端末C」が、確率164に「0.2」が設定されている。
「ID=2」のレコードには、初期被害端末162に「端末C」が、継続被害端末163に「端末E」が、確率164に「0.4」が設定されている。
「ID=3」のレコードには、初期被害端末162に「端末A」が、継続被害端末163に「端末F」が、確率164に「0.0」が設定されている。
図11に関係ネットワークDB180の構成例を示す。関係ネットワークDB180は、被害推定端末に関する端末間の関係を示すネットワークと、被害予測端末に関する端末間の関係を示すネットワークと管理する。関係ネットワークDB180の各レコードは、被害推定関係ネットワーク構築部221の算出結果、または、被害予測関係ネットワーク構築部222の算出結果のいずれかを記録する。
被害推定関係ネットワーク構築部221は、被害推定端末に関する関係ネットワークを算出する。被害予測関係ネットワーク構築部222は、被害予測端末に関する関係ネットワークを算出する。
関係ネットワークDB180は、ID181と、タイプ182と、関係ネットワーク183を含む。
ID181は、各レコードを一意に識別するための識別子である。タイプ182は、格納されている関係ネットワークの種類を示す。タイプ182には、被害推定端末を導出するネットワーク、または、被害予測端末を導出するネットワークのいずれであるかを特定するための値が記録される。関係ネットワーク183は、端末間の関係ネットワークの詳細をグラフ形式で保存する。なお、保存形式はグラフ形式に限定しない。表形式等の他の形態でもよい。
図11のレコード例を説明する。「ID=1」のレコードは、タイプ182が「被害推定端末」であるレコードである。
関係ネットワーク183中の各ノード184は、端末51を示す。ノード184を示す円の中には、端末51を区別するアルファベットと、数値とが記載されている。
ノード184内の数値は、各端末51が被害推定端末である「事前確率」、または被害確定端末である「事前確率」のいずれかを示す。ここで「ID=1」のレコードは、被害推定端末に関するレコードであるから、そのレコードに含まれるノード184内の数値は、被害推定端末である事前確率を示している。
ここで、事前確率とは、他の端末の関係性を一切排した状況下において、或る端末が被害を受けている確率である。ここで、端末A,B,C(つまり51A,51B,51Cである)は、既に攻撃による被害が検出されれている被害確定端末であるので、それら端末A,B,Cの事前確率は1.0となっている。他の端末D,E,F(つまり51D,51E,51Fである)が被害推定端末である確率は、それぞれ、0.6,0.4,0.1となっている。
アーク185は、アークの基端にある端末が被害を受けていると仮定した場合に、アークの先端にある端末が被害を受けている確率である「条件付き確率」を表現する。例えば、端末Aから端末Dへ向かうアーク185に着目する。このアーク185では、端末Aが被害を受けていると仮定した場合、端末Dが被害を受けている確率は0.8となる。
なお端末A〜Cは、被害を受けていることが判明している被害確定端末であるため、端末A〜C間では条件付き確率は存在しない。
「ID=2」のレコードは、タイプ182が「被害予測端末」であるレコードを示している。関係ネットワーク183中の各ノード187は、端末51を示す。ノード187内の数値は、各端末が被害予測端末である「事前確率」を示す。「ID=2」のレコードにおいて、事前確率とは、他の端末の関係性を一切排した状況下で、或る端末が今後被害をうける確率を示す。
端末A〜Cは被害確定端末であるので、事前確率は1.0となる。端末D,E,Fが被害予測端末である確率は、それぞれ、0.4、0.6、0.1となる。
アーク188は、アークの基端にある端末が被害を受けていると仮定した場合に、アークの先端にある端末が今後被害を受ける確率である「条件付き確率」を表現する。端末Aから端末Dへ向かうアーク188では、端末Aが被害を受けていると仮定した場合、今後端末Dが被害を受ける確率は0.8となる。なお、被害確定端末であるA〜C間では、条件付き確率は存在しない。
図12に、被害推定・被害予測DB190の構成例を示す。このDB190の各レコードは、或る端末が、被害確定端末である確率と、被害推定端末である確率と、被害予測端末である確率とを示す。確率は0.0から1.0までの間を取る。3種類の確率はそれぞれ独立して算出されるため、3つの確率の合計値が1.0を超えてもよい。各レコードは、確率算出部224によって算出される。
被害推定・被害予測DB190は、端末191と、被害確定端末192と、被害推定端末193と、被害予測端末194を含む。
端末191は、確率算出の対象となる端末を示す。被害確定端末192は、端末191で特定される端末が被害確定端末である確率を示す。被害推定端末193は、端末191で特定される端末が被害推定端末である確率を示す。被害予測端末194は、端末191で特定される端末が被害予測端末である確率を示す。
図12のレコード例を説明する。端末191が「端末A」であるレコードでは、被害確定端末192に「1.0」、被害推定端末193に「0.0」、被害予測端末194に「0.0」が設定されている。
端末191が「端末B」であるレコードでは、被害確定端末192に「1.0」、被害推定端末193に「0.0」、被害予測端末194に「0.0」が設定されている。
端末191が「端末C」であるレコードでは、被害確定端末192に「1.0」、被害推定端末193に「0.0」、被害予測端末194に「0.0」が設定されている。
端末191が「端末D」であるレコードでは、被害確定端末192に「0.0」、被害推定端末193に「0.8」、被害予測端末194に「0.7」が設定されている。
端末191が「端末E」であるレコードでは、被害確定端末192に「0.0」、被害推定端末193に「0.3」、被害予測端末194に「0.9」が設定されている。
端末191が「端末F」であるレコードでは、被害確定端末192に「0.0」、被害推定端末193に「0.1」、被害予測端末194に「0.1」が設定されている。
被害推定・被害予測DB190に格納されたこれらの情報は、対処導出部230が、各端末51に対する対処を実施する際に用いられる。
図13に影響分析部220の構成例を示す。影響分析部220の入力は、ミッション関連活動DB100、検知DB110、活動内容DB120、システム構成DB130、脆弱性情報DB140、ネットワーク接続性DB150、攻撃パターンDB160、および外部ナレッジDB170の8種類のDBである。
被害推定関係ネットワーク構築部221および被害予測関係ネットワーク構築部222は、それらDB100〜170の入力を基に、関係ネットワーク183を算出する。上述の通り、関係ネットワーク183には、被害推定端末に関する関係ネットワークと被害予測端末に関する関係ネットワークを含むことができる。なお、関係ネットワーク183を算出する際は、各DB100〜170を必ずしも全て用いる必要はない。
管理者H2は、影響分析ユーザインタラクション部223を用いることで、算出された関係ネットワーク183を閲覧したり、操作したりすることができる。
管理者H2の可能な操作には、例えば、分析対象端末であることを示すノードの追加および削除、各ノードの事前確率の修正、ノード間の条件付き確率の修正が含まれる。このような操作処理を可能としているのは、管理者H2が持つ、攻撃に対する知見や業務処理システム50に対する知見を、関係ネットワーク183に反映するためである。
確率算出部224は、関係ネットワーク183を入力として、各端末が被害推定端末である事後確率と、被害予測端末である事後確率とをそれぞれ算出して、被害推定・被害予測DB190に格納する。「事後確率」は、「第2コンピュータが攻撃されている確率」に該当する。
事後確率の算出では、確率伝搬法等、既存のアルゴリズムを用いてもよい。事前確率と条件付き確率とを任意の方法で組み合わせることで、事後確率を求めてもよい。例えば、或る端末Xの事前確率がP_PRE(X)、端末Aから端末Xへの条件付き確率がP_A(X)、端末Bから端末Xへの条件付き確率がP_B(X)であるとき、端末Xの事後確率P_POST(X)は、以下のように求めてもよい。
P_POST(X)=W0*P_PRE(X)+W1*P_A(X)+W2*P_B(X)・・・(式1)
ここで、上記の式1中、W0、W1、W2は、各確率の重み付け係数である。重み付け係数の値は、任意の手段によって決定される。例えば、重み付け係数の値を予めDB等に保持しておいてもよい。
上記の式1から、より一般的な下記の式2を得ることもできる。式2を満たす任意の関数Fxを定義すればよい。
P_POST(X)=Fx(P_PRE(X)、P_A(X)、P_B(X))・・・(式2)
図14に、被害推定関係ネットワーク構築部221の処理手順の一例を示す。本例では、被害推定関係ネットワーク構築部221は、ミッション関係活動DB100、検知DB110、活動内容DB120、システム構成DB130、脆弱性情報DB140、攻撃パターンDB160、外部ナレッジDB170を基に、被害推定端末の関係ネットワークを構築する。以下、図面中のDBの名称は適宜簡略化して示す。
被害推定端末の関係ネットワークを構築するための処理手順は、以下に述べるように、大きく4つの処理S10,S11,S12,S13に分かれている。
処理S10では、各端末51が被害推定端末である事前確率を算出する。処理S11では、被害確定端末と被害確定端末以外の他の端末との間の条件付き確率を算出する。処理S12では、被害確定端末以外の他の端末間における条件付き確率を求める。処理S13では、外部ナレッジを関係ネットワークに反映させる。
処理S10における事前確率算出では、ミッションの重要性S101と、脆弱性の有無S102という2つの点から事前確率を算出する。処理S10では、それらS101およびS102の結果を統合することで、被害推定端末である事前確率を算出する。
ミッションの重要性を算出する処理S101では、先ず、ミッション関連DB100を参照し、各端末51のミッションにおける重要度を算出する。端末51の重要度には、その端末51が関わる活動内容104のうち、最もミッション重要度105が高い値が設定される。図4の例では、端末Aの重要度はM、端末Bの重要度はH、端末Cの重要度はL、端末Dの重要度はH、端末Eの重要度はH、端末Fの重要度はLとなる。
脆弱性の有無を算出する処理S102では、システム構成DB130および脆弱性情報DB140を参照して、各端末51における脆弱性の有無を2値で算出する。図7および図8に示す例では、端末Aおよび端末Fでは「脆弱性有り」、他の端末B〜Eでは「脆弱性無し」となる。但し、脆弱性の有無を2値で評価することに代えて、3値以上で評価してもよい。例えば、処理S102では、脆弱性の深刻度合いや、端末の持つ脆弱性の個数等に応じて、3値以上で評価することもできる。
処理S10は、端末の重要性(S101)と脆弱性の有無(S102)とを、被害推定端末の関係ネットワークにおける事前確率の値にマッピングするための任意の関数F_S10を持つ。例えば、下記の式3を用いる。
P_PRE(D)=F_S10(重要度=H、脆弱性=無)・・・(式3)
処理S11は、アクセス有無を求める処理S103と、不審活動の類似性を求める処理S104と、被アクセスパターンの類似性を求める処理S105と、システム構成の類似性を求める処理S106、攻撃パターンの確率を算出する処理S107とを基に、或る被害確定端末から或る被害推定端末への条件付き確率を算出する。
アクセス有無を求める処理S103では、或る端末から他の端末への過去一定時間以内の通信アクセスの有無を、検知DB110および活動内容DB120を基に求める。図6では、例えば、端末Aから端末Dへのアクセスと、端末Cから端末Dへのアクセスとが、いずれも「アクセス有り」となる。ここで、端末Aから端末Dへのアクセスの有無は、F_S103(A,D)と表記する。
不審活動の類似性を求める処理S104では、ある2つの端末が過去一定時間に行った不審活動の類似度を、検知DB110および活動内容DB120を基に求める。例えば、図6において、端末Dと端末A(あるいは端末Bと端末C)は、同一のプロセス「mal.exe」を起動しているので、不審活動の類似度が高いと判断できる。プロセス「mal.exe」は、端末A,Dにおいて、ミッション活動に該当しない不審な活動である。
不審活動の類似度は、各端末で行われた不審活動の記録を集合と見做して、例えばJaccard係数等の既存のアルゴリズムを用いて求めてもよいし、または、任意の関数を定義して求めてもよい。例えば、端末Aと端末Dの類似度は、F_S104(A,D)として表記する。Jaccardに基づく算出式は、計算量が少なく、全く同じ活動を複数端末に対して行う攻撃を確実に捉えることができる。
不審活動の類似度(類似性)を求める別の手段として、ある2つの端末が過去一定時間に行った不審活動の発生時刻の同期性を求める方法がある。同期性算出では、2つの端末で、種類が同一である活動を行った時刻の最小差の総和を基に、活動の同期性を算出する。この方法では、活動の種類と時間のみが注目され、活動内容(どのプロセスを起動したのか、どのWEBサイトにアクセスしたのかは)は問われない。図17(a)の例では、端末Bは時刻t0,t2に不審プロセスの起動を行い、端末Dは時刻t0‘、時刻t2’に不審プロセスの起動を行う。また、端末Bは時刻t1に不審WEB通信を行い、端末Dは時刻t1‘に不審WEB通信を行う。このため、両端末における時刻の最小差の総和は、|t0−t0’|+|t1−t1’|+|t2−t2’|となり、この値が小さい程、両端末の不審活動の類似性は高いことになる。このため、総和値の逆数などを、類似度として用いることができる。
よりフォーマルには、発生時刻の同期性に基づく不審活動の類似度は、spikeTrainという、複数の点過程の類似性を求める既存アルゴリズムの応用により求めてもよい。具体的な算出式の1つは図17(b)に示されるような数式となる。同期性に基づく算出式は、端末に応じて活動内容を変える攻撃であっても、類似度を算出することができる。
また、2つの端末間で攻撃が行われる時間にズレがあると、必然的に不審活動の発生時刻の差が多くなるため、図17(b)に基づく算出式の値が小さくなる。この課題に対する解決策として、キャリブレーションを行ってもよい。即ち、算出式において、一方の端末における不審活動の発生時刻を、一定時間(例えば5分)刻みでシフトさせ、最大の類似度を両端末の類似度とする。この場合、シフト時間を算出式に反映させてもよい。例えば、exp(−1×シフト時間/TH)を図17(b)の式に掛け合わせる。
また、Jaccard係数で求めた類似度と図17(b)で求めた類似度とを組み合わせるなど、複数の観点で算出された類似度を統合して、類似度を算出してもよい。複数の類似度を組み合わせることで、より精度が高い類似度算出が可能となる。組み合わせ式には、加重和など、複数の説明変数から1つの目的変数を算出ための一般的な方法を適用できる。
また、誤検知を防ぐために、類似度が一定の閾値を超える端末が一定数を超えた場合に、それらの端末を一括して被害推定端末と判断してもよい。この方法は、想定脅威が、複数の端末を同時に攻撃する攻撃者である場合に特に有効である。
また、前述の通り、類似度算出は、攻撃が検知された時点(被害確定端末が検知された時点)で行う。このため、攻撃が早期に検知された場合、検知時点での攻撃の活動量(攻撃に起因する不審活動の数)が少なく、類似度判定の性能に影響が出る可能性がある。しかし、攻撃活動の記録のために、被害確定端末を無対策のまま放置しておくことは好ましくない。この問題の解決策として、攻撃者をおびき寄せる囮端末(ハニーポット端末)を予めネットワークに設置し、囮端末への攻撃の活動を記録することで、類似度判定に必要な量の不審活動を取得するという方法がある。
被アクセスパターンの類似性を求める処理S105では、或る端末が被害確定端末からアクセスされた際に用いられた通信ポートと、他の端末が他の被害確定端末からアクセスされた際に用いられた通信ポートとが一致する割合を、検知DB110および活動内容DB120を基に判断する。
図6の例では、端末Bと端末Eを比べると、端末Bが端末Aからアクセスされた80番ポートは、端末Dにおいてもアクセスされている。端末Dも端末Aから80番ポートを介してアクセスされている。したがって、端末Bと端末Dとでは、被アクセスパターンの類似度は高い。ここで、端末Bの被アクセスパターンと端末Dの被アクセスパターンとの類似性は、F_S105(B,D)と表記する。
システム構成の類似性を求める処理S106では、2つの端末間のシステム構成の類似度を、検知DB110およびシステム構成DB130を基に求める。例えば、図7において、端末Aと端末Dは、同一のオペレーティングシステム(OS−1)および同一のアプリケーション(APP−1)を用いている。このため、両端末A,Dのシステム構成の類似度は高い。システム構成の類似度は、各端末のシステム構成を集合と見做して、Jaccard係数等の既存のアルゴリズムを用いて求めてもよいし、または、任意の関数を定義して求めてもよい。例えば、端末Aと端末Dのシステム構成の類似度は、F_S106(A,D)として表記する。
攻撃パターンの確率を算出する処理S107では、端末間の攻撃パターンに基づき、或る端末が攻撃された場合に、その後に、他の端末が攻撃される確率を求める。確率算出には、検知DB110および攻撃パターンDBを用いる。図10の例では、端末Cが攻撃された場合、その後に、他の端末Eが攻撃される確率は、0.4となる。これを、F_S107を関数として定義し、F_S107(A,D)=0.4と表記する。
処理S11では、上述した各処理S103,S104,S105,S106,S107での算出結果を基に、被害確定端末Xと被害推定端末Yの間の条件付き確率P_X(Y)を、任意の関数F_Cond1を用いて以下の通り求める。
P_X(Y)=F_Cond1(F_S103(X,Y)、F_S104(X,Y)、F_S105(X,Y)、F_S106(X,Y)、F_S107(X,Y))・・・(式4)
F_cond1は例えば、以下のような線形関数でもよい。
F_cond1=Wc*F_S103(X,Y)+Wd*F_S104(X,Y)+We*F_S105(X,Y)+Wf*F_S106(X,Y)+Wg*F_S107(X,Y)・・・(式5)
ここで、Wc,Wd,We、Wf,Wgは各要素の重み付け係数であり、任意の手段によって決定する。
処理S12は、アクセス有無を求める処理S103、不審活動の類似性を求める処理S104、被アクセスパターンの類似性を求める処理S105、システム構成の類似性を求める処理S106、攻撃パターンの確率を求める処理S107を基に、或る被害推定端末から他の或る被害推定端末への条件付き確率P_X(Y)を、任意の関数F_Cond2を用いて以下の通り求める。
P_X(Y)=F_Cond2(F_S103(X,Y)、F_S104(X,Y)、F_S105(X,Y)、F_S106(X,Y)、F_S107(X,Y))・・・(式6)
F_cond2は例えば、以下のような線形関数でもよい。
F_cond1=Wc*F_S103(X,Y)+Wd*F_S104(X,Y)+We*F_S105(X,Y)+Wf*F_S106(X,Y)+Wg*F_S107(X,Y)・・・(式7)
Wc,Wd,We、Wf,Wgは各要素の重み付け係数であり、任意の手段によって決定する(以下同様)。
処理S13では、外部ナレッジを反映する処理S108が、外部ナレッジDB170を参照して、処理S12までに求めた事前確率および条件付き確率を修正する。例えば「端末Aを攻撃した端末は、その後に端末Dを攻撃する確度が高い」といった専門家の知見がある場合、処理S108では端末Aから端末Dへの条件付き確率の値を増加等する。
図15に、被害予測関係ネットワーク構築部222の処理手順の一例を示す。本例では、被害予測関係ネットワーク構築部222は、ミッション関係活動DB100、検知DB110、活動内容DB120、システム構成DB130、脆弱性情報DB140、ネットワーク接続性DB150、攻撃パターンDB160および外部ナレッジDB170を基に、被害推定端末の関係ネットワークを構築する。
処理手順は、以下に述べるように大きく4つに分かれている。処理S20では、各端末が被害予測端末である事前確率を算出する。処理S21では、被害確定端末と被害確定端末以外の他の端末との間の条件付き確率を算出する。処理S22では、被害確定端末以外の他の端末間における条件付き確率を求める。処理S23では、外部ナレッジを関係ネットワークに反映させる。
処理S20での事前確率の算出は、図14で述べた処理S10と同様のため、説明を割愛する。図15では、処理S101の符号をS201と、処理S102の符号をS202と変更しているが、その内容は同一である。さらに、処理S106,S107,S108の符号もS206,S207,S208と変更しているが、その内容は同一である。
処理S21は、接続性の有無を求める処理S203と、推定アクセス手段の存在を求める処理S204と、システム構成の類似性を求めるS206と、攻撃パターンの確率を算出する処理S207とを基に、或る被害確定端末から或る被害予測端末への条件付き確率を算出する。
接続性の有無を求める処理S203は、ある2つの端末間で通信が可能かどうかを、ネットワーク接続性DB150を用いて判断する。図9の例では、端末Aから端末Eへの通信は可能であるため、F_S203(端末A,端末E)=「有」と表記できる。関数は、1.0等の任意の数値を返す形でもよい。
推定アクセス手段の存在を求める処理S204では、ミッション関連DB100、検知DB110、活動内容120を参照して、攻撃検知の時刻から一定時間内の過去に、被害確定端末に対して発生したアクセス手段と類似のアクセス手段を、被害予測端末がミッション関連活動として有しているかを判断する。
図6の例では、被害確定端末である端末Bが80番ポートにアクセスされているのに対し、図4の例では、被害予測端末である端末Eもミッションとして80番ポートを開いている。このため、関数F_S203を用いて、F_S203(端末A,端末E)=「有」と表記できる。関数は、1.0等の任意の数値を返す形でもよい。
処理S21では、S203(接続性の有無),S204(推定アクセス手段の存在),S206(システム構成の類似性)、S207(攻撃パターンの確率)での算出結果を基に、被害確定端末Xと被害予測端末Yの間の条件付き確率P_X(Y)を、任意の関数F_Cond3を用いて以下の通り求める。
P_X(Y)=F_Cond3(F_S203(X,Y)、F_S204(X,Y)、F_S206(X,Y)、F_S207(X,Y))・・・(式8)
F_cond3は例えば、以下のような線形関数でもよい。
F_cond3=Wi*F_S203(X,Y)+Wj*F_S204(X,Y)+Wf*F_S206(X,Y)+Wg*F_S207(X,Y)・・・(式9)
処理S22は、接続性の有無を求める処理S203、推定アクセス手段の存在を求める処理S204、システム構成の類似性を求める処理S206、攻撃パターンの確率を求める処理S207を基に、或る被害予測端末から他の被害予測端末への条件付き確率を算出する。
類似アクセス手段の存在を求める処理S205は、ミッション関連活動DB100および検知DB110を参照し、2つの被害予測端末の間に類似のアクセス手段があるかどうかを判断する。
図4の例では、80番ポートを開いている端末Eと同様のアクセス手段を提供している被害予測端末は無いため、F_S205(端末E,端末D)=F_S205(端末E,端末F)=「無」となる。関数は、1.0等の任意の数値を返す形でもよい。
処理S22においては、S203,S205、S206、S207での算出結果を基に、被害予測端末Xと他の被害予測端末Yの間の条件付き確率P_X(Y)を、任意の関数F_Cond4を用いて以下の通り求める。
P_X(Y)=F_Cond4(F_S203(X,Y)、F_S205(X,Y)、F_S206(X,Y)、F_S207(X,Y))・・・(式10)
F_cond3は例えば、以下のような線形関数でもよい。
F_cond3=Wい*F_S203(X,Y)+Wk*F_S205(X,Y)+Wf*F_S206(X,Y)+Wg*F_S207(X,Y)・・・(式11)
処理S23における外部ナレッジの反映は、処理S13と同様のため、割愛する。
図16は、影響分析部220の演算結果を提供する画面G1の例である。影響分析結果画面G1は、業務処理システム50に存在する被害推定端末と被害予測端末に関する情報を管理者H2等へ提供する。管理者H2は、画面G1を通じて、影響分析ユーザインタラクション部223から影響分析部220の演算結果の一部を操作することもできる。
被害推定端末に関する情報の提供部は、被害推定端末の関係ネットワークについての詳細情報を表示する表示部GP11と、被害推定端末の関係ネットワークをグラフとして表示する表示部GP12を有する。
被害予測端末に関する情報の提供部は、被害予測端末の関係ネットワークについての詳細情報を表示する表示部GP13と、被害予測端末の関係ネットワークをグラフとして表示する表示部GP14を有する。
管理者H2は、ポインタ186に示すように、条件付き確率の値を手動で変更することもできる。さらに、管理者H2は、ポインタ189に示すように、ノード内の事前確率の値を手動で変更することもできる。ただし、管理者H2は、被害確定端末の確率を変更することはできない。
このように構成される本実施例によれば、複数の端末51を含む業務処理システム50において、複数の端末をまたがる攻撃により被害を受ける範囲を従来よりも精度良く分析することができ、業務処理システムの管理効率を向上できる。
さらに本実施例によれば、いわゆる標的型攻撃やマルウェアの活動による影響を分析でき、それら攻撃や活動への対処方法を導出して実施することができる。したがって、業務処理システム50の信頼性を高めることができる。
さらに本実施例によれば、業務処理システム50を構成する各端末51について、業務処理上のミッションの重要度を定義するため、攻撃による影響範囲をミッションの重要性に応じて分析することができ、ミッションの重要性を考慮した対処方法を導出し、実施することができる。
なお、本発明は、上述した実施形態に限定されない。当業者であれば、本発明の範囲内で、種々の追加や変更等を行うことができる。上述の実施形態において、添付図面に図示した構成例に限定されない。本発明の目的を達成する範囲内で、実施形態の構成や処理方法は適宜変更することが可能である。
また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれる。さらに特許請求の範囲に記載された構成は、特許請求の範囲で明示している組合せ以外にも組み合わせることができる。
10:ミッション保証装置、20:ネットワークセンサ、30:端末センサ、40:通信ネットワーク、50:業務処理システム、51:端末、200:ミッション関連活動導出部、210:検知部、220:影響分析部、221:被害推定関係ネットワーク構築部、222:被害予測関係ネットワーク構築部、223:影響分析ユーザインタラクション部、224:確率算出部、230:対処導出部、240:対処実施部、221

Claims (14)

  1. 複数のコンピュータを含む業務処理システムを監視する業務処理システム監視装置であって、
    業務処理に関連して前記複数のコンピュータで実行される活動およびその活動の重要度を管理する活動管理部と、
    前記各コンピュータに対する攻撃を検知する検知部と、
    前記各コンピュータで実行される情報処理活動の重要度と、前記各コンピュータのシステム構成と、前記検知部による検知結果とに基づいて、前記各コンピュータのうちいずれか一つ以上のコンピュータに対する攻撃の影響を分析する影響分析部と、
    を備える業務処理システム監視装置。
  2. 前記影響分析部は、前記各コンピュータのうち、攻撃が検知された第1コンピュータと、未だ検知されていないが攻撃されている可能性のある第2コンピュータを検出し、前記第2コンピュータが攻撃されている確率を算出する、
    請求項1に記載の業務処理システム監視装置。
  3. 前記影響分析部は、
    前記情報処理活動の重要度に基づいて、前記各コンピュータが前記第2コンピュータである事前確率を算出し、さらに、
    前記第1コンピュータのシステム構成との類似度に基づいて、前記各コンピュータが前記第2コンピュータである条件付き確率を算出し、
    前記事前確率と前記条件付き確率とから前記第2コンピュータが攻撃されている確率を算出する、
    請求項2に記載の業務処理システム監視装置。
  4. 前記影響分析部は、前記第1コンピュータの挙動を示す情報との類似度にも基づいて、前記各コンピュータが前記第2コンピュータである前記条件付き確率を算出する、
    請求項3に記載の業務処理システム監視装置。
  5. 前記影響分析部は、コンピュータのシステム構成と脆弱性との関係を示す脆弱性情報と、前記各コンピュータのシステム構成とを比較することで、前記各コンピュータの脆弱性の有無を判定し、その脆弱性の有無についての判定結果にも基づいて、前記各コンピュータが前記第2コンピュータである前記条件付き確率を算出する、
    請求項4に記載の業務処理システム監視装置。
  6. 前記影響分析部は、前記各コンピュータ間での通信アクセスの有無に関する情報を用いて、前記各コンピュータ間での通信アクセスの有無を判定し、その判定結果にも基づいて、前記各コンピュータが前記第2コンピュータである前記条件付き確率を算出する、
    請求項5に記載の業務処理システム監視装置。
  7. 前記影響分析部は、前記各コンピュータ間での攻撃パターンを示す情報にも基づいて、前記各コンピュータが前記第2コンピュータである前記条件付き確率を算出する、
    請求項6に記載の業務処理システム監視装置。
  8. 前記影響分析部は、前記事前確率と前記条件付き確率とを基に確率伝搬法を用いることで、前記各コンピュータが前記第2コンピュータである事後確率を算出する、
    請求項3に記載の業務処理システム監視装置。
  9. 前記影響分析部は、前記各コンピュータのうち、将来攻撃される可能性のある第3コンピュータをさらに検出し、前記第3コンピュータが将来攻撃される確率を算出する、
    請求項8に記載の業務処理システム監視装置。
  10. 前記影響分析部は、
    前記情報処理活動の重要度に基づいて、前記各コンピュータが前記第3コンピュータとなる事前確率を算出し、
    前記各コンピュータ間での通信アクセスの有無に関する情報を用いて、前記各コンピュータ間での通信アクセスの有無を判定し、
    前記通信アクセスの有無についての判定結果と、前記第1コンピュータとのシステム構成との類似度とに基づいて、前記各コンピュータが前記第3コンピュータとなる条件付き確率を算出し、
    前記事前確率と前記条件付き確率とから前記第3コンピュータが将来攻撃される確率を算出する、
    請求項9に記載の業務処理システム監視装置。
  11. 前記影響分析部は、影響分析の結果を表示する影響分析結果画面を生成し、
    前記影響分析結果画面には、
    前記第1、第2、第3コンピュータに対応する図形要素と、
    関係するコンピュータであることを示す線と、
    前記第1、第2、第3コンピュータに関する確率の値と、
    前記線に関する確率の値と、
    が表示され、
    前記図形要素、前記線、前記確率の値の少なくともいずれか一つは、ユーザの指示で変更可能である、
    請求項10に記載の業務処理システム監視装置。
  12. さらに、前記第2コンピュータおよび前記第3コンピュータを保護するための対処方法を判断する対処導出部を備え、
    前記対処導出部は、
    前記第2コンピュータが攻撃されている確率に基づいて、前記第2コンピュータへの攻撃に対処する方法を判断し、
    前記第3コンピュータが将来攻撃される確率に基づいて、前記第3コンピュータへの攻撃に対処する方法を判断する、
    請求項11に記載の業務処理システム監視装置。
  13. 複数のコンピュータを含む業務処理システムを監視装置により監視する業務処理システム監視方法であって、
    前記監視装置は、
    業務処理に関連して前記複数のコンピュータで実行される活動およびその活動の重要度を管理しており、
    前記各コンピュータに対する攻撃を検知する検知ステップと、
    前記各コンピュータで実行される情報処理活動の重要度と、前記各コンピュータのシステム構成と、前記検知ステップによる検知結果とに基づいて、前記各コンピュータのうちいずれか一つ以上のコンピュータに対する攻撃の影響を分析する影響分析ステップと、を備える、
    業務処理システム監視方法。
  14. 複数のコンピュータを含む業務処理システムを監視する業務処理システム監視装置を実現するためのコンピュータプログラムであって、
    業務処理に関連して前記複数のコンピュータで実行される活動およびその活動の重要度を管理する重要度管理機能と、
    前記各コンピュータに対する攻撃を検知する検知機能と、
    前記各コンピュータで実行される情報処理活動の重要度と、前記各コンピュータのシステム構成と、前記検知機能による検知結果とに基づいて、前記各コンピュータのうちいずれか一つ以上のコンピュータに対する攻撃の影響を分析する影響分析機能とを、
    コンピュータ上に実現するためのコンピュータプログラム。
JP2017006126A 2016-05-18 2017-01-17 業務処理システム監視装置および監視方法 Active JP6774881B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016099215 2016-05-18
JP2016099215 2016-05-18

Publications (2)

Publication Number Publication Date
JP2017211978A true JP2017211978A (ja) 2017-11-30
JP6774881B2 JP6774881B2 (ja) 2020-10-28

Family

ID=60474842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017006126A Active JP6774881B2 (ja) 2016-05-18 2017-01-17 業務処理システム監視装置および監視方法

Country Status (1)

Country Link
JP (1) JP6774881B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019142348A1 (ja) * 2018-01-22 2019-07-25 日本電気株式会社 ネットワーク制御装置およびネットワーク制御方法
JP2019145995A (ja) * 2018-02-20 2019-08-29 Kddi株式会社 攻撃予測装置、攻撃予測方法及び攻撃予測プログラム
JP2019212143A (ja) * 2018-06-07 2019-12-12 株式会社日立製作所 損害予測方法、損害予測システム及びプログラム
JP2020038581A (ja) * 2018-09-05 2020-03-12 日本電信電話株式会社 推定方法、推定装置および推定プログラム
WO2020065737A1 (ja) * 2018-09-25 2020-04-02 日本電気株式会社 影響範囲推定装置、影響範囲推定方法、及びコンピュータ読み取り可能な記録媒体
CN111651753A (zh) * 2019-03-04 2020-09-11 顺丰科技有限公司 用户行为分析系统及方法
WO2020183615A1 (ja) * 2019-03-12 2020-09-17 三菱電機株式会社 攻撃推定装置、攻撃制御方法、および攻撃推定プログラム
CN111937444A (zh) * 2018-04-16 2020-11-13 松下电器(美国)知识产权公司 通信装置和通信方法
WO2021144975A1 (ja) * 2020-01-17 2021-07-22 三菱電機株式会社 情報処理装置及びプログラム
WO2023032015A1 (ja) * 2021-08-30 2023-03-09 日本電気株式会社 攻撃分析支援装置、攻撃分析支援方法、およびコンピュータ読み取り可能な記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054706A (ja) * 2002-07-22 2004-02-19 Sofutekku:Kk セキュリティリスク管理システム、そのプログラムおよび記録媒体
JP2005107726A (ja) * 2003-09-29 2005-04-21 Ntt Communications Kk セキュリティ管理装置、セキュリティ管理方法、およびセキュリティ管理プログラム
JP2009500706A (ja) * 2005-06-30 2009-01-08 プレヴィクス リミテッド マルウェアに対処する方法及び装置
JP2015191390A (ja) * 2014-03-28 2015-11-02 株式会社日立製作所 セキュリティ対処支援システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054706A (ja) * 2002-07-22 2004-02-19 Sofutekku:Kk セキュリティリスク管理システム、そのプログラムおよび記録媒体
JP2005107726A (ja) * 2003-09-29 2005-04-21 Ntt Communications Kk セキュリティ管理装置、セキュリティ管理方法、およびセキュリティ管理プログラム
JP2009500706A (ja) * 2005-06-30 2009-01-08 プレヴィクス リミテッド マルウェアに対処する方法及び装置
JP2015191390A (ja) * 2014-03-28 2015-11-02 株式会社日立製作所 セキュリティ対処支援システム

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7017163B2 (ja) 2018-01-22 2022-02-08 日本電気株式会社 ネットワーク制御装置およびネットワーク制御方法
US11588846B2 (en) 2018-01-22 2023-02-21 Nec Corporation Network control device and network control method
WO2019142348A1 (ja) * 2018-01-22 2019-07-25 日本電気株式会社 ネットワーク制御装置およびネットワーク制御方法
JPWO2019142348A1 (ja) * 2018-01-22 2020-12-10 日本電気株式会社 ネットワーク制御装置およびネットワーク制御方法
JP2019145995A (ja) * 2018-02-20 2019-08-29 Kddi株式会社 攻撃予測装置、攻撃予測方法及び攻撃予測プログラム
CN111937444A (zh) * 2018-04-16 2020-11-13 松下电器(美国)知识产权公司 通信装置和通信方法
JP2019212143A (ja) * 2018-06-07 2019-12-12 株式会社日立製作所 損害予測方法、損害予測システム及びプログラム
WO2020050006A1 (ja) * 2018-09-05 2020-03-12 日本電信電話株式会社 推定方法、推定装置および推定プログラム
JP2020038581A (ja) * 2018-09-05 2020-03-12 日本電信電話株式会社 推定方法、推定装置および推定プログラム
JP7095506B2 (ja) 2018-09-05 2022-07-05 日本電信電話株式会社 推定方法、推定装置および推定プログラム
WO2020065737A1 (ja) * 2018-09-25 2020-04-02 日本電気株式会社 影響範囲推定装置、影響範囲推定方法、及びコンピュータ読み取り可能な記録媒体
US11729208B2 (en) 2018-09-25 2023-08-15 Nec Corporation Impact range estimation apparatus, impact range estimation method, and computer-readable recording medium
JPWO2020065737A1 (ja) * 2018-09-25 2021-08-30 日本電気株式会社 影響範囲推定装置、影響範囲推定方法、及びプログラム
JP7099533B2 (ja) 2018-09-25 2022-07-12 日本電気株式会社 影響範囲推定装置、影響範囲推定方法、及びプログラム
CN111651753A (zh) * 2019-03-04 2020-09-11 顺丰科技有限公司 用户行为分析系统及方法
WO2020183615A1 (ja) * 2019-03-12 2020-09-17 三菱電機株式会社 攻撃推定装置、攻撃制御方法、および攻撃推定プログラム
JPWO2020183615A1 (ja) * 2019-03-12 2021-09-13 三菱電機株式会社 攻撃推定装置、攻撃制御方法、および攻撃推定プログラム
CN113544676A (zh) * 2019-03-12 2021-10-22 三菱电机株式会社 攻击估计装置、攻击控制方法和攻击估计程序
WO2021144975A1 (ja) * 2020-01-17 2021-07-22 三菱電機株式会社 情報処理装置及びプログラム
JP7008893B2 (ja) 2020-01-17 2022-01-25 三菱電機株式会社 情報処理装置及びプログラム
JPWO2021144975A1 (ja) * 2020-01-17 2021-07-22
WO2023032015A1 (ja) * 2021-08-30 2023-03-09 日本電気株式会社 攻撃分析支援装置、攻撃分析支援方法、およびコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JP6774881B2 (ja) 2020-10-28

Similar Documents

Publication Publication Date Title
JP6774881B2 (ja) 業務処理システム監視装置および監視方法
US11647039B2 (en) User and entity behavioral analysis with network topology enhancement
Beaman et al. Ransomware: Recent advances, analysis, challenges and future research directions
JP6863969B2 (ja) 低信頼度のセキュリティイベントによるセキュリティインシデントの検出
US11757920B2 (en) User and entity behavioral analysis with network topology enhancements
US10284587B1 (en) Systems and methods for responding to electronic security incidents
US9838405B1 (en) Systems and methods for determining types of malware infections on computing devices
US9166997B1 (en) Systems and methods for reducing false positives when using event-correlation graphs to detect attacks on computing systems
JP6101408B2 (ja) イベント相関グラフを使用してコンピューティングシステムに対する攻撃を検出するためのシステム及び方法
US7530104B1 (en) Threat analysis
US10003606B2 (en) Systems and methods for detecting security threats
Aldauiji et al. Utilizing cyber threat hunting techniques to find ransomware attacks: A survey of the state of the art
Khosravi et al. Alerts correlation and causal analysis for APT based cyber attack detection
US10313379B1 (en) Systems and methods for making security-related predictions
US20170155683A1 (en) Remedial action for release of threat data
Milosevic et al. Malware threats and solutions for trustworthy mobile systems design
Gazzan et al. Key factors influencing the rise of current ransomware attacks on industrial control systems
JP7019533B2 (ja) 攻撃検知装置、攻撃検知システム、攻撃検知方法および攻撃検知プログラム
Cen et al. Ransomware early detection: A survey
WO2021144978A1 (ja) 攻撃推定装置、攻撃推定方法及び攻撃推定プログラム
JP7168010B2 (ja) 行動計画推定装置、行動計画推定方法、及びプログラム
Lakhdhar et al. Proactive security for safety and sustainability of mission critical systems
Weintraub et al. Continuous monitoring system based on systems' environment
CN117134999B (zh) 一种边缘计算网关的安全防护方法、存储介质及网关
Gudimetla CLOUD MALWARE PROTECTION STRATEGIES

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201005

R150 Certificate of patent or registration of utility model

Ref document number: 6774881

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150