JP2015179416A - ブラックリスト拡充装置、ブラックリスト拡充方法およびブラックリスト拡充プログラム - Google Patents

ブラックリスト拡充装置、ブラックリスト拡充方法およびブラックリスト拡充プログラム Download PDF

Info

Publication number
JP2015179416A
JP2015179416A JP2014056658A JP2014056658A JP2015179416A JP 2015179416 A JP2015179416 A JP 2015179416A JP 2014056658 A JP2014056658 A JP 2014056658A JP 2014056658 A JP2014056658 A JP 2014056658A JP 2015179416 A JP2015179416 A JP 2015179416A
Authority
JP
Japan
Prior art keywords
log
url
blacklist
unit
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014056658A
Other languages
English (en)
Other versions
JP5813810B2 (ja
Inventor
健介 中田
Kensuke Nakada
健介 中田
和憲 神谷
Kazunori Kamiya
和憲 神谷
毅 八木
Takeshi Yagi
毅 八木
佐藤 徹
Toru Sato
徹 佐藤
大紀 千葉
Daiki Chiba
大紀 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2014056658A priority Critical patent/JP5813810B2/ja
Publication of JP2015179416A publication Critical patent/JP2015179416A/ja
Application granted granted Critical
Publication of JP5813810B2 publication Critical patent/JP5813810B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】効率的かつ精度よくブラックリストを拡充し、ブラックリストによる防御の効果を向上させる。【解決手段】ブラックリスト拡充装置は、ログ取得部と、ログ分析部と、前処理部と、悪性URLリスト作成部と、を備える。ログ取得部は、通信ログを取得する。ログ分析部は、ログ取得部が取得した通信ログに基づき、当該通信ログに含まれ、第1の基準を満たすURLである悪性URL候補を抽出する。前処理部は、ログ取得部が取得した通信ログに基づき、対象ネットワークの統計情報を抽出する。悪性URLリスト作成部は、ログ分析部が抽出した悪性URL候補を統合し、前処理部が抽出した統計情報を参照して第2の基準を満たす悪性URL候補を統合した悪性URL候補から除外して悪性URLリストを作成する。【選択図】図1

Description

本発明は、ブラックリスト拡充装置、ブラックリスト拡充方法およびブラックリスト拡充プログラムに関する。
ネットワークを介して行われるサイバー攻撃は日々複雑さを増しており、入口対策だけでは通信端末のマルウェアへの感染を完全に防ぐことが困難になっている。そこで、通信端末がサイバー攻撃によってマルウェアに感染した場合でも、マルウェアを定義するブラックリストを用いて通信のアクセス制御を行い、早期に感染を発見し被害の拡大を防止する技術がある。たとえば、図8は、従来技術に係るブラックリスト拡充技術の一例を説明するための図である。従来技術では、図8に示すような、Webサーバ型ハニーポットとクライアント型ハニーポットを備える隔離ネットワークを準備して、外部ネットワークと接続し、外部ネットワークを経由して送られるサーバ攻撃を監視する。そして、監視を通じて取得した情報に基づき、悪性URLのブラックリストを生成する。ブラックリストに記述された文字列や疑わしい文字列を含むデータ等をブロックすることで被害拡大を防止する。
ブラックリストを用いた防御技術では、高い精度で継続的にブラックリストを拡充することが求められる。そこで、巡回システム等が、ハニーポットで収集した悪性URL(Uniform Resource Locator)候補を巡回してブラックリストを拡充することが行われている。つまり、巡回システムが、悪性の疑いがあるURLに実際にアクセスしてその後の通信挙動を監視し、悪性か否かを判断する。そして、巡回システムが悪性と判断した場合に、当該URLをブラックリストに追加する。
特開2012−118713号公報
しかしながら、従来のように巡回システムが悪性URL候補を巡回する手法では、ブラックリストの精度を高めることはできるが、収集することができる悪性URLの数が少ない。また、確認することができる悪性URLの種類に制約があり、効率よくブラックリストを拡充することが困難である。
開示の技術は、上記に鑑みてなされたものであって、効率的かつ精度よくブラックリストを拡充し、ブラックリストによる防御の効果を向上させることを目的とする。
開示するブラックリスト拡充装置、ブラックリスト拡充方法およびブラックリスト拡充プログラムは、通信ログを取得し、取得した通信ログに基づき、当該通信ログに含まれ、第1の基準を満たすURLである悪性URL候補を抽出し、通信ログに基づき、対象ネットワークの統計情報を抽出し、抽出した悪性URL候補を統合し、抽出した統計情報を参照して第2の基準を満たす悪性URL候補を統合した悪性URL候補から除外して悪性URLリストを作成することを特徴とする。
開示するブラックリスト拡充装置、ブラックリスト拡充方法およびブラックリスト拡充プログラムは、効率的かつ精度よくブラックリストを拡充し、ブラックリストによる防御の効果を向上させることができるという効果を奏する。
図1は、第1の実施形態に係る通信システムの概要を示す図である。 図2は、ログに含まれる情報の例を説明するための図である。 図3は、第1の実施形態に係るログ収集蓄積装置におけるログの処理の流れを説明するための図である。 図4は、第1の実施形態に係るブラックリスト拡充処理の流れの一例を示すフローチャートである。 図5は、第1の実施形態に係るログ分析処理の流れの一例を示すフローチャートである。 図6は、第1の実施形態に係る悪性URLリスト作成処理の流れの一例を示すフローチャートである。 図7は、ブラックリスト拡充プログラムを実行するコンピュータを示す図である。 図8は、従来技術に係るブラックリスト拡充技術の一例を説明するための図である。
以下に、開示するブラックリスト拡充装置、ブラックリスト拡充方法およびブラックリスト拡充プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、各実施形態は適宜組み合わせることができる。
(第1の実施形態)
[第1の実施形態に係る通信システム1の構成の一例]
図1は、第1の実施形態に係る通信システム1の概要を示す図である。図1に示すように、通信システム1は、ログ収集蓄積装置10と、ブラックリスト拡充装置20と、ブラックリスト情報配信システム30と、Webサイト巡回システム40と、を備える。
通信システム1中、ブラックリスト拡充装置20は、ログ収集蓄積装置10が収集したネットワークの通信ログと、ブラックリスト情報配信システム30が保持する既存のブラックリスト情報とに基づいて、自装置が保持するブラックリスト情報を更新し拡充する。また、ブラックリスト拡充装置20は、ブラックリスト情報の更新拡充の過程で、Webサイト巡回システム40に、悪性URLの疑いがあるURLの巡回および検査を要求する。ブラックリスト拡充装置20は、Webサイト巡回システム40の巡回検査の結果を取得して、自装置内のブラックリスト情報に検査結果を反映する。なお、図1では、ブラックリスト拡充装置20は、自装置内のブラックリスト情報を更新拡充するものとして示す。ただし、ブラックリスト拡充装置20の更新拡充後のブラックリスト情報を、ブラックリスト情報配信システム30にフィードバックするように構成してもよい。
[ログ収集蓄積装置10の構成の一例]
ログ収集蓄積装置10は、防御対象ネットワークの通信のログを収集し蓄積する装置である。防御対象ネットワークは、たとえば所定の組織において利用する内部ネットワーク、たとえばローカルエリアネットワーク(LAN)等でもよいし、インターネット等でもよい。防御対象ネットワークは、IPパケット等の情報を転送するネットワークであれば特に限定されない。
ログ収集蓄積装置10はたとえば、プロキシサーバやファイヤウォール(FW)などのセキュリティアプライアンスやネットワークアプライアンスのログを収集する。ただし、所定のネットワーク内の通信ログを収集できれば、ログ収集蓄積装置10のログ収集の態様は特に限定されない。
ログ収集蓄積装置10は、ログ収集部110と、正規化部120と、ログ格納部130と、を備える。
ログ収集部110は、セキュリティアプライアンスやネットワークアプライアンスのログを収集する。たとえば、ログ収集部110は、Syslog等のログ転送手段により、クライアント端末がインターネット上の任意のウェブサイトにアクセスする都度、プロキシサーバからアクセスログを一行ずつ受信するように構成してもよい。また、ログ収集部110は、FTP(File Transfer Protocol)やSMB(Server Message Block)等のファイル転送手段により、定期的にプロキシサーバから所定のまとまりのアクセスログのファイルを受信するように構成してもよい。
正規化部120は、ログ収集部110が収集したログを整形して後続処理に適した形にする。たとえば、正規化部120は、ログから、HTTPの通信における、アクセス時刻、クライアント端末のIPアドレスおよびアクセス先のURL等の情報を抽出して整形する。ここで、アクセス時刻とは、クライアント端末がプロキシサーバを経由してインターネット上の任意のウェブサイトにアクセスした時刻を指す。また、クライアント端末IPアドレスとは、プロキシサーバを経由したクライアント端末のIPアドレスを指す。また、アクセス先URLとは、クライアント端末がプロキシサーバを経由してアクセスしたインターネット上の外部サイトもしくは内部サイトのURLを指す。
こうして正規化部120により正規化されたログは少なくとも、宛先URL(たとえば上記アクセス先のURL)と、送信元IPアドレス(たとえば上記クライアント端末のIPアドレス)と、を含む。ただし、正規化されたログは、この他の情報を含んでもよい。たとえば、正規化されたログは、タイムスタンプ、LogSource、送信元ポート番号、宛先IPアドレス、宛先ポート番号等の情報を含んでもよい。また、正規化されたログは、通信プロトコル名、送信バイト数、受信バイト数、メソッド名、UserAgent、ステータスコード、継続時間、通信方向等の情報を含んでもよい。図2は、ログに含まれる情報の例を説明するための図である。正規化部120が正規化したログは、図2に示すような項目の情報を含んでよい。正規化部120が正規化したログは、ログ格納部130に格納される。
図3は、第1の実施形態に係るログ収集蓄積装置10におけるログの処理の流れを説明するための図である。図3に示すように、まず、ログ収集部110がアクセスログを受信(収集)する(図3の(1))。そして、正規化部120が収集したログを正規化する(図3の(2))。そして、ログ格納部130に正規化したログを格納し蓄積する(図3の(3))。ログ格納部130に格納されるログの情報は、図3の(4)に示すように、「アクセス時刻」、「クライアント端末IPアドレス」、「アクセス先URL」等の情報を含む。ログ格納部130は、ブラックリスト拡充装置20のログ取得部210(後述)からログデータ要求を受けると、要求されたログをログ取得部210に送信する(図3の(5))。このとき、ログ格納部130は、指定された期間分のログを送信するように構成してもよい。
[ブラックリスト拡充装置20の構成の一例]
ブラックリスト拡充装置20は、ブラックリスト情報配信システム30から取得したブラックリスト情報を、ログ収集蓄積装置10から取得したログから得られる情報に基づき、更新し拡充する。図1に示すように、ブラックリスト拡充装置20は、ログ収集蓄積装置10、ブラックリスト情報配信システム30およびWebサイト巡回システム40と相互に連携可能な状態で構築される。なお、連携の態様は特に限定されない。
ブラックリスト拡充装置20は、ログ取得部210と、ブラックリスト取得部220と、前処理部230と、ログ分析部240と、悪性URLリスト作成部250と、検査要求部260と、を備える。
ログ取得部210は、ブラックリストを拡充する際に、ログ格納部130からログ取得問合せを受け、ログデータ要求を送信する。ログ格納部130は、要求に応じてログ取得部210に要求されたログを検索し、結果を応答する。すなわち、ログ格納部130は、要求されたログを送信する。なお、ログ取得部210によるログ取得のタイミングは特に限定されない。たとえば、予め定められた期間ごとにログ取得問合せをログ格納部130が送信するものとしてもよいし、外部からのトリガ、たとえばオペレータからの入力に応じてログ取得部210がログデータ要求を送信するものとしてもよい。
ブラックリスト取得部220は、ログ取得部210によるログの取得とは別個に、ブラックリスト情報配信システム30からブラックリスト情報を取得する。ブラックリスト取得部220によるブラックリスト取得のタイミングも特に限定されない。ここでは、ブラックリスト取得部220は、定期的にブラックリスト情報配信システム30にアクセスしてブラックリスト情報を取得するものとする。ブラックリスト取得部220が取得したブラックリスト情報は、ブラックリスト情報記憶部271(後述)に記憶する。なお、それまでにブラックリスト情報記憶部271に記憶されているブラックリスト情報があれば、上書きするものとしてもよいし、別個の領域に区別して記憶するようにしてもよい。
ブラックリスト取得部220が取得するブラックリスト情報にはたとえば、悪性と判断されたURL、ドメイン、IPアドレス、悪性度、種類、ブラックリストに登録された日時等の情報が含まれる。
前処理部230は、ログ取得部210が取得したログに基づいて、防御対象ネットワークの統計情報(ネットワーク情報)を抽出する。前処理部230が抽出する統計情報の種類は特に限定されず、当該ネットワーク上の通信の特徴を示すものであればよい。統計情報としてたとえば、1日の通信ログの中に出現するFQDN(Fully Qualified Domain Name)のランキング情報等が挙げられる。この場合、ランキングの作成手法としては、一つのFQDNに対してアクセスしているユニークな送信元IPアドレスの数を集計して、集計に基づいてランキングしてもよい。また、単純に当該FQDNに対するアクセスの回数を集計してランキングしてもよい。また、FQDN単位でなく、URL単位で同様の回数のランキング情報を抽出してもよい。
前処理部230が抽出した統計情報は、ネットワーク情報記憶部272(後述)に記憶する。統計情報は、前処理部230が前処理を実行するたびに追加してネットワーク情報記憶部272に記憶するものとする。また、ネットワーク情報記憶部272は、少なくとも所定期間は過去の統計情報を保持するものとする。
ログ分析部240は、ログ取得部210が取得したログを分析して、所定の基準に基づき悪性URL候補を抽出する。このとき、ログ分析部240は、先に前処理部230が抽出し記憶させた統計情報を参照する。また、ログ分析部240は、ブラックリスト情報記憶部271に記憶されたブラックリスト情報を参照する。
ログ分析部240は、たとえば、ブラックリスト情報を参照して、ブラックリストに含まれるURLにアクセスしている端末すなわち送信元IPアドレスを、マルウェアに感染した端末とみなしてログから抽出する。かかる端末をみなし感染端末と呼ぶ。さらに、ログ分析部240は、みなし感染端末がアクセスしているURLであってブラックリストに含まれていないURLを、ログから抽出する。そして、ログ分析部240は、みなし感染端末がアクセスしているURLであってブラックリストに含まれていないURLを、当該URLにアクセスしているみなし感染端末の数に基づいてスコアリングする。たとえば、ログ分析部240は、二つのみなし感染端末がアクセスしているURLは2、五つのみなし感染端末がアクセスしているURLは5等のスコアを付与する。そして、ログ分析部240は、予め定めた閾値(たとえば3)をスコアが超えるURLを、悪性URL候補として抽出する。
これらのURLを悪性URL候補とするのは、ブラックリストに含まれるURLにアクセスしている端末はマルウェアに感染している可能性が高く、当該端末がアクセスしている他のURLもマルウェアの通信先である可能性が疑われるからである。そして、アクセスしているマルウェア感染端末の数が多いほど、URLが悪性サイトである確率も高いといえる。
また、ログ分析部240は、たとえば、前処理部230が抽出した統計情報を参照して、アクセス数が所定の閾値よりも少ないURLを抽出して悪性URL候補とする。このとき、アクセス数としては、ユニークな送信元IPアドレスによるアクセス数に基づく統計情報を利用してもよいし、ユニークな送信元IPアドレスに限定しない単純なアクセス総数に基づく統計情報を利用してもよい。
また、ログ分析部240は、たとえば、ログから抽出したURLのうち、FQDNの部分がIPアドレス形式のURLを抽出して悪性URL候補とする。これは、正規ユーザが外部のウェブサイトを閲覧する際にはFQDN部がIPアドレス形式であるパターンは少ないため、当該ログはマルウェアの行った通信によるものである可能性が高いからである。
ログ分析部240は、以上のように所定の基準に基づきログを分析して悪性URL候補を抽出する。このとき適用する所定の基準、すなわち分析ロジックは特に限定されず、悪性のURL情報と送信元IPアドレスの組を抽出できるような分析ロジックであれば任意のものを適用することができる。また、上記のログ分析部240の処理順序は特に限定されず、アクセス数が少ないURLを抽出したのちにFQDNの部分がIPアドレス形式のURLを抽出してもよく、その逆であってもよい。
悪性URLリスト作成部250は、統計情報等を参照して、ログ分析部240が抽出した悪性URL候補から悪性URLである可能性が低い候補を除外して、悪性URLリストを作成する。
たとえば、悪性URLリスト作成部250は、悪性URL候補にホワイトリスト情報記憶部273に記憶されたURLが含まれている場合、この悪性URL候補を悪性URLリストに含めず除外する。
また、たとえば、悪性URLリスト作成部250は、統計情報を参照して、FQDNのアクセスランキングにおいてアクセス数が所定の値以上であるFQDN部を持つURLが悪性URL候補に含まれている場合、この悪性URL候補を悪性URLリストに含めず除外する。これは、アクセス数が多いURLは不正なURLである可能性は低いという推定に基づく。
また、悪性URLリスト作成部250は、通信の性質等から必ずアクセスしなければならないURLやFQDNも悪性URLリストには含めず除外する。
さらに、悪性URLリスト作成部250は、Webサイト巡回システム40による巡回検査に適さないURL、たとえばフォーマット違反のURL等も悪性URLリストには含めず除外する。ここで、フォーマット違反のURLとはたとえば、RFC3986に準拠していない形式のURLを指す。
さらに、悪性URLリスト作成部250は、プライベートIPアドレスや広告系のURLについても悪性URLリストには含めず除外する。プライベートIPアドレスとは、RFC1918に規定されているIPアドレスである。たとえば、クラスAが、10.0.0.0-10.255.255.255等である。また、広告系のURLとはたとえば、ウェブサイト上に表示される広告バナーのURL等である。
このようにして、悪性URLリスト作成部250は、悪性URLリストを作成して出力する。
検査要求部260は、悪性URLリスト作成部250が作成した悪性URLリストに含まれるURLへの巡回検査を、Webサイト巡回システム40に要求する。そして、検査要求部260は、Webサイト巡回システム40による検査結果を取得する。その後、検査要求部260は、検査結果を反映した悪性URLリストをブラックリスト情報記憶部271に記憶されるブラックリストの情報に反映させる。
ブラックリスト情報記憶部271は、上述のように、ブラックリスト取得部220がブラックリスト情報配信システム30から取得したブラックリスト情報を記憶する。また、ブラックリスト情報記憶部271は、検査要求部260から悪性URLリストを受け取り、記憶内容に反映する。
ネットワーク情報記憶部272は、上述のように、前処理部230が抽出した統計情報を記憶する。そして、ログ分析部240および悪性URLリスト作成部250は、ネットワーク情報記憶部272を参照して処理を実行する。なお、統計情報の種類や形式は特に限定されない。
ホワイトリスト情報記憶部273は、ホワイトリストを記憶する。ホワイトリストとは、検査要求から除くURLやFQDNを記載したものであり、安全が確認されているURLやFQDN等のリストである。ブラックリスト拡充装置20は、予め安全性が確認されているURL等をホワイトリスト情報記憶部273に登録しておく。また、ブラックリスト拡充装置20は、ブラックリストと同様にホワイトリストを外部の装置から定期的に取得するものとしてもよい。
ブラックリスト情報配信システム30は、ブラックリスト情報を格納したデータベースを備え、他の装置等の要求に応じてブラックリスト情報を配信するシステムである。たとえば、ブラックリスト情報配信システム30は、研究機関や情報セキュリティ関連企業等が独自の調査により作成した悪性URLリストを保持する。そして、ブラックリスト情報配信システム30は、保持する悪性URLリストを、インターネット等を通じて一般に公開する。
Webサイト巡回システム40は、巡回型ハニーポットやURLスキャナ等、悪性URLの候補リストを受信して検査を行い、当該候補リストに含まれるURLが悪性か否かを判定する。Webサイト巡回システム40は、検査要求受付部を備え、外部装置、たとえばブラックリスト拡充装置20からの検査要求を受け付けて、検査を実行する。
[第1の実施形態に係るブラックリスト拡充処理の流れの一例]
図4は、第1の実施形態に係るブラックリスト拡充処理の流れの一例を示すフローチャートである。図4を参照して、第1の実施形態に係るブラックリスト拡充処理の流れの一例について説明する。
まず、ブラックリスト拡充処理が開始すると、ログ取得部210は、ログ格納部130にログデータ要求を送信し、ログを取得する(ステップS401)。また、ブラックリスト取得部220は、ブラックリスト情報配信システム30からブラックリスト情報を取得する(ステップS402)。なお、図4では便宜上、ログの取得とブラックリスト情報の取得が順番に実行されたものとして記載するが、ログとブラックリスト情報の取得タイミングは特に限定されない。
次に、前処理部230は、ログ取得部210が取得したログから統計情報を抽出する(ステップS403)。その後、ログ分析部240は、ログ取得部210が取得したログを分析して悪性URL候補を抽出するログ分析処理を実行する(ステップS404)。さらに、悪性URLリスト作成部250は、ログ分析部240の分析結果として得られる悪性URL候補から所定の条件を満たすURLを除外して、悪性URLリストを作成する悪性URLリスト作成処理を実行する(ステップS405)。そして、検査要求部260は、悪性URLリスト作成部250が作成した悪性URLリストに基づく検査を、Webサイト巡回システム40に要求する(ステップS406)。検査要求部260は、Webサイト巡回システム40から検査結果を取得すると(ステップS407)、検査結果をブラックリスト情報記憶部271に記憶されるブラックリスト情報に反映させる(ステップS408)。これでブラックリスト拡充処理が終わる。
[ログ分析処理の流れの一例]
図5は、第1の実施形態に係るログ分析処理の流れの一例を示すフローチャートである。なお、図5に示すログ分析処理のフローは一例にすぎず、図5に示す以外の基準に基づいても悪性URL候補を抽出できる。
まず、ログ分析処理が開始すると、ログ分析部240は、ログを参照して、FQDNがIPアドレス形式となっているURLがないか判定する(ステップS501)。FQDNがIPアドレス形式のURLがあると判定した場合(ステップS501、肯定)、ログ分析部240は、当該URLがログ中に出現する回数が予め定めた閾値以下か否かを判定する(ステップS502)。そして、出現する回数が予め定めた閾値以下であると判定した場合(ステップS502、肯定)、ログ分析部240は、当該URLを悪性URL候補に追加する(ステップS503)。
他方、ログ分析部240は、FQDNがIPアドレス形式のURLがないと判定した場合(ステップS501、否定)およびURLはあるものの出現回数は閾値より多いと判定した場合(ステップS502、否定)、ステップS504に進む。また、ステップS503において悪性URL候補への追加が終わった場合も、ログ分析部240はステップS504に進む。
ステップS504において、ログ分析部240は、統計情報を参照して、統計情報が示すアクセス数ランキング中、アクセス数が所定値以下のFQDNを抽出する。そして、ログ分析部240は当該FQDNに紐付けられるURLがログ中にないか判定する(ステップS504)。紐付けられるURLがあると判定した場合(ステップS504、肯定)、ログ分析部240は当該URLを悪性URL候補に追加して(ステップS505)、処理を終了する。他方、紐付けられるURLがないと判定した場合(ステップS504、否定)、ログ分析部240は処理を終了する。作成された悪性URL候補は悪性URLリスト作成部250へ出力される。
[悪性URLリスト作成処理の流れの一例]
図6は、第1の実施形態に係る悪性URLリスト作成処理の流れの一例を示すフローチャートである。図6を参照して悪性URLリスト作成処理の流れの一例につき説明する。ただし、悪性URLリスト作成処理において悪性URL候補を除外する基準は図示するものに限られず、悪性URL候補を絞り込むことができるものであれば他の任意の基準を適用してもよい。
まず、悪性URLリスト作成処理が開始すると、悪性URLリスト作成部250は、悪性URL候補をマージして暫定的な悪性URLリストを作成する(ステップS601)。そして、悪性URLリスト作成部250は、統計情報を参照して、アクセス数ランキング上位5位までのURLを暫定悪性URLリストから除外する(ステップS602)。次に、悪性URLリスト作成部250は、ホワイトリスト情報を参照して、ホワイトリストに含まれるURLを悪性URLリストから除外する(ステップS603)。次に、悪性URLリスト作成部250は、フォーマット違反のURLを悪性URLリストから抽出し、除外する(ステップS604)。そして、悪性URLリスト作成部250は、除外後の暫定悪性URLリストを最終的な悪性URLリストとして出力する(ステップS605)。これによって悪性URLリスト作成処理は終了する。
[第1の実施形態の効果]
上記のように、第1の実施形態に係るブラックリスト拡充装置は、通信ログを取得するログ取得部と、ログ取得部が取得した通信ログに基づき、当該通信ログに含まれ、第1の基準を満たすURLである悪性URL候補を抽出するログ分析部と、ログ取得部が取得した通信ログに基づき、対象ネットワークの統計情報を抽出する前処理部と、ログ分析部が抽出した悪性URL候補を統合し、前処理部が抽出した統計情報を参照して第2の基準を満たす悪性URL候補を統合した悪性URL候補から除外して悪性URLリストを作成する悪性URLリスト作成部と、を備える。このため、通信ログの情報に基づいて悪性URL候補を抽出した上で、所定の基準に基づいて不適当な悪性URL候補を除外した悪性URLリストを作成することができ、効率的かつ精度よくブラックリストを拡充し、ブラックリストによる防御の効果を向上させることができるという効果を奏する。また、第1の実施形態のブラックリスト拡充装置は、対象ネットワークの統計情報をさらに参照して、悪性URL候補を絞り込んだ悪性URLリストを作成することができ、悪性か否かを確認する必要のあるURLを絞り込むことができる。このため、ブラックリストの拡充にかかる時間や手間を抑制し、効率的かつ精度よくブラックリストを拡充することができる。
また、第1の実施形態に係るブラックリスト拡充装置において、ログ分析部は、通信ログの中から、FQDNがIPアドレスであり、且つ、出現回数が所定の閾値以下のURLを悪性URL候補として抽出する。
また、第1の実施形態に係るブラックリスト拡充装置において、ログ分析部は、前処理部が抽出した統計情報に基づき、対象ネットワーク内のアクセス数が所定の閾値以下のFQDNに紐付くURL、すなわち当該FQDNを含むURLを悪性URL候補として抽出する。このように、ブラックリスト拡充装置は、ログおよび統計情報に基づいて、多様な基準を用いて悪性URL候補を抽出するため、網羅的且つ効率的に悪性URL候補を抽出することができる。また、ブラックリスト拡充装置は、基準を適宜変更することによって所望の特性をもつ悪性URL候補を網羅的且つ効率的に抽出することができる。
また、第1の実施形態に係るブラックリスト拡充装置において、悪性URLリスト作成部は、フォーマット違反のURL、プライベートIPアドレスを含むURL、または広告系のURLを除外して悪性URLリストを作成する。また、悪性URLリスト作成部は、統計情報に基づき、対象ネットワーク内のアクセス数が所定閾値以上のURLを除外して悪性URLリストを作成する。このため、ブラックリスト拡充装置は、一つの基準に基づいて悪性URLの可能性ありと判定されたURLであっても多様な観点から設定される別の基準に基づいて再度フィルタリングすることができる。このため、ブラックリスト拡充装置は、多様な観点からURLの悪性、良性を判定して、精度の高いブラックリストとなるようブラックリストを拡充することができる。また、ブラックリスト拡充装置は、所定の観点から良性の可能性が高いURLを悪性URLリストから除外するため、その後の巡回検査等の手間を削減することができる。
(その他の実施形態)
これまで本発明の実施形態について説明したが、本発明は上述した実施形態以外にも、その他の実施形態にて実施されてもよい。以下に、その他の実施形態を説明する。
[ブラックリスト情報の提供]
上記実施の形態に係るブラックリスト拡充装置において、フィードバック処理によって更新されたブラックリスト情報を、ブラックリスト情報配信システムに対して送信するように構成してもよい。ブラックリスト情報配信システム側が、複数のブラックリスト拡充装置から更新されたブラックリスト情報を受信してマージできるように構成すれば、さらにブラックリスト情報の精度を通信システム全体として向上させることができる。
[ブラックリストの作成]
本実施の形態に係るブラックリスト拡充装置20は、ログ収集蓄積装置10に蓄積された通信ログを取得して当該通信ログに基づき悪性URLリストを作成し、作成したリストに基づき既存のブラックリスト情報を拡充する。しかし、これに限らず、ブラックリスト拡充装置20は、既存のブラックリスト情報が存在しない場合に、一からブラックリストを作成するよう動作することもできる。この場合は、ブラックリスト拡充装置20が初めて動作する際に、悪性URLリストによってブラックリスト情報が作成され、その後の動作ごとにブラックリスト情報が拡充されるものとする。この場合、ブラックリスト取得部220は設けないものとしてもよい。
[システム構成等]
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。たとえば、ログ分析部240と悪性URLリスト作成部250とを統合して、最終的な悪性URLリストを出力するように構成してもよい。また、ログ収集蓄積装置10とブラックリスト拡充装置20とを統合して一体的に構成してもよい。また、ブラックリスト拡充装置20をブラックリスト情報配信システム30に組み入れてもよい。
さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
[プログラム]
また、上記実施形態において説明したブラックリスト拡充装置20が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。たとえば、第1の実施形態に係るブラックリスト拡充装置20が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記第1の実施形態と同様の処理を実現してもよい。以下に、図1に示したブラックリスト拡充装置20と同様の機能を実現するプログラムを実行するコンピュータの一例を説明する。
図7は、プログラムを実行するコンピュータ1000を示す図である。図7に例示するように、コンピュータ1000は、たとえば、メモリ1010と、CPU1020と、ハードディスクドライブインタフェース1030と、ディスクドライブインタフェース1040と、シリアルポートインタフェース1050と、ビデオアダプタ1060と、ネットワークインタフェース1070とを有し、これらの各部はバス1080によって接続される。
メモリ1010は、図7に例示するように、ROM(Read Only Memory)1011およびRAM1012を含む。ROM1011は、たとえば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、図7に例示するように、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、図7に例示するように、ディスクドライブ1041に接続される。たとえば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1041に挿入される。シリアルポートインタフェース1050は、図7に例示するように、たとえばマウス1110、キーボード1120に接続される。ビデオアダプタ1060は、図7に例示するように、たとえばディスプレイ1130に接続される。
ここで、図7に例示するように、ハードディスクドライブ1090は、たとえば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、上記のプログラムは、コンピュータ1000によって実行される指令が記述されたプログラムモジュールとして、たとえばハードディスクドライブ1090に記憶される。
また、上記実施形態で説明した各種データは、プログラムデータとして、たとえばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020が、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出し、各種処理手順を実行する。
なお、プログラムに係るプログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限られず、たとえば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してCPU1020によって読み出されてもよい。あるいは、プログラムに係るプログラムモジュール1093やプログラムデータ1094は、ネットワーク(LAN(Local Area Network)、WAN(Wide Area Network)等)を介して接続された他のコンピュータに記憶され、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
1 通信システム
10 ログ収集蓄積装置
20 ブラックリスト拡充装置
30 ブラックリスト情報配信システム
40 Webサイト巡回システム
110 ログ収集部
120 正規化部
130 ログ格納部
210 ログ取得部
220 ブラックリスト取得部
230 前処理部
240 ログ分析部
250 悪性URLリスト作成部
260 検査要求部
271 ブラックリスト情報記憶部
272 ネットワーク情報記憶部
273 ホワイトリスト情報記憶部

Claims (7)

  1. 通信ログを取得するログ取得部と、
    前記ログ取得部が取得した通信ログに基づき、当該通信ログに含まれ、第1の基準を満たすURLである悪性URL候補を抽出するログ分析部と、
    前記ログ取得部が取得した通信ログに基づき、対象ネットワークの統計情報を抽出する前処理部と、
    前記ログ分析部が抽出した悪性URL候補を統合し、前記前処理部が抽出した統計情報を参照して第2の基準を満たす悪性URL候補を統合した悪性URL候補から除外して悪性URLリストを作成する悪性URLリスト作成部と、
    を備えることを特徴とするブラックリスト拡充装置。
  2. 前記ログ分析部は、前記通信ログの中から、FQDNがIPアドレスであり、且つ、出現回数が所定の閾値以下のURLを悪性URL候補として抽出することを特徴とする請求項1に記載のブラックリスト拡充装置。
  3. 前記ログ分析部は、前記前処理部が抽出した統計情報に基づき、前記対象ネットワーク内のアクセス数が所定の閾値以下のFQDNを含むURLを悪性URL候補として抽出することを特徴とする請求項2に記載のブラックリスト拡充装置。
  4. 前記悪性URLリスト作成部は、フォーマット違反のURL、プライベートIPアドレスを含むURL、または広告系のURLを除外して悪性URLリストを作成することを特徴とする請求項1乃至3のいずれか1項に記載のブラックリスト拡充装置。
  5. 前記悪性URLリスト作成部は、前記統計情報に基づき、前記対象ネットワーク内のアクセス数が所定閾値以上のURLを除外して悪性URLリストを作成することを特徴とする請求項1乃至3のいずれか1項に記載のブラックリスト拡充装置。
  6. 通信ログを取得するログ取得工程と、
    前記ログ取得工程において取得した通信ログに基づき、当該通信ログに含まれ、第1の基準を満たすURLである悪性URL候補を抽出するログ分析工程と、
    前記ログ取得工程において取得した通信ログに基づき、対象ネットワークの統計情報を抽出する前処理工程と、
    前記ログ分析工程において抽出した悪性URL候補を統合し、前記前処理工程において抽出した統計情報を参照して第2の基準を満たす悪性URL候補を統合した悪性URL候補から除外して悪性URLリストを作成する悪性URLリスト作成工程と、
    を含むことを特徴とするブラックリスト拡充方法。
  7. ブラックリストを拡充するために、ブラックリスト拡充装置によって実行されるブラックリスト拡充プログラムであって、
    通信ログを取得するログ取得手順と、
    前記ログ取得手順において取得した通信ログに基づき、当該通信ログに含まれ、第1の基準を満たすURLである悪性URL候補を抽出するログ分析手順と、
    前記ログ取得手順が取得した通信ログに基づき、対象ネットワークの統計情報を抽出する前処理手順と、
    前記ログ分析手順において抽出した悪性URL候補を統合し、前記前処理手順において抽出した統計情報を参照して第2の基準を満たす悪性URL候補を統合した悪性URL候補から除外して悪性URLリストを作成する悪性URLリスト作成手順と、
    を含むことを特徴とするブラックリスト拡充プログラム。
JP2014056658A 2014-03-19 2014-03-19 ブラックリスト拡充装置、ブラックリスト拡充方法およびブラックリスト拡充プログラム Active JP5813810B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014056658A JP5813810B2 (ja) 2014-03-19 2014-03-19 ブラックリスト拡充装置、ブラックリスト拡充方法およびブラックリスト拡充プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014056658A JP5813810B2 (ja) 2014-03-19 2014-03-19 ブラックリスト拡充装置、ブラックリスト拡充方法およびブラックリスト拡充プログラム

Publications (2)

Publication Number Publication Date
JP2015179416A true JP2015179416A (ja) 2015-10-08
JP5813810B2 JP5813810B2 (ja) 2015-11-17

Family

ID=54263407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014056658A Active JP5813810B2 (ja) 2014-03-19 2014-03-19 ブラックリスト拡充装置、ブラックリスト拡充方法およびブラックリスト拡充プログラム

Country Status (1)

Country Link
JP (1) JP5813810B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182520A (ja) * 2016-03-31 2017-10-05 日本電気株式会社 制御装置、制御方法及びプログラム
JP2018073140A (ja) * 2016-10-31 2018-05-10 富士通株式会社 ネットワーク監視装置、プログラム及び方法
JP2019528509A (ja) * 2016-07-11 2019-10-10 ビットディフェンダー アイピーアール マネジメント リミテッド オンライン詐欺を検出するためのシステムおよび方法
JP2019185624A (ja) * 2018-04-16 2019-10-24 株式会社構造計画研究所 悪性ウェブサイト検出装置、悪性ウェブサイト検出方法及び悪性ウェブサイト検出プログラム
JP2020060978A (ja) * 2018-10-10 2020-04-16 日本電信電話株式会社 探索装置、探索方法及び探索プログラム
JPWO2020245930A1 (ja) * 2019-06-04 2020-12-10
CN113965403A (zh) * 2021-11-02 2022-01-21 北京天融信网络安全技术有限公司 一种ip黑名单的处理方法及装置、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003281094A (ja) * 2002-03-19 2003-10-03 Hitachi Information Systems Ltd 管理システム,該管理システムによる不正候補アクセスデータ抽出方法および不正候補アクセスデータ抽出プログラム
JP2003280945A (ja) * 2002-03-19 2003-10-03 Hitachi Information Systems Ltd ログ解析システム,該ログ解析システムによる解析対象抽出方法および解析対象抽出プログラム
JP2012015684A (ja) * 2010-06-30 2012-01-19 Mitsubishi Electric Corp 内部ネットワーク管理システム及び内部ネットワーク管理方法及びプログラム
US8595829B1 (en) * 2009-04-30 2013-11-26 Symantec Corporation Systems and methods for automatically blacklisting an internet domain based on the activities of an application

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003281094A (ja) * 2002-03-19 2003-10-03 Hitachi Information Systems Ltd 管理システム,該管理システムによる不正候補アクセスデータ抽出方法および不正候補アクセスデータ抽出プログラム
JP2003280945A (ja) * 2002-03-19 2003-10-03 Hitachi Information Systems Ltd ログ解析システム,該ログ解析システムによる解析対象抽出方法および解析対象抽出プログラム
US8595829B1 (en) * 2009-04-30 2013-11-26 Symantec Corporation Systems and methods for automatically blacklisting an internet domain based on the activities of an application
JP2012015684A (ja) * 2010-06-30 2012-01-19 Mitsubishi Electric Corp 内部ネットワーク管理システム及び内部ネットワーク管理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吉原大道他: "効率的なマルウェア収集環境の構築", 第74回(平成24年)全国大会講演論文集(3), JPN6015026430, 6 March 2012 (2012-03-06), pages 3 - 595, ISSN: 0003105985 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182520A (ja) * 2016-03-31 2017-10-05 日本電気株式会社 制御装置、制御方法及びプログラム
JP2019528509A (ja) * 2016-07-11 2019-10-10 ビットディフェンダー アイピーアール マネジメント リミテッド オンライン詐欺を検出するためのシステムおよび方法
JP2018073140A (ja) * 2016-10-31 2018-05-10 富士通株式会社 ネットワーク監視装置、プログラム及び方法
JP2019185624A (ja) * 2018-04-16 2019-10-24 株式会社構造計画研究所 悪性ウェブサイト検出装置、悪性ウェブサイト検出方法及び悪性ウェブサイト検出プログラム
JP7028699B2 (ja) 2018-04-16 2022-03-02 株式会社構造計画研究所 悪性ウェブサイト検出装置、悪性ウェブサイト検出方法及び悪性ウェブサイト検出プログラム
US20210392145A1 (en) * 2018-10-10 2021-12-16 Nippon Telegraph And Telephone Corporation Search device, search method, and search program
WO2020075518A1 (ja) * 2018-10-10 2020-04-16 日本電信電話株式会社 探索装置、探索方法及び探索プログラム
JP7020362B2 (ja) 2018-10-10 2022-02-16 日本電信電話株式会社 探索装置、探索方法及び探索プログラム
JP2020060978A (ja) * 2018-10-10 2020-04-16 日本電信電話株式会社 探索装置、探索方法及び探索プログラム
US11924243B2 (en) * 2018-10-10 2024-03-05 Nippon Telegraph And Telephone Corporation Search device, search method, and search program
JPWO2020245930A1 (ja) * 2019-06-04 2020-12-10
WO2020245930A1 (ja) * 2019-06-04 2020-12-10 日本電信電話株式会社 検知装置、検知方法および検知プログラム
JP7215571B2 (ja) 2019-06-04 2023-01-31 日本電信電話株式会社 検知装置、検知方法および検知プログラム
US11997121B2 (en) 2019-06-04 2024-05-28 Nippon Telegraph And Telephone Corporation Detection device, detection method, and detection program
CN113965403A (zh) * 2021-11-02 2022-01-21 北京天融信网络安全技术有限公司 一种ip黑名单的处理方法及装置、存储介质
CN113965403B (zh) * 2021-11-02 2023-11-14 北京天融信网络安全技术有限公司 一种ip黑名单的处理方法及装置、存储介质

Also Published As

Publication number Publication date
JP5813810B2 (ja) 2015-11-17

Similar Documents

Publication Publication Date Title
US11323469B2 (en) Entity group behavior profiling
JP5813810B2 (ja) ブラックリスト拡充装置、ブラックリスト拡充方法およびブラックリスト拡充プログラム
US10469514B2 (en) Collaborative and adaptive threat intelligence for computer security
JP6315640B2 (ja) 通信先対応関係収集装置、通信先対応関係収集方法及び通信先対応関係収集プログラム
US9356950B2 (en) Evaluating URLS for malicious content
US10511618B2 (en) Website information extraction device, system website information extraction method, and website information extraction program
KR102079687B1 (ko) 공격 그래프 기반의 사이버 위협 예측 시스템 및 그 방법
TW201824047A (zh) 攻擊請求的確定方法、裝置及伺服器
RU2653241C1 (ru) Обнаружение угрозы нулевого дня с использованием сопоставления ведущего приложения/программы с пользовательским агентом
US10250465B2 (en) Network traffic monitoring and classification
Ko et al. Management platform of threats information in IoT environment
CN107360198B (zh) 可疑域名检测方法及系统
JP5752642B2 (ja) 監視装置および監視方法
Tazaki et al. MATATABI: multi-layer threat analysis platform with Hadoop
Nikolaev et al. Exploit kit website detection using http proxy logs
JP6538618B2 (ja) 管理装置及び管理方法
US11159548B2 (en) Analysis method, analysis device, and analysis program
JP6527111B2 (ja) 解析装置、解析方法および解析プログラム
KR101542762B1 (ko) 네트워크 기반 세이프 브라우징(Safe-Browsing) DB 생성 및 배포 방법, 세이프 브라우징 DB를 이용한 세이프 브라우징(Safe-Browsing) 강제화 방법
White et al. It's you on photo?: Automatic detection of Twitter accounts infected with the Blackhole Exploit Kit
Smits Model Based Concept Mining Applied to Information Security Data

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150916

R150 Certificate of patent or registration of utility model

Ref document number: 5813810

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150