JP2022065878A - 情報処理プログラム、情報処理方法、および情報処理装置 - Google Patents

情報処理プログラム、情報処理方法、および情報処理装置 Download PDF

Info

Publication number
JP2022065878A
JP2022065878A JP2020174645A JP2020174645A JP2022065878A JP 2022065878 A JP2022065878 A JP 2022065878A JP 2020174645 A JP2020174645 A JP 2020174645A JP 2020174645 A JP2020174645 A JP 2020174645A JP 2022065878 A JP2022065878 A JP 2022065878A
Authority
JP
Japan
Prior art keywords
model
data
training data
feature amount
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2020174645A
Other languages
English (en)
Inventor
克成 宍戸
Katsunari Shishido
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2020174645A priority Critical patent/JP2022065878A/ja
Priority to EP21186383.2A priority patent/EP3985534A1/en
Priority to US17/381,853 priority patent/US20220121989A1/en
Publication of JP2022065878A publication Critical patent/JP2022065878A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/52—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
    • G06F21/54—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by adding security routines or objects to programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/52—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】クエリデータが正常であるか否かを精度よく判定可能なモデルを作成すること。【解決手段】情報処理装置１００は、訓練データ１０１が入力される第１のモデル１１０を取得する。情報処理装置１００は、ある規則に従って訓練データ１０１が加工されてから入力される第２のモデル１２０を取得する。情報処理装置１００は、訓練データ１０１が入力された際の第１のモデル１１０の出力と、規則に従って加工された加工後の訓練データ１０２が入力された際の第２のモデル１２０の出力と、所定の特徴量１０３とを入力に用いて、第３のモデル１３０を学習する。所定の特徴量１０３は、回避攻撃に関する特徴量である。所定の特徴量１０３は、例えば、第１のモデル１１０の入力と、第２のモデル１２０の入力との違いに関し、回避攻撃が行われた確度を評価する指標となり得る特徴量である。【選択図】図１

Description

本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。
従来、機械学習により、訓練データを基に、入力されたクエリデータが正当であるか否かを判定するモデルを作成する技術がある。これに対し、正常なクエリデータを参考に、不正なクエリデータを加工してから、モデルに入力することにより、当該モデルに、不正なクエリデータを、正常であると誤判定させようとする回避攻撃がある。
先行技術としては、例えば、Ｎ個のモデルを訓練し、疑似乱数モデル選択器を利用して、Ｎ個のモデルのうち１個のモデルをランダムに選択するものがある。また、例えば、通常の訓練データと、ノイズの訓練データと、敵対的な訓練データとを利用することにより、勾配ベースの回避攻撃に有効な特徴量表現のノイズを生成する技術がある。
米国特許出願公開第２０２０／０１０４６７３号明細書 米国特許出願公開第２０１９／０１３０１１０号明細書
しかしながら、従来技術では、クエリデータが正常であるか否かを精度よく判定可能なモデルを作成することは難しい。例えば、回避攻撃で作成された不正なクエリデータを、異常であると判定する確率が向上するよう、モデルを作成した場合、正常なクエリデータを、異常であると誤判定する確率の向上を招いてしまうという問題がある。
１つの側面では、本発明は、クエリデータが正常であるか否かを精度よく判定可能なモデルを作成することを目的とする。
１つの実施態様によれば、訓練データが入力される第１のモデルを取得し、ある規則に従って訓練データが加工されてから入力される第２のモデルを取得し、訓練データが入力された際の第１のモデルの出力と、規則に従って加工された加工後の訓練データが入力された際の第２のモデルの出力と、加工前の訓練データに関する特徴量、加工後の訓練データに関する特徴量、加工前後の訓練データの違いに関する特徴量、正常データに関する特徴量、または、異常データに関する特徴量の少なくともいずれかの特徴量とを入力に用いて、異常データを検知する第３のモデルを学習する情報処理プログラム、情報処理方法、および情報処理装置が提案される。
一態様によれば、クエリデータが正常であるか否かを精度よく判定可能なモデルを作成することが可能になる。
図１は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。 図２は、異常検知システム２００の一例を示す説明図である。 図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。 図４は、情報処理装置１００の機能的構成例を示すブロック図である。 図５は、構造化データの一例を示す説明図である。 図６は、情報処理装置１００の動作の一例を示す説明図である。 図７は、セッション長を算出する一例を示す説明図である。 図８は、セッション長の差分を算出する一例を示す説明図である。 図９は、情報処理装置１００により得られる効果の一例を示す説明図（その１）である。 図１０は、情報処理装置１００により得られる効果の一例を示す説明図（その２）である。 図１１は、訓練処理手順の一例を示すフローチャートである。 図１２は、推論処理手順の一例を示すフローチャートである。
以下に、図面を参照して、本発明にかかる情報処理プログラム、情報処理方法、および情報処理装置の実施の形態を詳細に説明する。
（実施の形態にかかる情報処理方法の一実施例）
図１は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。情報処理装置１００は、機械学習により、所定のモデルを学習するためのコンピュータである。所定のモデルは、例えば、不正なクエリデータを検知するためのモデルである。不正なクエリデータは、例えば、回避攻撃によって作成される場合が考えられる。
回避攻撃は、正常なクエリデータを参考に、不正なクエリデータを加工し、加工後の不正なクエリデータを、モデルに入力することにより、当該モデルに、加工後の不正なクエリデータを、正常であると誤って判定させようとする攻撃である。回避攻撃は、例えば、正常なクエリデータの一部を、不正なクエリデータに挿入することにより、不正なクエリデータを加工する。例えば、回避攻撃により、モデルに、攻撃通信のログデータを、正常通信のログデータと誤って判定させようとする状況が考えられる。また、例えば、回避攻撃により、スパムのメールデータを、正常なメールデータと誤って判定させようとする状況が考えられる。
従って、クエリデータが正常であるか否かを精度よく判定可能なモデルを作成することが望まれている。具体的には、正常なクエリデータを、異常であると誤って判定することなく、回避攻撃により作成された不正なクエリデータを、異常であると正しく判定することが可能なモデルを作成することが望まれている。しかしながら、従来では、クエリデータが正常であるか否かを精度よく判定可能なモデルを作成することは難しい。
ここで、例えば、ノイズが加えられた敵対的サンプルと呼ばれる訓練データを用いて、モデルを学習するＡｄｖｅｒｓａｒｉａｌ Ｔｒａｉｎｉｎｇと呼ばれる手法１が考えられる。手法１では、クエリデータが正常であるか否かを精度よく判定可能なモデルを作成することは難しい。例えば、手法１では、回避攻撃により作成された不正なクエリデータを、正常であると誤って判定してしまう確率を低減することは難しい。
また、例えば、回避攻撃の性質を基に、訓練データを加工し、加工後の訓練データを用いて、モデルを学習することにより、回避攻撃により作成された不正なクエリデータを、異常であると判定する確率の向上を図ろうとする手法２が考えられる。手法２でも、クエリデータが正常であるか否かを精度よく判定可能なモデルを作成することは難しい。例えば、手法２では、手法１に比べて、不正なクエリデータを、異常であると正しく判定する確率が向上する傾向がある一方で、正常なクエリデータを、異常であると誤って判定してしまう確率を低減することは難しい。
また、例えば、手法１で得たモデルと、手法２で得たモデルとを組み合わせて、新たなモデルを学習するアンサンブル学習と呼ばれる手法３がある。手法３の一例は、Ｓｔａｃｋｉｎｇである。手法３でも、クエリデータが正常であるか否かを精度よく判定可能なモデルを作成することは難しい。例えば、手法３では、回避攻撃により作成された不正なクエリデータを、正常であると誤って判定してしまう確率を低減することは難しい。
このように、従来では、正常なクエリデータを、正常であると正しく判定する確率と、回避攻撃により作成された不正なクエリデータを、異常であると正しく判定する確率とが、同時に高くなるよう、モデルを作成することは難しい。
以下の説明では、正常なクエリデータを、正常であると正しく判定する確率を「分類精度」と表記する場合がある。例えば、正常なクエリデータを、正常であると正しく判定する確率の高さが、分類精度の高さと定義される。また、以下の説明では、回避攻撃により作成された不正なクエリデータを、異常であると正しく判定する確率を「攻撃耐性」と表記する場合がある。例えば、回避攻撃により作成された不正なクエリデータを、異常であると正しく判定する確率の高さが、攻撃耐性の高さと定義される。
そこで、本実施の形態では、正常なクエリデータを、正常であると正しく判定する確率と、回避攻撃により作成された不正なクエリデータを、異常であると正しく判定する確率とが、同時に高くなるよう、モデルを作成する情報処理方法について説明する。
（１－１）情報処理装置１００は、訓練データ１０１が入力される第１のモデル１１０を取得する。第１のモデル１１０は、例えば、訓練データ１０１を加工せずに入力として用いるモデルである。第１のモデル１１０は、具体的には、Ａｄｖｅｒｓａｒｉａｌ Ｔｒａｉｎｉｎｇで学習されたモデルである。第１のモデル１１０は、例えば、ニューラルネットワーク、ロジスティク回帰モデル、ＳＶＭ（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、または、木構造モデルなどによって実現される。第１のモデル１１０は、例えば、第２のモデル１２０に比べて、分類精度が比較的高く、正常なクエリデータを、正常であると正しく判定する確率が比較的高いことが好ましい。
情報処理装置１００は、例えば、第１のモデル１１０を学習することにより、第１のモデル１１０を取得する。情報処理装置１００は、例えば、第１のモデル１１０を学習する他のコンピュータから、第１のモデル１１０を受信することにより、第１のモデル１１０を取得してもよい。
（１－２）情報処理装置１００は、ある規則に従って訓練データ１０１が加工されてから入力される第２のモデル１２０を取得する。規則は、回避攻撃に対応する。規則は、例えば、回避攻撃に対する攻撃耐性を高めるよう、訓練データ１０１を加工する方法を規定する。加工する方法は、例えば、訓練データ１０１に、回避攻撃が行われていることを仮定し、訓練データ１０１の一部を削除する方法が考えられる。加工する方法は、具体的には、訓練データ１０１のうち、内容が重複するＤ個のデータがあれば、内容が重複するＤ個のデータを、１≦Ｎ＜Ｄ個のデータに削減する方法である。
第２のモデル１２０は、第１のモデル１１０とは異なるアルゴリズムで学習されたモデルである。第２のモデル１２０は、訓練データ１０１を加工してから入力として用いるモデルである。第２のモデル１２０は、例えば、ニューラルネットワーク、ロジスティク回帰モデル、ＳＶＭ、または、木構造モデルなどによって実現される。第２のモデル１２０は、例えば、第１のモデル１１０に比べて、攻撃耐性が比較的高く、不正なクエリデータを、異常であると正しく判定する確率が比較的高いことが好ましい。
情報処理装置１００は、例えば、第２のモデル１２０を学習することにより、第２のモデル１２０を取得する。情報処理装置１００は、例えば、第２のモデル１２０を学習する他のコンピュータから、第２のモデル１２０を受信することにより、第２のモデル１２０を取得してもよい。
（１－３）情報処理装置１００は、訓練データ１０１が入力された際の第１のモデル１１０の出力と、加工後の訓練データ１０２が入力された際の第２のモデル１２０の出力と、所定の特徴量１０３とを入力に用いて、第３のモデル１３０を学習する。加工後の訓練データ１０２は、例えば、規則に従って加工されている。第３のモデル１３０は、異常データを検知するためのモデルである。第３のモデル１３０は、例えば、クエリデータが正常であるか否かを判定するためのモデルである。第３のモデル１３０は、具体的には、クエリデータが異常である確率の高さを示す攻撃確信度を出力するモデルである。第３のモデル１３０は、例えば、ニューラルネットワーク、ロジスティク回帰モデル、ＳＶＭ、または、木構造モデルなどで実現される。
所定の特徴量１０３は、回避攻撃に関する特徴量である。所定の特徴量１０３は、例えば、第１のモデル１１０の入力と、第２のモデル１２０の入力との違いに関し、回避攻撃が行われた確度を評価する指標となり得る特徴量である。所定の特徴量１０３は、例えば、回避攻撃が行われない場合に対応する訓練データ１０１の特徴を表し、回避攻撃が行われたか否かを評価する指標となり得る特徴量であってもよい。所定の特徴量１０３は、例えば、回避攻撃が行われた場合に対応する加工後の訓練データ１０２の特徴を表し、回避攻撃が行われたか否かを評価する指標となり得る特徴量１０３であってもよい。
所定の特徴量１０３は、具体的には、加工前後の訓練データ１０１，１０２の違いに関する特徴量である。ここで、回避攻撃では、例えば、正常なクエリデータの一部が、不正なクエリデータに挿入されるため、加工前後の訓練データ１０１，１０２の違いは、回避攻撃が行われた確度を評価する指標になり得る特徴量である。所定の特徴量１０３は、より具体的には、加工前後の訓練データ１０１，１０２のデータ長の差分である。
情報処理装置１００は、例えば、訓練データ１０１を取得し、規則に従って訓練データ１０１を加工する。訓練データ１０１は、複数あってもよい。情報処理装置１００は、例えば、訓練データ１０１が入力された際の第１のモデル１１０の出力と、規則に従って加工された加工後の訓練データ１０２が入力された際の第２のモデル１２０の出力とを取得する。また、情報処理装置１００は、例えば、加工前後の訓練データ１０１，１０２のデータ長の差分を算出する。
そして、情報処理装置１００は、例えば、第１のモデル１１０の出力と、第２のモデル１２０の出力と、加工前後の訓練データ１０１，１０２のデータ長の差分とを入力に用いて、第３のモデル１３０を学習する。その後、情報処理装置１００は、例えば、学習した第３のモデル１３０を用いて、クエリデータが正常であるか否かを判定してもよい。また、情報処理装置１００は、例えば、学習した第３のモデル１３０を、他のコンピュータに送信し、他のコンピュータで、クエリデータが正常であるか否かを判定可能なようにしてもよい。
これにより、情報処理装置１００は、クエリデータが正常であるか否かを精度よく判定可能な第３のモデル１３０を学習することができる。情報処理装置１００は、例えば、正常なクエリデータを、正常であると正しく判定する確率と、回避攻撃により作成された不正なクエリデータを、異常であると正しく判定する確率とが、同時に高くなるよう、第３のモデル１３０を学習することができる。
具体的には、第３のモデル１３０は、回避攻撃に関する特徴量１０３を入力として用いるため、分類精度が比較的高い第１のモデル１１０の出力と、攻撃耐性が比較的高い第２のモデル１２０の出力とを適切に考慮し、出力する攻撃確信度に反映することができる。このため、第３のモデル１３０は、回避攻撃の性質を考慮し、分類精度を確保し、かつ、攻撃耐性を確保することができる。
ここでは、所定の特徴量１０３が、加工前後の訓練データ１０１，１０２の違いに関する特徴量である場合について説明したが、これに限らない。例えば、所定の特徴量１０３が、加工前の訓練データ１０１に関する特徴量、加工後の訓練データ１０２に関する特徴量、正常データに関する特徴量、または、攻撃データに関する特徴量の少なくともいずれかの特徴量である場合があってもよい。攻撃データは、例えば、回避攻撃により作成された不正なクエリデータに相当する。
所定の特徴量１０３は、加工前の訓練データ１０１に関する特徴量であれば、回避攻撃が行われない場合に対応する訓練データ１０１の特徴を表すことになり、回避攻撃が行われたか否かを評価する指標となり得る。このため、第３のモデル１３０は、所定の特徴量１０３により、分類精度が比較的高い第１のモデル１１０の出力と、攻撃耐性が比較的高い第２のモデル１２０の出力とを適切に考慮することができ、クエリデータが正常であるか否かを精度よく判定可能になる。
所定の特徴量１０３は、加工後の訓練データ１０２に関する特徴量であれば、回避攻撃が行われた場合に対応する加工後の訓練データ１０２の特徴を表すことになり、回避攻撃が行われたか否かを評価する指標となり得る。このため、第３のモデル１３０は、所定の特徴量１０３により、分類精度が比較的高い第１のモデル１１０の出力と、攻撃耐性が比較的高い第２のモデル１２０の出力とを適切に考慮することができ、クエリデータが正常であるか否かを精度よく判定可能になる。
所定の特徴量１０３は、正常データに関する特徴量であれば、回避攻撃が行われない場合に対応するクエリデータの特徴を表すことになり、回避攻撃が行われたか否かを評価する指標となり得る。このため、第３のモデル１３０は、所定の特徴量１０３により、分類精度が比較的高い第１のモデル１１０の出力と、攻撃耐性が比較的高い第２のモデル１２０の出力とを適切に考慮することができ、クエリデータが正常であるか否かを精度よく判定可能になる。
所定の特徴量１０３は、攻撃データに関する特徴量であれば、回避攻撃が行われた場合に対応するクエリデータの特徴を表すことになり、回避攻撃が行われたか否かを評価する指標となり得る。このため、第３のモデル１３０は、所定の特徴量１０３により、分類精度が比較的高い第１のモデル１１０の出力と、攻撃耐性が比較的高い第２のモデル１２０の出力とを適切に考慮することができ、クエリデータが正常であるか否かを精度よく判定可能になる。
ここでは、加工する方法が、訓練データ１０１の一部を削除する方法である場合について説明したが、これに限らない。例えば、加工する方法が、訓練データ１０１に、正常なデータの一部を挿入し、回避攻撃が行われた場合に対応する状態にする方法である場合があってもよい。
ここでは、情報処理装置１００が、第１のモデル１１０の出力と、第２のモデル１２０の出力との他、１種類の特徴量１０３を入力に用いて、第３のモデル１３０を学習する場合について説明したが、これに限らない。例えば、情報処理装置１００が、第１のモデル１１０の出力と、第２のモデル１２０の出力との他、複数種類の特徴量１０３を入力に用いて、第３のモデル１３０を学習する場合があってもよい。
ここでは、情報処理装置１００が、分類精度が比較的高い第１のモデル１１０と、攻撃耐性が比較的高い第２のモデル１２０との、２種類のモデルを利用して、第３のモデル１３０を学習する場合について説明したが、これに限らない。例えば、情報処理装置１００が、分類精度が比較的高い複数のモデルと、攻撃耐性が比較的高い複数のモデルとを利用して、第３のモデル１３０を学習する場合があってもよい。
また、例えば、情報処理装置１００が、分類精度が比較的高い１つのモデルと、攻撃耐性が比較的高い複数のモデルとを利用して、第３のモデル１３０を学習する場合があってもよい。また、例えば、情報処理装置１００が、分類精度が比較的高い複数のモデルと、攻撃耐性が比較的高い１つのモデルとを利用して、第３のモデル１３０を学習する場合があってもよい。
（異常検知システム２００の一例）
次に、図２を用いて、図１に示した情報処理装置１００を適用した、異常検知システム２００の一例について説明する。
図２は、異常検知システム２００の一例を示す説明図である。図２において、異常検知システム２００は、情報処理装置１００と、クライアント装置２０１とを含む。
異常検知システム２００において、情報処理装置１００とクライアント装置２０１とは、有線または無線のネットワーク２１０を介して接続される。ネットワーク２１０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどである。
情報処理装置１００は、第１の訓練データ群を取得する。第１の訓練データ群は、第１のモデルと、第２のモデルとを学習する際に用いられる訓練データの集まりである。訓練データは、例えば、構造化データである。訓練データは、例えば、クライアント装置２０１が実施した通信のログデータ、または、クライアント装置２０１が受信したメールデータなどに対応する。情報処理装置１００は、例えば、訓練データをクライアント装置２０１から収集することにより、第１の訓練データ群を取得する。
情報処理装置１００は、第１の訓練データ群に基づいて、第１のモデルと、第２のモデルとを学習する。情報処理装置１００は、例えば、第１の訓練データ群のそれぞれの訓練データを入力に用いて、第１のモデルを学習する。学習方法は、例えば、誤差逆伝搬などである。情報処理装置１００は、例えば、第１の訓練データ群のそれぞれの訓練データを加工してから入力に用いて、第２のモデルを学習する。
情報処理装置１００は、第２の訓練データ群を取得する。第２の訓練データ群は、第３のモデルを学習する際に用いられる訓練データの集まりである。第２の訓練データ群は、例えば、第１の訓練データ群とは異なる。第２の訓練データ群は、例えば、第１の訓練データ群と同一であってもよい。情報処理装置１００は、例えば、訓練データをクライアント装置２０１から収集することにより、第２の訓練データ群を取得する。
情報処理装置１００は、第２の訓練データ群のそれぞれの訓練データについて、第１のモデルの出力と、第２のモデルの出力とを取得する。情報処理装置１００は、例えば、第２の訓練データ群のそれぞれの訓練データについて、当該訓練データを入力に用いた場合の第１のモデルの出力を取得する。情報処理装置１００は、例えば、第２の訓練データ群のそれぞれの訓練データについて、当該訓練データを加工してから入力に用いた場合の第２のモデルの出力を取得する。
情報処理装置１００は、第２の訓練データ群のそれぞれの訓練データについて、加工前後の当該訓練データの違いを表す特徴量を算出する。情報処理装置１００は、取得した第１のモデルの出力と、取得した第２のモデルの出力と、算出した特徴量とを入力に用いて、第３のモデルを学習する。
情報処理装置１００は、クエリデータを取得する。クエリデータは、正常であるか否かが問い合わせられた対象のデータである。クエリデータは、例えば、構造化データである。クエリデータは、例えば、クライアント装置２０１が実施した通信のログデータ、または、クライアント装置２０１が受信したメールデータなどに対応する。情報処理装置１００は、例えば、クエリデータをクライアント装置２０１から受信することにより、クエリデータを取得する。
情報処理装置１００は、クエリデータに基づいて、第１のモデルの出力と、第２のモデルの出力とを取得する。情報処理装置１００は、例えば、クエリデータを入力に用いた場合の第１のモデルの出力を取得する。情報処理装置１００は、例えば、クエリデータを加工してから入力に用いた場合の第２のモデルの出力を取得する。情報処理装置１００は、加工前後のクエリデータの違いを表す特徴量を算出する。情報処理装置１００は、取得した第１のモデルの出力と、取得した第２のモデルの出力と、算出した特徴量とを入力に用いた場合の第３のモデルの出力を取得する。
情報処理装置１００は、第３のモデルの出力に基づいて、クエリデータが正常であるか否かを判定する。情報処理装置１００は、例えば、第３のモデルの出力が閾値以上であれば、クエリデータが異常であると判定する。一方で、情報処理装置１００は、第３のモデルの出力が閾値未満であれば、クエリデータが正常であると判定する。情報処理装置１００は、判定した結果を、クエリデータの送信元であるクライアント装置２０１に送信する。情報処理装置１００は、例えば、サーバ、または、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などである。
クライアント装置２０１は、訓練データ、または、クエリデータを、情報処理装置１００に送信するコンピュータである。クライアント装置２０１は、例えば、他のコンピュータと通信を行った際、当該通信のログデータを生成し、訓練データ、または、クエリデータとして、情報処理装置１００に送信する。他のコンピュータは、例えば、他のクライアント装置２０１である。他のコンピュータは、例えば、他のクライアント装置２０１とは異なる装置であってもよい。クライアント装置２０１は、例えば、他のコンピュータから受信したメールデータを、訓練データ、または、クエリデータとして、情報処理装置１００に送信してもよい。
クライアント装置２０１は、クエリデータが正常であるか否かを判定した結果を、情報処理装置１００から受信する。クライアント装置２０１は、クエリデータが正常であるか否かを判定した結果を、クライアント装置２０１の利用者が参照可能に出力する。クライアント装置２０１は、例えば、ＰＣ、タブレット端末、スマートフォン、ウェアラブル端末、または、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）機器などである。
上述した異常検知システム２００は、例えば、クライアント装置２０１の利用者が、回避攻撃で作成された不正なデータを利用し、不利益を被ってしまうことを防止するために活用される。
異常検知システム２００は、具体的には、例えば、クライアント装置２０１が実施した通信のログデータを、クエリデータとして扱い、通信のログデータが、正常であるか否かを判定することにより、攻撃通信のログデータを検知する。そして、異常検知システム２００は、攻撃通信のログデータを、クライアント装置２０１の利用者が把握可能なように、クライアント装置２０１を制御することにより、クライアント装置２０１の利用者が被る不利益の低減化を図る。
異常検知システム２００は、具体的には、例えば、クライアント装置２０１が受信したメールデータを、クエリデータとして扱い、クライアント装置２０１が受信したメールデータが、正常であるか否かを判定することにより、スパムのメールデータを検知する。そして、異常検知システム２００は、スパムのメールデータを、クライアント装置２０１の利用者が把握可能なように、クライアント装置２０１を制御することにより、クライアント装置２０１の利用者が被る不利益の低減化を図る。
異常検知システム２００は、具体的には、例えば、クライアント装置２０１が有するソフトウェアのＰＥ（Ｐｏｒｔａｂｌｅ Ｅｘｅｃｕｔａｂｌｅ）ファイルの特徴を表す特徴データを、クエリデータとして扱う。異常検知システム２００は、ＰＥファイルが正常であるか否かを判定することにより、マルウェアとなるソフトウェアを検知する。そして、異常検知システム２００は、マルウェアとなるソフトウェアを、クライアント装置２０１の利用者が把握可能なように、クライアント装置２０１を制御することにより、クライアント装置２０１の利用者が被る不利益の低減化を図る。
ここでは、情報処理装置１００が、訓練データをクライアント装置２０１から収集する場合について説明したが、これに限らない。例えば、情報処理装置１００が、情報処理装置１００の利用者の操作入力に基づき、訓練データの入力を受け付ける場合があってもよい。また、例えば、情報処理装置１００が、着脱可能な記録媒体から、訓練データを読み出す場合があってもよい。
ここでは、情報処理装置１００が、第１の訓練データ群に基づいて、第１のモデルと、第２のモデルとを学習することにより、第１のモデルと、第２のモデルとを取得する場合について説明したが、これに限らない。例えば、情報処理装置１００が、第１のモデルと、第２のモデルとを学習する他のコンピュータから、第１のモデルと、第２のモデルとを受信することにより、第１のモデルと、第２のモデルとを取得する場合があってもよい。
ここでは、情報処理装置１００が、クエリデータを取得し、第３のモデルを利用して、クエリデータが正常であるか否かを判定する場合について説明したが、これに限らない。例えば、情報処理装置１００が、第３のモデルを、他のコンピュータに送信する場合があってもよい。この場合、他のコンピュータが、クエリデータを取得し、受信した第３のモデルを利用して、クエリデータが正常であるか否かを判定することになる。
ここでは、情報処理装置１００が、クライアント装置２０１とは異なる装置である場合について説明したが、これに限らない。例えば、情報処理装置１００が、クライアント装置２０１としての機能を有する場合があってもよい。この場合、異常検知システム２００は、クライアント装置２０１を含まなくてもよい。
（情報処理装置１００のハードウェア構成例）
次に、図３を用いて、情報処理装置１００のハードウェア構成例について説明する。
図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。図３において、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、メモリ３０２と、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、記録媒体Ｉ／Ｆ３０４と、記録媒体３０５とを有する。また、各構成部は、バス３００によってそれぞれ接続される。
ここで、ＣＰＵ３０１は、情報処理装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることにより、コーディングされている処理をＣＰＵ３０１に実行させる。
ネットワークＩ／Ｆ３０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ３０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ３０３は、例えば、モデムやＬＡＮアダプタなどである。
記録媒体Ｉ／Ｆ３０４は、ＣＰＵ３０１の制御に従って記録媒体３０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ３０４は、例えば、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどである。記録媒体３０５は、記録媒体Ｉ／Ｆ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体３０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体３０５は、情報処理装置１００から着脱可能であってもよい。
情報処理装置１００は、上述した構成部の他、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を複数有していてもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を有していなくてもよい。
（クライアント装置２０１のハードウェア構成例）
クライアント装置２０１のハードウェア構成例は、図３に示した情報処理装置１００のハードウェア構成例と同様であるため、説明を省略する。
（情報処理装置１００の機能的構成例）
次に、図４を用いて、情報処理装置１００の機能的構成例について説明する。
図４は、情報処理装置１００の機能的構成例を示すブロック図である。情報処理装置１００は、記憶部４００と、取得部４０１と、加工部４０２と、第１学習部４０３と、第２学習部４０４と、第３学習部４０５と、第１利用部４０６と、第２利用部４０７と、第３利用部４０８と、出力部４０９とを含む。
記憶部４００は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域によって実現される。以下では、記憶部４００が、情報処理装置１００に含まれる場合について説明するが、これに限らない。例えば、記憶部４００が、情報処理装置１００とは異なる装置に含まれ、記憶部４００の記憶内容が情報処理装置１００から参照可能である場合があってもよい。
取得部４０１～出力部４０９は、制御部の一例として機能する。取得部４０１～出力部４０９は、具体的には、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、ネットワークＩ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶される。
記憶部４００は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部４００は、例えば、訓練データを記憶する。訓練データは、モデルに対する入力ｘを示す。訓練データは、モデルからの回答ｙと対応付けられる。回答ｙは、入力ｘに応じたモデルの出力の正解である。訓練データは、例えば、構造化データである。訓練データは、例えば、通信のログデータ、または、メールデータなどに対応する。
記憶部４００は、クエリデータを記憶する。クエリデータは、正常であるか否かが問い合わせられた対象のデータである。クエリデータは、例えば、構造化データである。クエリデータは、例えば、通信のログデータ、または、メールデータなどに対応する。クエリデータは、攻撃者が回避攻撃によって作成した不正なクエリデータである場合がある。
記憶部４００は、例えば、規則を記憶する。規則は、回避攻撃に対応する。規則は、例えば、回避攻撃に対する攻撃耐性を高めるよう、訓練データを加工する方法を規定する。規則は、例えば、訓練データの他、クエリデータを加工する際に適用される。規則は、具体的には、訓練データ、または、クエリデータに、既に回避攻撃が行われていることを仮定し、訓練データ、または、クエリデータの一部を削除する方法を規定する。規則は、より具体的には、訓練データ、または、クエリデータのうち、内容が重複するＤ個のデータがあれば、内容が重複するＤ個のデータを、１≦Ｎ＜Ｄ個のデータまで削減する方法である。また、規則は、具体的には、訓練データ、または、クエリデータに、正常なデータの一部を挿入することにより、訓練データ、または、クエリデータを加工し、回避攻撃が行われた場合に対応する状態にする方法を規定してもよい。
記憶部４００は、例えば、訓練データ、または、クエリデータが入力される第１のモデルを記憶する。第１のモデルは、例えば、訓練データ、または、クエリデータを加工せずに入力として用いるモデルである。第１のモデルは、具体的には、Ａｄｖｅｒｓａｒｉａｌ Ｔｒａｉｎｉｎｇで学習されたモデルである。第１のモデルは、例えば、ニューラルネットワーク、ロジスティク回帰モデル、ＳＶＭ、または、木構造モデルなどによって実現される。第１のモデルは、例えば、第２のモデルに比べて、分類精度が比較的高く、正常なクエリデータを、正常であると正しく判定する確率が比較的高いことが好ましい。記憶部４００は、具体的には、第１のモデルのパラメータを記憶する。第１のモデルは、例えば、取得部４０１によって取得され、または、第１学習部４０３によって学習される。
記憶部４００は、規則に従って訓練データ、または、クエリデータが加工されてから入力される第２のモデルを取得する。第２のモデルは、第１のモデルとは異なるアルゴリズムで学習されたモデルである。第２のモデルは、例えば、ニューラルネットワーク、ロジスティク回帰モデル、ＳＶＭ、または、木構造モデルなどによって実現される。第２のモデルは、例えば、第１のモデルに比べて、攻撃耐性が比較的高く、不正なクエリデータを、異常であると正しく判定する確率が比較的高いことが好ましい。第２のモデルは、例えば、取得部４０１によって取得され、または、第２学習部４０４によって学習される。
記憶部４００は、第１のモデルの出力と、第２のモデルの出力と、所定の特徴量とが入力に用いられる第３のモデルを記憶する。第３のモデルは、異常データを検知するためのモデルである。第３のモデルは、例えば、クエリデータが正常であるか否かを判定するためのモデルである。第３のモデルは、具体的には、クエリデータが異常である確率の高さを示す攻撃確信度を出力するモデルである。第３のモデルは、例えば、ニューラルネットワーク、ロジスティク回帰モデル、ＳＶＭ、または、木構造モデルなどで実現される。第３のモデルは、例えば、第３学習部４０５によって学習される。
所定の特徴量は、回避攻撃に関する特徴量である。所定の特徴量は、例えば、第１のモデルの入力と、第２のモデルの入力との違いに関し、回避攻撃が行われた確度を評価する指標となり得る特徴量である。所定の特徴量は、例えば、回避攻撃が行われない場合に対応する訓練データ、または、クエリデータの特徴を表し、回避攻撃が行われたか否かを評価する指標となり得る特徴量であってもよい。所定の特徴量は、例えば、回避攻撃が行われた場合に対応する訓練データ、または、クエリデータの特徴を表し、回避攻撃が行われたか否かを評価する指標となり得る特徴量であってもよい。
所定の特徴量は、具体的には、加工前後の訓練データ、または、加工前後のクエリデータの違いに関する特徴量である。ここで、回避攻撃では、例えば、正常なクエリデータの一部が、不正なクエリデータに挿入されるため、加工前後の訓練データ、または、加工前後のクエリデータの違いは、回避攻撃が行われた確度を評価する指標になり得る特徴量である。所定の特徴量は、より具体的には、加工前後の訓練データ、または、加工前後のクエリデータのデータ長の差分である。データ長は、例えば、セッション長である。セッション長は、訓練データ、または、クエリデータに含まれるコマンドの数である。第３のモデルは、回避攻撃に関する特徴量を入力として用いるため、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮し、出力する攻撃確信度に反映可能となる。
所定の特徴量は、具体的には、加工前の訓練データ、または、加工前のクエリデータに関する特徴量であってもよい。所定の特徴量は、加工前の訓練データ、または、加工前のクエリデータに関する特徴量であれば、回避攻撃が行われない場合に対応する訓練データ、または、クエリデータの特徴を表すことになり、回避攻撃が行われたか否かを評価する指標となり得る。このため、第３のモデルは、所定の特徴量により、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮し、出力する攻撃確信度に反映可能となる。
所定の特徴量は、具体的には、加工後の訓練データ、または、加工後のクエリデータに関する特徴量であってもよい。所定の特徴量は、加工後の訓練データ、または、加工後のクエリデータに関する特徴量であれば、回避攻撃が行われた場合に対応する訓練データ、または、クエリデータの特徴を表すことになり、回避攻撃が行われたか否かを評価する指標となり得る。このため、第３のモデルは、所定の特徴量により、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮し、出力する攻撃確信度に反映可能となる。
所定の特徴量は、具体的には、正常データに関する特徴量であってもよい。正常データに関する特徴量は、例えば、正常データに含まれる特定のデータの数である。特定のデータは、例えば、特定のコマンドである。所定の特徴量は、正常データに関する特徴量であれば、回避攻撃が行われない場合に対応する訓練データ、または、クエリデータの特徴を表すことになり、回避攻撃が行われたか否かを評価する指標となり得る。このため、第３のモデルは、所定の特徴量により、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮し、出力する攻撃確信度に反映可能となる。
所定の特徴量は、具体的には、攻撃データに関する特徴量であってもよい。攻撃データは、例えば、回避攻撃により作成された不正なクエリデータに相当する。攻撃データに関する特徴量は、例えば、攻撃データに含まれる特定のデータの数である。特定のデータは、例えば、特定のコマンドである。所定の特徴量は、攻撃データに関する特徴量であれば、回避攻撃が行われた場合に対応する訓練データ、または、クエリデータの特徴を表すことになり、回避攻撃が行われたか否かを評価する指標となり得る。このため、第３のモデルは、所定の特徴量により、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮し、出力する攻撃確信度に反映可能となる。
所定の特徴量は、具体的には、加工前の訓練データ、または、加工前のクエリデータのデータ長と、データ長の平均値との差分であってもよい。平均値は、例えば、過去に取得した、加工前の訓練データ群、または、加工前のクエリデータ群に基づいて算出される。所定の特徴量は、具体的には、加工後の訓練データ、または、加工後のクエリデータのデータ長と、データ長の平均値との差分であってもよい。平均値は、例えば、過去に取得した、加工後の訓練データ群、または、加工後のクエリデータ群に基づいて算出される。
所定の特徴量は、具体的には、加工前後の訓練データ、または、加工前後のクエリデータのデータ長の差分に関する統計値であってもよい。統計値は、例えば、最大値、最小値、平均値、最頻値、または、中央値などである。統計値は、分散、または、標準偏差などであってもよい。
取得部４０１は、各機能部の処理に用いられる各種情報を取得する。取得部４０１は、取得した各種情報を、記憶部４００に記憶し、または、各機能部に出力する。また、取得部４０１は、記憶部４００に記憶しておいた各種情報を、各機能部に出力してもよい。取得部４０１は、例えば、情報処理装置１００の利用者の操作入力に基づき、各種情報を取得する。取得部４０１は、例えば、情報処理装置１００とは異なる装置から、各種情報を受信してもよい。
取得部４０１は、訓練データを取得する。取得部４０１は、例えば、所定のタイミングで、訓練データをクライアント装置２０１から収集することにより取得する。所定のタイミングは、情報処理装置１００の利用者によって設定される。所定のタイミングは、例えば、一定時間ごとである。所定のタイミングは、情報処理装置１００の利用者による所定の操作入力があったタイミングであってもよい。
取得部４０１は、具体的には、第１の訓練データ群を取得する。第１の訓練データ群は、第１のモデルと、第２のモデルとを学習する際に用いられる、１以上の訓練データの集まりである。また、取得部４０１は、具体的には、第２の訓練データ群を取得する。第２の訓練データ群は、第３のモデルを学習する際に用いられる、１以上の訓練データの集まりである。第２の訓練データ群は、例えば、第１の訓練データ群とは異なる。第２の訓練データ群は、例えば、第１の訓練データ群と同一であってもよい。
取得部４０１が、第１の訓練データ群を取得せず、第１学習部４０３が、第１のモデルを学習せず、第２学習部４０４が、第２のモデルを学習しない場合があってもよい。この場合、取得部４０１は、例えば、第１のモデルと、第２のモデルとを取得する。取得部４０１は、具体的には、第１のモデルと、第２のモデルとを、他のコンピュータから受信することにより取得する。この場合、他のコンピュータが、第１学習部４０３と、第２学習部４０４とを有することになる。この場合、情報処理装置１００は、第１学習部４０３と、第２学習部４０４とを含んでいなくてもよい。
取得部４０１は、クエリデータを取得する。取得部４０１は、例えば、クエリデータをクライアント装置２０１から受信することにより取得する。
取得部４０１は、いずれかの機能部の処理を開始する開始トリガーを受け付けてもよい。開始トリガーは、例えば、情報処理装置１００の利用者による所定の操作入力があったことである。開始トリガーは、例えば、他のコンピュータから、所定の情報を受信したことであってもよい。開始トリガーは、例えば、いずれかの機能部が所定の情報を出力したことであってもよい。
取得部４０１は、例えば、訓練データを取得したことを、第１学習部４０３と、第２学習部４０４と、第３学習部４０５との処理を開始する開始トリガーとして受け付けてもよい。取得部４０１は、具体的には、第１の訓練データ群を取得したことを、第１学習部４０３と、第２学習部４０４との処理を開始する開始トリガーとして受け付けてもよい。取得部４０１は、具体的には、第２の訓練データ群を取得したことを、第３学習部４０５の処理を開始する開始トリガーとして受け付けてもよい。取得部４０１は、例えば、クエリデータを取得したことを、第１利用部４０６と、第２利用部４０７と、第３利用部４０８との処理を開始する開始トリガーとして受け付けてもよい。
加工部４０２は、規則に従って、取得した訓練データを加工する。加工部４０２は、例えば、回避攻撃に対応する規則に従って、取得した訓練データの一部を削除することにより、取得した訓練データを加工する。加工部４０２は、具体的には、取得した訓練データのうち、内容が重複するＤ個のデータがあれば、内容が重複するＤ個のデータを、１≦Ｎ＜Ｄ個のデータまで削減する。これにより、加工部４０２は、攻撃耐性が比較的高い第２のモデルの入力に適合した形式に、取得した訓練データを加工することができる。
また、加工部４０２は、例えば、回避攻撃に対応する規則に従って、取得した訓練データに、正常データの一部を挿入することにより、取得した訓練データを加工してもよい。これにより、加工部４０２は、攻撃耐性が比較的高い第２のモデルの入力に適合した形式に、取得した訓練データを加工することができる。
加工部４０２は、訓練データに関する所定の特徴量を算出する。加工部４０２は、例えば、所定の特徴量として、加工前後の訓練データの違いに関する特徴量を算出する。加工部４０２は、具体的には、所定の特徴量として、加工前後の訓練データのデータ長の差分を算出する。これにより、加工部４０２は、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮するための指標となり得る特徴量を得ることができる。
加工部４０２は、例えば、所定の特徴量として、加工前の訓練データに関する特徴量を算出する。加工部４０２は、具体的には、所定の特徴量として、加工前の訓練データのデータ長を算出する。これにより、加工部４０２は、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮するための指標となり得る特徴量を得ることができる。
加工部４０２は、例えば、所定の特徴量として、加工後の訓練データに関する特徴量を算出する。加工部４０２は、具体的には、所定の特徴量として、加工後の訓練データのデータ長を算出する。これにより、加工部４０２は、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮するための指標となり得る特徴量を得ることができる。
加工部４０２は、例えば、所定の特徴量として、正常データに関する特徴量を算出する。加工部４０２は、具体的には、所定の特徴量として、正常データのデータ長を算出する。これにより、加工部４０２は、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮するための指標となり得る特徴量を得ることができる。
加工部４０２は、例えば、所定の特徴量として、攻撃データに関する特徴量を算出する。加工部４０２は、具体的には、所定の特徴量として、攻撃データのデータ長を算出する。これにより、加工部４０２は、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮するための指標となり得る特徴量を得ることができる。
加工部４０２は、例えば、所定の特徴量として、加工前の訓練データのデータ長と、データ長の平均値との差分を算出する。平均値は、例えば、過去に取得した、加工前の訓練データ群に基づいて算出される。これにより、加工部４０２は、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮するための指標となり得る特徴量を得ることができる。
加工部４０２は、例えば、所定の特徴量として、加工後の訓練データのデータ長と、データ長の平均値との差分を算出する。平均値は、例えば、過去に取得した、加工後の訓練データ群に基づいて算出される。これにより、加工部４０２は、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮するための指標となり得る特徴量を得ることができる。
加工部４０２は、規則に従って、取得したクエリデータを加工する。加工部４０２は、例えば、回避攻撃に対応する規則に従って、取得したクエリデータの一部を削除することにより、取得したクエリデータを加工する。加工部４０２は、具体的には、取得したクエリデータのうち、内容が重複するＤ個のデータがあれば、内容が重複するＤ個のデータを、１≦Ｎ＜Ｄ個のデータまで削減する。これにより、加工部４０２は、攻撃耐性が比較的高い第２のモデルの入力に適合した形式に、取得したクエリデータを加工することができる。
また、加工部４０２は、例えば、回避攻撃に対応する規則に従って、取得したクエリデータに、正常データの一部を挿入することにより、取得したクエリデータを加工してもよい。これにより、加工部４０２は、攻撃耐性が比較的高い第２のモデルの入力に適合した形式に、取得したクエリデータを加工することができる。
加工部４０２は、クエリデータに関する所定の特徴量を算出する。加工部４０２は、例えば、所定の特徴量として、加工前後のクエリデータの違いに関する特徴量を算出する。加工部４０２は、具体的には、所定の特徴量として、加工前後のクエリデータのデータ長の差分を算出する。これにより、加工部４０２は、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮するための指標となり得る特徴量を得ることができる。
加工部４０２は、例えば、所定の特徴量として、加工前のクエリデータに関する特徴量を算出する。加工部４０２は、具体的には、所定の特徴量として、加工前のクエリデータのデータ長を算出する。これにより、加工部４０２は、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮するための指標となり得る特徴量を得ることができる。
加工部４０２は、例えば、所定の特徴量として、加工後のクエリデータに関する特徴量を算出する。加工部４０２は、具体的には、所定の特徴量として、加工後のクエリデータのデータ長を算出する。これにより、加工部４０２は、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮するための指標となり得る特徴量を得ることができる。
加工部４０２は、例えば、所定の特徴量として、正常データに関する特徴量を算出する。加工部４０２は、具体的には、所定の特徴量として、正常データのデータ長を算出する。これにより、加工部４０２は、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮するための指標となり得る特徴量を得ることができる。
加工部４０２は、例えば、所定の特徴量として、攻撃データに関する特徴量を算出する。加工部４０２は、具体的には、所定の特徴量として、攻撃データのデータ長を算出する。これにより、加工部４０２は、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮するための指標となり得る特徴量を得ることができる。
加工部４０２は、例えば、所定の特徴量として、加工前のクエリデータのデータ長と、データ長の平均値との差分を算出する。平均値は、例えば、過去に取得した、加工前のクエリデータ群に基づいて算出される。これにより、加工部４０２は、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮するための指標となり得る特徴量を得ることができる。
加工部４０２は、例えば、所定の特徴量として、加工後のクエリデータのデータ長と、データ長の平均値との差分を算出する。平均値は、例えば、過去に取得した、加工後のクエリデータ群に基づいて算出される。これにより、加工部４０２は、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮するための指標となり得る特徴量を得ることができる。
第１学習部４０３は、所定の訓練データを入力に用いて、第１のモデルを学習することにより、第１のモデルを取得する。所定の訓練データは、第１の訓練データ群に含まれる訓練データのそれぞれである。第１学習部４０３は、例えば、所定の訓練データに含まれる入力ｘに応じた第１のモデルの出力が、所定の訓練データに対応する回答ｙになるよう、第１のモデルのパラメータを決定することにより、第１のモデルを学習する。これにより、第１学習部４０３は、分類精度が比較的高い第１のモデルを得ることができる。
第２学習部４０４は、加工後の所定の訓練データを入力に用いて、第２のモデルを学習することにより、第２のモデルを取得する。第２学習部４０４は、例えば、加工後の所定の訓練データに含まれる入力ｘに応じた第２のモデルの出力が、加工後の所定の訓練データに対応する回答ｙになるよう、第２のモデルのパラメータを決定することにより、第２のモデルを学習する。加工後の所定の訓練データに対応する回答ｙは、加工前の所定の訓練データに対応する回答ｙと同一である。これにより、第１学習部４０３は、攻撃耐性が比較的高い第２のモデルを得ることができる。
第３学習部４０５は、訓練データが入力された際の第１のモデルの出力と、規則に従って加工された加工後の訓練データが入力された際の第２のモデルの出力と、所定の特徴量とを入力に用いて、第３のモデルを学習する。訓練データは、例えば、第２の訓練データ群に含まれる訓練データのそれぞれである。
第３学習部４０５は、例えば、第１のモデルの出力と、第２のモデルの出力と、加工前後の訓練データに関する特徴量の組み合わせと、加工前後の訓練データの違いに関する特徴量とを入力に用いて、第３のモデルを学習する。組み合わせは、例えば、加工前の訓練データに関する特徴量、および、加工後の訓練データに関する特徴量を含む。組み合わせは、具体的には、加工前の訓練データのデータ長、および、加工後の訓練データのデータ長を含む。これにより、第３学習部４０５は、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを適切に考慮し、攻撃確信度を出力する第３のモデルを得ることができる。
第１利用部４０６は、加工前のクエリデータが入力された際の第１のモデルの第１の出力を取得する。第１利用部４０６は、例えば、加工前のクエリデータを第１のモデルに入力したことに応じて第１のモデルから出力された第１の確信度を、第１の出力として取得する。第１の確信度は、クエリデータが異常である確率の高さを示す指標値である。これにより、第１利用部４０６は、分類精度が比較的高い第１のモデルの第１の出力を得ることができ、分類精度が比較的高い第１のモデルの第１の出力を第３のモデルで考慮可能にすることができる。
第２利用部４０７は、加工後のクエリデータが入力された際の第２のモデルの第２の出力を取得する。第２利用部４０７は、例えば、加工後のクエリデータを第２のモデルに入力したことに応じて第２のモデルから出力された第２の確信度を、第２の出力として取得する。第２の確信度は、クエリデータが異常である確率の高さを示す指標値である。これにより、第２利用部４０７は攻撃耐性が比較的高い第２のモデルの第２の出力を得ることができ、攻撃耐性が比較的高い第２のモデルの第２の出力を第３のモデルで考慮可能にすることができる。
第３利用部４０８は、取得した第１の出力と、取得した第２の出力と、算出した所定の特徴量とが入力された際の、学習した第３のモデルの第３の出力を取得する。第３利用部４０８は、第１の出力と、第２の出力と、所定の特徴量とを、第３のモデルに入力したことに応じて第３のモデルから出力された第３の確信度を、第３の出力として取得する。第３の確信度は、クエリデータが異常である確率の高さを示す指標値であり、攻撃確信度である。これにより、第３利用部４０８は、分類精度が比較的高い第１のモデルの出力と、攻撃耐性が比較的高い第２のモデルの出力とを、所定の特徴量に基づき適切に考慮し、出力する攻撃確信度に反映することができる。このため、第３利用部４０８は、クエリデータが正常であるか否かを精度よく表す攻撃確信度を得ることができる。
第３利用部４０８は、第３の出力に基づいて、クエリデータが正常であるか否かを判定してもよい。第３利用部４０８は、例えば、攻撃確信度が閾値以上であれば、クエリデータが異常であると判定する。一方で、第３利用部４０８は、例えば、攻撃確信度が閾値未満であれば、クエリデータが正常であると判定する。これにより、第３利用部４０８は、クエリデータが正常であるか否かを精度よく判定することができる。第３利用部４０８は、例えば、正常なクエリデータを、正常であると正しく判定する確率と、回避攻撃により作成された不正なクエリデータを、異常であると正しく判定する確率とを同時に高めることができる。
出力部４０９は、少なくともいずれかの機能部の処理結果を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、ネットワークＩ／Ｆ３０３による外部装置への送信、または、メモリ３０２や記録媒体３０５などの記憶領域への記憶である。これにより、出力部４０９は、少なくともいずれかの機能部の処理結果を、情報処理装置１００の利用者に通知可能にし、情報処理装置１００の利便性の向上を図ることができる。
出力部４０９は、第３のモデルを出力する。出力部４０９は、例えば、第３のモデルを、他のコンピュータに送信する。他のコンピュータは、例えば、クライアント装置２０１であってもよい。これにより、出力部４０９は、他のコンピュータで、クエリデータが正常であるか否かを精度よく判定可能にすることができる。
出力部４０９は、第３のモデルの第３の出力を出力する。出力部４０９は、例えば、第３の出力を、他のコンピュータに送信する。他のコンピュータは、例えば、クエリデータの送信元であるクライアント装置２０１である。これにより、出力部４０９は、第３の出力を、クライアント装置２０１の利用者が参照可能にすることができる。出力部４０９は、クライアント装置２０１の利用者が、誤って不正なクエリデータを信用してしまい、不利益を被る事態を回避し易くすることができる。
ここでは、情報処理装置１００が、第１利用部４０６と、第２利用部４０７と、第３利用部４０８とを含む場合について説明したが、これに限らない。例えば、情報処理装置１００が、第１利用部４０６と、第２利用部４０７と、第３利用部４０８とを含まない場合があってもよい。この場合、例えば、他のコンピュータが、第１利用部４０６と、第２利用部４０７と、第３利用部４０８とを含み、第１のモデルと、第２のモデルと、第３のモデルとを情報処理装置１００から取得することになる。
ここでは、第３学習部４０５が、第１のモデルの出力と、第２のモデルの出力との他、１種類の特徴量を入力に用いて、第３のモデルを学習する場合について説明したが、これに限らない。例えば、第３学習部４０５が、第１のモデルの出力と、第２のモデルの出力との他、複数種類の特徴量を入力に用いて、第３のモデルを学習する場合があってもよい。
ここでは、第３学習部４０５が、分類精度が比較的高い第１のモデルと、攻撃耐性が比較的高い第２のモデルとの、２種類のモデルを利用して、第３のモデルを学習する場合について説明したが、これに限らない。例えば、第３学習部４０５が、分類精度が比較的高い複数のモデルと、攻撃耐性が比較的高い複数のモデルとを利用して、第３のモデルを学習する場合があってもよい。
また、例えば、第３学習部４０５が、分類精度が比較的高い１つのモデルと、攻撃耐性が比較的高い複数のモデルとを利用して、第３のモデルを学習する場合があってもよい。また、例えば、第３学習部４０５が、分類精度が比較的高い複数のモデルと、攻撃耐性が比較的高い１つのモデルとを利用して、第３のモデルを学習する場合があってもよい。
ここで、例えば、取得部４０１が、訓練データの一種として、ノイズが加えられた敵対的サンプルと呼ばれる訓練データを取得する場合があってもよい。この場合、第１学習部４０３は、例えば、Ａｄｖｅｒｓａｒｉａｌ Ｔｒａｉｎｉｎｇにより、モデルを学習することになる。また、ノイズが加えられた敵対的サンプルは、情報処理装置１００によって作成されてもよい。
また、例えば、取得部４０１が、訓練データの一種として、正常なデータの一部が挿入済みの訓練データを取得する場合があってもよい。この場合、加工部４０２は、例えば、訓練データの一部を削除する規則を利用することが好ましい。また、第１学習部４０３は、例えば、Ａｄｖｅｒｓａｒｉａｌ Ｔｒａｉｎｉｎｇにより、モデルを学習することになる。また、正常なデータの一部が挿入済みの訓練データは、情報処理装置１００によって作成されてもよい。
（情報処理装置１００の動作の一例）
次に、図５～図１０を用いて、情報処理装置１００の動作の一例について説明する。具体的には、まず、図５を用いて、情報処理装置１００が取得する訓練データ、または、クエリデータとなり得る構造化データの一例について説明する。
図５は、構造化データの一例を示す説明図である。図５において、クライアント装置２０１は、他のコンピュータ５００と通信した際、１セッション分の通信のログデータが正常であるか否かを判定するとする。通信のログデータは、構造化データで表現される。
このため、クライアント装置２０１は、過去の通信のログデータを、訓練データとして情報処理装置１００に送信しているとする。また、クライアント装置２０１は、他のコンピュータ５００と通信した際、今回の通信のログデータを、クエリデータとして情報処理装置１００に送信するとする。
構造化データは、通信に関する１以上の属性の値の組み合わせを示すデータを、１以上含んでいる。構造化データは、例えば、行および列の概念を有するデータである。構造化データは、例えば、テーブル５１０に対応する。データは、通信における１処理を示す。データは、例えば、テーブル５１０のレコードに対応する。
属性は、処理名（Ｃｏｍｍａｎｄ）、オプション（Ｏｐｔｉｏｎ）、アカウント（Ａｃｃｏｕｎｔ）、Ｓｈａｒｅｄ Ｎａｍｅ、拡張子（Ｅｘｔｅｎｓｉｏｎ）、ディレクトリ（Ｄｉｒｅｃｔｏｒｙ）などである。属性の値は、属性の特徴量である。
回避攻撃では、不正な構造化データに、正常な構造化データに含まれる一部のデータを挿入することにより、不正な構造化データが、正常であると誤って判定される要因を増やすことが目的となる。このため、回避攻撃で作成された構造化データは、例えば、複数の属性の値の組み合わせが同一となるデータを複数含むという傾向を有する場合がある。また、回避攻撃で作成された構造化データは、属性の値が同一となるデータを複数含むという傾向を有する場合がある。
情報処理装置１００は、上記傾向を考慮して、構造化データを加工する規則として、構造化データのうち、内容が重複するＤ個のデータを、１≦Ｎ＜Ｄ個のデータまで削減するという規則を記憶しているとする。ここで、情報処理装置１００は、訓練データ、または、クエリデータとなる構造化データを取得したとする。次に、図６の説明に移行し、取得した訓練データ、または、クエリデータとなる構造化データ６０１を用いた、情報処理装置１００の動作の一例について説明する。
図６は、情報処理装置１００の動作の一例を示す説明図である。図６において、情報処理装置１００は、手法１により学習済みのモデルＡと、手法２により学習済みのモデルＢとを有する。モデルＡは、分類精度が比較的高く、構造化データ６０１が入力される。モデルＢは、攻撃耐性が比較的高く、構造化データ６０１が加工してから入力される。
（６－１）情報処理装置１００は、規則に従って、構造化データ６０１を加工し、加工後の構造化データ６０２を得る。情報処理装置１００は、例えば、構造化データ６０１のうち、内容が重複するＤ個のデータを、１≦Ｎ＜Ｄ個のデータまで削減する。
（６－２）情報処理装置１００は、モデルＡに、構造化データ６０１を入力する。情報処理装置１００は、構造化データ６０１を入力したことに応じてモデルＡから出力された確信度ａを取得する。確信度ａは、構造化データ６０１が異常である確率の高さを示す指標値である。確信度ａは、分類精度が比較的高いモデルＡから出力されるため、構造化データ６０１が正常である場合、値が大きくなり辛い傾向がある。
（６－３）情報処理装置１００は、モデルＢに、加工後の構造化データ６０２を入力する。情報処理装置１００は、加工後の構造化データ６０２を入力したことに応じてモデルＢから出力された確信度ｂを取得する。確信度ｂは、構造化データ６０１が異常である確率の高さを示す指標値である。確信度ｂは、攻撃耐性が比較的高いモデルＢから出力されるため、構造化データ６０１が異常である場合、値が小さくなり辛い傾向がある。
（６－４）情報処理装置１００は、加工前の構造化データ６０１のセッション長と、加工後の構造化データ６０２のセッション長とを算出する。セッション長を算出する一例については、具体的には、図７を用いて後述する。セッション長は、通信におけるコマンドの数である。換言すれば、セッション長は、構造化データ６０１，６０２のうち、テーブル５１０のレコードの数に対応し、１処理を示すデータの数である。
そして、情報処理装置１００は、加工前後の構造化データ６０１，６０２のセッション長の差分６０３を算出する。セッション長の差分を算出する一例については、具体的には、図８を用いて後述する。また、情報処理装置１００は、加工前の構造化データ６０１のセッション長と、加工後の構造化データ６０２のセッション長との組み合わせ６０４を特定する。情報処理装置１００は、差分６０３と、組み合わせ６０４とのいずれか一方を特定しなくてもよい。
（６－５）情報処理装置１００は、確信度ａと、確信度ｂと、差分６０３と、組み合わせ６０４とを、統合用モデルＣに入力する。情報処理装置１００は、確信度ａと、確信度ｂと、差分６０３と、組み合わせ６０４とを入力したことに応じて統合用モデルＣから出力された攻撃確信度ｃを取得する。
（６－６）情報処理装置１００は、構造化データ６０１が訓練データであれば、攻撃確信度ｃに基づいて、統合用モデルＣのパラメータを更新することにより、統合用モデルＣを学習する。また、情報処理装置１００は、構造化データ６０１がクエリデータであれば、攻撃確信度ｃに基づいて、構造化データ６０１が正常であるか否かを判定する。
これにより、情報処理装置１００は、クエリデータが正常であるか否かを精度よく判定可能な統合用モデルＣを学習することができる。情報処理装置１００は、例えば、正常なクエリデータを、正常であると正しく判定する確率と、回避攻撃により作成された不正なクエリデータを、異常であると正しく判定する確率とが、同時に高くなるよう、統合用モデルＣを学習することができる。
具体的には、統合用モデルＣは、差分６０３と、組み合わせ６０４とを入力として用いるため、分類精度が比較的高いモデルＡの出力と、攻撃耐性が比較的高いモデルＢの出力とを適切に考慮し、出力する攻撃確信度ｃに反映することができる。このため、統合用モデルＣは、回避攻撃の性質を考慮し、分類精度を確保し、かつ、攻撃耐性を確保することができる。
また、情報処理装置１００は、統合用モデルＣを利用して、クエリデータが正常であるか否かを精度よく判定することができる。情報処理装置１００は、例えば、正常なクエリデータを、正常であると正しく判定し、回避攻撃により作成された不正なクエリデータを、異常であると正しく判定することができる。次に、図７の説明に移行し、情報処理装置１００が、セッション長を算出する一例について説明する。
図７は、セッション長を算出する一例を示す説明図である。図７において、加工前の構造化データ６０１は、コマンドＡ、コマンドＡ、コマンドＡ、コマンドＢ、コマンドＢ、コマンドＣ、コマンドＣ、コマンドＢ、コマンドＤという９つのコマンドに対応するデータを順に含む。加工後の構造化データ６０２は、コマンドＡ、コマンドＢ、コマンドＣ、コマンドＤという４つのコマンドに対応するデータを順に含む。
セッション長は、１セッション分の通信において発行されたコマンドの数に対応する。このため、情報処理装置１００は、加工前の構造化データ６０１が含むデータの数９を、加工前の構造化データ６０１のセッション長として特定する。また、情報処理装置１００は、加工後の構造化データ６０２が含むデータの数４を、加工後の構造化データ６０２のセッション長として特定する。次に、図８の説明に移行し、情報処理装置１００が、セッション長の差分を算出する一例について説明する。
図８は、セッション長の差分を算出する一例を示す説明図である。図８において、情報処理装置１００は、加工前の構造化データ６０１が含むデータの数９から、加工後の構造化データ６０２が含むデータの数４を減算した差分５を、セッション長の差分として特定する。次に、図９および図１０の説明に移行し、情報処理装置１００により得られる効果の一例について説明する。
図９および図１０は、情報処理装置１００により得られる効果の一例を示す説明図である。図９において、手法１は、分類精度が比較的高いモデルのみを作成および利用する。手法１は、例えば、モデルＡのみを作成および利用する。手法２は、攻撃耐性が比較的高いモデルのみを作成および利用する。手法２は、例えば、モデルＢのみを作成および利用する。
手法３は、アンサンブル学習で、分類精度が比較的高いモデルと、攻撃耐性が比較的高いモデルとを、単純に組み合わせる。手法３は、モデルＡと、モデルＢとを、単純に組み合わせる。手法３は、情報処理装置１００とは異なり、所定の特徴量を利用していない。
図９の表９００に示すように、手法１は、分類精度が比較的高いものの、攻撃耐性が比較的低いため、不正なクエリデータを誤って正常であると判定する確率が比較的高くなるという問題を有している。手法２は、攻撃耐性が比較的高いものの、分類精度が比較的低いため、正常なクエリデータを誤って異常であると判定する確率が比較的高くなるという問題を有している。
手法３は、分類精度が比較的高いものの、攻撃耐性が比較的低いため、不正なクエリデータを誤って正常であると判定する確率が比較的高いという問題を有している。これに対し、情報処理装置１００は、分類精度を比較的高くすることができ、かつ、攻撃耐性を比較的高くすることができ、クエリデータが正常であるか否かを精度よく判定可能にすることができる。次に、図１０の説明に移行する。
図１０において、Ｐｒｅｃｉｓｉｏｎ（分類精度）は、異常であると判定されたクエリデータのうち、真に異常であるクエリデータの割合を表す評価指標である。Ｒｅｃａｌｌは、真に異常であるクエリデータのうち、異常であると判定されたクエリデータの割合を表す評価指標である。Ｄｅｔｅｃｔｉｏｎ ｒａｔｅ（回避攻撃に対する攻撃耐性）は、回避攻撃で作成されたクエリデータのうち、異常であると判定されたクエリデータの割合を表す評価指標である。
図１０の表１０００に示すように、手法１は、Ｄｅｔｅｃｔｉｏｎ ｒａｔｅが比較的低く、攻撃耐性が比較的低い。手法２は、Ｐｒｅｃｉｓｉｏｎが比較的低く、分類精度が比較的低い。手法３は、Ｄｅｔｅｃｔｉｏｎ ｒａｔｅが比較的低く、攻撃耐性が比較的低い。これに対し、情報処理装置１００は、ＰｒｅｃｉｓｉｏｎおよびＤｅｔｅｃｔｉｏｎ ｒａｔｅを、両立して高めることができる。
ここでは、構造化データが、通信に関する１以上の属性の値の組み合わせを示すデータを、１以上含んでいる場合について説明したが、これに限らない。例えば、構造化データが、メールに関する１以上の属性の値の組み合わせを示すデータを、１以上含んでいる場合があってもよい。この場合、属性は、例えば、メールの送信者、宛先、または、ヘッダなどである。また、例えば、構造化データが、ソフトウェアに関する１以上の属性の値の組み合わせを示すデータを、１以上含んでいる場合があってもよい。この場合、属性は、例えば、ソフトウェアのＰＥファイルの特徴に関する情報である。
（訓練処理手順）
次に、図１１を用いて、情報処理装置１００が実行する、訓練処理手順の一例について説明する。訓練処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。
図１１は、訓練処理手順の一例を示すフローチャートである。図１１において、情報処理装置１００は、訓練データ群を読み込む（ステップＳ１１０１）。
次に、情報処理装置１００は、訓練データ群のそれぞれの訓練データを入力に用いて、分類精度が比較的高いモデルＡを学習する（ステップＳ１１０２）。
また、情報処理装置１００は、規則に従って、訓練データ群のそれぞれの訓練データを加工する（ステップＳ１１０３）。そして、情報処理装置１００は、加工済みのそれぞれの訓練データを入力に用いて、攻撃耐性が比較的高いモデルＢを学習する（ステップＳ１１０４）。
次に、情報処理装置１００は、加工前後のそれぞれの訓練データの違いを表す特徴量ｓを算出する（ステップＳ１１０５）。
そして、情報処理装置１００は、訓練データ群のそれぞれの訓練データを入力に用いた場合に、学習したモデルＡから出力される確信度ａを取得する（ステップＳ１１０６）。また、情報処理装置１００は、加工済みのそれぞれの訓練データを入力に用いた場合に、学習したモデルＢから出力される確信度ｂを取得する（ステップＳ１１０７）。
次に、情報処理装置１００は、取得した確信度ａと、取得した確信度ｂと、算出した特徴量ｓとを入力に用いて、統合用モデルＣを学習する（ステップＳ１１０８）。そして、情報処理装置１００は、訓練処理を終了する。これにより、情報処理装置１００は、クエリデータが正常であるか否かを精度よく判定可能な統合用モデルＣを得ることができる。
（推論処理手順）
次に、図１２を用いて、情報処理装置１００が実行する、推論処理手順の一例について説明する。推論処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。
図１２は、推論処理手順の一例を示すフローチャートである。図１２において、情報処理装置１００は、クエリデータを読み込む（ステップＳ１２０１）。
次に、情報処理装置１００は、クエリデータを入力に用いた場合に、モデルＡから出力される確信度ａを取得する（ステップＳ１２０２）。
また、情報処理装置１００は、規則に従って、クエリデータを加工する（ステップＳ１２０３）。そして、情報処理装置１００は、加工済みのクエリデータを入力に用いた場合に、モデルＢから出力される確信度ｂを取得する（ステップＳ１２０４）。
次に、情報処理装置１００は、加工前後のクエリデータの違いを表す特徴量ｓを算出する（ステップＳ１２０５）。そして、情報処理装置１００は、取得した確信度ａと、取得した確信度ｂと、算出した特徴量ｓとを入力に用いた場合に、統合用モデルＣから出力される攻撃確信度ｃを取得する（ステップＳ１２０６）。
次に、情報処理装置１００は、攻撃確信度ｃに基づいて、クエリデータが正常であるか否かを検証し、検証した結果を出力する（ステップＳ１２０７）。そして、情報処理装置１００は、推論処理を終了する。これにより、情報処理装置１００は、クエリデータが正常であるか否かを精度よく判定することができる。
ここで、情報処理装置１００は、図１１および図１２の各フローチャートにおける一部ステップの処理の順序を入れ替えて実行してもよい。例えば、ステップＳ１１０２の処理と、ステップＳ１１０３，Ｓ１１０４の処理との順序は入れ替え可能である。また、情報処理装置１００は、図１１および図１２の各フローチャートにおける一部ステップの処理を省略してもよい。例えば、情報処理装置１００が、モデルＡと、モデルＢとを学習せず、他のコンピュータから取得する場合、ステップＳ１１０２，Ｓ１１０４の処理は省略可能である。
以上説明したように、情報処理装置１００によれば、訓練データが入力される第１のモデルを取得することができる。情報処理装置１００によれば、ある規則に従って訓練データが加工されてから入力される第２のモデルを取得することができる。情報処理装置１００によれば、訓練データが入力された際の第１のモデルの出力と、規則に従って加工された加工後の訓練データが入力された際の第２のモデルの出力と、所定の特徴量とを入力に用いて、異常データを検知する第３のモデルを学習することができる。所定の特徴量は、加工前の訓練データに関する特徴量、加工後の訓練データに関する特徴量、加工前後の訓練データの違いに関する特徴量、正常データに関する特徴量、または、異常データに関する特徴量などである。これにより、情報処理装置１００は、分類精度および攻撃耐性が比較的高い第３のモデルを得ることができる。
情報処理装置１００によれば、加工前後の訓練データの違いに関する特徴量として、加工前後の訓練データのセッション長の差分を算出することができる。これにより、情報処理装置１００は、訓練データが、通信に関わる構造化データである場合に適用することができる。
情報処理装置１００によれば、所定の訓練データを入力に用いて、第１のモデルを学習することにより、第１のモデルを取得することができる。これにより、情報処理装置１００は、第１のモデルを、他のコンピュータから取得せずに済ませることができる。
情報処理装置１００によれば、規則に従って所定の訓練データを加工し、加工後の所定の訓練データを入力に用いて、第２のモデルを学習することにより、第２のモデルを取得することができる。これにより、情報処理装置１００は、第２のモデルを、他のコンピュータから取得せずに済ませることができる。
情報処理装置１００によれば、所定の特徴量として、加工前の訓練データに関する特徴量、および、加工後の訓練データに関する特徴量の組み合わせと、加工前後の訓練データの違いに関する特徴量とを利用することができる。これにより、情報処理装置１００は、分類精度および攻撃耐性が比較的高い第３のモデルが得られるよう、所定の特徴量に、回避攻撃と関連が比較的深い特徴量を利用することができる。
情報処理装置１００によれば、クエリデータを取得することができる。情報処理装置１００によれば、規則に従って取得したクエリデータを加工することができる。情報処理装置１００によれば、加工前のクエリデータが入力された際の第１のモデルの第１の出力を取得することができる。情報処理装置１００によれば、加工後のクエリデータが入力された際の第２のモデルの第２の出力を取得することができる。情報処理装置１００によれば、取得した第１の出力と、取得した第２の出力と、所定の特徴量とが入力された際の、学習した第３のモデルの第３の出力を取得して出力することができる。これにより、情報処理装置１００は、クエリデータが正常であるか否かを精度よく示す第３の出力を利用可能にすることができる。
情報処理装置１００によれば、それぞれ異なるアルゴリズムで学習される第１のモデルと、第２のモデルとを利用することができる。これにより、情報処理装置１００は、第３のモデルが、異なる観点でクエリデータの妥当性を評価した、第１のモデルの出力と、第２のモデルの出力とを参照可能にすることができる。このため、情報処理装置１００は、第３のモデルの分類精度および攻撃耐性の向上を図ることができる。
情報処理装置１００によれば、回避攻撃に対応する規則を利用することができる。これにより、情報処理装置１００は、第２のモデルの攻撃耐性の向上を図ることができる。結果として、情報処理装置１００は、第２のモデルの出力を参照する第３のモデルの攻撃耐性の向上を図ることができる。
なお、本実施の形態で説明した情報処理方法は、予め用意されたプログラムをＰＣやワークステーションなどのコンピュータで実行することにより実現することができる。本実施の形態で説明した情報処理プログラムは、コンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。記録媒体は、ハードディスク、フレキシブルディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などである。また、本実施の形態で説明した情報処理プログラムは、インターネットなどのネットワークを介して配布してもよい。
上述した実施の形態に関し、さらに以下の付記を開示する。
（付記１）訓練データが入力される第１のモデルを取得し、
ある規則に従って前記訓練データが加工されてから入力される第２のモデルを取得し、
前記訓練データが入力された際の前記第１のモデルの出力と、前記規則に従って加工された加工後の前記訓練データが入力された際の前記第２のモデルの出力と、加工前の前記訓練データに関する特徴量、加工後の前記訓練データに関する特徴量、加工前後の前記訓練データの違いに関する特徴量、正常データに関する特徴量、または、異常データに関する特徴量の少なくともいずれかの特徴量とを入力に用いて、異常データを検知する第３のモデルを学習する、
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
（付記２）加工前後の前記訓練データの違いに関する特徴量は、加工前後の前記訓練データのセッション長の差分である、ことを特徴とする付記１に記載の情報処理プログラム。
（付記３）前記第１のモデルを取得する処理は、
所定の訓練データを入力に用いて、前記第１のモデルを学習することにより、前記第１のモデルを取得する、ことを特徴とする付記１または２に記載の情報処理プログラム。
（付記４）前記第２のモデルを取得する処理は、
前記規則に従って所定の訓練データを加工し、加工後の前記所定の訓練データを入力に用いて、前記第２のモデルを学習することにより、前記第２のモデルを取得する、ことを特徴とする付記１～３のいずれか一つに記載の情報処理プログラム。
（付記５）前記第３のモデルを学習する処理は、
前記訓練データが入力された際の前記第１のモデルの出力と、前記規則に従って加工された加工後の前記訓練データが入力された際の前記第２のモデルの出力と、加工前の前記訓練データに関する特徴量、および、加工後の前記訓練データに関する特徴量の組み合わせと、加工前後の前記訓練データの違いに関する特徴量とを入力に用いて、前記第３のモデルを学習する、ことを特徴とする付記１～４のいずれか一つに記載の情報処理プログラム。
（付記６）クエリデータを取得し、
前記規則に従って取得した前記クエリデータを加工し、
加工前の前記クエリデータが入力された際の前記第１のモデルの第１の出力を取得し、
加工後の前記クエリデータが入力された際の前記第２のモデルの第２の出力を取得し、
取得した前記第１の出力と、取得した前記第２の出力と、加工前の前記クエリデータに関する特徴量、加工後の前記クエリデータに関する特徴量、加工前後の前記クエリデータの違いに関する特徴量、正常データに関する特徴量、または、異常データに関する特徴量の少なくともいずれかの特徴量とが入力された際の、学習した前記第３のモデルの第３の出力を取得して出力する、
処理を前記コンピュータに実行させることを特徴とする付記１～５のいずれか一つに記載の情報処理プログラム。
（付記７）前記第１のモデルと、前記第２のモデルとは、それぞれ異なるアルゴリズムで学習される、ことを特徴とする付記１～６のいずれか一つに記載の情報処理プログラム。
（付記８）前記規則は、回避攻撃に対応する、ことを特徴とする付記１～７のいずれか一つに記載の情報処理プログラム。
（付記９）訓練データが入力される第１のモデルを取得し、
ある規則に従って前記訓練データが加工されてから入力される第２のモデルを取得し、
前記訓練データが入力された際の前記第１のモデルの出力と、前記規則に従って加工された加工後の前記訓練データが入力された際の前記第２のモデルの出力と、加工前の前記訓練データに関する特徴量、加工後の前記訓練データに関する特徴量、加工前後の前記訓練データの違いに関する特徴量、正常データに関する特徴量、または、異常データに関する特徴量の少なくともいずれかの特徴量とを入力に用いて、異常データを検知する第３のモデルを学習する、
処理をコンピュータが実行することを特徴とする情報処理方法。
（付記１０）訓練データが入力される第１のモデルを取得し、
ある規則に従って前記訓練データが加工されてから入力される第２のモデルを取得し、
前記訓練データが入力された際の前記第１のモデルの出力と、前記規則に従って加工された加工後の前記訓練データが入力された際の前記第２のモデルの出力と、加工前の前記訓練データに関する特徴量、加工後の前記訓練データに関する特徴量、加工前後の前記訓練データの違いに関する特徴量、正常データに関する特徴量、または、異常データに関する特徴量の少なくともいずれかの特徴量とを入力に用いて、異常データを検知する第３のモデルを学習する、
制御部を有することを特徴とする情報処理装置。
１００ 情報処理装置
１０１ 訓練データ
１０２ 加工後の訓練データ
１０３ 所定の特徴量
１１０ 第１のモデル
１２０ 第２のモデル
１３０ 第３のモデル
２００ 異常検知システム
２０１ クライアント装置
２１０ ネットワーク
３００ バス
３０１ ＣＰＵ
３０２ メモリ
３０３ ネットワークＩ／Ｆ
３０４ 記録媒体Ｉ／Ｆ
３０５ 記録媒体
４００ 記憶部
４０１ 取得部
４０２ 加工部
４０３ 第１学習部
４０４ 第２学習部
４０５ 第３学習部
４０６ 第１利用部
４０７ 第２利用部
４０８ 第３利用部
４０９ 出力部
５００ コンピュータ
５１０ テーブル
６０１ 構造化データ
６０２ 加工後の構造化データ
６０３ セッション長の差分
６０４ セッション長の組み合わせ
９００，１０００ 表

Claims (8)

  1. 訓練データが入力される第１のモデルを取得し、
    ある規則に従って前記訓練データが加工されてから入力される第２のモデルを取得し、
    前記訓練データが入力された際の前記第１のモデルの出力と、前記規則に従って加工された加工後の前記訓練データが入力された際の前記第２のモデルの出力と、加工前の前記訓練データに関する特徴量、加工後の前記訓練データに関する特徴量、加工前後の前記訓練データの違いに関する特徴量、正常データに関する特徴量、または、異常データに関する特徴量の少なくともいずれかの特徴量とを入力に用いて、異常データを検知する第３のモデルを学習する、
    処理をコンピュータに実行させることを特徴とする情報処理プログラム。
  2. 加工前後の前記訓練データの違いに関する特徴量は、加工前後の前記訓練データのセッション長の差分である、ことを特徴とする請求項１に記載の情報処理プログラム。
  3. 前記第１のモデルを取得する処理は、
    所定の訓練データを入力に用いて、前記第１のモデルを学習することにより、前記第１のモデルを取得する、ことを特徴とする請求項１または２に記載の情報処理プログラム。
  4. 前記第２のモデルを取得する処理は、
    前記規則に従って所定の訓練データを加工し、加工後の前記所定の訓練データを入力に用いて、前記第２のモデルを学習することにより、前記第２のモデルを取得する、ことを特徴とする請求項１～３のいずれか一つに記載の情報処理プログラム。
  5. 前記第３のモデルを学習する処理は、
    前記訓練データが入力された際の前記第１のモデルの出力と、前記規則に従って加工された加工後の前記訓練データが入力された際の前記第２のモデルの出力と、加工前の前記訓練データに関する特徴量、および、加工後の前記訓練データに関する特徴量の組み合わせと、加工前後の前記訓練データの違いに関する特徴量とを入力に用いて、前記第３のモデルを学習する、ことを特徴とする請求項１～４のいずれか一つに記載の情報処理プログラム。
  6. クエリデータを取得し、
    前記規則に従って取得した前記クエリデータを加工し、
    加工前の前記クエリデータが入力された際の前記第１のモデルの第１の出力を取得し、
    加工後の前記クエリデータが入力された際の前記第２のモデルの第２の出力を取得し、
    取得した前記第１の出力と、取得した前記第２の出力と、加工前の前記クエリデータに関する特徴量、加工後の前記クエリデータに関する特徴量、加工前後の前記クエリデータの違いに関する特徴量、正常データに関する特徴量、または、異常データに関する特徴量の少なくともいずれかの特徴量とが入力された際の、学習した前記第３のモデルの第３の出力を取得して出力する、
    処理を前記コンピュータに実行させることを特徴とする請求項１～５のいずれか一つに記載の情報処理プログラム。
  7. 訓練データが入力される第１のモデルを取得し、
    ある規則に従って前記訓練データが加工されてから入力される第２のモデルを取得し、
    前記訓練データが入力された際の前記第１のモデルの出力と、前記規則に従って加工された加工後の前記訓練データが入力された際の前記第２のモデルの出力と、加工前の前記訓練データに関する特徴量、加工後の前記訓練データに関する特徴量、加工前後の前記訓練データの違いに関する特徴量、正常データに関する特徴量、または、異常データに関する特徴量の少なくともいずれかの特徴量とを入力に用いて、異常データを検知する第３のモデルを学習する、
    処理をコンピュータが実行することを特徴とする情報処理方法。
  8. 訓練データが入力される第１のモデルを取得し、
    ある規則に従って前記訓練データが加工されてから入力される第２のモデルを取得し、
    前記訓練データが入力された際の前記第１のモデルの出力と、前記規則に従って加工された加工後の前記訓練データが入力された際の前記第２のモデルの出力と、加工前の前記訓練データに関する特徴量、加工後の前記訓練データに関する特徴量、加工前後の前記訓練データの違いに関する特徴量、正常データに関する特徴量、または、異常データに関する特徴量の少なくともいずれかの特徴量とを入力に用いて、異常データを検知する第３のモデルを学習する、
    制御部を有することを特徴とする情報処理装置。
JP2020174645A 2020-10-16 2020-10-16 情報処理プログラム、情報処理方法、および情報処理装置 Withdrawn JP2022065878A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020174645A JP2022065878A (ja) 2020-10-16 2020-10-16 情報処理プログラム、情報処理方法、および情報処理装置
EP21186383.2A EP3985534A1 (en) 2020-10-16 2021-07-19 Information processing program, information processing method, and information processing device
US17/381,853 US20220121989A1 (en) 2020-10-16 2021-07-21 Computer-readable recording medium storing information processing program, information processing method, and information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020174645A JP2022065878A (ja) 2020-10-16 2020-10-16 情報処理プログラム、情報処理方法、および情報処理装置

Publications (1)

Publication Number Publication Date
JP2022065878A true JP2022065878A (ja) 2022-04-28

Family

ID=76971724

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020174645A Withdrawn JP2022065878A (ja) 2020-10-16 2020-10-16 情報処理プログラム、情報処理方法、および情報処理装置

Country Status (3)

Country Link
US (1) US20220121989A1 (ja)
EP (1) EP3985534A1 (ja)
JP (1) JP2022065878A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117114141B (zh) * 2023-10-20 2024-02-27 安徽蔚来智驾科技有限公司 模型训练的方法、评估方法、计算机设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017219274A1 (de) * 2017-10-26 2019-05-02 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verbessern der Robustheit eines maschinellen Lernsystems
EP3477553B1 (en) * 2017-10-27 2023-08-30 Robert Bosch GmbH Method for detecting an anomalous image among a first dataset of images using an adversarial autoencoder
US10657259B2 (en) 2017-11-01 2020-05-19 International Business Machines Corporation Protecting cognitive systems from gradient based attacks through the use of deceiving gradients
WO2019172868A1 (en) * 2018-03-05 2019-09-12 Clinc, Inc. Systems and method for automatically configuring machine learning models
US10303978B1 (en) * 2018-03-26 2019-05-28 Clinc, Inc. Systems and methods for intelligently curating machine learning training data and improving machine learning model performance
US11468291B2 (en) 2018-09-28 2022-10-11 Nxp B.V. Method for protecting a machine learning ensemble from copying
US20200410392A1 (en) * 2019-06-27 2020-12-31 Adobe Inc. Task-aware command recommendation and proactive help
US11928857B2 (en) * 2020-07-08 2024-03-12 VMware LLC Unsupervised anomaly detection by self-prediction

Also Published As

Publication number Publication date
EP3985534A1 (en) 2022-04-20
US20220121989A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
JP6530786B2 (ja) Ｗｅｂページの悪意のある要素を検出するシステム及び方法
CN109815332B (zh) 损失函数优化方法、装置、计算机设备及存储介质
KR102043938B1 (ko) 이미지 기반의 captcha 과제
US10075463B2 (en) Bot detection system based on deep learning
US10135852B2 (en) Bot detection based on behavior analytics
JP5020776B2 (ja) 情報セキュリティ対策決定支援装置及び方法ならびにコンピュータプログラム
US10243981B2 (en) Bot detection based on divergence and variance
US20130042306A1 (en) Determining machine behavior
US9864855B2 (en) Verification data processing method and device and storage medium
EP3490223A1 (en) System and method for simulating and foiling attacks on a vehicle on-board network
US20160173518A1 (en) Adaptive client-aware session security
CN110830445B (zh) 一种异常访问对象的识别方法及设备
CN109753561B (zh) 一种自动回复的生成方法及装置
CN103294939B (zh) 用于虚拟化身认证的方法和系统
CN107070940B (zh) 一种从流式登录日志中判断恶意登录ip地址的方法及装置
US20180349470A1 (en) Multi-distance similarity analysis with tri-point arbitration
WO2016200408A1 (en) Hybrid classification system
CN111027643B (zh) 深度神经网络模型的训练方法、人机交互识别方法、装置、电子设备及存储介质
CN114595826A (zh) 一种联邦学习工人节点选择方法、系统、终端以及存储介质
JP2022065878A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
Singh et al. An ensemble approach for feature selection of Cyber Attack Dataset
CN111258796A (zh) 服务基础设施以及在其处预测和检测潜在异常的方法
US8594329B2 (en) Non-interactive verifiable, delegated computation
US20220121647A1 (en) Computer-readable recording medium storing information processing program, information processing method, and information processing device
CN105094810B (zh) 基于通用网关接口插件的数据处理方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230707

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20240129