JP2018526732A - マルウェアの識別とモデルの不均一性のために現場の分類器を再訓練するためのシステム及び方法 - Google Patents
マルウェアの識別とモデルの不均一性のために現場の分類器を再訓練するためのシステム及び方法 Download PDFInfo
- Publication number
- JP2018526732A JP2018526732A JP2018504758A JP2018504758A JP2018526732A JP 2018526732 A JP2018526732 A JP 2018526732A JP 2018504758 A JP2018504758 A JP 2018504758A JP 2018504758 A JP2018504758 A JP 2018504758A JP 2018526732 A JP2018526732 A JP 2018526732A
- Authority
- JP
- Japan
- Prior art keywords
- classifier
- training
- retraining
- field
- parent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 77
- 238000012360 testing method Methods 0.000 claims abstract description 55
- 239000013598 vector Substances 0.000 claims abstract description 55
- 238000010801 machine learning Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 238000011065 in-situ storage Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 238000013145 classification model Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 230000007123 defense Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000002155 anti-virotic effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000012913 prioritisation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
- G06F21/566—Dynamic detection, i.e. detection performed at run-time, e.g. emulation, suspicious activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/12—Detection or prevention of fraud
- H04W12/128—Anti-malware arrangements, e.g. protection against SMS fraud or mobile malware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
- G06F2221/033—Test or assess software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2107—File encryption
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2115—Third party
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1433—Vulnerability analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Virology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
この方法は、ある場所で親分類器のモデルを生成し、それを別の場所又は複数の場所にある1つ以上の現場の再訓練システム又は複数のシステムに対して提供し;現場の再訓練システム又は複数のシステムにより評価された複数のサンプルにわたり、親分類器のクラス決定を判断し;現場の再訓練処理を開始するのに必要な判断サンプルの最小値を決定し;1つ以上の現場のシステムからのサンプルを使用して新しい訓練およびテストセットを作成し;現場の訓練とテストセットを表す特徴ベクトルと、親の訓練とテストセットを表す特徴ベクトルとを混合し; 混合された訓練セットにわたり機械学習を実施し;混合されたテストセットと追加された非標識のサンプルを利用して、新しい親モデルを評価し;前記親分類器を再訓練された分類器により置き換えるかどうかを選択する。
Description
機械学習は、現代のコンピュータの高速処理のパワーを利用してアルゴリズムを実行し、データの挙動や特性の予測を学習する技術である。機械学習技術は、悪意のあるか又は良性の挙動を示すことが知られている1組のファイルのような、公知のクラス(class)や標識(label)によって、1組の訓練(training)サンプル(訓練セット)上でアルゴリズムを実行して、未知のファイルが悪意のあるものか又は良性であるかどうかのような、未知のものの挙動や特性を予想するという特徴を学習する。
米国特許付与前出願公開No. 20120310864号(以下、‘864公開と称す)、“分類器を進化させるための適応バッチモードアクテイブ学習”は、この技術が画像、音響及びテキストデータ(二値のファイルではなく、及びマルウエア(malware:有害ソフトウエア)の検出のためでもない)に適用することにフォーカスを当てる。更に、’864公開は、性能の所定のレベルに典型的に基づく停止基準を定義することを要する。重要なことには、‘864公開の方法は、完全なサンプル等を維持する代わりに、そのコーパス(corpus)を特徴ベクトルとして表す部分的な訓練コーパスを与える潜在的な必要性のような、現場(in-situ)の学習を受け入れることができないことである。
前述した従来技術の欠点を克服する実施形態が本明細書に説明されている。これらの及び他の利点は、マルウェアの識別とモデルの不均一性のために、バッチ処理し、教師あり(supervised)により、現場(in-situ)の機械学習分類器を再訓練するための方法により提供される。この方法によれば、ある場所で親分類器のモデルを生成し、それを別の場所又は複数の場所にある1つ以上の現場の再訓練システム又は複数のシステムに対して提供し;現場の再訓練システム又は複数のシステムにより評価された複数のサンプルにわたり、前記親分類器のクラス決定を判断し(adjudicate);現場の再訓練処理を開始するのに必要な判断サンプルの最小値を決定し(determine);1つまたは複数の現場のシステムからのサンプルを利用して新しい訓練およびテストセットを作成し(create);現場の訓練とテストセットを表す特徴ベクトルと、親の訓練とテストセットを表す特徴ベクトルとを混合し(blend); 混合された訓練セットにわたり機械学習を実施し(conduct);混合されたテストセットと追加された非標識のサンプルを利用して、新しい親モデルを評価し;前記親分類器を再訓練された分類器バージョンにより置き換えるかどうかを選択する。
マルウェアの識別とモデルの不均一性のために現場の分類器(in-situ classifier)を再訓練するためのシステム及び方法の実施形態が本明細書に記載されている。これらの実施形態は、上述した問題点を克服する。例えば、この実施形態は、ユーザが駆動する現存するモデルの分類予想と現場の再訓練の確認と修正に基づき、現存する機械学習をベースにした分類モデルの増強を与える。本明細書において、“現場(in-situ:その場)”とは、設置(install)された分類器のインスタンス(instance)の物理的な場所において、機械学習を実施するということを意味する。実際、多数のインスタンスを通じて適用された場合に、この実施形態は、夫々のインスタンスがそのインスタンスに固有のモデルを作成することを可能にする。
GUI400はまた、現場の分類器と基本分類器で判断されるように、悪意のある信頼性または可能性が、どれくらいのパーセンテージであるかによって分類されるファイルの数を示す棒グラフを含む(例えば、1877は、悪意のある可能性が0%として現場(in-situ)によって分類されたもの)。この棒グラフは、現場の分類器が、悪意のない信頼性が高い(0―10%)ものか、または悪意のある信頼性が高い (80―90%)ものであることを示し、一方、基本分類器は、これらの極端な場合の外側にある信頼度のレベル(例えば、20―70%)に分類されたより多くのファイルであって、従って、有用性がより低いファイルを示している。
1. 基本訓練およびテストセットの作成;
2. 特徴の抽出;
3. モデル作成のための学習の実施;
4. テストセットを用いてモデルテスト;
5. モデルの配置;
6. 未知のサンプルの分類のためにモデル使用;
7. ユーザまたは現場の再訓練システムは、分類をレビューし、確認または修正する;
8. ソース優先順位付けに基づいて、現場の訓練とテストセットの形成のために、判断したサンプルのサブセットを選択;
9. 特徴の抽出;
10. 現場の訓練と第三者の訓練とテストセットまたはそれらのサブセットを結合;
11. モデルの再訓練;
12. 新モデルの評価;
13. 新モデルの配置または拒否;および
14. 必要に応じて、ステップ6-14の繰り返し。
Claims (29)
- マルウェアの識別とモデルの不均一性のために、バッチ処理し、教師ありにより、現場の機械学習分類器を再訓練するための方法であって、前記方法は:
a. ある場所で親分類器のモデルを生成し、それを別の場所又は複数の場所にある1つ以上の現場の再訓練システム又は複数のシステムに対して提供するステップと;
b. 現場の再訓練システム又は複数のシステムにより評価された複数のサンプルにわたり、前記親分類器のクラス決定を判断するステップと;
c. 現場の再訓練処理を開始するのに必要な判断サンプルの最小値を決定するステップと;
d. 現場の訓練とテストセットを表す特徴ベクトルと、親の訓練とテストセットまたはそのサブセットを表す特徴ベクトルとを混合するステップと;
e. 混合された訓練セットにわたり機械学習を実施するステップと;
f. 混合されたテストセットと追加された非標識のサンプルを利用して、新しい親モデルを評価するステップと;
g. 前記親分類器を再訓練された分類器バージョンにより置き換えるかどうかを選択するステップとを備える機械学習分類器の再訓練方法。 - 1つまたは複数の現場のシステムからのサンプルを使用して、新しい訓練およびテストセットを作成するステップをさらに含む請求項1に記載の方法。
- 前記(a)-(g) のステップと前記作成するステップとを繰り返すことをさらに含む請求項2に記載の方法。
- 前記判断するステップは、分類を確認または修正するユーザ入力を受け取るステップを含む請求項1に記載の方法。
- 前記サンプルは、機械実行可能ソフトウェアまたは機械実行可能ソフトウェアによって使用されるファイルタイプを含む請求項1に記載の方法。
- 前記クラス決定は良性であるか又は悪意であるかのいずれかである請求項1に記載の方法。
- 前記現場の再訓練された分類器は、企業内の現場の再訓練システムの1つまたは複数に分散されている請求項1に記載の方法。
- 判断サンプルの前記最小値は、親分類器の訓練およびテストセットのサイズの関数である請求項1に記載の方法。
- 完全なサンプルではない特徴ベクトル表現が、現場の訓練者間で送信される請求項1記載の方法。
- ユーザが手動でサンプルを追加し、そのクラスを判断する請求項1に記載の方法。
- サンプルが複数の現場の再訓練された分類器モデルに対して評価される請求項1に記載の方法。
- 前記現場の分類器が、分類器評価の目的のために、親分類器と協力して動作する請求項1に記載の方法。
- 前記現場のサンプルのソースに基づいて、現場の訓練およびテストセットを含めるように、異なる優先順位が使用される請求項1記載の方法。
- 判断されたサンプルの特徴ベクトルが、お互いに信頼関係に入った複数のユーザ間で共有される請求項1に記載の方法。
- 信頼されたブローカーが、判断されたサンプルの特徴ベクトルの交換を容易にするために使用される請求項14に記載の方法。
- 前記混合するステップは、親分類器の特徴ベクトルに、現場のサンプルの特徴ベクトルを追加するステップをさらに含む請求項1に記載の方法。
- 前記混合するステップは、多数の親分類器の特徴ベクトルを同数の現場のサンプルの特徴ベクトルにより置換するステップをさらに含む請求項1に記載の方法。
- 前記混合するステップは、親分類器の特徴ベクトルのサブセットに、現場のサンプルの特徴ベクトルを追加するステップをさらに含む請求項1に記載の方法。
- 前記選択するステップは、ユーザによって行われる請求項1に記載の方法。
- 前記選択するステップは、人間の介入なしに、前記現場の再訓練システムによって行われる請求項1に記載の方法。
- 共通の親モデルと企業固有のサンプルセットとに基づいて、コンピュータ読み取り可能ファイルが悪意のあるものか又は良性であるかどうかを決定する各企業に固有の分類器モデルを生成する方法。
- 請求項1に記載の方法を実行するために遂行される、マルウェアの識別とモデルの不均一性のために、バッチ処理し、教師ありにより、現場の機械学習分類器を再訓練するための命令を備えたコンピュータ読み取り可能な媒体。
- 請求項1に記載の方法を実行するために遂行される、バッチ処理し、教師ありにより、現場の機械学習分類器を再訓練するための命令を備えることを含むプロセッサとメモリーを含むサーバを備える、マルウェアの識別とモデルの不均一性のために、バッチ処理し、教師ありにより、現場の機械学習分類器を再訓練するためのシステム。
- 前記サーバは、再訓練マネージャサービスを含む請求項23に記載のシステム。
- 前記サーバは、機械学習サービスを含む請求項23に記載のシステム。
- 前記サーバは、特徴抽出サービスを含む請求項23に記載のシステム。
- 前記サーバは、分類されたファイルに関する情報を記憶するデータベースを含む請求項23に記載のシステム。
- 前記サーバは、基本モデルのためのテストおよび訓練セットの特徴ベクトルを含む請求項23に記載のシステム。
- 前記サーバは、現場のモデルのためのテストおよび訓練セットの特徴ベクトルを含む請求項23に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562199390P | 2015-07-31 | 2015-07-31 | |
US62/199,390 | 2015-07-31 | ||
PCT/US2016/036408 WO2017023416A1 (en) | 2015-07-31 | 2016-06-08 | System and method for in-situ classifier retraining for malware identification and model heterogeneity |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018526732A true JP2018526732A (ja) | 2018-09-13 |
JP6742398B2 JP6742398B2 (ja) | 2020-08-19 |
Family
ID=57886450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018504758A Expired - Fee Related JP6742398B2 (ja) | 2015-07-31 | 2016-06-08 | マルウェアの識別とモデルの不均一性のために現場の分類器を再訓練するためのシステム及び方法 |
Country Status (4)
Country | Link |
---|---|
US (4) | US10121108B2 (ja) |
EP (1) | EP3329412A4 (ja) |
JP (1) | JP6742398B2 (ja) |
WO (1) | WO2017023416A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020149553A (ja) * | 2019-03-15 | 2020-09-17 | 日本電気株式会社 | コンピュータプログラム、イベント異常検知方法及びコンピュータ |
KR20200109677A (ko) * | 2019-03-14 | 2020-09-23 | 주식회사 에프원시큐리티 | Ai 기반 머신러닝 교차 검증 기법을 활용한 악성코드 탐지 장치 및 방법 |
JP2022502744A (ja) * | 2018-09-28 | 2022-01-11 | ダウ グローバル テクノロジーズ エルエルシー | コード分類のためのハイブリッド機械学習モデル |
Families Citing this family (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190129941A2 (en) | 2013-05-21 | 2019-05-02 | Happify, Inc. | Systems and methods for dynamic user interaction for improving happiness |
US10813584B2 (en) * | 2013-05-21 | 2020-10-27 | Happify, Inc. | Assessing adherence fidelity to behavioral interventions using interactivity and natural language processing |
WO2017023416A1 (en) | 2015-07-31 | 2017-02-09 | Northrop Grumman Systems Corporation | System and method for in-situ classifier retraining for malware identification and model heterogeneity |
US10127289B2 (en) * | 2015-08-19 | 2018-11-13 | Palantir Technologies Inc. | Systems and methods for automatic clustering and canonical designation of related data in various data structures |
US9992211B1 (en) * | 2015-08-27 | 2018-06-05 | Symantec Corporation | Systems and methods for improving the classification accuracy of trustworthiness classifiers |
US10838846B1 (en) * | 2016-05-16 | 2020-11-17 | Jpmorgan Chase Bank, N.A. | Method and system for implementing an automation software testing and packaging framework |
US20180012237A1 (en) * | 2016-07-07 | 2018-01-11 | International Business Machines Corporation | Inferring user demographics through categorization of social media data |
US10871753B2 (en) * | 2016-07-27 | 2020-12-22 | Accenture Global Solutions Limited | Feedback loop driven end-to-end state control of complex data-analytic systems |
US11960975B2 (en) * | 2016-08-12 | 2024-04-16 | Qualcomm Incorporated | Systems and methods for multi-instance learning-based classification for streaming inputs |
GB2557253B (en) * | 2016-12-02 | 2020-06-03 | F Secure Corp | Machine learning based malware detection system |
US11164119B2 (en) * | 2016-12-28 | 2021-11-02 | Motorola Solutions, Inc. | Systems and methods for assigning roles to user profiles for an incident |
US10699184B2 (en) * | 2016-12-29 | 2020-06-30 | Facebook, Inc. | Updating predictions for a deep-learning model |
US10162741B2 (en) * | 2017-01-24 | 2018-12-25 | International Business Machines Corporation | Automatically correcting GUI automation using machine learning |
JP6880891B2 (ja) * | 2017-03-23 | 2021-06-02 | 日本電気株式会社 | マルウェア判定方法、マルウェア判定装置及びマルウェア判定プログラム |
US10789550B2 (en) * | 2017-04-13 | 2020-09-29 | Battelle Memorial Institute | System and method for generating test vectors |
US9864956B1 (en) | 2017-05-01 | 2018-01-09 | SparkCognition, Inc. | Generation and use of trained file classifiers for malware detection |
AU2018269941A1 (en) * | 2017-05-14 | 2019-12-05 | Digital Reasoning Systems, Inc. | Systems and methods for rapidly building, managing, and sharing machine learning models |
US10616252B2 (en) | 2017-06-30 | 2020-04-07 | SparkCognition, Inc. | Automated detection of malware using trained neural network-based file classifiers and machine learning |
US10305923B2 (en) | 2017-06-30 | 2019-05-28 | SparkCognition, Inc. | Server-supported malware detection and protection |
US11526601B2 (en) * | 2017-07-12 | 2022-12-13 | The Regents Of The University Of California | Detection and prevention of adversarial deep learning |
US10877735B1 (en) | 2017-09-25 | 2020-12-29 | Amazon Technologies, Inc. | Automated generation of software applications using analysis of submitted content items |
WO2019075338A1 (en) * | 2017-10-12 | 2019-04-18 | Charles River Analytics, Inc. | CYBERVACCIN AND METHODS AND SYSTEMS FOR DEFENSE AGAINST PREDICTIVE MALICIOUS SOFTWARE |
US10754950B2 (en) * | 2017-11-30 | 2020-08-25 | Assured Information Security, Inc. | Entity resolution-based malicious file detection |
US10705805B1 (en) | 2017-12-12 | 2020-07-07 | Amazon Technologies, Inc. | Application authoring using web-of-sheets data model |
US10630709B2 (en) | 2018-02-13 | 2020-04-21 | Cisco Technology, Inc. | Assessing detectability of malware related traffic |
JP7216501B2 (ja) * | 2018-02-14 | 2023-02-01 | 株式会社日立システムズ | エッジサーバおよびエッジサーバにおけるai学習モデル生成・運用方法 |
JP7059695B2 (ja) * | 2018-03-01 | 2022-04-26 | コニカミノルタ株式会社 | 学習方法および学習装置 |
JP7056259B2 (ja) * | 2018-03-14 | 2022-04-19 | オムロン株式会社 | 検査システム、識別システム、及び識別器評価装置 |
US11308207B2 (en) * | 2018-03-30 | 2022-04-19 | Microsoft Technology Licensing, Llc | User verification of malware impacted files |
US11200320B2 (en) * | 2018-03-30 | 2021-12-14 | Microsoft Technology Licensing, Llc | Coordinating service ransomware detection with client-side ransomware detection |
US11586603B1 (en) | 2018-05-23 | 2023-02-21 | Amazon Technologies, Inc. | Index sheets for robust spreadsheet-based applications |
US11372893B2 (en) * | 2018-06-01 | 2022-06-28 | Ntt Security Holdings Corporation | Ensemble-based data curation pipeline for efficient label propagation |
US11709946B2 (en) | 2018-06-06 | 2023-07-25 | Reliaquest Holdings, Llc | Threat mitigation system and method |
US20190377881A1 (en) | 2018-06-06 | 2019-12-12 | Reliaquest Holdings, Llc | Threat mitigation system and method |
US10897480B2 (en) | 2018-07-27 | 2021-01-19 | The Boeing Company | Machine learning data filtering in a cross-domain environment |
US11521108B2 (en) * | 2018-07-30 | 2022-12-06 | Microsoft Technology Licensing, Llc | Privacy-preserving labeling and classification of email |
US11444957B2 (en) * | 2018-07-31 | 2022-09-13 | Fortinet, Inc. | Automated feature extraction and artificial intelligence (AI) based detection and classification of malware |
US20210241042A1 (en) * | 2018-08-15 | 2021-08-05 | Nippon Telegraph And Telephone Corporation | Classifier evaluation device, classifier evaluation method, and non-transitory computer readable recording medium |
CN109684837B (zh) * | 2018-11-21 | 2024-03-19 | 全球能源互联网研究院有限公司 | 一种面向电力企业的移动应用恶意软件检测方法及系统 |
US11023576B2 (en) * | 2018-11-28 | 2021-06-01 | International Business Machines Corporation | Detecting malicious activity on a computer system |
US11200318B2 (en) * | 2018-12-28 | 2021-12-14 | Mcafee, Llc | Methods and apparatus to detect adversarial malware |
EP3686804A1 (en) * | 2019-01-24 | 2020-07-29 | ABB Schweiz AG | Managing an installed base of artificial intelligence modules |
USD926809S1 (en) | 2019-06-05 | 2021-08-03 | Reliaquest Holdings, Llc | Display screen or portion thereof with a graphical user interface |
USD926810S1 (en) | 2019-06-05 | 2021-08-03 | Reliaquest Holdings, Llc | Display screen or portion thereof with a graphical user interface |
USD926200S1 (en) | 2019-06-06 | 2021-07-27 | Reliaquest Holdings, Llc | Display screen or portion thereof with a graphical user interface |
USD926782S1 (en) | 2019-06-06 | 2021-08-03 | Reliaquest Holdings, Llc | Display screen or portion thereof with a graphical user interface |
USD926811S1 (en) | 2019-06-06 | 2021-08-03 | Reliaquest Holdings, Llc | Display screen or portion thereof with a graphical user interface |
US11676049B2 (en) * | 2019-09-13 | 2023-06-13 | Oracle International Corporation | Enhanced model updating using vector space transformations for model mapping |
RU2747451C2 (ru) * | 2019-09-30 | 2021-05-05 | Акционерное общество "Лаборатория Касперского" | Способ обнаружения связанных кластеров |
US20210125065A1 (en) * | 2019-10-25 | 2021-04-29 | Affectiva, Inc. | Deep learning in situ retraining |
US11556737B2 (en) * | 2019-12-04 | 2023-01-17 | At&T Intellectual Property I, L.P. | System, method, and platform for auto machine learning via optimal hybrid AI formulation from crowd |
US20210350264A1 (en) * | 2020-05-07 | 2021-11-11 | Baidu Usa Llc | Method for obfuscated ai model training for data processing accelerators |
JP7492858B2 (ja) * | 2020-05-15 | 2024-05-30 | シャープ株式会社 | 画像形成装置 |
CN111371812B (zh) * | 2020-05-27 | 2020-09-01 | 腾讯科技(深圳)有限公司 | 一种病毒检测方法、装置和介质 |
US11847217B2 (en) * | 2020-06-30 | 2023-12-19 | Mcafee, Llc | Methods and apparatus to provide and monitor efficacy of artificial intelligence models |
NO346481B1 (en) * | 2020-07-17 | 2022-09-05 | Landmark Graphics Corp | Classifying downhole test data |
US11891882B2 (en) | 2020-07-17 | 2024-02-06 | Landmark Graphics Corporation | Classifying downhole test data |
US20220083661A1 (en) * | 2020-09-11 | 2022-03-17 | Zscaler, Inc. | Utilizing Machine Learning to detect malicious Office documents |
US20230344867A1 (en) * | 2022-04-25 | 2023-10-26 | Palo Alto Networks, Inc. | Detecting phishing pdfs with an image-based deep learning approach |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005091214A1 (ja) * | 2004-03-18 | 2005-09-29 | Denso It Laboratory, Inc. | 車両用情報処理システム、車両用情報処理方法およびプログラム |
JP2012027710A (ja) * | 2010-07-23 | 2012-02-09 | Nippon Telegr & Teleph Corp <Ntt> | ソフトウェア検出方法及び装置及びプログラム |
JP2014504399A (ja) * | 2010-12-01 | 2014-02-20 | ソースファイア インコーポレイテッド | 文脈上の確からしさ、ジェネリックシグネチャ、および機械学習法を用いて悪意のあるソフトウェアを検出する方法 |
US20150067857A1 (en) * | 2013-08-30 | 2015-03-05 | Ut Battelle, Llc | In-situ trainable intrusion detection system |
JP2015079504A (ja) * | 2013-10-11 | 2015-04-23 | ベリサイン・インコーポレイテッド | ネットワーク動作アーチファクトの順序によるマルウェアの分類 |
US20150135262A1 (en) * | 2012-05-03 | 2015-05-14 | Shine Security Ltd. | Detection and prevention for malicious threats |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6513025B1 (en) | 1999-12-09 | 2003-01-28 | Teradyne, Inc. | Multistage machine learning process |
US6917926B2 (en) * | 2001-06-15 | 2005-07-12 | Medical Scientists, Inc. | Machine learning method |
US20040220892A1 (en) * | 2003-04-29 | 2004-11-04 | Ira Cohen | Learning bayesian network classifiers using labeled and unlabeled data |
US8019758B2 (en) * | 2005-06-21 | 2011-09-13 | Microsoft Corporation | Generation of a blended classification model |
US8161548B1 (en) * | 2005-08-15 | 2012-04-17 | Trend Micro, Inc. | Malware detection using pattern classification |
US7747555B2 (en) * | 2006-06-01 | 2010-06-29 | Jeffrey Regier | System and method for retrieving and intelligently grouping definitions found in a repository of documents |
US7756799B2 (en) * | 2006-10-27 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | Feature selection based on partial ordered set of classifiers |
US7792353B2 (en) | 2006-10-31 | 2010-09-07 | Hewlett-Packard Development Company, L.P. | Retraining a machine-learning classifier using re-labeled training samples |
US8340437B2 (en) * | 2007-05-29 | 2012-12-25 | University Of Iowa Research Foundation | Methods and systems for determining optimal features for classifying patterns or objects in images |
US8219511B2 (en) * | 2009-02-24 | 2012-07-10 | Microsoft Corporation | Unbiased active learning |
US20100293117A1 (en) | 2009-05-12 | 2010-11-18 | Zuobing Xu | Method and system for facilitating batch mode active learning |
US8374975B1 (en) * | 2009-08-12 | 2013-02-12 | Google Inc. | Clustering to spread comments to other documents |
GB2495875B (en) * | 2010-07-06 | 2017-08-02 | Bae Systems Plc | Assisting vehicle guidance over terrain |
US20120166366A1 (en) * | 2010-12-22 | 2012-06-28 | Microsoft Corporation | Hierarchical classification system |
US9100669B2 (en) * | 2011-05-12 | 2015-08-04 | At&T Intellectual Property I, Lp | Method and apparatus for associating micro-blogs with media programs |
JP2012243180A (ja) * | 2011-05-23 | 2012-12-10 | Sony Corp | 学習装置および方法、並びにプログラム |
US20120310864A1 (en) | 2011-05-31 | 2012-12-06 | Shayok Chakraborty | Adaptive Batch Mode Active Learning for Evolving a Classifier |
US9104655B2 (en) * | 2011-10-03 | 2015-08-11 | Aol Inc. | Systems and methods for performing contextual classification using supervised and unsupervised training |
US8793201B1 (en) * | 2011-10-27 | 2014-07-29 | Amazon Technologies, Inc. | System and method for seeding rule-based machine learning models |
US9015083B1 (en) * | 2012-03-23 | 2015-04-21 | Google Inc. | Distribution of parameter calculation for iterative optimization methods |
EP2864919B1 (en) * | 2012-06-21 | 2023-11-01 | Philip Morris Products S.A. | Systems and methods for generating biomarker signatures with integrated dual ensemble and generalized simulated annealing techniques |
CA2877429C (en) * | 2012-06-21 | 2020-11-03 | Philip Morris Products S.A. | Systems and methods for generating biomarker signatures with integrated bias correction and class prediction |
US9292688B2 (en) | 2012-09-26 | 2016-03-22 | Northrop Grumman Systems Corporation | System and method for automated machine-learning, zero-day malware detection |
US9369476B2 (en) | 2012-10-18 | 2016-06-14 | Deutsche Telekom Ag | System for detection of mobile applications network behavior-netwise |
US9686023B2 (en) * | 2013-01-02 | 2017-06-20 | Qualcomm Incorporated | Methods and systems of dynamically generating and using device-specific and device-state-specific classifier models for the efficient classification of mobile device behaviors |
US20140358828A1 (en) * | 2013-05-29 | 2014-12-04 | Purepredictive, Inc. | Machine learning generated action plan |
IL232316A (en) * | 2014-04-28 | 2017-04-30 | Verint Systems Ltd | System and method for demographic characterization of users of mobile communication terminals based on revalidation - a network of installed Applitzkis and their regime |
US20150324686A1 (en) * | 2014-05-12 | 2015-11-12 | Qualcomm Incorporated | Distributed model learning |
US10588589B2 (en) * | 2014-07-21 | 2020-03-17 | Zebra Medical Vision Ltd. | Systems and methods for prediction of osteoporotic fracture risk |
US11182691B1 (en) * | 2014-08-14 | 2021-11-23 | Amazon Technologies, Inc. | Category-based sampling of machine learning data |
EP2990999A1 (en) * | 2014-08-29 | 2016-03-02 | Accenture Global Services Limited | A machine-learning system to optimise the performance of a biometric system |
US9785866B2 (en) * | 2015-01-22 | 2017-10-10 | Microsoft Technology Licensing, Llc | Optimizing multi-class multimedia data classification using negative data |
US9818066B1 (en) * | 2015-02-17 | 2017-11-14 | Amazon Technologies, Inc. | Automated development and utilization of machine-learning generated classifiers |
US10977571B2 (en) * | 2015-03-02 | 2021-04-13 | Bluvector, Inc. | System and method for training machine learning applications |
US9720738B2 (en) * | 2015-04-09 | 2017-08-01 | International Business Machines Corporation | Datacenter scheduling of applications using machine learning techniques |
US10599844B2 (en) * | 2015-05-12 | 2020-03-24 | Webroot, Inc. | Automatic threat detection of executable files based on static data analysis |
US10410135B2 (en) * | 2015-05-21 | 2019-09-10 | Software Ag Usa, Inc. | Systems and/or methods for dynamic anomaly detection in machine sensor data |
US10943181B2 (en) * | 2015-06-26 | 2021-03-09 | Microsoft Technology Licensing, Llc | Just in time classifier training |
US9935972B2 (en) * | 2015-06-29 | 2018-04-03 | Fortinet, Inc. | Emulator-based malware learning and detection |
WO2017023416A1 (en) | 2015-07-31 | 2017-02-09 | Northrop Grumman Systems Corporation | System and method for in-situ classifier retraining for malware identification and model heterogeneity |
US10515378B2 (en) * | 2015-09-14 | 2019-12-24 | Adobe Inc. | Extracting relevant features from electronic marketing data for training analytical models |
EP3360105A4 (en) * | 2015-10-07 | 2019-05-15 | Way2vat Ltd. | SYSTEM AND METHOD OF A COST MANAGEMENT SYSTEM BASED ON BUSINESS DOCUMENT ANALYSIS |
US11271939B2 (en) * | 2018-07-31 | 2022-03-08 | Splunk Inc. | Facilitating detection of suspicious access to resources |
US11310268B2 (en) * | 2019-05-06 | 2022-04-19 | Secureworks Corp. | Systems and methods using computer vision and machine learning for detection of malicious actions |
-
2016
- 2016-06-08 WO PCT/US2016/036408 patent/WO2017023416A1/en active Application Filing
- 2016-06-08 US US15/176,784 patent/US10121108B2/en active Active
- 2016-06-08 JP JP2018504758A patent/JP6742398B2/ja not_active Expired - Fee Related
- 2016-06-08 EP EP16833453.0A patent/EP3329412A4/en active Pending
-
2018
- 2018-11-05 US US16/180,790 patent/US10733539B2/en active Active
-
2020
- 2020-06-29 US US16/916,049 patent/US11481684B2/en active Active
-
2022
- 2022-09-09 US US17/930,827 patent/US20230222381A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005091214A1 (ja) * | 2004-03-18 | 2005-09-29 | Denso It Laboratory, Inc. | 車両用情報処理システム、車両用情報処理方法およびプログラム |
JP2012027710A (ja) * | 2010-07-23 | 2012-02-09 | Nippon Telegr & Teleph Corp <Ntt> | ソフトウェア検出方法及び装置及びプログラム |
JP2014504399A (ja) * | 2010-12-01 | 2014-02-20 | ソースファイア インコーポレイテッド | 文脈上の確からしさ、ジェネリックシグネチャ、および機械学習法を用いて悪意のあるソフトウェアを検出する方法 |
US20150135262A1 (en) * | 2012-05-03 | 2015-05-14 | Shine Security Ltd. | Detection and prevention for malicious threats |
US20150067857A1 (en) * | 2013-08-30 | 2015-03-05 | Ut Battelle, Llc | In-situ trainable intrusion detection system |
JP2015079504A (ja) * | 2013-10-11 | 2015-04-23 | ベリサイン・インコーポレイテッド | ネットワーク動作アーチファクトの順序によるマルウェアの分類 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022502744A (ja) * | 2018-09-28 | 2022-01-11 | ダウ グローバル テクノロジーズ エルエルシー | コード分類のためのハイブリッド機械学習モデル |
JP7443349B2 (ja) | 2018-09-28 | 2024-03-05 | ダウ グローバル テクノロジーズ エルエルシー | コード分類のためのハイブリッド機械学習モデル |
KR20200109677A (ko) * | 2019-03-14 | 2020-09-23 | 주식회사 에프원시큐리티 | Ai 기반 머신러닝 교차 검증 기법을 활용한 악성코드 탐지 장치 및 방법 |
KR102192196B1 (ko) * | 2019-03-14 | 2020-12-17 | 주식회사 에프원시큐리티 | Ai 기반 머신러닝 교차 검증 기법을 활용한 악성코드 탐지 장치 및 방법 |
JP2020149553A (ja) * | 2019-03-15 | 2020-09-17 | 日本電気株式会社 | コンピュータプログラム、イベント異常検知方法及びコンピュータ |
JP7243329B2 (ja) | 2019-03-15 | 2023-03-22 | 日本電気株式会社 | コンピュータプログラム、イベント異常検知方法及びコンピュータ |
Also Published As
Publication number | Publication date |
---|---|
EP3329412A4 (en) | 2019-01-23 |
US20170032279A1 (en) | 2017-02-02 |
US20190311285A1 (en) | 2019-10-10 |
US10121108B2 (en) | 2018-11-06 |
US20200401941A1 (en) | 2020-12-24 |
WO2017023416A1 (en) | 2017-02-09 |
US11481684B2 (en) | 2022-10-25 |
JP6742398B2 (ja) | 2020-08-19 |
EP3329412A1 (en) | 2018-06-06 |
US20230222381A1 (en) | 2023-07-13 |
US10733539B2 (en) | 2020-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6742398B2 (ja) | マルウェアの識別とモデルの不均一性のために現場の分類器を再訓練するためのシステム及び方法 | |
JP7086972B2 (ja) | 侵入検出のための継続的な学習 | |
Ayoade et al. | Automated threat report classification over multi-source data | |
US20150188941A1 (en) | Method and system for predicting victim users and detecting fake user accounts in online social networks | |
Xu et al. | Information leakage by model weights on federated learning | |
Patil et al. | Malicious web pages detection using feature selection techniques and machine learning | |
CN110033013B (zh) | 创建用于识别特定机器学习模型的签名 | |
GB2619589A (en) | Fuzz testing of machine learning models to detect malicious activity on a computer | |
US20220092176A1 (en) | Apparatuses and methods for detecting malware | |
Hemmati et al. | Bypassing Web Application Firewalls Using Deep Reinforcement Learning. | |
Laryea | Snort rule generation for malware detection using the gpt2 transformer | |
Gattani et al. | Comparative Analysis for Email Spam Detection Using Machine Learning Algorithms | |
CN116089938A (zh) | 开源组件包的安全检测方法及装置 | |
Hiremath | A novel approach for analyzing and classifying malicious web pages | |
Schaffhauser et al. | Efficient detection and recovery of malicious powershell scripts embedded into digital images | |
Moskal | HeAt PATRL: Network-Agnostic Cyber Attack Campaign Triage with Pseudo-Active Transfer Learning | |
Gontla et al. | A Machine Learning Approach to Identify Phishing Websites: A Comparative Study of Classification Models and Ensemble Learning Techniques. | |
Perumal et al. | Towards building active defense systems for software applications | |
US20230104673A1 (en) | Machine learning outputs with high confidence explanations | |
Alothman | Robust Botnet Detection Techniques for Mobile and Network Environments | |
US20240160744A1 (en) | Identifying and assessing costs associated with correcting vulnerabilities in machine learning models | |
Madani et al. | Study on the different types of neural networks to improve the classification of ransomwares | |
US20230130651A1 (en) | Predicting future malware with generative models | |
Cruz | Malware Analysis with Machine Learning | |
Mostafa et al. | Reduced Permissions Schema for Malware Detection in Android Smartphones |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180412 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190528 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190827 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20191025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191217 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200313 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200513 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200617 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200630 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200728 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6742398 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |