CN111386526A - 用于移动应用程序的连续验证和保护的系统 - Google Patents

用于移动应用程序的连续验证和保护的系统 Download PDF

Info

Publication number
CN111386526A
CN111386526A CN201880075815.2A CN201880075815A CN111386526A CN 111386526 A CN111386526 A CN 111386526A CN 201880075815 A CN201880075815 A CN 201880075815A CN 111386526 A CN111386526 A CN 111386526A
Authority
CN
China
Prior art keywords
mobile device
ate
malware
zsl
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880075815.2A
Other languages
English (en)
Other versions
CN111386526B (zh
Inventor
V·德萨皮奥
B·马伊洛克斯
J·科鲁兹-阿尔布雷克特
H·J·金
倪康宇
金劲男
N·D·斯特普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HRL Laboratories LLC
Original Assignee
HRL Laboratories LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HRL Laboratories LLC filed Critical HRL Laboratories LLC
Publication of CN111386526A publication Critical patent/CN111386526A/zh
Application granted granted Critical
Publication of CN111386526B publication Critical patent/CN111386526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/566—Dynamic detection, i.e. detection performed at run-time, e.g. emulation, suspicious activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/567—Computer malware detection or handling, e.g. anti-virus arrangements using dedicated hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/12—Detection or prevention of fraud
    • H04W12/121—Wireless intrusion detection systems [WIDS]; Wireless intrusion prevention systems [WIPS]
    • H04W12/122—Counter-measures against attacks; Protection against rogue devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/12—Detection or prevention of fraud
    • H04W12/128—Anti-malware arrangements, e.g. protection against SMS fraud or mobile malware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/034—Test or assess a computer or a system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Virology (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

描述了一种用于移动设备的低功率系统，该低功率系统使用神经形态硬件来提供移动设备应用程序的基于行为的连续安全验证。移动设备包括神经形态硬件组件，所述神经形态硬件组件在移动设备上运行，以连续监测与单个移动设备应用程序行为有关的时间序列；在与单个移动设备应用程序行为有关的时间序列中，对与已知恶意软件威胁相关的模式异常进行检测和分类；并且生成与已知恶意软件威胁有关的警报。移动设备识别移动设备应用程序间和应用程序内通信的依赖关系中的模式异常；检测与新的恶意软件威胁相关联的模式异常；并且隔离具有超过与风险管理政策有关的预定阈值的恶意软件风险的移动设备应用程序。

Description

用于移动应用程序的连续验证和保护的系统
政府许可权
本发明是在合同号W911NF-16-C-0018的美国政府合同的政府支持下完成的。政府拥有本发明的某些权利。
相关申请的交叉引用
这是2018年1月24日在美国提交的名称为“System for Continuous Validationand Threat Protection of Mobile Applications”的申请号为62/621,445的美国临时申请的非临时申请，其全部内容通过引用并入本文。
发明背景
(1)技术领域
本发明涉及一种用于连续监测移动应用程序(mobile application)的系统，并且更具体地，涉及一种使用功率高效(power efficient)神经形态硬件连续监测移动应用程序的系统。
(2)相关技术的描述
可以将检测恶意软件的现有技术水平(SOA)机制分类为静态分析、动态/行为分析或混合分析。静态分析方法检查应用程序的源代码或二进制文件中的可疑模式(参见所并入的参考文献的列表，第10、12、14、27、28和30号参考文献)。例如，大多数当前Android反恶意软件产品使用恶意软件签名来检测已知恶意软件。尽管检测是快速而有效的，但是静态分析方法无法识别零日漏洞(zero-day vulnerabilities)，并且攻击者可以通过简单的程序混淆轻松地绕过这些检测(参见第24号参考文献)。
与静态分析不同，动态/行为分析方法通过在野外(参见第5、7、11、31、32和36号参考文献)或在安全环境(例如，SandBox、虚拟云、仿真器)(参见第23、25和37号参考文献)中执行和监测应用程序的运行时行为或时间模式来对其进行分析。与静态分析相比，动态分析可以检测零日漏洞和复杂的攻击。但是，动态分析方法比较复杂，并且可能比静态方法需要更多的计算能力和时间来进行检测，因此，这些方法通常利用外部基础结构(例如，云)进行分析(参见第7、11和23号参考文献)。
此外，如果SandBox方法是由非平凡事件(例如，在一天中的特定时间)(参见第13号参考文献)和反仿真技术(参见第22号参考文献)触发的，或者如果利用时间延迟来执行恶意活动(参见第13号参考文献)帮助攻击者逃避了动态分析，则所述SandBox方法很容易遗漏某些恶意执行路径。最后，混合分析是静态分析与动态/行为分析的组合，以在最小化错误示警的同时增加恶意软件的覆盖范围(参见第4和18号参考文献)。例如，首先应用静态分析来检测已知恶意软件模式，随后将动态分析进一步用于基于行为的分析。
移动设备中的恶意行为涉及高级信息或低级信息(参见第25号参考文献)。高级信息包括许可、动作、意图、应用程序编程接口(API)调用(call)中的字符串、命令等，而特定于低级操作系统(OS)的语义包括文件访问、程序执行等。利用高级信息的众所周知的攻击包括：(1)应用程序内部的许可滥用，其中应用程序滥用其许可特权(例如，出于金钱目的)将敏感信息传递到外部实体(例如，Black Jack Free)；(2)通过与多个应用程序合谋来滥用许可，其中多个应用程序相互合谋以获得对禁止许可的访问；以及(3)使用来自外部命令与控制服务器的指令，将设备变成机器人程式(例如，Android GM Bot)以发起恶意活动。
利用低级语义的攻击包括：(1)混淆的恶意软件、加密字符串、重命名字符串、插入垃圾方法或更改控制流以逃避检测方法；(2)本机代码泄漏(参见第2号参考文献)，其利用应用程序开发人员使用的第三方库中的易受攻击的代码；(3)利用内核中的漏洞，例如拒绝服务(DoS)攻击(参见第1号参考文献)，以防止用户启动所需的应用程序或特权升级攻击，使得应用程序绕过限制；以及(4)内核中的函数调用滥用，例如电池耗尽攻击(参见第3号参考文献)，其利用系统资源将设备保持在活动的高功率状态(即，无需许可)并强制其它应用程序做密集的工作。这两类中的隐形恶意软件会在时间延迟后启动恶意活动(例如，BeaverGang Counter)、有选择地停止操作、或破坏恶意软件分析以逃避分析方法。尽管这些攻击是针对OS的攻击，但由于Android具有开源特性和巨大的市场份额，因此可以将Android用作说明性示例。
因此，持续需要一种连续、可靠、透明地检测恶意软件和安全威胁，并且不会给用户带来负担的系统。
发明内容
本发明涉及一种用于连续监测移动应用程序的系统，并且更具体地，涉及一种使用功率高效神经形态硬件的连续监测移动应用程序的系统。该系统是包括在移动设备上连续运行的神经形态硬件组件的移动设备。神经形态硬件组件执行以下操作：连续监测与单个移动设备应用程序行为有关的时间序列；在与单个移动设备应用程序行为有关的时间序列中，对与已知恶意软件威胁相关联的模式异常进行检测和分类；以及生成与已知恶意软件威胁有关的至少一个警报。
移动设备还包括一个或更多个处理器和非暂时性计算机可读介质，该非暂时性计算机可读介质上编码有可执行指令，其中，所述一个或更多个处理器执行以下操作：从神经形态硬件组件接收与已知恶意软件威胁有关的至少一个警报；在关联传递熵(ATE)阶段中，使用ATE度量识别移动设备应用程序间和应用程序内通信的依赖关系中的模式异常；在零样本学习(ZSL)阶段中，使用ZSL组件检测与新的恶意软件威胁相关联的模式异常；以及隔离具有超过与风险管理政策有关的预定阈值的恶意软件风险的移动设备应用程序。
在另一方面，移动设备过滤掉恶意软件威胁的任何错误示警，以防止在ATE阶段中移动设备应用程序的不必要隔离。
在另一方面，在检测与新的恶意软件威胁相关联的模式异常时，移动设备使用ZSL组件利用语义知识传递来增强ATE度量。
在另一方面，ZSL组件在多个移动设备之间传递新的恶意软件威胁知识。
在另一方面，在识别依赖关系中的模式异常时，移动设备根据利用ATE度量获得的移动设备应用程序之间的定向信息传递的量和定向信息传递的效应，生成移动应用程序行为的网络表示。
最后，本发明还包括一种计算机程序产品和一种计算机实现的方法。该计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可读指令，所述计算机可读指令可由具有一个或更多个处理器的计算机执行，使得在执行这些指令时，所述一个或更多个处理器执行本文列出的操作。另选地，计算机实现的方法包括使计算机执行这种指令的动作并执行所得操作。
附图说明
本专利或专利申请公开的文件包含彩色的至少一个附图。专利局将依请求和必要费用的支付，提供具有彩色附图的本专利或专利申请公开的副本。
通过以下结合附图对本发明各个方面的详细描述，本发明的目的、特征和优点将变得显而易见，其中：
图1是描绘根据本公开的一些实施方式的用于连续监测移动应用程序的系统的组件的框图；
图2是根据本公开的一些实施方式的计算机程序产品的例示；
图3是根据本公开的一些实施方式的系统架构的例示；
图4是根据本公开的一些实施方式的具有神经元的互补金属氧化物半导体(CMOS：complementary metal-oxide-semiconductor)神经芯片的例示；
图5是示出根据本公开的一些实施方式的具有576个神经元的芯片的新版本的规格的表；
图6是根据本公开的一些实施方式的将神经芯片与用于评估的计算机连接的板的例示；
图7是根据本公开的一些实施方式的在576个神经元的神经形态芯片上配置的随机神经网络的例示；
图8A是根据本公开的一些实施方式的来自移动设备的加速度计、磁力计和陀螺仪数据的例示；
图8B是根据本公开的一些实施方式的用于用户分类的读出信号的例示；
图9是根据本公开的一些实施方式的来自神经形态处理器的连续背景分类输出信号的例示；
图10是根据本公开的一些实施方式的应用程序通信依赖性的例示；
图11A是根据本公开的一些实施方式的消息定时的关联传递熵(ATE)矩阵(热图)的例示；
图11B是根据本公开的一些实施方式的ATE网络图的例示；以及
图11C是根据本公开的一些实施方式的损坏数据的误差条(error bar)和正常数据的误差条的例示。
具体实施方式
本发明涉及一种用于连续监测移动应用程序的系统，并且更具体地，涉及一种使用功率高效神经形态硬件连续监测移动应用程序的系统。呈现以下描述以使本领域普通技术人员能够制造和使用本发明并将其结合到特定应用的背景中。多种修改以及不同应用中的多种用途对于本领域技术人员来说是非常显而易见的，并且本文限定的一般原理可以应用于广泛方面。因此，本发明不旨在限于所呈现的方面，而是涵盖与本文所公开的原理和新颖特征相一致的最广范围。
在下面的详细说明中，阐述了许多具体细节，以使得能够更加彻底地理解本发明。然而，本领域技术人员将明白，本发明可以在不限于这些具体细节的情况下来实施。在其它情况下，公知结构和装置按框图形式示出而不是按细节示出，以免模糊本发明。
读者应留意与本说明书同时提交并且与本说明书一起公开以供公众查阅的所有文件和文档，并且所有这些文件和文档的内容通过引用并入于此。本说明书(包括任何所附权利要求、摘要以及附图)中公开的所有特征可以由用于相同、等同或相似目的的另选特征来代替，除非另有明确说明。因此，除非另有明确说明，否则所公开的各个特征仅仅是一般系列的等同或相似特征的一个示例。
此外，权利要求中的未明确陈述用于执行指定功能的“装置”或用于执行特定功能的“步骤”的任何要素不被解释为在35U.S.C.第112节第6款中指定的“装置”或“步骤”条款。具体地，在本文的权利要求中使用“…的步骤”或“…的动作”不旨在援引35U.S.C.第112节第6款的规定。
在详细描述本发明之前，首先提供了引用参考文献的列表。接下来，提供了对本发明各个主要方面的说明。最后，提供本发明的各个实施方式的具体细节，以使得给出具体方面的理解。
(1)所并入的参考文献的列表
贯穿本申请引用且并入以下参考文献。为了清楚和方便起见，这些参考文献在此被列为读者的中心资源。下列参考文献通过引用并入于此，就像在此完全陈述一样。这些参考文献通过参照如下对应文献参考号而在本申请中加以引用：
1.Armando,A.Merlo,M.Migliardi,and L.Verderame.Would You Mind ForkingThis Process？A Denial of Service Attack on Android(and Some Countermeasures).In Proceedings of IFIP,2012.
2.E.Athanasopoulos,V.P.Kremerlis,G.Portokalidis,andA.D.Keromytis.NaClDroid:Native Code Isolation for Android Applications.InProceedings of ESORICS,2016.
3.M.Bauer,M.Coatsworth,and J.Moeller.NANSA:A No-Attribution,No-SleepBattery Exhaustion Attack for Portable Computing Devices.
4.T.Blasing,A.-D.Schmidt,L.Batyuk,S.A.Camtepe,and S.Albayarak.AnAndroid Application Sandbox System for Suspicious Software Detection.InProceedings of MALWARE,2010.
5.A.Bose,X.Hu,K.G.Shin,and T.Park.Behavioral Detection of Malware onMobile Handsets.In Proceedings of mobiSys,2008.
6.T.K.Buennemeyer et al.Mobile Device Profiling and IntrusionDetection using Smart Batteries.In Proceedings of HICSS,2008.
7.I.Burguera,U.Zurutuza,and S.Nadjm-Tehrani.Crowdroid:Behavior-BasedMalware Detection System for Android.In Proceedings of SPSM,2011.
8.E.Candes,X.Li,Y.Ma,and J.Wright,“Robust Principal ComponentAnalysis？”,IEEE PAMI 2011.
9.Cruz-Albrecht,J.,Derosier,T.,and Srinivasa,N.(2013)Scalable neuralchip with synaptic electronics using CMOS integrated memristors,Nanotechnology,vol.24,p.384011(11pp),2013,Special Issue on SynapticElectronics.
10.A.Desnos,and G.Gueguen.Android:From Reversing to Decompilation.InBlackHat,2011.
11.W.Enck,P.Gilbert,B.-G.Chun,L.P.Cox,J.Jung,P.McDaniel,andA.N.Sheth.Taintdroid:An Information-Flow Tracking System for Real-timePrivacy Monitoring on Smartphones.In Proceedings of OSDI,2010.
12.P.Faruki,V.Ganmoor,V.Laxmi,M.S.Gaur,and A.Bharmal.AndroSimilar:Robust Statistical Feature Signature for Android Malware Detection.InProceedings of SIN,2013.
13.P.Faruki,A.Bharmal,V.Laxmi,V.Ganmoor,M.S.Gaur,and M.Conti.AndroidSecurity:A Survey of Issues,Malware Penetration and Defenses.IEEECommunications Surveys and Tutorials,17(2),pages 998-1022,December 2014.
14.Y.Feng,S.Anand,I.Dilling,and A.Aiken.Apposcopy:Semantics-BasedDetection of Android Malware through Static Analysis,In Proceedings of FSE,2014.
15.Hammond,D.K.,Vandergheynst,P.and Gribonval,R.,2011.Wavelets ongraphs via spectral graph theory.Applied and Computational Harmonic Analysis,30(2),pp.129-150.
16.Hoffmann,H.,Howard,M.D.and Daily,M.J.,2011,July.Fast patternmatching with time-delay neural networks.In the 2011 International JointConference on Neural Networks(IJCNN),(pp.2424-2429).IEEE.
17.H.Kim,J.Smith,and K.G.Shin.Detecting Energy-Greedy Anomalies andMobile Malware Variants.In Proceedings of MobiSys,2008.
18.M.Lindorfer,M.Neugschwandtner,L.Weichselbaum,Y.Fratantonio,V.vander Veen,and C.Platzer.ANDRUBIS–1,000,000 Apps Later:A View on CurrentAndroid Malware Behavior,In Proceedings of BADGERS,2014.
19.W.Maass,T.
Figure BDA0002504204340000081
H.Markram.Real-time computing without stablestates:A new framework for neural computation based on perturbations.Neuralcomputation,14:11,pages 2531-2560.Nov2002.
20.A.Merlo,M.Migliardi,and P.Fontanelli.On Energy-Based Profiling ofMalware in Android.In Proceedings of HPCS,2014.
21.Kang-Yu Ni and Tsai-Ching Lu,“Information Dynamic SpectrumCharacterizes System Instability Toward Critical Transitions,”EPJ DataScience,3:28,2014.
22.J.Oberheide and C.Miller.Dissecting the Android Bouncer,InSummerCon,2012.
23.G.Portokalidis,P.Homburg,K.Anagnostakis,and H.Bos.ParanoidAndroid:Versatile Protection for Smartphones.In Proceedings of ACSAC,2010.
24.V.Rastogi,Y.Chen,and X.Jiang.DroidChameleon:evaluating Androidanti-malware against transformation attacks.In ASIACCS,pages 329–334.ACM,2013.
25.A.Reina,A.Fattori,L.Cavallaro.A System call-centric Analysis andStimulation Technique to Automatically Reconstruct Android Malware Behaviors,In EuroSec,2013.
26.H.T.T.Truong,E.Lagerspetz,P.Nurmi,A.J.Oliner,S.Tarkoma,N.Asokanand S.Bhattacharya.The Company you Keep:Mobile Malware Infection Rates andInexpensive Risk Indicators.In Proceedings of WWW,2014.
27.A.-D.Schmidt et al.Static Analysis of Executables forCollaborative Malware Detection on Android.In Proceedings of IEEE ICC,2009.
28.A.-D.Schmidt,A.Camtepe,S.and Albayrak.Static Smartphone MalwareDetection.In Proceedings of the 5th Security Research Conference,2010.
29.Thomas Schreiber,“Measuring Information Transfer”,Phys.Rev.Lett.85(2):461-464,2000.
30.A.Shabtai,R.Moskovitch,Y.Elovici,and C.Glezer.Detection ofMalicious Code by Applying Machine Learning Classifiers on Static Features:AState-of-the-Art Survey.In Inf.Secur.Tech.Rep.,14:16-29,February 2009.
31.A.Shabtai,U.Kanonov,and Y.Elovici.Intrusion Detection for MobileDevices using the Knowledge-based,Temporal Abstraction Method.Journal ofSystems Software,83,pages 1524-1537,August2010.
32.A.Shabtai,U.Kanonov,Y.Elovici,C.Glezer,and Y.Weiss.Andromaly:ABehavioral malware Detection Framework for Android Devices.Journal ofIntelligent Information Systems,p.1-30,2011.
33.Srinivasa,N.,and Cho,Y.K.(2014),Unsupervised Discrimination ofPatterns in Spiking Neural Networks with Excitatory and Inhibitory SynapticPlasticity,Frontiers in Computational Neuroscience,vol.8.
34.Srinivasa,N.,and Cho,Y.K.(2012),A Self-Organizing Spiking NeuralModel for Learning Fault-Tolerant Spatio-Motor Transformations,IEEETransactions on Neural Networks and Learning Systems,vol.23,no.10,pp.1526-1538.
35.Thibeault,C.M.,Harris,F.C.,and Srinivasa,N.(2014),Using Games toEmbody Spiking Neural Networks for Neuromorphic Hardware,InternationalJournal of Computers and their Applications,vol.21,no.1,pp.40-53.
36.R.Xu,H.Saidi,and R.Anderson.Aurasium:Practical Policy Enforcementfor Android Applications.In Proceedings of USENIX Security,2012.
37.L.K.Yan,and H.Yin.DroidSscope:Seamlessly Reconstructing the OS andDalvik Semantic Views for Dynamic Android Malware Analysis.In Proceedings ofUSENIX Security,2012.
38.X.Yan,Joy Y.Zhang.“Early Detection of Cyber Security Threats usingStructured Behavior Modeling”.ACM Transactions on Information and SystemSecurity,Vol.V,No.N.2013.
39.T.Zhou and D.Tao.“GoDec:Randomized low-rank&sparse matrixdecomposition in noisy case.”ICML 201.
40.O'Brien,M.J.and Srinivasa,N.,2013.A spiking neural model forstable reinforcement of synapses based on multiple distal rewards.NeuralComputation,25(1),pp.123-156.
(2)主要方面
本发明的各个实施方式包括三个“主要”方面。第一主要方面是用于连续监测移动应用程序的系统。该系统通常采用计算机系统操作软件的形式或采用“硬编码”指令集的形式。该系统可以并入到提供不同功能的各种各样的装置中。第二主要方面是使用数据处理系统(计算机)进行操作的通常采用软件形式的方法。第三主要方面是计算机程序产品。所述计算机程序产品通常表示存储在诸如光学存储装置(例如，光盘(CD)或数字通用盘(DVD))或磁存储装置(诸如，软盘或磁带)的非暂时性计算机可读介质上的计算机可读指令。计算机可读介质的其它非限制性示例包括硬盘、只读存储器(ROM)以及闪存型存储器。这些方面将在下文进行更详细的说明。
图1提供了示出本发明的系统(即，计算机系统100)的示例的框图。计算机系统100被配置成执行与程序或算法相关联的计算、处理、操作和/或功能。在一个方面，本文讨论的某些处理和步骤被实现为存在于计算机可读存储器单元内并由计算机系统100的一个或更多个处理器执行的一系列指令(例如，软件程序)。在执行时，所述指令使计算机系统100执行特定动作并展现特定行为，如本文所描述的。
计算机系统100可以包括被配置成传送信息的地址/数据总线102。另外，一个或更多个数据处理单元(诸如，处理器104(或多个处理器))与地址/数据总线102联接。处理器104被配置成处理信息和指令。在一个方面，处理器104是微处理器。另选地，处理器104可以是不同类型的处理器，诸如并行处理器、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、复杂可编程逻辑器件(CPLD)或现场可编程门阵列(FPGA)。
计算机系统100被配置成利用一个或更多个数据存储单元。计算机系统100可以包括与地址/数据总线102联接的易失性存储器单元106(例如，随机存取存储器(“RAM”)、静态RAM、动态RAM等)，其中，易失性存储器单元106被配置成存储用于处理器104的信息和指令。计算机系统100还可以包括与地址/数据总线102联接的非易失性存储器单元108(例如，只读存储器(“ROM”)、可编程ROM(“PROM”)、可擦除可编程ROM(“EPROM”)、电可擦除可编程ROM(“EEPROM”)、闪存等)，其中，非易失性存储器单元108被配置成存储用于处理器104的静态信息和指令。另选地，计算机系统100可以执行诸如在“云”计算中从在线数据存储单元取回的指令。在一个方面，计算机系统100还可以包括与地址/数据总线102联接的一个或更多个接口(诸如，接口110)。所述一个或更多个接口被配置成使得计算机系统100能够与其它电子装置和计算机系统连接。由所述一个或更多个接口实现的通信接口可以包括有线通信技术(例如，串行电缆、调制解调器、网络适配器等)和/或无线通信技术(例如，无线调制解调器、无线网络适配器等)。
在一个方面，计算机系统100可以包括与地址/数据总线102联接的输入装置112，其中，输入装置112被配置成将信息和命令选择传送至处理器100。根据一个方面，输入装置112是可以包括字母数字键和/或功能键的字母数字输入装置(诸如键盘)。另选地，输入装置112可以是除字母数字输入装置之外的输入装置。在一个方面，计算机系统100可以包括与地址/数据总线102联接的光标控制装置114，其中，光标控制装置114被配置成将用户输入信息和/或命令选择传送至处理器100。在一个方面，光标控制装置114使用诸如鼠标、轨迹球、触控板、光学跟踪装置或触摸屏的装置来实现。尽管如此，但在一个方面，诸如响应于使用与输入装置112相关联的特殊键和键序列命令，光标控制装置114经由来自输入装置112的输入被引导和/或启用。在另选方面，光标控制装置114被配置成由语音命令来引导或指导。
在一个方面，计算机系统100还可以包括与地址/数据总线102联接的一个或更多个可选计算机可用数据存储装置(诸如，存储装置116)。存储装置116被配置成存储信息和/或计算机可执行指令。在一个方面，存储装置116是诸如磁或光盘驱动器(例如，硬盘驱动器(“HDD”)、软盘、光盘只读存储器(“CD-ROM”)、数字通用盘(“DVD”))的存储装置。依据一个方面，显示装置118与地址/数据总线102联接，其中，显示装置118被配置成显示视频和/或图形。在一个方面，显示装置118可以包括阴极射线管(“CRT”)、液晶显示器(“LCD”)、场发射显示器(“FED”)、等离子体显示器或适于显示视频和/或图形图像以及用户可识别的字母数字字符的任何其它显示装置。
本文所呈现的计算机系统100是根据一个方面的示例计算环境。然而，计算机系统100的非限制性示例并不严格限于是计算机系统。例如，一个方面规定了计算机系统100表示可以根据本文所述各个方面使用的一种数据处理分析。此外，还可以实现其它计算系统。实际上，本技术的精神和范围不限于任何单一数据处理环境。因此，在一个方面，使用通过计算机执行的计算机可执行指令(诸如，程序模块)来控制或实现本技术的各个方面的一个或更多个操作。在一个实现中，这样的程序模块包括被配置成执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和/或数据结构。另外，一个方面提供了通过利用一个或更多个分布式计算环境来实现本技术的一个或更多个方面，诸如，在分布式计算环境中，由通过通信网络链接的远程处理装置执行任务，或者诸如，在分布式计算环境中，各种程序模块位于包括存储器-存储装置的本地和远程计算机存储介质中。
图2示出了实施本发明的计算机程序产品(即，存储装置)的示图。计算机程序产品被示出为软盘200或诸如CD或DVD的光盘202。然而，如先前提到的，计算机程序产品通常表示存储在任何兼容的非暂时性计算机可读介质上的计算机可读指令。如关于本发明所使用的术语“指令”通常指示要在计算机上执行的一组操作，并且可以表示整个程序的片段或者单个可分隔的软件模块。“指令”的非限制性示例包括计算机程序代码(源或目标代码)和“硬编码”电子器件(即，编码到计算机芯片中的计算机操作)。“指令”被存储在任何非暂时性计算机可读介质上，诸如存储在计算机的存储器中或软盘、CD-ROM以及闪存驱动器上。无论如何，这些指令被编码在非暂时性计算机可读介质上。
(3)各种实施方式的具体细节
描述了一种用于移动设备的低功率系统，该移动设备使用用于异常检测的功率高效神经形态硬件以及用于对应用程序间和应用程序内行为模式的因果推断的独特算法，提供对移动设备应用程序(app)的基于行为的连续安全验证。图3是系统架构的例示。本文所述的系统包括以下功能：1)构造和监测与应用程序行为有关的时间序列数据，所述应用程序行为包括但不限于存储器分配、许可请求和应用程序间通信(元素300)；2)学习已知的经审查的应用程序的签名(signature)；3)检测与恶意软件相关联的模式；4)过滤掉错误示警，以防止对应用程序进行不必要的检疫(quarantine)；以及5)当恶意软件的风险高于与风险管理安全政策有关的阈值时(元素304)，对应用程序进行检疫(元素302)。检疫(元素302)将隔离已识别的应用程序，使得这些应用程序无法启动并造成其它危害，直到用户被通知并决定永久删除这些应用程序为止。
如图3所示，根据本公开的实施方式的本发明使用低功率(毫瓦(mW)级)神经形态硬件(例如，神经形态芯片306)提供应用程序行为的在线学习和分类以及代码分析，以用于移动设备308中的连续恶意软件检测。关联传递熵(ATE)组件发现应用程序之间的异常行为和合谋(collusion)，而零样本学习(ZSL)检测与新威胁相关联的异常。
如图3所示，系统设计包括两个阶段。第一阶段320神经形态组件由于其低功率负担而在移动设备308上连续运行。离散事件(例如，存储器、存储部或网络访问)将随时间被转换为连续行为度量，然后被输入到神经形态液体状态机架构中，以用于高维度、背景感知分类和恶意软件行为的异常检测。可选地，可以利用硬件(元素306)对应用程序的(二进制)代码进行快速静态分析，以审查已知漏洞。
第二阶段312间歇性分析组件对第一阶段310组件发出的恶意软件警报314作出响应。在移动设备308的CPU上运行的算法使用关联传递熵(ATE)进行因果推断，并根据给定的推断背景来检测各种威胁的实例，该关联传递熵测量不同应用程序之间信息传递的效应和量。ATE的详细描述可以在申请号为13/904,945和14/209,314的美国申请中找到，在此通过引用将二者全部并入本文，如在本文中充分阐述一样。从各个移动设备308提取(digest)的数据(元素316)偶尔会被转发到外部服务器318，以便ATE可以关联多个设备上的应用程序使用模式，以检测更复杂的隐秘攻击。为了检测未知的未来威胁，零样本学习(ZSL)使用语义知识传递增强ATE，以对先前未知威胁(元素319)的输入时间序列或通信模式进行分类。一旦ZSL识别出新的威胁(元素319)，ZSL便在各种移动设备308之间传递威胁知识。这样，ZSL可对具有某些可检测行为签名的未来威胁进行响应。级联分类器301包括第一阶段310组件和第二阶段312间歇性分析组件。级联分类器301是指串联起作用以提高分类性能的两个或更多个分类器。
根据本公开的实施方式的系统解决了对移动应用程序的连续监测和对已知漏洞的连续审查，以及对未来威胁的检测和防御。对外部威胁信息源的整合(例如，US-CERT网络安全警报和公告、NIST国家漏洞数据库、Web应用程序安全项目)被指定为系统已知的威胁的输入。本文描述的系统还能够将新的威胁发现反馈给这些源。
(3.1)神经形态组件(元素306)
本文所述的发明使用尖峰神经形态硬件306实现连续恶意软件异常检测系统。由于能量消耗具有非常短的脉冲，尖峰神经形态硬件306自动地提供低功率能力。将该硬件306用作前端组件会导致连续操作的独特能力，大大减少了对有限电源(limited powersource)的需求。尖峰级的处理还为传感器融合提供了强大模态(powerful modality)。然而，神经形态硬件306的更高级的好处是灵活性。具体地，因为神经形态硬件306没有被“编程”，所以它能够处理未知输入。
在一个实施方式中，在系统的第一阶段310中使用神经形态芯片306。存在硬件设计的若干独特的特征。首先，硬件306使用尖峰320(具有非常窄宽度(即1ms至2ms的量级)的固定电压脉冲)而不是模拟或数字编码进行计算。这种编码模式与数据无关，并且与数字系统相比，由于这种编码模式仅在尖峰320的生成期间消耗能量，因此能效提高了几个量级。尖峰硬件306基于尖峰间间隔表示信号，并且与数字系统不同，由于尖峰硬件306需要单根线缆来编码和传输信息，因此其更面积有效。最后，由于在大型扩展系统中基于尖峰的系统仅需要传输定时，而不需要传输定时和幅度部分两者，因此基于尖峰的系统比纯模拟系统更加可扩展。
已经开发了可以利用尖峰320进行计算的各种模型和算法，并且特别是已经示出了这些模型可以执行多峰模式聚类和识别以及具有高存储容量的关联存储。例如，片上学习能力可以将神经形态芯片306部署为以下三种工作模式之一：无监督学习模式(参见第33号参考文献)，其中在循环或地面实况中没有人；监督学习模式(参见第34号参考文献)，其中用户可以训练芯片306来学习(例如，对象的类别)，然后在学习完成后进行部署；或者在强化学习模式(参见第35和40号参考文献)中，其中芯片306接收周期性性能质量反馈(例如，好、坏等)，该周期性性能质量反馈使神经形态芯片306能够调整并进行片上学习。这种片上学习能力还提供最少的编程、接口和软件成本，同时实现了快速原型制作的可能性。芯片306的输入将采用尖峰序列(元素320)离线编码的形式，然后馈送到芯片306，并且芯片306上的神经网络将处理到来的尖峰320。
在此操作模式下，芯片306用作可塑储备池(plastic reservoir)，其中储备池中神经元之间的突触基于尖峰定时相关可塑性(STDP)来调整突触上的增益。此处理类似于将传感数据非线性高维投影到时空空间，其中可以使用线性决策边界容易地分隔数据。更具体地，在训练期间，为了实现线性决策边界，芯片306中的神经元的子集的尖峰活动经由输出端引脚(pad)来进行解码，并且执行基于线性回归的学习操作，其中，将输出端引脚处进行采样的神经元的触发速率(firing rate)进行线性组合，以使输出标签神经元触发。
(3.1.1)神经芯片和板设计
图4示出了具有576个神经元的神经芯片306的布局(参见第9号参考文献和申请号为15/338,228的美国申请，其通过引用被并入本文，如同在本文完全阐述一样)作为可以与根据本公开的实施方式的方法一起使用的芯片306的示例。图5中的表示出了芯片306的关键规格。芯片306具有9,216个突触。各个突触包括基于STDP的权重调整电路。为了操作，需要指定芯片定制板。这些板用于连接芯片306与计算机。这些板可以用于芯片306中的不同处理神经网络的初始评估。图6示出了原型板600。
具有神经芯片306的板600包含以下部分。定制神经芯片300位于插座内。现场可编程门阵列(FPGA)602Lattice XO2 7000ZE芯片用于将串行输入/输出外部数据转换为神经芯片306使用的并行尖峰数据。该FPGA 602也用于控制神经芯片306。基于低压差(LDO)芯片的电压转换器向神经芯片306提供功率。可擦除可编程只读存储器(EPROM)芯片存储神经芯片306的配置。此配置包括神经网络的拓扑以及神经元和突触的其它可编程参数设定。通用串行总线(USB)连接器604用于加载要由神经芯片306实现的神经网络拓扑。这仅在初始配置期间使用，而在正常神经操作期间不使用。串行外围接口(SPI)连接器606用于在此板600与具有微控制器608的板之间传输数据。
具有微控制器608的板包含小型商用微控制器板(例如，Arduino UNO R3型，其具有来自ATMEL的ATmega328微控制器芯片，ATMEL位于美国85224，Arizona，Chandler，WestChandler Blvd.2355)。它用于向神经板600提供输入数据，并从神经板600接收数据。微控制器板608可以连接到PC 610以用于测试目的。电平转换器芯片被焊接在商用微控制器板608的顶部。这是为了将微控制器使用的电压电平转换为神经板600使用的电压电平。
(3.1.2)神经形态储备池分类
上述576个神经元的神经形态硬件306已被用来执行输入信号的经学习的分类。图7描绘了在576个神经元的神经形态芯片上配置的随机神经网络。网络本身包含325个神经元。蓝色神经元(其中的300个)具有兴奋性，红色神经元(其中的25个)具有抑制性。亮绿色的IO(输入/输出)引脚(以绿色正方形表示)是输入端，橙色的IO引脚(以橙色正方形表示)是输出端。
随机图(诸如，图7所示的图)在储备池计算的意义上(例如，液体状态机(LSM))被适当地用作储备池。通常，LSM通过极大地扩展输入向量的维度并经由具有非线性动力学的递归可激发介质(recurrent,excitable medium)对该输入向量进行转换来工作。如果可激发介质中的活动具有衰退记忆，则可以将输入的任意函数计算为这些活动的简单线性组合。按照这种配置，输入信号被转换为触发速率集合，并经由输入端引脚输入到芯片中。该输入引发网络中的激活，其中这些激活中一些激活是经由输出端引脚进行采样的。网络动力学用于分隔开输入类别，使得简单的线性分类器可以提供读出信号。
该方法已经被应用于用户的基于行为的连续的认证并且在移动设备上使用背景(参见申请号为15/338,228的美国申请，其通过引用并入本文，就如同在此充分阐述一样)。图8A和图8B显示了与(存放的)移动设备(元素308)同行的四个不同用户(由不同的彩色线表示)的用户分类。加速度计、磁力计和陀螺仪信号被编码为尖峰(元素320)并被发送到神经形态板(元素600)。图8A示出了不同用户的输入信号，并且图8B示出了当受试者物理访问移动设备(元素308)时与不同间隔相对应的分类信号。除了用户2之外，所有用户都与其它用户清楚地区分开。
对于使用背景的分类，图9示出了来自神经形态处理器的连续的背景分类输出信号。虚线和实线分别以93％的精度对应于“步行-手”(即，与手中的手机同行)和“步行-口袋”(即，与口袋中的手机同行)的分类强度。
用于移动设备(元素308)的方法使用在申请号为15/338,228的美国申请中描述的背景检测来用于恶意软件检测。与在没有用户行为背景下分析应用程序的行为相比，这提供了一种更巧妙的方式来检测恶意行为。例如，在仅考虑应用程序的行为时，启动秘密网络语音协议(VoIP)会话以监视用户的VoIP应用程序将看起来完全正常。然而，当检测到用户没有以与通过VoIP通话相一致的方式握住电话时，它将看起来非常异常。
(3.2)关联传递熵(ATE)组件
根据本公开的实施方式的ATE分析组件通过在给定推断背景下(例如，当手机放在口袋里时从应用程序AWi-Fi访问以将敏感数据发送到应用程序B)识别移动设备应用程序间和应用程序内通信的依赖关系中的异常，来提供恶意软件行为检测的强大副线(secondline)，其中要监测的通信类型(例如，网络访问、存储等)由威胁模型告知。ATE用于捕获应用程序通信之间信息的成对定向传递的量，以及区分定向信息传递的效应。这是通过寻找来自移动设备的时间序列信号之间的相关性(或反相关性)强度来完成的。从信号的这种相关性(或反相关性)直接确定定向信息传递的效应。基于这些信息传递的量和效应，构建了移动应用程序行为依赖性的网络表示。网络表示允许与将遗漏单个应用程序的监测的应用程序的组行为相关联的攻击的检测。
传递熵(TE)(参见第29号参考文献)将从一个时间序列到另一个时间序列从当前状态到未来状态传递的信息的多少进行量化，其中时间序列例如可以是应用程序间通信、调用、读取、访问等。ATE度量(参见第21号参考文献)扩展了TE，以通过将所有可能状态的集合分解为特定的关联状态来进一步区分正被传递的信息类型。这使得能够量化特定信息传递的量。一个直观示例是区分依赖关系是正相关效应还是负相关效应。然后将这些成对的ATE紧凑地表示为可以对其应用频谱分析的具有ATE矩阵(ATEM)的网络(参见图10)的依赖链路。随着通信模式的发展，依赖网络将随着时间而变化。在图10中示出了两个网络层。在顶层1000中，节点(圆圈1002)表示移动设备的资源(例如，网络访问、存储等)。在底层1004中，节点1006表示在移动设备上运行的各个应用程序(例如，短信、电子邮件、电子书、银行业务等)。各个节点之间的边(例如，设备资源边1008、层间边1010、设备应用程序边1012)表示节点之间的依赖。
在第二阶段312中，第一ATE子组件通过检测发展的ATEM网络的变化点来检测侵入性异常。例如，当应用程序的通信模式从根本上改变并且改变的幅度被量化时，该情况将被标记。这是通过带有图模型和贝叶斯假设检验的概率学习框架执行的。第二ATE子组件通过在正常操作下使用稀疏和低秩(SLR)分解技术学习的ATEM基础集来检测微小的异常(参见第8和39号参考文献)。首先，随着时间的推移计算出ATEM，并构建数据矩阵，其中每一列都是作为向量重塑的ATEM。SLR分解的低秩分量为正常操作下的ATEM提供了基础，而稀疏分量是矩阵近似的残差或误差。与来自SLR过程的误差项相比，如果投影到基向量空间上的新ATEM具有相对较大的残差，则系统会被标记。
图11A至图11C示出了使用ATE来检测所观察到的相互作用何时偏离已知的物理因果结构。图11A示出了消息定时的ATE矩阵(邻接矩阵)，该ATE矩阵被表示为阴影网格(热图)。网格中的各个块表示一对消息之间的连接。网格中的行表示第一消息，而网格中的列表示第二消息。行和列相交的各个块的阴影级别表示两个消息的定时之间的相关度。图11B示出了这种情况的网络图可视化，其中各个节点(圆圈)表示单个消息(由数字唯一地标识)。在图11C中，稀疏和低秩分解的结果表明，损坏数据的误差条1100高于正常数据的误差条1102，这指示了异常检测的能力，因为基于残差值将异常(损坏数据)与正常数据成功地区分开。
根据本公开实施方式的基于ATE的信息动态频谱框架的多样性和适用性已经在其它领域得到了证明。信息动态频谱框架以95％的置信间隔检测到不同的临界跃迁类型(参见第21号参考文献)。这些包括检测非福斯特电路的不稳定区域中的变化点、混沌系统的叉形分支、股票指数的突然下跌以及维基百科编辑行为的指数性增长。另外，已经开发了算法来检测对网络物理系统(cyber-physical system)的微小攻击。特别是在汽车系统中识别出对控制器局域网(CAN)总线消息所做的相对微小的变化(参见图11A至图11C)，因为在不改变消息之间的相对定时的情况下很难欺骗消息。
本文描述的推断应用程序之间的行为模式的依赖的基于ATE的独特方法使得能够检测组行为(例如，应用程序之间的合谋以逃避移动OS上的许可限制)。对于单个应用程序监测方法来说，这是一个具有挑战性的问题，因为各个应用程序似乎都是良性的。应用程序间和应用程序内通信的时间序列(诸如，请求、调用和访问)在上述ATE分析中用于了解组行为并检测异常。ATE算法已在适度的计算系统上执行，并且预期优化的ATE代码可以在移动设备处理器上非常有效地运行以进行恶意软件检测。
(3.3)零样本学习(ZSL)组件(元素319)
虽然会通过经由ATE建立信息传递来学习并逐步更新应用程序行为及其信息传递依赖(元素312和元素318)，但它们仍受到已知威胁模式及其训练数据的限制。另外，在实际系统中，对于高度动态的环境，构建和训练应用程序通信的“正常”配置文件的处理可能很耗时且困难。为了增强ATE因果推断处理并捕获ATE遗漏的未知威胁，规定了一种零样本学习(ZSL)的新方法，该方法使用语义知识传递对先前未知威胁的输入时间序列或通信模式进行分类(元素319)。常规防御机制是基于对低级(数据包级或流级)通信业务的分析，而忽略了隐藏在原始业务数据中的潜在结构信息。本文所述的发明使用(1)模式特征/属性图的流形正则化(manifold regularization)以及(2)至共同的嵌入空间中的模式的语义嵌入，基于在通信业务的时间序列中捕获的高级结构化信息来解决新颖的模式识别的问题。
为了模仿人类学习先前未见实体的能力，ZSL使用语义属性空间作为将知识从可见示例传递到未见示例的桥梁。该方法适用于描述在网络业务下还存在不太模糊的“结构”的假设下指示恶意网络活动的模式。另外，滥用和异常模式的发现可以被有效地视为学习“网络模式”的句法结构和语义片段的问题(参见第38号参考文献)。根据本公开的实施方式的独特ZSL组件学习低级应用程序行为(例如，存储器分配、许可请求、应用程序内/应用程序间通信)与属性级信息流之间的结构化映射，以及最后学习与高级威胁之间的结构化映射。
对于结构化映射，采用了强大的投影非线性表示，并使用稀疏优化来寻找解，这可以有效地捕获投影中存在的强关系并避免过度拟合。基于频谱图小波(SGW)(参见第15号参考文献)的流形正则化算法对训练数据中找到的噪音特征与属性关系进行正则化，从而移除了特征空间中的有害因素。这些正则化的关系/映射用于映射新数据以进行分类。SGW是一种位于顶点和光谱域中的多尺度图转换。本文描述的图中的节点正在测量语义属性，诸如，卷积神经网络的激活。值或“图信号”是语义属性在线性空间中的嵌入，该值或“图信号”是使用语义属性描述自动计算出的。学习是基于以下假设：即邻近的低级表示应产生相似的语义表示，这将转化为图信号的平滑度标准。
多视图语义嵌入算法结合了有关网络威胁模式的语义信息的多个源(背景)。它利用了来自多个视图的中间级表示(即属性和字向量)。本文所述的方法采用基于soft-max的兼容性函数来确定模式的低级特征与候选类标签的中级语义表示之间的兼容性得分。
在最近的研究中，在新颖模式识别中利用来自已知类别和未知类别的图像证明本文所述的ZSL方法。通过从27个场景类(例如，街道、隧道、土路、高速公路、车道等)中的已知数据传递语义属性(例如，混凝土、肮脏混乱的空间、开放区域、树木等)的知识来测试四个未知的室外场景图像(例如，建筑工地、环形交叉路口等)。注意，该任务是多类别分类问题，它比威胁检测的二进制分类更为复杂。ZSL可以比随机机会更好地理解新颖场景27倍，并且可以达到约70％至90％的识别精度。基于这些有希望的结果，目标是>90％地检测到ATE遗漏的未知或较不知名的威胁。一旦ZSL已检测到以前未知的威胁，它将被捕获并成为已知威胁的一部分。ZSL在测试阶段的计算复杂度非常低(仅涉及矩阵向量乘法和属性向量的点积)，并且取决于特征、属性和投影矩阵的维度。
一旦第一阶段(元素310)神经形态组件发出恶意软件警报(元素314)，第二阶段(元素312)间歇性分析组件就会在移动设备的主中央处理单元(CPU)上运行关联传递熵(ATE)算法进行因果推断并检测各种威胁的实例。ATE可以测量特定用途背景下不同应用程序之间的信息传递的效应和量，并可以检测与没有背景感知下单个应用程序监测可能遗漏的应用程序组行为相关的攻击(例如，应用程序合谋来逃避许可限制、当手机存放起来时的IP语音操作)(元素318)。为了利用有限的训练数据或没有训练数据来检测先前未知的威胁模式，并在移动设备之间传递威胁知识，通过ZSL增强ATE(元素319)。本文描述的系统将神经形态硬件(元素306)的功率效率与详细的恶意软件分析相结合，以从移动设备(元素308)应用程序的全体推断行为异常。
连续监测移动应用程序带来了本文所述的发明特别适合解决的挑战。连续监测所需的功率效率是需要新的处理范例的挑战。可以减轻设备主CPU的负担并以很小的功率运行再加上ATE和ZSL算法的专门的处理单元可为连续监测移动应用程序提供重要的效用。根据本公开的实施方式的方法中的神经形态阶段(元素310)对于具有高异常检测率的连续分类是理想的，而ATE阶段(元素312)对于消除错误示警的间歇分类是理想的，同时ZSL(元素319)识别未来的威胁。在商用智能手机芯片组上的实现将提供与用于可执行威胁缓解(例如，禁用或移除应用程序/恶意软件)的鲁棒风险管理策略相关联的基于行为的应用程序连续监测。
根据本公开的实施方式的系统具有在移动设备应用程序的基于行为的连续安全验证中的应用。移动设备的改进低功率安全系统的开发可以作为防御新兴网络威胁的手段来用于车辆制造公司、国防和商业领域。移动设备正越来越多地嵌入到车辆和飞行器中，并且鉴于攻击者旨在通过网络战来收编(co-opt)这些系统，因此这些设备的安全操作变得越来越重要。本发明提供了用于开发下一代基于行为的恶意软件检测的转换能力。
最后，虽然已经根据多个实施方式对本发明进行了说明，但本领域普通技术人员应当容易地认识到，本发明可以在其它环境中具有其它应用程序。应注意，可以有许多实施方式和实现。此外，所附权利要求绝不旨在将本发明的范围限于上述具体实施方式。此外，“用于…的装置”的任何用语旨在引发要素和权利要求的装置加功能的解读，而未特别使用“用于…的装置”用语的任何要素不应被解读为装置加功能要素，即使权利要求以其它方式包括了“装置”一词。此外，虽然已经按特定顺序陈述了特定方法步骤，但这些方法步骤可以按任何期望的顺序进行，并且落入本发明的范围内。

Claims (17)

1.一种移动设备，所述移动设备包括：
神经形态硬件组件，所述神经形态硬件组件在所述移动设备上连续运行，其中，所述神经形态硬件组件执行以下操作：
连续监测与单个移动设备应用程序行为有关的时间序列；
在与单个移动设备应用程序行为有关的所述时间序列中，对与已知恶意软件威胁相关联的模式异常进行检测和分类；以及
生成与所述已知恶意软件威胁有关的至少一个警报。
2.根据权利要求1所述的移动设备，所述移动设备还包括一个或更多个处理器和非暂时性计算机可读介质，所述非暂时性计算机可读介质上编码有可执行指令，使得当所述可执行指令被执行时，所述一个或更多个处理器执行以下操作：
从所述神经形态硬件组件接收与所述已知恶意软件威胁有关的所述至少一个警报；
在关联传递熵ATE阶段中，使用ATE度量识别移动设备应用程序间和应用程序内通信的依赖关系中的模式异常；
在零样本学习ZSL阶段中，使用ZSL组件检测与新的恶意软件威胁相关联的模式异常；以及
隔离具有超过与风险管理政策有关的预定阈值的恶意软件风险的移动设备应用程序。
3.根据权利要求1所述的移动设备，其中，所述一个或更多个处理器还执行以下操作：过滤掉恶意软件威胁的任何错误示警，以防止在所述ATE阶段中移动设备应用程序的不必要隔离。
4.根据权利要求1所述的移动设备，其中，在检测与新的恶意软件威胁相关联的模式异常时，所述一个或更多个处理器还执行以下操作：使用所述ZSL组件，利用语义知识传递来增强所述ATE度量。
5.根据权利要求4所述的移动设备，其中，所述ZSL组件在多个移动设备之间传递新的恶意软件威胁知识。
6.根据权利要求1所述的移动设备，其中，在识别依赖关系中的模式异常时，所述一个或更多个处理器还执行以下操作：根据利用所述ATE度量获得的移动设备应用程序之间的定向信息传递的量和所述定向信息传递的效应，生成移动应用程序行为的网络表示。
7.一种用于连续监测移动设备上的移动设备应用程序的计算机实现的方法，所述方法包括以下动作：
使在所述移动设备上连续运行的神经形态硬件组件执行以下操作：
连续监测与单个移动设备应用程序行为有关的时间序列；
在与单个移动设备应用程序行为有关的所述时间序列中，对与已知恶意软件威胁相关联的模式异常进行检测和分类；以及
生成与所述已知恶意软件威胁有关的至少一个警报。
8.根据权利要求7所述的方法，所述方法还包括以下动作：
使具有一个或更多个处理器和编码有可执行指令的非暂时性计算机可读介质的所述移动设备在所述可执行指令被执行时执行以下操作：
从所述神经形态硬件组件接收与所述已知恶意软件威胁有关的所述至少一个警报；
在关联传递熵ATE阶段中，使用ATE度量识别移动设备应用程序间和应用程序内通信的依赖关系中的模式异常；
在零样本学习ZSL阶段中，使用ZSL组件检测与新的恶意软件威胁相关联的模式异常；以及
隔离具有超过与风险管理政策有关的预定阈值的恶意软件风险的移动设备应用程序。
9.根据权利要求8所述的方法，其中，所述一个或更多个处理器还执行以下操作：过滤掉恶意软件威胁的任何错误示警，以防止在所述ATE阶段中移动设备应用程序的不必要隔离。
10.根据权利要求8所述的方法，其中，在检测与新的恶意软件威胁相关联的模式异常时，所述一个或更多个处理器还执行以下操作：使用所述ZSL组件，利用语义知识传递来增强所述ATE度量。
11.根据权利要求10所述的方法，其中，所述ZSL组件在多个移动设备之间传递新的恶意软件威胁知识。
12.根据权利要求8所述的方法，其中，在识别依赖关系中的模式异常时，所述一个或更多个处理器还执行以下操作：根据利用所述ATE度量获得的移动设备应用程序之间的定向信息传递的量和所述定向信息传递的效应，生成移动应用程序行为的网络表示。
13.一种用于连续监测移动设备上的移动设备应用程序的计算机程序产品，所述计算机程序产品包括：
非暂时性计算机可读介质，所述非暂时性计算机可读介质上编码有可执行指令，使得在一个或更多个处理器执行所述指令时，所述一个或更多个处理器执行以下操作：
使在所述移动设备上连续运行的神经形态硬件组件执行以下操作：
连续监测与单个移动设备应用程序行为有关的时间序列；
在与单个移动设备应用程序行为有关的所述时间序列中，对与已知恶意软件威胁相关联的模式异常进行检测和分类；以及
生成与所述已知恶意软件威胁有关的至少一个警报；并且
使具有一个或更多个处理器和编码有可执行指令的非暂时性计算机可读介质的所述移动设备在所述可执行指令被执行时执行以下操作：
从所述神经形态硬件组件接收与所述已知恶意软件威胁有关的所述至少一个警报；
在关联传递熵ATE阶段中，使用ATE度量识别移动设备应用程序间和应用程序内通信的依赖关系中的模式异常；
在零样本学习ZSL阶段中，使用ZSL组件检测与新的恶意软件威胁相关联的模式异常；以及
隔离具有超过与风险管理政策有关的预定阈值的恶意软件风险的移动设备应用程序。
14.根据权利要求13所述的计算机程序产品，其中，所述一个或更多个处理器还执行以下操作：过滤掉恶意软件威胁的任何错误示警，以防止在所述ATE阶段中移动设备应用程序的不必要隔离。
15.根据权利要求13所述的计算机程序产品，其中，在检测与新的恶意软件威胁相关联的模式异常时，所述一个或更多个处理器还执行以下操作：使用所述ZSL组件，利用语义知识传递来增强所述ATE度量。
16.根据权利要求15所述的计算机程序产品，其中，所述ZSL组件在多个移动设备之间传递新的恶意软件威胁知识。
17.根据权利要求13所述的计算机程序产品，其中，在识别依赖关系中的模式异常时，所述一个或更多个处理器还执行以下操作：根据利用所述ATE度量获得的移动设备应用程序之间的定向信息传递的量和所述定向信息传递的效应，生成移动应用程序行为的网络表示。
CN201880075815.2A 2018-01-24 2018-11-23 用于移动应用程序的连续验证和保护的系统 Active CN111386526B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862621445P 2018-01-24 2018-01-24
US62/621,445 2018-01-24
PCT/US2018/062401 WO2019147330A1 (en) 2018-01-24 2018-11-23 System for continuous validation and protection of mobile applications

Publications (2)

Publication Number Publication Date
CN111386526A true CN111386526A (zh) 2020-07-07
CN111386526B CN111386526B (zh) 2024-02-06

Family

ID=67300360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880075815.2A Active CN111386526B (zh) 2018-01-24 2018-11-23 用于移动应用程序的连续验证和保护的系统

Country Status (4)

Country Link
US (1) US10986113B2 (zh)
EP (1) EP3743843B1 (zh)
CN (1) CN111386526B (zh)
WO (1) WO2019147330A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937179A (zh) * 2022-07-27 2022-08-23 深圳市海清视讯科技有限公司 垃圾图像分类方法、装置、电子设备及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10671917B1 (en) 2014-07-23 2020-06-02 Hrl Laboratories, Llc System for mapping extracted Neural activity into Neuroceptual graphs
US10546233B1 (en) * 2014-07-23 2020-01-28 Hrl Laboratories, Llc Method and system to predict and interpret conceptual knowledge in the brain
BR112021010468A2 (pt) * 2018-12-31 2021-08-24 Intel Corporation Sistemas de segurança que empregam inteligência artificial
US11477226B2 (en) * 2019-04-24 2022-10-18 Saudi Arabian Oil Company Online system identification for data reliability enhancement
CN111200607B (zh) * 2019-12-31 2022-04-19 浙江工业大学 一种基于多层lstm的线上用户行为分析方法
WO2021148145A1 (en) * 2020-01-20 2021-07-29 Atos Information Technology GmbH Method for intrusion detection to detect malicious insider threat activities and system for intrusion detection
US11765188B2 (en) * 2020-12-28 2023-09-19 Mellanox Technologies, Ltd. Real-time detection of network attacks
CN113609569B (zh) * 2021-07-01 2023-06-09 湖州师范学院 一种判别式的广义零样本学习故障诊断方法
CN114491529B (zh) * 2021-12-20 2024-05-17 西安电子科技大学 基于多模态神经网络的安卓恶意应用程序识别方法
CN117056152B (zh) * 2023-10-13 2024-02-09 腾讯科技（深圳）有限公司 一种设备检测方法和相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070168341A1 (en) * 2006-01-05 2007-07-19 Jonathan Nichols Method and apparatus for detecting damage in structures
CN101366091A (zh) * 2005-10-27 2009-02-11 桑迪士克股份有限公司 使用智能验证的多状态非易失性存储器的编程方法
US20120260342A1 (en) * 2011-04-05 2012-10-11 Government Of The United States, As Represented By The Secretary Of The Air Force Malware Target Recognition
US20150163121A1 (en) * 2013-12-06 2015-06-11 Lookout, Inc. Distributed monitoring, evaluation, and response for multiple devices
IN2015DN00286A (zh) * 2012-07-20 2015-06-12 Coloplast As
US20170004303A1 (en) * 2013-12-30 2017-01-05 Nokia Technologies Oy Method and Apparatus for Malware Detection
CN107103235A (zh) * 2017-02-27 2017-08-29 广东工业大学 一种基于卷积神经网络的Android恶意软件检测方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120137367A1 (en) * 2009-11-06 2012-05-31 Cataphora, Inc. Continuous anomaly detection based on behavior modeling and heterogeneous information analysis
US9479357B1 (en) 2010-03-05 2016-10-25 Symantec Corporation Detecting malware on mobile devices based on mobile behavior analysis
US9043905B1 (en) * 2012-01-23 2015-05-26 Hrl Laboratories, Llc System and method for insider threat detection
US10460008B2 (en) 2013-03-14 2019-10-29 Hrl Laboratories, Llc Predicting system trajectories toward critical transitions
US9092616B2 (en) * 2012-05-01 2015-07-28 Taasera, Inc. Systems and methods for threat identification and remediation
US9319423B2 (en) * 2013-11-04 2016-04-19 At&T Intellectual Property I, L.P. Malware and anomaly detection via activity recognition based on sensor data
GB2520987B (en) * 2013-12-06 2016-06-01 Cyberlytic Ltd Using fuzzy logic to assign a risk level profile to a potential cyber threat
EP2975873A1 (en) * 2014-07-17 2016-01-20 Telefonica Digital España, S.L.U. A computer implemented method for classifying mobile applications and computer programs thereof
US10191956B2 (en) * 2014-08-19 2019-01-29 New England Complex Systems Institute, Inc. Event detection and characterization in big data streams
US10783254B2 (en) * 2014-10-02 2020-09-22 Massachusetts Institute Of Technology Systems and methods for risk rating framework for mobile applications
US10157629B2 (en) * 2016-02-05 2018-12-18 Brainchip Inc. Low power neuromorphic voice activation system and method
US20170366562A1 (en) * 2016-06-15 2017-12-21 Trustlook Inc. On-Device Maliciousness Categorization of Application Programs for Mobile Devices
US10216954B2 (en) * 2016-06-27 2019-02-26 International Business Machines Corporation Privacy detection of a mobile application program
US20180122368A1 (en) * 2016-11-03 2018-05-03 International Business Machines Corporation Multiparty conversation assistance in mobile devices
RU2634182C1 (ru) * 2016-12-12 2017-10-24 Акционерное общество "Лаборатория Касперского" Способ противодействия несправедливым оценкам приложений
US10616252B2 (en) * 2017-06-30 2020-04-07 SparkCognition, Inc. Automated detection of malware using trained neural network-based file classifiers and machine learning
DE112018004191B4 (de) * 2017-08-17 2021-02-18 Syntiant Digital unterstützte flash-auffrischung
US11593623B2 (en) * 2017-12-22 2023-02-28 Intel Corporation Spiking neural network accelerator using external memory
US10504507B2 (en) * 2017-12-28 2019-12-10 Syntiant Always-on keyword detector

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101366091A (zh) * 2005-10-27 2009-02-11 桑迪士克股份有限公司 使用智能验证的多状态非易失性存储器的编程方法
US20070168341A1 (en) * 2006-01-05 2007-07-19 Jonathan Nichols Method and apparatus for detecting damage in structures
US20120260342A1 (en) * 2011-04-05 2012-10-11 Government Of The United States, As Represented By The Secretary Of The Air Force Malware Target Recognition
IN2015DN00286A (zh) * 2012-07-20 2015-06-12 Coloplast As
US20150163121A1 (en) * 2013-12-06 2015-06-11 Lookout, Inc. Distributed monitoring, evaluation, and response for multiple devices
US20170004303A1 (en) * 2013-12-30 2017-01-05 Nokia Technologies Oy Method and Apparatus for Malware Detection
CN107103235A (zh) * 2017-02-27 2017-08-29 广东工业大学 一种基于卷积神经网络的Android恶意软件检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937179A (zh) * 2022-07-27 2022-08-23 深圳市海清视讯科技有限公司 垃圾图像分类方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3743843B1 (en) 2023-03-01
EP3743843A4 (en) 2021-10-13
US20190230107A1 (en) 2019-07-25
CN111386526B (zh) 2024-02-06
EP3743843A1 (en) 2020-12-02
US10986113B2 (en) 2021-04-20
WO2019147330A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
CN111386526B (zh) 用于移动应用程序的连续验证和保护的系统
Anthi et al. Adversarial attacks on machine learning cybersecurity defences in industrial control systems
Nimbalkar et al. Feature selection for intrusion detection system in Internet-of-Things (IoT)
Wang et al. Malware behavioural detection and vaccine development by using a support vector model classifier
Jmila et al. Adversarial machine learning for network intrusion detection: A comparative study
Telikani et al. Cost-sensitive stacked auto-encoders for intrusion detection in the Internet of Things
Demertzis et al. Bio-inspired hybrid intelligent method for detecting android malware
Bhavsar et al. Anomaly-based intrusion detection system for IoT application
Gohari et al. Android malware detection and classification based on network traffic using deep learning
Zamini et al. A comprehensive survey of anomaly detection in banking, wireless sensor networks, social networks, and healthcare
Aloraini et al. Adversarial machine learning in IoT from an insider point of view
Turukmane et al. M-MultiSVM: An efficient feature selection assisted network intrusion detection system using machine learning
Fascí et al. Disarming visualization-based approaches in malware detection systems
Park et al. Network anomaly detection based on probabilistic analysis
Ghosh et al. An efficient SGM based IDS in cloud environment
Nandanwar et al. Deep learning enabled intrusion detection system for Industrial IOT environment
Agarwal et al. Analyzing malicious activities and detecting adversarial behavior in cryptocurrency based permissionless blockchains: An Ethereum usecase
Malik et al. Securing the Internet of Things using machine learning: a review
Bhandari et al. AINIS: An Intelligent Network Intrusion System.
Saheed et al. A novel hybrid autoencoder and modified particle swarm optimization feature selection for intrusion detection in the internet of things network
Solomon et al. Neural network based intrusion detection: State of the art
Tang et al. MUDROID: Android malware detection and classification based on permission and behavior for autonomous vehicles
Shorfuzzaman Detection of cyber attacks in IoT using tree-based ensemble and feedforward neural network
Derhab et al. Multivariate correlation analysis and geometric linear similarity for real‐time intrusion detection systems
Sirajul Islam et al. Machine Learning-Driven Algorithms for Network Anomaly Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant