CN107409064A - 用于支持网络中不规则检测的方法和系统 - Google Patents

用于支持网络中不规则检测的方法和系统 Download PDF

Info

Publication number
CN107409064A
CN107409064A CN201580077021.6A CN201580077021A CN107409064A CN 107409064 A CN107409064 A CN 107409064A CN 201580077021 A CN201580077021 A CN 201580077021A CN 107409064 A CN107409064 A CN 107409064A
Authority
CN
China
Prior art keywords
matrix
time
network
run time
mrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580077021.6A
Other languages
English (en)
Other versions
CN107409064B (zh
Inventor
索菲娅·尼基塔基
毛里齐奥·杜斯
穆罕默德·艾哈迈德
萨韦里奥·尼科利尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Europe Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Europe Ltd filed Critical NEC Europe Ltd
Publication of CN107409064A publication Critical patent/CN107409064A/zh
Application granted granted Critical
Publication of CN107409064B publication Critical patent/CN107409064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/087—Jitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种用于支持网络中的不规则检测的方法，所述方法包括：使用至少一个监测设备监测所述网络的特征，以便收集时空测量数据，在离线阶段提供训练矩阵，其中收集的测量数据在预定时间窗口中聚合，使得所述训练矩阵包括时空相关性，在所述离线阶段执行非负矩阵因式分解，以便将所述训练矩阵分解为系数矩阵和基矩阵，其中共同考虑时间相关性和空间相关性，从而在在线阶段中，基于在在线阶段新收集的测量数据创建当前运行时间矩阵，在所述在线阶段中，基于所述当前运行时间矩阵和所述基矩阵计算当前运行时间系数矩阵，以及在所述在线阶段中将所述当前运行时间系数矩阵与先前计算的至少一个系数矩阵进行比较。此外，公开了相应的系统。

Description

用于支持网络中不规则检测的方法和系统
做出本发明的工作已经在授权协议n°318627下收到了欧盟第七框架计划(FP7/2007-2013)的资助。
技术领域
本发明涉及一种用于支持网络中不规则检测的方法和系统。
背景技术
近年来，网络运营商正在积极寻求有效和准确的解决方案，以识别其网络中的性能异常和不规则，并更好地了解客户利用其资源的演进。然而，在存在异构网络流量的情况下推断和预测网络的行为是具有挑战性的。因此，基于网络运营商收集的典型数据帮助检测网络性能不规则的工具是非常需要的。
例如，由于流行的多媒体服务(如视频、音频和游戏)是等待时间敏感的，因此网络的等待时间是服务质量的重要衡量标准。因此，网络运营商有兴趣了解流量的等待时间何时何地以及为什么发生变化，如果可能的话，他们希望预测这些变化，以便预先制止这些变化，以确保客户所需的服务质量。
由于若干因素，检测例如由于设备配置错误、故障或用户活动(如用户的流量配置简档的变化和/或修改)而导致的网络流量的不规则是复杂的。首先，必须考虑的数据集的大小可能非常大。例如，通常可能的是，1000x的网络探测器以秒钟内的粒度对10-100s的变量进行采样。因此，高效和准确地评估测量之间复杂的时间和空间关系是具有挑战性的。在这方面，参考例如P.Barford，N.Duffield，A.Ron，J.Sommers：″Network PerformanceAnomaly Detection and Localization"，INFOCOM 2009：pp.1377，1385，2009年4月19日至4月25日。
传统的网络性能挖掘和分析正在努力应对来自网络的数据规模和必须考虑的特征数量。如在Y.Zhou，G.Hu，D.Wu：″A data mining system for distributed abnormalevent detection in backbone networks"，Security and Communication Networks，olume 7，Issue 5，pages 904-913，May 2014以及如在H.Madhyastha，E.Katz-Bassett，T.Anderson，A.Krishnamurthy，and A.Venkataramani：″iPlane Nano：Path Predictionfor Peer-to-Peer Applications"，NSDI，page 137-152，USENIX Association，2009中描述的方法和系统着重于检测单个网络探测器的变化，而不考虑网络中的事件可能是严格相关的，即在中间跳上观察到的拥塞可能在后续跳上传播。
传统的异常检测系统倾向于假设流量分布接近常数，随着时间的推移发生偶发性突发，并且通过计算点对之间的相关性来识别异常，以定义异常值，如在H.Kriegel，M.Schubert，and A.Zimek：″Angle-based outlier detection"，In Proc.ACM SIGKDDInt.Conf on Knowledge Discovery and Data Mining(SIGKDD)Las Vegas NV，2008中描述。虽然已知的系统考虑时间相关性，但是它不能识别倾向于作为日常模式的一部分发生的规则异常值。例如，由于维护计划，每天在特定网络探测器上可能会出现等待时间的突发。显然，这不应该被认为是一个异常，因为它遵循每日模式。
此外，其示例性地参考以下非专利文献：
·A.Nagata，K.Kotera，K.Nakamura，Y.Hori：″Behavioral Anomaly DetectionSystem on Network Application Traffic from Many Sensors"，Computer Softwareand Applications Conference(COMPSAC)，2014IEEE 38th Annual，pp.600，601，21-25July 2014
·Peng C，Jin X，Wong K-C，Shi M，Liò P：″Collective Human MobilityPattern from Taxi Trips in Urban Area″PLoS ONE 7(4)：e34487.doi：10.1371/journal.pone.0034487，2012
·H.Huang，H.Al-Azzawi，and H.Brani：″Network traffic anomalydetection"，ArXiv：1402.0856v1，2014
它们处理非负矩阵因式分解(NMF)技术，非负矩阵因式分解(NMF)技术用来检测流量中的异常。由于这些方法独立地考虑了数据中的空间和时间相关性，所以它们无法估计稳定的正常基本模式。因此，它们无法准确地捕获数据中观察到的行为。
矩阵因式分解(MF)是捕捉复杂行为的现有技术方法。矩阵因式分解技术基于这样的观察：当数据相关时，它具有低秩属性，即只有少量的特征可以以低误差捕获/再现数据。为了识别异常值，计算采样数据与其正常子空间(即低秩近似)之间的差，差的强度突出了异常值的影响。然而，诸如奇异值因式分解(SVD)之类的传统矩阵因式分解技术解决了网络数据中出现的空间模式，但是它们在以下的意义上不考虑时间相关性：时间上重新排序数据对结果没有影响。
鉴于上述情况，本发明的目的是改进和进一步开发一种用于支持网络中的不规则检测的初始描述类型的方法，使得可以在网络中更高效和准确地检测到性能异常。
发明内容
根据本发明，上述目的通过一种用于支持网络中不规则检测的方法来实现，该方法包括：
使用至少一个监测设备监测所述网络的特征，以便收集时空测量数据，
在离线阶段提供训练矩阵，其中收集的测量数据在预定时间窗口中聚合，使得所述训练矩阵包括时空相关性，
在所述离线阶段执行非负矩阵因式分解，以便将所述训练矩阵分解为系数矩阵和基矩阵，其中共同考虑时间相关性和空间相关性，
在在线阶段中，基于在在线阶段新收集的测量数据创建当前运行时间矩阵，
在所述在线阶段中，基于所述当前运行时间矩阵和所述基矩阵来计算当前运行时间系数矩阵，以及
在所述在线阶段中，将所述当前运行时间系数矩阵与先前计算的至少一个系数矩阵进行比较。
此外，上述目的通过一种用于支持网络中的不规则检测的系统来实现，该系统包括一个或多个监测设备、离线组件和在线组件，
其中所述胎测设备被配置为胎测所述网络的特征以便收集时空测量数据，
其中所述离线组件被配置为提供训练矩阵，其中收集的测量数据在预定时间窗口中聚合，使得所述训练矩阵包括时空相关性，
其中所述离线组件还被配置为执行非负矩阵因式分解，以便将所述训练矩阵分解为系数矩阵和基矩阵，其中共同考虑时间相关性和空间相关性，
其中所述在线组件被配置为基于在在线阶段中新收集的测量数据来创建当前运行时间矩阵，
其中所述在线组件还被配置为基于所述当前运行时间矩阵和所述基矩阵来计算当前运行时间系数矩阵，以及
其中所述在线组件还被配置为将所述当前运行时间系数矩阵与先前计算的至少一个系数矩阵进行比较。
根据本发明，首先已经认识到，由于用户的周期性行为，实际网络数据呈现强烈的时间相关性。可能会出现底层空间相关性，因为在空间中接近的诸如网络探测器之类的监测设备倾向于捕获相关现象，诸如，例如流量突发或配置错误的后果。根据本发明，至少一个监测设备监测网络的特征以便收集时空测量数据。在离线阶段中，产生训练矩阵，其中收集的测量数据在预定时间窗口中聚合，使得所述训练矩阵包括其测量数据中的时空相关性。此外，已经认识到，时空矩阵因式分解能够更好地捕获测量数据内的复杂隐藏模式，因此可以提高网络性能调试和优化的准确性和效率。根据本发明，在离线阶段执行非负矩阵因式分解，以便将训练矩阵分解为系数矩阵和基矩阵，其中共同考虑训练矩阵中的时间相关性和空间相关性。基矩阵表示训练矩阵的测量数据的底层基本模式。系数矩阵表示各个底层基本模式的强度。在在线阶段中，基于在在线阶段新收集的测量数据创建当前运行时间矩阵。因此，当前运行时间矩阵包括由监测设备监测的关于网络内的特征的测量数据。在在线阶段中，基于当前运行时间矩阵和在离线阶段计算的基矩阵来计算当前运行时间系数矩阵。将该当前运行时间系数矩阵与先前计算的至少一个系数矩阵进行比较，从而可以基于比较来推导出网络中的不规则。系数矩阵的分量可以表示对应于由基矩阵表示的底层基本模式的强度，其中可以随时间和空间跟踪每个底层基本模式的强度。因此，根据本发明的方法和系统使得能够在网络中更高效和准确地检测性能异常/不规则。
根据本发明的方法和系统通过发现网络数据呈现强相关性和数量降低的流量模式来推动，因为基本模式可以捕获整个网络行为的结构。与已知方法相反，根据本发明的方法和系统可以利用每个基本模式的存在的强度，以便在给定的时间点推断每个监测设备的行为并参考相关联的变化。
因此，该方法基于非负矩阵因式分解方法，并考虑了时间和空间两者中网络测量数据的固有相关结构。这使得能够构建更准确地捕获网络的底层行为的稳定基本模式(例如，全局流量模式)。因此，根据本发明的方法和系统能够改变观察的网络数据，以便提高网络管理和故障处理的效率。
根据本发明的实施例，可以周期性地执行在线阶段的过程。因此，在线组件可以实时检测关于网络观测的基本模式的变化。
根据本发明的实施例，用于计算系数矩阵和基矩阵的非负矩阵因式分解可以在离线阶段中基于目标函数、特别是成本函数来执行。通过这样做，表征网络行为的问题用公式表示为非负矩阵因式分解(NMF)问题，其中依赖于目标函数，可以识别测量数据中的隐藏结构，使得建立捕获在数据中观察到的行为的稳定基本模式。
根据本发明的实施例，目标函数可以对非负矩阵因式分解施加空间和时间约束，从而考虑所收集的测量数据中的时间相关性和空间相关性。因此，以高效的方式提高了网络中性能异常/不规则的检测，实现更准确的结果。
根据本发明的实施例，训练矩阵可以被定义为矩阵其中NL表示N个监测设备和L个特征产生的数字，并且其中M表示时间样本的数量。例如，如果每个监测设备观察到L特征，那么训练矩阵将具有N·L行。此外，训练矩阵Xtr的测量数据可以在预定时间窗口(例如，几分钟，几小时等)中聚合。有利地，相对于相应的应用设置，以合适的方式定义时间窗的长度。
根据本发明的实施例，目标函数可以定义如下：
其中是系数矩阵，其中V∈RM×k是基矩阵，其中k是不同的底层基本模式的数量，其中α是范数正则化系数，其中β是空间-时间正则化系数，其中是保持空间约束的空间矩阵，并且其中T∈RM×M是保持时间约束的时间矩阵。此外，目标函数使用弗洛比尼斯(Frobenius)范数。因此，通过使用目标函数，可以建立稳定基本模式，其中这些基本模式准确地捕获在训练矩阵的测量数据中观察到的行为。
根据本发明的实施例，空间矩阵可以是所述网络的拓扑的邻接矩阵。因此，可以捕获行之间的相关性，即空间相关性。
根据本发明的实施例，时间矩阵可以是特普利茨(Toeplitz)矩阵。因此，所收集的测量数据的时间平滑度可以由特普利茨矩阵捕获。
根据本发明的实施例，可以采用随机梯度下降(SGD)过程，特别是分布式随机梯度下降(DSGD)过程，以便计算目标函数的解。本发明的实施例可以在优化问题中引入约束，以便捕获测量数据中空间和时间相关性的综合考虑，并且能够捕获网络何时何地发生变化。有利地，可以使用分布式随机梯度下降过程来计算目标函数的解。因此，可以确保可扩展性，因为该过程具有良好的收敛保证并且可以容易地并行化，使得可以考虑更多的特征和数据集。DSGD简单，计算量轻，只包含向量式运算符。DSGD的示例性实现在R.Gemulla，P.Haas，E.Nijkamp，Y.Sismanis：″Large-Scale Matrix Factorization withDistributed Stochastic Gradient Descent"，KDD2011中描述。
根据本发明的实施例，可以通过将当前运行时间矩阵投影到基矩阵来计算当前运行时间系数矩阵。因此，可以计算/估计当前运行时间系数矩阵，以便与一个或多个先前的系数矩阵进行比较。
根据本发明的实施例，可以通过计算矩阵之间的差，在在线阶段中将当前运行时间系数矩阵与在之前的任何时间间隔中计算的系数矩阵进行比较。
根据本发明的实施例，如果计算出的差高于预定义的阈值，则可以检测和/或触发网络内的异常变化/不规则。因此，可以定义合适的阈值，其使得能够触发网络中的异常变化/不规则。
根据本发明的实施例，用于构建训练矩阵和当前运行时间矩阵的特征可以包括等待时间、抖动和/或分组丢失，特别是在网络中的链路对之间。因此，可以在通过网络测量探测器通常监测的特征之间的时间和空间上识别相关结构。通过这样做，可以识别网络流量中的异常活动，以用于性能异常检测的目的和用于网络行为演进的表征。
根据本发明的实施例，可以选择在用于创建当前运行时间矩阵的在线阶段中测量的特征的测量时间粒度，使得该粒度与在离线阶段中选择的测量时间粒度兼容。因此，可以获得最佳结果。
根据本发明的实施例，可以通过采样的测量数据的一个或多个统计属性，特别是通过平均值、方差和/或分位数来捕获底层基本模式的稳定性。因此，在给定相同区域上的多个训练矩阵的情况下，可以估计随时间稳定的一组基本模式。
本发明和/或本发明的实施例定义了用于识别在数据中，特别是在网络数据中的规则活动模式中的复杂变化的可扩展系统。所述方法和/或系统可以应用于识别网络流量中的异常活动，以用于性能异常检测的目的和用于网络行为演进的表征。
本发明和/或实施例提供了一种用于在通过网络测量探测器通常监测的特征之间的时间和空间上识别复杂相关结构的方法或系统。所收集的数据可以指所捕获的等待时间、抖动、分组丢失等。然后可以利用这些相关性来表征网络链路属性的演进，例如在其给定某天的等待时间的预期波动，以及评估其偏离是否与正常预期行为相异。所提出的方法的计算复杂度在训练样本数量方面是线性的。然而，大规模数据的最近的理论结果显示，得到所需的优化准确度的运行时间不会随着训练集大小的增加而增加，参见：例如LeonBottou：″Large-Scale Machine Learning with Stochastic Gradient Descent″inCOMPSTAT 2010-Proceedings of the 19th International ConferenceonComputational Statistics，pages 177-187，2010。
此外，网络性能的强时间相关性可能由于许多原因而出现，例如，包括用户的定期和习惯行为，以及自动化工具(如配置和策略更新工具)的活动。虽然网络拓扑的定向链路结构以及与它们相关联的地理接近度可能会导致流量测量中的空间相关性。
与现有技术相反，本发明基于非负矩阵因式分解方法，并且在时间和空间两者方面考虑网络数据的固有相关结构。这使得能够构建稳定的全局流量模式，其更准确地捕获网络的底层行为。因此，能够检测观察到的网络数据的移位，以提高网络管理和故障处理的效率。
此外，本发明的至少一个实施例可以通过可以是分布式的随机梯度下降来解决，从而使其适合于大规模学习数据。
本发明实施例的重要方面是：
·提供共同时空矩阵因式分解，其共同考虑了在时间上、在监测设备(如网络探测器)之间的不同流量测量上的相关性。为此，将不同类型的信息集成到时空矩阵因式分解过程中，这允许揭示诸如如由多个特征所示的、训练矩阵中的公共网络流量模式之类的基本模式。
·利用基矩阵的系数的强度来监测特定区域、拓扑或地理的网络行为及其随时间的变化，以便推断网络何时何地发生变化。这允许监测网络在特定探测器中的行为随着时间的演进。
本发明的实施例提供了一种在测量数据中共同利用固有时空相关性的系统或方法，以便建立准确地捕获在测量数据中观察到的行为的稳定基本模式。可以定义稳定基本模式，使得当在线阶段中测量的采样数据随时间演进时，它们的估计不会偏离。稳定基础随时间创建的原因是，异常检测技术的效率取决于估计捕获的测量数据与从历史观察值创建的基本模式之间的显著差异。因此，稳定性可以被视为关于所捕获的时空测量数据的一种现有知识的形式，并且预期其模式随时间保持有界限。因此，一般来说，所提出的方法可以应用于检测各种时空数据中的模式，例如揭示城市空间中人和车辆的移动性以及诸如电网中的资源的消耗中的底层模式。另外，所提出的方法适合于识别商业建筑物的电力消耗变化。检测电力仪表从若干座建筑物收集的能源消耗数据的变化可以提示关键技术基础设施的设备故障。本发明的实施例可以应用于提供、产生和/或交换时空数据的任何计算机网络或数据网络。
存在以有利的方式设计和进一步开发本发明的教导的若干方式。为此，一方面参考专利权利要求1的从属专利权利要求，并且另一方面参考由附图所示的作为示例的本发明的进一步实施例的以下说明。将结合借助附图的对本发明的进一步的实施例的说明，解释本发明教导的一般进一步的实施例和另外的发展。
附图说明
在附图中：
图1是示出可以在根据本发明的实施例的方法和系统中使用的非负矩阵因式分解技术的示意图，
图2是示出根据本发明的实施例的方法或系统的架构概况的示意图，以及
图3是示出根据本发明的实施例的示例系统架构的示意图。
具体实施方式
图1示出了可以在根据本发明的实施例的方法和系统中使用的非负矩阵因式分解(NMF)。根据本发明的实施例的方法或系统基于从历史观察值创建的全局流量模式(即基本模式)来检测来自网络测量的变化。表征网络行为的问题用公式表示为非负矩阵因式分解问题。非负矩阵因式分解考虑了非负观测数据的矩阵，并将观察值解释为矩阵中规定的特征的线性组合。更具体地，如图1所示，非负矩阵因式分解解决了优化问题，以便分解诸如流量矩阵之类的输入矩阵，即，例如，将训练矩阵Xtr分解为基矩阵V和系数矩阵U。根据图1，基矩阵V表示正常子空间或潜在因素，即测量数据中的底层基本模式，系数矩阵U的分量/列表示这些潜在因素的强度。训练矩阵Xtr的每一行表示由预定的测量探测器监测的特征。每一列表示相应特征的不同时间样本。
通过使用如图1示例性所示的非负矩阵因式分解，将流量矩阵形式的训练矩阵Xtr分解为两个矩阵，即系数矩阵U和基矩阵V。基矩阵V中的每一行表示基本模式。系数矩阵U的每一列表示与每个基本模式相对应的功率。因此，系数矩阵的分量表示与由基矩阵表示的底层基本模式相对应的强度。在图1中，附图标记1表示基矩阵V的基本模式。附图标记2示出了系数矩阵U的列，其中列2表示反映基本模式的强度的功率。附图标记3示出了在特定时间由网络测量探测器监测的特征。附图标记4示出了训练矩阵Xtr的分解。
图2示出了根据本发明的实施例的方法和系统的架构概况。图2的系统由两个组件组成：
1.离线组件，附图标记5，其负责学习测量数据中的底层基本模式。
2.在线组件，附图标记6，用于运行在离线阶段学习的基本模式，以便在在线阶段中检测当前测量的测量数据中的变化/不规则。
离线组件执行如图2所示的正常基本模式学习，使得在离线阶段，基于训练矩阵Xtr如下建立基矩阵V：
1.定义训练矩阵其中数据在给定的时间窗口(例如，几分钟，几小时等)内聚合。例如，在网络性能监测的情况下，N表示探测器数量，L表示特征数，M表示时间样本数。例如，训练矩阵Xtr可以由链路对之间的等待时间或抖动的测量构成。时间窗口的长度是针对特定的应用设置定义的。
2.用时空正则化将训练矩阵Xtr进行因式分解，其中非负矩阵因式分解的目标函数定义如下：
其中和v∈RM×k是系数矩阵和基矩阵，k定义不同基本模式的数量。α是范数正则化系数和β是需要经验调整(特别是通过交叉验证)的时空正则化系数。术语和T∈RM×M分别给出空间和时间约束。可以应用不同的方法，以便估计矩阵S和T。
例如，训练矩阵Xtr的行之间的相关性，即空间相关性，其可以通过导出从矩阵Xtr或网络拓扑创建的加权图的邻接矩阵来捕获。另外，它可以是表征数据集的任何任意成本矩阵。
时间相关性由矩阵T表示，其施加不同时间样本之间的相关性。例如，矩阵T可以是捕获所收集的数据的时间平滑度并执行它的特普利茨矩阵。
应用随机梯度下降(SGD)，以便根据公式(1)求解目标函数。SGD具有三个不同的特征如：a)它既不需要矩阵的显式构造，也不需要处理测量的中央服务器，b)简单且计算量轻，仅包含向量式运算符，c)它可以并行化，从而允许技术的可扩展性。在Leon Bottou：″Large-Scale Machine Learning with Stochastic Gradient Descent″in COMPSTAT2010-Proceedings of the 19th International Conference on ComputationalStatistics，pages 177-187，2010中可以找到进一步的信息。
3.给定相同区域上的多个训练矩阵，可以估计随时间稳定的一组基本模式，即以基矩阵V的形式。例如，矩阵的稳定性可以用采样数据的统计属性来捕获，例如平均值和方差、分位数或方差。
4.存储基矩阵V和系数矩阵U。
在线组件执行如图2所示的变化和异常检测，以便检测网络中的不规则。在线组件的目的是实时检测观察值的基本模式的变化。在图2中所示的并且在在线阶段中周期性地执行的在线过程的步骤如下：
1.收集数据的周期性测量并创建当前运行时间矩阵Xr。例如，当前运行时间矩阵Xr可以通过链路对之间的等待时间或抖动的测量来构建。在这样做时，测量时间粒度应与离线阶段中选择的测量时间粒度兼容。
2.将当前运行时间矩阵Xr投影到基矩阵V上，以便计算当前运行时间系数矩阵Ur。
3.Ur和Urprev的当前系数之间的强度差，即在先前时间间隔和/或在离线阶段估计的强度之间的差，其表明是否已经存在每个特征的正常的底层基本模式中的变化。
4.如果差高于预定阈值，则触发网络行为的变化和/或不规则。
图2的实施例引入了优化问题中的约束，以便捕获数据中空间和时间相关性的共同考虑，并且能够捕获何时和何地发生变化。为了实现图2所示的方法的可扩展性，根据公式(1)的目标函数通过分布式随机梯度下降技术来解决，该技术具有良好的收敛保证，并且可以容易地并行化，使得可以考虑更多的特征和数据集。
一旦基矩阵V的形式的稳定基本模式被计算，它们可用于识别在数据中观察到的模式的变化。特别地，可以随时间和空间跟踪数据中每个识别的模式的权重，以及(i)在给定时间段或在特定位置对每个模式的活动进行排序，以及(ii)识别每个模式中何时和何地发生显著变化。
图3示出了根据本发明的实施例的示例性系统架构。在离线阶段期间，每个探测器i，附图标记7，将在时间间隔{1，...，t}上捕获的特征Xi，{1，..，t}发送给离线组件。可以在一个或多个中央服务器(附图标记8)上实现离线组件。因此，在离线组件包括若干中央服务器的情况下，服务器以并行方式运行时空非负矩阵因式分解，以便估计公共基矩阵V。离线组件或视情况而定的中央服务器将公共基矩阵V发送回探测器。
另一实施例可以提供一种用于在通常由网络测量探测器监测的特征(诸如等待时间、抖动和分组丢失)之间的时间和空间上识别复杂相关结构的方法，其包括以下步骤：
离线阶段：
A1.定义训练矩阵其中数据在给定的时间窗口内聚合，
A2.定义分别保持空间和时间约束的矩阵和T∈RM×M。矩阵S定义训练矩阵Xtr的行之间的相关性，并且可以是网络的拓扑的邻接矩阵。时间相关性通过矩阵T定义。矩阵T可以是特普利茨(Toepliz)矩阵。
A3.通过求解公式(1)、对矩阵Xtr进行因式分解，来定义基矩阵V。
在线阶段：
B1.从在线捕获的数据创建矩阵Xr。
B2.将在线数据Xr投影到基矩阵V上，以便估计运行时间系数矩阵Ur。
B3.定义变化阈值th，Ur的当前系数与先前时间间隔之间的差高于所述阈值表示变化/不规则。
B4.估计当前运行时间系数矩阵与以前的运行时间系数矩阵之间的差。
实施例中的至少一个可以施加采样数据的固有时空相关结构，以便准确地和高效地识别数据中的隐藏结构。所提出的方法可以识别数据中的共性和趋势，并且还能够交叉关联许多特征，识别和去除冗余信息。
至少一个实施例在三个月的时段上利用从网络运营商收集的实际流量数据得到验证，其中采样粒度为60秒。在这个程度上，它集中在两个不同的特征上：等待时间和抖动。
据此，本发明的实施例可以创建更稳定的全局基本模式，因为它们能够将当前流量模式和全局流量模式的重建错误最小化为大约8％，而传统的非负矩阵因式分解返回错误为约35％，如从下表可以获得的：
上表示出了传统NMF方法和根据本发明实施例的时空NMF的全局和当前基础之间的归一化重建错误。计算了在三个月的时段上采样的特征等待时间和抖动的稳定基本模式。该表示出了随着训练集的数量增加，重建错误减小。与传统的NMF相比，本发明的实施例能够创建更稳定的全局基本模式。
因此，本发明的实施例可以定义鲁棒的简档，其允许基于随时间的系数矩阵的强度来检测所捕获的网络数据中的变化，从而导致较少的假阳性报警。所提出的方法可以并行化并因此应用于大规模数据。
受益于在前面的描述和相关联的附图中呈现的教导，本发明所属领域的普通技术人员将想到本文阐述的本发明的许多修改和其它实施例。因此，应当理解本发明不局限于所公开的具体实施例，并且修改和其他实施例旨在被包括在所附权利要求的范围内。虽然本文使用了特定术语，但是其用于一般性和描述性意义，且不用于限制目的。

Claims (15)

1.一种用于支持网络中的不规则检测的方法，所述方法包括：
使用至少一个监测设备监测所述网络的特征，以便收集时空测量数据，
在离线阶段提供训练矩阵，其中收集的测量数据在预定时间窗口中聚合，使得所述训练矩阵包括时空相关性，
在所述离线阶段执行非负矩阵因式分解，以便将所述训练矩阵分解为系数矩阵和基矩阵，其中共同考虑时间相关性和空间相关性，
在在线阶段中，基于在在线阶段新收集的测量数据创建当前运行时间矩阵，
在所述在线阶段中，基于所述当前运行时间矩阵和所述基矩阵来计算当前运行时间系数矩阵，以及
在所述在线阶段中，将所述当前运行时间系数矩阵与先前计算的至少一个系数矩阵进行比较。
2.根据权利要求1所述的方法，其中，用于计算所述系数矩阵和所述基矩阵的所述非负矩阵因式分解是基于目标函数、特别是成本函数来执行的。
3.根据权利要求2所述的方法，其中所述目标函数对非负矩阵因式分解施加空间和时间约束，从而考虑所收集的测量数据中的时间相关性和空间相关性。
4.根据权利要求1至3中任一项所述的方法，其中所述训练矩阵被定义为矩阵其中NL表示由N个监测设备和L个特征产生的数字，并且其中，M表示时间样本的数量。
5.根据权利要求2至4中任一项所述的方法，其中所述目标函数根据以下来定义：
<mrow> <mtable> <mtr> <mtd> <mrow> <mi>min</mi> <mo>{</mo> <mo>|</mo> <mo>|</mo> <msup> <mi>X</mi> <mrow> <mi>t</mi> <mi>r</mi> </mrow> </msup> <mo>-</mo> <msup> <mi>UV</mi> <mi>T</mi> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;alpha;</mi> <mrow> <mo>(</mo> <mo>|</mo> <mo>|</mo> <mi>U</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mo>|</mo> <mo>|</mo> <mi>V</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;beta;</mi> <mo>(</mo> <mo>|</mo> <mo>|</mo> <mi>S</mi> <mo>(</mo> <msup> <mi>UV</mi> <mi>T</mi> </msup> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>|</mo> <mo>|</mo> <mrow> <mo>(</mo> <msup> <mi>UV</mi> <mi>T</mi> </msup> <mo>)</mo> </mrow> <mi>T</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>)</mo> <mo>}</mo> </mrow> </mtd> </mtr> </mtable> <mo>,</mo> </mrow>
其中是所述系数矩阵，其中V∈RM×k是所述基矩阵，其中k是不同基本模式的数量，其中α是范数正则化系数，其中β是空间-时间正则化系数，其中是表示空间约束的空间矩阵，并且其中，T∈RM×M是表示时间约束的时间矩阵。
6.根据权利要求5所述的方法，其中所述空间矩阵是所述网络的拓扑的邻接矩阵。
7.根据权利要求5或6所述的方法，其中所述时间矩阵是特普利茨矩阵。
8.根据权利要求2至7中任一项所述的方法，其中采用随机梯度下降“SGD”过程，特别是分布式随机梯度下降过程，以便计算所述目标函数的解。
9.根据权利要求1至8中任一项所述的方法，其中通过将所述当前运行时间矩阵投影到所述基矩阵来计算所述当前运行时间系数矩阵。
10.根据权利要求1至9中任一项所述的方法，其中，通过计算所述矩阵之间的差，将所述当前运行时间系数矩阵与先前计算的系数矩阵进行比较。
11.根据权利要求10所述的方法，其中如果所计算出的差高于预定义阈值，则将检测和/或触发异常变化和/或不规则。
12.根据权利要求1至11中任一项所述的方法，其中用于构建所述训练矩阵和所述当前运行时间矩阵的所述特征包括所述网络中的链路对之间的等待时间、抖动和/或分组丢失等。
13.根据权利要求1至12中任一项所述的方法，其中，在用于创建所述当前运行时间矩阵的在线阶段中测量的特征的测量时间粒度与在离线阶段中选择的测量时间粒度兼容。
14.根据权利要求1至13中任一项所述的方法，其中基本模式的稳定性通过采样的测量数据的一个或多个统计属性、特别是通过平均值、方差和/或分位数来捕获。
15.一种用于支持网络中不规则检测的系统，特别是用于执行根据权利要求1至14中任一项所述的方法的系统，所述系统包括一个或多个监测设备、离线组件和在线组件，
其中所述监测设备被配置为监测所述网络的特征以便收集时空测量数据，
其中所述离线组件被配置为提供训练矩阵，其中收集的测量数据在预定时间窗口中聚合，使得所述训练矩阵包括时空相关性，
其中所述离线组件还被配置为执行非负矩阵因式分解，以便将所述训练矩阵分解为系数矩阵和基矩阵，其中共同考虑时间相关性和空间相关性，
其中所述在线组件被配置为基于在在线阶段中新收集的测量数据来创建当前运行时间矩阵，
其中所述在线组件还被配置为基于所述当前运行时间矩阵和所述基矩阵来计算当前运行时间系数矩阵，以及
其中所述在线组件还被配置为将所述当前运行时间系数矩阵与先前计算的至少一个系数矩阵进行比较。
CN201580077021.6A 2015-10-23 2015-10-23 用于支持网络中不规则检测的方法和系统 Active CN107409064B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2015/074673 WO2017067615A1 (en) 2015-10-23 2015-10-23 Method and system for supporting detection of irregularities in a network

Publications (2)

Publication Number Publication Date
CN107409064A true CN107409064A (zh) 2017-11-28
CN107409064B CN107409064B (zh) 2020-06-05

Family

ID=54542211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580077021.6A Active CN107409064B (zh) 2015-10-23 2015-10-23 用于支持网络中不规则检测的方法和系统

Country Status (4)

Country Link
US (1) US20180048530A1 (zh)
CN (1) CN107409064B (zh)
DE (1) DE112015006466B4 (zh)
WO (1) WO2017067615A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109547358A (zh) * 2018-12-11 2019-03-29 浙江工商大学 一种时间敏感网络切片的构造方法
CN111563521A (zh) * 2019-02-14 2020-08-21 埃森哲环球解决方案有限公司 特定于场所的异常检测

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11140167B1 (en) 2016-03-01 2021-10-05 Exabeam, Inc. System, method, and computer program for automatically classifying user accounts in a computer network using keys from an identity management system
US10887325B1 (en) 2017-02-13 2021-01-05 Exabeam, Inc. Behavior analytics system for determining the cybersecurity risk associated with first-time, user-to-entity access alerts
US10645109B1 (en) * 2017-03-31 2020-05-05 Exabeam, Inc. System, method, and computer program for detection of anomalous user network activity based on multiple data sources
US10841338B1 (en) 2017-04-05 2020-11-17 Exabeam, Inc. Dynamic rule risk score determination in a cybersecurity monitoring system
US20180300621A1 (en) * 2017-04-13 2018-10-18 International Business Machines Corporation Learning dependencies of performance metrics using recurrent neural networks
US11423143B1 (en) 2017-12-21 2022-08-23 Exabeam, Inc. Anomaly detection based on processes executed within a network
US11431741B1 (en) 2018-05-16 2022-08-30 Exabeam, Inc. Detecting unmanaged and unauthorized assets in an information technology network with a recurrent neural network that identifies anomalously-named assets
CN110858311B (zh) * 2018-08-23 2022-08-09 山东建筑大学 基于深度非负矩阵分解的链路预测方法及系统
US11178168B1 (en) 2018-12-20 2021-11-16 Exabeam, Inc. Self-learning cybersecurity threat detection system, method, and computer program for multi-domain data
US11625366B1 (en) 2019-06-04 2023-04-11 Exabeam, Inc. System, method, and computer program for automatic parser creation
US11960601B2 (en) * 2019-12-25 2024-04-16 Dell Products L.P. System for managing an instructure with security
US11960374B1 (en) * 2019-12-25 2024-04-16 Dell Products L.P. System for managing an instructure security
US11784888B2 (en) * 2019-12-25 2023-10-10 Moogsoft Inc. Frequency-based sorting algorithm for feature sparse NLP datasets
US11956253B1 (en) 2020-06-15 2024-04-09 Exabeam, Inc. Ranking cybersecurity alerts from multiple sources using machine learning
US11336530B2 (en) 2020-09-14 2022-05-17 Cisco Technology, Inc. Spatio-temporal event weight estimation for network-level and topology-level representations
CN112202771B (zh) * 2020-09-29 2022-10-14 中移（杭州）信息技术有限公司 网络流量检测方法、系统、电子设备和存储介质
US20220210171A1 (en) * 2020-12-29 2022-06-30 IronNet Cybersecurity, Inc. Systems and methods for detecting malicious network traffic using multi-domain machine learning
US11991531B2 (en) * 2021-04-14 2024-05-21 Samsung Electronics Co., Ltd. Communication load forecasting accuracy with adaptive feature boosting
CN113449210B (zh) * 2021-07-01 2023-01-31 深圳市数字尾巴科技有限公司 基于时空特征的个性化推荐方法、装置、电子设备及存储介质
CN113992718B (zh) * 2021-10-28 2022-10-04 安徽农业大学 一种基于动态宽度图神经网络的群体传感器异常数据检测方法和系统
US20230164156A1 (en) * 2021-11-19 2023-05-25 IronNet Cybersecurity, Inc. Detection of abnormal events
CN115935264B (zh) * 2023-03-09 2023-05-12 湖南大学 一种基于时空信息同步学习的电网暂态电压稳定评估方法
CN116448019B (zh) * 2023-06-14 2023-08-25 山西首科工程质量检测有限公司 建筑节能工程质量平面度智能检测装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866403A (zh) * 2010-06-11 2010-10-20 西安电子科技大学 基于改进obs-nmf算法的入侵检测方法
US20100306290A1 (en) * 2009-05-27 2010-12-02 Yin Zhang Method and apparatus for spatio-temporal compressive sensing
CN102111312A (zh) * 2011-03-28 2011-06-29 钱叶魁 基于多尺度主成分分析的网络异常检测方法
US20120079096A1 (en) * 2010-09-29 2012-03-29 Schneider Electric USA, Inc. Networked devices for monitoring utility usage and methods of using the same
CN102982386A (zh) * 2012-09-07 2013-03-20 浙江大学 一种基于空时压缩感知的蜂窝网络流量预测方法
CN103023927A (zh) * 2013-01-10 2013-04-03 西南大学 一种稀疏表达下的基于非负矩阵分解的入侵检测方法及系统
CN104850533A (zh) * 2015-04-22 2015-08-19 南京大学 一种带约束的非负矩阵分解方法及求解方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0318627A1 (fr) 1987-12-03 1989-06-07 René Linder Dispositif pour entraîner les masses compensatrices d'équilibreurs dynamiques utilisés sur les rectifieuses et sur d'autres machines
US5810014A (en) * 1997-03-25 1998-09-22 Davis; Dennis W. Method and system for detection of physiological conditions
EP1907940A4 (en) * 2005-06-29 2012-02-08 Univ Boston METHOD AND DEVICE FOR TOTAL NETWORK ANALYSIS DIAGNOSIS AND METHOD FOR DETECTING AND CLASSIFYING NETWORK ANOMALIES USING TRANSPORT FEATURES
CA2642041C (en) * 2005-12-23 2014-07-15 Le Tan Thanh Tai Spatio-temporal pattern recognition using a spiking neural network and processing thereof on a portable and/or distributed computer
US7890449B2 (en) * 2007-09-12 2011-02-15 International Business Machines Corporation Method for performance bottleneck diagnosis and dependency discovery in distributed systems and computer networks
US8903748B2 (en) * 2011-06-27 2014-12-02 International Business Machines Corporation Systems and methods for large-scale randomized optimization for problems with decomposable loss functions
US8983888B2 (en) * 2012-11-07 2015-03-17 Microsoft Technology Licensing, Llc Efficient modeling system for user recommendation using matrix factorization
US9734161B2 (en) * 2013-03-15 2017-08-15 The Florida International University Board Of Trustees Streaming representation of moving objects and shapes in a geographic information service
US20150032887A1 (en) * 2013-07-29 2015-01-29 Zerodesktop, Inc. Cloud-Based Access Management and Activity Monitoring of Mobile Devices
US9864912B2 (en) * 2016-03-30 2018-01-09 Nec Corporation Large margin high-order deep learning with auxiliary tasks for video-based anomaly detection
US10776718B2 (en) * 2016-08-30 2020-09-15 Triad National Security, Llc Source identification by non-negative matrix factorization combined with semi-supervised clustering

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306290A1 (en) * 2009-05-27 2010-12-02 Yin Zhang Method and apparatus for spatio-temporal compressive sensing
CN101866403A (zh) * 2010-06-11 2010-10-20 西安电子科技大学 基于改进obs-nmf算法的入侵检测方法
US20120079096A1 (en) * 2010-09-29 2012-03-29 Schneider Electric USA, Inc. Networked devices for monitoring utility usage and methods of using the same
CN102111312A (zh) * 2011-03-28 2011-06-29 钱叶魁 基于多尺度主成分分析的网络异常检测方法
CN102982386A (zh) * 2012-09-07 2013-03-20 浙江大学 一种基于空时压缩感知的蜂窝网络流量预测方法
CN103023927A (zh) * 2013-01-10 2013-04-03 西南大学 一种稀疏表达下的基于非负矩阵分解的入侵检测方法及系统
CN104850533A (zh) * 2015-04-22 2015-08-19 南京大学 一种带约束的非负矩阵分解方法及求解方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109547358A (zh) * 2018-12-11 2019-03-29 浙江工商大学 一种时间敏感网络切片的构造方法
CN109547358B (zh) * 2018-12-11 2022-04-01 浙江工商大学 一种时间敏感网络切片的构造方法
CN111563521A (zh) * 2019-02-14 2020-08-21 埃森哲环球解决方案有限公司 特定于场所的异常检测
CN111563521B (zh) * 2019-02-14 2023-10-17 埃森哲环球解决方案有限公司 特定于场所的异常检测

Also Published As

Publication number Publication date
WO2017067615A1 (en) 2017-04-27
DE112015006466B4 (de) 2024-05-02
US20180048530A1 (en) 2018-02-15
CN107409064B (zh) 2020-06-05
DE112015006466T5 (de) 2018-01-04

Similar Documents

Publication Publication Date Title
CN107409064A (zh) 用于支持网络中不规则检测的方法和系统
WO2019011015A1 (zh) 一种进行业务调度的方法和装置
An et al. Reliable emergency service facility location under facility disruption, en-route congestion and in-facility queuing
US6763380B1 (en) Methods, systems and computer program products for tracking network device performance
US20160308725A1 (en) Integrated Community And Role Discovery In Enterprise Networks
CN108923975A (zh) 一种面向分布式网络的流量行为分析方法
CN109347668A (zh) 一种服务质量评估模型的训练方法及装置
US20120191843A1 (en) Systems and methods for application dependency discovery
Lin et al. A general framework for quantitative modeling of dependability in cyber-physical systems: A proposal for doctoral research
CN108989136A (zh) 业务端到端性能监控方法及装置
CN106716454A (zh) 利用机器学习来识别非技术性损失
CN106203956A (zh) 基于云计算的项目管理系统
CN109254865A (zh) 一种基于统计分析的云数据中心服务异常根因定位方法
Liang et al. A fast lightweight approach to origin-destination IP traffic estimation using partial measurements
CN110162445A (zh) 基于主机日志及性能指标的主机健康评价方法及装置
Lockhart et al. Scission: Performance-driven and context-aware cloud-edge distribution of deep neural networks
Asllani et al. Hopping in the crowd to unveil network topology
CN102684902B (zh) 基于探针预测的网络故障定位方法
CN102739527B (zh) 网络丢包率探测方法
CN108809708A (zh) 一种电力通信网络节点故障检测系统
Zygouras et al. Towards Detection of Faulty Traffic Sensors in Real-Time.
US10901969B2 (en) System and method for facilitating an objective-oriented data structure and an objective via the data structure
Rahali et al. TOM: a self-trained Tomography solution for Overlay networks Monitoring
CN115237717A (zh) 一种微服务异常检测方法和系统
Pan et al. A ${Q} $-learning based framework for congested link identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180111

Address after: Heidelberg

Applicant after: NEC EUROPE LTD.

Address before: Heidelberg

Applicant before: NEC Europe Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201014

Address after: Tokyo, Japan

Patentee after: NEC Corp.

Address before: Heidelberg, Germany

Patentee before: NEC EUROPE Ltd.

TR01 Transfer of patent right