CN105786677A - 异常连接检测装置及方法 - Google Patents

异常连接检测装置及方法 Download PDF

Info

Publication number
CN105786677A
CN105786677A CN201410795074.9A CN201410795074A CN105786677A CN 105786677 A CN105786677 A CN 105786677A CN 201410795074 A CN201410795074 A CN 201410795074A CN 105786677 A CN105786677 A CN 105786677A
Authority
CN
China
Prior art keywords
connection
log analysis
distribution
connection mode
connection step
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410795074.9A
Other languages
English (en)
Inventor
金成德
金成镒
朴起德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung SDS Co Ltd
Original Assignee
Samsung SDS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung SDS Co Ltd filed Critical Samsung SDS Co Ltd
Publication of CN105786677A publication Critical patent/CN105786677A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)
  • Data Mining & Analysis (AREA)

Abstract

本发明公开一种异常连接检测装置及方法。根据示例性实施例的异常连接检测装置包括：日志模式化单元，构成为由关于系统连接的日志数据(log data)识别分别表示连接步骤的多个连接模式；日志分析单元，构成为执行第一日志分析和第二日志分析中的至少一种日志分析，所述第一日志分析用于检测所述多个连接模式中特定连接模式所表示的异常连接步骤对(pair)，所述第二日志分析用于从所述多个连接模式中检测出表示特定连接步骤对的异常连接模式。

Description

异常连接检测装置及方法
技术领域
公开的实施例涉及一种异常连接检测装置及方法，尤其涉及一种基于有关系统连接的日志数据(logdata)而检测系统连接中发生问题的原因的技术方法。
背景技术
通常，利用信息通信技术而提供服务或对策(solution)的系统将包含启动信息、连接信息、性能信息、出错信息等多种多样的信息的日志(log)进行记录。这样的日志可用于监控系统的操作并跟踪系统的误操作原因。
如果是系统留下为数不多的件数的日志的情形，则系统的开发者或运营者也许可以凭借经验而轻易掌握存在问题的日志(例如，不符合预先定义的服务级别协议(ServiceLevelAgreement；SLA)的非正常日志)。然而，当系统留下件数庞大的日志(例如，关于系统连接的日志)时，事实上无法一一通过手动作业寻找非正常日志或者确认其原因，不仅如此，还难以确定要在哪个方面改善系统的性能。因此，需要一种新的逼近法，用来基于日志数据而更加准确地掌握需要与系统相关联而进行改善的事项。
发明内容
公开的实施例的目的在于提供一种异常连接检测装置及方法。
根据示例性实施例，提供一种异常连接检测装置，包括：日志模式化单元，构成为由关于系统连接的日志数据(logdata)识别分别表示连接步骤的多个连接模式；日志分析单元，构成为执行用于检测所述多个连接模式中特定连接模式所表示的异常连接步骤对(pair)的日志分析。
所述日志分析可包括：识别所述特定连接模式所表示的连接步骤对；判定所述特定连接模式的日志件数的针对所识别的所述连接步骤对的两个连接步骤之间的耗用时间的分布是否正常。
所述判定可包括：将表示所述分布的图表与预先设定的正常分布图表以及预先设定的非正常分布图表中的至少一个图表进行比较，从而判定所述分布是否正常。
所述日志分析单元还可以构成为显示用于表示所述分布的图表。
所述两个连接步骤可在所述系统连接中依次执行。
所述日志模式化单元可构成为利用所述日志数据而按关于所述系统连接的每一日志分别生成记录，并利用所述记录而识别所述多个连接模式，其中所述记录表示用于表示各个连接步骤的代码、所述各个连接步骤的开始时间以及所述各个连接步骤的结束时间。
所述特定连接模式可表示在所述系统连接中依次执行的两个连接步骤，所述日志分析单元可识别所述两个连接步骤的对，并利用所述记录而确认所述特定连接模式的日志件数的针对所述两个连接步骤之间的耗用时间的分布，并基于所述分布而判定所识别的所述对是否为所述异常连接步骤对，从而执行所述日志分析。
根据另一示例性实施例，提供一种异常连接检测装置，包括：日志模式化单元，构成为由关于系统连接的日志数据识别分别表示连接步骤的多个连接模式；日志分析单元，构成为执行用于从所述多个连接模式中检测出表示特定连接步骤对的异常连接模式的日志分析。
所述日志分析可包括：从所述多个连接模式中识别出表示所述特定连接步骤对的连接模式；判定所识别的所述连接模式的日志件数的针对所述特定连接步骤对的两个连接步骤之间的耗用时间的分布是否正常。
所述判定可包括：将表示所述分布的图表与预先设定的正常分布图表以及预先设定的非正常分布图表中的至少一个图表进行比较，从而判定所述分布是否正常。
所述日志分析单元还可以构成为显示用于表示所述分布的图表。
所述两个连接步骤可在所述系统连接中依次执行。
所述日志模式化单元可构成为利用所述日志数据而按关于所述系统连接的每一日志分别生成记录，并利用所述记录而识别所述多个连接模式，其中所述记录表示用于表示各个连接步骤的代码、所述各个连接步骤的开始时间以及所述各个连接步骤的结束时间。
所述特定连接步骤对可以是在所述系统连接中依次执行的两个连接步骤的对，所述日志分析单元可从所述多个连接模式中识别出表示所述特定连接步骤对的连接模式，并利用所述记录而确认所识别的所述连接模式的日志件数的针对所述两个连接步骤之间的耗用时间的分布，并基于所述分布而判定所识别的所述连接模式是否为所述异常连接模式，从而执行所述日志分析。
根据又一示例性实施例，提供一种异常连接检测装置，包括：日志模式化单元，构成为由关于系统连接的日志数据识别分别表示连接步骤的多个连接模式；日志分析单元，构成为执行第一日志分析和第二日志分析，所述第一日志分析用于检测所述多个连接模式中特定连接模式所表示的异常连接步骤对，所述第二日志分析用于从所述多个连接模式中检测出表示特定连接步骤对的异常连接模式。
根据本发明的另一方面的示例性实施例，提供一种异常连接检测方法，包括如下步骤：由关于系统连接的日志数据识别分别表示连接步骤的多个连接模式；执行用于检测所述多个连接模式中特定连接模式所表示的异常连接步骤对的日志分析。
所述日志分析可包括：识别所述特定连接模式所表示的连接步骤对；判定所述特定连接模式的日志件数的针对所识别的所述连接步骤对的两个连接步骤之间的耗用时间的分布是否正常。
所述判定可包括：将表示所述分布的图表与预先设定的正常分布图表以及预先设定的非正常分布图表中的至少一个图表进行比较，从而判定所述分布是否正常。
所述异常连接检测方法还可以包括显示用于表示所述分布的图表的步骤。
所述两个连接步骤可在所述系统连接中依次执行。
所述识别的步骤可包括如下步骤：利用所述日志数据而按关于所述系统连接的每一日志分别生成记录，其中所述记录表示用于表示各个连接步骤的代码、所述各个连接步骤的开始时间以及所述各个连接步骤的结束时间；利用所述记录而识别所述多个连接模式。
所述特定连接模式可表示在所述系统连接中依次执行的两个连接步骤，执行所述日志分析的步骤可包括如下步骤：识别所述两个连接步骤的对；利用所述记录而确认所述特定连接模式的日志件数的针对所述两个连接步骤之间的耗用时间的分布；基于所述分布而判定所识别的所述对是否为所述异常连接步骤对，从而执行所述日志分析。
根据另一示例性实施例，提供一种异常连接检测方法，包括如下步骤：由关于系统连接的日志数据识别分别表示连接步骤的多个连接模式；执行用于从所述多个连接模式中检测出表示特定连接步骤对的异常连接模式的日志分析。
所述日志分析可包括：从所述多个连接模式中识别表示所述特定连接步骤对的连接模式；判定所识别的所述连接模式的日志件数的针对所述特定连接步骤对的两个连接步骤之间的耗用时间的分布是否正常。
所述判定可包括：将表示所述分布的图表与预先设定的正常分布图表以及预先设定的非正常分布图表中的至少一个进行比较，从而判定所述分布是否正常。
所述异常连接检测方法还可以包括如下步骤：显示用于表示所述分布的图表。
所述两个连接步骤可在所述系统连接中依次执行。
所述识别的步骤可包括如下步骤：利用所述日志数据而按关于所述系统连接的每一日志分别生成记录，所述记录表示用于表示各个连接步骤的代码、所述各个连接步骤的开始时间以及所述各个连接步骤的结束时间；利用所述记录而识别所述多个连接模式。
所述特定连接步骤对可以是在所述系统连接中依次执行的两个连接步骤的对，执行所述日志分析可包括如下步骤：从所述多个连接模式中识别出表示所述特定连接步骤对的连接模式；利用所述记录而确认所识别的所述连接模式的日志件数的针对所述两个连接步骤之间的耗用时间的分布；基于所述分布而判定所识别的所述连接模式是否为所述异常连接模式，从而执行所述日志分析。
根据又一示例性实施例，提供一种异常连接检测方法，包括如下步骤：由关于系统连接的日志数据识别分别表示连接步骤的多个连接模式；执行第一日志分析和第二日志分析，所述第一日志分析用于检测所述多个连接模式中特定连接模式所表示的异常连接步骤对，所述第二日志分析用于从所述多个连接模式中检测出表示特定连接步骤对的异常连接模式。
根据又一示例性实施例，提供一种存储于存储介质的计算机程序，其与硬件结合而用于执行前述的异常连接检测方法。
根据预定的实施例，可利用与通过多个连接步骤执行的系统连接有关的日志数据而检测出异常连接模式和异常连接步骤对。
预定的实施例一改现有系统的性能改善依赖系统开发者或运营者的经验的现状，通过检测出表示系统连接中执行的连接步骤的特定模式所表示的异常连接步骤对和/或特定连接步骤对的异常连接模式，使系统的性能容易提高。
根据预定的实施例，可更加准确地检测出为了改善系统性能而需要考虑的连接步骤。
附图说明
图1为示意性表示根据示例性实施例的异常连接检测装置的图。
图2为表示根据示例性实施例而按每一日志分别生成的记录的图。
图3为表示根据示例性实施例的连接模式的图。
图4为表示根据示例性实施例而格式化的连接模式信息的图。
图5为根据示例性实施例而按特定连接模式所表示的每一连接步骤对分别表示日志分布图的图。
图6和图7分别为根据示例性实施例而按表示特定连接步骤对的每一连接模式分别表示日志分布图的图。
图8为根据示例性实施例的异常连接检测过程的流程图。
符号说明：
100：异常连接检测装置110：日志收集单元
120：日志模式化单元130：日志分析单元
180：VDI系统
具体实施方式
以下，参照附图说明本发明的具体实施方式。以下的详细说明用于帮助对本说明书中记载的方法、装置和/或系统的全面的理解。然而这只不过是示例，本发明并不局限于此。
在说明本发明的实施例时，如果认为对有关本发明的公知技术的具体说明有可能对本发明的主旨造成不必要的混乱，则省略其详细说明。另外，后述的术语为考虑到在本发明中的功能而定义的术语，其可能因使用者、运用者的意图或惯例等而不同。因此，要将贯穿整个说明书的内容作为基础而对其进行定义。在详细说明中使用的术语只是为了描述本发明的实施例，绝不是限定性含义。只要不是明确使用为其他含义，则单数形态的表述包括复数形态的含义。在本说明书中，“包括”或“具有”之类的表述用于表示某种特性、数字、步骤、操作、要素及其一部分或者组合，不能解释为排除所记载的内容以外存在一个或一个以上的其他特性、数字、步骤、操作、要素及其一部分或者组合的必然性或可能性。
图1为示意性表示根据示例性实施例的异常连接检测装置的图。
如图1所示，示例性的异常连接检测装置100包括日志收集单元110、日志模式化单元120以及日志分析单元130。异常连接检测装置100的以上各个模块可由硬件实现。例如，异常连接检测装置100可实现或包含于计算装置内。这样的计算装置可包括一个以上的处理器以及可通过该处理器而访问的存储器之类的计算机可读存储介质。计算机可读存储介质可配置于处理器的内部或外部，并可通过熟知的多种多样的单元而与处理器连接。计算机可读存储介质中可以存储有用于控制计算装置的计算机可执行命令。处理器可执行存储于计算机可读存储介质中的命令。这样的命令在通过处理器得到执行的情况下，可以使处理器执行根据示例性实施例的操作。并且，计算装置还可以包括用于支持该计算装置与至少一个外部装置之间的输入输出和/或通信的接口装置，通过接口装置可以与外部装置(例如，具备用于提供服务乃至对策并记录关于系统连接的日志数据的系统的装置)连接。进而，计算装置还可以包括其他多种多样的组件(例如，输入装置和/或输出装置)，而接口装置可提供用于该组件的接口。输入装置的示例包括鼠标之类的定位装置、键盘、触摸感测输入装置、扩音器之类的语音输入装置。输出装置的示例包括显示装置、打印机、扬声器和/或网卡。据此，异常连接检测装置100的日志收集单元110、日志模式化单元120以及日志分析单元130可由所述计算装置的硬件实现。
为了便于说明便，以下述及一种示例性的运行环境，在该运行环境中异常连接检测装置100利用与接入用于提供VDI(VirtualDesktopInfrastructure；虚拟桌面基础架构)服务的系统180有关的日志数据而操作。VDI系统180包括用于提供虚拟桌面环境的服务器，且可以让用户通过瘦客户端(ThinClient)或零客户端(ZeroClient)之类的终端连接到服务器而在虚拟桌面环境中执行作业。VDI系统180按每一连接步骤分别详细区分多种多样的数据而记录为日志。异常连接检测装置100可以由与接入VDI系统180有关的日志数据识别连接步骤的模式，并可检测出特定模式所表示的非正常连接步骤对(pair)和/或表示特定连接步骤对的非正常模式。然而，这样的运行环境毕竟只是示例，也可以为其他类型的系统而利用异常连接检测装置100。
以下参照图1而更加详细地说明异常连接检测装置100的各个模块。
日志收集单元110构成为收集关于系统连接的日志数据。例如，日志收集单元110可收集如下多种多样的日志：包含服务改善请求信息的日志；包含用户连接信息、虚拟机(VirtualMachine；VM)起动现状信息、网络流量信息等的门户网站日志；包含虚拟机起动成功/出错信息的DDC(DesktopDeliveryController；桌面交付控制器)日志；包含虚拟管理程序(hypervisor)的性能信息、系统日志(syslog)信息等的虚拟管理程序日志；和/或包含与用户终端的操作系统(OperatingSystem；OS)、网页浏览器、中央处理器(CentralProcessingUnit；CPU)、存储器等有关的信息的用户终端日志等。
根据示例性实施例，在向VDI系统180的连接中，多个连接步骤中的至少一部分可依次发生。例如，为了那样的系统连接，在一共为45个的连接步骤中至少一部分将依次执行。例如，当用户终端连接到了VDI系统180(例如从SLA方面考虑)且可以认为在那样的连接中没有发生特别的问题时，这种正常的连接可由如下的步骤完成：经过分别对应于如下的16个代码的VDI连接步骤而使虚拟机起动，从而生成虚拟机连接记录(例如，为了将VDI服务画面显示于网页浏览器上以让用户能够接收VDI服务，将虚拟机予以驱动)。
-AGENT_CHECK:START
-AGENT_CHECK:END
-VDIMANAGER_CHECK:START
-VDIMANAGER_CHECK:END
-VDIMANAGER_RUN:OK
-IECONFIG:START
-IECONFIG:END
-PORTALVERIFY:START
-PORTALVERIFY:END
-CHECKVERSION:START
-CHECKVERSION:OK
-CHECKVERSION:END
-VDISTART:OK
-DDC_CALL:OK
-DDC_AUTO_CALL:OK
-ICA_CREATE:OK
以上示例性披露的16个连接步骤中，前7个为用于环境核实的连接步骤。这些连接步骤与VDI可使用环境的设定(例如，在IE(InternetExplorer；互联网浏览器)之类的网页浏览器中设定可信网站、代理器(Proxy)等；对本地PC等用户终端的版本、录入(logging)、相关程序设置与否的核实等)有关。后9个连接步骤为用于VDI认证/连接的连接步骤。这些连接步骤与用户认证、VDI程序的确认/设置、与VDI的服务器乃至DDC之间的通信、用于生成虚拟机的文件(例如，支持ICA(IndependentComputingArchitecture；独立计算架构)协议的*.ica文件)的生成以及执行等有关。
日志模式化单元120构成为由收集的日志数据识别多个连接模式。例如，各个连接模式可表示在向VDI系统180的连接中依次执行的连接步骤。尤其，各个连接模式可以是以连接步骤在如上所述的系统连接中执行的顺序表示该连接步骤的序列。
根据示例性实施例，日志模式化单元120可利用日志数据而按关于系统连接的每一日志分别生成单记录，然后利用单记录而识别连接模式。
由日志模式化单元120生成的记录可以是将表示连接步骤的代码、连接步骤的开始时间以及连接步骤的结束时间用“连接步骤代码|开始时间|结束时间|”之类的格式表示的记录要素的连续流(stream)。根据这样的格式，与通过前述的16个VDI连接步骤执行的系统连接有关的日志可变换为图2的示例性记录200。如图2所示，记录200可根据连接步骤执行的顺序表示与16个连接步骤有关的记录要素。
接着，日志模式化单元120可将表示以相同的顺序执行的相同的连接步骤的一众记录分组(Grouping)，从而识别一个连接模式。例如，日志模式化单元120可从图2的记录200中以时间顺序提取连接步骤代码，从而如图3所示地可以识别根据该顺序识别连接步骤代码被目录化的连接模式300。
如果通过上述方式识别出多个连接模式，则日志模式化单元120可根据图4所示的格式来记录各个连接模式以及与该连接模式相关联的数据(例如，连接模式所表示的连接步骤个数、根据通过连接步骤执行的系统连接而记录的日志件数、系统连接所需的时间(例如，平均时间)、以日志件数为标准而判断连接模式的比率和/或系统连接(例如，在SLA方面)是否正常)，从而生成连接模式信息400。可通过日志模式化单元120而被识别的不同连接模式的总数根据连接的系统所提供的服务结构而可变。例如，由图4可见，可识别13,698个不同的连接模式。然而，在所有连接模式中，相当大数目的日志件数可集中于较高比率的一些连接模式。例如，在图4所示的连接模式信息400中，上位的20个连接模式的比率可超过80％。
日志分析单元130构成为从第一日志分析和第二日志分析中执行至少一个日志分析，所述第一日志分析用于检测所识别出的连接模式中特定连接模式所表示的异常连接步骤对，而所述第二日志分析用于从所识别出的连接模式中检测出表示特定连接步骤对的异常连接模式。
首先对第一日志分析进行说明。例如，第一日志分析可按每一连接模式分别从相关连接模式所表示的连接步骤对中检测出异常连接步骤对。作为另一例，可对一些选择的连接模式(例如，日志件数相当多的连接模式)执行第一日志分析。无论是哪种情况，如果根据特定连接模式执行系统连接且特定连接模式内的两个连接步骤(例如，在系统连接中依次执行的两个连接步骤)之间的耗用时间非正常地长，则日志分析单元130可将所述两个连接步骤的对识别为异常连接步骤对。
作为一例，假设日志分析单元130对图4的连接模式信息400中表示为“G9”的连接模式(以下，或称为“9号连接模式”)执行第一日志分析。参照图5，日志分析单元130可识别9号连接模式所表示的16个连接步骤对(分别是在系统连接中依次执行的两个连接步骤的对)。如果将某一连接步骤对的先执行连接步骤与后执行连接步骤表示为“先执行连接步骤代码>后执行连接步骤代码”之类的格式，则以上的16个连接步骤对可如下表示。
-AGENT_CHECK:START>AGENT_CHECK:END
-AGENT_CHECK:END>VDIMANAGER_CHECK:START
-VDIMANAGER_CHECK:START>VDIMANAGER_CHECK:END
-VDIMANAGER_CHECK:END>VDIMANAGER_RUN:OK
-VDIMANAGER_RUN:OK>IECONFIG:START
-IECONFIG:START>IECONFIG:END
-IECONFIG:END>PORTALVERIFY:START
-PORTALVERIFY:START>PORTALVERIFY:END
-PORTALVERIFY:END>CHECKVERSION:START
-CHECKVERSION:START>CHECKVERSION:OK
-CHECKVERSION:OK>CHECKVERSION:END
-CHECKVERSION:END>VDISTART:OK
-VDISTART:OK>DDC_CALL:OK
-DDC_CALL:OK>DDC_AUTO_CALL:OK
-DDC_AUTO_CALL:OK>VM_REBOOTING:OK
-VM_REBOOTING:OK>ICA_CREATE:OK
在图5中，按每一连接步骤对分别图示的日志分布图或图表501至516分别以视觉方式呈现9号连接模式的日志件数的针对依序的两个连接步骤之间的耗用时间(即，基于通过9号连接模式所表示的连接步骤执行的系统连接的日志个数)的分布。图表501至516分别将耗用时间示于横轴并将日志件数示于纵轴。日志分析单元130可利用按9号连接模式的每一日志分别生成的记录(例如，可具有与图2的记录200相同的格式)而确认这样的分布。
接着，日志分析单元130可利用确认的分布而判定各个连接步骤对是否为异常连接步骤对。为此，日志分析单元130可判定与各个连接步骤对相关联的分布是否正常。例如，日志分析单元130可通过将预先设定的至少一个正常分布图表和/或预先设定的至少一个非正常分布图表与各个图表501至516进行比较的图像比较方式而判定各个图表501至516所表示的分布是否正常，并可将具有非正常分布的连接步骤对识别为异常连接步骤对。例如，图5的图表503为具有尾部沿横轴方向长形延伸的形状(例如，对应于超过临界件数的日志件数，且超过临界时间的耗用时间的个数为标准值以上)的长尾(long-tail)类型的图表，图508为表示沿纵轴方向突出的多个顶点(例如，各个顶点表示比起在对应于该顶点的耗用时间周围的预定时间区间中出现的其他顶点高出标准值以上的日志件数)的多顶(multi-top)类型的图表，图表516为平均值或中位值在横轴上比其他图表更向右倾(例如，对应于平均值或中位值的日志件数的耗用时间超过临界时间的情形)而使两个连接步骤之间的耗用时间总体上相当长的长时段(long-time)类型的图表。这样的各个图表503、508、516揭示对应的连接步骤对的执行中耗费不少时间的日志件数达到不容忽视的程度。另外，日志分析单元130可通过确认表示与各个连接步骤对相关联的分布的图表是否为长尾类型的图表、多顶类型的图表以及长时段类型的图表中的至少一个图表而判定其分布是否正常，并在该分布不正常的情况下，可将上述连接步骤对作为异常连接步骤对而检测出。因此，日志分析单元130可判定9号连接模式所表示的如下连接步骤对就是异常连接步骤对。
-IECONFIG:START>IECONFIG:END
-PORTALVERIFY:START>PORTALVERIFY:END
-VM_REBOOTING:OK>ICA_CREATE:OK
通过这样的判定，可以掌握需要找出在互联网浏览器的设定、门户网站连接确认和/或虚拟机的启动/生成中发生的延迟的原因而更正。
正是这样，即使针对9号连接模式的所有连接步骤所需的时间的9号连接模式的日志件数的分布正常，日志分析单元130也可以在存在9号连接模式所表示的异常连接步骤对的情况下将其检测出。
然后，对第二日志分析进行说明。第二日志分析可对能够由识别出的连接模式导出的连接步骤对执行。日志分析单元130可从表示该连接步骤对的至少一个连接模式中检测出异常连接模式。例如，在图4举例表示的13,698个连接模式被日志模式化单元120所识别的情况下，在该连接模式中总共可以出现850个依序的两个连接步骤的不同的对。日志分析单元130可对这样的连接步骤对中的至少一部分执行第二日志分析。在此情况下，如果根据表示特定连接步骤对的连接模式而执行系统连接且该特定连接步骤对的两个连接步骤(例如，在系统连接中依次执行的两个连接步骤)之间的耗用时间非正常地长，则日志分析单元130可将上述连接模式识别为异常连接模式。例如，日志分析单元130可通过确认表示针对于其两个连接步骤之间的耗用时间的上述连接模式的日志件数的分布的图表是否为长尾类型的图表、多顶类型的图表以及长时段类型的图表中的至少一个图表来判定该分布是否正常，并在该分布不正常的情况下，可将上述连接模式作为异常连接模式而检测出。
作为一例，假设日志分析单元130对如下所述地表示的连接步骤对(以下，记为“1号连接步骤对”)执行第二日志分析。
-PORTALVERIFY:START>CHECKVERSION:START
参照图6，日志分析单元130可识别依次表示1号连接步骤对的两个连接步骤的2个连接模式。这2个连接模式中一个是图6中表示为“78”的连接模式(以下，或称为“78号连接模式”)而另一个是图6中表示为“79”的连接模式(以下，或称为“79号连接模式”)。图6所示的日志分布图或者图表678以视觉方式呈现78号连接模式的日志件数的针对1号连接步骤对的两个连接步骤之间的耗用时间的分布，而日志分布图或图表679以视觉方式呈现79号连接模式的日志件数的针对上述两个连接步骤之间的耗用时间的分布。各个图表678、679将耗用时间示于横轴并将日志件数示于纵轴。日志分析单元130可利用按78号连接模式或79号连接模式的每一日志分别生成的记录(例如，可具有与图2的记录200相同的格式)而确认各个分布。
接着，日志分析单元130可利用确认的分布而判定78号连接模式是否为异常连接模式以及79号连接模式是否为异常连接模式。为此，日志分析单元130可判定与各个连接模式相关联的分布是否正常。例如，日志分析单元130可通过将预先设定的至少一个正常分布图表和/或预先设定的至少一个非正常分布图表与各个图表678、679进行比较的图像比较方式而判定各个图表678、679所表示的分布是否正常，并可将具有非正常分布的连接模式识别为异常连接模式。例如，可以判定图6的图表678、679不是长尾类型、多顶类型或长时段类型的图表，全都表现出正常的分布。
相反，假设日志分析单元130对如下所述地表示的连接步骤对(以下，记为“2号连接步骤对”)执行第二日志分析。
-IECONFIG:START>IECONFIG:OK
参照图7，日志分析单元130可识别依次表示2号连接步骤对的两个连接步骤的29个连接模式。图7示出以视觉方式表示与这29个连接模式分别关联的分布的日志分布图或图表(将耗用时间示于横轴并将日志件数示于纵轴)。日志分析单元130可通过与前述的方式相同的方式确认这样的分布，并判定各个连接模式是否为异常连接模式。例如，图7中表示为“17”的连接模式(以下，或称为“17号连接模式”)所表示的图表717以视觉方式呈现17号连接模式的日志件数的针对2号连接步骤对的两个连接步骤之间的耗用时间的分布。然而，从中可知图表717相比于图7所示的其他图表而言平均值或中位值比起其他图表更向右倾，从而使上述两个连接步骤之间的耗用时间总体上相当长。因此，日志分析单元130可判定表示2号连接步骤对的17号连接模式就是具有长时段类型的日志分布图的异常连接模式。通过这样的判定，可以掌握需要找出在互联网浏览器的设定中发生的延迟的原因而更正。
正是这样，日志分析单元130可在存在表示2号连接步骤对的异常连接模式的情况下将其检测出。尤其，当由于存在相当多的数量的连接模式而难以对所有连接模式执行第一日志分析时，第二日志分析仍然在从表示相同的连接步骤对的连接模式中掌握异常连接模式的方面有用。
如前所述，如果日志分析单元130执行第一日志分析和/或第二日志分析而检测出异常连接步骤对以及表示异常连接步骤对的异常连接模式，则可以由与这样的连接模式以及连接步骤对有关的信息(例如，关于操作系统、网页浏览器、CPU、存储器等的用户环境信息；关于用户连接的服务器的操作系统、CPU、存储器等的服务器环境信息；和/或关于执行连接的星期、时间段等的连接时间信息)掌握共同性的要素。这样的共同要素可利用频繁模式分组(FPG；FrequentPatternGrouping)算法之类的关联模式分析技术方法而识别。由于在识别的共同要素中发生系统连接问题的可能性较高，因此可以迅速而容易地采取用于解决该问题的适当的措施。
进而，日志分析单元130在执行第一日志分析的情况下可将表示与各个连接步骤相关联的分布的图表(例如，图5的图表501至516)显示于显示装置上。而且，日志分析单元130在执行第二日志分析的情况下可将表示与各个连接模式相关联的分布的图表(例如，图6的图表678、679)显示于显示装置上。因此，异常连接检测装置100的用户可通过视觉方式确认反映异常连接模式和/或异常连接步骤对之类的问题的图表。
图8表示根据示例性实施例的异常连接检测过程。例如，示例性的过程800可以由异常连接检测装置100执行。
开始操作过后，过程800进入到步骤S810。在步骤S810中，收集关于系统连接的日志数据。例如，日志收集单元110可收集与接入到用于提供预定服务的系统(例如，VDI系统180)有关的日志数据。在这样的系统连接中发生的连接步骤的代码可能记录在日志数据。
在步骤S820中，由日志数据识别多个连接模式。各个连接模式可以是在系统连接中执行的连接步骤的顺序化的目录。例如，日志模式化单元120可利用日志数据而按关于系统连接的每一日志分别生成记录，所述记录是表示按关于系统连接的每一日志分别表示各个连接步骤的代码、该连接步骤的开始时间以及该连接步骤的结束时间的记录。接着，日志模式化单元120可利用如此按每一日志分别生成的记录而识别多个连接模式。
在步骤S830中，执行第一日志分析和第二日志分析中的至少一种日志分析，所述第一日志分析用于检测所识别的多个连接模式中特定连接模式所表示的异常连接步骤对，所述第二日志分析用于从识别的多个连接模式中检测出表示特定连接步骤对的异常连接模式。
第一日志分析可包括如下内容：识别特定连接模式所表示的连接步骤对(例如，在系统连接中依次执行的两个连接步骤对)；判定特定连接模式的日志件数的针对所识别的连接步骤对的两个连接步骤之间的耗用时间的分布(以下，或称为“第一分布”)是否正常。为了这样的判定，表示第一分布的图表可以与预先设定的正常分布图表以及预先设定的非正常分布图表中的至少一个图表进行比较。
例如，日志分析单元130可识别如上所述的两个连接步骤的对，并利用按每一日志分别生成的记录而确认第一分布，并基于第一分布判定所识别的连接步骤对是否为异常连接步骤对，从而执行第一日志分析。
第二日志分析可包括如下内容：从多个连接模式中识别表示特定连接步骤对(例如，在系统连接中依次执行的两个连接步骤的对)的连接模式；判定所识别的连接模式的日志件数的针对特定连接步骤对的两个连接步骤之间的耗用时间的分布(以下，或称为“第二分布”)是否正常。为了这样的判定，表示第二分布的图表可以与预先设定的正常分布图表以及预先设定的非正常分布图表中的至少一个图表进行比较。
例如，日志分析单元130可从多个连接模式中识别出表示如上所述的特定连接步骤对的连接模式，并利用按每一日志分别生成的记录而确认第二分布，并基于第二分布判定所识别的连接模式是否为异常连接模式，从而执行第二日志分析。
在步骤S840中，显示与连接模式以及连接步骤对相关联的多个日志分布图。例如，日志分析单元130可将表示第一分布的图表和/或表示第二分布的图表显示于显示装置。
另外，示例性实施例可包括记录有用于在计算机上执行本说明书中记载的过程的程序的计算机可读存储介质。这样的计算机可读存储介质可将程序命令、本地数据文件、本地数据结构等以单独或组合的方式包含在内。该计算机可读存储介质可以是为了本发明而特别设计并构成的介质。计算机可读存储介质的例中包括硬盘、软盘和磁带之类的磁介质；CD-ROM、DVD之类的光记录介质；光磁盘之类的磁光介质以及ROM、RAM、快闪存储器等为了存储并执行程序命令而特别构成的硬件装置。程序命令的例中不仅包括由编译器制作的机器语言代码，而且还可以包括利用解释器等而通过计算机执行的高级语言代码。
以上已详细说明本发明的代表性实施例，然而本发明所属的技术领域中具有普通知识的人员想必会理解能够在不脱离本发明范围的限度内对所述的实施例进行多种多样的变形。因此，本发明的权利范围不应局限于所述的实施例而确定，而是要根据权利要求书及其等价内容进行确定。

Claims (30)

1.一种异常连接检测装置，包括：
日志模式化单元，构成为由关于系统连接的日志数据识别分别表示连接步骤的多个连接模式；
日志分析单元，构成为执行用于检测所述多个连接模式中特定连接模式所表示的异常连接步骤对的日志分析。
2.如权利要求1所述的异常连接检测装置，其中，所述日志分析包括：
识别所述特定连接模式所表示的连接步骤对；
判定针对所识别的所述连接步骤对的两个连接步骤之间的耗用时间的、所述特定连接模式的日志件数的分布是否正常。
3.如权利要求2所述的异常连接检测装置，其中，所述判定包括：
将表示所述分布的图表与预先设定的正常分布图表以及预先设定的非正常分布图表中的至少一个图表进行比较，从而判定所述分布是否正常。
4.如权利要求2所述的异常连接检测装置，其中，所述日志分析单元还构成为显示用于表示所述分布的图表。
5.如权利要求2所述的异常连接检测装置，其中，所述两个连接步骤在所述系统连接中依次执行。
6.如权利要求1所述的异常连接检测装置，其中，所述日志模式化单元构成为利用所述日志数据而按关于所述系统连接的每一日志分别生成记录，并利用所述记录而识别所述多个连接模式，其中所述记录表示用于表示各个连接步骤的代码、所述各个连接步骤的开始时间以及所述各个连接步骤的结束时间。
7.如权利要求6所述的异常连接检测装置，其中，所述特定连接模式表示在所述系统连接中依次执行的两个连接步骤，所述日志分析单元识别所述两个连接步骤的对，并利用所述记录而确认针对所述两个连接步骤之间的耗用时间的所述特定连接模式的日志件数的分布，并基于所述分布而判定所识别的所述对是否为所述异常连接步骤对，从而执行所述日志分析。
8.一种异常连接检测装置，包括：
日志模式化单元，构成为由关于系统连接的日志数据识别分别表示连接步骤的多个连接模式；
日志分析单元，构成为执行用于从所述多个连接模式中检测出表示特定连接步骤对的异常连接模式的日志分析。
9.如权利要求8所述的异常连接检测装置，其中，所述日志分析包括：
从所述多个连接模式中识别出表示所述特定连接步骤对的连接模式；
判定针对所述特定连接步骤对的两个连接步骤之间的耗用时间的、所识别的所述连接模式的日志件数的分布是否正常。
10.如权利要求9所述的异常连接检测装置，其中，所述判定包括：
将表示所述分布的图表与预先设定的正常分布图表以及预先设定的非正常分布图表中的至少一个图表进行比较，从而判定所述分布是否正常。
11.如权利要求9所述的异常连接检测装置，其中，所述日志分析单元还构成为显示用于表示所述分布的图表。
12.如权利要求9所述的异常连接检测装置，其中，所述两个连接步骤在所述系统连接中依次执行。
13.如权利要求8所述的异常连接检测装置，其中，所述日志模式化单元构成为利用所述日志数据而按关于所述系统连接的每一日志分别生成记录，并利用所述记录而识别所述多个连接模式，其中所述记录表示用于表示各个连接步骤的代码、所述各个连接步骤的开始时间以及所述各个连接步骤的结束时间。
14.如权利要求13所述的异常连接检测装置，其中，所述特定连接步骤对是在所述系统连接中依次执行的两个连接步骤的对，所述日志分析单元从所述多个连接模式中识别出表示所述特定连接步骤对的连接模式，并利用所述记录而确认针对所述两个连接步骤之间的耗用时间的所识别的所述连接模式的日志件数的分布，并基于所述分布而判定所识别的所述连接模式是否为所述异常连接模式，从而执行所述日志分析。
15.一种异常连接检测装置，包括：
日志模式化单元，构成为由关于系统连接的日志数据识别分别表示连接步骤的多个连接模式；
日志分析单元，构成为执行第一日志分析和第二日志分析，所述第一日志分析用于检测所述多个连接模式中特定连接模式所表示的异常连接步骤对，所述第二日志分析用于从所述多个连接模式中检测出表示特定连接步骤对的异常连接模式。
16.一种异常连接检测方法，包括如下步骤：
由关于系统连接的日志数据识别分别表示连接步骤的多个连接模式；
执行用于检测所述多个连接模式中特定连接模式所表示的异常连接步骤对的日志分析。
17.如权利要求16所述的异常连接检测方法，其中，所述日志分析包括：
识别所述特定连接模式所表示的连接步骤对；
判定针对所识别的所述连接步骤对的两个连接步骤之间的耗用时间的、所述特定连接模式的日志件数的分布是否正常。
18.如权利要求17所述的异常连接检测方法，其中，所述判定包括：
将表示所述分布的图表与预先设定的正常分布图表以及预先设定的非正常分布图表中的至少一个图表进行比较，从而判定所述分布是否正常。
19.如权利要求17所述的异常连接检测方法，其中，还包括显示用于表示所述分布的图表的步骤。
20.如权利要求17所述的异常连接检测方法，其中，所述两个连接步骤在所述系统连接中依次执行。
21.如权利要求16所述的异常连接检测方法，其中，所述识别的步骤包括如下步骤：
利用所述日志数据而按关于所述系统连接的每一日志分别生成记录，其中所述记录表示用于表示各个连接步骤的代码、所述各个连接步骤的开始时间以及所述各个连接步骤的结束时间；
利用所述记录而识别所述多个连接模式。
22.如权利要求21所述的异常连接检测方法，其中，所述特定连接模式表示在所述系统连接中依次执行的两个连接步骤，
执行所述日志分析的步骤包括如下步骤：
识别所述两个连接步骤的对；
利用所述记录而确认针对所述两个连接步骤之间的耗用时间的所述特定连接模式的日志件数的分布；
基于所述分布而判定所识别的所述对是否为所述异常连接步骤对，从而执行所述日志分析。
23.一种异常连接检测方法，包括如下步骤：
由关于系统连接的日志数据识别分别表示连接步骤的多个连接模式；
执行用于从所述多个连接模式中检测出表示特定连接步骤对的异常连接模式的日志分析。
24.如权利要求23所述的异常连接检测方法，其中，所述日志分析包括：
从所述多个连接模式中识别表示所述特定连接步骤对的连接模式；
判定针对所述特定连接步骤对的两个连接步骤之间的耗用时间的、所识别的所述连接模式的日志件数的分布是否正常。
25.如权利要求24所述的异常连接检测方法，其中，所述判定包括：
将表示所述分布的图表与预先设定的正常分布图表以及预先设定的非正常分布图表中的至少一个进行比较，从而判定所述分布是否正常。
26.如权利要求24所述的异常连接检测方法，其中，还包括如下步骤：
显示用于表示所述分布的图表。
27.如权利要求24所述的异常连接检测方法，其中，所述两个连接步骤在所述系统连接中依次执行。
28.如权利要求23所述的异常连接检测方法，其中，所述识别的步骤包括如下步骤：
利用所述日志数据而按关于所述系统连接的每一日志分别生成记录，所述记录表示用于表示各个连接步骤的代码、所述各个连接步骤的开始时间以及所述各个连接步骤的结束时间；
利用所述记录而识别所述多个连接模式。
29.如权利要求28所述的异常连接检测方法，其中，所述特定连接步骤对是在所述系统连接中依次执行的两个连接步骤的对，
执行所述日志分析的步骤包括如下步骤：
从所述多个连接模式中识别出表示所述特定连接步骤对的连接模式；
利用所述记录而确认针对所述两个连接步骤之间的耗用时间的所识别的所述连接模式的日志件数的分布；
基于所述分布而判定所识别的所述连接模式是否为所述异常连接模式，从而执行所述日志分析。
30.一种异常连接检测方法，包括如下步骤：
由关于系统连接的日志数据识别分别表示连接步骤的多个连接模式；
执行第一日志分析和第二日志分析，所述第一日志分析用于检测所述多个连接模式中特定连接模式所表示的异常连接步骤对，所述第二日志分析用于从所述多个连接模式中检测出表示特定连接步骤对的异常连接模式。
CN201410795074.9A 2014-10-20 2014-12-18 异常连接检测装置及方法 Pending CN105786677A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140141877A KR101594701B1 (ko) 2014-10-20 2014-10-20 이상 접속 검출 장치 및 방법
KR10-2014-0141877 2014-10-20

Publications (1)

Publication Number Publication Date
CN105786677A true CN105786677A (zh) 2016-07-20

Family

ID=55448182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410795074.9A Pending CN105786677A (zh) 2014-10-20 2014-12-18 异常连接检测装置及方法

Country Status (4)

Country Link
US (1) US20160112285A1 (zh)
KR (1) KR101594701B1 (zh)
CN (1) CN105786677A (zh)
WO (1) WO2016064024A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10514974B2 (en) * 2015-02-17 2019-12-24 Nec Corporation Log analysis system, log analysis method and program recording medium
CN109522147A (zh) * 2018-11-15 2019-03-26 Oppo广东移动通信有限公司 一种记录开机异常信息的方法、装置、存储介质及终端
CN109640053A (zh) * 2018-12-27 2019-04-16 四川九洲电器集团有限责任公司 一种采集多协议流媒体设备异常实时流方法
US11113144B1 (en) * 2020-05-31 2021-09-07 Wipro Limited Method and system for predicting and mitigating failures in VDI system
US20220417319A1 (en) * 2021-06-28 2022-12-29 Dell Products L.P. System and method for edge analytics in a virtual desktop environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060190592A1 (en) * 2005-01-31 2006-08-24 Japan Aerospace Exploration Agency Communications state transition monitoring method and communications state transition monitoring device utilizing the same
CN101218786A (zh) * 2005-07-11 2008-07-09 日本电气株式会社 通信网络故障检测系统、通信网络故障检测方法及故障检测程序
WO2012086443A1 (ja) * 2010-12-24 2012-06-28 日本電気株式会社 監視データ分析装置、監視データ分析方法および監視データ分析プログラム
CN102915269A (zh) * 2012-09-20 2013-02-06 山东浪潮齐鲁软件产业股份有限公司 一种b/s软件系统的通用日志分析方法
WO2014054854A1 (ko) * 2012-10-05 2014-04-10 Kang Myoung Hun 보안 시스템의 로그 분석 시스템 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7437446B2 (en) * 2002-09-30 2008-10-14 Electronic Data Systems Corporation Reporting of abnormal computer resource utilization data
US20060117091A1 (en) * 2004-11-30 2006-06-01 Justin Antony M Data logging to a database
US7895167B2 (en) * 2005-02-16 2011-02-22 Xpolog Ltd. System and method for analysis and management of logs and events
JP4257364B2 (ja) * 2007-01-24 2009-04-22 富士通株式会社 通信エラー情報出力プログラム、通信エラー情報出力方法および通信エラー情報出力装置
EP2351296A4 (en) * 2008-10-31 2015-01-07 Hewlett Packard Development Co METHOD AND DEVICE FOR DETECTING NETWORK IMPACT
JP5958348B2 (ja) * 2013-01-07 2016-07-27 富士通株式会社 分析方法、分析装置、及び分析プログラム
WO2014196129A1 (ja) * 2013-06-03 2014-12-11 日本電気株式会社 障害分析装置、障害分析方法、および、記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060190592A1 (en) * 2005-01-31 2006-08-24 Japan Aerospace Exploration Agency Communications state transition monitoring method and communications state transition monitoring device utilizing the same
CN101218786A (zh) * 2005-07-11 2008-07-09 日本电气株式会社 通信网络故障检测系统、通信网络故障检测方法及故障检测程序
WO2012086443A1 (ja) * 2010-12-24 2012-06-28 日本電気株式会社 監視データ分析装置、監視データ分析方法および監視データ分析プログラム
CN102915269A (zh) * 2012-09-20 2013-02-06 山东浪潮齐鲁软件产业股份有限公司 一种b/s软件系统的通用日志分析方法
WO2014054854A1 (ko) * 2012-10-05 2014-04-10 Kang Myoung Hun 보안 시스템의 로그 분석 시스템 및 방법

Also Published As

Publication number Publication date
US20160112285A1 (en) 2016-04-21
WO2016064024A1 (ko) 2016-04-28
KR101594701B1 (ko) 2016-02-16

Similar Documents

Publication Publication Date Title
US20210049092A1 (en) Analyzing software test failures using natural language processing and machine learning
US9734005B2 (en) Log analytics for problem diagnosis
US8024617B2 (en) Method and apparatus for cause analysis involving configuration changes
US10235524B2 (en) Methods and apparatus for identifying and removing malicious applications
Tak et al. Logan: Problem diagnosis in the cloud using log-based reference models
WO2018120721A1 (zh) 用户界面的测试方法、系统、电子装置及计算机可读存储介质
US9971674B2 (en) System and method for testing software in a multi-platform testing environment
CN105786677A (zh) 异常连接检测装置及方法
US11126494B2 (en) Automated, adaptive, and auto-remediating system for production environment
US20210133076A1 (en) System and method for detecting anomalies based on feature signature of task workflows
CN110750458A (zh) 大数据平台测试方法、装置、可读存储介质及电子设备
US10216617B2 (en) Automatically complete a specific software task using hidden tags
CN108241580B (zh) 客户端程序的测试方法及终端
US20170149800A1 (en) System and method for information security management based on application level log analysis
US10970200B2 (en) Test result triage for a failed code validation
US10929261B1 (en) Device diagnosis
Choi et al. All‐in‐One Framework for Detection, Unpacking, and Verification for Malware Analysis
JP4504346B2 (ja) トラブル要因検出プログラム、トラブル要因検出方法およびトラブル要因検出装置
US20090307668A1 (en) Software problem identification tool
US9298539B1 (en) Automated error recovery for workflows
KR101619691B1 (ko) 프로그램 오류 분석 방법 및 시스템
Liu et al. Automatic cloud service testing and bottleneck detection system with scaling recommendation
JP5679347B2 (ja) 障害検知装置、障害検知方法、及びプログラム
CN105160259B (zh) 一种基于模糊测试的虚拟化漏洞发掘系统和方法
CN111177704B (zh) 一种捆绑识别方法、装置、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160720