CN111324516A - 自动记录异常事件的方法及装置、存储介质、电子设备 - Google Patents
自动记录异常事件的方法及装置、存储介质、电子设备 Download PDFInfo
- Publication number
- CN111324516A CN111324516A CN201811442387.0A CN201811442387A CN111324516A CN 111324516 A CN111324516 A CN 111324516A CN 201811442387 A CN201811442387 A CN 201811442387A CN 111324516 A CN111324516 A CN 111324516A
- Authority
- CN
- China
- Prior art keywords
- record
- abnormal
- target
- event
- exception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 245
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims description 35
- 239000000523 sample Substances 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 4
- 238000007418 data mining Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Computer Hardware Design (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及计算机领域，提供了一种自动记录异常事件的方法及装置、计算机存储介质、电子设备，自动记录异常事件的方法包括：对目标服务器进行探测，以获取异常数据；将所述异常数据以预设格式存储于缓冲区中，以对所述缓冲区中的异常记录进行更新；对更新后的所述异常记录按照预设规则进行处理，以获取第一目标异常记录；根据所述第一目标异常记录对数据库表中的异常事件记录进行更新。本公开的方法一方面能够自动完成异常事件的准确识别，避免了人工干预，减少了人力和成本，提高了识别效率；另一方面能够去除大量异常记录中的无效记录，极大地提升了运维效率和系统高可用性。
Description
技术领域
本公开涉及计算机领域，特别涉及一种自动记录异常事件的方法、自动记录异常事件的装置、计算机存储介质及电子设备。
背景技术
随着云计算和人工智能技术的快速发展，互联网公司的数据中心的规模在不断扩大，服务器数量也在以数量级的方式增长，支撑了互联网公司业务的快速增长和扩张。然而，数据中心中的服务器运维管理方式却不够与时俱进，显得力不从心。
在服务器异常管理方面，准确、高效记录服务器的异常事件信息可以为服务器维修、检测、异常告警提供参考。目前很多企业采用的是通过电子表格记录异常事件，还有一些企业的数据中心采用的是在监控系统中集成异常事件记录的功能，即监控系统检测到服务器连通性异常时就将该事件的相关信息写入到数据库中。但是无论是采用电子表格还是采用管理系统记录服务器异常事件，都需要人工录入，这种方式在大规模数据中心的场景下效率低、易出错、无法实现自动化，并且监控系统中集成异常事件记录的功能比较单一，无法做到记录收敛和去除无效记录，使得得到的事件记录信息十分冗余甚至不可靠，参考和挖掘的价值大大降低。
鉴于此，本领域亟需开发一种新的自动记录异常事件的的方法及装置。
需要说明的是，上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。
发明内容
本公开的目的在于提供一种自动记录异常事件的方法、自动记录异常事件的装置、计算机存储介质及电子设备，进而至少在一定程度上避免了人工识别异常事件，通过自动完成异常事件的识别，减少了人力和成本，提高了准确率；并且能够去除无效记录，在服务器数量剧增的情况下也能持续稳定工作，极大提升运维效率和系统的高可用性。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种自动记录异常事件的方法，其特征在于，包括：
对目标服务器进行探测，以获取异常数据；
将所述异常数据以预设格式存储于缓冲区中，以对所述缓冲区中的异常记录进行更新；
对更新后的所述异常记录按照预设规则进行处理，以获取第一目标异常记录；
根据所述第一目标异常记录对数据库表中的异常事件记录进行更新。
在本公开的示例性实施例中，所述探测包括第一探测和第二探测；对目标服务器进行探测，以获取异常数据，包括：
对所述目标服务器进行所述第一探测，以根据探测结果确定是否进行第二探测；
当所述探测结果为通过时，对所述目标服务器继续进行所述第二探测，以获取所述异常数据；
当所述探测结果为不通过时，将所述探测结果对应的数据作为所述异常数据。
在本公开的示例性实施例中，所述第一探测为因特网包探索器探测，所述第二探测为安全外壳协议探测。
在本公开的示例性实施例中，所述预设格式为<IP:事件类型:写入时间:写入次数>，其中所述IP为所述目标服务器的IP地址，所述事件类型为所述异常数据对应的事件类型，所述写入时间为所述异常数据的最新写入时间，所述写入次数为所述异常数据在所述缓冲区中的写入次数。
在本公开的示例性实施例中，所述缓冲区中存储有多条异常记录；将所述异常数据以预设格式存储于缓冲区中，以对所述缓冲区中的异常记录进行更新，包括：
将所述异常数据对应的IP地址和事件类型的组合与各所述异常记录的IP地址和事件类型的组合进行匹配，判断所述缓冲区中是否存在与所述异常数据对应的IP地址和事件类型的组合匹配的第二目标异常记录；
若判定存在所述第二目标异常记录，则在所述第二目标异常记录中的写入次数上加一以更新所述第二目标异常记录。
在本公开的示例性实施例中，将所述异常数据以预设格式存储于缓冲区中，以对所述缓冲区中的异常记录进行更新，包括：
若判定不存在所述第二目标异常记录，则将所述异常数据按照所述预设格式形成新记录，并将所述新记录存储于所述缓冲区中。
在本公开的示例性实施例中，对更新后的所述异常记录按照预设规则进行处理，以获取第一目标异常记录，包括：
根据所述异常记录中的写入次数获取目标写入次数；
将所述目标写入次数与第一预设值进行比较，以判断所述异常记录是否为所述第一目标异常记录；
当所述目标写入次数大于所述第一预设值时，所述异常记录为所述第一目标异常记录。
在本公开的示例性实施例中，所述方法还包括：当所述目标写入次数小于或等于所述第一预设值时，获取所述异常记录中的写入时间距离当前时刻的第一时间差；
将所述第一时间差与第二预设值进行比较，以判断是否清除所述异常记录；
当所述第一时间差大于所述第二预设值时，清除所述异常记录。
在本公开的示例性实施例中，根据所述异常记录中的写入次数获取目标写入次数，包括：
计算所述异常记录中的写入次数的正平方根；
对所述正平方根取最大整数，并将所述最大整数作为所述目标写入次数。
在本公开的示例性实施例中，根据所述第一目标异常记录对数据库表中的异常事件记录进行更新，包括：
获取所述第一目标异常记录中的IP地址和事件类型的组合；
判断所述数据库表中是否存在与所述第一目标异常记录中的IP地址和事件类型的组合匹配的目标异常事件记录；
当判定存在所述目标异常事件记录时，根据所述第一目标异常记录中的写入时间和所述目标异常事件记录中的写入时间确定所述数据库表的更新方式；
当判定不存在所述目标异常事件记录时，将所述第一目标异常记录写入所述数据库表中。
在本公开的示例性实施例中，根据所述第一目标异常记录中的写入时间和所述目标异常事件记录中的写入时间确定所述数据库表的更新方式，包括：
获取所述第一目标异常记录中的写入时间和所述目标异常事件记录中的写入时间之间的第二时间差；
将所述第二时间差与第三预设值进行比较，以判断是否采用所述第一目标异常记录替换所述目标异常事件记录；
当所述第二时间差小于或等于所述第三预设值时，采用所述第一目标异常记录替换所述目标异常事件记录；
当所述第二时间差大于所述第三预设值时，将所述第一目标异常记录写入所述数据库中。
在本公开的示例性实施例中，对更新后的所述异常记录按照预设规则进行处理，以获取第一目标异常记录，包括：
对更新后的所述异常记录按照所述预设规则并间隔预设时间段进行全量检查和操作，以获取所述第一目标异常记录。
根据本公开的第二方面，提供一种自动记录异常事件的装置，其特征在于，包括：
探测模块，用于对目标服务器进行探测，以获取异常数据；
第一更新模块，用于将所述异常数据以预设格式存储于缓冲区中，以对所述缓冲区中的异常记录进行更新；
异常记录获取模块，用于对更新后的所述异常记录按照预设规则进行处理，以获取第一目标异常记录；
第二更新模块，用于根据所述第一目标异常记录对数据库表中的异常事件记录进行更新。
根据本公开的第三方面，提供一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的自动记录异常事件的方法。
根据本公开的的第四方面，提供一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述的自动记录异常事件的方法。
由上述技术方案可知，本公开示例性实施例中的自动记录异常事件的方法、自动记录异常事件的装置、计算机存储介质及电子设备至少具备以下优点和积极效果：
本公开中的自动记录异常事件的方法通过对目标服务器进行探测获取异常数据；将异常数据按照预设格式存储在缓冲区中，以对缓冲区中的异常记录进行更新；然后对更新后的异常记录按照预设规则进行处理以获取第一目标异常记录；最后根据第一目标异常记录对数据库表中的异常事件记录进行更新。本公开的方法一方面能够自动完成异常事件的准确识别，避免了人工干预，减少了人力和成本，提高了识别效率；另一方面能够去除大量异常记录中的无效记录，极大地提升了运维效率和系统高可用性。
本公开应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开示例性实施例中自动记录异常事件的方法的流程示意图；
图2示出本公开示例性实施例中自动记录异常事件的方法的应用场景示例图；
图3示出本公开示例性实施例中目标服务器的探测流程图；
图4示出本公开示例性实施例中对异常记录进行处理的流程示意图；
图5示出本公开示例性实施例中根据第一目标异常记录对数据库表中的异常事件记录进行更新的流程示意图；
图6示出本公开示例性实施例中自动记录异常事件的装置的结构示意图；
图7示出本公开示例性实施例中计算机存储介质的结构示意图；
图8示出本公开示例性实施例中电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”和“第二”等仅作为标记使用，不是对其对象的数量限制。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。
针对相关技术中存在的问题，本公开提出了一种自动记录异常事件的方法，图1示出了自动记录异常事件的方法的流程图，如图1所示，自动记录异常事件的方法包括：
步骤S110：对目标服务器进行探测，以获取异常数据；
步骤S120：将所述异常数据以预设格式存储于缓冲区中，以对所述缓冲区中的异常记录进行更新；
步骤S130：对更新后的所述异常记录按照预设规则进行处理，以获取第一目标异常记录；
步骤S140：根据所述第一目标异常记录对数据库表中的异常事件记录进行更新。
本公开的自动记录异常事件的方法能够自动完成对异常事件的准确识别，，避免了人工干预，减少了人力和成本的投入，提升了运维效率和系统的高可用性。
下面结合图2所示的结构，对自动记录异常事件的方法的各个步骤进行详细说明。
在步骤S110中，对目标服务器进行探测，以获取异常数据。
在本公开的示例性实施例中，数据中心201内部署有多个探测服务，该多个探测服务用于对目标服务器202进行探测，获取目标服务器202中的硬件、软件或网络链路中出现异常的异常数据。为了通过探测服务对目标服务器202进行探测，需要保证探测服务和目标服务器202在同一内网中，且相互连通。
在本公开的示例性实施例中，数据中心201中部署有两个探测服务，用于对目标服务器进行第一探测和第二探测，进一步的，该第一探测为因特网包探索器(PacketInternet Groper，简称ping)探测，该第二探测为安全外壳协议(Secure Shell，简称ssh)探测。其中因特网包探索器Ping是Windows、Unix和Linux系统下的一个命令，属于一个通信协议，是TCP/IP协议的一部分，利用“ping”命令可以检查网络是否连通，进而分析和判定网络故障；安全外壳协议ssh为建立在应用层基础上的安全协议，是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议，利用ssh协议可以有效防止远程管理过程中的信息泄露问题。在本公开中，因特网包探索器探测和安全外壳协议探测可以对目标服务器探测，图3示出了目标服务器的探测流程图，如图3所示，在步骤S301中，对目标服务器进行ping探测；在步骤S302中，判断对目标服务器202的探测是否通过；在步骤S303中，当ping探测在目标服务器202的探测端的探测结果为通过时，对目标服务器202继续进行ssh探测；在步骤S304中，判断ssh探测在目标服务器202的探测是否通过；具体地可以通过对ssh登录执行一条简单命令以判断ssh探测是否通过；在步骤S305中，当ssh探测在目标服务器202的探测结果是通过时，确定目标服务器202的状态正常；在步骤S306中，当ssh探测在目标服务器202的探测结果是不通过时，确定目标服务器202状态异常，存在硬件或软件方面异常；在步骤S307中，当ping探测在目标服务器202的探测端的探测结果为不通过时，确定目标服务器202状态异常，存在硬件、软件或网络链路异常。需要说明的是，当ping探测的探测结果为不通过时，可以不用对目标服务器202继续进行ssh探测。
在本公开的示例性实施例中，目标服务器202的数量可以是一个或多个，对于大型企业而言通常设置有多个目标服务器，因此在本公开中，可以通过ping探测和ssh探测同时对多个目标服务器进行探测。进一步的，ping探测和ssh探测可以对目标服务器间隔一预设时间段进行探测，该预设时间段可以根据实际需要进行设定，例如可以设置为5s、10s等等，本公开对此不做具体限定。
在步骤S120中，将所述异常数据以预设格式存储于缓冲区中，以对所述缓冲区中的异常记录进行更新。
在本公开的示例性实施例中，通过对目标服务器202进行探测获取到使目标服务器异常的异常数据后，可以将异常数据存储于缓冲区中，对缓冲区中的异常记录进行更新。为了保证缓冲区中异常数据的存储格式一致，便于进行数据查询，可以将异常数据按照预设格式存储在缓冲区中。在本公开中，异常数据在缓冲区中的数据结构可以表示为<IP:事件类型:写入时间:写入次数>，其中IP是目标服务器202的IP地址，由于目标服务器202在数据中心内网环境中，因此目标服务器202的IP地址是唯一的；事件类型是异常数据对应的事件类型，以对目标服务器202进行ping探测和ssh探测为例，目标服务器202发生异常的事件类型可以分为两种：ping探测不通过、ping探测通过而ssh探测不通过，可表示为：IPPingFailed、IPPingSuccessSShFailed；写入时间是异常数据写入缓冲区的最新写入时间，由于在不同时间可能探测到相同异常数据，那么在写入缓冲区时，可以将相同异常数据对应的记录进行合并，只保留最近一次探测到目标服务器异常的时间，也即每次写入数据到缓冲区时的当前时间；写入次数是异常数据在缓冲区中的写入次数，例如相同的异常数据被探测到一次或多次，那么在缓冲区中，该异常数据对应的记录只有一条，而写入次数则与探测到的次数对应。
在本公开的示例性实施例中，由于目标服务器202的IP地址是唯一的，那么由IP和事件类型形成的组合可以作为缓冲区中异常记录的唯一标识。进一步的，写入次数为异常数据写入的次数，因此其类型为整数，举例而言，异常数据对应的IP地址是172.22.80.100，事件类型是IPPingSuccessSShFailed，探测到异常数据的时间为2018-1-10 21:24:53，那么可以根据<IP:事件类型>在缓冲区中进行匹配，判断是否存在相同<IP:事件类型>的异常记录，如果存在，则在该异常记录的写入次数上加一，例如缓冲区中存在一异常记录为<172.22.80.100:IPPingSuccessSSh Failed:2018-1-10 21:24:48:1>，那么将该异常数据写入缓冲区后，该异常记录变为<172.22.80.100:IPPingSuccessSShFailed:2018-1-1021:24:53:2>；如果不存在，则将异常数据按照预设格式形成新的异常记录，插入到缓冲区中，其具体结构为：<172.22.80.100:IPPingSuccessSShFailed:2018-1-1021:24:53:1>。
在步骤S130中，对更新后的所述异常记录按照预设规则进行处理，以获取第一目标异常记录。
在本公开的示例性实施例中，将异常数据存储于缓冲区中完成对缓冲区中异常记录的更新后，可以对缓冲区中的异常记录进行处理，去除无效记录，保留有效记录，提升存储空间和运维效率。
在本公开的示例性实施例中，可以对缓冲区中的异常记录间隔一预设时间段进行处理，该预设时间段可以根据实际需要进行设定，如设定为3min、5min等等，本公开对此不作具体限定。图4示出了对异常记录进行处理的流程示意图，如图4所示，在步骤S401中，根据异常记录中的写入次数获取目标写入次数；例如可以对写入次数求平方根，并对正平方根向下取整，获得不大于正平方根的最大整数，该最大整数即可作为目标写入次数，其表达式如公式(1)所示：
count’＝floor(sqrt(count)) (1)
其中，count为写入次数，sqrt为求平方根函数，floor为向下取整函数，count’为目标写入次数。
在步骤S402中，将目标写入次数与第一预设值进行比较，以判断该异常记录是否为第一目标异常记录；在步骤S403中，当目标写入次数大于第一预设值时，该异常记录为第一目标异常记录；在步骤S404中，当目标写入次数小于或等于第一预设值时，获取该异常记录中的写入时间和当前时刻之间的第一时间差；在步骤S405中，将第一时间差与第二预设值进行比较，判断是否清除该异常记录；在步骤S406中，当第一时间差大于第二预设值时，清除该异常记录；在步骤S407中，当第一时间差小于或等于第二预设值时，不对该异常记录进行处理，继续检查下一条异常记录。其中，第一预设值、第二预设值可以根据实际需要设定，如将第一预设值可以设定为3，第二预设值设定为5min，等等，通过将目标写入次数与3进行比较，判断异常记录是否为第一目标异常记录，将第一时间差与5min进行比较，根据不同的比较结果将异常记录进行无效或保留。
在步骤S140中，根据所述第一目标异常记录对数据库表中的异常事件记录进行更新。
在本公开的示例性实施例中，获取第一目标异常记录后，可以根据第一目标异常记录在数据库表中进行查询，根据查询结果对数据库表进行更新。图5示出了根据第一目标异常记录对数据库表中的异常事件记录进行更新的流程示意图，如图5所示，在步骤S501中，获取第一目标异常记录中的IP地址和事件类型的组合；在步骤S502中，判断数据库表中是否存在与第一目标异常记录中的IP地址和事件类型的组合匹配的目标异常事件记录；在步骤S503中，当判定数据库表中存在与第一目标异常记录中的IP地址和事件类型的组合匹配的目标异常事件记录时，获取第一目标异常记录中的写入时间和目标异常事件记录中的写入时间之间的第二时间差；在步骤S504中，将第二时间差与第三预设值进行比较，判断是否采用第一目标异常记录替换目标异常事件记录；在步骤S505中，当第二时间差大于第三预设值时，将第一目标异常记录写入数据库表中；在步骤S506中，当第二时间差小于或等于第三预设值时，采用第一目标异常记录替换目标异常事件记录；在步骤S507中，当判定数据库表中不存在与第一目标异常记录中的IP地址和事件类型的组合匹配的目标异常事件记录时，将第一目标异常记录写入数据库表中。其中，第三预设值可以根据实际需要设定，如将第三预设值设定为24h等，通过将第二时间差与24h进行比较，根据不同的比较结果将第一目标异常记录写入数据库表或替换数据库表中的异常事件记录。
在本公开的示例性实施例中，数据库表中的数据存储结构与缓冲区中的数据存储结构不同，缓冲区中以IP和事件类型的组合为唯一索引，而数据库表中可以存在多条异常事件记录的IP和事件类型相同，以便查询历史记录，用于数据挖掘等场景。进一步，为了便于查询，可以在数据库表中增加一个ID字段作为主键，唯一标识这一异常事件记录。
本公开中的自动记录异常事件的方法，在一次循环处理完缓冲区中所有记录后，所有无效或者误报的服务器探测异常的事件记录都已经被从缓冲区中清除，而真正探测到的服务器异常事件记录被更新到数据库表中存储，能够有效减少因探测频率高导致的同一异常事件的写入次数过大的问题，同时能够减少因网络抖动等原因导致的单次孤立异常事件误报以及同一异常重复多次记录的问题，实现大规模数据中心内服务器异常事件完全自动、准确、高效记录，并且记录的信息可以用于实时告警、查询和数据挖掘等场景。数据中心运维人员收到告警信息后可以对目标服务器进行人工检修，定位实际故障原因后，管理程序从检修系统中获取故障原因并更新到数据库表中对应记录的字段中，供日后参考和数据挖掘使用。
本公开还提供了一种自动记录异常事件的装置，图6示出了自动记录异常事件的装置的结构示意图，如图6所示，自动记录异常事件的装置600可以包括探测模块601、第一更新模块602、异常记录获取模块603和第二更新模块604。其中：
探测模块601，用于对目标服务器进行探测，以获取异常数据；
第一更新模块602，用于将所述异常数据以预设格式存储于缓冲区中，以对所述缓冲区中的异常记录进行更新；
异常记录获取模块603，用于对更新后的所述异常记录按照预设规则进行处理，以获取第一目标异常记录；
第二更新模块604，用于根据所述第一目标异常记录对数据库表中的异常事件记录进行更新。
上述自动记录异常事件的装置中各模块的具体细节已经在对应的自动记录异常事件的方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图7来描述根据本发明的这种实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：上述至少一个处理单元710、上述至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元710执行，使得所述处理单元710执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元710可以执行如图1中所示的步骤S110：对目标服务器进行探测，以获取异常数据；步骤S120：将所述异常数据以预设格式存储于缓冲区中，以对所述缓冲区中的异常记录进行更新；步骤S130：对更新后的所述异常记录按照预设规则进行处理，以获取第一目标异常记录；步骤S140：根据所述第一目标异常记录对数据库表中的异常事件记录进行更新。
存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202，还可以进一步包括只读存储单元(ROM)7203。
存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204，这样的程序模块7205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备700也可以与一个或多个外部设备1100(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且，电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器760通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图8所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
Claims (15)
1.一种自动记录异常事件的方法，其特征在于，包括：
对目标服务器进行探测，以获取异常数据；
将所述异常数据以预设格式存储于缓冲区中，以对所述缓冲区中的异常记录进行更新；
对更新后的所述异常记录按照预设规则进行处理，以获取第一目标异常记录；
根据所述第一目标异常记录对数据库表中的异常事件记录进行更新。
2.根据权利要求1所述的自动记录异常事件的方法，其特征在于，所述探测包括第一探测和第二探测；
对目标服务器进行探测，以获取异常数据，包括：
对所述目标服务器进行所述第一探测，以根据探测结果确定是否进行第二探测；
当所述探测结果为通过时，对所述目标服务器继续进行所述第二探测，以获取所述异常数据；
当所述探测结果为不通过时，将所述探测结果对应的数据作为所述异常数据。
3.根据权利要求2所述的自动记录异常事件的方法，其特征在于，所述第一探测为因特网包探索器探测，所述第二探测为安全外壳协议探测。
4.根据权利要求1所述的自动记录异常事件的方法，其特征在于，所述预设格式为<IP:事件类型:写入时间:写入次数>，其中所述IP为所述目标服务器的IP地址，所述事件类型为所述异常数据对应的事件类型，所述写入时间为所述异常数据的最新写入时间，所述写入次数为所述异常数据在所述缓冲区中的写入次数。
5.根据权利要求4所述的自动记录异常事件的方法，其特征在于，所述缓冲区中存储有多条异常记录；
将所述异常数据以预设格式存储于缓冲区中，以对所述缓冲区中的异常记录进行更新，包括：
将所述异常数据对应的IP地址和事件类型的组合与各所述异常记录的IP地址和事件类型的组合进行匹配，判断所述缓冲区中是否存在与所述异常数据对应的IP地址和事件类型的组合匹配的第二目标异常记录；
若判定存在所述第二目标异常记录，则在所述第二目标异常记录中的写入次数上加一以更新所述第二目标异常记录。
6.根据权利要求5所述的自动记录异常事件的方法，其特征在于，将所述异常数据以预设格式存储于缓冲区中，以对所述缓冲区中的异常记录进行更新，包括：
若判定不存在所述第二目标异常记录，则将所述异常数据按照所述预设格式形成新记录，并将所述新记录存储于所述缓冲区中。
7.根据权利要求1所述的自动记录异常事件的方法，其特征在于，对更新后的所述异常记录按照预设规则进行处理，以获取第一目标异常记录，包括：
根据所述异常记录中的写入次数获取目标写入次数；
将所述目标写入次数与第一预设值进行比较，以判断所述异常记录是否为所述第一目标异常记录；
当所述目标写入次数大于所述第一预设值时，所述异常记录为所述第一目标异常记录。
8.根据权利要求7所述的自动记录异常事件的方法，其特征在于，所述方法还包括：
当所述目标写入次数小于或等于所述第一预设值时，获取所述异常记录中的写入时间距离当前时刻的第一时间差；
将所述第一时间差与第二预设值进行比较，以判断是否清除所述异常记录；
当所述第一时间差大于所述第二预设值时，清除所述异常记录。
9.根据权利要求7所述的自动记录异常事件的方法，其特征在于，根据所述异常记录中的写入次数获取目标写入次数，包括：
计算所述异常记录中的写入次数的正平方根；
对所述正平方根取最大整数，并将所述最大整数作为所述目标写入次数。
10.根据权利要求1所述的自动记录异常事件的方法，其特征在于，根据所述第一目标异常记录对数据库表中的异常事件记录进行更新，包括：
获取所述第一目标异常记录中的IP地址和事件类型的组合；
判断所述数据库表中是否存在与所述第一目标异常记录中的IP地址和事件类型的组合匹配的目标异常事件记录；
当判定存在所述目标异常事件记录时，根据所述第一目标异常记录中的写入时间和所述目标异常事件记录中的写入时间确定所述数据库表的更新方式；
当判定不存在所述目标异常事件记录时，将所述第一目标异常记录写入所述数据库表中。
11.根据权利要求10所述的自动记录异常事件的方法，其特征在于，根据所述第一目标异常记录中的写入时间和所述目标异常事件记录中的写入时间确定所述数据库表的更新方式，包括：
获取所述第一目标异常记录中的写入时间和所述目标异常事件记录中的写入时间之间的第二时间差；
将所述第二时间差与第三预设值进行比较，以判断是否采用所述第一目标异常记录替换所述目标异常事件记录；
当所述第二时间差小于或等于所述第三预设值时，采用所述第一目标异常记录替换所述目标异常事件记录；
当所述第二时间差大于所述第三预设值时，将所述第一目标异常记录写入所述数据库表中。
12.根据权利要求1所述的自动记录异常事件的方法，其特征在于，对更新后的所述异常记录按照预设规则进行处理，以获取第一目标异常记录，包括：
对更新后的所述异常记录按照所述预设规则并间隔预设时间段进行全量检查和操作，以获取所述第一目标异常记录。
13.一种自动记录异常事件的装置，其特征在于，包括：
探测模块，用于对目标服务器进行探测，以获取异常数据；
第一更新模块，用于将所述异常数据以预设格式存储于缓冲区中，以对所述缓冲区中的异常记录进行更新；
异常记录获取模块，用于对更新后的所述异常记录按照预设规则进行处理，以获取第一目标异常记录；
第二更新模块，用于根据所述第一目标异常记录对数据库表中的异常事件记录进行更新。
14.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～12中任意一项所述的自动记录异常事件的方法。
15.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～12中任意一项所述的自动记录异常事件的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811442387.0A CN111324516A (zh) | 2018-11-29 | 2018-11-29 | 自动记录异常事件的方法及装置、存储介质、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811442387.0A CN111324516A (zh) | 2018-11-29 | 2018-11-29 | 自动记录异常事件的方法及装置、存储介质、电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111324516A true CN111324516A (zh) | 2020-06-23 |
Family
ID=71168570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811442387.0A Pending CN111324516A (zh) | 2018-11-29 | 2018-11-29 | 自动记录异常事件的方法及装置、存储介质、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111324516A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114722061A (zh) * | 2022-04-08 | 2022-07-08 | 中国电信股份有限公司 | 数据处理方法及装置、设备、计算机可读存储介质 |
| CN115514672A (zh) * | 2022-09-19 | 2022-12-23 | 上海亿为科技有限公司 | 机柜扫描处理方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040260474A1 (en) * | 2003-06-17 | 2004-12-23 | International Business Machines Corporation | Logging of exception data |
| CN102063360A (zh) * | 2010-11-29 | 2011-05-18 | 深圳市五巨科技有限公司 | 一种远程服务器监控报警的方法和装置 |
| CN104320308A (zh) * | 2014-11-12 | 2015-01-28 | 浪潮(北京)电子信息产业有限公司 | 一种服务器异常检测的方法及装置 |
| CN105607983A (zh) * | 2015-11-09 | 2016-05-25 | 北京京东尚科信息技术有限公司 | 数据异常监控方法和装置 |
| CN107066371A (zh) * | 2017-04-18 | 2017-08-18 | 北京百度网讯科技有限公司 | 数据监控方法和装置 |
| CN107769963A (zh) * | 2017-09-29 | 2018-03-06 | 贵州白山云科技有限公司 | 一种内容分发网络故障定位方法和装置 |
| US20180239655A1 (en) * | 2017-02-20 | 2018-08-23 | Tsinghua University | Method for Processing Asynchronous Event by Checking Device and Checking Device |
| CN108491320A (zh) * | 2018-03-05 | 2018-09-04 | 平安普惠企业管理有限公司 | 应用程序的异常分析方法、装置、计算机设备和存储介质 |
| CN108763108A (zh) * | 2018-06-04 | 2018-11-06 | 中国电子科技集团公司第十四研究所 | 记录报文数据的装置及方法 |
| CN108804237A (zh) * | 2017-05-05 | 2018-11-13 | 北京京东尚科信息技术有限公司 | 数据实时统计方法、装置、存储介质和电子设备 |
-
2018
- 2018-11-29 CN CN201811442387.0A patent/CN111324516A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040260474A1 (en) * | 2003-06-17 | 2004-12-23 | International Business Machines Corporation | Logging of exception data |
| CN102063360A (zh) * | 2010-11-29 | 2011-05-18 | 深圳市五巨科技有限公司 | 一种远程服务器监控报警的方法和装置 |
| CN104320308A (zh) * | 2014-11-12 | 2015-01-28 | 浪潮(北京)电子信息产业有限公司 | 一种服务器异常检测的方法及装置 |
| CN105607983A (zh) * | 2015-11-09 | 2016-05-25 | 北京京东尚科信息技术有限公司 | 数据异常监控方法和装置 |
| US20180239655A1 (en) * | 2017-02-20 | 2018-08-23 | Tsinghua University | Method for Processing Asynchronous Event by Checking Device and Checking Device |
| CN107066371A (zh) * | 2017-04-18 | 2017-08-18 | 北京百度网讯科技有限公司 | 数据监控方法和装置 |
| CN108804237A (zh) * | 2017-05-05 | 2018-11-13 | 北京京东尚科信息技术有限公司 | 数据实时统计方法、装置、存储介质和电子设备 |
| CN107769963A (zh) * | 2017-09-29 | 2018-03-06 | 贵州白山云科技有限公司 | 一种内容分发网络故障定位方法和装置 |
| CN108491320A (zh) * | 2018-03-05 | 2018-09-04 | 平安普惠企业管理有限公司 | 应用程序的异常分析方法、装置、计算机设备和存储介质 |
| CN108763108A (zh) * | 2018-06-04 | 2018-11-06 | 中国电子科技集团公司第十四研究所 | 记录报文数据的装置及方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114722061A (zh) * | 2022-04-08 | 2022-07-08 | 中国电信股份有限公司 | 数据处理方法及装置、设备、计算机可读存储介质 |
| CN114722061B (zh) * | 2022-04-08 | 2023-11-14 | 中国电信股份有限公司 | 数据处理方法及装置、设备、计算机可读存储介质 |
| CN115514672A (zh) * | 2022-09-19 | 2022-12-23 | 上海亿为科技有限公司 | 机柜扫描处理方法及系统 |
| CN115514672B (zh) * | 2022-09-19 | 2024-03-08 | 上海亿为科技有限公司 | 机柜扫描处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7664986B2 (en) | System and method for determining fault isolation in an enterprise computing system | |
| US8676568B2 (en) | Information processing apparatus and message extraction method | |
| CN110955550B (zh) | 一种云平台故障定位方法、装置、设备及存储介质 | |
| CN102597962A (zh) | 用于虚拟计算环境中的故障管理的方法和系统 | |
| CN110515758B (zh) | 一种故障定位方法、装置、计算机设备及存储介质 | |
| US11514348B2 (en) | Detecting deviations between event log and process model | |
| CN115034596A (zh) | 一种风险传导预测方法、装置、设备和介质 | |
| US8984333B2 (en) | Automatic computer storage medium diagnostics | |
| CN111324516A (zh) | 自动记录异常事件的方法及装置、存储介质、电子设备 | |
| US10007583B2 (en) | Generating a data structure to maintain error and connection information on components and use the data structure to determine an error correction operation | |
| CN111901172B (zh) | 基于云计算环境下的应用服务监控方法及系统 | |
| CN115102838B (zh) | 服务器宕机风险的应急处理方法和装置、电子设备 | |
| CN110851316B (zh) | 异常预警方法及装置、系统、电子设备、存储介质 | |
| JP2009181495A (ja) | ジョブ処理システムおよびジョブ管理方法 | |
| US9141460B2 (en) | Identify failed components during data collection | |
| CN113626288B (zh) | 故障处理方法、系统、装置、存储介质和电子设备 | |
| CN109947602A (zh) | 基于powerVM的分区恢复方法、装置、设备及介质 | |
| US20230025081A1 (en) | Model training method, failure determining method, electronic device, and program product | |
| CN113849378A (zh) | 资源监测装置、系统、资源监测方法、电子及介质 | |
| JP2009181494A (ja) | ジョブ処理システムおよびジョブ情報取得方法 | |
| CN118656307B (zh) | 基板管理控制器的故障检测方法、服务器、介质和产品 | |
| CN117407207B (zh) | 一种内存故障处理方法、装置、电子设备及存储介质 | |
| US20230409421A1 (en) | Anomaly detection in computer systems | |
| CN113724099A (zh) | 一种设备管理方法、装置、电子设备及存储介质 | |
| CN115188177A (zh) | 一种动力电池测试数据管理方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |