CN111198853B - 数据处理方法、装置、电子设备及计算机可读存储介质 - Google Patents
数据处理方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111198853B CN111198853B CN201811367915.0A CN201811367915A CN111198853B CN 111198853 B CN111198853 B CN 111198853B CN 201811367915 A CN201811367915 A CN 201811367915A CN 111198853 B CN111198853 B CN 111198853B
- Authority
- CN
- China
- Prior art keywords
- time period
- log data
- data
- log
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本公开提供了一种数据处理方法、装置、电子设备及计算机可读存储介质,该方法包括:按照预配置的时间间隔,从至少两台业务服务器获取每一时间段的日志数据;将获取到的每一台业务服务器所对应的日志数据分别进行存储,其中,在存储日志数据时,根据日志数据所对应的时间段进行分段存储。本公开的实施例中,可以按照预配置的时间间隔,从多台业务服务器获取每一时间段的日志数据,然后将获取到的每台业务服务器的日志数据按照对应的时间段进行分别存储,由于是按照每台业务服务器的每个时间段分别对日志数据进行存储,因此,能够得到每一时间段的每一台业务服务器的数据,从而在服务器出现故障时,能够快速确定出哪些数据出现了问题。
Description
技术领域
本公开涉及数据处理技术领域,具体而言,本公开涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。
背景技术
现有技术中,根据不同的业务需求,可能需要通过多台业务服务器对产品的运行参数进行监控,以获取对应的日志数据。
在对日志数据进行存储的过程中,通常是对多台业务服务器的日志数据进行汇总存储,再基于汇总存储的日志数据进行数据分析或进一步的处理等。但,如果在获取日志数据的过程中,多台业务服务器中的一台或多台业务服务器出现故障,通过现有技术中的汇总存储方式,已存储的日志数据中极有可能包括重复存储的数据或遗漏的数据,导致存储的数据不准确,但由于是采用汇总存储的方式,因此,无法确定哪些数据出现了问题。
发明内容
本公开的目的旨在至少能解决上述的技术缺陷之一,提高数据存储的准确性。本公开采用的技术方案如下:
第一方面,本公开提供了一种数据处理方法,该方法包括:
按照预配置的时间间隔,从至少两台业务服务器获取每一时间段的日志数据;
将获取到的每一台业务服务器所对应的日志数据分别进行存储,其中,在存储日志数据时,根据日志数据所对应的时间段进行分段存储。
本公开的实施例中,若至少两台业务服务器中的服务器出现故障时,从至少两台业务服务器获取每一时间段的日志数据,包括:
在出现故障的服务器恢复正常后,从故障时间段的起始时间点开始,继续获取起始时间点之后的每一时间段的日志数据,其中,故障时间段为服务器出现故障的时刻所在的时间段。
本公开的实施例中,继续获取起始时间点之后的每一时间段的日志数据,包括:
继续获取起始时间点之后的每一时间段所对应的出现故障的服务器的日志数据,或者,继续获取起始时间点之后的每一时间段所对应的至少两台业务服务器中所有业务服务器的日志数据。
本公开的实施例中,将获取到的每一台业务服务器所对应的日志数据分别进行存储,包括:
对于每一台业务服务器,若当前时间段所对应的日志数据中包括历史数据,则将历史数据存储到历史时间段所对应的日志数据中,将当前时间段所对应的日志数据中除历史数据之外的数据存储到当前时间段所对应的日志数据中;
其中,历史时间段为当前时间之前的时间段,历史数据所对应的日志记录时间属于历史时间段。
本公开的实施例中,若历史数据与历史时间段所对应的日志数据中,存在日志记录时间相同的数据,将历史数据存储到历史时间段所对应的日志数据中,包括:
根据历史数据,对历史时间段所对应的日志数据中与日志记录时间相同的数据进行更新。
本公开的实施例中,日志数据包括从至少两个业务服务器获取到的同一个被监控业务参数所对应的指标数据。
本公开的实施例中,该方法还包括:
根据预配置的处理策略,对已存储的一个或多个时间段所对应的同一个被监控业务参数所对应的指标数据进行相应处理。
第二方面,本公开提供了一种数据处理装置,该装置包括:
数据获取模块,用于按照预配置的时间间隔,从至少两台业务服务器获取每一时间段的日志数据;
数据存储模块,用于将获取到的每一台业务服务器所对应的日志数据分别进行存储,其中,在存储日志数据时,根据日志数据所对应的时间段进行分段存储。
本公开的实施例中,数据获取模块在至少两台业务服务器中的服务器出现故障,从至少两台业务服务器获取每一时间段的日志数据时,具体用于:
在出现故障的服务器恢复正常后,从故障时间段的起始时间点开始,继续获取起始时间点之后的每一时间段的日志数据,其中,故障时间段为服务器出现故障的时刻所在的时间段。
本公开的实施例中,数据获取模块在继续获取起始时间点之后的每一时间段的日志数据时,具体用于:
继续获取起始时间点之后的每一时间段所对应的出现故障的服务器的日志数据,或者,继续获取起始时间点之后的每一时间段所对应的至少两台业务服务器中所有业务服务器的日志数据。
本公开的实施例中,数据存储模块在将获取到的每一台业务服务器所对应的日志数据分别进行存储时,具体用于:
对于每一台业务服务器,若当前时间段所对应的日志数据中包括历史数据,则将历史数据存储到历史时间段所对应的日志数据中,将当前时间段所对应的日志数据中除历史数据之外的数据存储到当前时间段所对应的日志数据中;
其中,历史时间段为当前时间之前的时间段,历史数据所对应的日志记录时间属于历史时间段。
本公开的实施例中,数据存储模块在历史数据与历史时间段所对应的日志数据中,存在日志记录时间相同的数据,将历史数据存储到历史时间段所对应的日志数据中时,具体用于:
根据历史数据,对历史时间段所对应的日志数据中与日志记录时间相同的数据进行更新。
本公开的实施例中,日志数据包括从至少两个业务服务器获取到的同一个被监控业务参数所对应的指标数据。
本公开的实施例中,该装置还包括:
数据处理模块,用于根据预配置的处理策略,对已存储的一个或多个时间段所对应的同一个被监控业务参数所对应的指标数据进行相应处理。
第三方面,本公开提供了一种电子设备,该电子设备包括:
处理器和存储器;
存储器,用于存储计算机操作指令;
处理器,用于通过调用计算机操作指令,执行如本公开的第一方面的任一实施例中所示的方法。
第四方面,本公开提供了一种计算机可读存储介质,该存储介质存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如本公开的第一方面的任一实施例中所示的方法。
本公开实施例提供的技术方案带来的有益效果是:
本公开实施例的数据处理方法、装置、电子设备及计算机可读存储介质,可以按照预配置的时间间隔,从多台业务服务器获取每一时间段的日志数据,然后将获取到的每台业务服务器的日志数据按照对应的时间段进行分别存储,由于是按照每台业务服务器的每个时间段分别对日志数据进行存储,因此,能够得到每一时间段的每一台业务服务器的数据,从而在服务器出现故障时,能够快速确定出哪些数据出现了问题。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对本公开实施例描述中所需要使用的附图作简单地介绍。
图1为本公开的实施例提供的一种数据处理方法的流程示意图;
图2为本公开的实施例提供的另一种数据处理方法的流程示意图;
图3为本公开的实施例提供的一种数据处理装置的结构示意图;
图4为本公开的实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本公开的实施例,该实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本公开的技术方案,而不能解释为对本公开的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是,本公开的说明书中使用的措辞“包括”是指存在该特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
下面以具体地实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本公开的实施例进行描述。
图1为本公开的实施例提供的一种数据处理方法的流程示意图;如图1所示,该方法可以包括:
步骤S110,按照预配置的时间间隔,从至少两台业务服务器获取每一时间段的日志数据。
其中,网络设备、系统及服务程序等,在运作时都会产生一个叫log的事件记录,该log记录即日志文件,日志文件中日志数据通常都记载着日期、时间、使用者及动作等先关操作的描述。日志文件所记载的具体内容根据系统开启的服务的不同而有所不同。
其中,可根据实际需求配置时间间隔,比如时间间隔为10s,表示每10s从业务服务器中获取一次日志数据,每一个时间段对应的时间是日志数据生成的时间。可以理解的是,一个时间间隔可以对应两个时间节点,则每一时间段为两个相邻时间节点之间对应的一段时间。
步骤S120,将获取到的每一台业务服务器所对应的日志数据分别进行存储,其中,在存储日志数据时,根据日志数据所对应的时间段进行分段存储。
其中,每台业务服务器所对应的日志数据分别进行存储,比如有两台业务服务器,分别为业务服务器A和业务服务器B,则分别将业务服务器A所对应的日志数据进行存储,将业务服务器B所对应的日志数据进行存储,并且,日志数据是按照对应的时间段进行分段存储的,如果时间间隔为10s,则每隔10s,将每台业务服务器所对应的日志数据存储一次,即按照每10s的时间段存储对应的日志数据。
在实际应用时,根据日志数据所对应的时间段进行分段存储,可以根据日志数据所对应的时间段分别为每一时间段设置一时间标识,以在使用日志数据时,能够根据该时间标识查找到所需时间段对应的日志数据。
本公开的实施例中的方案,可以按照预配置的时间间隔,从多台业务服务器获取每一时间段的日志数据,然后将获取到的每台业务服务器的日志数据按照对应的时间段进行分别存储,由于是按照每台业务服务器的每个时间段分别对日志数据进行存储,因此,能够得到每一时间段的每一台业务服务器的数据,从而在服务器出现故障时,能够快速确定出哪些数据出现了问题。
在一示例中,预配置的时间间隔为10s,每一时间段对应的时间均为10s,如果当前时间为8点,至少两台业务服务器为两台业务服务器,分别为业务服务器A和业务服务器B,则从8点开始,从业务服务器A每隔10s获取一段日志数据进行存储,从业务服务器B每隔10s获取一段日志数据进行存储,则获取到的每一时间段的日志数据分别为,8点至8点9秒对应的日志数据,8点10秒至8点19秒对应的日志数据,按照此种方式,不断获取对应时间段的日志数据,并进行存储。
在实际应用中,由至少两台业务服务器获取到的日志数据可以先缓存在同一数据库中,然后再从该数据库中获取对应的数据进行存储,以便于数据的调用。
本公开的实施例中,若至少两台业务服务器中的服务器出现故障时,步骤S110中,从至少两台业务服务器获取每一时间段的日志数据,可以包括:
在出现故障的服务器恢复正常后,从故障时间段的起始时间点开始,继续获取起始时间点之后的每一时间段的日志数据,其中,故障时间段为服务器出现故障的时刻所在的时间段。
其中,在存储日志数据过程中,当至少两台业务服务器中的一台或多台业务服务器出现故障,表示该出现故障的业务服务器所对应的出现故障时刻所存储的日志数据可能不准确,比如,重复存储数据或者漏存了数据,则在出现故障的服务器恢复正常后,即出故障的服务器可以正常存储数据,先要重新确定数据的存储起始时间点,即故障时间段的起始时间点,然后从该起始时间点开始,继续获取起始时间点之后的每一时间段的日志数据。
在一示例中,至少两台业务服务器为两台业务服务器,分别为业务服务器A和业务服务器B,如果从8点开始,每隔10s存储一个时间段的日志数据,在存储日志数据过程中,业务服务器A在8点12s出现故障,在8点16s重启后恢复正常,则故障时间段为8点10秒至8点19秒所对应的时间段,该故障时间段的起始时间点为8点10秒,则从8点10秒开始继续获取8点10秒之后的每一时间段的日志数据,8点10秒之后的每一时间段包括8点10秒至8点19秒所对应的时间段,8点20秒至8点29秒所对应的时间段,以及之后每相隔10s所对应的时间段。
本公开的实施例中,继续获取起始时间点之后的每一时间段的日志数据,可以包括:
继续获取起始时间点之后的每一时间段所对应的出现故障的服务器的日志数据,或者,继续获取起始时间点之后的每一时间段所对应的至少两台业务服务器中所有业务服务器的日志数据。
其中,在已知故障时间段的起始时间点后,与该故障时间段的起始时间点之后的每一时间段所对应的业务服务器,可以是出现故障的业务服务器,或者,可以是至少两个业务服务器中的所有业务服务器,则继续获取起始时间点之后的每一时间段的日志数据时,可以是获取起始时间点之后的每一时间段所对应的出现故障的服务器的日志数据,或者,可以是获取起始时间点之后的每一时间段所对应的至少两台业务服务器中所有业务服务器的日志数据。
在一示例中,至少两台业务服务器为两台业务服务器,分别为业务服务器A和业务服务器B,如果出故障的业务服务器为业务服务器A,故障时间段的起始时间点为8点10秒,则继续获取8点10秒之后的每一时间段的日志数据,可以是业务服务器A中对应的8点10秒之后的每一时间段所对应的日志数据,或者,可以是业务服务器A和业务服务器B中对应的8点10秒之后的每一时间段所对应的日志数据。
本公开的实施例中,步骤S120中,将获取到的每一台业务服务器所对应的日志数据分别进行存储,可以包括:
对于每一台业务服务器,若当前时间段所对应的日志数据中包括历史数据,则将历史数据存储到历史时间段所对应的日志数据中,将当前时间段所对应的日志数据中除历史数据之外的数据存储到当前时间段所对应的日志数据中;
其中,历史时间段为当前时间之前的时间段,历史数据所对应的日志记录时间属于历史时间段。
其中,在对日志数据进行存储的过程中,当前时间段所对应的日志数据中可能包括历史数据,即该当前时间段之前的时间段,即历史时间段所对应的历史数据,则需要将历史数据存储到历史时间段所对应的日志数据中,并且,将该历史时间段所对应的历史数据从该当前时间段所对应的日志数据中剔除,重新对该当前时间段所对应的日志数据进行存储,即将当前时间段所对应的日志数据中除历史数据之外的数据存储到当前时间段所对应的日志数据中。在实际应用中,根据历史数据所对应的日志记录时间,历史时间段可以为当前时间段之前的时间段中的一个或多个时间段。
在一示例中,如果历史时间段为当前时间段之前的时间段中的一个时间段,当前时间段为8分至8分9秒,历史数据所对应的日志记录时间为7分至7分8秒,则该历史数据所对应的历史时间段为7分至7分9秒,将7分至7分8秒所对应的历史数据存储到7分至7分9秒所对应的日志数据中,同时,将当前时间段8分至8分9秒所对应的日志数据中除7分至7分8秒之外的数据存储到8分至8分9秒所对应的日志数据中;存储后,当前时间段8分至8分9秒所对应的日志数据中不包括7分至7分8秒所对应的日志数据。
在又一示例中,如果历史时间段为当前时间段之前的时间段中的多个时间段,历史数据所对应的日志记录时间为7分至7分15秒,则该历史数据所对应的历史时间段为7分至7分9秒,以及7分10秒至7分19秒,将7分至7分15秒所对应的历史数据存储到7分至7分9秒,以及7分10秒至7分19秒所对应的日志数据中,同时,将当前时间段8分至8分9秒所对应的日志数据中除7分至7分15秒之外的数据存储到8分至8分9秒所对应的日志数据中,存储后,当前时间段8分至8分9秒所对应的日志数据中不包括7分至7分15秒所对应的日志数据。
本公开的实施例中,若历史数据与历史时间段所对应的日志数据中,存在日志记录时间相同的数据,将历史数据存储到历史时间段所对应的日志数据中,可以包括:
根据历史数据,对历史时间段所对应的日志数据中与日志记录时间相同的数据进行更新。
其中,历史时间段所对应的日志数据可以是已经存储的数据,也可以是未存储的数据,如果历史时间段所对应的日志数据是未存储的数据,直接将历史数据存储到历史时间段所对应的存储位置上,如果历史时间段所对应的日志数据是已经存储的数据,即在历史数据与历史时间段所对应的日志数据中存在日志记录时间相同的数据,则可以在当前时间段所对应的日志数据中包括历史时间段所对应的历史数据时,对历史时间段所对应的日志数据中,已存储的历史数据,即日志记录时间相同的数据进行更新。
在实际应用中,还可以对每一时间段的数据进行分片存储,即将每一时间段划分为多个子时间段进行存储,则如果在当前时间段所对应的日志数据中包括历史时间段所对应的历史数据,且该历史时间段为多个子时间段中的一个时,可以将该历史数据存储到对应的子时间段所对应的存储位置,或者,只更新该历史数据相对应的子时间段的日志数据。
在一示例中,一个时间段为10s,将该时间段分成5个子时间段,按照时间顺序分别为子时间段a,子时间段b,子时间段c,子时间段d和子时间段e,每个子时间段对应2s的时长,如果当前时间段8分至8分9秒的数据中包括7分至7分2秒所对应的历史数据,则该7分至7分2秒对应的子时间段为子时间段a,可以将该7分至7分2秒对应的历史数据存储到子时间段a所对应的存储位置,或者,只更新该7分至7分2秒对应的历史数据对应的子时间段a的日志数据。
本公开的实施例中,日志数据可以包括从至少两个业务服务器获取到的同一个被监控业务参数所对应的指标数据。
其中,业务服务器用于对日志数据中的业务参数进行监控,即被监控业务参数,不同的业务参数可以反映对应产品的不同性能,日志数据中的被监控业务参数可以根据实际业务需求进行配置,具体的,可以根据业务需求选择日志数据中某个或某几个业务参数作为被监控业务参数,同样的,也可以将日志数据中的全部业务参数作为被监控业务参数。另外,基于不同的业务需求,一个业务服务器可以对应监控一个或多个业务参数,或者一个业务参数可由一个或多个业务服务器进行监控,由于通过同一个被监控参数所对应的指标数据可以集中反应出产品的性能,因此日志数据中包括从业务服务器中获取到的同一个被监控业务参数所对应的指标数据。
本公开的实施例中,该方法还可以包括:
根据预配置的处理策略,对已存储的一个或多个时间段所对应的同一个被监控业务参数所对应的指标数据进行相应处理。
其中,为了可以更好的了解产品的性能,可以通过同一个时间段的,或者某几个时间段的同一个被监控业务参数所对应的指标数据对产品的性能进行评估,则对于已存储的日志数据,可以按照预配置的处理策略,对已存储的一个或多个时间段所对应的同一个被监控业务参数所对应的指标数据进行相应处理,通过得到的处理结果,可以更好的了解产品的性能。其中,处理策略可以基于实际需求进行配置,比如,对某个时间段内的某个被监控参数所对应的指标数据进行求平均值,求和处理等。
在一示例中,被监控参数为用户访问量UV,即Unique Visitor,访问某个应用程序或网站的一个客户端为一个访客,由于访问量UV具体可以通过访问用户的用户ID得到,因此,在实际应用中,可以通过业务服务器对用户ID进行监控,来获得某一时间段访问该应用程序或网站的用户ID的数量,则在同一时间段,从业务服务器A中获取的用户ID数量为400,从业务服务器B中获取的用户ID数量为500,从业务服务器C中获取的用户ID数量为300,通过对从这三个业务服务器获取的用户ID数量进行求平均,得到在该时间段内,每台业务服务器的平均用户ID数量为400,则可通过该平均用户ID数量了解该时间段内的用户访问量。
本公开的实施例中,日志数据为按照预配置的第一数据格式进行转换后的数据。
其中,由于从多个业务服务器中获取的日志数据为不同格式的日志数据,不便于后续的数据处理,因此,将日志数据按照预配置的第一数据格式转化为格式统一的数据,得到的格式统一的数据可以实时为不同业务需求提供数据基础,进而在基于该格式统一的日志数据进行相关处理时,可以提高数据处理的效率。
本公开的实施例中,在按照预配置的时间间隔,从至少两台业务服务器获取每一时间段的日志数据过程中,如果至少两台业务服务器中的服务器出现故障,且出故障的服务器恢复正常后,继续获取的日志数据中包括历史数据,如图2中所示的一种数据处理方法的流程示意图,该数据处理方法可以包括:
步骤S210,按照预配置的时间间隔,从至少两台业务服务器获取每一时间段的日志数据,若至少两台业务服务器中的服务器出现故障时,在出现故障的服务器恢复正常后,从故障时间段的起始时间点开始,继续获取起始时间点之后的每一时间段的日志数据,其中,故障时间段为服务器出现故障的时刻所在的时间段。
步骤S220,对于出现故障的业务服务器,若当前时间段所对应的日志数据中包括历史数据,则将历史数据存储到历史时间段所对应的日志数据中,将当前时间段所对应的日志数据中除历史数据之外的数据存储到当前时间段所对应的日志数据中;
其中,历史时间段为当前时间之前的时间段,历史数据所对应的日志记录时间属于历史时间段。
在一示例中,在按照预配置的时间间隔,从至少两台业务服务器获取每一时间段的日志数据过程中,至少两台业务服务器为两台业务服务器,分别为业务服务器A和业务服务器B,如果出故障的业务服务器为业务服务器A,故障时间段的起始时间点为8点10秒,则继续获取8点10秒之后的每一时间段的日志数据,若获取的8点10秒至8点11秒的日志数据中包括历史数据,历史数据所对应的日志记录时间为7分至7分8秒,则该历史数据所对应的历史时间段为7分至7分9秒,将7分至7分8秒所对应的历史数据存储到7分至7分9秒所对应的日志数据中,同时,将当前时间段8点10秒至8点11秒所对应的日志数据中除7分至7分8秒之外的数据存储到8点10秒至8点11秒所对应的日志数据中;存储后,当前时间段8点10秒至8点11秒所对应的日志数据中不包括7分至7分8秒所对应的日志数据。
基于与图1中所示方法相同的原理,本公开的实施例中还提供了一种数据处理装置20,如图3所示,该数据处理装置20可以包括:数据获取模块210以及数据存储模块220,其中,
数据获取模块210,用于按照预配置的时间间隔,从至少两台业务服务器获取每一时间段的日志数据;
数据存储模块220,用于将获取到的每一台业务服务器所对应的日志数据分别进行存储,其中,在存储日志数据时,根据日志数据所对应的时间段进行分段存储。
本公开的实施例中的方案,可以按照预配置的时间间隔,从多台业务服务器获取每一时间段的日志数据,然后将获取到的每台业务服务器的日志数据按照对应的时间段进行分别存储,由于是按照每台业务服务器的每个时间段分别对日志数据进行存储,因此,能够得到每一时间段的每一台业务服务器的数据,从而在服务器出现故障时,能够快速确定出哪些数据出现了问题。
本公开的实施例中,数据获取模块210在至少两台业务服务器中的服务器出现故障,从至少两台业务服务器获取每一时间段的日志数据时,具体用于:
在出现故障的服务器恢复正常后,从故障时间段的起始时间点开始,继续获取起始时间点之后的每一时间段的日志数据,其中,故障时间段为服务器出现故障的时刻所在的时间段。
本公开的实施例中,数据获取模块210在继续获取起始时间点之后的每一时间段的日志数据时,具体用于:
继续获取起始时间点之后的每一时间段所对应的出现故障的服务器的日志数据,或者,继续获取起始时间点之后的每一时间段所对应的至少两台业务服务器中所有业务服务器的日志数据。
本公开的实施例中,数据存储模块220在将获取到的每一台业务服务器所对应的日志数据分别进行存储时,具体用于:
对于每一台业务服务器,若当前时间段所对应的日志数据中包括历史数据,则将历史数据存储到历史时间段所对应的日志数据中,将当前时间段所对应的日志数据中除历史数据之外的数据存储到当前时间段所对应的日志数据中;
其中,历史时间段为当前时间之前的时间段,历史数据所对应的日志记录时间属于历史时间段。
本公开的实施例中,数据存储模块220在历史数据与历史时间段所对应的日志数据中,存在日志记录时间相同的数据,将历史数据存储到历史时间段所对应的日志数据中时,具体用于:
根据历史数据,对历史时间段所对应的日志数据中与日志记录时间相同的数据进行更新。
本公开的实施例中,日志数据包括从至少两个业务服务器获取到的同一个被监控业务参数所对应的指标数据。
本公开的实施例中,该装置还可以包括:
数据处理模块,用于根据预配置的处理策略,对已存储的一个或多个时间段所对应的同一个被监控业务参数所对应的指标数据进行相应处理。
本公开实施例的数据处理装置可执行本公开的实施例所提供的一种数据处理方法,其实现原理相类似,本公开各实施例中的数据处理装置中的各模块所执行的动作是与本公开各实施例中的数据处理方法中的步骤相对应的,对于数据处理装置的各模块的详细功能描述具体可以参见前文中所示的对应的数据处理方法中的描述,此处不再赘述。
基于与本公开的实施例中的数据处理方法相同的原理,本公开提供了一种电子设备,该电子设备包括处理器和存储器;存储器,用于存储操作指令;处理器,用于通过调用操作指令,执行如本公开的数据处理方法中的任一实施例中所示的方法。
基于与本公开的实施例中的数据处理方法相同的原理,本公开提供了一种计算机可读存储介质,该存储介质存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如本公开的数据处理方法中的任一实施例中所示的方法。
本公开的实施例中,如图4所示,其示出了适于用来实现本公开实施例的电子设备30(例如实现图1中所示的方法的终端设备或服务器)的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图4所示,电子设备30可以包括处理装置(例如中央处理器、图形处理器等)301,其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中,还存储有电子设备30操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常,以下装置可以连接至I/O接口305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307;包括例如磁带、硬盘等的存储装置308;以及通信装置309。通信装置309可以允许电子设备30与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备30,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置309从网络上被下载和安装,或者从存储装置308被安装,或者从ROM 302被安装。在该计算机程序被处理装置301执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取至少两个网际协议地址;向节点评价设备发送包括至少两个网际协议地址的节点评价请求,其中,节点评价设备从至少两个网际协议地址中,选取网际协议地址并返回;接收节点评价设备返回的网际协议地址;其中,所获取的网际协议地址指示内容分发网络中的边缘节点。
或者,上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:接收包括至少两个网际协议地址的节点评价请求;从至少两个网际协议地址中,选取网际协议地址;返回选取出的网际协议地址;其中,接收到的网际协议地址指示内容分发网络中的边缘节点。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (9)
1.一种数据处理方法,其特征在于,包括:
按照预配置的时间间隔,从至少两台业务服务器获取每一时间段的日志数据;
将获取到的每一台所述业务服务器所对应的日志数据分别进行存储,其中,在存储所述日志数据时,根据所述日志数据所对应的时间段进行分段存储;
若所述至少两台业务服务器中的服务器出现故障时,所述从至少两台业务服务器获取每一时间段的日志数据,包括:在出现故障的服务器恢复正常后,从故障时间段的起始时间点开始,继续获取所述起始时间点之后的每一时间段的日志数据,其中,所述故障时间段为服务器出现故障的时刻所在的时间段。
2.根据权利要求1所述的方法,其特征在于,所述继续获取所述起始时间点之后的每一时间段的日志数据,包括:
继续获取所述起始时间点之后的每一时间段所对应的所述出现故障的服务器的日志数据,或者,继续获取所述起始时间点之后的每一时间段所对应的所述至少两台业务服务器中所有业务服务器的日志数据。
3.根据权利要求1至2中任一项所述的方法,其特征在于,所述将获取到的每一台所述业务服务器所对应的日志数据分别进行存储,包括:
对于每一台所述业务服务器,若当前时间段所对应的日志数据中包括历史数据,则将所述历史数据存储到历史时间段所对应的日志数据中,将所述当前时间段所对应的日志数据中除所述历史数据之外的数据存储到所述当前时间段所对应的日志数据中;
其中,所述历史时间段为所述当前时间之前的时间段,所述历史数据所对应的日志记录时间属于所述历史时间段。
4.根据权利要求3所述的方法,其特征在于,若所述历史数据与所述历史时间段所对应的日志数据中,存在日志记录时间相同的数据,所述将所述历史数据存储到历史时间段所对应的日志数据中,包括:
根据所述历史数据,对所述历史时间段所对应的日志数据中与所述日志记录时间相同的数据进行更新。
5.根据权利要求1至2中任一项所述的方法,其特征在于,所述日志数据包括从所述至少两个业务服务器获取到的同一个被监控业务参数所对应的指标数据。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
根据预配置的处理策略,对已存储的一个或多个时间段所对应的所述同一个被监控业务参数所对应的指标数据进行相应处理。
7.一种数据处理装置,其特征在于,包括:
数据获取模块,用于按照预配置的时间间隔,从至少两台业务服务器获取每一时间段的日志数据;所述数据获取模块在至少两台业务服务器中的服务器出现故障,从至少两台业务服务器获取每一时间段的日志数据时,具体用于:在出现故障的服务器恢复正常后,从故障时间段的起始时间点开始,继续获取起始时间点之后的每一时间段的日志数据,其中,故障时间段为服务器出现故障的时刻所在的时间段;
数据存储模块,用于将获取到的每一台所述业务服务器所对应的日志数据分别进行存储,其中,在存储所述日志数据时,根据所述日志数据所对应的时间段进行分段存储。
8.一种电子设备,其特征在于,包括:
处理器和存储器;
所述存储器,用于存储计算机操作指令;
所述处理器,用于通过调用所述计算机操作指令,执行上述权利要求1至6中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811367915.0A CN111198853B (zh) | 2018-11-16 | 2018-11-16 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811367915.0A CN111198853B (zh) | 2018-11-16 | 2018-11-16 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111198853A CN111198853A (zh) | 2020-05-26 |
CN111198853B true CN111198853B (zh) | 2023-08-22 |
Family
ID=70746604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811367915.0A Active CN111198853B (zh) | 2018-11-16 | 2018-11-16 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111198853B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112764988B (zh) * | 2021-01-08 | 2024-02-23 | 城云科技(中国)有限公司 | 一种数据分段采集方法及装置 |
CN113326397A (zh) * | 2021-08-04 | 2021-08-31 | 北京达佳互联信息技术有限公司 | 业务数据的处理方法、装置 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102737196A (zh) * | 2011-09-23 | 2012-10-17 | 新奥特(北京)视频技术有限公司 | 数据安全防控中信息配置方法、用户设备、服务器和系统 |
JP2012208646A (ja) * | 2011-03-29 | 2012-10-25 | Nec Corp | 監視システム |
CN102891873A (zh) * | 2011-07-21 | 2013-01-23 | 腾讯科技(深圳)有限公司 | 一种存储日志数据的方法及日志数据存储系统 |
CN103840969A (zh) * | 2014-01-20 | 2014-06-04 | 浪潮(北京)电子信息产业有限公司 | 云计算系统中告警日志的管理方法和系统 |
CN104301360A (zh) * | 2013-07-19 | 2015-01-21 | 阿里巴巴集团控股有限公司 | 一种日志数据记录的方法、日志服务器及系统 |
CN105843822A (zh) * | 2015-01-16 | 2016-08-10 | 北京神州泰岳软件股份有限公司 | 一种修改日志级别的方法和装置 |
CN106776130A (zh) * | 2016-11-30 | 2017-05-31 | 华为技术有限公司 | 一种日志恢复方法、存储装置和存储节点 |
CN107025166A (zh) * | 2017-04-27 | 2017-08-08 | 上海联影医疗科技有限公司 | 一种日志收集方法及系统 |
CN107633045A (zh) * | 2017-09-15 | 2018-01-26 | 龙存(苏州)科技有限公司 | 一种云存储服务中租户数据容量的统计方法及其系统 |
CN107870663A (zh) * | 2016-09-27 | 2018-04-03 | 维谛技术有限公司 | 一种电源模块的信息记录方法及装置 |
CN108073586A (zh) * | 2016-11-09 | 2018-05-25 | 中国石油天然气股份有限公司 | 基于油气管道scada系统的事故分析方法与装置 |
CN108133043A (zh) * | 2018-01-12 | 2018-06-08 | 福建星瑞格软件有限公司 | 一种基于大数据的服务器运行日志结构化存储方法 |
CN108345528A (zh) * | 2018-02-13 | 2018-07-31 | 北京天元创新科技有限公司 | 一种后台服务器监控方法、装置和设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201621434D0 (en) * | 2016-12-16 | 2017-02-01 | Palantir Technologies Inc | Processing sensor logs |
-
2018
- 2018-11-16 CN CN201811367915.0A patent/CN111198853B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012208646A (ja) * | 2011-03-29 | 2012-10-25 | Nec Corp | 監視システム |
CN102891873A (zh) * | 2011-07-21 | 2013-01-23 | 腾讯科技(深圳)有限公司 | 一种存储日志数据的方法及日志数据存储系统 |
CN102737196A (zh) * | 2011-09-23 | 2012-10-17 | 新奥特(北京)视频技术有限公司 | 数据安全防控中信息配置方法、用户设备、服务器和系统 |
CN104301360A (zh) * | 2013-07-19 | 2015-01-21 | 阿里巴巴集团控股有限公司 | 一种日志数据记录的方法、日志服务器及系统 |
CN103840969A (zh) * | 2014-01-20 | 2014-06-04 | 浪潮(北京)电子信息产业有限公司 | 云计算系统中告警日志的管理方法和系统 |
CN105843822A (zh) * | 2015-01-16 | 2016-08-10 | 北京神州泰岳软件股份有限公司 | 一种修改日志级别的方法和装置 |
CN107870663A (zh) * | 2016-09-27 | 2018-04-03 | 维谛技术有限公司 | 一种电源模块的信息记录方法及装置 |
CN108073586A (zh) * | 2016-11-09 | 2018-05-25 | 中国石油天然气股份有限公司 | 基于油气管道scada系统的事故分析方法与装置 |
CN106776130A (zh) * | 2016-11-30 | 2017-05-31 | 华为技术有限公司 | 一种日志恢复方法、存储装置和存储节点 |
CN107025166A (zh) * | 2017-04-27 | 2017-08-08 | 上海联影医疗科技有限公司 | 一种日志收集方法及系统 |
CN107633045A (zh) * | 2017-09-15 | 2018-01-26 | 龙存(苏州)科技有限公司 | 一种云存储服务中租户数据容量的统计方法及其系统 |
CN108133043A (zh) * | 2018-01-12 | 2018-06-08 | 福建星瑞格软件有限公司 | 一种基于大数据的服务器运行日志结构化存储方法 |
CN108345528A (zh) * | 2018-02-13 | 2018-07-31 | 北京天元创新科技有限公司 | 一种后台服务器监控方法、装置和设备 |
Non-Patent Citations (1)
Title |
---|
基于日志的数据库恢复技术的研究;陈华;;福建电脑(第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111198853A (zh) | 2020-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111198859B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN111597065B (zh) | 用于采集设备信息的方法和装置 | |
CN111694757B (zh) | 应用程序的测试方法、装置、电子设备及计算机可读存储介质 | |
CN111274503B (zh) | 数据处理的方法、装置、电子设备及计算机可读介质 | |
CN114090316A (zh) | 内存故障处理方法、装置、存储介质及电子设备 | |
CN111858381B (zh) | 应用程序容错能力测试方法、电子设备及介质 | |
CN111625422B (zh) | 线程监控方法、装置、电子设备及计算机可读存储介质 | |
CN111198853B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN111309304B (zh) | 一种生成idl文件的方法、装置、介质和电子设备 | |
CN111290871A (zh) | 获取应用程序崩溃信息的方法和装置 | |
CN112291121B (zh) | 一种数据处理方法及相关设备 | |
CN109902726B (zh) | 简历信息处理方法及装置 | |
CN109542743B (zh) | 日志校验方法、装置、电子设备及计算机可读存储介质 | |
CN111177260A (zh) | 数据库远程复制方法、装置及电子设备 | |
CN111274104A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN112799863B (zh) | 用于输出信息的方法和装置 | |
CN111092758A (zh) | 降低告警及恢复误报的方法、装置及电子设备 | |
CN110750424B (zh) | 资源巡检方法和装置 | |
CN112052128B (zh) | 容灾方法、装置和电子设备 | |
CN112615918B (zh) | 网络管理系统及其信息同步方法 | |
CN112559087B (zh) | 信息生成方法、装置、电子设备和计算机可读介质 | |
CN115827415B (zh) | 系统进程性能测试方法、装置、设备和计算机介质 | |
CN118069740A (zh) | Elasticsearch数据订阅式监听同步方法及系统 | |
CN111143124A (zh) | 数据库自动化恢复方法、装置及电子设备 | |
CN117768443A (zh) | 更换客户端中心地址的方法、系统、设备及储存介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |