CN103595795B - 分布式数据的处理方法和装置 - Google Patents

分布式数据的处理方法和装置 Download PDF

Info

Publication number
CN103595795B
CN103595795B CN201310575295.0A CN201310575295A CN103595795B CN 103595795 B CN103595795 B CN 103595795B CN 201310575295 A CN201310575295 A CN 201310575295A CN 103595795 B CN103595795 B CN 103595795B
Authority
CN
China
Prior art keywords
time
time interval
server
distributed data
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310575295.0A
Other languages
English (en)
Other versions
CN103595795A (zh
Inventor
王志远
林斐
吴充
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201310575295.0A priority Critical patent/CN103595795B/zh
Publication of CN103595795A publication Critical patent/CN103595795A/zh
Application granted granted Critical
Publication of CN103595795B publication Critical patent/CN103595795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种分布式数据的处理方法和装置。其中,分布式数据的处理方法包括:获取每个服务器最后一次处理的分布式数据的时间节点;计算每个时间节点与当前时间的时间间隔,得到多个时间间隔;判断多个时间间隔中是否存在第一类时间间隔;在判断出多个时间间隔中不存在第一类时间间隔的情况下,确定第一时间间隔对应的时间节点为结果输出时间;在判断出多个时间间隔中存在第一类时间间隔的情况下,确定第二时间间隔对应的时间节点为结果输出时间。通过本发明,解决了使用StreamInsight进行分布式数据计算容易出现计算结果不完整的问题,进而达到了保证StreamInsight下分布式计算结果完整性的效果。

Description

分布式数据的处理方法和装置
技术领域
本发明涉及数据处理领域,具体而言,涉及一种分布式数据的处理方法和装置。
背景技术
Microsoft StreamInsight是为开发和部署复杂事件处理(Complex Event Processing,简称CEP)应用程序提供的一个功能强大的平台。CEP是一种高吞吐、低滞后处理事件流的技术。在使用StreamInsight技术做分布式的实时数据计算,由于不同服务器计算能力和接收的数据量可能不同,那么就会出现不同计算服务器节点的计算进度不一致,从而影响计算结果的数据完整性。
针对相关技术中使用StreamInsight进行分布式数据计算容易出现计算结果不完整的问题,目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种分布式数据的处理方法和装置,以解决现有技术中使用StreamInsight进行分布式数据计算容易出现计算结果不完整的问题。
为了实现上述目的,根据本发明的一个方面,提供了一种分布式数据的处理方法,包括:获取每个服务器最后一次处理的分布式数据的时间节点,其中,服务器为分布式服务器中的服务器,分布式服务器为接收并处理分布式数据的服务器;计算每个时间节点与当前时间的时间间隔,得到多个时间间隔;判断多个时间间隔中是否存在第一类时间间隔,其中,第一类时间间隔为多个时间间隔中时长大于预设时间的时间间隔;在判断出多个时间间隔中不存在第一类时间间隔的情况下,确定第一时间间隔对应的时间节点为处理分布式数据的结果输出时间,其中,第一时间间隔为多个时间间隔中的最大时间间隔;以及在判断出多个时间间隔中存在第一类时间间隔的情况下,确定第二时间间隔对应的时间节点为处理分布式数据的结果输出时间,其中,第二时间间隔为第二类时间间隔中的最大时间间隔,第二类时间间隔为多个时间间隔中时长小于或等于预设时间的时间间隔。
进一步地,通过比较多个时间间隔中每个时间间隔与预设时间的大小,确定第一类时间间隔和第二类时间间隔。
进一步地,通过以下方式确定预设时间:获取分布式服务器处理分布式数据的时间跨度值和分布式服务器的时间默认值;判断时间跨度值是否大于时间默认值;在判断出时间跨度值大于时间默认值的情况下,确定时间跨度值为预设时间;以及在判断出时间跨度值小于或等于时间默认值的情况下,确定时间默认值为预设时间。
进一步地,在确定出处理分布式数据的结果输出时间之后,处理方法还包括:获取分布式服务器在结果输出时间时刻的输出数据;以及整合获取到的输出数据,得到分布式数据的处理结果。
进一步地,获取分布式服务器在结果输出时间时刻的输出数据包括:获取分布式服务器中目标服务器在结果输出时间时刻的输出数据,其中,目标服务器为第二类时间间隔对应的服务器。
为了实现上述目的,根据本发明的另一方面,提供了一种分布式数据的处理装置,该处理装置用于执行本发明上述内容所提供的任一种分布式数据的处理方法。
为了实现上述目的,根据本发明的另一方面,提供了一种分布式数据的处理装置,包括:第一获取单元,用于获取每个服务器最后一次处理的分布式数据的时间节点,其中,服务器为分布式服务器中的服务器,分布式服务器为接收并处理分布式数据的服务器;计算单元,用于计算每个时间节点与当前时间的时间间隔,得到多个时间间隔;第一判断单元,用于判断多个时间间隔中是否存在第一类时间间隔,其中,第一类时间间隔为多个时间间隔中时长大于预设时间的时间间隔;第一确定单元,用于在判断出多个时间间隔中不存在第一类时间间隔的情况下,确定第一时间间隔对应的时间节点为处理分布式数据的结果输出时间,其中,第一时间间隔为多个时间间隔中的最大时间间隔;以及第二确定单元,用于在判断出多个时间间隔中存在第一类时间间隔的情况下,确定第二时间间隔对应的时间节点为处理分布式数据的结果输出时间,其中,第二时间间隔为第二类时间间隔中的最大时间间隔,第二类时间间隔为多个时间间隔中时长小于或等于预设时间的时间间隔。
进一步地,处理装置还包括:比较单元,用于比较多个时间间隔中每个时间间隔与预设时间的大小,以确定第一类时间间隔和第二类时间间隔。
进一步地,处理装置还包括:第二获取单元,用于获取分布式服务器处理分布式数据的时间跨度值和分布式服务器的时间默认值;第二判断单元,用于判断时间跨度值是否大于时间默认值;第三确定单元,用于在判断出时间跨度值大于时间默认值的情况下,确定时间跨度值为预设时间;以及第四确定单元,用于在判断出时间跨度值小于或等于时间默认值的情况下,确定时间默认值为预设时间。
进一步地,处理装置还包括:第三获取单元,用于获取分布式服务器在结果输出时间时刻的输出数据;以及整合单元,用于整合获取到的输出数据,得到分布式数据的处理结果。
进一步地,第三获取单元包括:获取模块,用于获取分布式服务器中目标服务器在结果输出时间时刻的输出数据,其中,目标服务器为第二类时间间隔对应的服务器。
本发明采用获取每个服务器最后一次处理的分布式数据的时间节点,其中,服务器为分布式服务器中的服务器,分布式服务器为接收并处理分布式数据的服务器;计算每个时间节点与当前时间的时间间隔,得到多个时间间隔;判断多个时间间隔中是否存在第一类时间间隔,其中,第一类时间间隔为多个时间间隔中时长大于预设时间的时间间隔;在判断出多个时间间隔中不存在第一类时间间隔的情况下,确定第一时间间隔对应的时间节点为处理分布式数据的结果输出时间,其中,第一时间间隔为多个时间间隔中的最大时间间隔;以及在判断出多个时间间隔中存在第一类时间间隔的情况下,确定第二时间间隔对应的时间节点为处理分布式数据的结果输出时间,其中,第二时间间隔为第二类时间间隔中的最大时间间隔,第二类时间间隔为多个时间间隔中时长小于或等于预设时间的时间间隔。通过获取每个服务器最后一次所处理的分布式数据的时间节点,并计算每个时间节点与当前时间的时间间隔,若某个服务器对应的时间间隔相对较大(即,超出预设时间),则说明这个服务器节点长时间没有接收到需要进行处理的分布式数据,也没有数据的处理结果输出,反之,若某个服务器对应的时间间隔相对较小(即,未超出预设时间),则说明这个服务器节点有接收到需要进行处理的分布式数据,因此,通过计算时间间隔,并比较时间间隔与预设时间的大小,实现了能够准确确定各个服务器节点的处理进度,并能够准确确定出能够完整输出分布式数据整体处理结果的时间,解决了使用StreamInsight进行分布式数据计算容易出现计算结果不完整的问题,进而达到了保证StreamInsight下分布式计算结果完整性的效果。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的分布式数据的处理方法的流程图;
图2是根据本发明实施例的分布式数据的处理方法中多个时间间隔中不存在第一类时间间隔的情况下,确定出的处理分布式数据的结果输出时间的示意图;
图3是根据本发明实施例的分布式数据的处理方法中多个时间间隔中存在第一类时间间隔的情况下,确定出的处理分布式数据的结果输出时间的示意图;以及
图4是根据本发明实施例的分布式数据的处理装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明实施例提供给了一种分布式数据的处理方法,以下对本发明实施例所提供的分布式数据的处理方法进行具体介绍:
图1是根据本发明实施例的分布式数据的处理方法的流程图,如图1所示,该方法包括如下的步骤S102至步骤S110:
S102:获取每个服务器最后一次处理的分布式数据的时间节点,其中,服务器为分布式服务器中的服务器,分布式服务器为接收并处理分布式数据的服务器,即,对分布式服务器中每个服务器最后一次所处理的分布式数据的时间节点进行获取,在对分布式数据进行处理时,采用分布式计算处理方式,所谓分布式计算,是指把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给许多计算机进行处理,最后把这些计算结果综合起来得到最终的结果。
S104:计算每个时间节点与当前时间的时间间隔,得到多个时间间隔。
S106:判断多个时间间隔中是否存在第一类时间间隔,其中,第一类时间间隔为多个时间间隔中时长大于预设时间的时间间隔,具体地,可以通过比较每个时间间隔与预设时间的大小,来确定第一类时间间隔,若比较出某个时间间隔的时长大于预设时间的时长,则确定这个时间间隔属于第一类时间间隔,反之,则不属于第一类时间间隔。
S108:在判断出多个时间间隔中不存在第一类时间间隔的情况下,确定第一时间间隔对应的时间节点为处理分布式数据的结果输出时间,其中,第一时间间隔为多个时间间隔中的最大时间间隔,即,在判断出多个时间间隔均小于或等于预设时间的情况下,确定多个时间间隔中最大时间间隔所对应的时间节点为处理分布式数据的结果输出时间。
S110:在判断出多个时间间隔中存在第一类时间间隔的情况下,确定第二时间间隔对应的时间节点为处理分布式数据的结果输出时间,其中,第二时间间隔为第二类时间间隔中的最大时间间隔,第二类时间间隔为多个时间间隔中时长小于或等于预设时间的时间间隔,即,在判断出多个时间间隔中存在时长大于预设时间的情况下,确定第二类时间间隔中最大时间间隔所对应的时间节点为处理分布式数据的结果输出时间,对于第二类时间间隔的确定,同样可以通过比较每个时间间隔与预设时间的大小,来确定第二类时间间隔,若比较出某个时间间隔的时长小于或等于预设时间的时长,则确定这个时间间隔属于第二类时间间隔,反之,则不属于第二类时间间隔。即,确定时间间隔中时长大于预设时间的为第一类时间间隔,时长小于或等于预设时间的为第二类时间间隔。
本发明实施例的分布式数据的处理方法,通过获取每个服务器最后一次所处理的分布式数据的时间节点,并计算每个时间节点与当前时间的时间间隔,若某个服务器对应的时间间隔相对较大(即,超出预设时间),则说明这个服务器节点长时间没有接收到需要进行处理的分布式数据,也没有数据的处理结果输出,反之,若某个服务器对应的时间间隔相对较小(即,未超出预设时间),则说明这个服务器节点有接收到需要进行处理的分布式数据,因此,通过计算时间间隔,并比较时间间隔与预设时间的大小,实现了能够准确确定各个服务器节点的处理进度,并能够准确确定出能够完整输出分布式数据整体处理结果的时间,解决了使用StreamInsight进行分布式数据计算容易出现计算结果不完整的问题,进而达到了保证StreamInsight下分布式计算结果完整性和一致性的效果。
以下以进行分布式数据处理的分布式服务器具有3台服务器,预设时间为5分钟为例,进一步说明本发明实施例的分布式数据的处理方法:
图2是多个时间间隔中不存在第一类时间间隔的情况下,确定出的处理分布式数据的结果输出时间的示意图,图3是多个时间间隔中存在第一类时间间隔的情况下,确定出的处理分布式数据的结果输出时间的示意图,如图2所示,假如当前时间为2013-08-0812:04:00,各个服务器最后一次处理的分布式数据的时间节点如下:
服务器S1:2013-08-0812:01:00
服务器S2:2013-08-0812:03:00
服务器S3:2013-08-0812:04:00
由于设定的时间差距阈值(即,预设时间)为5分钟,相对于当前时间,服务器S1,服务器S2和服务器S3对应的时间节点相对当前时间的时间间隔都在阈值以内,所以,就取当前三个服务器都有数据的最新时间为整体数据计算完整时间,也即是最大时间间隔对应的时间节点,结果为:2013-08-0812:01:00。
如图3所示,假如当前时间为2013-08-0812:07:00,各个服务器最后一次处理的分布式数据的时间节点如下:
服务器S1:2013-08-0812:01:00
服务器S2:2013-08-0812:03:00
服务器S3:2013-08-0812:04:00
由于设定的时间差距阈值(即,预设时间)为5分钟,相对于当前时间,服务器S1对应的时间节点相对当前时间的时间间隔超出了阈值,则确定服务器S1无数据输出。服务器S2和服务器S3对应的时间节点相对当前时间的时间间隔都在阈值以内,所以,就取服务器S2和服务器S3都有数据的最新时间为整体数据计算完整时间,也即是未超出阈值的时间间隔中最大时间间隔对应的时间节点,结果为:2013-08-0812:03:00。
优选地,在本发明实施例中,对于预设时间的设定方式,除了直接根据实际情况进行预先设定外,还可以采用以下方式进行具体确定:
首先,获取分布式服务器处理分布式数据的时间跨度值Window(即,时间跨度窗口)的大小,并获取分布式服务器的时间默认值Default的大小。
其次,判断时间跨度值Window是否大于时间默认值Default。
然后,在判断出时间跨度值Window大于时间默认值Default的情况下,确定时间跨度值Window为预设时间,比如,Default=5分钟,Window=10分钟,则预设时间设置为10分钟。或者,在判断出时间跨度值小于或等于时间默认值的情况下,确定时间默认值为预设时间,比如,Default=5分钟,Window=3分钟,则预设时间设置为5分钟。
通过对比分布式服务器处理分布式数据的时间跨度值和分布式服务器的时间默认值的大小,并确定较大的一个时间为预设时间,实现了根据分布式服务器的实际情况来精确地设定预设时间的大小,以保证能够准确确定分布式数据整体处理结果的时间,进一步保证分布式计算结果完整性,避免影响整体数据输出。
进一步地,在确定出处理分布式数据的结果输出时间之后,本发明实施例的分布式数据的处理方法还包括:获取分布式服务器在结果输出时间时刻的输出数据,具体地,主要是获取每个目标服务器在结果输出时间时刻的输出数据,所谓目标服务器是指其对应的时间间隔属于第二类时间间隔,也即,目标服务器为第二类时间间隔对应的服务器。然后,整合获取到的输出数据,得到分布式数据的处理结果。
本发明实施例还提供了一种分布式数据的处理装置,该处理装置主要用于执行本发明实施例上述内容所提供的任一种分布式数据的处理方法,以下对本发明实施例所提供的分布式数据的处理装置进行具体介绍:
图4是根据本发明实施例的分布式数据的处理装置的示意图,如图4所示,该处理装置主要包括第一获取单元10、计算单元20、第一判断单元30、第一确定单元40和第二确定单元50,其中:
第一获取单元10用于获取每个服务器最后一次处理的分布式数据的时间节点,其中,服务器为分布式服务器中的服务器,分布式服务器为接收并处理分布式数据的服务器,即,对分布式服务器中每个服务器最后一次所处理的分布式数据的时间节点进行获取,在对分布式数据进行处理时,采用分布式计算处理方式,所谓分布式计算,是指把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给许多计算机进行处理,最后把这些计算结果综合起来得到最终的结果。
计算单元20用于计算每个时间节点与当前时间的时间间隔,得到多个时间间隔。
第一判断单元30用于判断多个时间间隔中是否存在第一类时间间隔,其中,第一类时间间隔为多个时间间隔中时长大于预设时间的时间间隔,具体地,可以通过比较每个时间间隔与预设时间的大小,来确定第一类时间间隔,若比较出某个时间间隔的时长大于预设时间的时长,则确定这个时间间隔属于第一类时间间隔,反之,则不属于第一类时间间隔。
第一确定单元40用于在判断出多个时间间隔中不存在第一类时间间隔的情况下,确定第一时间间隔对应的时间节点为处理分布式数据的结果输出时间,其中,第一时间间隔为多个时间间隔中的最大时间间隔,即,在判断出多个时间间隔均小于或等于预设时间的情况下,确定多个时间间隔中最大时间间隔所对应的时间节点为处理分布式数据的结果输出时间。
第二确定单元50用于在判断出多个时间间隔中存在第一类时间间隔的情况下,确定第二时间间隔对应的时间节点为处理分布式数据的结果输出时间,其中,第二时间间隔为第二类时间间隔中的最大时间间隔,第二类时间间隔为多个时间间隔中时长小于或等于预设时间的时间间隔,即,在判断出多个时间间隔中存在时长大于预设时间的情况下,确定第二类时间间隔中最大时间间隔所对应的时间节点为处理分布式数据的结果输出时间,对于第二类时间间隔的确定,同样可以通过比较每个时间间隔与预设时间的大小,来确定第二类时间间隔,若比较出某个时间间隔的时长小于或等于预设时间的时长,则确定这个时间间隔属于第二类时间间隔,反之,则不属于第二类时间间隔。即,确定时间间隔中时长大于预设时间的为第一类时间间隔,时长小于或等于预设时间的为第二类时间间隔。
本发明实施例的分布式数据的处理装置,通过获取每个服务器最后一次所处理的分布式数据的时间节点,并计算每个时间节点与当前时间的时间间隔,若某个服务器对应的时间间隔相对较大(即,超出预设时间),则说明这个服务器节点长时间没有接收到需要进行处理的分布式数据,也没有数据的处理结果输出,反之,若某个服务器对应的时间间隔相对较小(即,未超出预设时间),则说明这个服务器节点有接收到需要进行处理的分布式数据,因此,通过计算时间间隔,并比较时间间隔与预设时间的大小,实现了能够准确确定各个服务器节点的处理进度,并能够准确确定出能够完整输出分布式数据整体处理结果的时间,解决了使用StreamInsight进行分布式数据计算容易出现计算结果不完整的问题,进而达到了保证StreamInsight下分布式计算结果完整性和一致性的效果。
进一步地,处理装置还包括比较单元,具体地,可以通过比较单元比较多个时间间隔中每个时间间隔与预设时间的大小,来确定出上述第一类时间间隔和第二类时间间隔。
优选地,本发明实施例的分布式数据的处理装置还包括第二获取单元、第二判断单元、第三确定单元和第四确定单元,在本发明实施例中,对于预设时间的设定方式,除了直接根据实际情况进行预先设定外,还可以采用以下方式通过第二获取单元、第二判断单元、第三确定单元和第四确定单元的协同作用进行具体确定:
首先,第二获取单元获取分布式服务器处理分布式数据的时间跨度值Window(即,时间跨度窗口)的大小,并获取分布式服务器的时间默认值Default的大小。
其次,第二判断单元判断时间跨度值Window是否大于时间默认值Default。
然后,在判断出时间跨度值Window大于时间默认值Default的情况下,第三确定单元确定时间跨度值Window为预设时间,比如,Default=5分钟,Window=10分钟,则预设时间设置为10分钟。或者,在判断出时间跨度值小于或等于时间默认值的情况下,第四确定单元确定时间默认值为预设时间,比如,Default=5分钟,Window=3分钟,则预设时间设置为5分钟。
通过对比分布式服务器处理分布式数据的时间跨度值和分布式服务器的时间默认值的大小,并确定较大的一个时间为预设时间,实现了根据分布式服务器的实际情况来精确地设定预设时间的大小,以保证能够准确确定分布式数据整体处理结果的时间,进一步保证分布式计算结果完整性,避免影响整体数据输出。
进一步地,本发明实施例的分布式数据的处理装置还包括第三获取单元和整合单元,其中,在第一确定单元40或第二确定单元50确定出处理分布式数据的结果输出时间之后,第三获取单元获取分布式服务器在结果输出时间时刻的输出数据,具体地,第三获取单元主要通过获取模块来获取每个目标服务器在结果输出时间时刻的输出数据,所谓目标服务器是指其对应的时间间隔属于第二类时间间隔,也即,目标服务器为第二类时间间隔对应的服务器。然后,由整合单元整合获取到的输出数据,得到分布式数据的处理结果。
从以上的描述中,可以看出,本发明实现了准确确定出能够完整输出分布式数据整体处理结果的时间,达到了保证StreamInsight下分布式计算结果完整性和一致性的效果。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种分布式数据的处理方法,其特征在于,包括:
获取每个服务器最后一次处理的所述分布式数据的时间节点,其中,所述服务器为分布式服务器中的服务器,所述分布式服务器为接收并处理所述分布式数据的服务器;
计算每个所述时间节点与当前时间的时间间隔,得到多个时间间隔;
判断所述多个时间间隔中是否存在第一类时间间隔,其中,所述第一类时间间隔为所述多个时间间隔中时长大于预设时间的时间间隔;
在判断出所述多个时间间隔中不存在所述第一类时间间隔的情况下,确定第一时间间隔对应的时间节点为处理所述分布式数据的结果输出时间,其中,所述第一时间间隔为所述多个时间间隔中的最大时间间隔;以及
在判断出所述多个时间间隔中存在所述第一类时间间隔的情况下,确定第二时间间隔对应的时间节点为处理所述分布式数据的结果输出时间,其中,所述第二时间间隔为第二类时间间隔中的最大时间间隔,所述第二类时间间隔为所述多个时间间隔中时长小于或等于所述预设时间的时间间隔,
其中,所述预设时间为根据实际情况预先设定的时间,或者通过以下方式确定的时间:
获取所述分布式服务器处理所述分布式数据的时间跨度值和所述分布式服务器的时间默认值;
判断所述时间跨度值是否大于所述时间默认值;
在判断出所述时间跨度值大于所述时间默认值的情况下,确定所述时间跨度值为所述预设时间;以及
在判断出所述时间跨度值小于或等于所述时间默认值的情况下,确定所述时间默认值为所述预设时间。
2.根据权利要求1所述的处理方法,其特征在于,通过比较所述多个时间间隔中每个所述时间间隔与所述预设时间的大小,确定所述第一类时间间隔和所述第二类时间间隔。
3.根据权利要求1所述的处理方法,其特征在于,在确定出处理所述分布式数据的结果输出时间之后,所述处理方法还包括:
获取所述分布式服务器在所述结果输出时间时刻的输出数据;以及
整合获取到的所述输出数据,得到所述分布式数据的处理结果。
4.根据权利要求3所述的处理方法,其特征在于,获取所述分布式服务器在所述结果输出时间时刻的输出数据包括:
获取所述分布式服务器中目标服务器在所述结果输出时间时刻的输出数据,其中,所述目标服务器为所述第二类时间间隔对应的服务器。
5.一种分布式数据的处理装置,其特征在于,包括:
第一获取单元,用于获取每个服务器最后一次处理的所述分布式数据的时间节点,其中,所述服务器为分布式服务器中的服务器,所述分布式服务器为接收并处理所述分布式数据的服务器;
计算单元,用于计算每个所述时间节点与当前时间的时间间隔,得到多个时间间隔;
第一判断单元,用于判断所述多个时间间隔中是否存在第一类时间间隔,其中,所述第一类时间间隔为所述多个时间间隔中时长大于预设时间的时间间隔;
第一确定单元,用于在判断出所述多个时间间隔中不存在所述第一类时间间隔的情况下,确定第一时间间隔对应的时间节点为处理所述分布式数据的结果输出时间,其中,所述第一时间间隔为所述多个时间间隔中的最大时间间隔;以及
第二确定单元,用于在判断出所述多个时间间隔中存在所述第一类时间间隔的情况下,确定第二时间间隔对应的时间节点为处理所述分布式数据的结果输出时间,其中,所述第二时间间隔为第二类时间间隔中的最大时间间隔,所述第二类时间间隔为所述多个时间间隔中时长小于或等于所述预设时间的时间间隔,
其中,所述预设时间为根据实际情况预先设定的时间,或者通过以下单元确定的时间:
第二获取单元,用于获取所述分布式服务器处理所述分布式数据的时间跨度值和所述分布式服务器的时间默认值;
第二判断单元,用于判断所述时间跨度值是否大于所述时间默认值;
第三确定单元,用于在判断出所述时间跨度值大于所述时间默认值的情况下,确定所述时间跨度值为所述预设时间;以及
第四确定单元,用于在判断出所述时间跨度值小于或等于所述时间默认值的情况下,确定所述时间默认值为所述预设时间。
6.根据权利要求5所述的处理装置,其特征在于,所述处理装置还包括:
比较单元,用于比较所述多个时间间隔中每个所述时间间隔与所述预设时间的大小,以确定所述第一类时间间隔和所述第二类时间间隔。
7.根据权利要求5所述的处理装置,其特征在于,所述处理装置还包括:
第三获取单元,用于获取所述分布式服务器在所述结果输出时间时刻的输出数据;以及
整合单元,用于整合获取到的所述输出数据,得到所述分布式数据的处理结果。
8.根据权利要求7所述的处理装置,其特征在于,所述第三获取单元包括:
获取模块,用于获取所述分布式服务器中目标服务器在所述结果输出时间时刻的输出数据,其中,所述目标服务器为所述第二类时间间隔对应的服务器。
CN201310575295.0A 2013-11-15 2013-11-15 分布式数据的处理方法和装置 Active CN103595795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310575295.0A CN103595795B (zh) 2013-11-15 2013-11-15 分布式数据的处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310575295.0A CN103595795B (zh) 2013-11-15 2013-11-15 分布式数据的处理方法和装置

Publications (2)

Publication Number Publication Date
CN103595795A CN103595795A (zh) 2014-02-19
CN103595795B true CN103595795B (zh) 2016-10-05

Family

ID=50085775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310575295.0A Active CN103595795B (zh) 2013-11-15 2013-11-15 分布式数据的处理方法和装置

Country Status (1)

Country Link
CN (1) CN103595795B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543988A (zh) * 2018-11-16 2019-03-29 中国银行股份有限公司 优化交易超时阀值的方法、装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819586A (zh) * 2010-03-31 2010-09-01 中兴通讯股份有限公司 一种智能分拣服务器及统计数据的方法和系统
WO2010103081A1 (en) * 2009-03-12 2010-09-16 Alcatel Lucent Method for processing distributed data having a chosen type for synchronizing communication nodes of a data packet network, and associated device
CN102904919A (zh) * 2011-07-29 2013-01-30 国际商业机器公司 流处理方法和实现流处理的分布式系统
WO2013078231A1 (en) * 2011-11-24 2013-05-30 Alibaba Group Holding Limited Distributed data stream processing method and system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010103081A1 (en) * 2009-03-12 2010-09-16 Alcatel Lucent Method for processing distributed data having a chosen type for synchronizing communication nodes of a data packet network, and associated device
CN101819586A (zh) * 2010-03-31 2010-09-01 中兴通讯股份有限公司 一种智能分拣服务器及统计数据的方法和系统
CN102904919A (zh) * 2011-07-29 2013-01-30 国际商业机器公司 流处理方法和实现流处理的分布式系统
WO2013078231A1 (en) * 2011-11-24 2013-05-30 Alibaba Group Holding Limited Distributed data stream processing method and system

Also Published As

Publication number Publication date
CN103595795A (zh) 2014-02-19

Similar Documents

Publication Publication Date Title
CN108076019B (zh) 基于流量镜像的异常流量检测方法及装置
CN102790700B (zh) 一种识别网页爬虫的方法和装置
CN103379041B (zh) 一种系统检测方法和装置以及流量控制方法和设备
US8990938B2 (en) Analyzing response traffic to detect a malicious source
CN107852620A (zh) 拥挤状况推定系统、拥挤状况推定方法以及存储介质
CN105100032A (zh) 一种防止资源盗取的方法及装置
CN104980421B (zh) 一种批量请求处理方法及系统
CN104424240B (zh) 多表关联方法、主服务节点、计算节点及系统
Al-Hchaimi et al. Evaluation approach for efficient countermeasure techniques against denial-of-service attack on MPSoC-based IoT using multi-criteria decision-making
CN110505228A (zh) 基于边缘云架构的大数据处理方法、系统、介质及装置
CN102780589B (zh) 一种基于虚拟链路的静态路由网络时延抖动测试方法
Wang et al. Botnet detection using social graph analysis
CN103595795B (zh) 分布式数据的处理方法和装置
CN105471770B (zh) 一种基于多核处理器的报文处理方法及装置
CN110245696A (zh) 基于视频的违法事件监控方法、设备及可读存储介质
CN113795039A (zh) 运营商网络切换方法、装置、设备和计算机可读存储介质
CN113727348B (zh) 用户设备ue用户数据的检测方法、设备、系统及存储介质
CN109996254A (zh) 语音业务单通原因定位方法、装置、设备和介质
CN102209009A (zh) 动态速率数据业务的定帧方法和装置
CN108965386A (zh) 一种共享接入终端的识别方法及装置
CN110198294A (zh) 安全攻击检测方法及装置
CN105307212B (zh) 一种基站流量数据的处理方法及基站
Lavrova et al. Detection of cyber threats to network infrastructure of digital production based on the methods of Big Data and multifractal analysis of traffic
CN107172683A (zh) 网络连接方法、装置、终端及计算机可读存储介质
CN102891781B (zh) 网络共享检测系统和网络共享检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Method and device for processing distributed data

Effective date of registration: 20190531

Granted publication date: 20161005

Pledgee: Shenzhen Black Horse World Investment Consulting Co., Ltd.

Pledgor: Beijing Guoshuang Technology Co.,Ltd.

Registration number: 2019990000503

CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Patentee after: Beijing Guoshuang Technology Co.,Ltd.

Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A

Patentee before: Beijing Guoshuang Technology Co.,Ltd.