CN103701906A - 分布式实时计算系统及其数据处理方法 - Google Patents

分布式实时计算系统及其数据处理方法 Download PDF

Info

Publication number
CN103701906A
CN103701906A CN201310741313.8A CN201310741313A CN103701906A CN 103701906 A CN103701906 A CN 103701906A CN 201310741313 A CN201310741313 A CN 201310741313A CN 103701906 A CN103701906 A CN 103701906A
Authority
CN
China
Prior art keywords
data
child node
backup file
node
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310741313.8A
Other languages
English (en)
Other versions
CN103701906B (zh
Inventor
董方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qianxin Technology Group Co Ltd
Secworld Information Technology Beijing Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201310741313.8A priority Critical patent/CN103701906B/zh
Publication of CN103701906A publication Critical patent/CN103701906A/zh
Application granted granted Critical
Publication of CN103701906B publication Critical patent/CN103701906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种分布式实时计算系统及其数据处理方法。其中分布式实时计算系统的数据处理方法包括以下步骤:将父节点分配的数据写入备份文件;将备份文件同步至系统中所有子节点的存储装置中;监控子节点对数据的处理进程;当出现子节点中的任意一个出现处理进程崩溃的情况,利用除处理进程崩溃的子节点之外的子节点将存储装置中保存的备份文件进行数据还原。利用本发明的技术方案,在某个子节点出现处理进程崩溃的情况时,及时利用其他子节点对已经同步的备份数据文件进行数据还原,弥补了崩溃中丢失数据的损失,实现了分布式实时计算系统的数据持久化,从而满足了某些应用环境对数据完整性较高的要求。

Description

分布式实时计算系统及其数据处理方法
技术领域
本发明涉及互联网,特别是涉及分布式实时计算系统及其数据处理方法。
背景技术
伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。在网页安全分析、大型网络购物平台、搜索引擎等应用环境下,需要在事件出现后必须尽快地对数据进行处理,最好的方式为数据出现时便立刻对其进行处理,发生一个事件进行一次处理,而不是缓存起来成一批处理。
这种实时性要求较高的应用,数据以一个或多个连续数据流的形式进行传输,传统的数据库管理系统的设计并非为了快速连续地存放单独的数据单元,而且也不支持持续快速处理。因此为了实现实时大数据的分析要求,现有技术中迅速出现多种实时数据流计算系统,例如雅虎公司的S4、推特公司的Storm、IBM公司的StreamBase以及学术界开源的Borealis等。
其中,Storm以简单的编程模型、支持各种编程语言和较好的容错性能的特点,在多种环境下都有应用。Storm是一种自由的,分布式的、容错的开源实时计算系统。Storm对数据流做连续查询,在计算时就将结果以流的形式输出给用户,每秒可以处理数以百万计的消息。
Storm集群由一个主节点和多个工作节点组成。主节点用于分配代码、布置任务及故障检测。各个工作节点用于监听工作,开始并终止工作进程。在进行数据处理过程中,如果工作节点出现故障,可以实现快速重启恢复,从而容错性能较高。
在某些应用环境下,使用storm技术,在工作节点出现故障丢失的数据可以忽略不计,并不影响整个数据流的分析过程,然而在另一些应用环境下,如网站安全分析系统中,需要对形成分析报表,丢失的数据可能导致报表的准确性和连续性。针对storm系统工作节点快速恢复过程中丢失数据的问题,现有技术中尚没有提出有效的解决方案。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的分布式实时计算系统和相应的分布式实时计算系统的数据处理方法。本发明一个进一步的目的是要解决使用分布式实时计算系统进行数据处理时,部分数据丢失的问题。
依据本发明的一个方面,提供了分布式实时计算系统的数据处理方法。该分布式实时计算系统的数据处理方法,包括:将父节点分配的数据写入备份文件;将备份文件同步至系统中所有子节点的存储装置中;监控子节点对数据的处理进程;当出现子节点中的任意一个出现处理进程崩溃的情况,利用除处理进程崩溃的子节点之外的子节点将存储装置中保存的备份文件进行数据还原。
可选地,在将父节点分配的数据写入备份文件之前还包括:由父节点将外部数据源的数据导入分布式实时计算系统,并将导入的数据进行拆分后分配子节点。
可选地,分布式实时计算系统为网站请求实时分析系统,外部数据源的数据为向网站服务器发送的访问请求。
可选地,将父节点分配的数据写入备份文件包括:接收由父节点分配的数据,并存入缓存区;将存入缓存区的数据写入预设的存储模型,形成备份文件。
可选地,将备份文件同步至系统中所有子节点的存储装置中包括:利用布置在各个子节点的客户端监控备份文件的变化;将变化的数据同步到所有子节点的存储装置中。
可选地,在利用除处理进程崩溃的子节点之外的子节点将存储装置中保存的备份文件进行数据还原之后还包括:使用处理进程对还原后的数据进行处理,将处理结果保存到数据库中。
根据本发明的另一个方面,还提供了一种分布式实时计算系统。该分布式实时计算系统,包括一个父节点和和多个子节点,其中,父节点用于将数据分配给多个子节点;每个子节点用于将父节点分配的数据写入备份文件,并执行预设的处理进程对分配的数据进行处理;所述分布式实时计算系统还包括:同步装置,用于将每个子节点备份文件同步至系统中所有子节点的存储装置中;监控装置,用于监控子节点对数据的处理进程;数据还原装置,用于当出现子节点中的任意一个出现处理进程崩溃的情况,利用除处理进程崩溃的子节点之外的子节点将存储装置中保存的备份文件进行数据还原。
可选地,父节点还用于:将外部数据源的数据导入分布式实时计算系统,并将导入的数据进行拆分后,以分配子节点。
可选地,分布式实时计算系统用于对向网站服务器发送的访问请求进行分析。
可选地,子节点被配置为:接收由父节点分配的数据,并存入缓存区;将存入缓存区的数据写入预设的存储模型,形成备份文件。
可选地,同步装置被配置为:利用布置在各个子节点的客户端监控备份文件的变化;将变化的数据同步到所有子节点的存储装置中。
可选地,子节点还用于:在利用除处理进程崩溃的子节点之外的子节点将存储装置中保存的备份文件进行数据还原之后,使用处理进程对还原后的数据进行处理,将处理结果保存到数据库中。
本发明的分布式实时计算系统及其数据处理方法在分布式实时计算系统中某个子节点出现处理进程崩溃的情况时,及时利用其他子节点对已经同步的备份数据文件进行数据还原,弥补了崩溃中丢失数据的损失,实现了分布式实时计算系统的数据持久化,从而满足了某些应用环境对数据完整性较高的要求。
进一步地,本发明的分布式实时计算系统及其数据处理方法应用于对网站请求实时分析中,在保证数据实时性的前提下,避免了数据丢失引起的报表异常,提高了报表的准确性和客观性,满足了用户需求。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是根据现有技术中的分布式实时计算系统100的网络拓扑图;
图2是根据本发明一个实施例的分布式实时计算系统200的示意图;
图3是根据本发明一个实施例的分布式实时计算系统的数据处理方法的示意图;以及
图4是根据本发明一个实施例的分布式实时计算系统作为网站请求实时分析系统的系统架构图。
具体实施方式
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
本发明实施例中提供了一种分布式实时计算系统和相应的分布式实时计算系统的数据处理方法,该分布是实时计算系统优选为Storm系统。
Storm是一种自由的,分布式的、容错的开源实时计算系统。图1是根据现有技术中的分布式实时计算系统100的网络拓扑图,Storm系统把数据处理抽象成由一个个逻辑单元组成的拓扑结构,每个逻辑单元由运算和输入输出组成,按照Storm的术语,其中父节点(spout)110是应用中产生源数据流的组件。通常情况下spout110会从外部数据源中读取数据,然后转换为Storm内部的数据流。Spout运行了一个名为“Nimbus”的进程,用于为各子节点(bolt)121、122、123……分配代码、布置任务,以拆分数据并分配给bolt进行处理。
Bolt在一个系统中为接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。用户可以在其中执行自己需要的操作。
Storm将大量的数据及时地分配给多个子节点进行处理,根据storm系统特性,当任一个bolt出现进程崩溃的情况时,可以进行迅速重启,相对于巨大的数量而言,丢失的数据可以忽略不计,但是在某些特殊的应用环境下,这部分丢失的数据的影响可能会比较大。例如在Strom平台作为网络安全系统的数据分析系统,如果出现短时的数据丢失,有可能会造成对某个网站的请求分析统计报表在某个时点突然出现下降的问题,这会影响网站用户的使用。
这对以上问题,本实施例的分布式实时计算系统对各个子节点的数据进行了持久化处理,将子节点的数据模型转换为存储模型,并进行数据同步,在出现节点崩溃的情况下,可以及时利用其他子节点将数据进行恢复并继续进行处理。
图2是根据本发明一个实施例的分布式实时计算系统200的示意图,该分布式实时计算系统200一般性地可以包括以下部件:一个父节点210,多个子节点221、222、223……,同步装置230,数据还原装置240,数据还原装置250。
在以上部件中父节点210用于将数据分配给多个子节点221、222、223……;每个子节点用于将父节点分配给各自的数据写入各自的备份文件,并执行预设的处理进程对分配的数据进行处理。
另外,同步装置230用于将每个子节点221、222、223……的备份文件同步至系统中所有子节点的存储装置中;监控装置240用于监控子节点221、222、223……对数据的处理进程;数据还原装置250用于当出现子节点21、222、223……中的任意一个出现处理进程崩溃的情况,利用除处理进程崩溃的子节点之外的子节点将存储装置中保存的备份文件进行数据还原。
例如,在以上子节点221、222、223……中进行数据处理过程中,监控装置240检测到子节点222的处理进程出现了崩溃,此时,数据还原装置可以利用子节点221或者子节点223将同步装置230同步的备份文件进行数据还原,将在崩溃期间在子节点222中处理数据进行恢复,并继续处理。保证了数据的完整性。
父节点210还可以将外部数据源的数据导入分布式实时计算系统200,并将导入的数据进行拆分后,以分配子节点221、222、223……。例如,当前处理的数据为网站访问日志数据,父节点210可以将访问日志按照子节点的数量和工作状态进行拆分,快速及时地分配给子节点进行处理,子节点按照预设的分析算法,对网站的请求进行处理,得到需要的分析结果,用于对网站的请求量、安全性、请求类型等进行统计和分析,并生成相应的报表,供网站使用者使用。本实施例的分布式实时计算系统200优先使用于对向网站服务器发送的访问请求进行分析。
子节点进行数据持久化的一种配置方式为:接收由父节点210分配的数据,并存入缓存区;将存入缓存区的数据写入预设的存储模型,形成备份文件。同步装置230利用布置在各个子节点的客户端监控备份文件的变化;将变化的数据同步到所有子节点的存储装置中。
在利用除处理进程崩溃的子节点之外的子节点将存储装置中保存的备份文件进行数据还原之后,进行数据还原的子节点使用处理进程对还原后的数据进行处理,将处理结果保存到数据库中。
借助于Storm框架的强大实时处理能力,本实施例的分布式实时计算系统对日志的分析可以迅速产生实时报表,并保证了数据的完整性。
本发明实施例还提供了一种以上分布式实时计算系统200的数据处理方法,该数据处理方法由以上实施例中介绍的分布式实时计算系统200执行,以解决针对storm系统工作节点快速恢复过程中丢失数据的问题。图3是根据本发明一个实施例的分布式实时计算系统的数据处理方法的示意图,该分布式实时计算系统的数据处理方法包括以下步骤:
步骤S302,将父节点分配的数据写入备份文件;
步骤S304,将备份文件同步至系统中所有子节点的存储装置中;
步骤S306,监控子节点对数据的处理进程;
步骤S308,判断是否出现子节点中的任意一个出现处理进程崩溃;
步骤S310,当出现子节点中的任意一个出现处理进程崩溃的情况,利用除处理进程崩溃的子节点之外的子节点将存储装置中保存的备份文件进行数据还原。
其中,在步骤S302之前,由父节点将外部数据源的数据导入分布式实时计算系统,并将导入的数据进行拆分后分配子节点。在本实施例的数据处理方法用于对网络请求分析时,父节点将接收到的向不同目标主机发送的访问请求拆分为Storm平台内部的数据流格式,分配给各个子节点,由各个子节点按照目标主机、URL、请求源ip对访问请求进行分类和分析,将分析结果存储对应数据库中。
步骤S302的存储过程可以采用一种数据持久化的操作,具体包括:接收由父节点分配的数据,并存入缓存区;将存入缓存区的数据写入预设的存储模型,形成备份文件。备份文件使用的存储模型可以是关系模型、XML、二进制流等。
步骤S304进行了数据同步,具体可以包括:利用布置在各个子节点的客户端监控备份文件的变化;将变化的数据同步到所有子节点的存储装置中。文件同步机制可以通过一个可共享的分层数据注册命名空间来协调分布部署的各个进程。以上命名空间非常像一个标准文件系统。每个名称都是用“/”分隔的一系列路径。每个空间都被用一个路径标示,每个路径都以“/”也就是根路径开始。数据读请求由它所连接的那个子节点处理。假如读请求在某个空间注册了一个监视事件,这个监视也由这个子节点来负责。写请求会被发给多个子节点,在所有子节点都完成之后才会返回响应,从而保证子节点的一致性。
步骤S306可以利用linux的内核监控文件系统,并且及时向专门的应用程序发出相关的事件警告。一种实现方式为:首先创建一个文件描述符,附加一个或多个监视器,然后使用读方法从描述符获取事件。
在步骤S308确定出子节点的的任意一个出现处理进程崩溃的情况时,数据同步机制可以有一个子节点读取已经同步的备份文件,实现数据还原。然后使用该子节点的处理进程对还原后的数据进行处理,将处理结果保存到数据库中。弥补了进程崩溃的子节点在崩溃过程中丢失的数据
本实施例的分布式实时计算系统及其数据处理方法可以优选作为网站请求实时分析系统,图4是根据本发明一个实施例的分布式实时计算系统作为网站请求实时分析系统的系统架构图。
按照图4示出的架构,父节点完成在线流量实时采集的步骤,首先导入网站请求数量,实时进行数据拆分,分配给各个子节点进行分布式数据处理,子节点将各个子节点按照请求源,请求目标主站进行分类,并将分析结果存储应用数据库中。
子节点在接收来自于父节点的分配数据写入缓存的过程中,将缓存的数据写入备份文件,并进行数据同步处理,将备份文件备份到所有子节点对应的存储装置中。其中,子节点1对应备份文件1,子节点2对应备份文件2,所有备份文件中的数据是同步的。
若在处理过程中,出现某一子节点的处理进程崩溃,例如子节点1出现崩溃,如果不使用本实施例的分布式实时计算系统和数据处理方法,有可能丢失掉某一主机在某一时段的请求数据,后续利用数据库中的处理结果生成报表或曲线时,会导致某一时刻的数据异常。如果利用本实施例的分布式实时计算系统,系统可以由子节点2从备份文件中读取子节点1正在处理的数据,并进行处理,从而弥补了丢失的数据,保证了报表数据的完整性以及曲线的平滑。
本实施例的分布式实时计算系统及其数据处理方法在某个子节点出现处理进程崩溃的情况时,及时利用其他子节点对已经同步的备份数据文件进行数据还原,弥补了崩溃中丢失数据的损失,实现了分布式实时计算系统的数据持久化,从而满足了某些应用环境对数据完整性较高的要求。
进一步地,本发明的分布式实时计算系统及其数据处理方法应用于对网站请求实时分析中,在保证数据实时性的前提下,避免了数据丢失引起的报表异常,提高了报表的准确性和客观性,满足了用户需求。
本发明的实施例公开了:
A1.一种分布式实时计算系统的数据处理方法,包括:
将父节点分配的数据写入备份文件;
将所述备份文件同步至系统中所有子节点的存储装置中;
监控所述子节点对所述数据的处理进程;
当出现所述子节点中的任意一个出现处理进程崩溃的情况,利用除处理进程崩溃的子节点之外的子节点将所述存储装置中保存的备份文件进行数据还原。
A2.根据A1所述的方法,其中,在将父节点分配的数据写入备份文件之前还包括:
由所述父节点将外部数据源的数据导入所述分布式实时计算系统,并将导入的数据进行拆分后分配所述子节点。
A3.根据A2所述的方法,其中,所述分布式实时计算系统为网站请求实时分析系统,所述外部数据源的数据为向网站服务器发送的访问请求。
A4.根据A1至A3中任一项所述的方法,其中,将父节点分配的数据写入备份文件包括:
接收由所述父节点分配的数据,并存入缓存区;
将存入缓存区的所述数据写入预设的存储模型,形成所述备份文件。
A5.根据A1至A4中任一项所述的方法,其中,将所述备份文件同步至系统中所有子节点的存储装置中包括:
利用布置在各个所述子节点的客户端监控备份文件的变化;
将变化的数据同步到所述所有子节点的存储装置中。
A6.根据A1至A5中任一项所述的方法,其中,在利用除处理进程崩溃的子节点之外的子节点将所述存储装置中保存的备份文件进行数据还原之后还包括:
使用所述处理进程对还原后的数据进行处理,将处理结果保存到数据库中。
B7.一种分布式实时计算系统,包括一个父节点和和多个子节点,其中,
所述父节点,用于将数据分配给多个子节点;
每个所述子节点用于将父节点分配的数据写入备份文件,并执行预设的处理进程对所述分配的数据进行处理;
所述分布式实时计算系统还包括:
同步装置,用于将每个所述子节点备份文件同步至系统中所有所述子节点的存储装置中;
监控装置,用于监控所述子节点对所述数据的处理进程;
数据还原装置,用于当出现所述子节点中的任意一个出现处理进程崩溃的情况,利用除处理进程崩溃的子节点之外的子节点将所述存储装置中保存的备份文件进行数据还原。
B8.根据B7所述的系统,其中,所述父节点还用于:
将外部数据源的数据导入所述分布式实时计算系统,并将导入的数据进行拆分后,以分配所述子节点。
B9.根据B7所述的系统,其中,所述分布式实时计算系统用于对向网站服务器发送的访问请求进行分析。
B10.根据B7至B9中任一项所述的系统,其中,所述子节点被配置为:接收由所述父节点分配的数据,并存入缓存区;将存入缓存区的所述数据写入预设的存储模型,形成所述备份文件。
B11.根据B7至B10中任一项所述的系统,其中,所述同步装置被配置为:
利用布置在各个所述子节点的客户端监控备份文件的变化;将变化的数据同步到所述所有子节点的存储装置中。
B12.根据B7至B11中任一项所述的系统,其中,所述子节点还用于:
在利用除处理进程崩溃的子节点之外的子节点将所述存储装置中保存的备份文件进行数据还原之后,使用所述处理进程对还原后的数据进行处理,将处理结果保存到数据库中。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的分布式实时计算系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种分布式实时计算系统的数据处理方法,包括:
将父节点分配的数据写入备份文件;
将所述备份文件同步至系统中所有子节点的存储装置中;
监控所述子节点对所述数据的处理进程;
当出现所述子节点中的任意一个出现处理进程崩溃的情况,利用除处理进程崩溃的子节点之外的子节点将所述存储装置中保存的备份文件进行数据还原。
2.根据权利要求1所述的方法,其中,在将父节点分配的数据写入备份文件之前还包括:
由所述父节点将外部数据源的数据导入所述分布式实时计算系统,并将导入的数据进行拆分后分配所述子节点。
3.根据权利要求2所述的方法,其中,所述分布式实时计算系统为网站请求实时分析系统,所述外部数据源的数据为向网站服务器发送的访问请求。
4.根据权利要求1至3中任一项所述的方法,其中,将父节点分配的数据写入备份文件包括:
接收由所述父节点分配的数据,并存入缓存区;
将存入缓存区的所述数据写入预设的存储模型,形成所述备份文件。
5.根据权利要求1至4中任一项所述的方法,其中,将所述备份文件同步至系统中所有子节点的存储装置中包括:
利用布置在各个所述子节点的客户端监控备份文件的变化;
将变化的数据同步到所述所有子节点的存储装置中。
6.根据权利要求1至5中任一项所述的方法,其中,在利用除处理进程崩溃的子节点之外的子节点将所述存储装置中保存的备份文件进行数据还原之后还包括:
使用所述处理进程对还原后的数据进行处理,将处理结果保存到数据库中。
7.一种分布式实时计算系统,包括一个父节点和和多个子节点,其中,
所述父节点,用于将数据分配给多个子节点;
每个所述子节点用于将父节点分配的数据写入备份文件,并执行预设的处理进程对所述分配的数据进行处理;
所述分布式实时计算系统还包括:
同步装置,用于将每个所述子节点备份文件同步至系统中所有所述子节点的存储装置中;
监控装置,用于监控所述子节点对所述数据的处理进程;
数据还原装置,用于当出现所述子节点中的任意一个出现处理进程崩溃的情况,利用除处理进程崩溃的子节点之外的子节点将所述存储装置中保存的备份文件进行数据还原。
8.根据权利要求7所述的系统,其中,所述父节点还用于:
将外部数据源的数据导入所述分布式实时计算系统,并将导入的数据进行拆分后,以分配所述子节点。
9.根据权利要求7所述的系统,其中,所述分布式实时计算系统用于对向网站服务器发送的访问请求进行分析。
10.根据权利要求7至9中任一项所述的系统,其中,所述子节点被配置为:接收由所述父节点分配的数据,并存入缓存区;将存入缓存区的所述数据写入预设的存储模型,形成所述备份文件。
CN201310741313.8A 2013-12-27 2013-12-27 分布式实时计算系统及其数据处理方法 Active CN103701906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310741313.8A CN103701906B (zh) 2013-12-27 2013-12-27 分布式实时计算系统及其数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310741313.8A CN103701906B (zh) 2013-12-27 2013-12-27 分布式实时计算系统及其数据处理方法

Publications (2)

Publication Number Publication Date
CN103701906A true CN103701906A (zh) 2014-04-02
CN103701906B CN103701906B (zh) 2017-06-09

Family

ID=50363300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310741313.8A Active CN103701906B (zh) 2013-12-27 2013-12-27 分布式实时计算系统及其数据处理方法

Country Status (1)

Country Link
CN (1) CN103701906B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615777A (zh) * 2015-02-27 2015-05-13 浪潮集团有限公司 一种基于流式计算引擎的实时数据处理方法及装置
CN105630652A (zh) * 2016-02-02 2016-06-01 中国石油大学(华东) 一种面向实时大数据平台Storm的运行时三维可视化系统
CN106411684A (zh) * 2015-07-30 2017-02-15 中兴通讯股份有限公司 消息处理方法及装置
CN106789203A (zh) * 2016-12-09 2017-05-31 光科技股份有限公司 一种应用于智能网荷互动终端的通讯装置
CN106790464A (zh) * 2016-12-09 2017-05-31 光科技股份有限公司 一种基于智能网荷互动终端的数据交换网络
WO2017097006A1 (zh) * 2015-12-11 2017-06-15 华为技术有限公司 一种实时数据容错处理方法及系统
CN106874182A (zh) * 2016-07-05 2017-06-20 阿里巴巴集团控股有限公司 代码异常处理、代码执行方法及装置
CN107608831A (zh) * 2017-09-26 2018-01-19 甘肃万维信息技术有限责任公司 备份数据的处理方法及装置
CN109697209A (zh) * 2018-12-25 2019-04-30 广东亿迅科技有限公司 一种面向分布式数据库的报表处理方法及装置
CN110231915A (zh) * 2019-05-29 2019-09-13 南昌大学 数据管理方法、系统、装置、计算机设备及存储介质
CN112579121A (zh) * 2020-12-09 2021-03-30 广州橙行智动汽车科技有限公司 一种数据处理的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663117A (zh) * 2012-04-18 2012-09-12 中国人民大学 面向数据库与Hadoop混合平台的OLAP查询处理方法
CN102868754A (zh) * 2012-09-26 2013-01-09 北京联创信安科技有限公司 一种实现集群存储高可用性的方法、节点装置和系统
CN102902605A (zh) * 2012-09-29 2013-01-30 山东浪潮齐鲁软件产业股份有限公司 一种分布式云计算集群组海量数据备份和还原的方法
CN103078941A (zh) * 2012-12-31 2013-05-01 中金数据系统有限公司 一种分布式计算系统的任务调度方法及系统
CN103108000A (zh) * 2011-11-09 2013-05-15 中国移动通信集团公司 用于任务同步的方法和系统及系统中的主节点和工作节点
CN103324533A (zh) * 2012-03-22 2013-09-25 华为技术有限公司 分布式数据处理方法、装置及系统
CN103401698A (zh) * 2013-07-02 2013-11-20 北京奇虎科技有限公司 用于服务器集群运算中对服务器状况报警的监控系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103108000A (zh) * 2011-11-09 2013-05-15 中国移动通信集团公司 用于任务同步的方法和系统及系统中的主节点和工作节点
CN103324533A (zh) * 2012-03-22 2013-09-25 华为技术有限公司 分布式数据处理方法、装置及系统
CN102663117A (zh) * 2012-04-18 2012-09-12 中国人民大学 面向数据库与Hadoop混合平台的OLAP查询处理方法
CN102868754A (zh) * 2012-09-26 2013-01-09 北京联创信安科技有限公司 一种实现集群存储高可用性的方法、节点装置和系统
CN102902605A (zh) * 2012-09-29 2013-01-30 山东浪潮齐鲁软件产业股份有限公司 一种分布式云计算集群组海量数据备份和还原的方法
CN103078941A (zh) * 2012-12-31 2013-05-01 中金数据系统有限公司 一种分布式计算系统的任务调度方法及系统
CN103401698A (zh) * 2013-07-02 2013-11-20 北京奇虎科技有限公司 用于服务器集群运算中对服务器状况报警的监控系统

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615777A (zh) * 2015-02-27 2015-05-13 浪潮集团有限公司 一种基于流式计算引擎的实时数据处理方法及装置
CN106411684A (zh) * 2015-07-30 2017-02-15 中兴通讯股份有限公司 消息处理方法及装置
CN106411684B (zh) * 2015-07-30 2020-06-16 中兴通讯股份有限公司 消息处理方法及装置
CN106874142B (zh) * 2015-12-11 2020-08-07 华为技术有限公司 一种实时数据容错处理方法及系统
WO2017097006A1 (zh) * 2015-12-11 2017-06-15 华为技术有限公司 一种实时数据容错处理方法及系统
CN106874142A (zh) * 2015-12-11 2017-06-20 华为技术有限公司 一种实时数据容错处理方法及系统
CN105630652A (zh) * 2016-02-02 2016-06-01 中国石油大学(华东) 一种面向实时大数据平台Storm的运行时三维可视化系统
CN106874182B (zh) * 2016-07-05 2020-03-10 阿里巴巴集团控股有限公司 代码异常处理、代码执行方法及装置
CN106874182A (zh) * 2016-07-05 2017-06-20 阿里巴巴集团控股有限公司 代码异常处理、代码执行方法及装置
CN106790464A (zh) * 2016-12-09 2017-05-31 光科技股份有限公司 一种基于智能网荷互动终端的数据交换网络
CN106789203A (zh) * 2016-12-09 2017-05-31 光科技股份有限公司 一种应用于智能网荷互动终端的通讯装置
CN107608831A (zh) * 2017-09-26 2018-01-19 甘肃万维信息技术有限责任公司 备份数据的处理方法及装置
CN107608831B (zh) * 2017-09-26 2020-08-04 中电万维信息技术有限责任公司 备份数据的处理方法及装置
CN109697209A (zh) * 2018-12-25 2019-04-30 广东亿迅科技有限公司 一种面向分布式数据库的报表处理方法及装置
CN110231915A (zh) * 2019-05-29 2019-09-13 南昌大学 数据管理方法、系统、装置、计算机设备及存储介质
CN110231915B (zh) * 2019-05-29 2022-04-01 南昌大学 数据管理方法、系统、装置、计算机设备及存储介质
CN112579121A (zh) * 2020-12-09 2021-03-30 广州橙行智动汽车科技有限公司 一种数据处理的方法和装置

Also Published As

Publication number Publication date
CN103701906B (zh) 2017-06-09

Similar Documents

Publication Publication Date Title
CN103701906A (zh) 分布式实时计算系统及其数据处理方法
US10860596B2 (en) Employing external data stores to service data requests
US11238069B2 (en) Transforming a data stream into structured data
CN111796983B (zh) 一种体彩异常交易请求的监控系统及方法
CN107341258B (zh) 一种日志数据采集方法及系统
US8996925B2 (en) Managing error logs in a distributed network fabric
CN108021809A (zh) 一种数据处理方法及系统
CN103019879A (zh) 浏览器崩溃信息的处理方法及系统
Levin et al. AIOps for a cloud object storage service
CN110753050B (zh) 协议文档的生成方法及装置、计算机存储介质、电子设备
CN103078945A (zh) 对浏览器崩溃数据进行处理的方法与系统
WO2023028442A1 (en) Compressing digital metrics for transmission across a network utilizing a graph-based compression dictionary and time slice delta compression
CN105159820A (zh) 一种系统日志数据传输方法及装置
CN105320711A (zh) 巨量数据存取方法以及使用该方法的系统
CN113672668A (zh) 大数据场景下的日志实时处理方法及装置
CN112506954A (zh) 数据库审计方法和装置
CN105245394A (zh) 一种基于分层方式分析网络访问日志的方法和设备
CN111130882A (zh) 网络设备的监控系统及方法
US20160323399A1 (en) Method of and a system for monitoring web site consistency
Kulkarni et al. Analysis of system logs for pattern detection and anomaly prediction
US20210334154A1 (en) Enriched high fidelity metrics
US20150248499A1 (en) Optimized read/write access to a document object model
CN113760856A (zh) 数据库管理方法及装置、计算机可读存储介质、电子设备
CN110866165A (zh) 一种网络视频采集方法及系统
CN116546091B (zh) 流式内容的推荐方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20161212

Address after: 100015 Jiuxianqiao Chaoyang District Beijing Road No. 10, building 15, floor 17, layer 1701-26, 3

Applicant after: BEIJING QIANXIN TECHNOLOGY Co.,Ltd.

Address before: 100088 Beijing city Xicheng District xinjiekouwai Street 28, block D room 112 (Desheng Park)

Applicant before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Applicant before: Qizhi software (Beijing) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180713

Address after: 100015 15, 17 floor 1701-26, 3 building, 10 Jiuxianqiao Road, Chaoyang District, Beijing.

Co-patentee after: LEGENDSEC INFORMATION TECHNOLOGY (BEIJING) Inc.

Patentee after: BEIJING QIANXIN TECHNOLOGY Co.,Ltd.

Address before: 100015 15, 17 floor 1701-26, 3 building, 10 Jiuxianqiao Road, Chaoyang District, Beijing.

Patentee before: BEIJING QIANXIN TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
CP03 Change of name, title or address

Address after: Room 332, 3 / F, Building 102, 28 xinjiekouwei street, Xicheng District, Beijing 100088

Patentee after: Qianxin Technology Group Co.,Ltd.

Patentee after: LEGENDSEC INFORMATION TECHNOLOGY (BEIJING) Inc.

Address before: 100015 15, 17 floor 1701-26, 3 building, 10 Jiuxianqiao Road, Chaoyang District, Beijing.

Patentee before: BEIJING QIANXIN TECHNOLOGY Co.,Ltd.

Patentee before: LEGENDSEC INFORMATION TECHNOLOGY (BEIJING) Inc.

Address after: 100044 2nd floor, building 1, yard 26, Xizhimenwai South Road, Xicheng District, Beijing

Patentee after: LEGENDSEC INFORMATION TECHNOLOGY (BEIJING) Inc.

Patentee after: Qianxin Technology Group Co.,Ltd.

Address before: Room 332, 3 / F, Building 102, 28 xinjiekouwei street, Xicheng District, Beijing 100088

Patentee before: Qianxin Technology Group Co.,Ltd.

Patentee before: LEGENDSEC INFORMATION TECHNOLOGY (BEIJING) Inc.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 2nd Floor, Building 1, Yard 26, Xizhimenwai South Road, Xicheng District, Beijing, 100032

Patentee after: Qianxin Wangshen information technology (Beijing) Co.,Ltd.

Patentee after: Qianxin Technology Group Co.,Ltd.

Address before: 100044 2nd floor, building 1, yard 26, Xizhimenwai South Road, Xicheng District, Beijing

Patentee before: LEGENDSEC INFORMATION TECHNOLOGY (BEIJING) Inc.

Patentee before: Qianxin Technology Group Co.,Ltd.

CP03 Change of name, title or address