CN104572976A - 网站数据更新方法和系统 - Google Patents

网站数据更新方法和系统 Download PDF

Info

Publication number
CN104572976A
CN104572976A CN201410855185.4A CN201410855185A CN104572976A CN 104572976 A CN104572976 A CN 104572976A CN 201410855185 A CN201410855185 A CN 201410855185A CN 104572976 A CN104572976 A CN 104572976A
Authority
CN
China
Prior art keywords
real time
log file
website
traffic data
time traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410855185.4A
Other languages
English (en)
Other versions
CN104572976B (zh
Inventor
马慧铭
张�杰
俞辉
夏明泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Pinwei Software Co Ltd
Original Assignee
Guangzhou Vipshop Information And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Vipshop Information And Technology Co Ltd filed Critical Guangzhou Vipshop Information And Technology Co Ltd
Priority to CN201410855185.4A priority Critical patent/CN104572976B/zh
Publication of CN104572976A publication Critical patent/CN104572976A/zh
Application granted granted Critical
Publication of CN104572976B publication Critical patent/CN104572976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供一种网站数据更新方法和系统，网站数据更新方法包括：获取网站所对应的web服务器的网站日志以及网站的实时业务数据；将网站日志以及实时业务数据上传至基于分布式系统基础架构的数据库；在数据库中对所述网站日志以及实时业务数据进行过滤及分类处理；将网站日志以及实时业务数据上传至分布式消息队列；在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理；分别从所述数据库和分布式消息队列中导出过滤及分类后的网站日志以及实时业务数据，并将两部分网站日志以及实时业务数据进行合并；利用合并后的网站日志以及实时业务数据更新网站数据。上述网站数据更新方法和系统可以进一步提高该网站处理相应业务的效率。

Description

网站数据更新方法和系统
技术领域
本发明涉及互联网技术领域，特别是涉及一种网站数据更新方法和系统。
背景技术
随着互联网技术的发展，许多行业对来自相关网站的数据的依赖程度越来越高。传统的网站数据更新一般使用离线数据，即第N天使用及分析的网站数据实际上使用的第N-1天及以前的数据。这种网站数据更新方法无法反应出当天实际数据对网站所开展的业务的影响，一般只适用于对实时数据依赖度不高的行业，而对于一些对实时数据依赖度高的网站而言，比如垂直电商等，其对实时数据的敏感程度远高于历史数据，这些网站亟需实时数据能够参与到网站数据更新中去，因此现有的网站数据更新方法便无法满足如垂直电商这一类对数据更新速度要求快的网站，甚至有可能由于对网站数据分析不及时而影响业务开展进程及效率。
发明内容
基于此，有必要针对现有的网站数据更新方法无法满足如垂直电商这一类对数据更新速度要求快的网站，甚至有可能由于对网站数据分析不及时而影响业务开展进程及效率的技术问题，提供一种网站数据更新方法和系统。
一种网站数据更新方法，包括如下步骤：
获取网站所对应的web服务器的网站日志以及网站的实时业务数据；其中，所述实时业务数据包括从网站日志更新的最后时刻至当前时刻内该网站的访问数据；
将所述网站日志以及实时业务数据上传至基于分布式系统基础架构的数据库；
在所述数据库中对所述网站日志以及实时业务数据进行过滤及分类处理；
将所述网站日志以及实时业务数据上传至分布式消息队列；
在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理；
分别从所述数据库和分布式消息队列中导出过滤及分类后的网站日志以及实时业务数据，并将两部分网站日志以及实时业务数据进行合并；
利用合并后的网站日志以及实时业务数据更新网站数据。
一种网站数据更新系统，包括：
获取模块，用于获取网站所对应的web服务器的网站日志以及网站的实时业务数据；其中，所述实时业务数据包括从网站日志更新的最后时刻至当前时刻内该网站的访问数据；
第一上传模块，用于将所述网站日志以及实时业务数据上传至基于分布式系统基础架构的数据库；
第一处理模块，用于在所述数据库中对所述网站日志以及实时业务数据进行过滤及分类处理；
第二上传模块，用于将所述网站日志以及实时业务数据上传至分布式消息队列；
第二处理模块，用于在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理；
合并模块，用于分别从所述数据库和分布式消息队列中导出过滤及分类后的网站日志以及实时业务数据，并将两部分网站日志以及实时业务数据进行合并；
更新模块，用于利用合并后的网站日志以及实时业务数据更新网站数据。
上述网站数据更新方法和系统，通过将网站所对应的web服务器的网站日志以及网站的实时业务数据分别上传基于分布式系统基础架构的数据库以及分布式消息队列，分别在其所在的数据库以及分布式消息队列中进行过滤及分类处理，并将数据库以及分布式消息队列中过滤及分类处理后的网站日志和实时业务数据进行合并，并利用合并后的网站日志以及实时业务数据更新网站数据。本发明中，利用可以反映该网站的实时业务数据，并结合网站日志所包含的网站历史数据更新网站数据，使所更新的网站数据能准确反映对应的客户端所获取的实时业务数据，保证了网站更新的数据的速度和质量，根据更新后的网站数据进行后续的分析并采取相关应对措施，可以进一步提高该网站处理相应业务的效率。
附图说明
图1为一个实施例的网站数据更新方法流程图；
图2为一个实施例的分布式消息队列数据上传方法流程图；
图3为一个实施例的过滤及分类处理方法流程图；
图4为一个实施例的过滤及分类处理方法流程图；
图5为一个实施例的网站数据更新系统结构示意图；
图6为一个实施例的第二上传模块结构示意图；
图7为一个实施例的第一处理模块结构示意图；
图8为一个实施例的第二处理模块结构示意图。
具体实施方式
下面结合附图对本发明的网站数据更新方法和系统的具体实施方式作详细描述。
参考图1，图1所示为一个实施例的网站数据更新方法流程图，包括如下步骤：
S10，获取网站所对应的web服务器的网站日志以及网站的实时业务数据；其中，所述实时业务数据包括从网站日志更新的最后时刻至当前时刻内该网站的访问数据；
上述步骤S10中，网站日志一般指以预设时间段为单位记录网站所在服务器接收该网站的相关业务请求以及运行时的出现的异常情况的消息或者文件；网站日志可以包括该网站的会员登陆次数，非会员登录次数，登录的会员等级，各类型的客户分别在该网站的停留时间等等。上述预设时间段可以为一天，即网站日志每天更新一次，当天的网站客户端获取的业务数据为该网站的实时业务数据；也可以为适合阶段性总结对应的网站业务数据的其他时间段。
S20，将所述网站日志以及实时业务数据上传至基于分布式系统基础架构的数据库；
上述步骤S20中，将所述网站日志以及实时业务数据上传至基于分布式系统基础架构的数据库，上述基于分布式系统基础架构的数据库可以基于Hadoop(一个由Apache基金会所开发的分布式系统基础架构)，它具有高容错性，可以以一种可靠、高效、可伸缩的方式进行数据处理。这样，相关用户可以在不了解分布式底层细节的情况下，开发分布式程序，并且后续处理中可以对其中的网站日志以及实时业务数据进行高速运算和存储，可以提高数据处理的效率。
S30，在所述数据库中对所述网站日志以及实时业务数据进行过滤及分类处理；
上述步骤S30中，对所述网站日志以及实时业务数据进行过滤及分类处理，可以将数据库中网站日志以及实时业务数据所包含的信息根据网站的时机业务需求筛选出有用信息，并将上述有用信息进行分类处理，使得到的信息更能准确清晰的反映该网站的业务状况。
S40，将所述网站日志以及实时业务数据上传至分布式消息队列；
上述步骤S40中，将所述网站日志以及实时业务数据上传至分布式消息队列，可以使消息的传输具体较低的延迟，进一步加快对相关数据的处理速度；并且使上述网站日志以及实时业务数据分两种路径进行处理，可以提高最终所获取的网站业务数据的准确性。
S50，在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理；
上述步骤S50中，在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理，可以上述网站日志以及实时业务数据所包含的信息根据网站的时机业务需求筛选出有用信息，并将有用信息进行分类处理，使得到的信息更能准确清晰的反映该网站的业务状况。
S60，分别从所述数据库和分布式消息队列中导出过滤及分类后的网站日志以及实时业务数据，并将两部分网站日志以及实时业务数据进行合并；
上述步骤S60中，对于一个数据源同时分别进行两部分处理，将两部分网站日志以及实时业务数据进行合并，可以在提高网站业务数据的完整性和准确性的基础上，保证对网站业务数据的处理效率。
S70，利用合并后的网站日志以及实时业务数据更新网站数据。
上述实施例提供的网站数据更新方法，通过将网站所对应的web服务器的网站日志以及网站的实时业务数据分别上传基于分布式系统基础架构的数据库以及分布式消息队列，分别在其所在的数据库以及分布式消息队列中进行过滤及分类处理，并将数据库以及分布式消息队列中过滤及分类处理后的网站日志和实时业务数据进行合并，并利用合并后的网站日志以及实时业务数据更新网站数据。本发明中，利用可以反映该网站的实时业务数据，并结合网站日志所包含的网站历史数据更新网站数据，使所更新的网站数据能准确反映对应的客户端所获取的实时业务数据，保证了网站更新的数据的速度和质量，根据更新后的网站数据进行后续的分析并采取相关应对措施，可以进一步提高该网站处理相应业务的效率。
参考图2，图2所示为一个实施例的分布式消息队列数据上传方法流程图，如图示，上述步骤S40可以包括：
S41，将网站日志所包含的网站数据分解成若干条消息；
S42，分别将每条消息传送至分布式消息队列；
S43，将从网站日志更新的最后时刻至当前时刻内该网站的实时业务数据对应的消息传送至分布式消息队列。
上述实施例提供的分布式消息队列数据上传方法将网站日志所包含的网站数据分解成若干条消息，与实时业务数据对应的消息一起传送至分布式消息队列，其中的分布式消息队列可以为kafka(一种l inkedin用于日志处理的分布式消息队列)；上述分布式消息队列数据上传方法相对于将相应的数据传送至基于分布式系统基础架构的数据库，延迟较短，可以进一步提高相关业务数据的处理速度。
参考图3，图3所示为一个实施例的过滤及分类处理方法流程图，如图示，上述步骤S30可以包括：
S31，筛选出所述数据库中的网站日志以及实时业务数据中的非法数据，并进行删除；
S32，在数据库中将所述网站日志以及实时业务数据按照访问网站的会员类型、以及在该网站的停留时间进行分类，得到第一分类网站日志和实时业务数据并进行存储。
上述实施例中，网站日志以及实时业务数据中的非法数据可以指该网站的会员或者非会员登录错误的相关数据，也可以指在网站的相关网页或者客户端进行浏览过程中的错误数据等；将这些非法数据筛选出来并进行删除，可以有效避免在后续的网站业务数据处理过程中这些非法数据对正常的网站业务数据带来的干扰问题，提高对正常的网站业务数据的处理效率。
参考图4，图4所示为一个实施例的过滤及分类处理方法流程图，如图示，上述步骤S50可以包括：
S51，将分布式消息队列中的网站日志以及实时业务数据同步至strom系统；
S52，在strom系统中筛选出每条消息所对应的网站日志或者实时业务数据中的非法数据，并进行删除；
S53，在strom系统中将所述网站日志以及实时业务数据按照访问网站的会员类型、以及在该网站的停留时间进行分类，得到第二分类网站日志和实时业务数据。
上述实施例中，storm系统是个实时的、分布式以及具备高容错的计算系统,可以处理大批量的数据，在保证高可靠性的前提下还可以让处理进行得更加实时；也就是说，所有的信息都会被处理；此外，storm同样还具备容错和分布计算这些特性，这就让Storm可以扩展到不同的机器上进行大批量的数据处理，因此分布式消息队列中的网站日志以及实时业务数据同步至strom系统，可以增强对网站业务数据的处理能力。其中的非法数据可以指该网站的会员或者非会员登录错误的相关数据，也可以指在网站的相关网页或者客户端进行浏览过程中的错误数据等；将这些非法数据筛选出来并进行删除，可以有效避免在后续的网站业务数据处理过程中这些非法数据对正常的网站业务数据带来的干扰问题，提高对正常的网站业务数据的处理效率。
在一个实施例中，上述步骤S50后还可以包括：
将分布式消息队列中过滤及分类处理后的网站日志以及实时业务数据存储至redis存储系统。
上述实施例中，redis是一个开源的，使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value(一种分布式存储系统)的数据库；redis存储系统支持存储的value类型相对多，可以包括string(字符串)、list(链表)、set(集合)、zset(sorted set--有序集合)和hash(哈希类型)等，此外，redis存储系统还支持对其中的数据进行多种操作；将分布式消息队列中过滤及分类处理后的网站日志以及实时业务数据存储至redis存储系统，有助于操作网站业务数据中不同类型的数据。
参考图5，图5所示为一个实施例的网站数据更新系统结构示意图，包括：
获取模块10，用于获取网站所对应的web服务器的网站日志以及网站的实时业务数据；其中，所述实时业务数据包括从网站日志更新的最后时刻至当前时刻内该网站的访问数据；
第一上传模块20，用于将所述网站日志以及实时业务数据上传至基于分布式系统基础架构的数据库；
第一处理模块30，用于在所述数据库中对所述网站日志以及实时业务数据进行过滤及分类处理；
第二上传模块40，用于将所述网站日志以及实时业务数据上传至分布式消息队列；
第二处理模块50，用于在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理；
合并模块60，用于分别从所述数据库和分布式消息队列中导出过滤及分类后的网站日志以及实时业务数据，并将两部分网站日志以及实时业务数据进行合并；
更新模块70，用于利用合并后的网站日志以及实时业务数据更新网站数据。
参考图6，图6所示为一个实施例的第二上传模块结构示意图，上述第二上传模块40可以包括：
分解单元41，用于将网站日志所包含的网站数据分解成若干条消息；
第一传送单元42，用于分别将每条消息传送至分布式消息队列；
第二传送单元43，用于将从网站日志更新的最后时刻至当前时刻内该网站的实时业务数据对应的消息传送至分布式消息队列。
参考图7，图7所示为一个实施例的第一处理模块结构示意图，上述第一处理模块30可以包括：
第一删除单元31，用于筛选出所述数据库中的网站日志以及实时业务数据中的非法数据，并进行删除；
第一分类单元32，用于在数据库中将所述网站日志以及实时业务数据按照访问网站的会员类型、以及在该网站的停留时间进行分类，得到第一分类网站日志和实时业务数据并进行存储。
参考图8，图8所示为一个实施例的第二处理模块结构示意图，上述第二处理模块50可以包括：
同步单元51，用于将分布式消息队列中的网站日志以及实时业务数据同步至strom系统；
第二删除单元52，用于在strom系统中筛选出每条消息所对应的网站日志或者实时业务数据中的非法数据，并进行删除；
第二分类单元53，用于在strom系统中将所述网站日志以及实时业务数据按照访问网站的会员类型、以及在该网站的停留时间进行分类，得到第二分类网站日志和实时业务数据。
在一个实施例中，上述第二处理模块50后还可以包括：
存储模块，用于将分布式消息队列中过滤及分类处理后的网站日志以及实时业务数据存储至redis存储系统
本发明的网站数据更新系统与本发明的网站数据更新方法一一对应，在上述网站数据更新方法的实施例阐述的技术特征及其有益效果均适用于网站数据更新系统的实施例中，特此声明。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种网站数据更新方法，其特征在于，包括如下步骤：
获取网站所对应的web服务器的网站日志以及网站的实时业务数据；其中，所述实时业务数据包括从网站日志更新的最后时刻至当前时刻内该网站的访问数据；
将所述网站日志以及实时业务数据上传至基于分布式系统基础架构的数据库；
在所述数据库中对所述网站日志以及实时业务数据进行过滤及分类处理；
将所述网站日志以及实时业务数据上传至分布式消息队列；
在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理；
分别从所述数据库和分布式消息队列中导出过滤及分类后的网站日志以及实时业务数据，并将两部分网站日志以及实时业务数据进行合并；
利用合并后的网站日志以及实时业务数据更新网站数据。
2.根据权利要求1所述的网站数据更新方法，其特征在于，所述将所述网站日志以及实时业务数据上传至分布式消息队列的步骤包括：
将网站日志所包含的网站数据分解成若干条消息；
分别将每条消息传送至分布式消息队列；
将从网站日志更新的最后时刻至当前时刻内该网站的实时业务数据对应的消息传送至分布式消息队列。
3.根据权利要求1所述的网站数据更新方法，其特征在于，所述在所述数据库中对所述网站日志以及实时业务数据进行过滤及分类处理的步骤包括：
筛选出所述数据库中的网站日志以及实时业务数据中的非法数据，并进行删除；
在数据库中将所述网站日志以及实时业务数据按照访问网站的会员类型、以及在该网站的停留时间进行分类，得到第一分类网站日志和实时业务数据并进行存储。
4.根据权利要求1所述的网站数据更新方法，其特征在于，所述在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理的步骤包括：
将分布式消息队列中的网站日志以及实时业务数据同步至strom系统；
在strom系统中筛选出每条消息所对应的网站日志或者实时业务数据中的非法数据，并进行删除；
在strom系统中将所述网站日志以及实时业务数据按照访问网站的会员类型、以及在该网站的停留时间进行分类，得到第二分类网站日志和实时业务数据。
5.根据权利要求1所述的网站数据更新方法，其特征在于，所述在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理的步骤后还包括：
将分布式消息队列中过滤及分类处理后的网站日志以及实时业务数据存储至redis存储系统。
6.一种网站数据更新系统，其特征在于，包括：
获取模块，用于获取网站所对应的web服务器的网站日志以及网站的实时业务数据；其中，所述实时业务数据包括从网站日志更新的最后时刻至当前时刻内该网站的访问数据；
第一上传模块，用于将所述网站日志以及实时业务数据上传至基于分布式系统基础架构的数据库；
第一处理模块，用于在所述数据库中对所述网站日志以及实时业务数据进行过滤及分类处理；
第二上传模块，用于将所述网站日志以及实时业务数据上传至分布式消息队列；
第二处理模块，用于在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理；
合并模块，用于分别从所述数据库和分布式消息队列中导出过滤及分类后的网站日志以及实时业务数据，并将两部分网站日志以及实时业务数据进行合并；
更新模块，用于利用合并后的网站日志以及实时业务数据更新网站数据。
7.根据权利要求6所述的网站数据更新系统，其特征在于，所述第二上传模块包括：
分解单元，用于将网站日志所包含的网站数据分解成若干条消息；
第一传送单元，用于分别将每条消息传送至分布式消息队列；
第二传送单元，用于将从网站日志更新的最后时刻至当前时刻内该网站的实时业务数据对应的消息传送至分布式消息队列。
8.根据权利要求6所述的网站数据更新系统，其特征在于，所述第一处理模块包括：
第一删除单元，用于筛选出所述数据库中的网站日志以及实时业务数据中的非法数据，并进行删除；
第一分类单元，用于在数据库中将所述网站日志以及实时业务数据按照访问网站的会员类型、以及在该网站的停留时间进行分类，得到第一分类网站日志和实时业务数据并进行存储。
9.根据权利要求6所述的网站数据更新系统，其特征在于，所述第二处理模块包括：
同步单元，用于将分布式消息队列中的网站日志以及实时业务数据同步至strom系统；
第二删除单元，用于在strom系统中筛选出每条消息所对应的网站日志或者实时业务数据中的非法数据，并进行删除；
第二分类单元，用于在strom系统中将所述网站日志以及实时业务数据按照访问网站的会员类型、以及在该网站的停留时间进行分类，得到第二分类网站日志和实时业务数据。
10.根据权利要求6所述的网站数据更新系统，其特征在于，所述第二处理模块后还包括：
存储模块，用于将分布式消息队列中过滤及分类处理后的网站日志以及实时业务数据存储至redis存储系统。
CN201410855185.4A 2014-12-30 2014-12-30 网站数据更新方法和系统 Active CN104572976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410855185.4A CN104572976B (zh) 2014-12-30 2014-12-30 网站数据更新方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410855185.4A CN104572976B (zh) 2014-12-30 2014-12-30 网站数据更新方法和系统

Publications (2)

Publication Number Publication Date
CN104572976A true CN104572976A (zh) 2015-04-29
CN104572976B CN104572976B (zh) 2018-03-27

Family

ID=53089038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410855185.4A Active CN104572976B (zh) 2014-12-30 2014-12-30 网站数据更新方法和系统

Country Status (1)

Country Link
CN (1) CN104572976B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201739A (zh) * 2016-06-29 2016-12-07 上海浦东发展银行股份有限公司信用卡中心 一种基于Redis的Storm的远程调用方法
CN106909598A (zh) * 2016-07-01 2017-06-30 阿里巴巴集团控股有限公司 一种保障计算数据一致性的处理方法、装置及系统
CN107229639A (zh) * 2016-03-24 2017-10-03 上海宝信软件股份有限公司 分布式实时数据库的存储系统
CN107480277A (zh) * 2017-08-22 2017-12-15 北京京东尚科信息技术有限公司 用于网站日志采集的方法及装置
CN107515880A (zh) * 2016-06-17 2017-12-26 宏碁股份有限公司 数据分散处理系统与方法
CN107943840A (zh) * 2017-10-30 2018-04-20 深圳前海微众银行股份有限公司 数据处理方法、系统和计算机可读存储介质
CN108073625A (zh) * 2016-11-14 2018-05-25 北京京东尚科信息技术有限公司 用于元数据信息管理的系统及方法
CN110032558A (zh) * 2019-04-12 2019-07-19 重庆天蓬网络有限公司 一种数据同步方法、装置、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100318527A1 (en) * 2009-05-26 2010-12-16 Sagnik Nandy Dynamically generating aggregate tables
CN103530290A (zh) * 2012-07-03 2014-01-22 深圳市腾讯计算机系统有限公司 数据库间的数据迁移方法和系统
CN104022903A (zh) * 2014-06-13 2014-09-03 中国民航信息网络股份有限公司 一站式自动化运维系统
CN104156465A (zh) * 2014-08-22 2014-11-19 金石易诚（北京）科技有限公司 一种实时网页同步及后台分布式数据存储系统
CN104182548A (zh) * 2014-09-10 2014-12-03 北京国双科技有限公司 网页更新处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100318527A1 (en) * 2009-05-26 2010-12-16 Sagnik Nandy Dynamically generating aggregate tables
CN103530290A (zh) * 2012-07-03 2014-01-22 深圳市腾讯计算机系统有限公司 数据库间的数据迁移方法和系统
CN104022903A (zh) * 2014-06-13 2014-09-03 中国民航信息网络股份有限公司 一站式自动化运维系统
CN104156465A (zh) * 2014-08-22 2014-11-19 金石易诚（北京）科技有限公司 一种实时网页同步及后台分布式数据存储系统
CN104182548A (zh) * 2014-09-10 2014-12-03 北京国双科技有限公司 网页更新处理方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107229639A (zh) * 2016-03-24 2017-10-03 上海宝信软件股份有限公司 分布式实时数据库的存储系统
CN107229639B (zh) * 2016-03-24 2020-07-28 上海宝信软件股份有限公司 分布式实时数据库的存储系统
CN107515880A (zh) * 2016-06-17 2017-12-26 宏碁股份有限公司 数据分散处理系统与方法
CN107515880B (zh) * 2016-06-17 2020-12-22 宏碁股份有限公司 数据分散处理系统与方法
CN106201739A (zh) * 2016-06-29 2016-12-07 上海浦东发展银行股份有限公司信用卡中心 一种基于Redis的Storm的远程调用方法
CN106909598A (zh) * 2016-07-01 2017-06-30 阿里巴巴集团控股有限公司 一种保障计算数据一致性的处理方法、装置及系统
CN108073625A (zh) * 2016-11-14 2018-05-25 北京京东尚科信息技术有限公司 用于元数据信息管理的系统及方法
CN108073625B (zh) * 2016-11-14 2021-03-30 北京京东尚科信息技术有限公司 用于元数据信息管理的系统及方法
CN107480277A (zh) * 2017-08-22 2017-12-15 北京京东尚科信息技术有限公司 用于网站日志采集的方法及装置
CN107943840A (zh) * 2017-10-30 2018-04-20 深圳前海微众银行股份有限公司 数据处理方法、系统和计算机可读存储介质
CN107943840B (zh) * 2017-10-30 2022-01-11 深圳前海微众银行股份有限公司 数据处理方法、系统和计算机可读存储介质
CN110032558A (zh) * 2019-04-12 2019-07-19 重庆天蓬网络有限公司 一种数据同步方法、装置、系统及存储介质

Also Published As

Publication number Publication date
CN104572976B (zh) 2018-03-27

Similar Documents

Publication Publication Date Title
CN104572976A (zh) 网站数据更新方法和系统
US9590880B2 (en) Dynamic collection analysis and reporting of telemetry data
CN104133867A (zh) 分布式顺序表片内二级索引方法及系统
CN112989156A (zh) 一种基于大数据的政策与企业匹配的方法和系统
CN107528872A (zh) 一种数据恢复方法、装置及云存储系统
US20210097431A1 (en) Debugging and profiling of machine learning model training
CN112148578A (zh) 基于机器学习的it故障缺陷预测方法
KR20180086602A (ko) 기계학습을 이용한 교통 정체 구간 추정 장치 및 방법
US20150113008A1 (en) Providing automatable units for infrastructure support
DE112012000305B4 (de) Gemeinsame Wiederherstellung von Datenquellen
CN113242157A (zh) 一种分布式处理环境下的集中式数据质量监测方法
US20210097432A1 (en) Gpu code injection to summarize machine learning training data
CN114818353A (zh) 一种基于故障特征关系图谱的列控车载设备故障预测方法
AU2021244852B2 (en) Offloading statistics collection
CN106227790A (zh) 一种使用Apache Spark分类与解析海量日志的方法
DE112018001589T5 (de) Edge-caching für kognitive anwendungen
CN110309206B (zh) 订单信息采集方法及系统
US20210081441A1 (en) Automatic feature extraction from unstructured log data utilizing term frequency scores
US20190340540A1 (en) Adaptive continuous log model learning
Shih et al. Implementation and visualization of a netflow log data lake system for cyberattack detection using distributed deep learning
CN116226250A (zh) 针对发电领域海量时序数据管理的汇聚式管理方法及系统
Husain et al. Counting occurrences of textual words in lecture video frames using apache hadoop framework
KR101878291B1 (ko) 에너지 빅데이터 관리 시스템 및 그 방법
CN109669996A (zh) 信息动态更新方法及装置
KR101865317B1 (ko) 데이터 분산처리 시스템을 위한 빅 데이터의 전처리 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20171228

Address after: 510000 Guangzhou City, Guangzhou, Guangdong, Fangcun Avenue, one of the 314 self compiled

Applicant after: Guangzhou Pinwei Software Co., Ltd.

Address before: 510370 Guangdong, Guangzhou, Fangcun, No., No. 20 Huahai street, building 1-5

Applicant before: Guangzhou VIPSHOP Information and Technology Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant