CN105302917A - 应用于电子商务平台的数据处理系统及数据处理方法 - Google Patents

应用于电子商务平台的数据处理系统及数据处理方法 Download PDF

Info

Publication number
CN105302917A
CN105302917A CN201510800608.7A CN201510800608A CN105302917A CN 105302917 A CN105302917 A CN 105302917A CN 201510800608 A CN201510800608 A CN 201510800608A CN 105302917 A CN105302917 A CN 105302917A
Authority
CN
China
Prior art keywords
data
module
platform
commerce platform
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510800608.7A
Other languages
English (en)
Inventor
王寻
陈林
傅强
何明杰
张兴强
庞以新
彭塨烨
章梦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN201510800608.7A priority Critical patent/CN105302917A/zh
Publication of CN105302917A publication Critical patent/CN105302917A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种应用于电子商务平台的数据处理系统及数据处理方法，其中，所述系统包括：数据采集模块，用于采集所述电子商务平台下的各个子平台的数据；数据整合模块，用于对所述数据采集模块采集到的数据进行数据整合处理；数据存储模块，用于存储所述数据整合模块处理后的数据；数据加工模块，用于根据业务要求从所述数据存储模块中提取数据进行数据加工处理；数据展示模块，用于输出所述数据加工模块加工后的数据作为对所述业务要求的响应。采用本发明，能够避免冗余开发，减轻主站的资源压力，有利于数据访问的快速响应。

Description

应用于电子商务平台的数据处理系统及数据处理方法
技术领域
本发明涉及数据处理领域，更具体地，涉及一种应用于电子商务平台的数据处理系统及数据处理方法。
背景技术
在电子商务领域，很多电子商务平台的商户运营数据都通过电子商务平台下的多个子平台分散管理，并由各个子平台独立进行数据分析。例如，以中国建设银行推出的善融商务平台为例，其包含主站和多个子平台。各个子平台的数据分析功能作为主站功能的一部分，与其他模块耦合开发但共享存储资源，并且数据分析功能与主站的会员、商品、交易等主体功能密切相关。随着业务的增加，这种设计出现了如下弊病：
1：针对各个子平台需要单独开发数据处理系统，这导致存在大量冗余的开发；
2：业务的增加导致各个子平台的数据量急剧加大，从而导致数据处理占用主站的资源越来越多，时间和人力成本都非常高。
发明内容
鉴于现有技术的上述缺陷，本发明实施方式提供了一种应用于电子商务平台的数据处理系统及数据处理方法，能够避免冗余开发，减轻主站的资源压力，有利于数据访问的快速响应。
一方面，本发明实施例提供了一种应用于电子商务平台的数据处理系统，包括：
数据采集模块，用于采集所述电子商务平台下的各个子平台的数据；
数据整合模块，用于对所述数据采集模块采集到的数据进行数据整合处理；
数据存储模块，用于存储所述数据整合模块处理后的数据；
数据加工模块，用于根据业务要求从所述数据存储模块中提取数据进行数据加工处理；
数据展示模块，用于输出所述数据加工模块加工后的数据作为对所述业务要求的响应。
相应地，本发明实施例提供一种应用于电子商务平台的数据处理方法，包括：
采集所述电子商务平台下的各个子平台的数据；
对采集到的数据进行数据整合处理，并存储数据整合处理后的数据；
根据业务要求从整合后的数据中提取数据进行数据加工处理；
输出数据加工处理后的数据作为对所述业务要求的响应。
采用本发明实施例，具有以下优点：
一方面，避免了针对各个子平台单独开发数据处理系统而带来的冗余开发；另一方面，通过采集电子商务平台下各个子平台的数据并集中进行数据整合和加工，能够大大减轻主站的资源压力，更大化或最大化的利用数据库资源；再一方面，通过数据存储模块集中存储数据，有利于数据访问的快速响应，例如，有利于快速响应多样化的数据需求。
附图说明
图1A是根据本发明实施例的一种应用于电子商务平台的数据处理系统的框图；
图1B是图1A所示数据处理系统的数据采集模块的框图的一例；
图2是根据本发明实施例的一种应用于电子商务平台的数据处理方法的流程示意图。
具体实施方式
为了便于理解本发明技术方案的各个方面、特征以及优点，下面结合附图对本发明进行具体描述。应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。
首先对本发明中可能提及的名称或术语进行解释。
善融商务：中国建设银行推出的电子商务金融服务平台，面向广大企业和个人提供专业化的电子商务服务和金融支持服务，包括企业商城(B2B)、个人商城(B2C)、房e通、商城账户和社区(FSNS)等子平台。
图1A是根据本发明实施例的一种应用于电子商务平台的数据处理系统的框图，参照图1A，数据处理系统包括数据采集模块11、数据整合模块12、数据存储模块13、数据加工模块14和数据展示模块15。下面分别进行说明。
在本实施例中，数据采集模块11用于采集电子商务平台下的各个子平台的数据。数据整合模块12用于对所述数据采集模块11采集到的数据进行数据整合处理。数据存储模块13用于存储所述数据整合模块12处理后的数据。数据加工模块14用于根据业务要求从所述数据存储模块13中提取数据进行数据加工处理。数据展示模块15用于输出所述数据加工模块14加工后的数据作为对所述业务要求的响应。
采用本实施例提供的数据处理系统，一方面，避免了针对各个子平台单独开发数据处理系统而带来的冗余开发；另一方面，通过采集电子商务平台下各个子平台的数据并集中进行数据整合和加工，能够大大减轻主站的资源压力，更大化或最大化的利用数据库资源；再一方面，通过数据存储模块集中存储数据，有利于数据访问的快速响应，例如，有利于快速响应多样化的数据需求。
可选地，在本实施例的一种实现方式中，如图1B所示，数据采集模块11包括：页面数据采集子模块111，用于采集所述电子商务平台下的各个子平台的页面数据；日志采集子模块112，用于采集所述电子商务平台下的各个子平台的日志文件；数据库数据采集子模块113，用于采集所述电子商务平台下的各个子平台的数据库数据。其中，日志文件包括但不限于apache(一种服务器软件)日志和页面点击日志。
可选地，在本实施例的一种实现方式中，可以由本领域技术人员分析业务要求从而确定需要采集的数据指标，然后在本实现方式中根据需要采集的数据指标从子平台采集相应数据。
可选地，在数据存储模块12的一种具体示例中，考虑到容错性，在数据处理系统中可以采用多台服务器作为所述数据存储模块12。
可选地，在本实施例的一种实现方式中，数据整合处理包括数据封装和数据抽象。通过数据封装和数据抽象，将来自多个子平台的数据进行格式上的统一。此外，在数据整合处理之前还可以进行数据过滤，例如，去除不需要的数据、不重要的数据或去除明显重复的数据。
可选地，在本实施例的一种实现方式中，数据加工处理包括：数据去重、数据汇总和数据统计。其结果是根据业务要求统计业务要求所需的数据。在一种更具体的示例中，数据加工处理可以通过各个业务模型需要的报表记录统计工具实现，例如，通过报表记录统计工具定期从数据存储模块13提取数据进而生成报表文件和报表记录数据。
可选地，在本实施例的一种具体示例中，数据加工模块14可以包含建行推出的电子商务平台的定时任务封装包，该封装包用于根据业务规则提供日终处理任务和报表任务容器。这样，数据加工模块14便可以根据业务要求进行数据加工处理。
可选地，在本实施例的一种实现方式中，数据展示模块15包括多种用于进行数据交互的接口，包括HTML(HyperTextMarkupLanguage，超文本标记语言)、UI(UserInterface，用户界面)、API(ApplicationProgrammingInterface,应用程序编程接口)等各类接口。换言之，数据展示模块15可以提供访问商户运营数据的接口服务和UI界面。
此外，在数据展示模块15还可以提供管理平台，所述管理平台可以用于提供配置系统参数配置、定时器任务配置、报表任务配置、登录用户管理等管理信息，以及报表查看、数据处理系统的运行状态监控等查询信息。
图2是根据本发明实施例的一种应用于电子商务平台的数据处理方法的流程示意图，参照图2，所述方法包括：
20：数据采集。具体而言，采集电子商务平台下的各个子平台的数据。
22：数据整合与存储。具体而言，对处理20中采集到的数据进行数据整合处理，并存储数据整合处理后的数据。
24：数据加工。具体而言，根据业务要求从整合后的数据(即处理22得到的数据)中提取数据进行数据加工处理。
26：数据展示。具体而言，输出数据加工处理后的数据(即处理24得到的数据)作为对所述业务要求的响应。
采用本实施例提供的数据处理方法，一方面，避免了针对各个子平台单独开发数据处理系统而带来的冗余开发；另一方面，通过采集电子商务平台下各个子平台的数据并集中进行数据整合和加工，能够大大减轻主站的资源压力，更大化或最大化的利用数据库资源；再一方面，通过数据存储模块集中存储数据，有利于数据访问的快速响应，例如，有利于快速响应多样化的数据需求。
可选地，在本实施例的一种实现方式中，处理20可以包括：采集所述电子商务平台下的各个子平台的页面数据、日志文件以及数据库数据。
可选地，在本实施例的一种实现方式中，在处理22中的数据整合处理包括数据封装和数据抽象，以便实现多个子平台的数据的格式统一。此外，考虑到容错性，在处理22中可以采用多台服务器进行数据存储。
可选地，在本实施例的一种实现方式中，在处理24中的数据加工处理包括数据去重、数据汇总和数据统计。其结果是根据业务要求统计业务要求所需的数据。
可选地，在本实施例的一种实现方式中，在处理26中，通过多种用于进行数据交互的接口输出所述数据加工处理后的数据。例如，通过用于输出HTML文件的接口向子平台输出数据加工处理后生成的报表内容。
本领域技术人员应当理解，本发明提供的方法实施例可以通过本发明提供的装置实施例实现，而本发明提供的装置实施例中各个模块执行的或可执行的处理，又可以作为本发明方法实施例中的可执行步骤。因此，关于相关术语或名词的解释，关于方法实施例中各个步骤或可执行步骤的说明，请参见装置实施例中的说明，此处不赘述。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上所揭露的仅为本发明的优选实施例而已，当然不能以此来限定本发明的保护范围，因此依本发明权利要求的教导对上述实施例所作的等同变化，仍属于本发明权利要求所涵盖的范围内。

Claims (10)

1.一种应用于电子商务平台的数据处理系统，其特征在于，所述系统包括：
数据采集模块，用于采集所述电子商务平台下的各个子平台的数据；
数据整合模块，用于对所述数据采集模块采集到的数据进行数据整合处理；
数据存储模块，用于存储所述数据整合模块处理后的数据；
数据加工模块，用于根据业务要求从所述数据存储模块中提取数据进行数据加工处理；
数据展示模块，用于输出所述数据加工模块加工后的数据作为对所述业务要求的响应。
2.如权利要求1所述的数据处理系统，其特征在于，所述数据采集模块包括：
页面数据采集子模块，用于采集所述电子商务平台下的各个子平台的页面数据；
日志采集子模块，用于采集所述电子商务平台下的各个子平台的日志文件；
数据库数据采集子模块，用于采集所述电子商务平台下的各个子平台的数据库数据。
3.如权利要求1所述的数据处理系统，其特征在于，所述数据整合处理包括：数据封装和数据抽象。
4.如权利要求1所述的数据处理系统，其特征在于，所述数据加工处理包括：数据去重、数据汇总和数据统计。
5.如权利要求1所述的装置，其特征在于，所述数据展示模块包括多种用于进行数据交互的接口。
6.一种应用于电子商务平台的数据处理方法，其特征在于，所述方法包括：
采集所述电子商务平台下的各个子平台的数据；
对采集到的数据进行数据整合处理，并存储数据整合处理后的数据；
根据业务要求从整合后的数据中提取数据进行数据加工处理；
输出数据加工处理后的数据作为对所述业务要求的响应。
7.如权利要求6所述的方法，其特征在于，采集所述电子商务平台下的各个子平台的数据包括：
采集所述电子商务平台下的各个子平台的页面数据、日志文件以及数据库数据。
8.如权利要求1所述的方法，其特征在于，所述数据整合处理包括：数据封装和数据抽象。
9.如权利要求1所述的方法，其特征在于，所述数据加工处理包括：数据去重、数据汇总和数据统计。
10.如权利要求1述的方法，其特征在于，所述输出数据加工处理后的数据作为对所述业务要求的响应包括：
通过多种用于进行数据交互的接口输出所述数据加工处理后的数据。
CN201510800608.7A 2015-11-19 2015-11-19 应用于电子商务平台的数据处理系统及数据处理方法 Pending CN105302917A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510800608.7A CN105302917A (zh) 2015-11-19 2015-11-19 应用于电子商务平台的数据处理系统及数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510800608.7A CN105302917A (zh) 2015-11-19 2015-11-19 应用于电子商务平台的数据处理系统及数据处理方法

Publications (1)

Publication Number Publication Date
CN105302917A true CN105302917A (zh) 2016-02-03

Family

ID=55200186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510800608.7A Pending CN105302917A (zh) 2015-11-19 2015-11-19 应用于电子商务平台的数据处理系统及数据处理方法

Country Status (1)

Country Link
CN (1) CN105302917A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097058A (zh) * 2016-06-07 2016-11-09 杭州笛佛软件有限公司 电子商务平台异构数据处理方法及系统
CN106204101A (zh) * 2016-03-23 2016-12-07 四川长虹电器股份有限公司 一种数据采集方法及数据处理系统
CN112069215A (zh) * 2020-09-17 2020-12-11 国电龙源电气有限公司 一种基于整合数据的数据查询方法及装置
CN112131190A (zh) * 2020-09-15 2020-12-25 北京值得买科技股份有限公司 全网电商数据自动管理系统以及设备
CN112988358A (zh) * 2021-04-18 2021-06-18 上海丽人丽妆网络科技有限公司 一种用于电商平台的数据中间件
CN115374166A (zh) * 2022-10-27 2022-11-22 中国标准化研究院 一种电子商务交易数据分类整合处理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693508A (zh) * 2012-05-11 2012-09-26 杭州商友全球网信息技术有限公司 一种用于银行申贷管理的数据处理方法
CN103365971A (zh) * 2013-06-27 2013-10-23 北京中科金财科技股份有限公司 基于云计算的海量数据访问处理系统
CN104463620A (zh) * 2014-11-18 2015-03-25 鸿惠(上海)信息技术服务有限公司 电子商务平台o2o商业模式
CN104615734A (zh) * 2015-02-10 2015-05-13 合肥工业大学 一种社区管理服务大数据处理系统及其处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693508A (zh) * 2012-05-11 2012-09-26 杭州商友全球网信息技术有限公司 一种用于银行申贷管理的数据处理方法
CN103365971A (zh) * 2013-06-27 2013-10-23 北京中科金财科技股份有限公司 基于云计算的海量数据访问处理系统
CN104463620A (zh) * 2014-11-18 2015-03-25 鸿惠(上海)信息技术服务有限公司 电子商务平台o2o商业模式
CN104615734A (zh) * 2015-02-10 2015-05-13 合肥工业大学 一种社区管理服务大数据处理系统及其处理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204101A (zh) * 2016-03-23 2016-12-07 四川长虹电器股份有限公司 一种数据采集方法及数据处理系统
CN106097058A (zh) * 2016-06-07 2016-11-09 杭州笛佛软件有限公司 电子商务平台异构数据处理方法及系统
CN112131190A (zh) * 2020-09-15 2020-12-25 北京值得买科技股份有限公司 全网电商数据自动管理系统以及设备
CN112069215A (zh) * 2020-09-17 2020-12-11 国电龙源电气有限公司 一种基于整合数据的数据查询方法及装置
CN112988358A (zh) * 2021-04-18 2021-06-18 上海丽人丽妆网络科技有限公司 一种用于电商平台的数据中间件
CN115374166A (zh) * 2022-10-27 2022-11-22 中国标准化研究院 一种电子商务交易数据分类整合处理系统

Similar Documents

Publication Publication Date Title
CN105302917A (zh) 应用于电子商务平台的数据处理系统及数据处理方法
CN109344170B (zh) 流数据处理方法、系统、电子设备及可读存储介质
CN106096056A (zh) 一种基于分布式的舆情数据实时采集方法和系统
CN107133240A (zh) 页面监控方法、装置及系统
CN108268565B (zh) 基于数据仓库处理用户浏览行为数据的方法及系统
CN102750326A (zh) 一种基于精简策略的集群系统的日志管理优化方法
CN103064933A (zh) 数据查询方法及系统
CN106055608A (zh) 自动采集和分析交换机日志的方法和装置
CN105512336A (zh) 一种基于Hadoop的海量数据处理方法和装置
CN104090886A (zh) 构建用户实时画像的方法及装置
CN106371975A (zh) 一种运维自动化预警方法和系统
CN101192227A (zh) 一种基于分布式计算网络的日志文件分析方法和系统
CN105490854A (zh) 实时日志收集方法、系统和应用服务器集群
CN103279567A (zh) 一种基于AJAX的Web数据采集方法及系统
CN108052679A (zh) 一种基于hadoop的日志分析系统
CN110502491A (zh) 一种日志采集系统及其数据传输方法、装置
CN108509326A (zh) 一种基于nginx日志的服务状态统计方法及系统
CN105868311A (zh) 一种数据解析的方法和装置
CN106484742A (zh) 日志处理方法和装置
CN112948492A (zh) 一种数据处理系统、方法、装置、电子设备及存储介质
CN102932195A (zh) 一种基于网络协议分析的业务分析监控方法及系统
CN102156736A (zh) Sap系统与sql数据库之间数据传输的方法
CN106844588A (zh) 一种基于网络爬虫的用户行为数据的分析方法及系统
CN103856565A (zh) 一种电子商务税源管理云采集监控方法
CN112163017A (zh) 一种知识挖掘系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160203