CN111061791B - 一种中小型电商大数据平台 - Google Patents

一种中小型电商大数据平台 Download PDF

Info

Publication number
CN111061791B
CN111061791B CN201911288511.7A CN201911288511A CN111061791B CN 111061791 B CN111061791 B CN 111061791B CN 201911288511 A CN201911288511 A CN 201911288511A CN 111061791 B CN111061791 B CN 111061791B
Authority
CN
China
Prior art keywords
layer
user
platform
data
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911288511.7A
Other languages
English (en)
Other versions
CN111061791A (zh
Inventor
唐润华
郑彦云
董健
刘卫海
宋卉
郑镇宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Food and Drugs Vocational College
Original Assignee
Guangdong Food and Drugs Vocational College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Food and Drugs Vocational College filed Critical Guangdong Food and Drugs Vocational College
Priority to CN201911288511.7A priority Critical patent/CN111061791B/zh
Publication of CN111061791A publication Critical patent/CN111061791A/zh
Application granted granted Critical
Publication of CN111061791B publication Critical patent/CN111061791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12—Accounting
    • G06Q40/125—Finance or payroll
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Fuzzy Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种中小型电商大数据平台，从上到下依次包括运行环境层、基础设施层、基础平台层、用户网关层、客户应用层；其中，基础设施层，其为基础平台层提供基础设施服务；基础平台层，其为用户网关层提供基础服务调用接口；所述基础平台层包括任务调度控制台、HBase和Hive；用户网关层，用于为终端客户提供个性化的调用接口以及用户的身份认证；终端用户只有通过用户网关层提供的接口才可以与大数据平台进行交互；客户应用层，是各种不同的终端应用程序。本发明通过对阿里平台和全行业市场数据进行多维分析及展现，帮助客户精准打造宝贝爆款，提升店铺销售额，并提供强有力的数据分析决策方案。

Description

一种中小型电商大数据平台
技术领域
本发明涉及计算机领域，特别涉及一种中小型电商大数据平台。
背景技术
随着互联网信息技术的迅猛发展，全世界的数据量爆发式增长，“大数据”引起了各个领域的关注。电商企业在营销过程中积累了各种类型数据，比如客户信息、销售交易信息、行为数据等，这些数据承载了各个消费群体的信息，成为了极有价值的资产，应用大数据正逐渐成为商业竞争的关键。与此同时，社会生产的分工精细化和技术进步使得消费者心理和消费行为模式都发生很多变化，其购物具有个性化、主动化、社交化和移动化的特征。仅仅依靠经验进行营销决策已经不能满足当今企业需要，迫切需要企业将有限的营销资源，精确地用于潜在客户，即开展精准营销。
阿里电商、京东等平台后端都有一套的大数据分析平台，但与它们自身业务绑定十分紧密，对于第三方中小型电商企业遥不可及，对于第三方中小型电商企业而言，并不能很好地适用。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种中小型电商大数据平台，该平台专为电商企业打造的全行业数据决策分析系统，通过对阿里平台和全行业市场数据进行多维分析及展现，帮助客户精准打造宝贝爆款，提升店铺销售额，并提供强有力的数据分析决策方案。
本发明的目的通过以下的技术方案实现：
一种中小型电商大数据平台，从上到下依次包括运行环境层、基础设施层、基础平台层、用户网关层、客户应用层；其中
运行环境层，其为基础设施层提供运行时环境，包括操作系统和运行时环境；
基础设施层，其为基础平台层提供基础设施服务；所述基础设施层包括Zookeeper集群和Hadoop集群：(1)ZooKeeper集群用于命名映射，作为Hadoop集群的命名服务器，基础平台层的任务调度控制台通过命名服务器访问Hadoop集群中的NameNode，同时具备failover的功能；(2)Hadoop集群是大数据平台的核心，是基础平台层的基础设施；它提供了HDFS、MapReduce、JobTracker和TaskTracker服务；
基础平台层，其为用户网关层提供基础服务调用接口；所述基础平台层包括任务调度控制台、HBase和Hive：(1)任务调度控制台是MapReduce任务的调度中心，分配各种任务执行的顺序和优先级；用户通过调度控制台提交作业任务，并通过用户网关层的Hadoop客户端返回其任务执行的结果；(2)HBase是基于Hadoop的列数据库，为用户提供基于表的数据访问服务；(3)Hive是在Hadoop上的一个查询服务，用户通过用户网关层的Hive客户端提交类SQL的查询请求，并通过客户端的UI查看返回的查询结果，该接口可提供数据部门准即时的数据查询统计服务；
用户网关层，用于为终端客户提供个性化的调用接口以及用户的身份认证，是用户唯一可见的大数据平台操作入口；终端用户只有通过用户网关层提供的接口才可以与大数据平台进行交互；
客户应用层，是各种不同的终端应用程序，所述客户应用层包括各种关系型数据库，报表，交易行为分析，对账单，清结算。
所述操作系统安装了CentOS6.5以上版本，且为64位。
所述运行环境层将分布式文件系统的数据目录分布在不同的磁盘分区上。此外为了提高磁盘的IO吞吐量，避免安装RAID驱动，以此提高磁盘的IO性能。
所述基础设施服务包括命名服务、分布式文件系统、MapReduce。分布式系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。本技术采用HDFS(Hadoop分布式文件系统)，对电商平台销售、商品、客户数据进行存储，以便于对数据进行后续分析。MapReduce是一个大数据计算框架。本技术通过将HDFS存储的分布式数据导入MapReduce中，进行分析运算，再将运算结果返回到HDFS中。
所述Hadoop集群采用双主节点模式。以此避免Hadoop集群的单点故障问题。
所述用户网关层，提供了3个个性化调用接口：
(1)Hadoop客户端是用户提交MapReduce作业的入口，并从其UI界面查看返回的处理结果；
(2)Hive客户端是用户提交HQL查询服务的入口，并从其UI界面查看查询结果；
(3)Sqoop是关系型数据库与HBase或Hive交互数据的接口，其能够将关系型数据库中的数据按照要求导入到HBase或Hive中，以提供用户可通过HQL进行查询；同时HBase或Hive或HDFS也能够将数据导回到关系型数据库中，以便其他的分析系统进行进一步的数据分析。
所述终端应用程序包括：
行为分析程序：将交易数据从关系型数据库导入到Hadoop集群中，然后根据数据挖掘算法编写MapReduce作业任务并提交到JobTracker中进行分布式计算，然后将其计算结果放入Hive中；终端用户通过Hive客户端提交HQL查询统计分析的结果；
对账单程序：将交易数据从关系型数据库导入到Hadoop集群，然后根据业务规则编写MapReduce作业任务并提交到JobTracker中进行分布式计算，终端用户通过Hadoop客户端提取对账单结果文件(Hadoop本身也是一个分布式文件系统，具备通常的文件存取能力)；
清结算程序：将银联文件导入HDFS中，然后将之前从关系型数据库中导入的POSP交易数据进行MapReduce计算(即对账操作)，然后将计算结果连接到另外一个MapReduce作业中进行费率及分润的计算(即结算操作)，最后将计算结果导回到关系型数据库中由用户触发商户划款(即划款操作)。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明对电商平台进行数据挖掘，分析用户的行为与消费习惯，形成用户的消费个人画像，预测商品的发展的趋势，提高产品质量，同时提高用户满意度。帮助电商企业了解客户类型以及客户结构确定目标客户，改进客户互动、增加价值和建立持久关系。
2、本发明基于大数据背景，针对电商企业的精准营销模式进行研究。以精准数据为基石的精准营销，作为新一代营销手段，精准营销模式可以帮助企业识别用户，降低营销成本，有效的提高企业销售率和增加利润，为其带来前所未有的发展机遇。
3、本发明通过计算各大电商平台的大量数据，为中小型电商企业提供更加专业、精准的数据分析服务，帮助企业更好的运营店铺，提升产品价值。具有以下显著优势：1.靠谱的数据：前端页面真实抓取清洗加工有效储存。2.高质量数据：上至行业类目品牌数据，下至宝贝销售评价数据。3.历史需求数据：部分平台可提供2年及以上历史销售数据。4.多平台数据：淘宝天猫完整数据，拼多多等定制数据。
附图说明
图1是本发明所述总体运营指标示意图。
图2是本发明所述网站流量指标示意图。
图3是本发明所述销售转化指标示意图。
图4是本发明所述客户价值指标示意图。
图5是本发明所述商品类指标示意图。
图6是本发明所述一种中小型电商大数据平台的基础设施层、基础平台层架构示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图6，一种中小型电商大数据平台，其提现架构方面本技术采用Hadoop体系架构，架构设计沿袭了分层设计的思想，将平台所需提供的服务按照功能划分成不同的模块层次，每一模块层次只与上层或下层的模块层次进行交互(通过层次边界的接口)，避免跨层的交互。整个大数据平台按其职能划分为五个模块层次，从下到上依次为：
运行环境层
运行环境层为基础设施层提供运行时环境，它由2部分构成，即操作系统和运行时环境。操作系统我们安装CentOS6.5以上版本(64位)。此外为了提高磁盘的IO吞吐量，避免安装RAID驱动，而是将分布式文件系统的数据目录分布在不同的磁盘分区上，以此提高磁盘的IO性能。
基础设施层
基础设施层由2部分组成：Zookeeper集群和Hadoop集群。它为基础平台层提供基础设施服务，比如命名服务、分布式文件系统、MapReduce等。
(1)ZooKeeper集群用于命名映射，做为Hadoop集群的命名服务器，基础平台层的任务调度控制台可以通过命名服务器访问Hadoop集群中的NameNode，同时具备failover的功能。
(2)Hadoop集群是大数据平台的核心，是基础平台层的基础设施。它提供了HDFS、MapReduce、JobTracker和TaskTracker等服务。目前我们采用双主节点模式，以此避免Hadoop集群的单点故障问题。
基础平台层
基础平台层由3个部分组成：任务调度控制台、HBase和Hive。它为用户网关层提供基础服务调用接口。
(1)任务调度控制台是MapReduce任务的调度中心，分配各种任务执行的顺序和优先级。用户通过调度控制台提交作业任务，并通过用户网关层的Hadoop客户端返回其任务执行的结果
(2)HBase是基于Hadoop的列数据库，为用户提供基于表的数据访问服务。
(3)Hive是在Hadoop上的一个查询服务，用户通过用户网关层的Hive客户端提交类SQL的查询请求，并通过客户端的UI查看返回的查询结果，该接口可提供数据部门准即时的数据查询统计服务。
用户网关层
用户网关层用于为终端客户提供个性化的调用接口以及用户的身份认证，是用户唯一可见的大数据平台操作入口。终端用户只有通过用户网关层提供的接口才可以与大数据平台进行交互。目前网关层提供了3个个性化调用接口：
(1)Hadoop客户端是用户提交MapReduce作业的入口，并可从其UI界面查看返回的处理结果。
(2)Hive客户端是用户提交HQL查询服务的入口，并可从其UI界面查看查询结果。
(3)Sqoop是关系型数据库与HBase或Hive交互数据的接口。可以将关系型数据库中的数据按照要求导入到HBase或Hive中，以提供用户可通过HQL进行查询。同时HBase或Hive或HDFS也可以将数据导回到关系型数据库中，以便其他的分析系统进行进一步的数据分析。
客户应用层
客户应用层是各种不同的终端应用程序，可以包括：各种关系型数据库，报表，交易行为分析，对账单，清结算等。
本技术支持的终端程序有：
1.行为分析：将交易数据从关系型数据库导入到Hadoop集群中，然后根据数据挖掘算法编写MapReduce作业任务并提交到JobTracker中进行分布式计算，然后将其计算结果放入Hive中。终端用户通过Hive客户端提交HQL查询统计分析的结果。
2.对账单：将交易数据从关系型数据库导入到Hadoop集群，然后根据业务规则编写MapReduce作业任务并提交到JobTracker中进行分布式计算，终端用户通过Hadoop客户端提取对账单结果文件(Hadoop本身也是一个分布式文件系统，具备通常的文件存取能力)。
3.清结算：将银联文件导入HDFS中，然后将之前从关系型数据库中导入的POSP交易数据进行MapReduce计算(即对账操作)，然后将计算结果连接到另外一个MapReduce作业中进行费率及分润的计算(即结算操作)，最后将计算结果导回到关系型数据库中由用户触发商户划款(即划款操作)。
如图1-5，本技术将用户的交易信息，包括购买时间、购买商品、购买数量、支付金额等信息保存在自己的数据库里面，所以对于这些客户可以基于网站的运营数据对他们的交易行为进行分析，以估计每位客户的价值，及针对每位客户的扩展营销的可能性。分析的数据和分析的规则如下：
总体运营指标
如图1，从流量、订单、总体销售业绩、整体指标进行把控，起码对运营的电商平台有个大致了解，到底运营的怎么样，是亏是赚。
网站流量指标
如图2，对访问你网站的访客进行分析，基于这些数据可以对网页进行改进，以及对访客的行为进行分析等等。
销售转化指标
如图3，分析从下单到支付整个过程的数据，帮助你提升商品转化率。也可以对一些频繁异常的数据展开分析。
客户价值指标
如图4，这里主要就是分析客户的价值，可以建立RFM价值模型，找出那些有价值的客户，精准营销等等。
商品类指标
如图5，主要分析商品的种类，那些商品卖得好，库存情况，以及可以建立关联模型，分析那些商品同时销售的几率比较高，而进行捆绑销售。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种中小型电商大数据平台，其特征在于：从上到下依次包括运行环境层、基础设施层、基础平台层、用户网关层、客户应用层；其中
运行环境层，其为基础设施层提供运行时环境，包括操作系统和运行时环境；
基础设施层，其为基础平台层提供基础设施服务；所述基础设施层包括Zookeeper集群和Hadoop集群：(1)ZooKeeper集群用于命名映射，作为Hadoop集群的命名服务器，基础平台层的任务调度控制台通过命名服务器访问Hadoop集群中的NameNode，同时具备failover的功能；(2)Hadoop集群是大数据平台的核心，是基础平台层的基础设施；它提供了HDFS、MapReduce、JobTracker和TaskTracker服务；
基础平台层，其为用户网关层提供基础服务调用接口；所述基础平台层包括任务调度控制台、HBase和Hive：(1)任务调度控制台是MapReduce任务的调度中心，分配各种任务执行的顺序和优先级；用户通过调度控制台提交作业任务，并通过用户网关层的Hadoop客户端返回其任务执行的结果；(2)HBase是基于Hadoop的列数据库，为用户提供基于表的数据访问服务；(3)Hive是在Hadoop上的一个查询服务，用户通过用户网关层的Hive客户端提交类SQL的查询请求，并通过客户端的UI查看返回的查询结果，该接口可提供数据部门准即时的数据查询统计服务；
用户网关层，用于为终端客户提供个性化的调用接口以及用户的身份认证，是用户唯一可见的大数据平台操作入口；终端用户只有通过用户网关层提供的接口才可以与大数据平台进行交互；
客户应用层，是各种不同的终端应用程序，所述客户应用层包括各种关系型数据库，报表，交易行为分析，对账单，清结算。
2.根据权利要求1所述中小型电商大数据平台，其特征在于：所述操作系统安装了CentOS6.5以上版本，且为64位。
3.根据权利要求1所述中小型电商大数据平台，其特征在于：所述运行环境层将分布式文件系统的数据目录分布在不同的磁盘分区上。
4.根据权利要求1所述中小型电商大数据平台，其特征在于：所述Hadoop集群采用双主节点模式。
5.根据权利要求1所述中小型电商大数据平台，其特征在于：所述用户网关层，提供了3个个性化调用接口：
(1)Hadoop客户端是用户提交MapReduce作业的入口，并从其UI界面查看返回的处理结果；
(2)Hive客户端是用户提交HQL查询服务的入口，并从其UI界面查看查询结果；
(3)Sqoop是关系型数据库与HBase或Hive交互数据的接口，其能够将关系型数据库中的数据按照要求导入到HBase或Hive中，以提供用户可通过HQL进行查询；同时HBase或Hive或HDFS也能够将数据导回到关系型数据库中，以便其他的分析系统进行进一步的数据分析。
6.根据权利要求1所述中小型电商大数据平台，其特征在于：所述终端应用程序包括：
行为分析程序：将交易数据从关系型数据库导入到Hadoop集群中，然后根据数据挖掘算法编写MapReduce作业任务并提交到JobTracker中进行分布式计算，然后将其计算结果放入Hive中；终端用户通过Hive客户端提交HQL查询统计分析的结果；
对账单程序：将交易数据从关系型数据库导入到Hadoop集群，然后根据业务规则编写MapReduce作业任务并提交到JobTracker中进行分布式计算，终端用户通过Hadoop客户端提取对账单结果文件；
清结算程序：将银联文件导入HDFS中，然后将之前从关系型数据库中导入的POSP交易数据进行MapReduce计算，然后将计算结果连接到另外一个MapReduce作业中进行费率及分润的计算，最后将计算结果导回到关系型数据库中由用户触发商户划款。
CN201911288511.7A 2019-12-12 2019-12-12 一种中小型电商大数据平台 Active CN111061791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911288511.7A CN111061791B (zh) 2019-12-12 2019-12-12 一种中小型电商大数据平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911288511.7A CN111061791B (zh) 2019-12-12 2019-12-12 一种中小型电商大数据平台

Publications (2)

Publication Number Publication Date
CN111061791A CN111061791A (zh) 2020-04-24
CN111061791B true CN111061791B (zh) 2023-04-07

Family

ID=70301823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911288511.7A Active CN111061791B (zh) 2019-12-12 2019-12-12 一种中小型电商大数据平台

Country Status (1)

Country Link
CN (1) CN111061791B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109121B (zh) * 2023-04-17 2023-06-30 西昌学院 基于大数据分析的用户需求挖掘方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010139167A1 (zh) * 2009-06-05 2010-12-09 深圳市脑库计算机系统有限公司 用于政务商务决策的专家支持应用系统平台及其建构方法
CN103425762A (zh) * 2013-08-05 2013-12-04 南京邮电大学 基于Hadoop平台的电信运营商海量数据处理方法
EP2752779A2 (en) * 2013-01-07 2014-07-09 Facebook, Inc. System and method for distributed database query engines
CN104767813A (zh) * 2015-04-08 2015-07-08 江苏国盾科技实业有限责任公司 基于openstack的公众行大数据服务平台

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010139167A1 (zh) * 2009-06-05 2010-12-09 深圳市脑库计算机系统有限公司 用于政务商务决策的专家支持应用系统平台及其建构方法
EP2752779A2 (en) * 2013-01-07 2014-07-09 Facebook, Inc. System and method for distributed database query engines
CN103425762A (zh) * 2013-08-05 2013-12-04 南京邮电大学 基于Hadoop平台的电信运营商海量数据处理方法
CN104767813A (zh) * 2015-04-08 2015-07-08 江苏国盾科技实业有限责任公司 基于openstack的公众行大数据服务平台

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
企业客户大数据平台架构设计与实现;任嵬等;《石化技术》;20190428(第04期);全文 *
大数据时代电子商务产业数据管理与共享机制;郑志新;《信息技术与信息化》;20160625(第06期);全文 *
大数据环境下MapReduce准入控制的设计与实现;李亚如等;《计算机测量与控制》;20160225(第02期);全文 *

Also Published As

Publication number Publication date
CN111061791A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
US20230031926A1 (en) Method, medium, and system for surfacing recommendations
US11308526B2 (en) Systems and methods for using server side cookies by a demand side platform
Rygielski et al. Data mining techniques for customer relationship management
US7577579B2 (en) Method of predicting sales based on triple-axis mapping of customer value
Olszak et al. Business intelligence systems in the holistic infrastructure development supporting decision-making in organisations.
AU2004267843B2 (en) Methods and systems for predicting business behavior from profiling consumer card transactions
US8694372B2 (en) Systems and methods for automatic control of marketing actions
Dong [Retracted] Construction of Mobile E‐Commerce Platform and Analysis of Its Impact on E‐Commerce Logistics Customer Satisfaction
KR20030080797A (ko) 결제내역을 이용한 고객 관계 관리시스템
Ismail et al. Data mining in electronic commerce: benefits and challenges
Ilieva et al. Big data based system model of electronic commerce
WO2000034910A2 (en) Customer relationship management system and method
CN101414374A (zh) 用于向销售者提供对选定消费者的访问的方法和系统
US20180075468A1 (en) Systems and methods for merchant business intelligence tools
CN111061791B (zh) 一种中小型电商大数据平台
KR102428084B1 (ko) Ai를 활용하여 상점에게 최적화된 연계할인율 및 광고 수익모델 추천 시스템 그리고 방법
KR102090951B1 (ko) 통합 금융 서비스를 제공하는 방법 및 시스템
Miao A machine-learning based store layout strategy in shopping mall
KR20150058578A (ko) 전자계약 또는 전자세금계산서를 활용한 빅 데이터 구축 시스템
Wang et al. Visual Analysis of E‐Commerce User Behavior Based on Log Mining
Cheng Product recommendation system design
US20140143019A1 (en) Managing modeled audience extension information
Dhanushkodi et al. Customer Behaviour Analysis and Predictive Modelling in Supermarket Retail: A Comprehensive Data Mining Approach
KR20160110342A (ko) 전자계약 또는 전자세금계산서를 활용한 빅 데이터 구축 시스템
Kim et al. Developing an intelligent web information system for minimizing information gap in government agencies and public institutions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant