CN105260454A - 数据电商的一种高效的技术框架 - Google Patents
数据电商的一种高效的技术框架 Download PDFInfo
- Publication number
- CN105260454A CN105260454A CN201510660596.2A CN201510660596A CN105260454A CN 105260454 A CN105260454 A CN 105260454A CN 201510660596 A CN201510660596 A CN 201510660596A CN 105260454 A CN105260454 A CN 105260454A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- user
- service
- dmall
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims description 14
- 230000005611 electricity Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000002360 preparation method Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 238000013523 data management Methods 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000005012 migration Effects 0.000 claims description 2
- 238000013508 migration Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 235000012364 Peperomia pellucida Nutrition 0.000 description 1
- 240000007711 Peperomia pellucida Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供数据电商的一种高效的技术框架，涉及数据电商交易支付服务领域。本发明包含五个子模块，分别为：混合数据结构的数据整理汇总（dGather）模块、数据REST开放服务（dOpen）模块、数据权限控制（dAuth）模块、数据商品交易服务（dTrade）模块和数据服务计费（dCharge）模块。本发明解决了互联网混合结构数据整理与汇总、面向大众的数据开放、数据交易支付、数据权限控制、以及数据服务计费等难题。
Description
技术领域
本发明涉及异构非结构化数据融合、大数据分类标准化、RESTAPI接口与权限、数据电商交易支付服务和数据接口流量计费5个技术领域，具体是数据电商的一种高效的技术框架。
背景技术
当今已经是数据大爆炸的时代，各个行业面临着大部分的问题：
1、集中管理互联网数据。从无规则、无行业分类的互联网获取到针对性的行业价值的信息。
2、海量数据的存储，快速读写与容灾。
3、集群管理维护难。原有系统没有一个从硬件到软件到服务状态的整体监控和管理系统。
4、数据分享。通过文件方式、数据库等重型方式分享数据，并且需要用户自己开发实现数据API调用。
5、数据交易。数据资源雷同于矿产资源是可以被交易买卖的，需要将数据以可度量的服务方式对外提供支付功能。
6、数据接口计费。传统的模式只是按文件的形式给第三方提供数据，一次性付费，无法实施更新客户已交付的数据。
发明内容
为了解决以上的问题，本发明提出了数据电商的一种高效的技术框架；本发明是以大数据开放技术和电商交易技术为基础，以互联网模式为第三方和大众用户提供数据服务的一种技术框架（称DataMall框架），该方法用以填补了市面互联网大数据分享和交易平台数据成果使用的部分短板。解决了互联网混合结构数据整理与汇总、面向大众的数据开放、数据交易支付、数据权限控制、以及数据服务计费等难题。
这种数据电商所依赖的技术框架包含五个子模块，分别为：混合数据结构的数据整理汇总（dGather）模块、数据REST开放服务（dOpen）模块、数据权限控制（dAuth）模块、数据商品交易服务（dTrade）模块和数据服务计费（dCharge）模块。其中，dGather数据整理汇总模块、dOpen开放模块和dAuth数据权限控制三部分被定义为DataMall框架数据端（dmall-Data）：负责数据电商数据整合，并提供给用户可以使用数据的方式；dTrade模块和dCharge模块统称定义为DataMall框架销售端(dmall-Sale)：负责将可以使用的数据销售给大众用户，并且对数据的使用方式进行计费。
本发明目的是基于“大数据数据工厂、开放数据接口、电商模式交易数据、按实际使用付费”的思路完成大数据的数据交易。将客户定义的一个数据需求，进行智能的匹配采；将定义好的一个需求主题经过本发明的dmall-data系统进行多任务化为任务集合，集合中任意一个任务可再按维度细化成子任务，按照主从心跳模式由调度节点分配给执行节点执行汇总，对于执行完采集的节点，调度节点主动进行整理，采取分布式存储，并与行业内部组织数据进行整合分析的技术。同时，将采集到的互联网数据通过dOpen系统结合dAuth权限方式以轻量级方式分享给用户，以可度量的dCharge服务方式对外提供dTrade支付交易。
DataMall框架技术实现思路分如下步骤：
步骤1、dGather根据配置参数，自动匹配行业模板及其汇总方法，并回馈给客户以验证是否符合要求。如果不符合，提供给用户自定义数据管理和汇总方法。
步骤2：确定汇总任务模板，dGather中<适配功能>首先接收到这个模板，将模板分解为多个汇总任务，并将每个任务分配给调度监
控集群。
步骤3：汇总整理调度节点根据任务进行按维度划分，并负责将各个子任务分配给执行节点，同时监控执行情况。对于异常进行动态迁移到正常执行节点。调度节点与执行节点依赖MapReduce计算模型。
步骤4：第三方用户如果想获取DMall的数据服务请求，首先通过dAuth进行权限认证，验证是否为合法用户，是否有相应的数据权限。
步骤5：通过dAdapter将用户的请求分解并适配到对应主题所在的节点上，系统将汇总后的结构反馈给用户。
步骤6：汇总到开放库的数据通过dOpen模块开放为第三方接口，同时接入dTrade在线商城交易，完成数据商品推送到用户。
步骤7：用户拿到交易数据商品以后，可以通过API接口的方式访问数据，数据将以json、dmp文件、sql文件等方式返回。同时，系统通过dCharge计费模块实现数据商品的流量付费功能。
本发明的有益效果是：
数据商品交易
大数据获取到有价值的数据不在沉睡在数据库中，而是给予商品的行业，像其他实体商品一样，通过价格、计量、服务方式、配送方式、有效期等进行标识。购买的数据商品也是可以真实感受到，并且可以通过数据商品交付的API接口应用到客户的业务环境中。
数据开放接口
通用数据之间的传递主要是通过硬件(物理)介质，而且是一对一的方式。本方案可以通过结合权限的API接口，做到发布一次到处分享；通过API可以快速进行开放与交易支付的定制。
例如：数据商品接口地址：
http://{ip}{:port}/DataMall/{service_type}/{data_describe}?response_service=json。
附图说明
图1是DMall销售端dmall-sale系统核心流程图；
图2是DMall数据端dmall-data系统核心流程图。
具体实施方式
下面对本发明的内容进行更加详细的阐述：
数据电商这种技术框架分为两部分交付：销售端和数据端。其中，销售端产品名称为数据商城，它是一个直面大众用户的商城网站，通过用户进行商品选择和支付的业务场景，而数据端是一个面向管理员的产品，它需要考虑和兼容不同的数据库、操作系统、数据采集库。因此我们给客户端提供了各个行业的汇总模板口径，汇总系统和接口服务系统是部署在云服务器上。
数据端和开放接口分以下两步搭建该平台：
第三步，搭建dmall-data系统。在相应规划的机器上部署：a、执行节点程序和收割模块、b、调度节点程序、c、dmall-data适配程序。
第四步，搭建dOpen服务接口模块系统。dOpen节点程序分机器负责部署，将dAdapter适配汇总模块和oAuth权限认证系统分别部署到独立的节点。独立部署dNoSQL模块，同时需要内存数据库的配置文件指向该模块。
数据商城的销售端和互联网通用的垂直商城平台技术框架是类似的，有3部分组成：
第一部分、商城运行所需数据库。部署到centos的分布式mysql数据上，采用数据缓存和访问平行加速的技术。
第二部分、商城JAVA服务。部署到分布式TOMCAT服务集群上，采用了负载均衡，为请求进行分压。
第三部分、商城PHP动态页面。主要部署到到redhat的5个节点apache集群上，使用thinkphp内核，基于f5进行分流。
Claims (3)
1.数据电商的一种高效的技术框架，其特征在于，
包含五个子模块，分别为：混合数据结构的数据整理汇总模块dGather、数据REST开放服务模块dOpen、数据权限控制模块dAuth、数据商品交易服务模块dTrade和数据服务计费模块dCharge；
其中，dGather数据整理汇总模块、dOpen开放模块和dAuth数据权限控制三部分被定义为DataMall框架数据端dmall-Data：负责数据电商数据整合，并提供给用户可以使用数据的方式；dTrade模块和dCharge模块统称定义为DataMall框架销售端dmall-Sale：负责将可以使用的数据销售给大众用户，并且对数据的使用方式进行计费。
2.根据权利要求1所述的技术框架，其特征在于，
将客户定义的一个数据需求，进行智能的匹配采；将定义好的一个需求主题经过dmall-data系统进行多任务化为任务集合，集合中任意一个任务可再按维度细化成子任务，按照主从心跳模式由调度节点分配给执行节点执行汇总，对于执行完采集的节点，调度节点主动进行整理，采取分布式存储，并与行业内部组织数据进行整合分析的技术；同时，将采集到的互联网数据通过dOpen系统结合dAuth权限方式以轻量级方式分享给用户，以可度量的dCharge服务方式对外提供dTrade支付交易。
3.根据权利要求2所述的技术框架，其特征在于，
具体实现分如下步骤：
步骤1、dGather根据配置参数，自动匹配行业模板及其汇总方法，并回馈给客户以验证是否符合要求；如果不符合，提供给用户自定义数据管理和汇总方法；
步骤2：确定汇总任务模板，dGather中<适配功能>首先接收到这个模板，将模板分解为多个汇总任务，并将每个任务分配给调度监控集群；
步骤3：汇总整理调度节点根据任务进行按维度划分，并负责将各个子任务分配给执行节点，同时监控执行情况；对于异常进行动态迁移到正常执行节点；调度节点与执行节点依赖MapReduce计算模型；
步骤4：第三方用户如果想获取DMall的数据服务请求，首先通过dAuth进行权限认证，验证是否为合法用户，是否有相应的数据权限；
步骤5：通过dAdapter将用户的请求分解并适配到对应主题所在的节点上，系统将汇总后的结构反馈给用户；
步骤6：汇总到开放库的数据通过dOpen模块开放为第三方接口，同时接入dTrade在线商城交易，完成数据商品推送到用户；
步骤7：用户拿到交易数据商品以后，可以通过API接口的方式访问数据，数据将以json、dmp文件、sql文件等方式返回；同时，系统通过dCharge计费模块实现数据商品的流量付费功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510660596.2A CN105260454A (zh) | 2015-10-14 | 2015-10-14 | 数据电商的一种高效的技术框架 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510660596.2A CN105260454A (zh) | 2015-10-14 | 2015-10-14 | 数据电商的一种高效的技术框架 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105260454A true CN105260454A (zh) | 2016-01-20 |
Family
ID=55100144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510660596.2A Pending CN105260454A (zh) | 2015-10-14 | 2015-10-14 | 数据电商的一种高效的技术框架 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105260454A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106202399A (zh) * | 2016-07-11 | 2016-12-07 | 浪潮软件集团有限公司 | 一种大数据的数据管理系统实现方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101086782A (zh) * | 2007-07-13 | 2007-12-12 | 南京财经大学 | 面向业务服务的协同电子商务系统公共平台 |
| US20130211944A1 (en) * | 2010-11-01 | 2013-08-15 | Zulfiqar N. Momin | System, method and computer program product for sharing a product/service and its associated purchase price between customers |
| CN104125290A (zh) * | 2014-08-05 | 2014-10-29 | 奥盈琦信信息技术（上海）有限公司 | 实现个人大数据收集、管理和授权的系统及方法 |
| CN104809635A (zh) * | 2015-05-13 | 2015-07-29 | 苏州市千尺浪信息技术服务有限公司 | 一种互联网动态点评分析方法 |
| CN104951968A (zh) * | 2014-03-28 | 2015-09-30 | 上海瑞彩信息科技有限公司 | 一种彩票的电商定投方法及系统 |
-
2015
- 2015-10-14 CN CN201510660596.2A patent/CN105260454A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101086782A (zh) * | 2007-07-13 | 2007-12-12 | 南京财经大学 | 面向业务服务的协同电子商务系统公共平台 |
| US20130211944A1 (en) * | 2010-11-01 | 2013-08-15 | Zulfiqar N. Momin | System, method and computer program product for sharing a product/service and its associated purchase price between customers |
| CN104951968A (zh) * | 2014-03-28 | 2015-09-30 | 上海瑞彩信息科技有限公司 | 一种彩票的电商定投方法及系统 |
| CN104125290A (zh) * | 2014-08-05 | 2014-10-29 | 奥盈琦信信息技术（上海）有限公司 | 实现个人大数据收集、管理和授权的系统及方法 |
| CN104809635A (zh) * | 2015-05-13 | 2015-07-29 | 苏州市千尺浪信息技术服务有限公司 | 一种互联网动态点评分析方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106202399A (zh) * | 2016-07-11 | 2016-12-07 | 浪潮软件集团有限公司 | 一种大数据的数据管理系统实现方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11216756B2 (en) | Mapping portal applications in multi-tenant environment | |
| Malik et al. | CLOUD COMPUTING-TECHNOLOGIES. | |
| Choudhary et al. | Role of cloud computing technology in agriculture fields | |
| US20110295999A1 (en) | Methods and systems for cloud deployment analysis featuring relative cloud resource importance | |
| JP2011129117A (ja) | サービスとしてのクラウドフェデレーション | |
| CN102426541A (zh) | 参考数据服务的可用性管理 | |
| CN103649941A (zh) | 云上的应用资源管理器 | |
| Grandinetti | Pervasive cloud computing technologies: future outlooks and interdisciplinary perspectives: future outlooks and interdisciplinary perspectives | |
| CN105096181A (zh) | 一种大数据的电商交易方法及电商交易系统 | |
| Singh et al. | Advance billing and metering architecture for infrastructure as a service | |
| US9413811B2 (en) | Establishing upload channels to a cloud data distribution service | |
| Ruparelia | Cloud computing | |
| Femminella et al. | IoT, big data, and cloud computing value chain: pricing issues and solutions | |
| Tiwari et al. | Analysis of public cloud load balancing using partitioning method and game theory | |
| Zangara et al. | A cloud federation architecture | |
| Stroe | MySQL databases as part of the Online Business, using a platform based on Linux | |
| CN105260454A (zh) | 数据电商的一种高效的技术框架 | |
| Daga et al. | Federated learning operations made simple with flame | |
| CN112785324B (zh) | 信息处理方法、信息处理装置、电子设备和介质 | |
| Toffetti | Web Engineering for Cloud Computing: (Web Engineering Forecast: Cloudy with a Chance of Opportunities) | |
| Surianarayanan et al. | Essentials of Cloud Computing: A Holistic, Cloud-Native Perspective | |
| Li | Hybrid cloud service selection strategy: Model and application of campus | |
| Angle | Towards Cloud-Based cost-effective serverless information system | |
| Falck et al. | Azure App Service Plan Optimization: Cloud Resource optimization | |
| Bhatta | Cloud computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160120 |
|
| WD01 | Invention patent application deemed withdrawn after publication |