CN111598699A - 一种基于集群的分润系统 - Google Patents
一种基于集群的分润系统 Download PDFInfo
- Publication number
- CN111598699A CN111598699A CN202010429869.3A CN202010429869A CN111598699A CN 111598699 A CN111598699 A CN 111598699A CN 202010429869 A CN202010429869 A CN 202010429869A CN 111598699 A CN111598699 A CN 111598699A
- Authority
- CN
- China
- Prior art keywords
- cluster
- transaction
- program
- sub
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005461 lubrication Methods 0.000 claims abstract description 33
- 230000003020 moisturizing effect Effects 0.000 claims abstract description 20
- 238000013500 data storage Methods 0.000 claims abstract description 15
- 238000009736 wetting Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 abstract 1
- 238000012795 verification Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000013016 damping Methods 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供了一种基于集群的分润系统，其包括数据存储模块、分润程序、容器集群和调度模块，所述数据存储模块，用于存储分润规则和分润得到的明细数据；所述分润程序，用于根据所述数据存储模块中的分润规则计算分润金额；所述容器集群，用于为所述分润程序提供运行环境；所述调度模块，用于对所述分润程序进行调度、维护和跟踪。采用上述基于集群的分润系统，便于扩容和提速。
Description
技术领域
本发明属于金融数据处理领域，尤其涉及一种基于集群的分润系统。
背景技术
随着手机等电子终端使用的普及和互联网金融的发展，利用互联网的金融收单机构的大量出现，如微信支付、支付宝支付、二维码支付或是扫码支付(包括条形码、二维码、声波码)、网上支付及银联刷卡支付、NFC拍卡支付、手机号码支付、光子支付等，给人们的消费支付代来极大的方便，并被消费者广泛的应用。为适应多种收单机构的收费系统现有技术中已被大量使用，如超市、铁路客服、机票预售、网上购物的收银系统，这种系统被称为分润系统。分润系统参与市场运行的各方均需要在产品销售或服务完成后的最短时间内，实现资金回收，降低运行成本。
然而，传统的分润运算采用单一的程序，基于单一的服务器，只能按部就班的进行，无法扩容，也无法加速，无法知道今天需要处理多长时间，发生错误时必须从头再来。
发明内容
本发明的目的在于提供了本发明提供了一种基于集群的分润系统，从而使得分润系统可以进行扩容和加速。
本发明实施例中，提供了一种基于集群的分润系统，其包括数据存储模块、分润程序、容器集群和调度模块，
所述数据存储模块，用于存储分润规则和分润得到的明细数据；
所述分润程序，用于根据所述数据存储模块中的分润规则计算分润金额；
所述容器集群，用于为所述分润程序提供运行环境；
所述调度模块，用于对所述分润程序进行调度、维护和跟踪。
本发明实施例中，所述数据存储模块包括Hive数据库和Oracle数据库。
本发明实施例中，所述Hive数据库用于存储分润规则和分润明细数据，所述Oracle数据库用于存储分润金额汇总数据和入账数据。
本发明实施例中，所述分润程序使用java语言开发。
本发明实施例中，所述分润程序的运行过程包括：
首先，查询交易流水，按照流水的机身号，查找需要进行分润的账号；
然后，按照流水的交易类型，交易卡类型查找相关账号的分润规则；
最后，按照交易金额、交易成本及分润规则进行分润计算。
本发明实施例中，所述的基于集群的分润系统,还包括：
交易校验模块，用于将当日的交易数据与前一日的交易数据进行比较，根据两日交易数据的差异来判断当日的交易是否正常。
本发明实施例中，所述的基于集群的分润系统,还包括：
分润校验模块，用于将当日的分润数据与前一日的分润数据进行比较，根据两日分润数据的差异来判断当日所述分润程序是否运行正常。
本发明实施例中，所述的基于集群的分润系统,还包括：
通知报警模块，用于在所述分润程序运行发生错误时通过邮件或短信的方式通知管理员。
本发明实施例中，所述通知报警模块还用于在当交易金额或分润金额超出阀值时以邮件或短信的方式通知管理员。
本发明实施例中，所述调度模块采用由Linkedin公司推出的批量工作流任务调度器Azkaban。
与现有技术相比较，本发明的基于集群的分润系统中，采用了容器集群来运行所述分润程序，解决了系统无法扩容的问题，可以使所述分润程序稳定、快速的运行；还可通过所述调度模块对分润程序的运行过程进行可视化跟踪，使管理员便于查看历史记录及当前任务情况；另外，系统发生错误时可通过邮件或短信的方式通知管理员，以便于管理及时查看及修复；当交易金额或分润金额超出阀值时暂停任务以邮件或短信的方式通知管理员确认，管理员可继续或中止任务，为无人值守创造了便利。
附图说明
图1是本发明实施例的基于集群的分润系统的结构示意图。
图2是本发明实施例的基于集群的分润系统的运行流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的实现进行详细描述。
如图1所示，本发明实施例中，提供了本发明实施例中，提供了一种基于集群的分润系统，其包括数据存储模块1、分润程序2、容器集群3、调度模块4、交易校验模块5、分润校验模块6和通知报警模块7。下面分别进行说明。
所述数据存储模块1，用于存储分润规则和分润得到的明细数据。
所述数据存储模块1包括Hive数据库和Oracle数据库。所述Hive数据库用于存储分润规则和分润明细数据，所述Oracle数据库用于存储分润金额汇总数据和入账数据。所述Hive数据库可实现灵活扩容，错误快速修复。所述Oracle数据库可提供完善的事务支持和强一致性。
所述分润程序2，用于根据所述数据存储模块中的分润规则计算分润金额。
所述分润程序2使用java语言开发完成。所述分润程序2主要完成读取分润规则，运算分润金额。所述分润程序2的运行过程包括：首先，查询交易流水，按照流水的机身号，查找需要进行分润的账号；然后，按照流水的交易类型，交易卡类型查找相关账号的分润规则；最后，按照交易金额、交易成本及分润规则进行分润计算。所述分润程序2支持消息队列消费者以及被动调用，通过这两种调用方式可实现分润实时运算。
所述容器集群3，用于为所述分润程序提供运行环境。所述容器集群3支持扩容，可简单快速的提升分润系统性能，为分润系统的处理速度提供保障
所述调度模块4，用于对所述分润程序进行调度、维护和跟踪。所述调度模块4采用由Linkedin公司推出的批量工作流任务调度器Azkaban。
所述交易校验模块5，用于将当日的交易数据与前一日的交易数据进行比较，根据两日交易数据的差异来判断当日的交易是否正常。
所述分润校验模块6，用于将当日的分润数据与前一日的分润数据进行比较，根据两日分润数据的差异来判断当日所述分润程序是否运行正常。
所述通知报警模块7，用于在所述分润程序运行发生错误时通过邮件或短信的方式通知管理员。所述通知报警模块7还用于在当交易金额或分润金额超出阀值时以邮件或短信的方式通知管理员。
如图2所示，本发明的基于集群的分润系统的运行过程如下：
1、所述调度模块4(Azkaban)调度spark任务，开始处理分润，Azkaban为基于浏览器的可视化操作，可通过器手动发起任务，同时也可定时自动发起，并在浏览器中查看进度；
2、交易校验，与前一日的交易信息进行对比，总笔数或总金额差异超出阀值或者某种交易类型的总笔数或总金额差异超出阀值时都需要通知管理员确认；
3、基础信息读取(包含账号归属关系、分润规则)，从Hive数据库中读取分润所需要的基础数据；
4、分润计算及汇总，在spark中进行Hive数据库大数据操作，在所述容器集群3中使用spark算子对数据进行处理计算；
5、分润校验，与交易校验一样，与前一日的分润数据进行对比，分润总金额差异超出阀值时通知管理员进行确认；
6、入账，因入账操作极为敏感，需要强一致性，所以必须在Oracle数据库中进行，采用rpc服务在Oracle数据库中进行入账操作；
7、通知管理员已完成任务，通知支持邮件或短信，邮件内容可配置是否包含数据汇总，可包含交易及分润汇总，是否包含异常交易，可定制邮件格式待，支持同时发送多人，短信仅包含一条简单的成功通知。
需要说明的是，上述第3步和第4步操作均涉及海量数据，按行业平均每笔交易产生6笔分润估算，每100万笔交易，需要产生至少600万条明细数据，此估算为保守估算，实际情况可能数倍于此值，所以这里需要大量的服务器资源，传统的分润计算方式，根本无法满足，大交易量大的时候一天的时间都处理不完前一日的交易。本发明的分润系统可通过所述容器集群3快速的扩展系统处理能力，满足实际业务的要求。
综上所述，本发明的基于集群的分润系统中，采用了容器集群来运行所述分润程序，解决了系统无法扩容的问题，可以使所述分润程序稳定、快速的运行；还可通过所述调度模块对分润程序的运行过程进行可视化跟踪，使管理员便于查看历史记录及当前任务情况；另外，系统发生错误时可通过邮件或短信的方式通知管理员，以便于管理及时查看及修复；当交易金额或分润金额超出阀值时暂停任务以邮件或短信的方式通知管理员确认，管理员可继续或中止任务，为无人值守创造了便利。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于集群的分润系统，其特征在于，包括数据存储模块、分润程序、容器集群和调度模块，
所述数据存储模块，用于存储分润规则和分润得到的明细数据；
所述分润程序，用于根据所述数据存储模块中的分润规则计算分润金额；
所述容器集群，用于为所述分润程序提供运行环境；
所述调度模块，用于对所述分润程序进行调度、维护和跟踪。
2.如权利要求1所述的基于集群的分润系统，其特征在于，所述数据存储模块包括Hive数据库和Oracle数据库。
3.如权利要求2所述的基于集群的分润系统，其特征在于，所述Hive数据库用于存储分润规则和分润明细数据，所述Oracle数据库用于存储分润金额汇总数据和入账数据。
4.如权利要求1所述的基于集群的分润系统，其特征在于, 所述分润程序使用java语言开发。
5.如权利要求4所述的基于集群的分润系统，其特征在于，所述分润程序的运行过程包括：
首先，查询交易流水，按照流水的机身号，查找需要进行分润的账号；
然后，按照流水的交易类型，交易卡类型查找相关账号的分润规则；
最后，按照交易金额、交易成本及分润规则进行分润计算。
6.如权利要求1所述的基于集群的分润系统，其特征在于, 还包括：
交易校验模块，用于将当日的交易数据与前一日的交易数据进行比较，根据两日交易数据的差异来判断当日的交易是否正常。
7.如权利要求6所述的基于集群的分润系统，其特征在于, 还包括：
分润校验模块，用于将当日的分润数据与前一日的分润数据进行比较，根据两日分润数据的差异来判断当日所述分润程序是否运行正常。
8.如权利要求7所述的基于集群的分润系统，其特征在于, 还包括：
通知报警模块，用于在所述分润程序运行发生错误时通过邮件或短信的方式通知管理员。
9.如权利要求8所述的基于集群的分润系统，其特征在于, 所述通知报警模块还用于在当交易金额或分润金额超出阀值时以邮件或短信的方式通知管理员。
10.如权利要求1所述的基于集群的分润系统，其特征在于, 所述调度模块采用由Linkedin公司推出的批量工作流任务调度器Azkaban。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010429869.3A CN111598699A (zh) | 2020-05-20 | 2020-05-20 | 一种基于集群的分润系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010429869.3A CN111598699A (zh) | 2020-05-20 | 2020-05-20 | 一种基于集群的分润系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111598699A true CN111598699A (zh) | 2020-08-28 |
Family
ID=72190410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010429869.3A Pending CN111598699A (zh) | 2020-05-20 | 2020-05-20 | 一种基于集群的分润系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598699A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163948A (zh) * | 2020-09-18 | 2021-01-01 | 深圳乐信软件技术有限公司 | 一种分润计算方法、系统、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103365969A (zh) * | 2013-06-24 | 2013-10-23 | 北京奇虎科技有限公司 | 一种异常数据检测处理的方法和系统 |
| CN104463611A (zh) * | 2015-01-07 | 2015-03-25 | 上海瀚银信息技术有限公司 | 代理商管理系统 |
| JP2018120423A (ja) * | 2017-01-25 | 2018-08-02 | 株式会社日立国際電気 | 証券情報支援システム |
| CN108550047A (zh) * | 2018-03-20 | 2018-09-18 | 阿里巴巴集团控股有限公司 | 交易量的预测方法及装置 |
| CN109299175A (zh) * | 2018-09-26 | 2019-02-01 | 中国建设银行股份有限公司 | 数据库动态扩展方法、系统、装置和存储介质 |
| CN110046245A (zh) * | 2018-11-27 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 一种数据监控方法及装置、一种计算设备及存储介质 |
-
2020
- 2020-05-20 CN CN202010429869.3A patent/CN111598699A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103365969A (zh) * | 2013-06-24 | 2013-10-23 | 北京奇虎科技有限公司 | 一种异常数据检测处理的方法和系统 |
| CN104463611A (zh) * | 2015-01-07 | 2015-03-25 | 上海瀚银信息技术有限公司 | 代理商管理系统 |
| JP2018120423A (ja) * | 2017-01-25 | 2018-08-02 | 株式会社日立国際電気 | 証券情報支援システム |
| CN108550047A (zh) * | 2018-03-20 | 2018-09-18 | 阿里巴巴集团控股有限公司 | 交易量的预测方法及装置 |
| CN109299175A (zh) * | 2018-09-26 | 2019-02-01 | 中国建设银行股份有限公司 | 数据库动态扩展方法、系统、装置和存储介质 |
| CN110046245A (zh) * | 2018-11-27 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 一种数据监控方法及装置、一种计算设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163948A (zh) * | 2020-09-18 | 2021-01-01 | 深圳乐信软件技术有限公司 | 一种分润计算方法、系统、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10038619B2 (en) | Providing a monitoring service in a cloud-based computing environment | |
| US20090327110A1 (en) | Method and system for managing electronic bills | |
| US11836809B2 (en) | Employment status detection based on transaction information | |
| US20140156785A1 (en) | Method and Apparatus for Generating User Notifications | |
| US20230325592A1 (en) | Data management using topic modeling | |
| CN112559300A (zh) | 一种故障原因确定系统、方法及装置 | |
| CN110428240B (zh) | 一种可疑交易自动识别和处理方法、终端和服务器 | |
| CN110147286B (zh) | 一种基于消息队列的定制信息发送方法、装置、系统和记录介质 | |
| CN111598699A (zh) | 一种基于集群的分润系统 | |
| US20220076264A1 (en) | System and method for simplifying fraud detection in real-time payment transactions from trusted accounts | |
| CN115578170A (zh) | 一种财务批量制证方法、装置、设备及存储介质 | |
| CN114971637A (zh) | 一种风险预警方法、装置、设备及介质 | |
| CN112181380B (zh) | 一种信贷产品多产品并行开发系统及其授信、放款、还款方法 | |
| CN115269085A (zh) | 手机银行页面展示方法及装置 | |
| US20220051270A1 (en) | Event analysis based on transaction data associated with a user | |
| US11263049B2 (en) | System for pattern recognition to customized resource usage | |
| CN114580898A (zh) | 一种高效催收款系统、方法、电子设备及可读存储介质 | |
| CN114048034A (zh) | 会计数据处理方法及装置 | |
| CN111429264A (zh) | 一种分布式系统的组合对账方法及装置 | |
| CN111967966B (zh) | 一种手机银行睡眠客户的自动唤醒方法及系统 | |
| US11941593B2 (en) | Blockchain payment notification system | |
| CN114666321B (zh) | 一种监管报送数据处理方法、装置、设备、介质及产品 | |
| US20230128246A1 (en) | Collaborative electronic platform for predicting non-payments for companies and associated method | |
| CN111967960A (zh) | 账户数据的批量调整方法及装置 | |
| US20240104481A1 (en) | Generating Transaction Recommendations Based on Monitoring and Analyzing Consumer Transactions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200828 |