CN114070845A - 协同报送交易信息的方法及装置 - Google Patents
协同报送交易信息的方法及装置 Download PDFInfo
- Publication number
- CN114070845A CN114070845A CN202111332848.0A CN202111332848A CN114070845A CN 114070845 A CN114070845 A CN 114070845A CN 202111332848 A CN202111332848 A CN 202111332848A CN 114070845 A CN114070845 A CN 114070845A
- Authority
- CN
- China
- Prior art keywords
- transaction information
- reporting
- host
- data
- distributed platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000012545 processing Methods 0.000 claims abstract description 61
- 230000002093 peripheral effect Effects 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 37
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012546 transfer Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 230000003203 everyday effect Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24561—Intermediate data storage techniques for performance improvement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种协同报送交易信息的方法及装置，涉及交易数据处理技术领域，包括：配置主机端与分布式平台端的报送时间范围；将目标表加载至分布式平台端，根据划分的区域对目标表进行分表操作，得到多个子目标表；对每笔交易进行处理得到交易信息，写入主机端的中间表；根据中间表，通过主机端的长挂进程获取处于主机端的报送时间范围内的交易信息，将交易信息写入目标表报送至外围系统；订阅中间表，将中间表同步至分布式平台端，通过分布式平台端的长挂进程获取处于分布式平台端的报送时间范围的交易信息，将交易信息写入对应的子目标表报送至外围系统。本发明可以提高交易信息报送的性能，降低对主机系统的依赖，降低信息的安全风险。
Description
技术领域
本发明涉及交易数据处理技术领域，尤指一种协同报送交易信息的方法及装置。
背景技术
金融交易信息报送作为银行系统的一种重要的信息服务公共机制，每日日终需向外围系统报送当日存款、贷款账户的全量交易信息，供后线系统(如手机银行等)向客户提供查询服务。
目前，金融信息报送的内容主要在主机端进行收集，再向外围系统报送。因主机具有可用性高、吞吐量大、稳定性强等优点，长期以来国有银行的核心银行系统多采用基于主机的集中式处理架构。但随着分布式架构的崛起，主机架构相较于分布式架构的劣势日益凸显。通过主机端收集、报送的方法存在以下问题：1，主机端应用服务和数据服务过于耦合，所有应用系统服务运行在同一套主机服务器集群中，扩展性主要依赖主机系统平台，不支持跨主机集群的横向扩展。2，主机系统由其他公司研制，无法自主可控，对于存储大量敏感客户信息的银行来说，安全风险较高。3，主机成本较高，单台主机耗资高达几百万美元，对于银行来说是一笔巨大的开销。
综上来看，亟需一种可以克服上述缺陷，具有一定扩展性，降低对主机系统依赖，且提高安全性的交易信息处理方案。
发明内容
为解决现有技术存在的问题，本发明提出了一种协同报送交易信息的方法及装置。本发明通过优化系统架构，将部分应用从基于主机的集中式部署向分布式部署转变，构建主机与分布式的多平台多技术融合的架构，通过主机与分布式平台的协同使用来保证交易信息报送的高效性、安全性，并有效降低硬件成本。
在本发明实施例的第一方面，提出了一种协同报送交易信息的方法，包括：
配置主机端与分布式平台端的报送时间范围；
将目标表加载至分布式平台端，根据划分的区域对目标表进行分表操作，得到多个子目标表；
对每笔交易进行处理得到交易信息，写入主机端的中间表；
根据所述中间表，通过主机端的长挂进程获取处于主机端的报送时间范围内的交易信息，将交易信息写入目标表报送至外围系统；
订阅所述中间表，将中间表同步至分布式平台端，通过分布式平台端的长挂进程获取处于分布式平台端的报送时间范围的交易信息，将交易信息写入对应的子目标表报送至外围系统。
进一步的，将目标表加载至分布式平台端，根据划分的区域对目标表进行分表操作，得到多个子目标表，包括：
根据省份对目标表进行分表操作，得到每个省份对应的子目标表。
进一步的，订阅所述中间表，将中间表同步至分布式平台端，通过分布式平台端的长挂进程获取处于分布式平台端的报送时间范围的交易信息，将交易信息写入对应的子目标表报送至外围系统，包括：
根据子目标表的数据进行数据全量下载；
对下载的数据进行文件格式重构处理；
将重构处理后的文件通过FTP报送至外围系统，提供给客户查询。
进一步的，根据子目标表的数据进行数据全量下载，包括：
在每日第一时间点进行分布式平台端报送的预处理操作，预插状态控制表，其中，在所述状态控制表中将全量报送过程中的每一阶段的步骤作为一条记录写入，并将所有状态置为未处理；全量报送的步骤包括全量下载、文件格式重构处理、FTP报送；
对子目标表中当日的记录进行全量获取，按照客户类型分别生成对应的数据文件，在每个节点完成下载后，将状态控制表中节点对应的步骤为全量下载的记录状态置为已完成；
存储当日的数据文件。
进一步的，对下载的数据进行文件格式重构处理，包括：
在每日第二时间点触发数据文件的重构处理；其中，在重构处理前，检查状态控制表中各个节点的全量下载的记录状态是否为已完成，如完成则继续处理，未完成则继续等待，在等待一定时长之后继续进行全量下载；
对各个节点的数据文件进行重构处理，在成功触发并完成文件格式重构处理后，更新状态控制表中节点对应的步骤为文件格式重构处理的记录状态为已完成。
进一步的，将重构处理后的文件通过FTP报送至外围系统，提供给客户查询，包括：
在每日第二时间点触发FTP报送；其中，当状态控制表中文件格式重构处理的记录状态为已完成，启动FTP报送功能；各个节点每间隔一定时长触发一次FTP报送；
在完成FTP报送后，更新状态控制表中节点对应的步骤为FTP报送的记录状态为已完成。
进一步的，将重构处理后的文件通过FTP报送至外围系统，提供给客户查询，还包括：
若节点的数据文件的数据量超过设定阈值，对数据文件进行拆分操作，在拆分后分片进行FTP报送。
进一步的，该方法包括：
当状态控制表中当日所有记录状态均变为已完成时，当日所有记录已处理完毕，将所有目标表中日期为当天的记录清理掉。
进一步的，根据所述中间表，通过主机端的长挂进程获取处于主机端的报送时间范围内的交易信息，将交易信息写入目标表报送至外围系统，包括：
主机端对目标表中日期为当日的所有数据进行抽取，并将获得的数据按照需要的格式进行格式重构，通过FTP方式报送至外围系统，提供给客户查询。
进一步的，主机端的报送时间范围为每日0-6，18-24时；分布式平台端的报送时间范围为每日6-18时。
进一步的，所述每日第一时间点为每日19时；所述每日第二时间点为每日20时。
进一步的，该方法还包括：在次日2时，检查状态控制表中日期为前一日的所有记录状态是否都为已完成，如果均已完成，将前一日所有记录清理掉。
在本发明实施例的第二方面，提出了一种协同报送交易信息的装置，包括：
配置模块，用于配置主机端与分布式平台端的报送时间范围；
加载模块，用于将目标表加载至分布式平台端，根据划分的区域对目标表进行分表操作，得到多个子目标表；
交易处理模块，用于对每笔交易进行处理得到交易信息，写入主机端的中间表；
集中式报送模块，用于根据所述中间表，通过主机端的长挂进程获取处于主机端的报送时间范围内的交易信息，将交易信息写入目标表报送至外围系统；
分布式报送模块，用于订阅所述中间表，将中间表同步至分布式平台端，通过分布式平台端的长挂进程获取处于分布式平台端的报送时间范围的交易信息，将交易信息写入对应的子目标表报送至外围系统。
在本发明实施例的第三方面，提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现协同报送交易信息的方法。
在本发明实施例的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现协同报送交易信息的方法。
本发明提出的协同报送交易信息的方法及装置通过优化系统架构，将部分应用从基于主机的集中式部署向分布式部署转变，构建主机与分布式的多平台多技术融合的架构，通过主机与分布式平台的协同使用可以提高交易信息报送的性能，降低对主机系统的依赖从而降低信息的安全风险，整体架构的运营成本低，具有较好地易扩展性且可以灵活配置报送平台。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明一实施例的协同报送交易信息的方法流程示意图。
图2是本发明一实施例的分布式平台端报送交易信息的流程示意图。
图3是本发明另一实施例的分布式平台端报送交易信息的流程示意图。
图4是本发明一实施例的协同报送交易信息的装置架构示意图。
图5是本发明一实施例的分布式报送模块的架构示意图。
图6是本发明另一实施例的分布式报送模块的架构示意图。
图7是本发明一实施例的计算机设备结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种协同报送交易信息的方法及装置，涉及交易数据处理技术领域。
在本实施例中，涉及的术语有：
主机系统：本发明中指部署在其他公司生产的服务器上的商业银行系统。
主机下移：通过优化系统架构，将部分应用从集中式部署(主机端)向分布式部署(X86端)转变，以减少对主机系统的依赖，降低成本。
主机集中式架构：应用服务和数据服务紧耦合，应用系统运行在同一套主机服务器集群中，扩展性主要依赖主机系统平台，具有很强的纵向扩展能力，不支持跨主机集群的横向扩展。
分布式架构：应用服务和数据库服务松耦合，应用服务和数据服务分别运行在不同的服务器集群中，扩展性主要依赖分布式平台，由于采用分库分表技术及X86服务器，因此应用服务器和数据库服务器均具有很强的横向扩展能力。
银行业务系统：以客户为中心，进行账务处理并提供24小时服务的银行系统。
金融交易信息报送：对银行业务系统产生的金融交易信息进行数据加工并报送给客户交易信息服务系统，客户交易信息服务系统进行数据加工、格式重构处理后发送给后线系统(手机银行、报表系统等)，用户客户交易信息展现、对账等。
联机：银行柜台以及自助设备发起和各种渠道介入的需要及时响应的单笔交易，如柜台存取款、atm取款、转账交易等。
中间表：用于存储交易维度信息，联机交易完成账务处理后即将交易信息写入中间表。
目标表：用于存储需报送的客户交易信息的数据表，由长挂进程将中间表中的数据同步至目标表中。根据客户类型的不同分为普通签约客户交易信息表、非签约客户交易信息表、对私客户交易信息表和VIP客户交易信息表。
FTP：文件传输协议，是一种文件传输方式。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
图1是本发明一实施例的协同报送交易信息的方法流程示意图。如图1所示，该方法包括：
S101，配置主机端与分布式平台端的报送时间范围；
S102，将目标表加载至分布式平台端，根据划分的区域对目标表进行分表操作，得到多个子目标表；
S103，对每笔交易进行处理得到交易信息，写入主机端的中间表；
S104，根据所述中间表，通过主机端的长挂进程获取处于主机端的报送时间范围内的交易信息，将交易信息写入目标表报送至外围系统；
S105，订阅所述中间表，将中间表同步至分布式平台端，通过分布式平台端的长挂进程获取处于分布式平台端的报送时间范围的交易信息，将交易信息写入对应的子目标表报送至外围系统。
为了对上述协同报送交易信息的方法进行更为清楚的解释，下面结合每一步骤来进行详细说明。
在S101中，主机端的报送时间范围为每日0-6，18-24时；分布式平台端的报送时间范围为每日6-18时。
在S102中，可以根据省份对目标表进行分表操作，得到每个省份对应的子目标表。
本发明创新的搭建了分布式平台端，分布式平台可实现应用服务和数据库服务的松耦合，将应用服务和数据服务分别运行在不同的服务器集群中，采用分库分表技术及X86服务器，使得应用服务器和数据库服务器均具有很强的横向扩展能力。通过将部分报送功能转移(主机下移)至分布式平台端，实现集中式与分布式金融交易信息的协同报送。
在实际应用场景中，分布式架构所需的机器为普通的计算机，可以大大降低运营成本。
在S103中，对每笔交易进行处理得到交易信息，写入主机端的中间表。
在S104中，根据所述中间表，通过主机端的长挂进程获取处于主机端的报送时间范围内的交易信息，将交易信息写入目标表报送至外围系统。
具体的，主机端对目标表中日期为当日的所有数据进行抽取，并将获得的数据按照需要的格式进行格式重构，通过FTP方式报送至外围系统，提供给客户查询。
实际上，主机端的报送方式与现有的一样，只是交易执行时间范围为每日的0-6，18-24时。
在本实施例中，对于每日18点至次日6点发生的每笔金融交易，完成账务处理后会将交易维度信息写入中间表，由长挂进程获取中间表中0点至6点以及18点至24点的交易记录写入主机端目标表，按照原有方式在主机端对目标表中日期为当日的所有数据进行抽取，并将获得的数据按照需要的格式进行格式重构，通过FTP方式发送至外围系统，以便供后线系统向客户提供查询服务。
在S105中，订阅所述中间表，将中间表同步至分布式平台端，通过分布式平台端的长挂进程获取处于分布式平台端的报送时间范围的交易信息，将交易信息写入对应的子目标表报送至外围系统。
参考图2，为本发明一实施例的分布式平台端报送交易信息的流程示意图。如图2所示，该方法包括：
S201，根据子目标表的数据进行数据全量下载；
S202，对下载的数据进行文件格式重构处理；
S203，将重构处理后的文件通过FTP报送至外围系统，提供给客户查询。
具体的，在S201中，根据子目标表的数据进行数据全量下载的具体过程为：
在每日第一时间点进行分布式平台端报送的预处理操作，预插状态控制表，其中，在所述状态控制表中将全量报送过程中的每一阶段的步骤作为一条记录写入，并将所有状态置为未处理；全量报送的步骤包括全量下载、文件格式重构处理、FTP报送；
其中，所述每日第一时间点为每日19时。
对子目标表中当日的记录进行全量获取，按照客户类型分别生成对应的数据文件，在每个节点完成下载后，将状态控制表中节点对应的步骤为全量下载的记录状态置为已完成；
存储当日的数据文件。
具体的，在S202中，对下载的数据进行文件格式重构处理的具体流程为：
在每日第二时间点触发数据文件的重构处理；其中，在重构处理前，检查状态控制表中各个节点的全量下载的记录状态是否为已完成，如完成则继续处理，未完成则继续等待，在等待一定时长之后继续进行全量下载；
其中，所述每日第二时间点为每日20时。
对各个节点的数据文件进行重构处理，在成功触发并完成文件格式重构处理后，更新状态控制表中节点对应的步骤为文件格式重构处理的记录状态为已完成。
具体的，在S203中，将重构处理后的文件通过FTP报送至外围系统，提供给客户查询的具体流程为：
在每日第二时间点触发FTP报送；其中，当状态控制表中文件格式重构处理的记录状态为已完成，启动FTP报送功能；各个节点每间隔一定时长触发一次FTP报送；
其中，若节点的数据文件的数据量超过设定阈值，对数据文件进行拆分操作，在拆分后分片进行FTP报送。
在完成FTP报送后，更新状态控制表中节点对应的步骤为FTP报送的记录状态为已完成。
参考图3，为本发明另一实施例的分布式平台端报送交易信息的流程示意图。如图3所示，该方法还包括：
S204，当状态控制表中当日所有记录状态均变为已完成时，当日所有记录已处理完毕，将所有目标表中日期为当天的记录清理掉。
具体的，可以在次日2时，检查状态控制表中日期为前一日的所有记录状态是否都为已完成，如果均已完成，将前一日所有记录清理掉。
在外围系统，可以对数据进一步加工，将数据文件传送至手机银行(用户客户交易信息展示)、报表系统(用于对账)等。
需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
为了对上述协同报送交易信息的方法进行更为清楚的解释，下面结合一个具体的实施例来进行说明。
在一应用场景下，本发明通过调整原有金融交易信息报送的系统架构，在主机和分布式平台两端进行协同报送。
主机端和分布式平台端的报送切换通过配置断点表中的报送状态来实现，例如，X86准备报送、主机停止报送、X86停止报送、主机开始报送)。
以主机端和分布式平台端各报送12小时为例进行说明：
主机端金融交易完成账务处理后，将交易维度信息写入主机端中间表，由长挂进程将中间表中每日0点至6点以及18点至24点的记录同步至主机端目标表中。每日日终在主机端目标表中筛选交易日期为当天的记录进行全量报送。
分布式平台端同步新建中间表及目标表，其中各目标表按不同省份拆分为多张表。分布式平台端通过订阅主机端中间表的方式，将主机端中间表数据同步至分布式平台端，再通过分布式平台端的长挂进程将中间表中每日6点至18点的数据记录同步至目标表中。当交易信息数据静止(18点)后，在分布式平台端根据目标表对当日所有金融交易信息进行全量报送。
分布式平台可实现应用服务和数据库服务的松耦合，将应用服务和数据服务分别运行在不同的服务器集群中，采用分库分表技术及X86服务器，使得应用服务器和数据库服务器均具有很强的横向扩展能力。通过将部分报送功能转移至分布式平台端，实现集中式与分布式金融交易信息的协同报送。
本发明通过优化系统架构，将部分应用从基于主机的集中式部署向分布式部署转变，构建主机与分布式的多平台多技术融合的架构。通过主机与分布式平台的协同使用，可以达到以下效果：
相比基于主机的集中式处理架构，分布式架构具有高性能、易扩展、低成本等优势。对于银行来说，集中式架构在稳定性、一致性方面依然具有一定优势。本发明通过集中式与分布式的融合架构，将集中式架构的稳定性与分布式架构的易扩展性进行融合，优势互补。可以减少对主机的单方面依赖，提高自主可控度，降低安全风险。分布式架构所需的机器为普通的计算机，可以大大降低运营成本。
在本发明实施例中，具体设置的时间点可以根据实际场景进行微调。
在介绍了本发明示例性实施方式的方法之后，接下来，参考图4对本发明示例性实施方式的协同报送交易信息的装置进行介绍。
协同报送交易信息的装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”或者“单元”，可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
基于同一发明构思，本发明还提出了一种协同报送交易信息的装置，如图4所示，该装置包括：
配置模块410，用于配置主机端与分布式平台端的报送时间范围；
加载模块420，用于将目标表加载至分布式平台端，根据划分的区域对目标表进行分表操作，得到多个子目标表；
交易处理模块430，用于对每笔交易进行处理得到交易信息，写入主机端的中间表；
集中式报送模块440，用于根据所述中间表，通过主机端的长挂进程获取处于主机端的报送时间范围内的交易信息，将交易信息写入目标表报送至外围系统；
分布式报送模块450，用于订阅所述中间表，将中间表同步至分布式平台端，通过分布式平台端的长挂进程获取处于分布式平台端的报送时间范围的交易信息，将交易信息写入对应的子目标表报送至外围系统。
在本实施例中，加载模块420具体用于：
根据省份对目标表进行分表操作，得到每个省份对应的子目标表。
在本实施例中，参考图5，为本发明一实施例的分布式报送模块的架构示意图。如图5所示，分布式报送模块包括：
全量下载单元451，用于根据子目标表的数据进行数据全量下载；
文件格式重构处理单元452，用于对下载的数据进行文件格式重构处理；
文件报送单元453，用于将重构处理后的文件通过FTP报送至外围系统，提供给客户查询。
进一步的，全量下载单元451具体用于：
在每日第一时间点进行分布式平台端报送的预处理操作，预插状态控制表，其中，在所述状态控制表中将全量报送过程中的每一阶段的步骤作为一条记录写入，并将所有状态置为未处理；全量报送的步骤包括全量下载、文件格式重构处理、FTP报送；
对子目标表中当日的记录进行全量获取，按照客户类型分别生成对应的数据文件，在每个节点完成下载后，将状态控制表中节点对应的步骤为全量下载的记录状态置为已完成；
存储当日的数据文件。
进一步的，文件格式重构处理单元452具体用于：
在每日第二时间点触发数据文件的重构处理；其中，在重构处理前，检查状态控制表中各个节点的全量下载的记录状态是否为已完成，如完成则继续处理，未完成则继续等待，在等待一定时长之后继续进行全量下载；
对各个节点的数据文件进行重构处理，在成功触发并完成文件格式重构处理后，更新状态控制表中节点对应的步骤为文件格式重构处理的记录状态为已完成。
进一步的，文件报送单元453具体用于：
在每日第二时间点触发FTP报送；其中，当状态控制表中文件格式重构处理的记录状态为已完成，启动FTP报送功能；各个节点每间隔一定时长触发一次FTP报送；
在完成FTP报送后，更新状态控制表中节点对应的步骤为FTP报送的记录状态为已完成。
在本实施例中，参考图6，为本发明另一实施例的分布式报送模块的架构示意图。如图6所示，分布式报送模块还包括：
文件拆分单元454，用于若节点的数据文件的数据量超过设定阈值，对数据文件进行拆分操作，在拆分后分片由文件报送单元453进行FTP报送。
清理单元455，用于当状态控制表中当日所有记录状态均变为已完成时，当日所有记录已处理完毕，将所有目标表中日期为当天的记录清理掉。
具体的，在次日2时，检查状态控制表中日期为前一日的所有记录状态是否都为已完成，如果均已完成，将前一日所有记录清理掉。
在本实施例中，集中式报送模块440具体用于：
主机端对目标表中日期为当日的所有数据进行抽取，并将获得的数据按照需要的格式进行格式重构，通过FTP方式报送至外围系统，提供给客户查询。
应当注意，尽管在上文详细描述中提及了协同报送交易信息的装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
相较于现有基于主机的金融交易信息报送方式不支持跨主机集群的横向扩展，无法做到自主可控，且运营成本极高。本发明通过主机端和分布式平台端协同报送的方式，可以在保持传统金融行业对于“高可用、高标准和低风险”的特性的同时，满足“高性能、易扩展和低成本”的要求。因此，本发明至少具有以下优点：
具有高性能、易扩展、低成本等优势：对于银行来说，集中式架构在稳定性、一致性方面依然具有一定优势。本发明通过集中式与分布式的融合架构，将集中式架构的稳定性与分布式架构的易扩展性进行融合，优势互补。
灵活配置报送平台：通过调整断点表中的报送状态参数，可以灵活确定报送平台。目前配置参数为主机端和分布式平台端各报送12小时内的金融交易信息，后续如遇主机资源紧张，可通过配置增加分布式平台端报送量，如遇分布式平台报送不稳定的情况，则可增加主机端报送量。
低安全风险：通过分布式平台端的引入，减少对主机的单方面依赖，提高自主可控度，降低安全风险。
低运营成本：分布式架构所需的机器为普通的计算机，相较于昂贵的主机来说，可以大大降低运营成本。
基于前述发明构思，如图7所示，本发明还提出了一种计算机设备700，包括存储器710、处理器720及存储在存储器710上并可在处理器720上运行的计算机程序730，所述处理器720执行所述计算机程序730时实现前述协同报送交易信息的方法。
基于前述发明构思，本发明提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述协同报送交易信息的方法。
本发明提出的协同报送交易信息的方法及装置通过优化系统架构，将部分应用从基于主机的集中式部署向分布式部署转变，构建主机与分布式的多平台多技术融合的架构，通过主机与分布式平台的协同使用可以提高交易信息报送的性能，降低对主机系统的依赖从而降低信息的安全风险，整体架构的运营成本低，具有较好地易扩展性且可以灵活配置报送平台。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (15)
1.一种协同报送交易信息的方法，其特征在于，包括：
配置主机端与分布式平台端的报送时间范围；
将目标表加载至分布式平台端，根据划分的区域对目标表进行分表操作，得到多个子目标表；
对每笔交易进行处理得到交易信息，写入主机端的中间表；
根据所述中间表，通过主机端的长挂进程获取处于主机端的报送时间范围内的交易信息，将交易信息写入目标表报送至外围系统；
订阅所述中间表，将中间表同步至分布式平台端，通过分布式平台端的长挂进程获取处于分布式平台端的报送时间范围的交易信息，将交易信息写入对应的子目标表报送至外围系统。
2.根据权利要求1所述的方法，其特征在于，将目标表加载至分布式平台端，根据划分的区域对目标表进行分表操作，得到多个子目标表，包括：
根据省份对目标表进行分表操作，得到每个省份对应的子目标表。
3.根据权利要求1所述的方法，其特征在于，订阅所述中间表，将中间表同步至分布式平台端，通过分布式平台端的长挂进程获取处于分布式平台端的报送时间范围的交易信息，将交易信息写入对应的子目标表报送至外围系统，包括：
根据子目标表的数据进行数据全量下载；
对下载的数据进行文件格式重构处理；
将重构处理后的文件通过FTP报送至外围系统，提供给客户查询。
4.根据权利要求3所述的方法，其特征在于，根据子目标表的数据进行数据全量下载，包括：
在每日第一时间点进行分布式平台端报送的预处理操作，预插状态控制表，其中，在所述状态控制表中将全量报送过程中的每一阶段的步骤作为一条记录写入，并将所有状态置为未处理；全量报送的步骤包括全量下载、文件格式重构处理、FTP报送；
对子目标表中当日的记录进行全量获取，按照客户类型分别生成对应的数据文件，在每个节点完成下载后，将状态控制表中节点对应的步骤为全量下载的记录状态置为已完成；
存储当日的数据文件。
5.根据权利要求4所述的方法，其特征在于，对下载的数据进行文件格式重构处理，包括：
在每日第二时间点触发数据文件的重构处理；其中，在重构处理前，检查状态控制表中各个节点的全量下载的记录状态是否为已完成，如完成则继续处理，未完成则继续等待，在等待一定时长之后继续进行全量下载；
对各个节点的数据文件进行重构处理，在成功触发并完成文件格式重构处理后，更新状态控制表中节点对应的步骤为文件格式重构处理的记录状态为已完成。
6.根据权利要求5所述的方法，其特征在于，将重构处理后的文件通过FTP报送至外围系统，提供给客户查询，包括：
在每日第二时间点触发FTP报送；其中，当状态控制表中文件格式重构处理的记录状态为已完成，启动FTP报送功能；各个节点每间隔一定时长触发一次FTP报送；
在完成FTP报送后，更新状态控制表中节点对应的步骤为FTP报送的记录状态为已完成。
7.根据权利要求6所述的方法，其特征在于，将重构处理后的文件通过FTP报送至外围系统，提供给客户查询，还包括：
若节点的数据文件的数据量超过设定阈值，对数据文件进行拆分操作，在拆分后分片进行FTP报送。
8.根据权利要求6所述的方法，其特征在于，该方法包括：
当状态控制表中当日所有记录状态均变为已完成时，当日所有记录已处理完毕，将所有目标表中日期为当天的记录清理掉。
9.根据权利要求6所述的方法，其特征在于，根据所述中间表，通过主机端的长挂进程获取处于主机端的报送时间范围内的交易信息，将交易信息写入目标表报送至外围系统，包括：
主机端对目标表中日期为当日的所有数据进行抽取，并将获得的数据按照需要的格式进行格式重构，通过FTP方式报送至外围系统，提供给客户查询。
10.根据权利要求1-9任一项所述的方法，其特征在于，主机端的报送时间范围为每日0-6，18-24时；分布式平台端的报送时间范围为每日6-18时。
11.根据权利要求6所述的方法，其特征在于，所述每日第一时间点为每日19时；所述每日第二时间点为每日20时。
12.根据权利要求6所述的方法，其特征在于，该方法还包括：在次日2时，检查状态控制表中日期为前一日的所有记录状态是否都为已完成，如果均已完成，将前一日所有记录清理掉。
13.一种协同报送交易信息的装置，其特征在于，包括：
配置模块，用于配置主机端与分布式平台端的报送时间范围；
加载模块，用于将目标表加载至分布式平台端，根据划分的区域对目标表进行分表操作，得到多个子目标表；
交易处理模块，用于对每笔交易进行处理得到交易信息，写入主机端的中间表；
集中式报送模块，用于根据所述中间表，通过主机端的长挂进程获取处于主机端的报送时间范围内的交易信息，将交易信息写入目标表报送至外围系统；
分布式报送模块，用于订阅所述中间表，将中间表同步至分布式平台端，通过分布式平台端的长挂进程获取处于分布式平台端的报送时间范围的交易信息，将交易信息写入对应的子目标表报送至外围系统。
14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12任一所述方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至12任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111332848.0A CN114070845B (zh) | 2021-11-11 | 2021-11-11 | 协同报送交易信息的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111332848.0A CN114070845B (zh) | 2021-11-11 | 2021-11-11 | 协同报送交易信息的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114070845A true CN114070845A (zh) | 2022-02-18 |
| CN114070845B CN114070845B (zh) | 2024-04-16 |
Family
ID=80275038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111332848.0A Active CN114070845B (zh) | 2021-11-11 | 2021-11-11 | 协同报送交易信息的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114070845B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110251931A1 (en) * | 2010-02-05 | 2011-10-13 | Linkage Technology Group Co., Ltd. | Accurate Method of Account Checking in the Situation of 7*24 Hours Transactions Between Telecom Multiple Systems |
| CN107909460A (zh) * | 2017-12-11 | 2018-04-13 | 深圳前海微众银行股份有限公司 | 头寸同步方法、设备、数据中心及存储介质 |
| CN110400214A (zh) * | 2019-07-31 | 2019-11-01 | 中国工商银行股份有限公司 | 跨平台协同交易数据处理方法及相关系统 |
| CN110751560A (zh) * | 2019-10-22 | 2020-02-04 | 中国工商银行股份有限公司 | 交易处理方法和装置、电子设备和可读存储介质 |
| CN110765165A (zh) * | 2019-10-23 | 2020-02-07 | 中国银行股份有限公司 | 一种跨系统数据同步处理的方法、装置及系统 |
| CN110889765A (zh) * | 2019-12-06 | 2020-03-17 | 中国银行股份有限公司 | 交易信息报送方法及装置 |
| US20200151815A1 (en) * | 2018-06-28 | 2020-05-14 | HodlPal, Inc. | Systems and methods for a hybrid social trading platform |
| CN111158887A (zh) * | 2019-12-31 | 2020-05-15 | 中国银行股份有限公司 | 一种集中式数据分布式处理方法及装置 |
| CN111400011A (zh) * | 2020-03-19 | 2020-07-10 | 中国建设银行股份有限公司 | 一种实时任务调度方法、系统、设备及可读存储介质 |
| CN111652729A (zh) * | 2020-07-06 | 2020-09-11 | 中国银行股份有限公司 | 交易信息报送的方法及装置 |
| CN112785201A (zh) * | 2021-02-08 | 2021-05-11 | 中国工商银行股份有限公司 | 异构系统准实时高可靠交互系统及方法 |
| CN113067865A (zh) * | 2021-03-18 | 2021-07-02 | 中国人民解放军63920部队 | 航天测控数据实时交互方法和装置 |
-
2021
- 2021-11-11 CN CN202111332848.0A patent/CN114070845B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110251931A1 (en) * | 2010-02-05 | 2011-10-13 | Linkage Technology Group Co., Ltd. | Accurate Method of Account Checking in the Situation of 7*24 Hours Transactions Between Telecom Multiple Systems |
| CN107909460A (zh) * | 2017-12-11 | 2018-04-13 | 深圳前海微众银行股份有限公司 | 头寸同步方法、设备、数据中心及存储介质 |
| US20200151815A1 (en) * | 2018-06-28 | 2020-05-14 | HodlPal, Inc. | Systems and methods for a hybrid social trading platform |
| CN110400214A (zh) * | 2019-07-31 | 2019-11-01 | 中国工商银行股份有限公司 | 跨平台协同交易数据处理方法及相关系统 |
| CN110751560A (zh) * | 2019-10-22 | 2020-02-04 | 中国工商银行股份有限公司 | 交易处理方法和装置、电子设备和可读存储介质 |
| CN110765165A (zh) * | 2019-10-23 | 2020-02-07 | 中国银行股份有限公司 | 一种跨系统数据同步处理的方法、装置及系统 |
| CN110889765A (zh) * | 2019-12-06 | 2020-03-17 | 中国银行股份有限公司 | 交易信息报送方法及装置 |
| CN111158887A (zh) * | 2019-12-31 | 2020-05-15 | 中国银行股份有限公司 | 一种集中式数据分布式处理方法及装置 |
| CN111400011A (zh) * | 2020-03-19 | 2020-07-10 | 中国建设银行股份有限公司 | 一种实时任务调度方法、系统、设备及可读存储介质 |
| CN111652729A (zh) * | 2020-07-06 | 2020-09-11 | 中国银行股份有限公司 | 交易信息报送的方法及装置 |
| CN112785201A (zh) * | 2021-02-08 | 2021-05-11 | 中国工商银行股份有限公司 | 异构系统准实时高可靠交互系统及方法 |
| CN113067865A (zh) * | 2021-03-18 | 2021-07-02 | 中国人民解放军63920部队 | 航天测控数据实时交互方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 井彬建;: "主机应用下移――分布式技术应用实践", 金融电子化, 15 December 2018 (2018-12-15) * |
| 薛勇;: "中国银行分布式架构的创新研究与实践", 中国金融电脑, 7 May 2016 (2016-05-07) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114070845B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104699712B (zh) | 对数据库中的库存记录信息进行更新的方法及装置 | |
| CN102891849B (zh) | 业务数据同步方法、恢复方法及装置和网络设备 | |
| CN106357452B (zh) | 一种单点异构数据存储的高可用框架系统及其实现方法 | |
| CN110321339B (zh) | 一种数据迁移方法、装置、设备和存储介质 | |
| CN106776121B (zh) | 一种数据灾备装置、系统及方法 | |
| CN108932338A (zh) | 数据更新方法、装置、设备和介质 | |
| CN107273440A (zh) | 计算机应用、数据存储方法、微服务和微数据库 | |
| CN101739313A (zh) | 一种连续数据保护和恢复方法 | |
| CN105912424A (zh) | 一种基于云架构的终端程序快速备份及恢复方法 | |
| CN108427728A (zh) | 元数据的管理方法、设备及计算机可读介质 | |
| CN112685391B (zh) | 一种服务数据迁移方法、装置、计算机设备和存储介质 | |
| CN112131305A (zh) | 账户处理系统 | |
| CN112181723A (zh) | 一种金融灾备方法、装置、存储介质及电子设备 | |
| US20150178122A1 (en) | Method and system for providing a high-availability application | |
| CN114077518A (zh) | 数据快照方法、装置、设备及存储介质 | |
| CN102833273A (zh) | 临时故障时的数据修复方法及分布式缓存系统 | |
| CN113297159B (zh) | 数据存储方法以及装置 | |
| WO2021082925A1 (zh) | 一种交易处理的方法及装置 | |
| CN110889765B (zh) | 交易信息报送方法及装置 | |
| CN112131177A (zh) | 数据迁移方法及装置、存储介质、电子设备 | |
| CN112035530A (zh) | 一种分布式实时支付系统中的交易报文匹配方法及系统 | |
| CN114070845A (zh) | 协同报送交易信息的方法及装置 | |
| CN109788077A (zh) | 一种支持集群的云备份系统及其方法 | |
| CN113934797B (zh) | 一种银行业超大数据同步方法和系统 | |
| CN115495436A (zh) | 数据库升级方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |