CN116091175B - 一种基于大数据的交易信息数据管理系统及方法 - Google Patents

一种基于大数据的交易信息数据管理系统及方法 Download PDF

Info

Publication number
CN116091175B
CN116091175B CN202310368953.2A CN202310368953A CN116091175B CN 116091175 B CN116091175 B CN 116091175B CN 202310368953 A CN202310368953 A CN 202310368953A CN 116091175 B CN116091175 B CN 116091175B
Authority
CN
China
Prior art keywords
transaction
transaction information
data
time
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310368953.2A
Other languages
English (en)
Other versions
CN116091175A (zh
Inventor
张瀚茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202310368953.2A priority Critical patent/CN116091175B/zh
Publication of CN116091175A publication Critical patent/CN116091175A/zh
Application granted granted Critical
Publication of CN116091175B publication Critical patent/CN116091175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0633Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635Processing of requisition or of purchase orders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477Temporal data queries
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及大数据技术领域,具体为一种基于大数据的交易信息数据管理系统及方法,包括:交易信息采集模块、数据库、存储信息分析模块、目标筛选模块和信息迁移管理模块,通过交易信息采集模块采集交易信息生成的历史数据,将采集到的全部数据传输到数据库中,通过数据库存储采集到的全部数据,通过存储信息分析模块分析不同交易订单库需要拆分的必要程度,通过目标筛选模块比较必要程度,筛选出需要拆分的交易订单库,通过信息迁移管理模块规划查询筛选出的交易订单库迁移交易信息的时间,对交易信息存储进行数据管理,及时观察交易订单库中存储的交易信息存储状态,迁移出交易信息,降低了交易订单库存储空间不足的概率。

Description

一种基于大数据的交易信息数据管理系统及方法
技术领域
本发明涉及大数据技术领域,具体为一种基于大数据的交易信息数据管理系统及方法。
背景技术
在通过互联网进行网上交易时,每一笔交易一般会产生一条或多条交易信息,交易信息能够反映出用户的交易行为,随着交易订单的快速累积,支撑交易系统的数据库需要承担大量的事务读写,每日递增的海量数据带来了巨大的存储成本压力,对交易信息进行存储管理,合理规划交易信息的存储位置尤为重要;
然而,现有的数据管理方式仍存在一些问题:首先,由于交易订单数据量的增大,单一的交易订单库可能无法同时满足性能和容量的问题,而交易信息面临随时被查询的问题,交易订单库存储空间不足可能会对及时查询到交易信息带来不好的影响,现有技术在交易订单库存储空间不足时,往往会选择删除一些无用数据来减轻存储压力,但是不同交易订单库累积的交易信息数据量不同,对于经常性存储空间不足的交易订单库,需要经常性地对无用数据进行删除,无法从根本上减轻存储压力、节省存储空间;其次,现有技术无法及时发现交易订单库中存储空间不足的问题,增加了因存储空间不足导致无法及时查询到交易信息的概率。
所以,人们需要一种基于大数据的交易信息数据管理系统及方法来解决上述问题。
发明内容
本发明的目的在于提供一种基于大数据的交易信息数据管理系统及方法,以解决上述背景技术中提出的问题。
为了解决上述技术问题,本发明提供如下技术方案:一种基于大数据的交易信息数据管理系统,所述系统包括:交易信息采集模块、数据库、存储信息分析模块、目标筛选模块和信息迁移管理模块;
所述交易信息采集模块的输出端连接所述数据库的输入端,所述数据库的输出端连接所述存储信息分析模块的输入端,所述存储信息分析模块的输出端连接所述目标筛选模块的输入端,所述目标筛选模块的输出端连接所述信息迁移管理模块的输入端;
通过所述交易信息采集模块采集交易信息生成的历史数据,将采集到的全部数据传输到所述数据库中;
通过所述数据库存储采集到的全部数据;
通过所述存储信息分析模块分析不同交易订单库需要拆分的必要程度;
通过所述目标筛选模块比较必要程度,筛选出需要拆分的交易订单库;
通过所述信息迁移管理模块规划查询筛选出的交易订单库迁移交易信息的时间。
进一步的,所述交易信息采集模块包括生成时间采集单元、存储空间采集单元和数据量采集单元;
所述生成时间采集单元、存储空间采集单元和数据量采集单元的输出端连接所述数据库的输入端;
所述生成时间采集单元用于采集不同交易订单库中交易信息的生成时间数据;
所述存储空间采集单元用于采集交易订单库中存储交易信息的最大容量;
所述数据量采集单元用于采集不同交易订单库中累积的交易信息数据量。
进一步的,所述存储信息分析模块包括历史数据调取单元和拆分必要分析单元;
所述历史数据调取单元的输入端连接所述数据库的输出端,所述历史数据调取单元的输出端连接所述拆分必要分析单元的输入端;
所述历史数据调取单元用于调取交易信息生成的历史数据;
所述拆分必要分析单元用于分析历史数据,判断不同交易订单库需要拆分的必要程度。
进一步的,所述目标筛选模块包括必要程度比较单元和拆分目标筛选单元;
所述必要程度比较单元的输入端连接所述拆分必要分析单元的输出端,所述必要程度比较单元的输出端连接所述拆分目标筛选单元的输入端;
所述必要程度比较单元用于比较不同交易订单库需要拆分的必要程度;
所述拆分目标筛选单元用于设置必要程度阈值,筛选出必要程度高于阈值的交易订单库作为拆分目标,对拆分目标进行拆分,将部分交易信息迁移到另一个交易订单库中。
进一步的,所述信息迁移管理模块包括迁移时间预测单元和查询时间选择单元;
所述迁移时间预测单元的输入端连接所述拆分目标筛选单元和数据库的输出端,所述迁移时间预测单元的输出端连接所述查询时间选择单元的输入端;
所述迁移时间预测单元用于预测拆分目标需要迁移交易信息的时间;
所述查询时间选择单元用于选择预测到的时间作为下一次查询拆分目标是否需要迁移交易信息的时间。
一种基于大数据的交易信息数据管理方法,包括以下步骤:
Z1:采集交易信息生成的历史数据;
Z2:分析不同交易订单库需要拆分的必要程度;
Z3:比较必要程度,筛选出需要拆分的交易订单库作为拆分目标;
Z4:预测拆分目标需要迁移交易信息的时间;
Z5:规划查询拆分目标是否需要迁移交易信息的时间。
进一步的,在步骤Z1中:采集交易订单库中存储交易信息的最大容量,采集不同交易订单库中累积的交易信息数据量,采集到不同交易订单库中累积的交易信息数据量超出交易订单库最大容量的a%的次数集合为C={C1,C2,…,Cn},其中,n表示交易订单库数量,设置时间T,采集在时间T前以及在时间T后交易订单库中累积的交易信息数据量,获取到交易订单库在时间T前累积的交易信息数据量占对应交易订单库中存储交易信息最大容量的比例集合为W={W1,W2,…,Wn},采集到不同交易订单库中在时间T前的交易信息被查询的次数集合为B={B1,B2,…,Bn},采集不同交易订单库中交易信息的生成时间数据;
在步骤Z2中:根据下列公式计算随机一个交易订单库需要拆分的必要程度Qi:
Qi=[Cj/(∑n j=1Cj)]+[Wj/(∑n j=1Wj)]+(1/[Bj/(∑n j=1Bj)]);
其中,Cj表示随机一个交易订单库中累积的交易信息数据量超出交易订单库最大容量的a%的次数,Wj表示随机一个交易订单库在时间T前累积的交易信息数据量占对应交易订单库中存储交易信息最大容量的比例,Bj表示随机一个交易订单库中在时间T前的交易信息被查询的次数,得到交易订单库需要拆分的必要程度集合为Q={Q1,Q2,…,Qi,…,Qn};
利用大数据技术采集交易订单库中交易信息生成的历史数据,累积的交易信息数据量超出交易订单库最大能够存储的数据量,即最大容量的一定比例,表示对应交易订单库中剩余存储空间不足,超出次数越多,说明对应交易订单库中交易信息生成越频繁,判断越有必要拆分对应交易订单库,其次,在拆分交易订单库时,需要将一段时间以前,比如三个月以前的交易信息迁移出去,而这段时间以前产生的交易信息被查询的次数越少,判断越有必要拆分对应交易订单库,对于生成时间早的交易信息,若数据量越大,判断越有必要拆分交易订单库,拆分后能够便于存储新生成的交易信息,结合这些参数判断交易订单库需要拆分的必要程度,便于筛选出来的交易订单库能够兼顾存储空间充足且查询交易信息便利的功能。
进一步的,在步骤Z3中:按必要程度从大到小的顺序将交易订单库进行排列并分组,选择最优的分组方式:获取到按随机一种分组方式分组后,每组交易订单库需要拆分的总必要程度集合为q={q1,q2,…,qm},共分为m组,得到按随机一种分组方式分组的优度为S,S=[∑m i=1(qi-(∑m i=1qi)/m)2/m]1/2,通过相同计算方式求得按不同分组方式分组的优度,比较按不同分组方式分组的优度,获取按优度最大的分组方式分组得到的结果,筛选出总必要程度最大的一组交易订单库作为拆分目标;
在通过比较必要程度来筛选拆分目标时,将交易订单库按必要程度进行分组,并选择按使得分组优度最大的分组方式分组后得到的结果筛选拆分目标,不单单以必要程度平均值为基准筛选拆分目标,而是通过分析分组后组间必要程度标准差来选择分组方式,标准差越大,说明组间的必要程度差异越大,越能够使得筛选出的交易订单库整体需要拆分的必要程度偏大,有利于筛选出必要程度明显偏大的交易订单库作为拆分目标,提高了对筛选出的交易订单库进行拆分的必要性。
进一步的,在步骤Z4中:调取随机一个作为拆分目标的交易订单库中交易信息的生成时间数据:得到随机一个交易订单库中交易信息数据量超出交易订单库最大容量的a%的间隔时间集合为t={t1,t2,…,tk},其中,tk表示第k次数据量超出交易订单库最大容量的a%的时间到第k+1次数据量超出交易订单库最大容量的a%的间隔时间,根据下列公式预测对应拆分目标需要迁移交易信息的时间:
Yk+1=e*tk+(1-e)*Yk
其中,e表示加权系数,Yk+1表示预测得到的第k+1次到第k+2次数据量超出交易订单库最大容量的a%的间隔时间,Yk表示第k次到第k+1次数据量超出交易订单库最大容量的a%的间隔时间的指数平滑值;
对拆分目标及时进行交易信息迁移,有利于节省交易订单库的存储空间,在进行交易信息迁移时,需要考虑交易信息数据量是否已超出标准,在超出标准时需要迁移交易信息,为及时发现数据量是否已超出标准,即最大容量的a%,通过分析交易订单库中交易信息数据量超出标准的时间,利用指数平滑法预测下一次超出标准的时间,即需要迁移交易信息的时间,有利于及时观察交易订单库中存储的交易信息存储状态,便于及时查询以对交易信息进行迁移,降低了存储空间不足的概率。
进一步的,在步骤Z5中:设置在距第k+1次数据量超出交易订单库最大容量的a%的时间间隔为Yk+1后,查询对应交易订单库是否需要迁移交易信息,若查询到交易信息数据量超出对应交易订单库最大容量的a%,将对应交易订单库中存储的交易信息进行迁移;
在预测的时间查询交易信息存储情况,进一步核实是否需要迁移交易信息,提高了执行迁移交易信息措施的有效性。
与现有技术相比,本发明所达到的有益效果是:
本发明通过大数据技术采集交易订单库中交易信息生成的历史数据,结合多种参数判断交易订单库需要拆分的必要程度,便于筛选出来的交易订单库能够兼顾存储空间充足且查询交易信息便利的功能;
通过比较必要程度来筛选拆分目标,将交易订单库按必要程度进行分组,并选择按使得分组优度最大的分组方式分组后得到的结果筛选拆分目标,不单单以必要程度平均值为基准筛选拆分目标,而是通过分析分组后组间必要程度标准差来选择分组方式,有利于筛选出必要程度明显偏大的交易订单库作为拆分目标,提高了对筛选出的交易订单库进行拆分的必要性;
对拆分目标及时进行交易信息迁移,有利于节省交易订单库的存储空间,在进行交易信息迁移时,通过分析交易订单库中交易信息数据量超出标准的时间,利用指数平滑法预测下一次超出标准的时间,有利于及时观察交易订单库中存储的交易信息存储状态,便于及时查询以对交易信息进行迁移,降低了存储空间不足的概率,在预测的时间查询交易信息存储情况,进一步核实是否需要迁移交易信息,提高了执行迁移交易信息措施的有效性。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明一种基于大数据的交易信息数据管理系统的结构图;
图2是本发明一种基于大数据的交易信息数据管理方法的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
下面结合图1-图2和具体实施例对本发明作进一步的说明。
实施例1:如图1所示,本实施例提供了一种基于大数据的交易信息数据管理系统,系统包括:交易信息采集模块、数据库、存储信息分析模块、目标筛选模块和信息迁移管理模块;
交易信息采集模块的输出端连接数据库的输入端,数据库的输出端连接存储信息分析模块的输入端,存储信息分析模块的输出端连接目标筛选模块的输入端,目标筛选模块的输出端连接信息迁移管理模块的输入端;
通过交易信息采集模块采集交易信息生成的历史数据,将采集到的全部数据传输到数据库中;
通过数据库存储采集到的全部数据;
通过存储信息分析模块分析不同交易订单库需要拆分的必要程度;
通过目标筛选模块比较必要程度,筛选出需要拆分的交易订单库;
通过信息迁移管理模块规划查询筛选出的交易订单库迁移交易信息的时间。
交易信息采集模块包括生成时间采集单元、存储空间采集单元和数据量采集单元;
生成时间采集单元、存储空间采集单元和数据量采集单元的输出端连接数据库的输入端;
生成时间采集单元用于采集不同交易订单库中交易信息的生成时间数据;
存储空间采集单元用于采集交易订单库中存储交易信息的最大容量;
数据量采集单元用于采集不同交易订单库中累积的交易信息数据量。
存储信息分析模块包括历史数据调取单元和拆分必要分析单元;
历史数据调取单元的输入端连接数据库的输出端,历史数据调取单元的输出端连接拆分必要分析单元的输入端;
历史数据调取单元用于调取交易信息生成的历史数据;
拆分必要分析单元用于分析历史数据,判断不同交易订单库需要拆分的必要程度。
目标筛选模块包括必要程度比较单元和拆分目标筛选单元;
必要程度比较单元的输入端连接拆分必要分析单元的输出端,必要程度比较单元的输出端连接拆分目标筛选单元的输入端;
必要程度比较单元用于比较不同交易订单库需要拆分的必要程度;
拆分目标筛选单元用于设置必要程度阈值,筛选出必要程度高于阈值的交易订单库作为拆分目标,对拆分目标进行拆分,将部分交易信息迁移到另一个交易订单库中。
信息迁移管理模块包括迁移时间预测单元和查询时间选择单元;
迁移时间预测单元的输入端连接拆分目标筛选单元和数据库的输出端,迁移时间预测单元的输出端连接查询时间选择单元的输入端;
迁移时间预测单元用于预测拆分目标需要迁移交易信息的时间;
查询时间选择单元用于选择预测到的时间作为下一次查询拆分目标是否需要迁移交易信息的时间。
实施例2:如图2所示,本实施例提供了一种基于大数据的交易信息数据管理方法,其基于实施例中的数据管理系统实现,具体包括以下步骤:
Z1:采集交易信息生成的历史数据,采集交易订单库中存储交易信息的最大容量,采集不同交易订单库中累积的交易信息数据量,采集到不同交易订单库中累积的交易信息数据量超出交易订单库最大容量的a%=80%的次数集合为C={C1,C2,C3,C4,C5,C6,C7}={10,7,3,8,6,11,2},在累积的交易信息数据量超出交易订单库最大容量的a%时,会采取删除部分无用交易信息措施,使得交易信息数据量低于交易订单库最大容量的a%,设置时间T,采集在时间T前三个月以及在时间T后三个月交易订单库中累积的交易信息数据量,获取到交易订单库在时间T前三个月累积的交易信息数据量占对应交易订单库中存储交易信息最大容量的比例集合为W={W1,W2,W3,W4,W5,W6,W7}={0.6,0.4,0.5,0.7,0.2,0.42,0.58},采集到不同交易订单库中在时间T前三个月的交易信息被查询的次数集合为B={B1,B2,B3,B4,B5,B6,B7}={5,10,3,4,6,2,8},采集不同交易订单库中交易信息的生成时间数据;
Z2:分析不同交易订单库需要拆分的必要程度,根据公式Qi=[Cj/(∑n j=1Cj)]+[Wj/(∑n j=1Wj)]+(1/[Bj/(∑n j=1Bj)])计算得到交易订单库需要拆分的必要程度集合为Q={Q1,Q2,Q3,Q4,Q5,Q6,Q7}={8.0,4.1,12.9,9.9,6.5,19.4,5.0},其中,Cj表示随机一个交易订单库中累积的交易信息数据量超出交易订单库最大容量的a%的次数,Wj表示随机一个交易订单库在时间T前累积的交易信息数据量占对应交易订单库中存储交易信息最大容量的比例,Bj表示随机一个交易订单库中在时间T前的交易信息被查询的次数;
Z3:比较必要程度,筛选出需要拆分的交易订单库作为拆分目标,按必要程度从大到小的顺序将交易订单库进行排列并分组,选择最优的分组方式:获取到按随机一种分组方式分组后,每组交易订单库需要拆分的必要程度集合分别为:{19.4,12.9}、{9.9,8.0}、{6.5,5.0,4.1},每组交易订单库需要拆分的总必要程度集合为q={q1,q2,q3}={32.3,17.9,15.6},共分为m=3组,得到按随机一种分组方式分组的优度为S,S=[∑m i=1(qi-(∑m i=1qi)/m)2/m]1/2≈7.4,通过相同计算方式求得按不同分组方式分组的优度,比较按不同分组方式分组的优度,获取按优度最大的分组方式分组得到的结果,筛选出总必要程度最大的一组交易订单库作为拆分目标;
Z4:预测拆分目标需要迁移交易信息的时间,调取随机一个作为拆分目标的交易订单库中交易信息的生成时间数据:得到随机一个交易订单库中交易信息数据量超出交易订单库最大容量的a%的间隔时间集合为t={t1,t2,t3}={3,6,5},单位为:天,设置加权系数e=0.4,根据公式Yk+1=e*tk+(1-e)*Yk预测对应拆分目标需要迁移交易信息的时间,Y1=e*t1+(1-e)*[(∑3 i=1ti)/3]=4,Y2=e*t1+(1-e)*Y1=3.6,Y3=e*t2+(1-e)*Y2=4.56,其中,Yk+1表示预测得到的第k+1次到第k+2次数据量超出交易订单库最大容量的a%的间隔时间,Yk表示第k次到第k+1次数据量超出交易订单库最大容量的a%的间隔时间的指数平滑值,预测得到对应交易订单库第5次需要迁移交易信息的时间为:Y4=e*t3+(1-e)*Y3≈5,即在第4次交易信息数据量超出交易订单库最大容量的a%后5天,预测需要迁移交易信息;
Z5:规划查询拆分目标是否需要迁移交易信息的时间,设置在距第k+1=4次数据量超出交易订单库最大容量的a%后5天,查询对应交易订单库是否需要迁移交易信息,若查询到交易信息数据量超出对应交易订单库最大容量的a%,将对应交易订单库中存储的交易信息进行迁移;
数据量超出对应交易订单库最大容量的a%指的是:对应交易订单库最大容量为D,若交易信息数据量超出D*a%,则表示数据量超出对应交易订单库最大容量的a%。
最后应说明的是:以上所述仅为本发明的优选实例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于大数据的交易信息数据管理方法,其特征在于:包括以下步骤:
Z1:采集交易信息生成的历史数据;
Z2:分析不同交易订单库需要拆分的必要程度;
Z3:比较必要程度,筛选出需要拆分的交易订单库作为拆分目标;
Z4:预测下一次拆分目标需要迁移交易信息的时间;
Z5:对下一次查询筛选出的交易订单库迁移交易信息的时间进行规划;
在步骤Z1中:采集交易订单库中存储交易信息的最大容量,采集不同交易订单库中累积的交易信息数据量,采集到不同交易订单库中累积的交易信息数据量超出交易订单库最大容量的a%的次数集合为C={C1,C2,…,Cn},其中,n表示交易订单库数量,设置时间T,采集在时间T前以及在时间T后交易订单库中累积的交易信息数据量,获取到交易订单库在时间T前累积的交易信息数据量占对应交易订单库中存储交易信息最大容量的比例集合为W={W1,W2,…,Wn},采集到不同交易订单库中在时间T前的交易信息被查询的次数集合为B={B1,B2,…,Bn},采集不同交易订单库中交易信息的生成时间数据;
在步骤Z2中:根据下列公式计算随机一个交易订单库需要拆分的必要程度Qi:
Qi=[Cj/(∑n j=1Cj)]+[Wj/(∑n j=1Wj)]+(1/[Bj/(∑n j=1Bj)]);
其中,Cj表示随机一个交易订单库中累积的交易信息数据量超出交易订单库最大容量的a%的次数,Wj表示随机一个交易订单库在时间T前累积的交易信息数据量占对应交易订单库中存储交易信息最大容量的比例,Bj表示随机一个交易订单库中在时间T前的交易信息被查询的次数,得到交易订单库需要拆分的必要程度集合为Q={Q1,Q2,…,Qi,…,Qn}。
2.根据权利要求1所述的一种基于大数据的交易信息数据管理方法,其特征在于:在步骤Z3中:按必要程度从大到小的顺序将交易订单库进行排列并分组,选择最优的分组方式:获取到按随机一种分组方式分组后,每组交易订单库需要拆分的总必要程度集合为q={q1,q2,…,qm},共分为m组,得到按随机一种分组方式分组的优度为S,S=[∑m i=1(qi-(∑m i=1qi)/m)2/m]1/2,通过相同计算方式求得按不同分组方式分组的优度,比较按不同分组方式分组的优度,获取按优度最大的分组方式分组得到的结果,筛选出总必要程度最大的一组交易订单库作为拆分目标。
3.根据权利要求1所述的一种基于大数据的交易信息数据管理方法,其特征在于:在步骤Z4中:调取随机一个作为拆分目标的交易订单库中交易信息的生成时间数据:得到随机一个交易订单库中交易信息数据量超出交易订单库最大容量的a%的间隔时间集合为t={t1,t2,…,tk},其中,tk表示第k次数据量超出交易订单库最大容量的a%的时间到第k+1次数据量超出交易订单库最大容量的a%的间隔时间,根据下列公式预测对应拆分目标需要迁移交易信息的间隔时间:
Yk+1=e*tk+(1-e)*Yk
其中,e表示加权系数,Yk+1表示预测得到的第k+1次到第k+2次数据量超出交易订单库最大容量的a%的间隔时间,Yk表示第k次到第k+1次数据量超出交易订单库最大容量的a%的间隔时间的指数平滑值。
4.根据权利要求3所述的一种基于大数据的交易信息数据管理方法,其特征在于:在步骤Z5中:设置在距第k+1次数据量超出交易订单库最大容量的a%的时间间隔为Yk+1后,查询对应交易订单库是否需要迁移交易信息,若查询到交易信息数据量超出对应交易订单库最大容量的a%,将对应交易订单库中存储的交易信息进行迁移。
5.一种基于大数据的交易信息数据管理系统,应用于如权利要求1所述的一种基于大数据的交易信息数据管理方法,其特征在于:所述系统包括:交易信息采集模块、数据库、存储信息分析模块、目标筛选模块和信息迁移管理模块;
所述交易信息采集模块的输出端连接所述数据库的输入端,所述数据库的输出端连接所述存储信息分析模块的输入端,所述存储信息分析模块的输出端连接所述目标筛选模块的输入端,所述目标筛选模块的输出端连接所述信息迁移管理模块的输入端;
通过所述交易信息采集模块采集交易信息生成的历史数据,将采集到的全部数据传输到所述数据库中;
通过所述数据库存储采集到的全部数据;
通过所述存储信息分析模块分析不同交易订单库需要拆分的必要程度;
通过所述目标筛选模块比较必要程度,筛选出需要拆分的交易订单库;
通过所述信息迁移管理模块对下一次查询筛选出的交易订单库迁移交易信息的时间进行规划。
6.根据权利要求5所述的一种基于大数据的交易信息数据管理系统,其特征在于:所述交易信息采集模块包括生成时间采集单元、存储空间采集单元和数据量采集单元;
所述生成时间采集单元、存储空间采集单元和数据量采集单元的输出端连接所述数据库的输入端;
所述生成时间采集单元用于采集不同交易订单库中交易信息的生成时间数据;
所述存储空间采集单元用于采集交易订单库中存储交易信息的最大容量;
所述数据量采集单元用于采集不同交易订单库中累积的交易信息数据量。
7.根据权利要求5所述的一种基于大数据的交易信息数据管理系统,其特征在于:所述存储信息分析模块包括历史数据调取单元和拆分必要分析单元;
所述历史数据调取单元的输入端连接所述数据库的输出端,所述历史数据调取单元的输出端连接所述拆分必要分析单元的输入端;
所述历史数据调取单元用于调取交易信息生成的历史数据;
所述拆分必要分析单元用于分析历史数据,判断不同交易订单库需要拆分的必要程度。
8.根据权利要求7所述的一种基于大数据的交易信息数据管理系统,其特征在于:所述目标筛选模块包括必要程度比较单元和拆分目标筛选单元;
所述必要程度比较单元的输入端连接所述拆分必要分析单元的输出端,所述必要程度比较单元的输出端连接所述拆分目标筛选单元的输入端;
所述必要程度比较单元用于比较不同交易订单库需要拆分的必要程度;
所述拆分目标筛选单元用于设置必要程度阈值,筛选出必要程度高于阈值的交易订单库作为拆分目标,对拆分目标进行拆分,将部分交易信息迁移到另一个交易订单库中。
9.根据权利要求8所述的一种基于大数据的交易信息数据管理系统,其特征在于:所述信息迁移管理模块包括迁移时间预测单元和查询时间选择单元;
所述迁移时间预测单元的输入端连接所述拆分目标筛选单元和数据库的输出端,所述迁移时间预测单元的输出端连接所述查询时间选择单元的输入端;
所述迁移时间预测单元用于预测拆分目标需要迁移交易信息的时间;
所述查询时间选择单元用于选择预测到的时间作为下一次查询拆分目标是否需要迁移交易信息的时间。
CN202310368953.2A 2023-04-10 2023-04-10 一种基于大数据的交易信息数据管理系统及方法 Active CN116091175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310368953.2A CN116091175B (zh) 2023-04-10 2023-04-10 一种基于大数据的交易信息数据管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310368953.2A CN116091175B (zh) 2023-04-10 2023-04-10 一种基于大数据的交易信息数据管理系统及方法

Publications (2)

Publication Number Publication Date
CN116091175A CN116091175A (zh) 2023-05-09
CN116091175B true CN116091175B (zh) 2023-08-22

Family

ID=86212365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310368953.2A Active CN116091175B (zh) 2023-04-10 2023-04-10 一种基于大数据的交易信息数据管理系统及方法

Country Status (1)

Country Link
CN (1) CN116091175B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116305224B (zh) * 2023-05-24 2023-07-21 青岛宜开美数字科技有限公司 基于平台数据的用户订单信息存储系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104252457A (zh) * 2013-06-25 2014-12-31 北京百度网讯科技有限公司 一种用于对数据集合进行管理的方法与设备
CN108335075A (zh) * 2018-03-02 2018-07-27 华南理工大学 一种面向物流大数据的处理系统及方法
CN109003166A (zh) * 2018-07-31 2018-12-14 广州新趋士网络科技有限公司 一种订单管理系统
CN110264360A (zh) * 2019-06-19 2019-09-20 武汉墨仗信息科技股份有限公司 一种基于云平台的公共资源交易平台大数据汇集系统
CN111881116A (zh) * 2020-08-05 2020-11-03 中国工商银行股份有限公司 数据迁移方法、数据迁移系统、计算机系统和存储介质
CN112132498A (zh) * 2019-06-25 2020-12-25 北京沃东天骏信息技术有限公司 库存管理方法、装置、设备及存储介质
CN112363886A (zh) * 2020-11-10 2021-02-12 中国平安人寿保险股份有限公司 数据库监控方法、系统、终端及存储介质
CN112634012A (zh) * 2020-12-14 2021-04-09 中国建设银行股份有限公司 业务数据处理方法、装置、服务器和存储介质
WO2021207831A1 (en) * 2020-04-16 2021-10-21 The Graph Foundation Method and systems for indexing databases on a contextual basis
CN114356576A (zh) * 2022-01-07 2022-04-15 泉州市豪创信息技术有限公司 一种基于大数据的云服务分析管理系统
CN114676123A (zh) * 2022-04-08 2022-06-28 温州市鹿城区中津先进科技研究院 一种电商数据分析方法
CN114723543A (zh) * 2022-04-22 2022-07-08 科铄信息科技常州有限公司 一种跨境电商的财务档案大数据管理系统及方法
CN115034523A (zh) * 2022-08-10 2022-09-09 深圳市感恩网络科技有限公司 一种基于大数据的企业erp综合管理系统及方法
CN115544008A (zh) * 2022-09-27 2022-12-30 上海品顺信息科技有限公司 交易单分库分表处理方法、系统、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9092773B2 (en) * 2012-06-30 2015-07-28 At&T Intellectual Property I, L.P. Generating and categorizing transaction records

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104252457A (zh) * 2013-06-25 2014-12-31 北京百度网讯科技有限公司 一种用于对数据集合进行管理的方法与设备
CN108335075A (zh) * 2018-03-02 2018-07-27 华南理工大学 一种面向物流大数据的处理系统及方法
CN109003166A (zh) * 2018-07-31 2018-12-14 广州新趋士网络科技有限公司 一种订单管理系统
CN110264360A (zh) * 2019-06-19 2019-09-20 武汉墨仗信息科技股份有限公司 一种基于云平台的公共资源交易平台大数据汇集系统
CN112132498A (zh) * 2019-06-25 2020-12-25 北京沃东天骏信息技术有限公司 库存管理方法、装置、设备及存储介质
WO2021207831A1 (en) * 2020-04-16 2021-10-21 The Graph Foundation Method and systems for indexing databases on a contextual basis
CN111881116A (zh) * 2020-08-05 2020-11-03 中国工商银行股份有限公司 数据迁移方法、数据迁移系统、计算机系统和存储介质
CN112363886A (zh) * 2020-11-10 2021-02-12 中国平安人寿保险股份有限公司 数据库监控方法、系统、终端及存储介质
CN112634012A (zh) * 2020-12-14 2021-04-09 中国建设银行股份有限公司 业务数据处理方法、装置、服务器和存储介质
CN114356576A (zh) * 2022-01-07 2022-04-15 泉州市豪创信息技术有限公司 一种基于大数据的云服务分析管理系统
CN114676123A (zh) * 2022-04-08 2022-06-28 温州市鹿城区中津先进科技研究院 一种电商数据分析方法
CN114723543A (zh) * 2022-04-22 2022-07-08 科铄信息科技常州有限公司 一种跨境电商的财务档案大数据管理系统及方法
CN115034523A (zh) * 2022-08-10 2022-09-09 深圳市感恩网络科技有限公司 一种基于大数据的企业erp综合管理系统及方法
CN115544008A (zh) * 2022-09-27 2022-12-30 上海品顺信息科技有限公司 交易单分库分表处理方法、系统、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大数据时代电子商务交易记录档案化管理研究;张良妍;《中国优秀硕士学位论文全文数据库 (经济与管理科学辑)》(第7期);J157-102 *

Also Published As

Publication number Publication date
CN116091175A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
US5325505A (en) Intelligent storage manager for data storage apparatus having simulation capability
CA2522749C (en) Analysis, management and assignment of insurable events
US20040093351A1 (en) System and method for controlling task assignment and work schedules
CN101911065B (zh) 访问对象信息检索装置
US9195700B1 (en) Systems and methods for storing time-series data
CN105653591A (zh) 一种工业实时数据分级存储及迁移方法
CN116091175B (zh) 一种基于大数据的交易信息数据管理系统及方法
CN1605077A (zh) 资产变动项目管理的方法和系统
CN112100219B (zh) 基于数据库查询处理的报表生成方法、装置、设备和介质
CN115687038B (zh) 一种基于大数据的硬盘故障预测系统及方法
US20020143763A1 (en) System and method for analyzing a database for on-line reorganization
CN107203623B (zh) 网络爬虫系统的负载均衡调节方法
US11995127B2 (en) Validation of operating plans and schedules using machine learning
Teorey et al. Application of an analytical model to evaluate storage structures
CN110737727B (zh) 一种数据处理的方法及系统
US8201145B2 (en) System and method for workflow-driven data storage
US20040117408A1 (en) Systems, methods and articles of manufacture for determining available space in a database
US8719263B1 (en) Selective persistence of metadata in information management
CN117520280A (zh) 工作负载的文件系统预置
CN113360551B (zh) 一种靶场中时序数据的存储与快速统计方法及系统
US20060242125A1 (en) Method, apparatus, and computer program product for assessing a user's current information management system
CN1431583A (zh) 开发价值效益评估数据自动处理方法及其系统
CN116974468B (zh) 一种基于大数据的设备数据存储管理方法及系统
CN113434376B (zh) 一种基于NoSQL的Web日志分析方法、装置
US11734245B1 (en) Systems and methods for storing time-series data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant