CN115329006B - 一种网络商城后台与第三方接口的数据同步方法及系统 - Google Patents

一种网络商城后台与第三方接口的数据同步方法及系统 Download PDF

Info

Publication number
CN115329006B
CN115329006B CN202211056877.3A CN202211056877A CN115329006B CN 115329006 B CN115329006 B CN 115329006B CN 202211056877 A CN202211056877 A CN 202211056877A CN 115329006 B CN115329006 B CN 115329006B
Authority
CN
China
Prior art keywords
transaction
data
transactions
database
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211056877.3A
Other languages
English (en)
Other versions
CN115329006A (zh
Inventor
杨城
赵立
方弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Poly Heyue Life Technology Service Co ltd
Original Assignee
Poly Heyue Life Technology Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Poly Heyue Life Technology Service Co ltd filed Critical Poly Heyue Life Technology Service Co ltd
Priority to CN202211056877.3A priority Critical patent/CN115329006B/zh
Publication of CN115329006A publication Critical patent/CN115329006A/zh
Application granted granted Critical
Publication of CN115329006B publication Critical patent/CN115329006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及数据库技术领域，提供了一种网络商城后台与第三方接口的数据同步方法及系统，具体为：通过数据同步模块将第一数据库的数据转换为事务，并将事务推送至第二数据库；确定第二数据库传输的一组事务的事务数量；根据事务所涉及的数据对象对一组事务里的多个事务进行合并；计算合并后的事务的影响趋势度并根据影响趋势度从大到小对一组事务进行优先级排序，最后将排序后的一组事务传输至第一数据库；所述方法解决了第一数据库与第二数据库之间的数据自动同步问题且能够根据数据之间的关系来动态调整数据传输的优先级，从而提高了网络商城后台对重要数据的处理效率，减少了网络商城后台未来要处理的数据量。

Description

一种网络商城后台与第三方接口的数据同步方法及系统
技术领域
本发明涉及数据库技术领域，具体涉及一种网络商城后台与第三方接口的数据同步方法及系统。
背景技术
近年来，由于网络商城的数据量不断增加，网络商城的业务的不断扩大，第三方的接口越来越多。在计算资源有限的情况下，传统的人工通过导入导出的方式同步商城后台的数据库与多个第三方接口的数据库，易出错且效率低下，已不能满足现在业务繁杂和数据量大的场景。而现有的数据同步方法及系统能够实现自动同步，但不能根据数据之间的关系来提高数据处理效率，因此需要提供一种数据自动同步且能够根据数据之间的关系来提高整体数据处理效率的数据同步方法及系统。
发明内容
本发明的目的在于提出一种网络商城与第三方接口的数据同步方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
为了实现上述目的，根据本公开的一方面，提供一种网络商城后台与第三方接口的数据同步方法，所述方法包括以下步骤：
S100，构建第一数据库与第二数据库的数据同步模块；
S200，通过数据同步模块将第一数据库的数据推送至第二数据库；
S300，通过数据同步模块将第二数据库的更新数据传输至第一数据库。
进一步地，在S100中，所述第一数据库为网络商城后台的数据库，所述网络商城后台为网络商城的网站后台，所述第二数据库为第三方接口的数据库，所述第三方接口为软件系统的数据库接口、Web应用程序的数据库接口、小程序的数据库接口中的任意一种；所述构建第一数据库与第二数据库的数据同步模块包括：
网络商城连接模块，用于连接第一数据库并建立传输通道，
第三方接口连接模块，用于连接多个第二数据库并建立传输通道，
缓存模块，用于缓存第一数据库中表的结构和第一数据库中表的数据；
转换模块，与所述缓存模块连接，用于将数据格式转换，并传输给第三方接口连接模块；
扫描模块，与所述网络商城连接模块、缓存模块、转换模块连接，用于获取第一数据库变化的数据并推送至缓存模块和转换模块；
事务处理模块，与所述网络商城连接模块、第三方接口连接模块和缓存模块连接，用于将接收到的第二数据库的数据进行合并和优先级排序，并传输给网络商城连接模块；
进一步地，在S200中，通过数据同步模块将第一数据库的数据推送至第二数据库的方法为：
S201，网络商城连接模块与第一数据库连接并建立传输通道；
S202，扫描模块通过网络商城连接模块的传输通道获取第一数据库中表的结构，并推送至缓存模块；
S203，当缓存模块接收到第一数据库的数据，缓存模块将存储到对应的表中；
S204，当转换模块接收到第一数据库的数据，转换模块通过两次转换将数据转换为事务，推送至第三方接口连接模块，其中，第一次转换为转换模块根据缓存模块中表的结构，将数据转换成SQL语句，第二次转换为将SQL语句转换为事务，其中，所述一个事务包含一条或多条SQL语句；
S205，第三方接口连接模块把接收到的事务推送至连接的第二数据库。
进一步地，在S300中，通过数据同步模块将第二数据库的更新数据传输至第一数据库的方法为：
S301，第二数据库接收到第一数据库传输的事务，执行该事务，得到第二数据；
S302，第二数据库将对第二数据进行更新的事务传输给第三方接口连接模块；
S303，当第三方接口连接模块接收到事务时，第三方接口连接模块为事务设置时间戳并确定一组事务的事务数量，所述一组事务为包含多个事务的序列；
S304，第三方接口连接模块将一组事务传输给事务处理模块；
S305，当事务处理模块接收到一组事务时，事务处理模块将根据缓存模块中的表和事务中的数据对象对一组事务中的事务进行合并，获得一个事务序列，其中，所述一条SQL语句包含一个或多个数据对象，所述数据对象表示一个数据表中的一个记录(元组)，将多个事务合并成一个事务，减少了第二数据库与与第一数据库之间的交互次数，有效地提高了数据同步性能；
S306，事务处理模块根据事务序列里每一个事务的影响趋势度对事务进行优先级排序，获得优先事务序列，其中，所述事务的影响趋势度表示一个事务成功提交后对未来数据库中数据对象变化的影响程度，即一个事务影响趋势度越大，该事务成功提交后对未来数据库变化的影响程度就越大，所述事务成功提交表示将此事务中的SQL语句对数据的修改永久的记录到数据库中；
S307，事务处理模块将优先事务序列传输给网络商城连接模块；
S308，网络商城连接模块将接收到的优先事务序列传输给连接的第一数据库。
进一步地，在S303中，所述确定一组事务的事务数量的方法为：
(1)记第三方接口连接模块已经传输到事务处理模块的事务的组数为r，其中，r≥0；
(2)若r>0，则获取第r组事务的事务个数为N1，否则确定r+1组事务的事务数量为10，结束；
(3)获取第k组事务占用内存的大小Sizek(单位为B)，获取当前网络吞吐量V(单位为B/s)，获取第r+1组事务当前的事务数量n，获取第r+1组事务的第一个事务到达第三方接口连接模块的时间t1，获取r+1组事务传输给事务处理模块的时间t2，其中，k为每组事务的序号，k≥1，n≥1；
(4)获取第r组事务中所有事务的时间戳的签名时间，构成数组TSr，获取第三方接口连接模块接收到第r组事务中事务的提交结果的时间，构成数组TRr，计算第r组事务中第i1个事务提交所花费的总时间Spendr i1＝TRr i1-TSr i1，其中，i1为变量，i1∈[1,N1]，TRr i1为TRr中第i1个元素，TSr i1为TSr中第i1个元素；
(5)记tMAX为第三方接口连接模块接收到r+1组事务中任意事务的提交结果的时间与t2所允许的最大差值，设置tMAX(单位为秒s)为0.5或者为[0.1,1]中的任意一值，其中，所述事务的提交结果为该事务在第一数据库返回是否提交成功的结果；
(6)记tr+1 w为该第r+1组事务在第三方接口连接模块的等待时间，tr+1 w＝t2－t1；
(7)获取第r+1组事务从第三方接口连接模块传输到第一数据库的传输时间：tr+1 c＝Sizer+1/V；
(8)获取第r组事务在第三方接口连接模块的等待时间tr w，获取第r组事务的传输时间tr c；
(9)计算第r组事务中平均一个事务的处理时间
(10)若tr+1 w≥tMAX－2tr+1 c－tr d或Sizer+1≥V(tMAX－tr+1 w－ntr d)/2，则确定第r+1组事务的事务数量为N2，设置N2的值为n。
进一步地，在S305中，所述根据缓存模块中的表和事务中的数据对象对一组事务中的事务进行合并的方法为：
(1)，根据缓存模块中的表对一组事务里每个事务生成对应的数据对象集合；
(2)，对每个事务的数据对象集合两两取交集，若交集为空集，则对应的两个事务合并成一个事务，直至每个事务的数据对象集合之间的交集不为空集。
进一步地，在S306中，所述根据事务序列里每一个事务的影响趋势度对事务进行优先级排序的方法为：
(1)，计算事务序列内所有事务的影响趋势度；
(2)，按事务的影响趋势度由大到小对事务序列内的事务进行排序。
进一步地，所述事务序列内的事务的影响趋势度的计算方法为：
(1)，记i和j为数据对象的序号并且i≠j，获取最近p天内涉及数据对象i且成功执行的SQL语句个数μi和最近p天内涉及数据对象j且成功执行的SQL语句个数μj，其中，所述p为投入使用该数据同步方法的天数或者预设p为[30,180]天，所述涉及数据对象i的SQL语句为在执行SQL语句过程中对数据对象i进行查询、修改、插入、删除操作的SQL语句；
(2)，获取最近p天内包含涉及数据对象i的SQL语句和涉及数据对象j的SQL语句的事务，记其中成功提交的事务中涉及数据对象i的SQL语句个数和涉及数据对象j的SQL语句个数之和为γij；
(3)，记计算数据对象i的变化将导致另一个数据对象j产生变化的可能性大小的函数为h(i,j)，h(i,j)的计算公式为：
其中，所述s表示p天内成功提交的SQL语句的个数，h(i，j)∈[1,∞]，若h(i,j)＝0，表示数据对象i的变化将导致数据对象j产生变化的可能性为0，若h(i,j)越大，表示数据对象i将导致数据对象j变化的可能性就越大，若p＝1或者μi＝0或者μj＝0，则设置h(i,j)的值为0；
(4)，记一个事务的影响趋势度为Tred，其计算公式为：
其中，M表示所有数据对象的个数，N表示一个事务中SQL语句涉及的数据对象的个数。
进一步地，若p设置固定值的话，影响趋势度并不能反映网络商城中商品销售呈周期性波动的特点，从而不能有效的利用商品销售呈周期性波动的特点来提高整体数据处理效率，尤其对网路商城来说，以商品为核心业务，整体的数据亦呈周期性波动，并且针对数据对象之间在某个周期的计算事务的影响趋势度，可以更好的提高在这个周期内数据的处理效率，因此p的值应该根据网络商城的数据周期性波动的特点动态的调整，为解决上述问题，本发明提出一个更优选的方案如下：
为了进一步地提高整体数据处理效率,减少数据时间跨度过大或过小导致的数据整体性的波动问题，优选地，将根据网络商城的数据周期性波动的特点动态调整p的值，动态调整p的值的方法包含以下步骤：
(1)，设当天为投入使用该数据同步方法的第K天，或者K为[30,180]，K>0；定义序号的跨度为L；
(2)，获取前K-1天成功提交的事务数量，按时间递增顺序构成数组Tarr，元素的序号为t，以Tarr(t)表示Tarr中第t个元素，即Tarr(t)表示第t天成功提交的事务数量；
(3)，定义变量i2、MFlag、j2、s、f、MaxCycle，其中，i2∈[1,k-3]，j2∈[1,k-2]，i2初始值为K-2，MFlag初始值为1，j2初始值为K，s初始值为1，f初始值为0，MaxCycle初始值为1；
(4)，将Tarr数组划分出K-2个闭区间，记作序列TarrArr，以TarrArr[i2]表示TarrArr中第i2个闭区间，其中，TarrArr[i2]的左端点为MIN(Tarr(i2),Tarr(i2+1))，TarrArr[i2]的右端点为MAX(Tarr(i2),Tarr(i2+1))，MIN(Tarr(i2),Tarr(i2+1))表示Tarr(i2)和Tarr(i2+1)中较小者，MAX(Tarr(i2),Tarr(i2+1))表示Tarr(i2)和Tarr(i2+1)中较大者；
(5)，若Tarr(K-1)∈TarrArr[i2]，则MFlag＝0，跳到步骤(7)，否则i2自减1，跳到步骤(6)；
(6)，若i2＝0，跳到步骤(11)，否则跳到步骤(5)；(通过(5)和(6)找TarrArr中包含Tarr(K-1)的元素)
(7)，若Tarr(i2+1)-Tarr(i2)＝0，则i2自减1，否则，若Tarr(i2+1)-Tarr(i2)>0跳到步骤(9)，若Tarr(i2+1)-Tarr(i2)<0跳到步骤(10)；
(8)，若Tarr(i2+1)-Tarr(i2)＝0，则跳到步骤(7)；(通过(7)和(8)遍历寻找不相等的Tarr(i2+1)和Tarr(i2))；
(9)，每次使i2减1，直至满足Tarr(i2+1)-Tarr(i2)<0，跳到步骤(13)；
(10)，每次使i2减1，直至满足Tarr(i2+1)-Tarr(i2)>0，跳到步骤(13)；(通过(9)或(10)找到一个Tarr(K-1)和Tarr(i2)构成的一个周期的最小跨度)；
(11)，每次使j2减1，直至满足Tarr(j2-1)-Tarr(j2)>0；
(12)，每次使j2减1，直至满足Tarr(j2-1)-Tarr(j2)<0；
(13)，若MFlag＝1，则设置L的值为K-j2，否则设置L的值为K-i2+1；
(14)，定义变量LMAXP、RMAXP、End、Flag，其中，LMAXP初始值为0，RMAXP初始值为0，End初始值为K-1，Flag初始值为0；
(15)，在Tarr数组中，从第End个元素到1个元素的遍历，每次取s*L个元素为一组，将Tarr数组划分为多个组，依次计算每组中各元素的平均值，其中，若最后不足s*L个元素可取，则不算作一组；
(16)，获取每组的平均值依次构成数组Aarr，其中，数组Aarr包含H个元素；
(17)，定义变量Cycle，Cycle∈[0,H-1]，Cycle初始值为0，以Aarr[Cycle]表示Aarr中第Cycle个元素；
(18)，若f＝0，则每次Cycle的值自增1，直至满足Aarr[Cycle]-Aarr[Cycle+1]<0；
(19)，若f＝0且Cycle>MaxCycle，则设置MaxCycle的值为Cycle，设置LMAXP的值为MaxCycle*s*L；(LMAXP为成功提交的事务数量随时间增加的最大序号跨度)；
(20)，若f＝1，则每次Cycle的值加1，直至满足Aarr[Cycle]-Aarr[Cycle+1]>0；
(21)，若f＝1且Cycle>MaxCycle，则设置MaxCycle的值为Cycle，设置RMAXP的值为MaxCycle*s*L；(RMAXP为成功提交的事务数量随时间减小的最大序号跨度)；
(22)，s的值自增1，若sL<End，则跳到步骤(15)，否则跳到步骤(23)；
(23)，若Flag＝0且f＝0，则设置f的值为1、设置s的值为1并跳到步骤(15)，否则跳到步骤(24)；
(24)，若Flag＝0且LMAXP≤RMAXP，则设置Flag的值为1，设置End的值为K-1-RMAXP，设置MaxCycle的值为1，设置f的值为0并跳到步骤(15)，否则跳到步骤(25)；
(25)，若Flag＝1，则令p的值为LMAXP+RMAXP，否则令p的值为LMAXP。
本发明还提供了一种网络商城后台与第三方接口的数据同步系统，所述一种网络商城后台与第三方接口的数据同步系统包括：处理器、存储器及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种网络商城后台与第三方接口的数据同步方法中的步骤，所述一种网络商城后台与第三方接口的数据同步系统运行于桌上型计算机、笔记本电脑、掌上电脑或云端数据中心的计算设备中，可运行的系统可包括，但不仅限于，处理器、存储器、服务器集群。
本公开的有益效果为：本发明提供一种网络商城后台与第三方接口的数据同步方法及系统，解决了第一数据库与第二数据库之间的数据自动同步问题且能够根据数据之间的关系来动态调整数据传输的优先级，从而提高了网络商城后台对重要数据的处理效率，减少了网络商城后台未来要处理的数据量，最终提高网络商城后台整体数据处理的效率和第一数据库与第二数据库数据同步的效率。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为一种网络商城后台与第三方接口的数据同步方法的流程图；
图2所示为一种网络商城后台与第三方接口的数据同步系统的结构图。
具体实施方式
以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。附图中各处使用的相同的附图标记指示相同或相似的部分。
在本发明的描述中，如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
如图1所示为根据本发明的一种网络商城后台与第三方接口的数据同步方法的流程图，下面结合图1来阐述根据本发明的实施方式的一种网络商城后台与第三方接口的数据同步方法。
本公开提出一种网络商城后台与第三方接口的数据同步方法，所述方法包括以下步骤：
S100，构建第一数据库与第二数据库的数据同步模块；
S200，通过数据同步模块将第一数据库的数据推送至第二数据库；
S300，通过数据同步模块将第二数据库的更新数据传输至第一数据库。
进一步地，在S100中，所述第一数据库为网络商城后台的数据库，所述网络商城后台为网络商城的网站后台，所述第二数据库为第三方接口的数据库，所述第三方接口为软件系统的数据库接口、Web应用程序的数据库接口、小程序的数据库接口中的任意一种；所述构建第一数据库与第二数据库的数据同步模块包括：
网络商城连接模块，用于连接第一数据库并建立传输通道，
第三方接口连接模块，用于连接多个第二数据库并建立传输通道，
缓存模块，用于缓存第一数据库中表的结构和第一数据库中表的数据；
转换模块，与所述缓存模块连接，用于将数据格式转换，并传输给第三方接口连接模块；
扫描模块，与所述网络商城连接模块、缓存模块、转换模块连接，用于获取第一数据库变化的数据并推送至缓存模块和转换模块；
事务处理模块，与所述网络商城连接模块、第三方接口连接模块和缓存模块连接，用于将接收到的第二数据库的数据进行合并和优先级排序，并传输给网络商城连接模块；
进一步地，在S200中，通过数据同步模块将第一数据库的数据推送至第二数据库的方法为：
S201，网络商城连接模块与第一数据库连接并建立传输通道；
S202，扫描模块通过网络商城连接模块的传输通道获取第一数据库中表的结构，并推送至缓存模块；
S203，当缓存模块接收到第一数据库的数据，缓存模块将存储到对应的表中；
S204，当转换模块接收到第一数据库的数据，转换模块通过两次转换将数据转换为事务，推送至第三方接口连接模块，其中，第一次转换为转换模块根据缓存模块中表的结构，将数据转换成SQL语句，第二次转换为将SQL语句转换为事务；
S205，第三方接口连接模块把接收到的事务推送至连接的第二数据库。
进一步地，在S300中，通过数据同步模块将第二数据库的更新数据传输至第一数据库的方法为：
S301，第二数据库接收到第一数据库传输的事务，执行该事务，得到第二数据；
S302，第二数据库将对第二数据进行更新的事务传输给第三方接口连接模块；
S303，当第三方接口连接模块接收到事务时，第三方接口连接模块为事务设置时间戳并确定一组事务的事务数量，所述一组事务为包含多个事务的序列；
S304，第三方接口连接模块将一组事务传输给事务处理模块；
S305，当事务处理模块接收到一组事务时，事务处理模块将根据缓存模块中的表和事务中的数据对象对一组事务中的事务进行合并，获得一个事务序列，其中，所述一条SQL语句包含一个或多个数据对象，所述数据对象表示一个数据表中的一个记录(元组)，将多个事务合并成一个事务，减少了第二数据库与与第一数据库之间的交互次数，有效地提高了数据同步性能；
S306，事务处理模块根据事务序列里每一个事务的影响趋势度对事务进行优先级排序，获得优先事务序列，其中，所述事务的影响趋势度表示一个事务成功提交后对未来数据库中数据对象变化的影响程度，即一个事务影响趋势度越大，该事务成功提交后对未来数据库变化的影响程度就越大，所述事务成功提交表示将此事务中的SQL语句对数据的修改永久的记录到数据库中；
S307，事务处理模块将优先事务序列传输给网络商城连接模块；
S308，网络商城连接模块将接收到的优先事务序列传输给连接的第一数据库。
进一步地，在S303中，所述确定一组事务的事务数量的方法为：
(1)记第三方接口连接模块已经传输到事务处理模块的事务的组数为r，其中，r≥0；
(2)若r>0，则获取第r组事务的事务个数为N1，否则确定r+1组事务的事务数量为10，结束；
(3)获取第k组事务占用内存的大小Sizek(单位为B)，获取当前网络吞吐量V(单位为B/s)，获取第r+1组事务当前的事务数量n，获取第r+1组事务的第一个事务到达第三方接口连接模块的时间t1，获取r+1组事务传输给事务处理模块的时间t2，其中，k为每组事务的序号，k≥1，n≥1；
(4)获取第r组事务中所有事务的时间戳的签名时间，构成数组TSr，获取第三方接口连接模块接收到第r组事务中事务的提交结果的时间，构成数组TRr，计算第r组事务中第i1个事务提交所花费的总时间Spendr i1＝TRr i1-TSr i1，其中，i1为变量，i1∈[1,N1]，TRr i1为TRr中第i1个元素，TSr i1为TSr中第i1个元素；
(5)记tMAX为第三方接口连接模块接收到r+1组事务中任意事务的提交结果的时间与t2所允许的最大差值，设置tMAX(单位为秒s)为0.5或者为[0.1,1]中的任意一值，其中，所述事务的提交结果为该事务在第一数据库返回是否提交成功的结果；
(6)记tr+1 w为该第r+1组事务在第三方接口连接模块的等待时间，tr+1 w＝t2－t1；
(7)获取第r+1组事务从第三方接口连接模块传输到第一数据库的传输时间：tr+1 c＝Sizer+1/V；
(8)获取第r组事务在第三方接口连接模块的等待时间tr w，获取第r组事务的传输时间tr c；
(9)计算第r组事务中平均一个事务的处理时间
(10)若tr+1 w≥tMAX－2tr+1 c－tr d或Sizer+1≥V(tMAX－tr+1 w－ntr d)/2，则确定第r+1组事务的事务数量为N2，设置N2的值为n。
进一步地，在S305中，所述根据缓存模块中的表和事务中的数据对象对一组事务中的事务进行合并的方法为：
(1)，根据缓存模块中的表对一组事务里每个事务生成对应的数据对象集合；
(2)，对每个事务的数据对象集合两两取交集，若交集为空集，则对应的两个事务合并成一个事务，直至每个事务的数据对象集合之间的交集不为空集。
进一步地，在S306中，所述根据事务序列里每一个事务的影响趋势度对事务进行优先级排序的方法为：
(1)，计算事务序列内所有事务的影响趋势度；
(2)，按事务的影响趋势度由大到小对事务序列内的事务进行排序。
进一步地，所述事务序列内的事务的影响趋势度的计算方法为：
(1)，记i和j为数据对象的序号并且i≠j，获取最近p天内涉及数据对象i且成功执行的SQL语句个数μi和最近p天内涉及数据对象j且成功执行的SQL语句个数μj，其中，所述p为投入使用该数据同步方法的天数或者预设p为[30,180]天，所述涉及数据对象i的SQL语句为在执行SQL语句过程中对数据对象i进行查询、修改、插入、删除操作的SQL语句；
(2)，获取最近p天内包含涉及数据对象i的SQL语句和涉及数据对象j的SQL语句的事务，记其中成功提交的事务中涉及数据对象i的SQL语句个数和涉及数据对象j的SQL语句个数之和为γij；
(3)，记计算数据对象i的变化将导致另一个数据对象j产生变化的可能性大小的函数为h(i,j)，h(i,j)的计算公式为：
其中，所述s表示p天内成功提交的SQL语句的个数，h(i，j)∈[1,∞]，若h(i,j)＝0，表示数据对象i的变化将导致数据对象j产生变化的可能性为0，若h(i,j)越大，表示数据对象i将导致数据对象j变化的可能性就越大，若p＝1或者μi＝0或者μj＝0，则设置h(i,j)的值为0；
(4)，记一个事务的影响趋势度为Tred，其计算公式为：
其中，M表示所有数据对象的个数，N表示一个事务中SQL语句涉及的数据对象的个数。
进一步地，若p设置固定值的话，影响趋势度并不能反映网络商城中商品销售呈周期性波动的特点，从而不能有效的利用商品销售呈周期性波动的特点来提高整体数据处理效率，尤其对网路商城来说，以商品为核心业务，整体的数据亦呈周期性波动，并且针对数据对象之间在某个周期的计算事务的影响趋势度，可以更好的提高在这个周期内数据的处理效率，因此p的值应该根据网络商城的数据周期性波动的特点动态的调整，为解决上述问题，本发明提出一个更优选的方案如下：
为了进一步地提高整体数据处理效率，优选地，将根据网络商城的数据周期性波动的特点动态调整p的值，动态调整p的值的方法包含以下步骤：
(1)，设当天为投入使用该数据同步方法的第K天，或者K为[30,180]，K>0；定义序号的跨度为L；
(2)，获取前K-1天成功提交的事务数量，按时间递增顺序构成数组Tarr，元素的序号为t，以Tarr(t)表示Tarr中第t个元素，即Tarr(t)表示第t天成功提交的事务数量；
(3)，定义变量i2、MFlag、j2、s、f、MaxCycle，其中，i2∈[1,k-3]，j2∈[1,k-2]，i2初始值为K-2，MFlag初始值为1，j2初始值为K，s初始值为1，f初始值为0，MaxCycle初始值为1；
(4)，将Tarr数组划分出K-2个闭区间，记作序列TarrArr，以TarrArr[i2]表示TarrArr中第i2个闭区间，其中，TarrArr[i2]的左端点为MIN(Tarr(i2),Tarr(i2+1))，TarrArr[i2]的右端点为MAX(Tarr(i2),Tarr(i2+1))，MIN(Tarr(i2),Tarr(i2+1))表示Tarr(i2)和Tarr(i2+1)中较小者，MAX(Tarr(i2),Tarr(i2+1))表示Tarr(i2)和Tarr(i2+1)中较大者；
(5)，若Tarr(K-1)∈TarrArr[i2]，则MFlag＝0，跳到步骤(7)，否则i2自减1，跳到步骤(6)；
(6)，若i2＝0，跳到步骤(11)，否则跳到步骤(5)；(通过(5)和(6)找TarrArr中包含Tarr(K-1)的元素)
(7)，若Tarr(i2+1)-Tarr(i2)＝0，则i2自减1，否则，若Tarr(i2+1)-Tarr(i2)>0跳到步骤(9)，若Tarr(i2+1)-Tarr(i2)<0跳到步骤(10)；
(8)，若Tarr(i2+1)-Tarr(i2)＝0，则跳到步骤(7)；(通过(7)和(8)遍历寻找不相等的Tarr(i2+1)和Tarr(i2))；
(9)，每次使i2减1，直至满足Tarr(i2+1)-Tarr(i2)<0，跳到步骤(13)；
(10)，每次使i2减1，直至满足Tarr(i2+1)-Tarr(i2)>0，跳到步骤(13)；(通过(9)或(10)找到一个Tarr(K-1)和Tarr(i2)构成的一个周期的最小跨度)；
(11)，每次使j2减1，直至满足Tarr(j2-1)-Tarr(j2)>0；
(12)，每次使j2减1，直至满足Tarr(j2-1)-Tarr(j2)<0；
(13)，若MFlag＝1，则设置L的值为K-j2，否则设置L的值为K-i2+1；
(14)，定义变量LMAXP、RMAXP、End、Flag，其中，LMAXP初始值为0，RMAXP初始值为0，End初始值为K-1，Flag初始值为0；
(15)，在Tarr数组中，从第End个元素到1个元素的遍历，每次取s*L个元素为一组，将Tarr数组划分为多个组，依次计算每组中各元素的平均值，其中，若最后不足s*L个元素可取，则不算作一组；
(16)，获取每组的平均值依次构成数组Aarr，其中，数组Aarr包含H个元素；
(17)，定义变量Cycle，Cycle∈[0,H-1]，Cycle初始值为0，以Aarr[Cycle]表示Aarr中第Cycle个元素；
(18)，若f＝0，则每次Cycle的值自增1，直至满足Aarr[Cycle]-Aarr[Cycle+1]<0；
(19)，若f＝0且Cycle>MaxCycle，则设置MaxCycle的值为Cycle，设置LMAXP的值为MaxCycle*s*L；(LMAXP为成功提交的事务数量随时间增加的最大序号跨度)；
(20)，若f＝1，则每次Cycle的值加1，直至满足Aarr[Cycle]-Aarr[Cycle+1]>0；
(21)，若f＝1且Cycle>MaxCycle，则设置MaxCycle的值为Cycle，设置RMAXP的值为MaxCycle*s*L；(RMAXP为成功提交的事务数量随时间减小的最大序号跨度)；
(22)，s的值自增1，若sL<End，则跳到步骤(15)，否则跳到步骤(23)；
(23)，若Flag＝0且f＝0，则设置f的值为1、设置s的值为1并跳到步骤(15)，否则跳到步骤(24)；
(24)，若Flag＝0且LMAXP≤RMAXP，则设置Flag的值为1，设置End的值为K-1-RMAXP，设置MaxCycle的值为1，设置f的值为0并跳到步骤(15)，否则跳到步骤(25)；
(25)，若Flag＝1，则令p的值为LMAXP+RMAXP，否则令p的值为LMAXP。
本发明还提供了一种网络商城后台与第三方接口的数据同步系统，所述一种网络商城后台与第三方接口的数据同步系统包括：处理器、存储器及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种网络商城后台与第三方接口的数据同步方法中的步骤，所述一种网络商城后台与第三方接口的数据同步系统运行于桌上型计算机、笔记本电脑、掌上电脑或云端数据中心的计算设备中，可运行的系统可包括，但不仅限于，处理器、存储器、服务器集群。
所述一种网络商城后台与第三方接口的数据同步系统可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心等计算设备中。所述一种网络商城后台与第三方接口的数据同步系统包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种网络商城后台与第三方接口的数据同步方法及系统的示例，并不构成对一种网络商城后台与第三方接口的数据同步方法及系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种网络商城后台与第三方接口的数据同步系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立元器件门电路或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种网络商城后台与第三方接口的数据同步系统的控制中心，利用各种接口和线路连接整一种网络商城后台与第三方接口的数据同步系统的各个分区域。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种网络商城后台与第三方接口的数据同步方法及系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。

Claims (7)

1.一种网络商城后台与第三方接口的数据同步方法，其特征在于，所述方法包括以下步骤：
S100，构建第一数据库与第二数据库的数据同步模块；
S200，通过数据同步模块将第一数据库的数据推送至第二数据库；
S300，通过数据同步模块将第二数据库的更新数据传输至第一数据库；
其中，在S300中，通过数据同步模块将第二数据库的更新数据传输至第一数据库的方法为：
S301，第二数据库接收到第一数据库传输的事务，执行该事务，得到第二数据；
S302，第二数据库将对第二数据进行更新的事务传输给第三方接口连接模块；
S303，当第三方接口连接模块接收到事务时，第三方接口连接模块为事务设置时间戳并确定一组事务的事务数量，所述一组事务为包含多个事务的序列；
S304，第三方接口连接模块将一组事务传输给事务处理模块；
S305，当事务处理模块接收到一组事务时，事务处理模块将根据缓存模块中的表和事务中的数据对象对一组事务中的事务进行合并，获得一个事务序列，其中，一条SQL语句包含一个或多个数据对象，所述数据对象表示一个数据表中的一个记录；
S306，事务处理模块根据事务序列里每一个事务的影响趋势度对事务进行优先级排序，获得优先事务序列，其中，所述事务的影响趋势度表示一个事务成功提交后对未来数据库中数据对象变化的影响程度，即一个事务影响趋势度越大，该事务成功提交后对未来数据库变化的影响程度就越大，所述事务成功提交表示将此事务中的SQL语句对数据的修改永久的记录到数据库中；
S307，事务处理模块将优先事务序列传输给网络商城连接模块；
S308，网络商城连接模块将接收到的优先事务序列传输给连接的第一数据库；
其中，事务的影响趋势度的计算方法为：
(1)，记i和j为数据对象的序号并且i≠j，获取最近p天内涉及数据对象i且成功执行的SQL语句个数μi和最近p天内涉及数据对象j且成功执行的SQL语句个数μj，其中，所述p为投入使用该数据同步方法的天数或者预设p为[30,180]天，所述涉及数据对象i的SQL语句为在执行SQL语句过程中对数据对象i进行查询、修改、插入、删除操作的SQL语句；
(2)，获取最近p天内包含涉及数据对象i的SQL语句和涉及数据对象j的SQL语句的事务，记其中成功提交的事务中涉及数据对象i的SQL语句个数和涉及数据对象j的SQL语句个数之和为γij；
(3)，记计算数据对象i的变化将导致另一个数据对象j产生变化的可能性大小的函数为h(i,j)，h(i,j)的计算公式为：
其中，所述s表示p天内成功提交的SQL语句的个数，h(i，j)∈[1,∞]，若h(i,j)＝0，表示数据对象i的变化将导致数据对象j产生变化的可能性为0，若h(i,j)越大，表示数据对象i将导致数据对象j变化的可能性就越大，若p＝1或者μi＝0或者μj＝0，则设置h(i,j)的值为0；
(4)，记一个事务的影响趋势度为Tred，其计算公式为：
其中，M表示所有数据对象的个数，N表示一个事务中SQL语句涉及的数据对象的个数。
2.根据权利要求1所述的一种网络商城后台与第三方接口的数据同步方法，其特征在于，在S100中，所述第一数据库为网络商城后台的数据库，所述网络商城后台为网络商城的网站后台，所述第二数据库为第三方接口的数据库，所述第三方接口为对接网络商城后台的数据库接口；所述构建第一数据库与第二数据库的数据同步模块包括：
网络商城连接模块，用于连接第一数据库并建立传输通道，
第三方接口连接模块，用于连接多个第二数据库并建立传输通道，
缓存模块，用于缓存第一数据库中表的结构和第一数据库中表的数据；
转换模块，与所述缓存模块连接，用于将数据格式转换，并传输给第三方接口连接模块；
扫描模块，与所述网络商城连接模块、缓存模块、转换模块连接，用于获取第一数据库变化的数据并推送至缓存模块和转换模块；
事务处理模块，与所述网络商城连接模块、第三方接口连接模块和缓存模块连接，用于将接收到的第二数据库的数据进行合并和优先级排序，并传输给网络商城连接模块。
3.根据权利要求1所述的一种网络商城后台与第三方接口的数据同步方法，其特征在于，在S200中，通过数据同步模块将第一数据库的数据推送至第二数据库的方法为：
S201，网络商城连接模块与第一数据库连接并建立传输通道；
S202，扫描模块通过网络商城连接模块的传输通道获取第一数据库中表的结构，并推送至缓存模块；
S203，当缓存模块接收到第一数据库的数据，缓存模块将存储到对应的表中；
S204，当转换模块接收到第一数据库的数据，转换模块通过两次转换将数据转换为事务，推送至第三方接口连接模块，其中，第一次转换为转换模块根据缓存模块中表的结构，将数据转换成SQL语句，第二次转换为将SQL语句转换为事务，其中，一个事务包含一条或多条SQL语句；
S205，第三方接口连接模块把接收到的事务推送至连接的第二数据库。
4.根据权利要求1所述的一种网络商城后台与第三方接口的数据同步方法，其特征在于，在S303中，所述确定一组事务的事务数量的方法为：
(1)记第三方接口连接模块已经传输到事务处理模块的事务的组数为r，其中，r≥0；
(2)若r>0，则获取第r组事务的事务个数为N1，否则确定r+1组事务的事务数量为10，结束；
(3)获取第k组事务占用内存的大小Sizek，获取当前网络吞吐量V，获取第r+1组事务当前的事务数量n，获取第r+1组事务的第一个事务到达第三方接口连接模块的时间t1，获取r+1组事务传输给事务处理模块的时间t2，其中，k为每组事务的序号，k≥1，n≥1；
(4)获取第r组事务中所有事务的时间戳的签名时间，构成数组TSr，获取第三方接口连接模块接收到第r组事务中事务的提交结果的时间，构成数组TRr，计算第r组事务中第i1个事务提交所花费的总时间Spendr i1＝TRr i1-TSr i1，其中，i1为变量，i1∈[1,N1]，TRr i1为TRr中第i1个元素，TSr i1为TSr中第i1个元素；
(5)记tMAX为第三方接口连接模块接收到r+1组事务中任意事务的提交结果的时间与t2所允许的最大差值，设置tMAX为0.5或者为[0.1,1]中的任意一值，其中，所述事务的提交结果为该事务在第一数据库返回是否提交成功的结果；
(6)记tr+1 w为该第r+1组事务在第三方接口连接模块的等待时间，tr+1 w＝t2－t1；
(7)获取第r+1组事务从第三方接口连接模块传输到第一数据库的传输时间：tr+1 c＝Sizer+1/V；
(8)获取第r组事务在第三方接口连接模块的等待时间tr w，获取第r组事务的传输时间tr c；
(9)计算第r组事务中平均一个事务的处理时间
(10)若tr+1 w≥tMAX－2tr+1 c－tr d或Sizer+1≥V(tMAX－tr+1 w－ntr d)/2，则确定第r+1组事务的事务数量为N2，设置N2的值为n。
5.根据权利要求1所述的一种网络商城后台与第三方接口的数据同步方法，其特征在于，在S305中，所述根据缓存模块中的表和事务中的数据对象对一组事务中的事务进行合并的方法为：
(1)，根据缓存模块中的表对一组事务里每个事务生成对应的数据对象集合；
(2)，对每个事务的数据对象集合两两取交集，若交集为空集，则对应的两个事务合并成一个事务，直至每个事务的数据对象集合之间的交集不为空集。
6.根据权利要求1所述的一种网络商城后台与第三方接口的数据同步方法，其特征在于，在S306中，所述根据事务序列里每一个事务的影响趋势度对事务进行优先级排序的方法为：
(1)，计算事务序列内所有事务的影响趋势度；
(2)，按事务的影响趋势度由大到小对事务序列内的事务进行排序。
7.一种网络商城后台与第三方接口的数据同步系统，其特征在于，所述一种网络商城后台与第三方接口的数据同步系统包括：处理器、存储器及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1到6中的任意一项所述的一种网络商城后台与第三方接口的数据同步方法中的步骤，所述一种网络商城后台与第三方接口的数据同步系统运行于桌上型计算机、笔记本电脑、掌上电脑或云端数据中心的计算设备中。
CN202211056877.3A 2022-08-31 2022-08-31 一种网络商城后台与第三方接口的数据同步方法及系统 Active CN115329006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211056877.3A CN115329006B (zh) 2022-08-31 2022-08-31 一种网络商城后台与第三方接口的数据同步方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211056877.3A CN115329006B (zh) 2022-08-31 2022-08-31 一种网络商城后台与第三方接口的数据同步方法及系统

Publications (2)

Publication Number Publication Date
CN115329006A CN115329006A (zh) 2022-11-11
CN115329006B true CN115329006B (zh) 2023-08-04

Family

ID=83928258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211056877.3A Active CN115329006B (zh) 2022-08-31 2022-08-31 一种网络商城后台与第三方接口的数据同步方法及系统

Country Status (1)

Country Link
CN (1) CN115329006B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701190A (zh) * 2016-01-07 2016-06-22 深圳市金证科技股份有限公司 一种数据同步的方法和装置
CN109101627A (zh) * 2018-08-14 2018-12-28 交通银行股份有限公司 异构数据库同步方法及装置
CN109426551A (zh) * 2017-08-31 2019-03-05 北京中盈安信技术服务股份有限公司 一种事务处理方法及系统
CN110019502A (zh) * 2017-08-29 2019-07-16 阿里巴巴集团控股有限公司 在主数据库和备数据库之间的同步方法、数据库系统和设备
CN110765206A (zh) * 2019-10-21 2020-02-07 广东小天才科技有限公司 一种数据同步系统、方法、装置、设备及存储介质
CN111367849A (zh) * 2020-01-02 2020-07-03 全球能源互联网研究院有限公司 一种高速串行总线数据同步的方法及系统
CN112559473A (zh) * 2020-12-11 2021-03-26 武汉达梦数据库股份有限公司 一种基于优先级的双路同步方法和同步系统
CN112988883A (zh) * 2019-12-16 2021-06-18 中兴通讯股份有限公司 数据库的数据同步方法、装置以及存储介质
CN113282605A (zh) * 2021-04-14 2021-08-20 上海瀚之友信息技术服务有限公司 一种异构数据库的实时同步系统及方法
CN113849282A (zh) * 2021-02-23 2021-12-28 天翼智慧家庭科技有限公司 一种基于动态权重的openresty反向代理排队处理方法
CN113946628A (zh) * 2021-10-27 2022-01-18 中国建设银行股份有限公司 一种基于拦截器的数据同步方法及装置
CN114189522A (zh) * 2021-10-15 2022-03-15 敏博科技(武汉)有限公司 一种车联网中基于优先级的区块链共识方法及系统
CN114579559A (zh) * 2020-11-30 2022-06-03 华为云计算技术有限公司 数据同步方法及装置、计算机设备、存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180144521A1 (en) * 2016-11-22 2018-05-24 Qualcomm Incorporated Geometric Work Scheduling of Irregularly Shaped Work Items
US10555036B2 (en) * 2017-05-30 2020-02-04 AtoNemic Labs, LLC Transfer viability measurement system for conversion of two-dimensional content to 360 degree content

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701190A (zh) * 2016-01-07 2016-06-22 深圳市金证科技股份有限公司 一种数据同步的方法和装置
CN110019502A (zh) * 2017-08-29 2019-07-16 阿里巴巴集团控股有限公司 在主数据库和备数据库之间的同步方法、数据库系统和设备
CN109426551A (zh) * 2017-08-31 2019-03-05 北京中盈安信技术服务股份有限公司 一种事务处理方法及系统
CN109101627A (zh) * 2018-08-14 2018-12-28 交通银行股份有限公司 异构数据库同步方法及装置
CN110765206A (zh) * 2019-10-21 2020-02-07 广东小天才科技有限公司 一种数据同步系统、方法、装置、设备及存储介质
CN112988883A (zh) * 2019-12-16 2021-06-18 中兴通讯股份有限公司 数据库的数据同步方法、装置以及存储介质
CN111367849A (zh) * 2020-01-02 2020-07-03 全球能源互联网研究院有限公司 一种高速串行总线数据同步的方法及系统
CN114579559A (zh) * 2020-11-30 2022-06-03 华为云计算技术有限公司 数据同步方法及装置、计算机设备、存储介质
CN112559473A (zh) * 2020-12-11 2021-03-26 武汉达梦数据库股份有限公司 一种基于优先级的双路同步方法和同步系统
CN113849282A (zh) * 2021-02-23 2021-12-28 天翼智慧家庭科技有限公司 一种基于动态权重的openresty反向代理排队处理方法
CN113282605A (zh) * 2021-04-14 2021-08-20 上海瀚之友信息技术服务有限公司 一种异构数据库的实时同步系统及方法
CN114189522A (zh) * 2021-10-15 2022-03-15 敏博科技(武汉)有限公司 一种车联网中基于优先级的区块链共识方法及系统
CN113946628A (zh) * 2021-10-27 2022-01-18 中国建设银行股份有限公司 一种基于拦截器的数据同步方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王瑞峰 等.移动数据库中数据复制同步处理策略的研究.《计算机工程与应用》.2014,第52卷(第1期),61-65. *

Also Published As

Publication number Publication date
CN115329006A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN110674053B (zh) Ssd数据存储节点管理方法、装置、计算机设备及存储介质
US9047330B2 (en) Index compression in databases
US9507821B2 (en) Mail indexing and searching using hierarchical caches
US20230074102A1 (en) Method and apparatus for processing data based on block chain, device and readable storage medium
CN110019873B (zh) 人脸数据处理方法、装置及设备
CN111562885A (zh) 数据处理方法、装置、计算机设备及存储介质
CN112905638B (zh) 一种基于喇叭状的时间切片处理方法
CN110688382A (zh) 数据存储查询方法、装置、计算机设备及存储介质
WO2024041022A1 (zh) 数据库表变更方法、装置、设备和存储介质
CN111435376A (zh) 信息处理方法及系统、计算机系统和计算机可读存储介质
WO2021135571A1 (zh) 卷积计算方法、卷积计算装置及终端设备
CN112328592A (zh) 数据存储方法、电子设备及计算机可读存储介质
US20180181647A1 (en) System and Method for Editing a Linked List
CN110955719B (zh) 一种数据存取处理设备、系统和方法
CN115329006B (zh) 一种网络商城后台与第三方接口的数据同步方法及系统
CN112948410A (zh) 数据处理方法、装置、设备及介质
CN112527900A (zh) 一种数据库读多副本一致性的方法、装置、设备及介质
CN110795405B (zh) 一种分片数据还原方法、终端设备及存储介质
CN114489770A (zh) 灰度发布方法、装置、计算机设备和存储介质
CN113741864A (zh) 基于自然语言处理的语义化服务接口自动设计方法与系统
CN107423375B (zh) 应用程序搜索方法和装置
US10095674B2 (en) Maintaining state of document concurrently edited by two computing systems by determining locations of edits based on inverse transformations
CN116804915B (zh) 基于存储器的数据交互方法、处理器、设备以及介质
CN112948485B (zh) 问答数据的同步方法、装置、系统、服务器及存储介质
CN116821146B (zh) 一种基于Apache Iceberg的数据表列更新方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant