CN117056432A - 一种线下与线上商品零售系统间的数据同步方法及系统 - Google Patents
一种线下与线上商品零售系统间的数据同步方法及系统 Download PDFInfo
- Publication number
- CN117056432A CN117056432A CN202311309144.0A CN202311309144A CN117056432A CN 117056432 A CN117056432 A CN 117056432A CN 202311309144 A CN202311309144 A CN 202311309144A CN 117056432 A CN117056432 A CN 117056432A
- Authority
- CN
- China
- Prior art keywords
- data
- synchronization
- line
- retail system
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000011156 evaluation Methods 0.000 claims abstract description 110
- 230000001360 synchronised effect Effects 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 238000004088 simulation Methods 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 238000007405 data analysis Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013142 basic testing Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
- G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
- G06Q30/0635—Processing of requisition or of purchase orders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Databases & Information Systems (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Computing Systems (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明公开了一种线下与线上商品零售系统间的数据同步方法及系统,涉及数据处理技术领域,包括线上商品零售系统和线下商品零售系统,在线上商品零售系统和线下商品零售系统内分别建立线上数据源模块和线下数据源模块,存储对应系统内的信息数据;还包括:数据缓存模块,提取线上数据源模块和线下数据源模块内待同步的信息数据,并进行数据格式标准化处理;数据同步模块;其技术要点为:通过对数据同步系统进行初步和二次调试处理,将生成的数据同步系数评估值Dsxs与预设的评估阈值Xz进行对比,能够更准确的判定出数据同步系统是否稳定和稳定程度,并通过执行后续的遍历策略,从而确保所得到的数据同步系统具有稳定性。
Description
技术领域
本发明涉及数据处理技术领域,具体为一种线下与线上商品零售系统间的数据同步方法及系统。
背景技术
线下通常指的是现实世界中的活动、交互或商务活动,例如,线下购物、线下会议、线下教育等,在线下环境中,人们需要面对面地交流、实地操作或身临其境地参与活动;线上则是指在互联网上进行的活动或交互,例如,在线购物、在线会议、在线学习等。在线环境中,人们可以通过网络与他人进行远程交流、利用各种在线工具进行操作或参与虚拟的活动;线下和线上各有其特点和优势,线下活动可以提供更直接的互动和实验体验,但可能受限于地理位置和时间限制,线上活动可以提供更大的灵活性和便利性,但可能缺乏面对面的亲密感和实地体验。
现有申请号为201310075256.4,名称为线下与线上互联网商品零售系统间的数据同步系统和方法的中国发明专利中指出的技术方案为:同步系统客户端,安装于线下商品零售系统,用于获取线下商品零售系统需要同步的数据,并向第三方互联网商品零售系统传输;同步系统服务端,安装于第三方互联网商品零售系统,与所述同步系统客户端通信连接,并将从同步系统客户端接收到的数据同步至第三方互联网商品零售系统;将数据同步至线上数据库,无需手动,采用非嵌入式安装,并支持常见的各种类型的数据库系统的数据同步。
然而,针对上述专利结合现有技术而言,在传统的线下与线上互联网商品零售系统上建立数据同步系统,需要保证线上与线下系统的数据一致性,在数据同步系统运行的过程中,通常由于产生例如数据同步频率不一致的问题,而导致整个数据同步系统的稳定性受到影响,此时的数据同步系统无法继续进行使用,在数据同步系统中通常采用单一的数据同步算法,需要提前选定适配对应数据同步系统所应对场景的数据同步算法,导致其同步模式也极为单一,整体的同步效果不佳,继而进一步的对数据同步系统的稳定性造成影响。
发明内容
针对现有技术的不足,本发明提供了一种线下与线上商品零售系统间的数据同步方法及系统,通过对数据同步系统进行初步和二次调试处理,将生成的数据同步系数评估值Dsxs与预设的评估阈值Xz进行对比,能够更准确的判定出数据同步系统是否稳定和稳定程度,并通过执行后续的遍历策略,从而确保所得到的数据同步系统具有稳定性,解决了背景技术中提出关于传统数据同步系统内置同步算法单一、系统稳定性差的问题。
为实现以上目的,本发明通过以下技术方案予以实现:
一种线下与线上商品零售系统间的数据同步系统,包括线上商品零售系统和线下商品零售系统,在线上商品零售系统和线下商品零售系统内分别建立线上数据源模块和线下数据源模块,存储对应系统内的信息数据;
还包括:数据缓存模块,提取线上数据源模块和线下数据源模块内待同步的信息数据,并进行数据格式标准化处理;
数据同步模块,通过选定的同步模式完成对线上商品零售系统和线下商品零售系统中,经过数据格式标准化处理的信息数据进行同步处理;
仿真测试模块,搭建仿真模型,并于仿真模型内模拟运行数据同步系统的数据同步过程,判定线上商品零售系统和线下商品零售系统是否正常使用;
系统评估模块,其通过内置的数据获取子模块获取所需的相关参数,依据相关参数搭建数据分析模型,生成数据同步系数评估值Dsxs,并将数据同步系数评估值Dsxs与预设的评估阈值Xz进行对比,得到的对比结果为:
若数据同步系数评估值Dsxs超过评估阈值Xz,则执行遍历策略;
若数据同步系数评估值Dsxs未超过评估阈值Xz,则不做出响应动作。
进一步的,线上数据源模块和线下数据源模块对应线上商品零售系统和线下商品零售系统的数据库,用于存储对应系统内的信息数据,且信息数据至少包括商品信息、库存信息以及订单信息。
进一步的,数据缓存模块包括待同步数据单元和格式统一单元;
其中,待同步数据单元用于提取待同步的信息数据;
格式统一单元用于对提取到的信息数据进行数据格式标准化处理,以形成统一的数据格式。
进一步的,在数据同步模块中的同步模式为任意两种、不分先后组合的数据同步算法,且数据同步算法包括全量同步、增量同步、数据合并以及实时合并,同步模式包括全量同步和增量同步、全量同步和数据合并、全量同步和实时同步、增量同步和数据合并、增量同步和实时同步、数据合并和实时同步这六种组合模式。
进一步的,在仿真测试模块中判定线上商品零售系统和线下商品零售系统是否正常使用后,若能够正常使用,则继续进行后续操作,若不能够正常使用,则重新建立线上数据源模块和线下数据源模块,直至能够正常使用。
进一步的,数据获取子模块获取所需相关参数的步骤为:
S101、采集数据:采集模拟运行数据同步系统时,在线上商品零售系统和线下商品零售系统中信息数据的同步延迟,即在预定的时间周期内,各个信息数据的最大延迟时间、在线上商品零售系统和线下商品零售系统中信息数据的同步频率/>,即在预定的时间周期内,各个信息数据的同步次数以及在网络间歇性中断条件下,各个信息数据中发生同步数据错误量Sn;
S102、数据预处理:对同步延迟、同步频率/>以及同步数据错误量Sn做无量纲化处理;
S103、参数计算:对采集的数据进行计算,计算生成同步延迟指数Zys所依据的公式如下:
;
式中,同步延迟中的t表示对应各个信息数据的编号,n表示信息数据中种类总量;
计算生成同步频率指数Czs所依据的公式如下:
;
式中,同步延迟中的t表示对应各个信息数据的编号,n表示信息数据中种类总量;
计算生成错误指数Scs所依据的公式如下:
;
式中,n表示信息数据中种类总量。
进一步的,通过系统评估模块生成数据同步系数评估值Dsxs所依据的公式如下:
;
式中,P1、P2、P3分别为同步延迟指数Zys、同步频率指数Czs以及错误指数Scs的预设比例系数,且P3>P1>P2>0,P1和P2和P3=2.54,为常数修正系数,其具体值可由用户调整设置,或者由分析函数拟合生成。
进一步的,在将数据同步系数评估值Dsxs与预设的评估阈值Xz进行对比后,若数据同步系数评估值Dsxs超过评估阈值Xz,执行的遍历策略为:
S201、二次验证经过数据缓冲模块处理后的信息数据,若待同步的信息数据格式一致,则继续进行后一步操作,若待同步的信息数据格式不一致,则重新运行数据缓冲模块,直至待同步的信息数据格式一致;
S202、搭建规则引擎,对同步模式中六种组合的数据同步算法进行排序,依次为模式一、全量同步和增量同步,模式二、全量同步和数据合并,模式三、全量同步和实时同步;模式四、增量同步和数据合并、模式五、增量同步和实时同步,模式六、数据合并和实时同步,以模式一为起点,依次执行各个模式,直至在系统评估模块中得到数据同步系数评估值Dsxs未超过评估阈值Xz的结果为止。
一种线下与线上商品零售系统间的数据同步方法,包括如下步骤:
建立数据库:在线上商品零售系统和线下商品零售系统内分别建立对应的数据库,用于存储对应系统内的信息数据,该信息数据至少包括商品信息、库存信息以及订单信息;
信息数据处理:提取两个数据库内待同步的信息数据,并对提取到的信息数据进行数据格式标准化处理,以形成统一的数据格式;
数据同步:通过选定的同步模式完成对线上商品零售系统和线下商品零售系统中,经过数据格式标准化处理的信息数据进行同步处理,同步模式为任意两种、不分先后组合的数据同步算法,且数据同步算法包括全量同步、增量同步、数据合并以及实时合并,同步模式包括全量同步和增量同步、全量同步和数据合并、全量同步和实时同步、增量同步和数据合并、增量同步和实时同步、数据合并和实时同步这六种组合模式;
仿真测试:搭建仿真模型,并于仿真模型内模拟运行数据同步系统的数据同步过程,判定线上商品零售系统和线下商品零售系统是否正常使用;
若能够正常使用,则继续进行后续操作;
若不能够正常使用,则重新建立对应的数据库,直至能够正常使用;
系统评估:获取所需的相关参数,依据相关参数搭建数据分析模型,生成数据同步系数评估值Dsxs,并将数据同步系数评估值Dsxs与预设的评估阈值Xz进行对比;
若数据同步系数评估值Dsxs超过评估阈值Xz,则执行遍历策略,使得数据同步系数评估值Dsxs变为未超过评估阈值Xz为止;
若数据同步系数评估值Dsxs未超过评估阈值Xz,则不做出响应动作。
本发明提供了一种线下与线上商品零售系统间的数据同步方法及系统,具备以下有益效果:
1.本发明在传统线上商品零售系统和线下商品零售系统的基础上增加了对应的数据源,可存储对应系统内的信息数据,与数据缓冲模块配合使用时,能够对待同步的信息数据进行格式统一化处理,保证数据同步传输的有效性,可先后确定待同步数据,从而在一定程度上降低整个数据同步系统的运行负载;
2.本发明通过在数据同步模块之后设计仿真测试模块,在搭建的仿真模型中运行数据同步系统的数据同步过程,由于是模拟操作,使得在使用线下与线上商品零售系统间的数据同步系统后,能够监测加入数据同步系统后对线上商品零售系统和线下商品零售系统的影响,而不会影响到单独线上商品零售系统或线下商品零售系统自身正常的使用,实现对数据同步系统的基础性测试处理,达到初步调试的作用;
3.本发明将数据同步模块和系统评估模块配合使用,以采集到的数据为基础,获取相关参数中的同步延迟指数Zys、同步频率指数Czs以及错误指数Scs,并依据相关参数来生成数据同步系数评估值Dsxs,综合考虑了各个因素,以确保数据同步系数评估值Dsxs的准确性,在将数据同步系数评估值Dsxs与评估阈值Xz进行对比后即可判定得到的数据同步系统是否稳定,从而高效、准确的完成对数据同步系统的评估;
4.本发明依据数据同步系数评估值Dsxs与评估阈值Xz的对比结果,通过执行的遍历策略,在确保信息数据格式一致的情况下,切换式选择不同的同步模式,不仅可以得到能够正式操作的数据同步系统,还能够得出最佳的同步模式,达到二次系统调试的作用,进一步保证能够得到稳定数据同步系统的准确性。
附图说明
图1为本发明线下与线上商品零售系统间的数据同步系统整体原理结构框图;
图2为现有线上商品零售系统和线下商品零售系统在实际运用时的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:请参阅图1,本发明提供一种线下与线上商品零售系统间的数据同步系统,包括线上商品零售系统和线下商品零售系统;线上商品零售系统和线下商品零售系统都是传统的系统,分别用于在线上和线下销售商品的相关业务;
线上商品零售系统:
线上商品零售系统是指在互联网上进行商品销售和交易的电子商务平台,它提供了在线商店的功能,允许用户通过网页或手机应用程序进行商品浏览、下单购买、支付和物流配送等操作,该系统通常包括商品管理、库存管理、订单管理、支付和物流管理等子系统,以支持线上销售的全流程业务运作;
线下商品零售系统:
线下商品零售系统是指传统的实体商店或零售连锁店使用的系统,该系统主要用于管理实体店铺中的商品、库存、销售、购物车、收银等业务,它可以有多种形式,如POS(点of Sale)系统、企业资源规划(ERP)系统等,用于跟踪商品库存、管理销售、票据打印和店铺经营分析等功能。
这两个系统通常都是独立运行的,但在数据同步方面需要保持一致性,以确保线上线下系统中的商品信息、库存、订单和销售等数据保持同步和一致,为此,本发明设计了线下与线上商品零售系统间的数据同步系统,以确保双方系统之间的数据流动和互通。
在线上商品零售系统和线下商品零售系统内分别建立线上数据源模块和线下数据源模块,其中的线上数据源模块和线下数据源模块对应线上商品零售系统和线下商品零售系统的数据库,用于存储对应系统内的信息数据,该信息数据至少包括商品信息、库存信息以及订单信息;
数据缓存模块,其包括待同步数据单元和格式统一单元,通过待同步数据单元提取线上数据源模块和线下数据源模块内待同步的信息数据,并利用格式统一单元对提取到的信息数据进行数据格式标准化处理,为了确保数据能够正确地在两个系统间进行传输和解析,需要设计统一的数据格式标准,例如采用JSON、XML等格式,其中的待同步的信息数据根据需要提前设定;例如:只需要同步信息数据中的商品信息和订单信息,暂时不需要用到库存信息时,或是后续对库存信息进行分批次数据同步处理,在一定程度上能够降低整个数据同步系统的运行负载;
数据同步模块,通过选定的同步模式完成对线上商品零售系统和线下商品零售系统中,经过数据格式标准化处理的信息数据进行同步处理;
同步模式为任意两种、不分先后组合的数据同步算法,且数据同步算法包括全量同步、增量同步、数据合并以及实时合并;
全量同步:将线下系统中的所有数据按照既定的规则全部同步至线上系统,这种算法适用于初始同步或需要完全更新线上数据的情况,全量同步算法可以简单粗暴地将线下系统的数据覆盖线上系统的数据,确保两个系统的数据一致;
增量同步:仅将线下系统中发生变动的数据同步至线上系统,这种算法适用于保持线上和线下数据一致,减少同步时间和网络传输压力的情况。增量同步算法可以通过记录线下系统中数据的变动情况,只同步变动的数据项,进行部分更新;
数据合并:将线下系统和线上系统的数据进行合并,解决冲突和重复数据的问题,这种算法适用于线上线下系统同时产生数据,并且可能出现数据冲突的情况,数据合并算法可以通过比较和合并数据,解决数据冲突,保留线上和线下系统的所有信息;
实时同步:通过实时数据流或事件驱动机制,将线下系统中的数据实时同步至线上系统。这种算法适用于要求线上线下数据保持准实时一致的情况,实时同步算法可以通过监听线下系统的数据变动事件,并立即将变动的数据同步至线上系统;
故,同步模式包括全量同步和增量同步、全量同步和数据合并、全量同步和实时同步、增量同步和数据合并、增量同步和实时同步、数据合并和实时同步这六种组合模式;
举例而言,选定全量同步和增量同步时:首先进行全量同步,将线下系统的所有数据覆盖到线上系统,确保初始数据一致性;然后采用增量同步,只同步线下系统中发生变动的数据到线上系统,保持数据的实时性和一致性;选定增量同步和实时同步时:在增量同步的基础上,只同步线下系统中发生变动的数据至线上系统,以保持数据的实时性和减少同步压力,而后通过实时同步算法,监听线下系统的数据变动事件,将变动的数据实时同步到线上系统,以保持数据的一致性。
仿真测试模块,搭建仿真模型,并于仿真模型内模拟运行数据同步系统的数据同步过程,判定线上商品零售系统和线下商品零售系统是否正常使用,若能够正常使用,则继续进行后续操作,若不能够正常使用,则重新建立线上数据源模块和线下数据源模块,直至能够正常使用;
需要说明的是:上述判定线上商品零售系统和线下商品零售系统是否能够正常使用的标准为模拟操作线上商品零售系统和线下商品零售系统,监测线上商品零售系统和线下商品零售系统是否在进行数据同步处理后无法正常操作或使用,其效果为:保证使用线下与线上商品零售系统间的数据同步系统后,不会影响到线上商品零售系统和线下商品零售系统自身的正常使用,从而实现基础性的对数据同步系统的初次测试处理。
通过采用上述技术方案:在数据同步模块之后设计仿真测试模块,在搭建的仿真模型中运行数据同步系统的数据同步过程,由于是模拟操作,使得在使用线下与线上商品零售系统间的数据同步系统后,能够监测加入数据同步系统后对线上商品零售系统和线下商品零售系统的影响,而不会影响到单独线上商品零售系统或线下商品零售系统自身正常的使用,实现对数据同步系统的基础性测试处理,达到初步调试的作用。
系统评估模块,其通过内置的数据获取子模块获取所需的相关参数,依据相关参数搭建数据分析模型,生成数据同步系数评估值Dsxs,并将数据同步系数评估值Dsxs与预设的评估阈值Xz进行对比,得到的对比结果为:
若数据同步系数评估值Dsxs超过评估阈值Xz,则表示数据同步系统不稳定,并执行遍历策略,用于使得数据同步系数评估值Dsxs变为未超过评估阈值Xz为止;
若数据同步系数评估值Dsxs未超过评估阈值Xz,则表示数据同步系统稳定,后续数据同步系统将正式得以运行,此时的数据同步系统不做出响应动作;需要说明的是:评估阈值Xz是根据历史数据获取设置的,也可根据实际需要进行相应的调整。
数据获取子模块获取所需相关参数的步骤为:
S101、采集数据:采集模拟运行数据同步系统时,在线上商品零售系统和线下商品零售系统中信息数据的同步延迟,即在预定的时间周期内,各个信息数据的最大延迟时间、在线上商品零售系统和线下商品零售系统中信息数据的同步频率/>,即在预定的时间周期内,各个信息数据的同步次数以及在网络间歇性中断条件下,各个信息数据中发生同步数据错误量Sn;需要说明的是:网络间歇性中断的时间间隔为T0,T0取0.5min~1min中,常取1min作为网络间歇性中断的断网时间;本申请中提及的在预定的时间周期内通常为在T0时间周期内,例如:T0=1h或是1天,根据具体情况选定实际的时间周期即可。
S102、数据预处理:对同步延迟、同步频率/>以及同步数据错误量Sn做无量纲化处理,去除单位后即可进行后续的计算处理;
S103、参数计算:对采集的数据进行计算,计算生成同步延迟指数Zys所依据的公式如下:
;
式中,同步延迟中的t表示对应各个信息数据的编号,n表示信息数据中种类总量;
举例而言,若是信息数据只是包括商品信息、库存信息以及订单信息,则商品信息、库存信息以及订单信息对应的同步延迟分别为,则信息数据中种类总量n取3;
计算生成同步频率指数Czs所依据的公式如下:
;
式中,同步延迟中的t表示对应各个信息数据的编号,n表示信息数据中种类总量;
计算生成错误指数Scs所依据的公式如下:
;
式中,n表示信息数据中种类总量;
故,同步延迟指数Zys、同步频率指数Czs以及错误指数Scs为所需的相关参数。
而后,通过系统评估模块生成数据同步系数评估值Dsxs所依据的公式如下:
;
式中,P1、P2、P3分别为同步延迟指数Zys、同步频率指数Czs以及错误指数Scs的预设比例系数,且P3>P1>P2>0,P1和P2和P3=2.54,为常数修正系数,其具体值可由用户调整设置,或者由分析函数拟合生成,且G在本发明中的具体取值为1.38。
通过采用上述技术方案:将数据同步模块和系统评估模块配合使用,以采集到的数据为基础,获取相关参数中的同步延迟指数Zys、同步频率指数Czs以及错误指数Scs,并依据相关参数来生成数据同步系数评估值Dsxs,综合考虑了各个因素,以确保数据同步系数评估值Dsxs的准确性,在将数据同步系数评估值Dsxs与评估阈值Xz进行对比后即可判定得到的数据同步系统是否稳定,从而高效、准确的完成对数据同步系统的评估。
在将数据同步系数评估值Dsxs与预设的评估阈值Xz进行对比后,若数据同步系数评估值Dsxs超过评估阈值Xz,执行的遍历策略为:
S201、二次验证经过数据缓冲模块处理后的信息数据,若待同步的信息数据格式一致,则继续进行后一步操作,若待同步的信息数据格式不一致,则重新运行数据缓冲模块,直至待同步的信息数据格式一致;
S202、搭建规则引擎,对同步模式中六种组合的数据同步算法进行排序,依次为模式一、全量同步和增量同步,模式二、全量同步和数据合并,模式三、全量同步和实时同步;模式四、增量同步和数据合并、模式五、增量同步和实时同步,模式六、数据合并和实时同步,以模式一为起点,依次执行各个模式,直至在系统评估模块中得到数据同步系数评估值Dsxs未超过评估阈值Xz的结果为止;
具体的,上述各个模式中可能会存在若干模式,若干模式中数据同步系数评估值Dsxs均未超过评估阈值Xz,若是想要确保数据同步系统具有更高的稳定性,则选取并运行最小数据同步系数评估值Dsx对应的模式。
通过采用上述技术方案:依据数据同步系数评估值Dsxs与评估阈值Xz的对比结果,通过执行的遍历策略,在确保信息数据格式一致的情况下,切换式选择不同的同步模式,不仅可以得到能够正式操作的数据同步系统,还能够得出最佳的同步模式,达到二次系统调试的作用,进一步保证能够得到稳定数据同步系统的准确性。
实施例2:以实施例1为基础,本实施例提供一种线下与线上商品零售系统间的数据同步方法,包括如下具体步骤:
步骤一、建立数据库:在线上商品零售系统和线下商品零售系统内分别建立对应的数据库,用于存储对应系统内的信息数据,该信息数据至少包括商品信息、库存信息以及订单信息;
步骤二、信息数据处理:提取两个数据库内待同步的信息数据,并对提取到的信息数据进行数据格式标准化处理,以形成统一的数据格式;
步骤三、数据同步:通过选定的同步模式完成对线上商品零售系统和线下商品零售系统中,经过数据格式标准化处理的信息数据进行同步处理,同步模式为任意两种、不分先后组合的数据同步算法,且数据同步算法包括全量同步、增量同步、数据合并以及实时合并,同步模式包括全量同步和增量同步、全量同步和数据合并、全量同步和实时同步、增量同步和数据合并、增量同步和实时同步、数据合并和实时同步这六种组合模式;
步骤四、仿真测试:搭建仿真模型,并于仿真模型内模拟运行数据同步系统的数据同步过程,判定线上商品零售系统和线下商品零售系统是否正常使用;
若能够正常使用,则继续进行后续操作;
若不能够正常使用,则重新建立对应的数据库,直至能够正常使用;
步骤五、系统评估:获取所需的相关参数,依据相关参数搭建数据分析模型,生成数据同步系数评估值Dsxs,并将数据同步系数评估值Dsxs与预设的评估阈值Xz进行对比;
若数据同步系数评估值Dsxs超过评估阈值Xz,则执行遍历策略,使得数据同步系数评估值Dsxs变为未超过评估阈值Xz为止,执行的遍历策略为:
首先、二次验证经过数据缓冲模块处理后的信息数据,若待同步的信息数据格式一致,则继续进行后一步操作,若待同步的信息数据格式不一致,则重新运行数据缓冲模块,直至待同步的信息数据格式一致;
而后、搭建规则引擎,对同步模式中六种组合的数据同步算法进行排序,依次为模式一、全量同步和增量同步,模式二、全量同步和数据合并,模式三、全量同步和实时同步;模式四、增量同步和数据合并、模式五、增量同步和实时同步,模式六、数据合并和实时同步,以模式一为起点,依次执行各个模式,直至在系统评估模块中得到数据同步系数评估值Dsxs未超过评估阈值Xz的结果为止;
若数据同步系数评估值Dsxs未超过评估阈值Xz,则不做出响应动作。
上述公式均是去量纲取其数值计算,公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式,公式中的预设参数由本领域的技术人员根据实际情况进行设置。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件,或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,既可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (9)
1.一种线下与线上商品零售系统间的数据同步系统,包括线上商品零售系统和线下商品零售系统,其特征在于:在线上商品零售系统和线下商品零售系统内分别建立线上数据源模块和线下数据源模块,存储对应系统内的信息数据;
还包括:数据缓存模块,提取线上数据源模块和线下数据源模块内待同步的信息数据,并进行数据格式标准化处理;
数据同步模块,通过选定的同步模式完成对线上商品零售系统和线下商品零售系统中,经过数据格式标准化处理的信息数据进行同步处理;
仿真测试模块,搭建仿真模型,并于仿真模型内模拟运行数据同步系统的数据同步过程,判定线上商品零售系统和线下商品零售系统是否正常使用;
系统评估模块,其通过内置的数据获取子模块获取所需的相关参数,依据相关参数搭建数据分析模型,生成数据同步系数评估值Dsxs,并将数据同步系数评估值Dsxs与预设的评估阈值Xz进行对比,得到的对比结果为:
若数据同步系数评估值Dsxs超过评估阈值Xz,则执行遍历策略;
若数据同步系数评估值Dsxs未超过评估阈值Xz,则不做出响应动作。
2.根据权利要求1所述的一种线下与线上商品零售系统间的数据同步系统,其特征在于:线上数据源模块和线下数据源模块分别对应线上商品零售系统和线下商品零售系统的数据库,用于存储对应系统内的信息数据,且信息数据至少包括商品信息、库存信息以及订单信息。
3.根据权利要求1所述的一种线下与线上商品零售系统间的数据同步系统,其特征在于:数据缓存模块包括待同步数据单元和格式统一单元;
其中,待同步数据单元用于提取待同步的信息数据;格式统一单元用于对提取到的信息数据进行数据格式标准化处理,以形成统一的数据格式。
4.根据权利要求1所述的一种线下与线上商品零售系统间的数据同步系统,其特征在于:在数据同步模块中的同步模式为任意两种、不分先后组合的数据同步算法,且数据同步算法包括全量同步、增量同步、数据合并以及实时合并,同步模式包括全量同步和增量同步、全量同步和数据合并、全量同步和实时同步、增量同步和数据合并、增量同步和实时同步、数据合并和实时同步。
5.根据权利要求1所述的一种线下与线上商品零售系统间的数据同步系统,其特征在于:在仿真测试模块中判定线上商品零售系统和线下商品零售系统是否正常使用,若能够正常使用,则继续进行后续操作,若不能够正常使用,则重新建立线上数据源模块和线下数据源模块,直至能够正常使用。
6.根据权利要求4所述的一种线下与线上商品零售系统间的数据同步系统,其特征在于:数据获取子模块获取所需相关参数的步骤为:
S101、采集数据:采集模拟运行数据同步系统时,在线上商品零售系统和线下商品零售系统中信息数据的同步延迟,即在预定的时间周期内,各个信息数据的最大延迟时间、在线上商品零售系统和线下商品零售系统中信息数据的同步频率/>,即在预定的时间周期内,各个信息数据的同步次数以及在网络间歇性中断条件下,各个信息数据中发生同步数据错误量Sn;
S102、数据预处理:对同步延迟、同步频率/>以及同步数据错误量Sn做无量纲化处理;
S103、参数计算:对采集的数据进行计算,计算生成同步延迟指数Zys所依据的公式如下:
;
式中,同步延迟中的t表示对应各个信息数据的编号,n表示信息数据中种类总量;
计算生成同步频率指数Czs所依据的公式如下:
;
式中,同步延迟中的t表示对应各个信息数据的编号,n表示信息数据中种类总量;
计算生成错误指数Scs所依据的公式如下:
;
式中,n表示信息数据中种类总量。
7.根据权利要求6所述的一种线下与线上商品零售系统间的数据同步系统,其特征在于:通过系统评估模块生成数据同步系数评估值Dsxs所依据的公式如下:
;
式中,P1、P2、P3分别为同步延迟指数Zys、同步频率指数Czs以及错误指数Scs的预设比例系数,且P3>P1>P2>0,,/>为常数修正系数。
8.根据权利要求7所述的一种线下与线上商品零售系统间的数据同步系统,其特征在于:在将数据同步系数评估值Dsxs与预设的评估阈值Xz进行对比后,若数据同步系数评估值Dsxs超过评估阈值Xz,执行的遍历策略为:
S201、二次验证经过数据缓冲模块处理后的信息数据,若待同步的信息数据格式一致,则继续进行后一步操作,若待同步的信息数据格式不一致,则重新运行数据缓冲模块,直至待同步的信息数据格式一致;
S202、搭建规则引擎,对同步模式中六种组合的数据同步算法进行排序,依次为模式一、全量同步和增量同步,模式二、全量同步和数据合并,模式三、全量同步和实时同步;模式四、增量同步和数据合并、模式五、增量同步和实时同步,模式六、数据合并和实时同步,以模式一为起点,依次执行各个模式,直至在系统评估模块中得到数据同步系数评估值Dsxs未超过评估阈值Xz的结果为止。
9.一种线下与线上商品零售系统间的数据同步方法,使用权利要求1至8中的任一种所述系统,其特征在于:包括如下步骤:
建立数据库:在线上商品零售系统和线下商品零售系统内分别建立对应的数据库,用于存储对应系统内的信息数据,该信息数据至少包括商品信息、库存信息以及订单信息;
信息数据处理:提取两个数据库内待同步的信息数据,并对提取到的信息数据进行数据格式标准化处理,以形成统一的数据格式;
数据同步:通过选定的同步模式完成对线上商品零售系统和线下商品零售系统中,经过数据格式标准化处理的信息数据进行同步处理,同步模式为任意两种、不分先后组合的数据同步算法,且数据同步算法包括全量同步、增量同步、数据合并以及实时合并,同步模式包括全量同步和增量同步、全量同步和数据合并、全量同步和实时同步、增量同步和数据合并、增量同步和实时同步、数据合并和实时同步这六种组合模式;
仿真测试:搭建仿真模型,并于仿真模型内模拟运行数据同步系统的数据同步过程,判定线上商品零售系统和线下商品零售系统是否正常使用;
若能够正常使用,则继续进行后续操作;
若不能够正常使用,则重新建立对应的数据库,直至能够正常使用;
系统评估:获取所需的相关参数,依据相关参数搭建数据分析模型,生成数据同步系数评估值Dsxs,并将数据同步系数评估值Dsxs与预设的评估阈值Xz进行对比;
若数据同步系数评估值Dsxs超过评估阈值Xz,则执行遍历策略,使得数据同步系数评估值Dsxs变为未超过评估阈值Xz为止;
若数据同步系数评估值Dsxs未超过评估阈值Xz,则不做出响应动作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311309144.0A CN117056432B (zh) | 2023-10-11 | 2023-10-11 | 一种线下与线上商品零售系统间的数据同步方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311309144.0A CN117056432B (zh) | 2023-10-11 | 2023-10-11 | 一种线下与线上商品零售系统间的数据同步方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117056432A true CN117056432A (zh) | 2023-11-14 |
CN117056432B CN117056432B (zh) | 2023-12-12 |
Family
ID=88664782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311309144.0A Active CN117056432B (zh) | 2023-10-11 | 2023-10-11 | 一种线下与线上商品零售系统间的数据同步方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117056432B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103152418A (zh) * | 2013-03-08 | 2013-06-12 | 上海伊邦医药信息科技有限公司 | 线下与线上互联网商品零售系统间的数据同步系统和方法 |
US20160259837A1 (en) * | 2014-03-24 | 2016-09-08 | Hitachi, Ltd. | Database management system and method for controlling synchronization between databases |
CN111967830A (zh) * | 2020-08-28 | 2020-11-20 | 上加下信息技术成都有限公司 | 一种线上线下库存同步方法 |
US20210056595A1 (en) * | 2019-08-20 | 2021-02-25 | Shopify Inc. | Channel synchronization engine with call control |
-
2023
- 2023-10-11 CN CN202311309144.0A patent/CN117056432B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103152418A (zh) * | 2013-03-08 | 2013-06-12 | 上海伊邦医药信息科技有限公司 | 线下与线上互联网商品零售系统间的数据同步系统和方法 |
US20160259837A1 (en) * | 2014-03-24 | 2016-09-08 | Hitachi, Ltd. | Database management system and method for controlling synchronization between databases |
US20210056595A1 (en) * | 2019-08-20 | 2021-02-25 | Shopify Inc. | Channel synchronization engine with call control |
CN111967830A (zh) * | 2020-08-28 | 2020-11-20 | 上加下信息技术成都有限公司 | 一种线上线下库存同步方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117056432B (zh) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Eriksson et al. | Customer retention, purchasing behavior and relationship substance in professional services | |
CN107392544B (zh) | 通用零售管理系统及方法 | |
Higuchi et al. | Dynamic simulation of the supply chain for a short life cycle product—Lessons from the Tamagotchi case | |
CN102859938A (zh) | 通过网络化计算资源对数据进行同步处理 | |
WO2015031173A2 (en) | Rule to constraint translator for business application systems | |
Småros | Collaborative forecasting: a selection of practical approaches | |
US10825078B2 (en) | System and method for routing order lookups from retail systems | |
JP5537454B2 (ja) | 証券売買模擬システム | |
US20220137585A1 (en) | Engineering based digital twin platform | |
Deng et al. | Multi-channel autobidding with budget and ROI constraints | |
CN112330422A (zh) | 一种用于制造业工厂的智能可视化交互系统 | |
Mutanov et al. | APPLICATION OF SYSTEM-DYNAMIC MODELING TO IMPROVE DISTRIBUTION LOGISTICS PROCESSES IN THE SUPPLY CHAIN. | |
Chen et al. | The role of feedback in changing organizational routine: A case study of Haier, China | |
CN117056432B (zh) | 一种线下与线上商品零售系统间的数据同步方法及系统 | |
US20180225767A1 (en) | Investment management proposal system | |
Gunasekaran et al. | A review of multimedia technology in manufacturing | |
Patibandla et al. | Automatic machine learning: An exploratory review | |
CN111861153A (zh) | 一种食品网联式监测管理系统及实现方法 | |
KR102313325B1 (ko) | 글로벌 자산배분 서비스 제공 방법 및 그 장치 | |
WO2019146233A1 (ja) | 業務プロセス設計支援方法及び業務プロセス設計支援装置 | |
US20030088431A1 (en) | Automatic price correcting system | |
Småros | Collaborative forecasting in practice | |
US20230376897A1 (en) | Methods and systems for re-estimating stock | |
US20220138777A1 (en) | A method and system of generating predictive model for predicting consumer purchase behaviour | |
Mercorelli et al. | Industry 4.0 more than a challenge in modeling, identification, and control for cyber-physical systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |