CN110209733B - 多系统数据融合方法、装置、计算机设备和存储介质 - Google Patents
多系统数据融合方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110209733B CN110209733B CN201910353300.0A CN201910353300A CN110209733B CN 110209733 B CN110209733 B CN 110209733B CN 201910353300 A CN201910353300 A CN 201910353300A CN 110209733 B CN110209733 B CN 110209733B
- Authority
- CN
- China
- Prior art keywords
- commodity
- information
- corresponding relation
- data
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 91
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 238000012423 maintenance Methods 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 27
- 238000013479 data entry Methods 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 12
- 238000012790 confirmation Methods 0.000 claims description 8
- 239000012634 fragment Substances 0.000 claims description 5
- 238000013467 fragmentation Methods 0.000 claims 1
- 238000006062 fragmentation reaction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0623—Item investigation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本申请涉及一种多系统数据融合方法、装置、计算机设备和存储介质。所述方法包括:根据第一系统和第二系统间的商品关联信息,获取第二系统的商品数据,将获取到的商品数据存储于本地的第二系统商品基本信息表;建立第一系统和第二系统的商品参数描述信息对应关系;根据第一系统的商品信息和商品参数描述信息对应关系,建立第一系统和第二系统的商品对应关系;根据第二系统商品基本信息表和商品对应关系,对第二系统的商品数据进行质量检测。采用本方法能够降低商品数据质量检测难度,提升商品据质量检测效率。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种多系统数据融合方法、装置、计算机设备和存储介质。
背景技术
随着互联网技术的不断发展,足不出户便可购到所需物品的网络购物方式变得越来越流行,而电商网站是网络购物的载体,其上承载了大量商品的相关信息,人们的网购活动主要在电商网站上完成。而现有的电商网站也多种多样,在不同的电商网站上可能出现同一商品用不同参数进行描述的现象,即便是同一商家的同一商品在不同电商网站的参数描述方式很多时候也是不同的。
对于一些大型商家,商品种类繁多,常会因部分人员对店铺后台操作有误,导致电商网站的日常商品维护中出现较多错误,例如,编辑错误、关联错误/未关联、上错商品、误删商品或者库存数量有误等等。因此,有必要对电商网站的商品数据进行质量检测,然而,由于不同电商网站的参数描述方式,会加大商品数据质量检测难度,商品数据质量检测效率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够降低商品数据质量检测难度以及提升商品数据质量检测效率的多系统数据融合方法、装置、计算机设备和存储介质。
一种多系统数据融合方法,所述方法包括:
根据第一系统和第二系统间的商品关联信息,获取第二系统的商品数据,将获取到的商品数据存储于本地的第二系统商品基本信息表;
建立第一系统和第二系统的商品参数描述信息对应关系;
根据第一系统的商品信息和商品参数描述信息对应关系,建立第一系统和第二系统的商品对应关系;
根据第二系统商品基本信息表和商品对应关系,对第二系统的商品数据进行质量检测。
在其中一个实施例中,上述的根据第一系统和第二系统间的商品关联信息,获取第二系统的商品数据,包括:
获取第二系统的商品更新时间片,根据商品更新时间片确定时间分片参数;
根据时间分片参数,并采用多线程并发方式调用预设的拉取第二系统商品数据接口,拉取第二系统商品数据接口根据分片参数和商品关联信息,获取第二系统的商品数据。
在其中一个实施例中,上述的根据商品更新时间片确定时间分片参数,包括:
将商品更新时间片划分成多个子时间片,将子时间片的分片参数作为确定时间分片参数,其中,不同子时间片对应不同的线程。
在其中一个实施例中,上述的根据时间分片参数,并采用多线程并发方式调用预设的拉取第二系统商品数据接口,包括:
获取第二系统的当前时间片内的商品总数,根据商品总数确定总分页数;
按照总分页数,循环调用商品分页查询接口,商品分页查询接口分页获取第二系统的商品数据;
分别解析各页的商品数据,得到各数据条目,将各数据条目存储于第二系统商品基本信息表中。
在其中一个实施例中,上述的商品参数描述信息对应关系包括商品类目对应关系、商品品牌对应关系和商品种类信息对应关系。
在其中一个实施例中,上述的建立第一系统和第二系统的商品参数描述信息对应关系,包括:
定时同步第一系统的商品类目,定时拉取第二系统的商品类目,获取第一系统的商品类目和第二系统的商品类目的第一关联操作信息,根据第一关联操作信息生成商品类目对应关系;
定时同步第一系统的商品品牌,定时拉取第二系统的商品品牌,获取第一系统的商品品牌的第二系统的商品品牌的第二关联操作信息,根据第二关联操作信息生成商品品牌对应关系;
定时同步第一系统的商品种类信息,定时拉取第二系统的商品种类信息,获取第一系统的商品种类信息的第二系统的商品种类信息的第三关联操作信息,根据第三关联操作信息生成商品种类信息对应关系。
在其中一个实施例中,上述的方法还包括:
根据质量检测的检测结果,确定当前告警等级,采用与当前告警等级对应的告警方式输出告警信息。
在其中一个实施例中,上述的方法还包括:
根据第二系统商品基本信息表和商品对应关系,对第二系统进行融合商品维护,融合商品维护包括商品上架、商品下架、商品编辑、保质期维护、监控类目维护和商品白名单中的任意一个或者任意组合。
在其中一个实施例中,上述的根据第二系统商品基本信息表和商品对应关系,对第二系统的商品数据进行质量检测,包括:
接收商品数据质量检测请求,商品数据质量检测请求包括目标商品在第一系统中的商品信息;
根据目标商品在第一系统中的商品信息、第二系统商品基本信息表和商品对应关系,确定目标商品在第二系统中的商品数据;
对目标商品在第二系统中的商品数据进行质量检测。
在其中一个实施例中,上述的根据目标商品在第一系统中的商品信息、第二系统商品基本信息表和商品对应关系,确定目标商品在第二系统中的商品数据,包括:
在商品对应关系中,查询与目标商品在第一系统中的商品信息匹配的目标商品对应关系条目;
显示目标商品对应关系条目,并生成提示信息,提示信息用于指示用户检测目标商品对应关系条目;
在检测到用户对目标商品对应关系条目的确认信息时,根据目标商品在第一系统中的商品信息和目标商品对应关系条目,确定目标商品在第二系统中的商品数据。
一种多系统数据融合装置,该装置包括:
获取模块,用于根据第一系统和第二系统间的商品关联信息,获取第二系统的商品数据,将获取到的商品数据存储于本地的第二系统商品基本信息表;
第一建立模块,用于建立商品在第一系统和第二系统的商品类目对应关系、商品品牌对应关系和商品种类信息对应关系,商品类目对应关系、商品品牌对应关系和商品种类信息对应关系分别为商品类目对应关系、商品品牌对应关系和商品种类信息对应关系;
第二建立模块,用于根据第一系统的商品信息、商品类目对应关系、商品品牌对应关系和商品种类信息对应关系,建立第一系统和第二系统的商品对应关系;
检测模块,用于根据第二系统商品基本信息表和商品对应关系,对第二系统的商品数据进行质量检测。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
根据第一系统和第二系统间的商品关联信息,获取第二系统的商品数据,将获取到的商品数据存储于本地的第二系统商品基本信息表;
建立第一系统和第二系统的商品参数描述信息对应关系;
根据第一系统的商品信息和商品参数描述信息对应关系,建立第一系统和第二系统的商品对应关系;
根据第二系统商品基本信息表和商品对应关系,对第二系统的商品数据进行质量检测。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
根据第一系统和第二系统间的商品关联信息,获取第二系统的商品数据,将获取到的商品数据存储于本地的第二系统商品基本信息表;
建立第一系统和第二系统的商品参数描述信息对应关系;
根据第一系统的商品信息和商品参数描述信息对应关系,建立第一系统和第二系统的商品对应关系;
根据第二系统商品基本信息表和商品对应关系,对第二系统的商品数据进行质量检测。
上述多系统数据融合方法、装置、计算机设备和存储介质,是根据第一系统和第二系统间的商品关联信息,获取第二系统的商品数据,将获取到的商品数据存储于本地的第二系统商品基本信息表,建立第一系统和第二系统的商品参数描述信息对应关系,根据第一系统的商品信息和商品参数描述信息对应关系,建立第一系统和第二系统的商品对应关系,根据第二系统商品基本信息表和商品对应关系,对第二系统的商品数据进行质量检测。如此,可以根据商品对应关系对第二系统的商品数据进行质量检测,能够降低商品数据质量检测难度,提升商品数据质量检测效率,对于第二系统较多时,效果会尤为明显。
附图说明
图1为一个实施例中多系统数据融合方法的应用环境图;
图2为一个实施例中多系统数据融合方法的流程示意图;
图3为一个实施例中获取第二系统的商品数据步骤的流程示意图;
图4为一个实施例中根据时间分片参数拉取第二系统商品数据接口步骤的流程示意图;
图5为一个实施例中商品参数描述信息对应关系建立步骤的流程示意图;
图6为一个实施例中检测第二系统的商品数据质量步骤的流程示意图;
图7为一个实施例中确定目标商品在第二系统中的商品数据步骤的流程示意图;
图8为一个实施例中的商品系统网络拓扑图;
图9为一个实施例中的商品搬家的流程示意图;
图10为一个实施例中的商品搬家的逻辑时序图;
图11为一个实施例中的商品同步执行流程的时序图;
图12为一个实施例中的商品基本信息体检流程的时序图;
图13为一个实施例中的商品保质期体检流程时序图;
图14为一个实施例中的商品数据融合流程时序图;
图15为一个实施例中多系统数据融合装置的结构框图;
图16为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的多系统数据融合方法,可以应用于如图1所示的应用环境中。其中,第一系统102和第二系统104通过网络与服务器106进行通信,服务器106与终端108通过网络进行通信。服务器106建立了商品对应关系,该商品对应关系为两系统的商品参数描述信息对应关系和第一系统102的商品信息的对应关系,如此,可以基于该商品对应关系对第二系统的商品数据进行质量检测,能够降低商品数据质量的检测难度,也可以提升商品数据质量检测效率。其中,服务器106可以用独立的系统或者是多个系统组成的系统集群来实现,第一系统102可以指商家的商品服务器,第二系统104可以指电商平台的商品服务器,第二系统104可以为一个也可以为多个,终端108可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
在一个实施例中,如图2所示,提供了一种多系统数据融合方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,根据第一系统和第二系统间的商品关联信息,获取第二系统的商品数据,将获取到的商品数据存储于本地的第二系统商品基本信息表;
这里,商品关联信息是第一系统和第二系统的共有信息,该共有信息在第一系统和第二系统的表征含义可以相同也可以不同,该商品关联信息可以包括商品在第一系统中的第一信息、商品在第二系统中的第二信息,且包括第一信息和第二信息之间的关联关系。例如,第一系统的商品编码作为第二系统的商家编码,这个第一系统的商品编码(或者说第二系统的商家编码)就是这里的商品关联信息。这里,第二系统的数据可以为一个,也可以为多个。
具体地,服务器根据第一系统和第二系统间的商品关联信息,获取第二系统中的与该商品关联信息匹配的商品数据,对获取到的商品数据预处理后存储于本地的第二系统商品基本信息表。
步骤204,建立第一系统和第二系统的商品参数描述信息对应关系;
这里,商品参数描述信息可以包括但不限于是商品类目信息、商品品牌信息和商品SKU(种类)信息。
这里,商品参数描述信息对应关系是第一系统的商品参数描述信息和第二系统的商品参数描述信息的对应关系。
步骤206,根据第一系统的商品信息和商品参数描述信息对应关系,建立第一系统和第二系统的商品对应关系;
具体地,可以根据预设的第一系统的商品信息和第一系统的商品参数描述信息的对应关系,以及商品参数描述信息对应关系,建立第一系统和第二系统的商品对应关系。或者,也可以根据商品关联信息,将第一系统的商品信息和商品参数描述信息对应关系关联在一起,生成商品对应关系。
对于包括多个第二系统的场景,也可以分别建立第一系统和每个第二系统的商品对应关系,也可以是第一系统和全部第二系统总的商品对应关系。
步骤208,根据第二系统商品基本信息表和商品对应关系,对第二系统的商品数据进行质量检测。
这里,商品数据的质量检测可以是对全量在售商品的质量检测、特定监控类目下在售商品的质量检测或者套餐商品的质量检测。可以预先配置检测规则,根据该检测规则对第二系统的商品数据进行质量检测。
需要说明的是,步骤202与步骤204和步骤206,也可以不限于上述先后顺序执行,也可以同时执行。
上述多系统数据融合方法中,是根据第一系统和第二系统间的商品关联信息,获取第二系统的商品数据,将获取到的商品数据存储于本地的第二系统商品基本信息表,建立第一系统和第二系统的商品参数描述信息对应关系,根据第一系统的商品信息和商品参数描述信息对应关系,建立第一系统和第二系统的商品对应关系,根据第二系统商品基本信息表和商品对应关系,对第二系统的商品数据进行质量检测,如此,可以根据第一系统的商品信息对第二系统的商品数据进行质量检测,能够降低商品数据质量检测难度,提升商品数据质量检测效率,对于第二系统较多时,效果会尤为明显,例如,即便用户对第二系统的商品参数描述信息不熟悉,也可以采用本发明方案对第二系统的商品数据进行质量检测。
在其中一个实施例中,如图3所示,上述的根据第一系统和第二系统间的商品关联信息,获取第二系统的商品数据,可以包括如下步骤:
步骤302,获取第二系统的商品更新时间片,根据商品更新时间片确定时间分片参数;
这里,商品更新时间片可以指第二系统的本次商品数据更新的时间段信息,或者指第二系统的商品数据更新周期;
这里,时间分片参数指对商品更新时间片进行时间片划分得到的时间分片。
步骤304,根据时间分片参数,并采用多线程并发方式调用预设的拉取第二系统商品数据接口,拉取第二系统商品数据接口根据分片参数和商品关联信息,获取第二系统的商品数据。
其中,不同时间分片参数对应不同的线程,多个线程间并行执行。
采用本实施例的方案,可以准实时的、完整的获取第二系统的商品数据(或者称为商品信息)。
在其中一个实施例中,上述的根据商品更新时间片确定时间分片参数,可以包括步骤:将商品更新时间片划分成多个子时间片,将子时间片的分片参数作为确定时间分片参数,其中,不同子时间片对应不同的线程。
采用本实施例的方案,可以进一步提高第二系统的商品数据获取的实时性。
在其中一个实施例中,如图4所示,上述的根据时间分片参数,并采用多线程并发方式调用预设的拉取第二系统商品数据接口,可以包括如下步骤:
步骤402,获取第二系统的当前时间片内的商品总数,根据商品总数确定总分页数;
步骤404,按照总分页数,分页获取第二系统的商品数据;
步骤406,分别解析各页的商品数据,得到各数据条目,将各数据条目存储于第二系统商品基本信息表中。
采用本实施例的方案,可以每获取到一页的第二系统的商品数据,就可以执行商品数据的解析组装,而不需要等各页数的商品数据全部获取后再执行商品数据的解析组装,也可以进一步提高第二系统的商品数据获取的实时性。
在其中一个实施例中,上述的商品参数描述信息对应关系包括商品类目对应关系、商品品牌对应关系和商品种类信息对应关系。
这里,商品类目对应关系可以是指第一系统的商品类目和第二系统的商品类目的对应关系,或者,是第一系统的商品类目和第一系统的在第二系统销售的商品的类目的对应关系。商品品牌对应关系和商品种类信息对应关系同理,在此不予赘述。
本实施例中,考虑了商品类目、商品品牌和商品种类信息等多种商品参数描述信息,可以提升商品数据质量检测的便利性。
在其中一个实施例中,如图5所示,上述的建立第一系统和第二系统的商品参数描述信息对应关系,可以包括如下步骤:
步骤502,定时同步第一系统的商品类目,定时拉取第二系统的商品类目,获取第一系统的商品类目和第二系统的商品类目的第一关联操作信息,根据第一关联操作信息生成商品类目对应关系;
具体地,可以定时同步第一系统的商品类目,定时拉取第二系统的商品类目,显示第一系统的商品类目和第二系统的商品类目,供用户建立商品类目间的关联,获取用户对第一系统的商品类目和第二系统的商品类目的第一关联操作信息,根据第一关联操作信息生成商品类目对应关系。
具体地,也可以定时同步第一系统的商品类目,定时拉取第二系统的商品类目,将本次同步的第一系统的商品类目和上次同步的第一系统的商品类目进行比较,获得本次更新的第一系统的商品类目,并将本次拉取的第二系统的商品类目与上次拉取的第二系统的商品类目进行比较,获得本次更新的第二系统的商品类目,显示本次更新的第一系统的商品类目和本次更新的第二系统的商品类目,供用户建立更新的商品类目间的关联,获取用户对本次更新的本次更新的第一系统的商品类目的第二系统的商品类目的第一关联操作信息,,根据第一关联操作信息生成更新的商品类目对应关系,将更新的商品类目对应关系将上次得到的商品类目对应关系得到新的商品类目对应关系,即本次的商品类目对应关系。
步骤504,定时同步第一系统的商品品牌,定时拉取第二系统的商品品牌,获取第一系统的商品品牌的第二系统的商品品牌的第二关联操作信息,根据第二关联操作信息生成商品品牌对应关系;
步骤506,定时同步第一系统的商品种类信息,定时拉取第二系统的商品种类信息,获取第一系统的商品种类信息的第二系统的商品种类信息的第三关联操作信息,根据第三关联操作信息生成商品种类信息对应关系。
步骤504和步骤506,可以对应地参照步骤502中的描述,在此不会赘述。
本实施例中,采用定时生成商品类目对应关系、商品品牌对应关系和商品种类信息对应关系,可以尽量保证商品类目对应关系、商品品牌对应关系和商品种类信息对应关系的完整性。本实施例中的建立第一系统和第二系统的商品参数描述信息对应关系,可以周期性进行,即每隔固定时间执行一次商品参数描述信息对应关系的建立操作,该固定时间的大小,可以根据实际需要设定。
在其中一个实施例中的多系统数据融合方法还可以包括:根据质量检测的检测结果,确定当前告警等级,采用与当前告警等级对应的告警方式输出告警信息。
其中,当前告警等级可以是不告警、第一级告警、第二级告警和第三级告警等中的任意一种告警等级,不同的告警等级对应不同的告警方式,告警方式可以采用实际需要选取,例如,邮件告警、短信告警和电话告警。
采用本实施例中的方案,便于用户根据告警方式获知检测结果的好坏程度。
在其中一个实施例中的多系统数据融合方法还可以包括:根据第二系统商品基本信息表和商品对应关系,对第二系统进行融合商品维护,融合商品维护包括商品上架、商品下架、商品编辑、保质期维护、监控类目维护和商品白名单中的任意一个或者任意组合。
本实施例方案中,还将商品对应关系应用到第二系统的融合商品维护中,可以提升商品维护的便利性和效率。
在其中一个实施例中,如图6所示,上述的根据第二系统商品基本信息表和商品对应关系,对第二系统的商品数据进行质量检测,可以包括如下步骤:
步骤602,接收商品数据质量检测请求,商品数据质量检测请求包括目标商品在第一系统中的商品信息;
其中,目标商品可以是第一系统的全部商品,也可以是部分商品。目标商品在第一系统中的商品信息可以是目标商品在第一系统中的一种或者多种商品信息。
步骤604,根据目标商品在第一系统中的商品信息、第二系统商品基本信息表和商品对应关系,确定目标商品在第二系统中的商品数据;
步骤606,对目标商品在第二系统中的商品数据进行质量检测。
需要说的是,本实施例中的方案,仅是一种根据第二系统商品基本信息表和商品对应关系,对第二系统的商品数据进行质量检测的方式,用户根据检测需要,选定不同的方式进行商品数据质量检测。例如,本实施例中的商品数据质量检测请求包括目标商品在第一系统中的商品信息,也可以是目标商品的其他类型的信息。
在其中一个实施例中,如图7所示,上述的根据目标商品在第一系统中的商品信息、第二系统商品基本信息表和商品对应关系,确定目标商品在第二系统中的商品数据,可以包括如下步骤:
步骤702,在商品对应关系中,查询与目标商品在第一系统中的商品信息匹配的目标商品对应关系条目;
步骤704,显示目标商品对应关系条目,并生成提示信息,提示信息用于指示用户检测目标商品对应关系条目;
步骤706,在检测到用户对目标商品对应关系条目的确认信息时,根据目标商品在第一系统中的商品信息和目标商品对应关系条目,确定目标商品在第二系统中的商品数据。
这里,目标商品对应关系条目的确认信息即用户确认目标商品对应关系条目无误的信息。
本实施例中,通过用户目标商品对应关系条目再确认的方式,可以提升目标商品在第二系统中的商品数据确定的准确性,进一步提升商品数据质量检测的准确性。
为了便于理解本发明的方案,以下通过一个具体示例进行说明。在该具体示例中是以第一系统的商品在第二系统上出售为例,且上述的服务器包括第三方数据系统、第三方管理系统和第三方工作台三个系统,但这并不构成对本发明方案的限定。该具体示例中的多系统数据融合方法,包括如下步骤:
步骤一,针对已有的第一系统商品,调用ESB(Enterprise Service Bus,即企业服务总线)推送接口,发起第一系统商品同步推送操作。在第三方数据系统下,首先,创建8个第一系统商品分库,第三方数据系统的应用服务器通过接口获取ESB推送的XML(Extensible Markup Language,可扩展标记语言)商品数据,解析XML封装商品对象,根据第一系统商品编号的分库规则,将商品分别存于八个分库的商品表中。
步骤二,针对已有的第一系统商品,发起商品搬家请求,获取一口价信息,将商品发布到第二系统后台。搬家后,第一系统商品编码作为第二系统商品的商家编码,为必填项,也是第一系统商品与第二系统商品关联的依据。
步骤三,针对第二系统后台已维护的仓库中或在售商品,在第三方管理系统下(MNMS),采用‘分片并发’技术,即第二系统商品按更新时间分片,采用多线程并发,把分片作为参数传值并调用第三方数据系统的拉取第二系统商品接口。第三方数据系统下,商品主库创建第二系统商品基本信息表,接口解析第二系统JSON(Java Script ObjectNotation,对象简谱)商品数据,封装业务对象,存于主库第二系统商品基本信息表。
步骤四,定时同步第一系统商品类目,定时拉取第二系统商品类目,在第三方数据系统,通过类目对应关系模块,业务人员自主建立第一系统类目与第二系统类目的关联,同时生成第一系统和第二系统类目路径,并创建类目对应关系库。
步骤五,定时同步第一系统商品品牌,定时拉取第二系统商品品牌,在第三方数据系统,通过类目对应关系模块,业务人员自主建立第一系统品牌与第二系统品牌的关联,创建商品品牌对应关系库。
步骤六,针对已有的第一系统商品信息,调用第二系统的API接口同步第二系统的商品SKU信息;同时,根据类目对应关系、品牌对应关系以及第一系统商品信息,建立第一系统和第二系统的商品对应关系库。
步骤七,根据第二系统商品基本信息库、第一系统的第二系统商品的商品对应关系库,建立第二系统商品健康度体检调度任务,生成体检报告。
这里,建立第二系统商品健康度体检调度任务,生成体检报告,对应上述的对第二系统的商品数据进行质量检测。
步骤八,根据商品体检报告信息,定义商品校验规则,如:保质期告警模块、套餐告警模块,并设计对应的商品管理单元。
本实施例中的‘分片并发’的数据融合方案,能够准实时的、完整的获取第二系统的商品信息,并建立第一系统和第二系统商品信息库,生成商品校验规则。
其中,图8为本实施例的商品系统网络拓扑图。其中,第一系统商品中心(对应上述的第一系统)、第二系统商品服务器(对应上述的第二系统)通过网络与第三方数据系统、第三方管理系统和第三方工作台通信,第三方数据系统包括负载均衡服务、多个应用服务器和多个数据库设备。第三方管理系统还通过网络与系统管理终端通信。第三工作台还还通过网络与业务员终端通信。以下对系统中的各个处理流程进行说明。
1)第一系统商品搬家
在第三方工作台建立商品搬家功能模块,可查询苏宁的商品信息,并实现将商品信息同步发布到第二系统中。同时,在搬家过程中进行信息的核检,减少错误异常信息。
具体地,可以参见图9和图10,商品搬家功能模块在获取到前台传送的待上架商品信息,校验待上架商品信息,获得校验结果。若校验不通过,返回消息给前台,若检验通过,将待上架商品信息插入搬家记录信息,并异步处理待上架商品信息。调用数据抽取模块进行数据的抽取,将抽取的数据填充到规则表单,将规则表单提交给第二系统并获取返回结果,若成功,更新搬家记录信息,若失败,更新搬家记录失败的原因及状态。
2)第二系统商品同步
针对第二系统后台已维护的仓库中或在售商品,调用第二系统商品API(Application Programming Interface,应用程序编程接口)接口,发起第二系统商品同步拉取操作,并在第三方管理系统下,创建第一系统中的在第二系统中销售的商品基本信息库。
具体地,可以参见图11,第三方管理系统在获取同步时间片后,调用第三方数据系统的统计接口,第三方数据系统调用第二系统商品API接口,获取第二系统商品API接口返回的商品记录数后,返回给第三方管理系统,第三方管理系统根据返回的商品记录数据计算总分页数,然后,循环调用第三方数据系统的商品分页查询接口,第三方数据系统分页获取第二系统商品信息,返回单页商品信息给第三方数据系统,第三方数据系统对接收到的单页商品信息进行解析,封装SKU信息,将单页商品的SKU信息批量入库;第三方数据系统的数据库向第三方数据库返回操作结果,第三方数据库确定执行结束后,向第三方管理系统返回执行结束信息,第三方管理系统生成当前时间片执行完成信息。
3)天猫商品健康度体检
3.1)检查天猫商品中商家编码、货品信息、保质期异常、上下架异常等信息,以及查询特定套餐商品的设置信息,并对异常进行预警发送相关负责人。
具体地,可以参见图12所示,第三方数据系统的体检接口删除上一周期(例如上一天)异常商品数据,第三方数据系统的数据库返回操作结果,商品体检任务模块(第三方管理系统中的功能模块)定时调用第三方数据系统的体检接口,第三方数据系统的体检接口查询商品对应关系表中在售商品列表,第三方数据系统的数据库返回在售商品列表(白名单除外),校验在售商品列表中的商品商家编码是否为空,调用第二系统接口校验商品关联是否正确,第二系统接口返回关联信息,调用第二系统接口校验销售区是否勾选,第二系统接口返回勾选信息;第三方数据系统的体检接口校验在售商品列表中的商品是否是违规商品(对应关系为新增字段),第三方数据系统的体检接口向第三方数据系统的数据库发送获取上下架失败商品请求,第三方数据系统的数据库返回上下架失败商品列表,第三方数据系统的体检接口向第三方数据系统的数据库发送获取上下架审批超时商品请求,第三方数据系统的数据库返回上下架审批超时商品列表,第三方数据系统的体检接口将存在异常的商品批量写入异常信息表,第三方数据系统的数据库返回操作结果,第三方数据系统的体检接口查询保质期检测记录表,第三方数据系统的数据库返回保质期临期或者超期统计结果。第三方数据系统的体检接口按品类生成异常统计表数据,更新到统计表,向商品体检任务模块返回体检结果。
3.2)定期检测天猫商品对应关系中在售商品中进货日期信息,记录进货日期临期/超期的商品信息,并生成预警信息。
其中,保质期校验规则可以包括:生产/进货开始日期<当前日期,结束日期<当前日期,进货开始日期>生产开始日期&&进货结束日期>生产结束日期,生产结束日期+保质期>进货结束日期,生产开始日期+保质期–预警期≥当前日期。
具体地,可以参见图13所示,保质期检测模块调用第三方数据系统的保质期检测接口,第三方数据系统的保质期检测接口查询监控类目,第三方数据系统的数据库返回查询结果,第三方数据系统的保质期检测接口根据类目查询在售商品;第三方数据系统的数据库返回查询结果,第三方数据系统的保质期检测接口指定类目调用第二系统接口校验保质期信息;第二系统接口返回保质期信息;第三方数据系统的保质期检测接口批量地将保质期数据存储(临时保存)到第三方数据系统的数据库中,第三方数据系统的数据库返回操作结果;第三方数据系统的保质期检测接口对在售商品检测检测结束后,删除历史保质期数据,第三方数据系统的数据库返回操作结果;第三方数据系统的保质期检测接口将最新的保质期数据更新到保质期检测记录表,第三方数据系统的数据库返回操作结果;第三方数据系统的保质期检测接口向保质期检测模块发送检测结束信息。
4)第一系统和第二系统的商品数据融合
根据类目对应关系、品牌对应关系以及苏宁商品信息,建立第一系统和第二系统的商品对应关系库。
具体地,可以参见图14所示,在任务执行,调用融合方法后,第三方数据系统的应用服务器调用第二系统API,第二系统API(Application Programming Interface,应用程序接口)返回商品记录数,分页获取第二系统商品,第二系统API返回单页商品,第三方数据系统的应用服务器调用第二系统SKU接口,检验是否存在SKU信息,第二系统API返回第二系统商品SKU信息,根据是否为SKU商品,创建数据融合对象;根据商家编码查询第一系统的商品信息,第三方数据系统的八个第一系统商品分库返回第一系统的商品信息;第三方数据系统的应用服务器根据商家编码校验套餐信息,第三方数据系统的八个第一系统商品分库返回套餐标记对象;第三方数据系统的应用服务器获取第一系统商品类目及其类目路径,第三方数据系统的读写主库返回第一系统商品类目及其类目路径;第三方数据系统的应用服务器根据主系统商品标识获取第二系统类目及其类目路径,第三方数据系统的读写主库返回第二系统类目及其类目;将5-8封装到融合数据对象表中,批量入库,第三方数据系统的读写主库返回操作结果;第三方数据系统的应用服务器反馈任务执行结果。
5)融合商品维护管理
主要分为商品上架、商品下架、商品编辑、商品保质期维护、商品监控类目维护、商品白名单。
第三方数据系统的后台管理,主要包括性能参数配置、时间分片管理、过程监控、失败重置、字典管理等系统监控功能。
应该理解的是,虽然图2-7以及9-14的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-7以及9-14中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图15所示,提供了一种多系统数据融合装置,包括:获取模块1502、第一建立模块1504、第二建立模块1506和检测模块1508,其中:
获取模块1502,用于根据第一系统和第二系统间的商品关联信息,获取第二系统的商品数据,将获取到的商品数据存储于本地的第二系统商品基本信息表;
第一建立模块1504,用于建立商品在第一系统和第二系统的商品类目对应关系、商品品牌对应关系和商品种类信息对应关系,商品类目对应关系、商品品牌对应关系和商品种类信息对应关系分别为商品类目对应关系、商品品牌对应关系和商品种类信息对应关系;
第二建立模块1506,用于根据第一系统的商品信息、商品类目对应关系、商品品牌对应关系和商品种类信息对应关系,建立第一系统和第二系统的商品对应关系;
检测模块1508,用于根据第二系统商品基本信息表和商品对应关系,对第二系统的商品数据进行质量检测。
在其中一个实施例中,获取模块1502可以获取第二系统的商品更新时间片,根据商品更新时间片确定时间分片参数,根据时间分片参数,并采用多线程并发方式调用预设的拉取第二系统商品数据接口,拉取第二系统商品数据接口根据分片参数和商品关联信息,获取第二系统的商品数据。
在其中一个实施例中,获取模块1502可以将商品更新时间片划分成多个子时间片,将子时间片的分片参数作为确定时间分片参数,其中,不同子时间片对应不同的线程。
在其中一个实施例中,获取模块1502可以获取第二系统的当前时间片内的商品总数,根据商品总数确定总分页数,按照总分页数,循环调用商品分页查询接口,商品分页查询接口分页获取第二系统的商品数据,分别解析各页的商品数据,得到各数据条目,将各数据条目存储于第二系统商品基本信息表中。
在其中一个实施例中,上述的商品参数描述信息对应关系包括商品类目对应关系、商品品牌对应关系和商品种类信息对应关系。
在其中一个实施例中,第一建立模块1504可以定时同步第一系统的商品类目,定时拉取第二系统的商品类目,获取第一系统的商品类目和第二系统的商品类目的第一关联操作信息,根据第一关联操作信息生成商品类目对应关系,定时同步第一系统的商品品牌,定时拉取第二系统的商品品牌,获取第一系统的商品品牌的第二系统的商品品牌的第二关联操作信息,根据第二关联操作信息生成商品品牌对应关系,定时同步第一系统的商品种类信息,定时拉取第二系统的商品种类信息,获取第一系统的商品种类信息的第二系统的商品种类信息的第三关联操作信息,根据第三关联操作信息生成商品种类信息对应关系。
在其中一个实施例中,检测模块1508还可以用于根据质量检测的检测结果,确定当前告警等级,采用与当前告警等级对应的告警方式输出告警信息。
在其中一个实施例中,上述的多系统数据融合装置还可以包括融合维护模块,该融合维护模块用于根据第二系统商品基本信息表和商品对应关系,对第二系统进行融合商品维护,融合商品维护包括商品上架、商品下架、商品编辑、保质期维护、监控类目维护和商品白名单中的任意一个或者任意组合。
在其中一个实施例中,检测模块1508可以接收商品数据质量检测请求,商品数据质量检测请求包括目标商品在第一系统中的商品信息,根据目标商品在第一系统中的商品信息、第二系统商品基本信息表和商品对应关系,确定目标商品在第二系统中的商品数据,对目标商品在第二系统中的商品数据进行质量检测。
在其中一个实施例中,检测模块1508可以在商品对应关系中,查询与目标商品在第一系统中的商品信息匹配的目标商品对应关系条目,显示目标商品对应关系条目,并生成提示信息,提示信息用于指示用户检测目标商品对应关系条目,在检测到用户对目标商品对应关系条目的确认信息时,根据目标商品在第一系统中的商品信息和目标商品对应关系条目,确定目标商品在第二系统中的商品数据。
关于多系统数据融合装置的具体限定可以参见上文中对于多系统数据融合方法的限定,在此不再赘述。上述多系统数据融合装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图16所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储多系统数据融合数据过程中需要用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多系统数据融合方法。
本领域技术人员可以理解,图16中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
根据第一系统和第二系统间的商品关联信息,获取第二系统的商品数据,将获取到的商品数据存储于本地的第二系统商品基本信息表;
建立第一系统和第二系统的商品参数描述信息对应关系;
根据第一系统的商品信息和商品参数描述信息对应关系,建立第一系统和第二系统的商品对应关系;
根据第二系统商品基本信息表和商品对应关系,对第二系统的商品数据进行质量检测。
在其中一个实施例中,处理器执行计算机程序实现上述的根据第一系统和第二系统间的商品关联信息,获取第二系统的商品数据的步骤时,具体实现以下步骤:获取第二系统的商品更新时间片,根据商品更新时间片确定时间分片参数;根据时间分片参数,并采用多线程并发方式调用预设的拉取第二系统商品数据接口,拉取第二系统商品数据接口根据分片参数和商品关联信息,获取第二系统的商品数据。
在其中一个实施例中,处理器执行计算机程序实现上述的根据商品更新时间片确定时间分片参数的步骤时,具体实现以下步骤:将商品更新时间片划分成多个子时间片,将子时间片的分片参数作为确定时间分片参数,其中,不同子时间片对应不同的线程。
在其中一个实施例中,处理器执行计算机程序实现上述的根据时间分片参数,并采用多线程并发方式调用预设的拉取第二系统商品数据接口的步骤时,具体实现以下步骤:获取第二系统的当前时间片内的商品总数,根据商品总数确定总分页数;按照总分页数,循环调用商品分页查询接口,商品分页查询接口分页获取第二系统的商品数据;分别解析各页的商品数据,得到各数据条目,将各数据条目存储于第二系统商品基本信息表中。
在其中一个实施例中,上述的商品参数描述信息对应关系包括商品类目对应关系、商品品牌对应关系和商品种类信息对应关系。
在其中一个实施例中,处理器执行计算机程序实现上述的建立第一系统和第二系统的商品参数描述信息对应关系的步骤时,具体实现以下步骤:定时同步第一系统的商品类目,定时拉取第二系统的商品类目,获取第一系统的商品类目和第二系统的商品类目的第一关联操作信息,根据第一关联操作信息生成商品类目对应关系;定时同步第一系统的商品品牌,定时拉取第二系统的商品品牌,获取第一系统的商品品牌的第二系统的商品品牌的第二关联操作信息,根据第二关联操作信息生成商品品牌对应关系;定时同步第一系统的商品种类信息,定时拉取第二系统的商品种类信息,获取第一系统的商品种类信息的第二系统的商品种类信息的第三关联操作信息,根据第三关联操作信息生成商品种类信息对应关系。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:根据质量检测的检测结果,确定当前告警等级,采用与当前告警等级对应的告警方式输出告警信息。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:根据第二系统商品基本信息表和商品对应关系,对第二系统进行融合商品维护,融合商品维护包括商品上架、商品下架、商品编辑、保质期维护、监控类目维护和商品白名单中的任意一个或者任意组合。
在其中一个实施例中,处理器执行计算机程序实现上述的根据第二系统商品基本信息表和商品对应关系,对第二系统的商品数据进行质量检测的步骤时,具体实现以下步骤:接收商品数据质量检测请求,商品数据质量检测请求包括目标商品在第一系统中的商品信息;根据目标商品在第一系统中的商品信息、第二系统商品基本信息表和商品对应关系,确定目标商品在第二系统中的商品数据;对目标商品在第二系统中的商品数据进行质量检测。
在其中一个实施例中,处理器执行计算机程序实现上述的根据目标商品在第一系统中的商品信息、第二系统商品基本信息表和商品对应关系,确定目标商品在第二系统中的商品数据的步骤时,具体实现以下步骤:在商品对应关系中,查询与目标商品在第一系统中的商品信息匹配的目标商品对应关系条目;显示目标商品对应关系条目,并生成提示信息,提示信息用于指示用户检测目标商品对应关系条目;在检测到用户对目标商品对应关系条目的确认信息时,根据目标商品在第一系统中的商品信息和目标商品对应关系条目,确定目标商品在第二系统中的商品数据。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
根据第一系统和第二系统间的商品关联信息,获取第二系统的商品数据,将获取到的商品数据存储于本地的第二系统商品基本信息表;
建立第一系统和第二系统的商品参数描述信息对应关系;
根据第一系统的商品信息和商品参数描述信息对应关系,建立第一系统和第二系统的商品对应关系;
根据第二系统商品基本信息表和商品对应关系,对第二系统的商品数据进行质量检测。
在其中一个实施例中,计算机程序被处理器执行实现上述的根据第一系统和第二系统间的商品关联信息,获取第二系统的商品数据的步骤时,具体实现以下步骤:获取第二系统的商品更新时间片,根据商品更新时间片确定时间分片参数;根据时间分片参数,并采用多线程并发方式调用预设的拉取第二系统商品数据接口,拉取第二系统商品数据接口根据分片参数和商品关联信息,获取第二系统的商品数据。
在其中一个实施例中,计算机程序被处理器执行实现上述的根据商品更新时间片确定时间分片参数的步骤时,具体实现以下步骤:将商品更新时间片划分成多个子时间片,将子时间片的分片参数作为确定时间分片参数,其中,不同子时间片对应不同的线程。
在其中一个实施例中,计算机程序被处理器执行实现上述的根据时间分片参数,并采用多线程并发方式调用预设的拉取第二系统商品数据接口的步骤时,具体实现以下步骤:获取第二系统的当前时间片内的商品总数,根据商品总数确定总分页数;按照总分页数,循环调用商品分页查询接口,商品分页查询接口分页获取第二系统的商品数据;分别解析各页的商品数据,得到各数据条目,将各数据条目存储于第二系统商品基本信息表中。
在其中一个实施例中,上述的商品参数描述信息对应关系包括商品类目对应关系、商品品牌对应关系和商品种类信息对应关系。
在其中一个实施例中,计算机程序被处理器执行实现上述的建立第一系统和第二系统的商品参数描述信息对应关系的步骤时,具体实现以下步骤:定时同步第一系统的商品类目,定时拉取第二系统的商品类目,获取第一系统的商品类目和第二系统的商品类目的第一关联操作信息,根据第一关联操作信息生成商品类目对应关系;定时同步第一系统的商品品牌,定时拉取第二系统的商品品牌,获取第一系统的商品品牌的第二系统的商品品牌的第二关联操作信息,根据第二关联操作信息生成商品品牌对应关系;定时同步第一系统的商品种类信息,定时拉取第二系统的商品种类信息,获取第一系统的商品种类信息的第二系统的商品种类信息的第三关联操作信息,根据第三关联操作信息生成商品种类信息对应关系。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据质量检测的检测结果,确定当前告警等级,采用与当前告警等级对应的告警方式输出告警信息。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据第二系统商品基本信息表和商品对应关系,对第二系统进行融合商品维护,融合商品维护包括商品上架、商品下架、商品编辑、保质期维护、监控类目维护和商品白名单中的任意一个或者任意组合。
在其中一个实施例中,计算机程序被处理器执行实现上述的根据第二系统商品基本信息表和商品对应关系,对第二系统的商品数据进行质量检测的步骤时,具体实现以下步骤:接收商品数据质量检测请求,商品数据质量检测请求包括目标商品在第一系统中的商品信息;根据目标商品在第一系统中的商品信息、第二系统商品基本信息表和商品对应关系,确定目标商品在第二系统中的商品数据;对目标商品在第二系统中的商品数据进行质量检测。
在其中一个实施例中,计算机程序被处理器执行实现上述的根据目标商品在第一系统中的商品信息、第二系统商品基本信息表和商品对应关系,确定目标商品在第二系统中的商品数据的步骤时,具体实现以下步骤:在商品对应关系中,查询与目标商品在第一系统中的商品信息匹配的目标商品对应关系条目;显示目标商品对应关系条目,并生成提示信息,提示信息用于指示用户检测目标商品对应关系条目;在检测到用户对目标商品对应关系条目的确认信息时,根据目标商品在第一系统中的商品信息和目标商品对应关系条目,确定目标商品在第二系统中的商品数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (18)
1.一种多系统数据融合方法,其特征在于,所述方法包括:
根据第一系统和第二系统间的商品关联信息,采用分片并发方式获取第二系统的商品数据,将获取到的商品数据存储于本地的第二系统商品基本信息表,所述商品关联信息是第一系统和第二系统的共有信息;
建立所述第一系统和所述第二系统的商品参数描述信息对应关系,所述商品参数描述信息对应关系包括商品类目对应关系、商品品牌对应关系和商品种类信息对应关系;
根据所述第一系统的商品信息和所述商品参数描述信息对应关系,建立所述第一系统和所述第二系统的商品对应关系;
接收商品数据质量检测请求,所述商品数据质量检测请求包括目标商品在第一系统中的商品信息;
根据目标商品在第一系统中的商品信息、所述第二系统商品基本信息表和所述商品对应关系,确定所述目标商品在第二系统中的商品数据;
对目标商品在第二系统中的商品数据进行质量检测。
2.根据权利要求1所述的方法,其特征在于,所述根据第一系统和第二系统间的商品关联信息,采用分片并发方式获取第二系统的商品数据,包括:
获取所述第二系统的商品更新时间片,根据所述商品更新时间片确定时间分片参数;
根据所述时间分片参数,并采用多线程并发方式调用预设的拉取第二系统商品数据接口,所述拉取第二系统商品数据接口根据所述分片参数和所述商品关联信息,获取第二系统的商品数据。
3.根据权利要求2所述的方法,其特征在于,根据所述商品更新时间片确定时间分片参数,包括:
将所述商品更新时间片划分成多个子时间片,将所述子时间片的分片参数作为所述确定时间分片参数,其中,不同子时间片对应不同的线程。
4.根据权利要求2所述的方法,其特征在于,所述根据所述时间分片参数,并采用多线程并发方式调用预设的拉取第二系统商品数据接口,包括:
获取所述第二系统的当前时间片内的商品总数,根据所述商品总数确定总分页数;
按照所述总分页数,循环调用商品分页查询接口,所述商品分页查询接口分页获取第二系统的商品数据;
分别解析各页的商品数据,得到各数据条目,将各所述数据条目存储于所述第二系统商品基本信息表中。
5.根据权利要求1所述的方法,其特征在于,所述建立所述第一系统和所述第二系统的商品参数描述信息对应关系,包括:
定时同步所述第一系统的商品类目,定时拉取所述第二系统的商品类目,获取所述第一系统的商品类目和所述第二系统的商品类目的第一关联操作信息,根据第一关联操作信息生成所述商品类目对应关系;
定时同步所述第一系统的商品品牌,定时拉取所述第二系统的商品品牌,获取所述第一系统的商品品牌的所述第二系统的商品品牌的第二关联操作信息,根据第二关联操作信息生成所述商品品牌对应关系;
定时同步所述第一系统的商品种类信息,定时拉取所述第二系统的商品种类信息,获取所述第一系统的商品种类信息的所述第二系统的商品种类信息的第三关联操作信息,根据第三关联操作信息生成所述商品种类信息对应关系。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述质量检测的检测结果,确定当前告警等级,采用与所述当前告警等级对应的告警方式输出告警信息。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述第二系统商品基本信息表和所述商品对应关系,对所述第二系统进行融合商品维护,所述融合商品维护包括商品上架、商品下架、商品编辑、保质期维护、监控类目维护和商品白名单中的任意一个或者任意组合。
8.根据权利要求1所述的方法,其特征在于,所述根据目标商品在第一系统中的商品信息、所述第二系统商品基本信息表和所述商品对应关系,确定所述目标商品在第二系统中的商品数据,包括:
在所述商品对应关系中,查询与所述目标商品在第一系统中的商品信息匹配的目标商品对应关系条目;
显示所述目标商品对应关系条目,并生成提示信息,所述提示信息用于指示用户检测所述目标商品对应关系条目;
在检测到所述用户对所述目标商品对应关系条目的确认信息时,根据所述目标商品在第一系统中的商品信息和所述目标商品对应关系条目,确定所述目标商品在第二系统中的商品数据。
9.一种多系统数据融合装置,其特征在于,所述装置包括:
获取模块,用于根据第一系统和第二系统间的商品关联信息,采用分片并发方式获取第二系统的商品数据,将获取到的商品数据存储于本地的第二系统商品基本信息表,所述商品关联信息是第一系统和第二系统的共有信息;
第一建立模块,用于建立商品在所述第一系统和所述第二系统的商品类目对应关系、商品品牌对应关系和商品种类信息对应关系,所述商品类目对应关系、所述商品品牌对应关系和所述商品种类信息对应关系分别为商品类目对应关系、商品品牌对应关系和商品种类信息对应关系;
第二建立模块,用于根据所述第一系统的商品信息、所述商品类目对应关系、所述商品品牌对应关系和所述商品种类信息对应关系,建立所述第一系统和所述第二系统的商品对应关系;
检测模块,用于接收商品数据质量检测请求,所述商品数据质量检测请求包括目标商品在第一系统中的商品信息,根据目标商品在第一系统中的商品信息、所述第二系统商品基本信息表和所述商品对应关系,确定所述目标商品在第二系统中的商品数据,对目标商品在第二系统中的商品数据进行质量检测。
10.根据权利要求9所述的装置,其特征在于:
所述获取模块获取所述第二系统的商品更新时间片,根据所述商品更新时间片确定时间分片参数,根据所述时间分片参数,并采用多线程并发方式调用预设的拉取第二系统商品数据接口,所述拉取第二系统商品数据接口根据所述分片参数和所述商品关联信息,获取第二系统的商品数据。
11.根据权利要求10所述的装置,其特征在于:
所述获取模块将所述商品更新时间片划分成多个子时间片,将所述子时间片的分片参数作为所述确定时间分片参数,其中,不同子时间片对应不同的线程。
12.根据权利要求9所述的装置,其特征在于:
所述获取模块获取所述第二系统的当前时间片内的商品总数,根据所述商品总数确定总分页数,按照所述总分页数,循环调用商品分页查询接口,所述商品分页查询接口分页获取第二系统的商品数据,分别解析各页的商品数据,得到各数据条目,将各所述数据条目存储于所述第二系统商品基本信息表中。
13.根据权利要求9所述的装置,其特征在于:
所述第一建立模块定时同步所述第一系统的商品类目,定时拉取所述第二系统的商品类目,获取所述第一系统的商品类目和所述第二系统的商品类目的第一关联操作信息,根据第一关联操作信息生成所述商品类目对应关系,定时同步所述第一系统的商品品牌,定时拉取所述第二系统的商品品牌,获取所述第一系统的商品品牌的所述第二系统的商品品牌的第二关联操作信息,根据第二关联操作信息生成所述商品品牌对应关系,定时同步所述第一系统的商品种类信息,定时拉取所述第二系统的商品种类信息,获取所述第一系统的商品种类信息的所述第二系统的商品种类信息的第三关联操作信息,根据第三关联操作信息生成所述商品种类信息对应关系。
14.根据权利要求9所述的装置,其特征在于:
所述检测模块还用于根据所述质量检测的检测结果,确定当前告警等级,采用与所述当前告警等级对应的告警方式输出告警信息。
15.根据权利要求9所述的装置,其特征在于,所述装置还包括融合维护模块:
所述融合维护模块用于根据所述第二系统商品基本信息表和所述商品对应关系,对所述第二系统进行融合商品维护,所述融合商品维护包括商品上架、商品下架、商品编辑、保质期维护、监控类目维护和商品白名单中的任意一个或者任意组合。
16.根据权利要求9所述的装置,其特征在于:
所述检测模块在所述商品对应关系中,查询与所述目标商品在第一系统中的商品信息匹配的目标商品对应关系条目,显示所述目标商品对应关系条目,并生成提示信息,所述提示信息用于指示用户检测所述目标商品对应关系条目,在检测到所述用户对所述目标商品对应关系条目的确认信息时,根据所述目标商品在第一系统中的商品信息和所述目标商品对应关系条目,确定所述目标商品在第二系统中的商品数据。
17.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
18.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910353300.0A CN110209733B (zh) | 2019-04-29 | 2019-04-29 | 多系统数据融合方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910353300.0A CN110209733B (zh) | 2019-04-29 | 2019-04-29 | 多系统数据融合方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110209733A CN110209733A (zh) | 2019-09-06 |
CN110209733B true CN110209733B (zh) | 2022-03-22 |
Family
ID=67786647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910353300.0A Active CN110209733B (zh) | 2019-04-29 | 2019-04-29 | 多系统数据融合方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110209733B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110766520A (zh) * | 2019-10-12 | 2020-02-07 | 苏宁云计算有限公司 | 多系统多店铺订单融合方法、装置、计算机设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103559267A (zh) * | 2013-11-04 | 2014-02-05 | 北京中搜网络技术股份有限公司 | 一种基于商品属性归一和聚类识别产品的方法 |
CN104881767A (zh) * | 2015-05-14 | 2015-09-02 | 努比亚技术有限公司 | 一种基于多库存系统进行库存管理的方法和系统 |
CN108335163A (zh) * | 2017-01-19 | 2018-07-27 | 阿里巴巴集团控股有限公司 | 一种同步对象信息的方法和系统,及同步库存的方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150227972A1 (en) * | 2014-02-07 | 2015-08-13 | Huang (Joy) Tang | System and methods for identifying and promoting tagged commercial products |
CN104090909B (zh) * | 2014-06-09 | 2018-09-18 | 中国建设银行股份有限公司 | 针对不同电商平台的商品信息同步方法及装置 |
-
2019
- 2019-04-29 CN CN201910353300.0A patent/CN110209733B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103559267A (zh) * | 2013-11-04 | 2014-02-05 | 北京中搜网络技术股份有限公司 | 一种基于商品属性归一和聚类识别产品的方法 |
CN104881767A (zh) * | 2015-05-14 | 2015-09-02 | 努比亚技术有限公司 | 一种基于多库存系统进行库存管理的方法和系统 |
CN108335163A (zh) * | 2017-01-19 | 2018-07-27 | 阿里巴巴集团控股有限公司 | 一种同步对象信息的方法和系统,及同步库存的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110209733A (zh) | 2019-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7698013B2 (en) | Parts production management system and parts production management method | |
AU2016352206A1 (en) | Data processing method and device | |
CN112380187B (zh) | 库存数据监控方法、装置、计算机设备和存储介质 | |
CN113448862B (zh) | 软件版本测试方法、装置及计算机设备 | |
CN113065912A (zh) | 监控订单状态不同步的订单的方法、装置、设备和介质 | |
CN110766520A (zh) | 多系统多店铺订单融合方法、装置、计算机设备和存储介质 | |
CN110209733B (zh) | 多系统数据融合方法、装置、计算机设备和存储介质 | |
CN113949889B (zh) | 对象处理方法、装置、电子设备及存储介质 | |
CN111798293A (zh) | 一种云仓储订单处理方法、装置、计算机设备和存储介质 | |
CN111080399A (zh) | 一种商品信息处理方法和装置 | |
CN113393251A (zh) | 食品全链构建方法、追溯方法及系统 | |
US10372753B2 (en) | System for verifying physical object absences from assigned regions using video analytics | |
CN110213067A (zh) | 业务请求的跟踪信息处理方法、装置和系统 | |
CN111882265A (zh) | 跨境电商自动报关方法及自动报关机器人 | |
CN115292418B (zh) | 跨系统业务流程自动化处理方法及系统 | |
CN107742195B (zh) | 系统数据整合方法、装置及存储介质 | |
CN113259154B (zh) | 中台数据校验通知方法、装置、计算机设备和存储介质 | |
CN110765131B (zh) | 货源数据的数据压缩方法、装置、计算机设备和存储介质 | |
CN109377266A (zh) | 业务数据跟踪与管理方法、装置、计算机设备和存储介质 | |
CN113962587A (zh) | 设备盘点方法、装置、计算机设备和计算机可读存储介质 | |
JP2019046183A (ja) | 情報処理方法及びプログラム | |
CN112651803A (zh) | 自助购物方法以及系统 | |
CN111882388A (zh) | 一种商品推荐方法、装置、设备及存储介质 | |
US20230259659A1 (en) | Data search system, non-transitory storage medium for storing data structure and data search method | |
KR101995883B1 (ko) | Rfid태그정보를 이용한 의약품 소비시장패턴 분석 방법 및 서버 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |