CN117271973A - 一种基于数据清洗的商品数据处理方法及装置 - Google Patents

Abstract

本申请属于计算机技术领域，公开了一种基于数据清洗的商品数据处理方法及装置，该方法包括：获取价格中心的价格数据、商品管理系统的商品数据和客户管理系统的客户数据；对价格数据、商品数据和客户数据进行数据聚合，得到聚合数据；对聚合数据进行全量清洗，得到清洗结果；根据预设业务需求对清洗结果分类，得到商品展示数据和商品搜索数据；将商品展示数据放入缓存数据库，将商品搜索数据放入商品数据中台；通过商品数据中台将商品展示数据展示在销售界面上。本申请能够通过数据之间关联迅速查找到该商品的所有相关数据，大大提高客户查询商品的加载速度和销售系统性能，从而提高客户体验。

Description

一种基于数据清洗的商品数据处理方法及装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于数据清洗的商品数据处理方法及装置。

背景技术

工业性商品具有比普通商品具有更多样的物料参数、分类数据等，例如，一个微小型滚珠直线导轨的可选物料参数包括滑块型式、尺寸、负荷型式、滑块固定方式、导轨固定方式、导轨长度、导轨特殊加工、预压等级、精度、单轴导轨数、防尘配件、润滑方式等等；而不同参数组合对应的物料又具有不同的价格，或者只为某些专属客户开放购买。因此对于工业用品的销售平台来说，需要处理的商品数据的数据量远远超过普通商品销售平台，导致客户在进行查询商品时，需要花费较长时间才能在大量数据中对该商品所有相关的参数、价格、客户权限等数据进行调取和展示，使得查询加载时间长、销售系统性能低下，从而导致客户体验差。

发明内容

本申请提供了一种基于数据清洗的商品数据处理方法及装置，能够大大提高客户查询商品的加载速度和销售系统性能，从而提高客户体验。

第一方面，本申请实施例提供了一种基于数据清洗的商品数据处理方法，该方法包括：

获取价格中心的价格数据、商品管理系统的商品数据和客户管理系统的客户数据；

对价格数据、商品数据和客户数据进行数据聚合，得到聚合数据；

对聚合数据进行全量清洗，得到清洗结果；

根据预设业务需求对清洗结果分类，得到商品展示数据和商品搜索数据；

将商品展示数据放入缓存数据库，将商品搜索数据放入商品数据中台；

通过商品数据中台将商品展示数据展示在销售界面上。

进一步的，该方法还包括：

根据预设周期对价格数据和商品数据进行轮询；

若存在修改数据，则对修改数据进行增量清洗，得到增量清洗结果；

根据增量清洗结果更新缓存数据库和/或商品数据中台。

进一步的，该方法还包括：

在得到增量清洗结果后，根据增量清洗结果生成修改提示信息；

将修改提示信息发送到kafka消息队列中。

进一步的，预设周期包括多个预设同步周期；多个预设同步周期与商品数据中多种数据类型一一对应。

进一步的，商品数据包括分类数据、品牌数据、类目参数、物料数据、库存数据和商品组数据。

进一步的，分类数据包括分类编码、分类名称、展示顺序、税号和业务国；

品牌数据包括品牌编码、品牌名称和品牌授权信息；

类目参数包括参数名称和参数顺序；库存数据包括物料号和库存数量。

进一步的，物料数据包括物料号、物料编码、物料名称、物料类型、物料标签、供应商、客户信息、销售单位、起订量、制造商型号、图片、面价、商品组编号和物料参数。

进一步的，商品数据包括商品组编号、商品组名称、品牌编码、分类编码和图片。

进一步的，客户数据包括客户号、集团号和客户名称；价格数据包括客户号、物料号和物料价格。

进一步的，上述对价格数据、商品数据和客户数据进行数据聚合，得到聚合数据，包括：

将分类数据进行打平，得到平级分类数据；

根据商品组编号聚合商品组数据和物料数据；

根据分类编码和品牌编码聚合商品组数据、平级分类数据和品牌数据，并将平级分类数据和品牌数据聚合到与商品组数据相关联的物料数据上；

根据物料号聚合物料数据中的物料参数和库存数据；

根据物料标签和物料参数关联的库存数据确定物料显示状态；

将物料显示状态添加到物料数据中；

根据客户号聚合价格数据和客户数据；

根据物料号聚合物料数据和与价格数据关联的客户数据；

将经过聚合的价格数据、商品数据和客户数据作为聚合数据。

第二方面，本申请实施例提供了一种基于数据清洗的商品数据处理装置，该装置包括：

获取模块，用于获取价格中心的价格数据、商品管理系统的商品数据和客户管理系统的客户数据；

聚合模块，用于对价格数据、商品数据和客户数据进行数据聚合，得到聚合数据；

清洗模块，用于对聚合数据进行全量清洗，得到清洗结果；

分类模块，用于根据预设业务需求对清洗结果分类，得到商品展示数据和商品搜索数据；

存储模块，用于将商品展示数据放入缓存数据库，将商品搜索数据放入商品数据中台；

展示模块，用于通过商品数据中台将商品展示数据展示在销售界面上。

进一步的，该装置还包括：

轮询模块，用于根据预设周期对价格数据和商品数据进行轮询；

增量模块，用于在存在修改数据时，对修改数据进行增量清洗，得到增量清洗结果；

更新模块，用于根据增量清洗结果更新缓存数据库和/或商品数据中台。

进一步的，该装置还包括：

提示生成模块，用于得到增量清洗结果后，根据增量清洗结果生成修改提示信息；

提示发送模块，用于将修改提示信息发送到kafka消息队列中。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时执行如上述任一实施例的基于数据清洗的商品数据处理方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一实施例的基于数据清洗的商品数据处理方法的步骤。

综上，与现有技术相比，本申请实施例提供的技术方案带来的有益效果至少包括：

本申请实施例提供的一种基于数据清洗的商品数据处理方法，首先对获取的价格数据、商品数据和客户数据进行数据聚合，得到聚合数据，再对聚合数据进行全量清洗，得到展示在销售界面的商品展示数据和位于商品数据中台用来搜索查询的商品搜索数据；上述方法通过预先对价格数据、商品数据和客户数据进行聚合处理，使得商品的相关数据之间互相关联，不仅能够为客户展示更全面的商品信息，还能在客户查询商品时，通过数据之间关联迅速查找到该商品的所有相关数据，大大提高了客户查询商品的加载速度和销售系统性能，从而提高客户体验。

附图说明

图1为本申请一个实施例提供的一种基于数据清洗的商品数据处理方法的流程图。

图2为本申请又一个实施例提供的一种基于数据清洗的商品数据处理方法的流程图。

图3为本申请一个实施例提供的一种基于数据清洗的商品数据处理装置的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参见图1和图2，本申请实施例提供了一种基于数据清洗的商品数据处理方法，该方法具体可以包括以下步骤：

步骤S1，获取价格中心的价格数据、商品管理系统的商品数据和客户管理系统的客户数据。其中，商品管理系统即PMS系统，商品数据位于PMS从库中，客户管理系统即CRM系统，客户数据位于CRM从库中。

步骤S2，对价格数据、商品数据和客户数据进行数据聚合，得到聚合数据。

商品数据包括分类数据、品牌数据、物料数据、库存数据和商品组数据等。数据聚合就是将不同来源的不同数据进行关联，使其能够在查询、显示中一起被使用。

步骤S3，对聚合数据进行全量清洗，得到清洗结果。

其中，聚合数据采用列式数据库hbase表进行存储；数据清洗服务是用代码编写的一套系统服务，目的是为了将A数据清洗为B数据，A数据是源数据(本申请中为聚合数据),B数据是为了方便展示和提高查询速度效率的一种新的数据格式。

全量清洗就是通过数据同步系统中的初始化方法连接hbase表，生成满足预设业务需求的数据格式并存放到redis缓存数据库的过程。

步骤S4，根据预设业务需求对清洗结果分类，得到商品展示数据和商品搜索数据。

步骤S5，将商品展示数据放入缓存数据库，将商品搜索数据放入商品数据中台。

其中，预设业务需求为人为设定的可搜索条件，例如预设业务需求是可以进行品牌搜索，便把清洗结果中的品牌数据作为商品搜索数据放入商品数据中台，也可以预先设置一些未来可能作为搜索条件的清洗结果作为商品搜索数据放入商品数据中台。

步骤S6，通过商品数据中台将商品展示数据展示在销售界面上。

请参见图2，商品数据中台由product-provider服务和elasticSearch组成，elasticSearch用来存储商品搜索数据，redis是以细粒度的数据模型来存储商品展示数据的，这些细粒度的模型通过product-provider服务组装生成页面需要的最终业务数据模型。

销售界面包括不同渠道、不同微服务模块的界面，例如官网、企业站、手机移动端、后台管理系统等渠道或者价格中心、报价单或购物车等微服务。

在具体实施过程中，上述实施例和图1中的步骤编号仅用于区分方案中的各个步骤，不用于限定各个步骤的执行顺序；对于本领域的普通技术人员来说，在不脱离本申请构思的前提下可以根据具体情况对步骤执行顺序进行调整，此处仅作为示例性的说明。

上述实施例提供的一种基于数据清洗的商品数据处理方法，首先对获取的价格数据、商品数据和客户数据进行数据聚合，得到聚合数据，再对聚合数据进行全量清洗，得到展示在销售界面的商品展示数据和位于商品数据中台用来搜索查询的商品搜索数据；上述方法通过预先对价格数据、商品数据和客户数据进行聚合处理，使得商品的相关数据之间互相关联，不仅能够为客户展示更全面的商品信息，还能在客户查询商品时，通过数据之间关联迅速查找到该商品的所有相关数据，大大提高了客户查询商品的加载速度和销售系统性能，从而提高客户体验。

在一些实施例中，该方法还包括：

根据预设周期对价格数据和商品数据进行轮询。

若存在修改数据，则对修改数据进行增量清洗，得到增量清洗结果。

根据增量清洗结果更新缓存数据库和/或商品数据中台。

其中，预设周期可以为1分钟；上述对价格数据和商品数据进行轮询监听，具体是对价格数据的业务表更新时间和商品数据的业务表更新时间进行检测，若检测到更新时间和当前时间点的差值小于预设周期，则说明在周期内有数据进行了修改。

数据修改情况包括1)物料价格及供应商变更，可修改物料的面价、采购价、供应商信息等；2)包装信息修改，可以修改图片信息；3)批量修改合同交货期可以修改物料的预计发货日等等。

例如若检测到价格数据的业务表更新时间在上一个周期内，则判断价格数据存在修改；将当前时间点减去预设周期得到上一次轮询时间点；获取价格数据中最近更新时间在上一次轮询时间点和当前时间点之间的数据，即将上一次轮询时间点≤最近更新时间≤当前时间点的数据作为修改数据，对修改数据执行增量清洗操作，得到增量清洗结果。

若增量清洗结果是要展示在销售界面的数据，则根据增量清洗结果更新缓存数据库；若增量清洗结果是要作为搜索条件，则根据增量清洗结果更新商品数据中台的elasticSearch；若增量清洗结果两者都涉及，则同时更新缓存数据库和elasticSearch。

上述实施例通过周期轮询监听和增量清洗，避免了数据量大导致后台的数据修改无法迅速同步到显示界面的问题，实现了显示界面快速及时的更新，进一步提高了销售系统的性能。

在一些实施例中，该方法还包括：

在得到增量清洗结果后，根据增量清洗结果生成修改提示信息。

将修改提示信息发送到kafka消息队列中。

具体地，当任何任务、任何操作修改了任何信息时,数据库会记录当前数据的更新时间精确到时分秒，同时通过增量清洗服务每天实时监听数据的修改记录，只要监听到就会启动增量清洗逻辑。本申请采用了kafka+redis+elasticSearch技术工具来实现数据清洗，当增量清洗服务监听到某数据被修改会对其进行逻辑编写，清洗为最新的数据格式，即增量清洗结果；然后把数据写入redis+elasticSearch中保存，同时往kafka中发送一条数据被修改的提示信息，如果有其他系统需要这部分数据可以通过监听kafka直接拿到清洗后的增量清洗结果并使用。

在具体实施过程中，当价格数据被调整降价后，发送对应的修改提示信息到kafka消息队列中提醒相关工作人员；同时考虑到价格数据属于商品展示数据，因此在增量清洗结果更新完缓存数据库后，通知商品数据中台的product-provider服务将缓存数据库的新价格更新显示。

进一步的，对于价格数据、库存数据等这些会影响客户下单的特殊类型的数据，在发生修改后，可生成对应的提示信息给到客户；例如客户将10个A商品放入购物车内，但在A商品的库存数据修改更新后检测到10≤新库存数量≤20，则提醒客户A商品库存紧张，若检测到新库存数量＜10，则将A商品从该客户的购物车中删去，并提醒客户A商品库存不足。

上述实施例通过在数据修改后提示其他工作人员，能够确保数据修改操作的正确和安全，避免被第三方恶意入侵和修改的意外。

在一些实施例中，预设周期包括多个预设同步周期；多个预设同步周期与商品数据中多种数据类型一一对应。具体地，预设同步周期和不同数据类型的部分对应关系请参见下表。

数据类型	预设同步周期
		sku基础数据	准实时(1分钟)
sku聚合数据	1个小时同步一次
		spu基础数据	准实时(1分钟)
spu聚合数据	1个小时同步一次
		首页分类树	准实时(1分钟)
所有分类树，方便根据分类直接查出子分类	准实时(1分钟)
		分类基础数据	准实时(1分钟)
分类面包屑	准实时(1分钟)
		知识百科	1个小时同步一次
分类品牌	1个小时同步一次
		分类属性	1个小时同步一次
分类下包含商品数	1个小时同步一次
		品牌基础数据	准实时(1分钟)
品牌页面上的一级分类数据	1个小时同步一次
		根据属性编码查询属性名称的场景	准实时(1分钟)

由上表可知，分类数据还可进一步细分为分类面包屑数据、分类基础数据、分类树、分类品牌、分类属性、分类所包含商品数等；其中分类基础数据包括分类编码、分类名称、类型、分类税号、层级、显示顺序、图片和包含商品数等，分类面包屑数据包括分类编码、分类名称和层级，分类树数据包括分类编码、分类名称、层级、显示顺序、图片和子分类信息。

品牌数据可细分为品牌基础数据、品牌一级分类数据等；其中品牌基础数据包括品牌编码、品牌名称、图片和品牌首字母等等。

考虑到在实际应用和操作过程中，不同类型的数据被修改的频率不同，例如分类属性、分类下所包含的商品数等信息通常不会进行多次修改，因此其对应的预设轮询周期可设置为1小时，而对于经常修改的品牌基础数据、分类基础数据，对应的预设轮询周期则设置为1分钟；通过预设轮询周期对不同类型的数据设置不同的更新同步机制。

上述实施例通过设置不同的预设轮询周期，进一步实现了对大量数据的更新检测，保证了工业用品的商品数据在不同渠道销售平台的快速同步，从而提高了销售系统的性能。

在一些实施例中，商品数据包括分类数据、品牌数据、类目参数、物料数据、库存数据和商品组数据。分类数据包括分类编码、分类名称、展示顺序、税号和业务国。

品牌数据包括品牌编码、品牌名称和品牌授权信息。

类目参数包括参数名称和参数顺序；库存数据包括物料号和库存数量。

物料数据包括物料号、物料编码、物料名称、物料类型、物料标签、供应商、客户信息、销售单位、起订量、制造商型号、图片、面价、商品组编号和物料参数。

商品数据包括商品组编号、商品组名称、品牌编码、分类编码和图片。

客户数据包括客户号、集团号和客户名称；价格数据包括客户号、物料号和物料价格。

上述对价格数据、商品数据和客户数据进行数据聚合，得到聚合数据，包括：

步骤S21，将分类数据进行打平，得到平级分类数据。

其中，把分类数据打平是指将具有层级关系的数据转换为同一级的数据。在数据清洗和聚合过程中，通过将分类的父子级关系打平，可以将多级分类信息转换为扁平化的数据结构。

步骤S22，根据商品组编号聚合商品组数据和物料数据。

步骤S23，根据分类编码和品牌编码聚合商品组数据、平级分类数据和品牌数据，并将平级分类数据和品牌数据聚合到与商品组数据相关联的物料数据上。

其中，将具有相同商品组编号的商品组数据和物料数据聚合在一起，具体可以是将商品组中的信息聚合到物料参数上；然后根据商品组数据中的分类编码、品牌编码聚合对应的分类数据、品牌数据，最后以商品组数据作为中间锚点，将该商品组数据关联的分类数据、品牌数据和该商品组数据关联的物料数据进行聚合。

步骤S24，根据物料号聚合物料数据中的物料参数和库存数据。

其中，库存数据还包括物料号对应物料的生产交期时间等信息。

步骤S25，根据物料标签和物料参数关联的库存数据确定物料显示状态。

步骤S26，将物料显示状态添加到物料数据中。

具体地，将库存数据和具有相同物料号的物料数据中的物料参数相关联；然后根据物料标签是否为新品标签、库存、生产交期等计算物料显示状态，例如某新品物料当前库存不足，但生产交期时间在预设发货日之前，因此可以该新品物料显示有货，同时显示“新品”标识。

步骤S27，根据客户号聚合价格数据和客户数据。

步骤S28，根据物料号聚合物料数据和与价格数据关联的客户数据。

具体地，将价格数据和客户数据进行关联，再以价格数据为中间锚点，将该价格数据关联的客户数据和该价格数据关联的物料数据进行聚合，实现了物料和享有专享价的客户之间的关联；在客户登录后，本申请能够根据客户号，迅速获取相关联的专享价物料展示给客户。

步骤S29，将经过聚合的价格数据、商品数据和客户数据作为聚合数据。

经过上述聚合操作，分类数据、品牌数据、享有专享价的客户、库存数据、是否新品的标签、物料显示状态等信息都聚合到了物料数据上，最后将生成聚合关系的各种数据作为聚合数据，发送到数据清洗服务中进行全量清洗，并发送到对应的数据库展示。

在具体实施过程中，若对数据之间的聚合关系进行了修改，可人为手动开启全量清洗服务，对聚合关系重置后的数据再次进行全量清洗。

上述实施例令客户在查询商品数据时，可以迅速看到各个商品对应的参数、品牌、所属分类、物料显示状态等信息，同时保证登录的客户能迅速看到只有自己专享的价格、物料数据和默认全公开的数据，通过聚合的预处理，无需在查询过程中再去寻找商品的相关数据，避免了查询结果加载缓慢的问题，提高了销售系统的性能和客户体验。

请参见图3，本申请一实施例提供了一种基于数据清洗的商品数据处理装置，包括：

获取模块101，用于获取价格中心的价格数据、商品管理系统的商品数据和客户管理系统的客户数据。

聚合模块102，用于对价格数据、商品数据和客户数据进行数据聚合，得到聚合数据。

清洗模块103，用于对聚合数据进行全量清洗，得到清洗结果。

分类模块104，用于根据预设业务需求对清洗结果分类，得到商品展示数据和商品搜索数据。

存储模块105，用于将商品展示数据放入缓存数据库，将商品搜索数据放入商品数据中台。

展示模块106，用于通过商品数据中台将商品展示数据展示在销售界面上。

上述实施例提供的一种基于数据清洗的商品数据处理装置，首先对获取的价格数据、商品数据和客户数据进行数据聚合，得到聚合数据，再对聚合数据进行全量清洗，得到展示在销售界面的商品展示数据和位于商品数据中台用来搜索查询的商品搜索数据；上述装置通过预先对价格数据、商品数据和客户数据进行聚合处理，使得商品的相关数据之间互相关联，不仅能够为客户展示更全面的商品信息，还能在客户查询商品时，通过数据之间关联迅速查找到该商品的所有相关数据，大大提高了客户查询商品的加载速度和销售系统性能，从而提高客户体验。

在一些实施例中，该装置还包括：

轮询模块，用于根据预设周期对价格数据和商品数据进行轮询。

增量模块，用于在存在修改数据时，对修改数据进行增量清洗，得到增量清洗结果。

更新模块，用于根据增量清洗结果更新缓存数据库和/或商品数据中台。

在一些实施例中，该装置还包括：

提示生成模块，用于得到增量清洗结果后，根据增量清洗结果生成修改提示信息。

提示发送模块，用于将修改提示信息发送到kafka消息队列中。

在一些实施例中，上述聚合模块包括：

打平单元，用于将分类数据进行打平，得到平级分类数据。

商品物料聚合单元，用于根据商品组编号聚合商品组数据和物料数据。

分类品牌聚合单元，用于根据分类编码和品牌编码聚合商品组数据、平级分类数据和品牌数据，并将平级分类数据和品牌数据聚合到与商品组数据相关联的物料数据上。

物料库存聚合单元，用于根据物料号聚合物料数据中的物料参数和库存数据。

显示状态计算单元，用于根据物料标签和物料参数关联的库存数据确定物料显示状态。

状态添加单元，用于将物料显示状态添加到物料数据中。

客户价格聚合单元，用于根据客户号聚合价格数据和客户数据。

客户物料聚合单元，用于根据物料号聚合物料数据和与价格数据关联的客户数据。

聚合数据生成单元，用于将经过聚合的价格数据、商品数据和客户数据作为聚合数据。

本实施例中提供的关于一种基于数据清洗的商品数据处理装置的具体限定，可以参见上文中关于一种基于数据清洗的商品数据处理方法的实施例，于此不再赘述。上述一种基于数据清洗的商品数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本申请实施例提供了一种计算机设备，该计算机设备可以包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。处计算机程序被处理器执行时，使得处理器执行如上述任一实施例的一种基于数据清洗的商品数据处理方法的步骤。

本实施例提供的计算机设备的工作过程、工作细节和技术效果，可以参见上文中关于一种基于数据清洗的商品数据处理方法的实施例，于此不再赘述。

本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一实施例的一种基于数据清洗的商品数据处理方法的步骤。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。本实施例提供的计算机可读存储介质的工作过程、工作细节和技术效果，可以参见上文中关于一种基于数据清洗的商品数据处理方法的实施例，于此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种基于数据清洗的商品数据处理方法，其特征在于，包括：

获取价格中心的价格数据、商品管理系统的商品数据和客户管理系统的客户数据；

对所述价格数据、所述商品数据和所述客户数据进行数据聚合，得到聚合数据；

对所述聚合数据进行全量清洗，得到清洗结果；

根据预设业务需求对所述清洗结果分类，得到商品展示数据和商品搜索数据；

将所述商品展示数据放入缓存数据库，将所述商品搜索数据放入商品数据中台；

通过所述商品数据中台将所述商品展示数据展示在销售界面上。

2.根据权利要求1所述的基于数据清洗的商品数据处理方法，其特征在于，还包括：

根据预设周期对所述价格数据和所述商品数据进行轮询；

若存在修改数据，则对所述修改数据进行增量清洗，得到增量清洗结果；

根据所述增量清洗结果更新所述缓存数据库和/或所述商品数据中台。

3.根据权利要求2所述的基于数据清洗的商品数据处理方法，其特征在于，还包括：

在得到所述增量清洗结果后，根据所述增量清洗结果生成修改提示信息；

将所述修改提示信息发送到kafka消息队列中。

4.根据权利要求2所述的基于数据清洗的商品数据处理方法，其特征在于，所述预设周期包括多个预设同步周期；多个所述预设同步周期与所述商品数据中多种数据类型一一对应。

5.根据权利要求1所述的基于数据清洗的商品数据处理方法，其特征在于，所述商品数据包括分类数据、品牌数据、类目参数、物料数据、库存数据和商品组数据。

6.根据权利要求5所述的基于数据清洗的商品数据处理方法，其特征在于，所述分类数据包括分类编码、分类名称、展示顺序、税号和业务国；

所述品牌数据包括品牌编码、品牌名称和品牌授权信息；

所述类目参数包括参数名称和参数顺序；所述库存数据包括物料号和库存数量。

7.根据权利要求6所述的基于数据清洗的商品数据处理方法，其特征在于，所述物料数据包括所述物料号、物料编码、物料名称、物料类型、物料标签、供应商、客户信息、销售单位、起订量、制造商型号、图片、面价、商品组编号和物料参数。

8.根据权利要求7所述的基于数据清洗的商品数据处理方法，其特征在于，所述商品数据包括所述商品组编号、商品组名称、所述品牌编码、所述分类编码和所述图片。

9.根据权利要求8所述的基于数据清洗的商品数据处理方法，其特征在于，所述客户数据包括客户号、集团号和客户名称；所述价格数据包括所述客户号、所述物料号和物料价格。

10.根据权利要求9所述的基于数据清洗的商品数据处理方法，其特征在于，所述对所述价格数据、所述商品数据和所述客户数据进行数据聚合，得到聚合数据，包括：

将所述分类数据进行打平，得到平级分类数据；

根据所述商品组编号聚合所述商品组数据和所述物料数据；

根据所述分类编码和所述品牌编码聚合所述商品组数据、所述平级分类数据和所述品牌数据，并将所述平级分类数据和所述品牌数据聚合到与所述商品组数据相关联的所述物料数据上；

根据所述物料号聚合所述物料数据中的所述物料参数和所述库存数据；

根据所述物料标签和所述物料参数关联的所述库存数据确定物料显示状态；

将所述物料显示状态添加到所述物料数据中；

根据所述客户号聚合所述价格数据和所述客户数据；

根据所述物料号聚合所述物料数据和与所述价格数据关联的所述客户数据；

将经过聚合的所述价格数据、所述商品数据和所述客户数据作为所述聚合数据。

11.一种基于数据清洗的商品数据处理装置，其特征在于，所述装置包括：

获取模块，用于获取价格中心的价格数据、商品管理系统的商品数据和客户管理系统的客户数据；

聚合模块，用于对所述价格数据、所述商品数据和所述客户数据进行数据聚合，得到聚合数据；

清洗模块，用于对所述聚合数据进行全量清洗，得到清洗结果；

分类模块，用于根据预设业务需求对所述清洗结果分类，得到商品展示数据和商品搜索数据；

存储模块，用于将所述商品展示数据放入缓存数据库，将所述商品搜索数据放入商品数据中台；

展示模块，用于通过所述商品数据中台将所述商品展示数据展示在销售界面上。

12.根据权利要求11所述的基于数据清洗的商品数据处理装置，其特征在于，还包括：

轮询模块，用于根据预设周期对所述价格数据和所述商品数据进行轮询；

增量模块，用于在存在修改数据时，对所述修改数据进行增量清洗，得到增量清洗结果；

更新模块，用于根据增量清洗结果更新缓存数据库和/或商品数据中台。

13.根据权利要求12所述的基于数据清洗的商品数据处理装置，其特征在于，还包括：

提示生成模块，用于得到所述增量清洗结果后，根据所述增量清洗结果生成修改提示信息；

提示发送模块，用于将所述修改提示信息发送到kafka消息队列中。

14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10中任一项所述的基于数据清洗的商品数据处理方法的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述基于数据清洗的商品数据处理方法的步骤。