CN108345620A - 品牌信息处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本公开提供了一种品牌信息处理方法、品牌信息处理装置、存储介质及电子设备，该方法包括：采集第一数据源的商品销售信息以及第二数据源的全量商品销售信息；在所述第一数据源的品牌名和所述第二数据源的品牌名中确定多个标准品牌名，并根据确定的所述标准品牌名聚合与所述标准品牌名对应的商品销售信息；根据所述标准品牌名确定所述第一数据源的所述标准品牌名在所述第二数据源的引进关系以及与所述标准品牌名对应的商品销售信息；对所述第一数据源在所述第二数据源中引进的与所述标准品牌名对应的商品销售信息进行分层汇总并发送至前端系统。本公开提高了品牌信息的计算速度，提高了品牌引进的效率和数据准确性。

Description

品牌信息处理方法、装置、存储介质及电子设备

技术领域

本公开涉及互联网技术领域，具体而言，涉及一种品牌信息处理方法、品牌信息处理装置、存储介质及电子设备。

背景技术

随着移动互联网的高速发展，在电商竞争中，精细化运营日益普及。精细化运营是一种通过聚焦网络爬虫的方法，按照预定义规则爬取友商的商品列表，商品详情，品类地图，以及商品销售数据等信息，从而通过参照主要互联网电商销售情报进行引进品牌使提升销售额市场占比，完善品牌丰富度的重要手段。例如，网站B现有的数据采集系统已经能够及时获取互联网热销商品数据，为热销商品精细化运营提供了基础。

目前常见的是通过Hive(数据仓库工具)将销售数据聚合，并分别排序列出品牌销售信息，使用Excel功能导入销售数据并逐个分析品牌引进情况。例如，通过互联网热销品牌商品和网站B全量品牌商品的销售数据，判断互联网热销品牌是否在网站B引进。这种实现方式存在以下问题：一、速度慢，Excel无法聚合大规模数据；二、匹配结果依靠手工，无法兼容一些字符不规范、不标准的数据；三、效率低，占用数据统计人员大量的时间和精力，无法顾及到超过一定规模的数据。

因此，有必要针对背景技术中现有的数据匹配算法存在的速度慢、兼容性差以及效率低等问题提供一种快速、高效、准确率高的品牌信息数据的处理方法。

需要说明的是，上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种品牌信息处理方法、品牌信息处理装置、存储介质及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种品牌信息处理方法，包括：

采集第一数据源的商品销售信息以及第二数据源的全量商品销售信息；其中，所述商品销售信息包括品牌名以及与所述品牌名对应的商品销售数据，所述全量商品销售信息包括品牌名以及与所述品牌名对应的商品销售数据；

在所述第一数据源的品牌名和所述第二数据源的品牌名中确定多个标准品牌名，并根据确定的所述标准品牌名聚合与所述标准品牌名对应的商品销售信息；

根据所述标准品牌名确定所述第一数据源的标准品牌名在所述第二数据源的引进关系以及与所述标准品牌名对应的商品销售信息；

对所述第一数据源在所述第二数据源中引进的与所述标准品牌名对应的商品销售信息进行分层汇总并发送至前端系统。

在本公开的一种示例性实施例中，其中，通过基于Spark的并行框架对所述第一数据源的商品销售信息和所述第二数据源的全量商品销售信息进行处理。

在本公开的一种示例性实施例中，在采集第一数据源的商品销售信息以及第二数据源的全量商品销售信息之后，所述方法还包括：

采用映射操作对所述品牌名进行拆分；其中，所述品牌名包括英文品牌名、中文品牌名以及品牌全名；

将拆分后的所述英文品牌名和所述中文品牌名封装成相同的格式。

在本公开的一种示例性实施例中，在所述第一数据源的品牌名和所述第二数据源的品牌名中确定多个标准品牌名包括：

对采集的所述第一数据源的品牌名和所述第二数据源的品牌名进行映射操作，判断封装后的所述英文品牌名或者所述中文品牌名是否完全相等；

在判断出封装后的所述英文品牌名或者所述中文品牌名完全相等时，将相等的所述品牌名组成一集合；

将所述集合中的销售额最大的所述品牌名确定为所述标准品牌名。

在本公开的一种示例性实施例中，在所述第一数据源的品牌名和所述第二数据源的品牌名中确定多个标准品牌名之后，所述方法还包括：

将所述标准品牌名作为键值，通过化简操作对与所述标准品牌名对应的商品销售数据进行加和；

对所述第一数据源和所述第二数据源中包含所述标准品牌名的商品销售数据进行聚合操作并存储。

在本公开的一种示例性实施例中，根据所述标准品牌名确定所述第一数据源的标准品牌名在所述第二数据源的引进关系包括：

对所述第一数据源的标准品牌名的商品销售信息进行逐行映射操作以转化与所述标准品牌名对应的商品销售信息；

对与所述第一数据源对应的所述第二数据源的标准品牌名的商品销售信息进行过滤处理，获取符合引进条件的与所述标准品牌名对应的商品销售信息；

将获取的所述第二数据源的标准品牌名的商品销售信息补充到所述与第一数据源的标准品牌名对应的商品销售信息中以确定引进关系。

在本公开的一种示例性实施例中，对与所述第一数据源对应的所述第二数据源的标准品牌名的商品销售信息进行过滤处理，获取符合引进条件的与所述标准品牌名对应的商品销售信息包括：

对所述第一数据源和所述第二数据源进行全量交叉，通过判断所述标准品牌名是否完全一致，确定所述第一数据源和所述第二数据源的所述标准品牌名是否为相同的品牌名。

在本公开的一种示例性实施例中，对所述第一数据源在所述第二数据源中引进的与所述标准品牌名对应的商品销售信息进行分层汇总包括：

将所述第二数据源中引进的所述第一数据源的标准品牌名按照与所述第一数据源的标准品牌名对应的商品销售额逆序排序以进行分层汇总。

根据本公开的第二方面，提供一种品牌信息处理装置，包括：

信息采集模块，用于采集第一数据源的商品销售信息以及第二数据源的全量商品销售信息，其中，所述商品销售信息包括品牌名以及与所述品牌名对应的商品销售数据，所述全量商品销售信息包括品牌名以及与所述品牌名对应的商品销售数据；

信息聚合模块，用于在所述第一数据源的品牌名和所述第二数据源的品牌名中确定多个标准品牌名，并按照所述标准品牌名聚合与所述标准品牌名对应的商品销售信息；

引进关系确定模块，用于按照所述标准品牌名确定所述第一数据源的标准品牌名在所述第二数据源的引进关系以及与所述标准品牌名对应的商品销售信息；

分层汇总模块，用于对所述第一数据源在所述第二数据源中引进的与所述标准品牌名对应的商品销售信息进行分层汇总并发送至前端系统。

在本公开的一种示例性实施例中，所述装置还包括：

信息处理模块，用于通过基于Spark的并行框架对所述第一数据源的商品销售信息和所述第二数据源的全量商品销售信息进行处理。

在本公开的一种示例性实施例中，在采集第一数据源的商品销售信息以及第二数据源的全量商品销售信息之后，所述装置还包括：

拆分模块，用于采用映射操作对所述品牌名进行拆分，其中，所述品牌名包括英文品牌名、中文品牌名以及品牌全名；

封装模块，用于将拆分后的所述英文品牌名和所述中文品牌名封装成相同的格式。

在本公开的一种示例性实施例中，在所述第一数据源的品牌名和所述第二数据源的品牌名中确定多个标准品牌名包括：

品牌名判断模块，用于对采集的所述第一数据源的品牌名和所述第二数据源的品牌名进行映射操作，判断封装后的所述英文品牌名或者所述中文品牌名是否完全相等；

品牌名聚合模块，用于在判断出封装后的所述英文品牌名或者所述中文品牌名完全相等时，将相等的所述品牌名组成一集合；

标准品牌名确定模块，用于将所述集合中的销售额最大的所述品牌名确定为所述标准品牌名。

在本公开的一种示例性实施例中，所述信息聚合模块还包括：

数据化简模块，用于将所述标准品牌名作为键值，通过化简操作对与所述标准品牌名对应的商品销售数据进行加和；

数据聚合模块，用于对所述第一数据源和所述第二数据源中包含所述标准品牌名的商品销售数据进行聚合操作并存储。

在本公开的一种示例性实施例中，所述引进关系确定模块还包括：

转化模块，用于对所述第一数据源的标准品牌名的商品销售信息进行逐行映射操作以转化与所述标准品牌名对应的商品销售信息；

过滤模块，用于对与所述第一数据源对应的所述第二数据源的标准品牌名的商品销售信息进行过滤处理，获取符合引进条件的与所述标准品牌名对应的商品销售信息；

引进模块，用于将获取的所述第二数据源的标准品牌名的商品销售信息补充到与所述第一数据源的标准品牌名对应的商品销售信息中以确定引进关系。

在本公开的一种示例性实施例中，对与所述第一数据源对应的所述第二数据源的标准品牌名的商品销售信息进行过滤处理，获取符合引进条件的与所述标准品牌名对应的商品销售信息包括：

引进条件模块，用于对所述第一数据源和所述第二数据源进行全量交叉，通过判断所述标准品牌名是否完全一致，确定所述第一数据源和所述第二数据源的所述标准品牌名是否为相同的品牌名。

在本公开的一种示例性实施例中，所述分层汇总模块还包括：

分层模块，用于将所述第二数据源中引进的所述第一数据源的标准品牌名按照与所述第一数据源的标准品牌名对应的商品销售额逆序排序以进行分层汇总。

根据本公开的第三方面，提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的品牌信息处理方法。

根据本公开的第四方面，提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的品牌信息处理方法。

本公开的一种实施例所提供的品牌信息处理方法、品牌信息处理装置、存储介质及电子设备中，首先采集第一数据源的商品销售信息以及第二数据源的全量商品销售信息；进一步，在所述第一数据源的品牌名和所述第二数据源的品牌名中确定多个标准品牌名，并根据确定的所述标准品牌名聚合与所述标准品牌名对应的商品销售信息；再进一步，根据所述标准品牌名确定所述第一数据源的标准品牌名在所述第二数据源的引进关系以及与所述标准品牌名对应的商品销售信息；最后，对所述第一数据源在所述第二数据源中引进的与所述标准品牌名对应的商品销售信息进行分层汇总并发送至前端系统。本公开通过根据标准品牌名确定引进关系，提高了数据处理速度，缩短了品牌引进的时间，进而提升了品牌引进效率，同时提高了数据计算的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

通过参照附图来详细描述其示例实施例，本公开的上述和其它特征及优点将变得更加明显。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出本公开示例性实施例中一种品牌信息处理方法示意图；

图2示意性示出本公开示例性实施例中品牌信息处理流程示意图；

图3示意性示出本公开示例性实施例中品牌名拆分方法示意图；

图4示意性示出本公开示例性实施例中引进关系确定方法示意图；

图5示意性示出本公开示例性实施例中一种品牌信息处理装置示意图；

图6示意性示出本公开示例性实施例中的电子设备的模块图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。

本示例实施方式中，首先提供一种品牌信息处理方法，可以应用于品牌数据处理系统，本示例实施方式中对于品牌信息处理方法所应用的系统并不进行特殊限定。举例而言，品牌信息处理方法可以应用于不同网站相同品牌商品销售对比、不同网站之间品牌引进等应用中。参照图1所示，品牌信息处理方法可以包括以下步骤：

步骤S1.采集第一数据源的商品销售信息以及第二数据源的全量商品销售信息；其中，所述商品销售信息包括品牌名以及与所述品牌名对应的商品销售数据，所述全量商品销售信息包括品牌名以及与所述品牌名对应的商品销售数据；

步骤S2.在所述第一数据源的品牌名和所述第二数据源的品牌名中确定多个标准品牌名，并根据确定的所述标准品牌名聚合与所述标准品牌名对应的商品销售信息；

步骤S3.根据所述标准品牌名确定所述第一数据源的标准品牌名在所述第二数据源的引进关系以及与所述标准品牌名对应的商品销售信息；

步骤S4.对所述第一数据源在所述第二数据源中引进的与所述标准品牌名对应的商品销售信息进行分层汇总并发送至前端系统。

本示例实施方式中，通过采集第一数据源的商品销售信息以及第二数据源的全量商品销售信息；在所述第一数据源的品牌名和所述第二数据源的品牌名中确定多个标准品牌名；根据标准品牌名确定第一数据源的标准品牌名在第二数据源的引进关系以及与标准品牌名对应的商品销售信息；对第一数据源在第二数据源中引进的与标准品牌名对应的商品销售信息进行分层汇总并发送至前端系统。本公开根据标准品牌名确定一个或多个品牌在不同数据源之间的引进关系，缩短了品牌引进的计算时间，提高了品牌信息数据的计算处理速度，进而提升了效率，同时提高了数据准确性。

下面，将结合图1至图4对本示例实施方式中的品牌信息处理方法的各个步骤进行更详细的说明。

在步骤S1中，采集第一数据源的商品销售信息以及第二数据源的全量商品销售信息；其中，所述商品销售信息包括品牌名以及与所述品牌名对应的商品销售数据，所述全量商品销售信息包括品牌名以及与所述品牌名对应的商品销售数据。

本示例实施方式中，第一数据源可以是友商A或者是任意友商网站或者电商销售平台，第二数据源可以是网站B，也可以是与第一数据源不同的任意网站或者电商销售平台。本示例实施方式中，可以将友商A作为第一数据源，将网站B作为第二数据源。第一数据源的商品销售信息可以是热销商品销售信息，可以是部分商品销售信息，也可以是全量商品销售信息。第二数据源的全量商品销售信息可以是网站B中所有商品的销售信息。第一数据源的商品销售信息和第二数据源的全量商品销售信息都可以包括商品的品牌名、型号、价格、销售数量以及销售金额等。

在步骤S2中，在所述第一数据源的品牌名和所述第二数据源的品牌名中确定多个标准品牌名，并根据确定的所述标准品牌名聚合与所述标准品牌名对应的商品销售信息。

本示例实施方式中，第一数据源和第二数据源中可以分别包括多个品牌名，可以将多个品牌名根据属性类别进行分类并按照一定的标准条件在每类品牌名中确定一个对应的标准品牌名，最后再将每类品牌名中所有品牌名对应的商品销售信息都聚合到确定的标准品牌名上。举例来说，通过网站B的数据系统采集的友商A的热销商品有：手机品牌A、手机品牌B、手机品牌C、空调品牌A、空调品牌B、冰箱品牌A、冰箱品牌B等。按照商品属性将采集的友商A的热销商品分为手机、空调、冰箱等几大类，并在每个类别手机、空调、冰箱中分别确定一个标准品牌名。同时对网站B的全量商品销售信息进行采集，将采集到的商品品牌名按照商品属性进行分类，例如将手机品牌A、手机品牌D、手机品牌E、空调品牌A、空调品牌C、冰箱品牌B等品牌按照商品属性分为手机、空调、冰箱几个商品类别，并在每个商品类别中确定一个标准品牌名。在每个商品类别中确定一个标准品牌名之后，根据确定的标准品牌名聚合与该标准品牌名同类的所有品牌名对应的商品销售信息。

在步骤S3中，根据所述标准品牌名确定所述第一数据源的标准品牌名在所述第二数据源的引进关系以及与所述标准品牌名对应的商品销售信息。

本示例实施方式中，所述引进关系可以是第二数据源引入第一数据源的品牌名，也可以是第一数据源引入第二数据源的品牌名。可以通过对比第一数据源和第二数据源中每类商品确定的标准品牌名，判断第二数据源是否引进第一数据源中确定的一个或多个标准品牌名，在判断出第二数据源引进了第一数据源某个类别对应的标准品牌名时，则对应的确定引入第二数据源的第一数据源标准品牌名对应的商品销售信息。例如采集的友商A的热销商品中手机品牌有：手机品牌A、手机品牌B、手机品牌C等，并且确定手机品牌C是为手机类别的标准品牌名，对网站B的全量商品销售信息进行采集，判断网站B是否引进友商A中的手机类别确定的标准品牌名C，并且调出手机品牌C在网站B的商品销售信息。

在步骤S4中，对所述第一数据源在所述第二数据源中引进的与所述标准品牌名对应的商品销售信息进行分层汇总并发送至前端系统。

本示例实施方式中，可以按照预设对应规则将网站B中引进的友商A的标准品牌名的商品销售信息进行分层。例如可以按照商品销售额或者是销售数量将标准品牌名划分为不同层次，再将划分为不同层次的标准品牌名汇总后发送至前端系统，并显示与标准品牌名对应的商品具体销售信息。

此外，本示例实施方式中，所述品牌信息处理方法还可以包括：通过基于Spark的并行框架对所述第一数据源的商品销售信息和所述第二数据源的全量商品销售信息进行处理。

本示例实施方式中，可以通过基于Spark的并行框架，也可以通过HIVE或者是其它方式对第一数据源的商品销售信息和第二数据源的全量商品销售信息进行处理。Spark是云计算领域继Hadoop之后的基于内存的通用的并行计算框架，可以应用于流处理、图技术、机器学习等领域。Spark的核心是RDD(Resilient Distributed Datasets，弹性分布式数据集)，在应用场景中，可以对RDD进行Map、Filter、Sample、Cogroup等转换类操作，也可以进行Count、Collect、Reduce等动作类操作。转化类操作得到的是一个包含新元素的RDD，动作类操作则是对RDD中的元素进行计算得到一个数值。由于转换类操作避免多次转换操作之间数据同步的等待，因此RDD可以通过非常快的速度处理超大量级的数据，为热销品牌引进结果的数据加工提供技术基础，从而可以产出更大规模、更大数量级的品牌引进结果，进而提高数据匹配效率。

此外，本示例实施方式中，在采集第一数据源的商品销售信息以及第二数据源的全量商品销售信息之后，所述品牌信息处理方法还可以包括：

采用映射操作对所述品牌名进行拆分；其中，所述品牌名包括英文品牌名、中文品牌名以及品牌全名；

将拆分后的所述英文品牌名和所述中文品牌名封装成相同的格式。

本示例实施方式中，商品的品牌名可以包括英文品牌名、中文品牌名以及品牌全名；品牌名的形式可以仅仅为英文品牌名或者仅仅为中文品牌名，也可以是中文品牌名和英文品牌名的组合形式：(英文品牌名中文品牌名)、中文品牌名(英文品牌名)或者是其它任意形式的品牌名组合。例如，A、甲、c(乙)、丙/D等格式的品牌名。

本示例实施方式中，参照图3所示，商品的品牌名中可以包括例如英文状态下的“-”或者数字或者是任意类型的非规范字符。在对商品的品牌名进行处理时，可以忽略上述非规范字符的影响，采用Map映射操作通过函数分别对RDD中的中文品牌名和英文品牌名进行拆分。例如将手机品牌c(乙)拆分为中文品牌名乙和英文品牌名c。

本示例实施方式中，可以将拆分后的品牌名统一封装成相同的字符格式再分别进行存储。忽略字符形式的影响，可以将不同网站的品牌名中的英文字母通过一函数统一封装成相同的字符格式，例如可以将品牌名A和品牌名a统一封装为品牌名A或者品牌名a的形式。本示例中忽略非规范字符的影响，在一定程度上，可以兼容更多的数据，提高了数据匹配结果的兼容性，从而使汇总的数据更准确、更全面。

此外，本示例实施方式中，在所述第一数据源的品牌名和所述第二数据源的品牌名中确定多个标准品牌名可以包括：

对采集的所述第一数据源的品牌名和所述第二数据源的品牌名进行映射操作，判断封装后的所述英文品牌名或者所述中文品牌名是否完全相等；

在判断出封装后的所述英文品牌名或者所述中文品牌名完全相等时，将相等的所述品牌名组成一集合；

将所述集合中的销售额最大的所述品牌名确定为所述标准品牌名。

本示例实施方式中，可以通过对RDD中采集的品牌名进行映射操作，对比判断封装成相同格式的不同网站的品牌名是否完全相等。举例来说，在忽略字符格式影响的前提下，通过对比判断出友商A中的品牌名C和品牌名c、网站B中的品牌名D和品牌名d都分别是友商A和网站B完全相等的品牌名。可以将友商A中的品牌名C和品牌名c组成集合A、网站B中的品牌名D和品牌名d组成集合B。若友商A对应的集合A中，品牌名D对应的商品销售额大于品牌名d对应的商品销售额，则将品牌名D作为集合A的标准品牌名再与同类商品对比；若网站B对应的集合B中，品牌名d对应的商品销售额大于品牌名D对应的商品销售额，则将品牌名d作为集合B的标准品牌名。

本示例实施方式中，可以首先对采集的商品品牌名进行分类，例如将手机品牌A、手机品牌B划分到手机类别；接下来可以通过对比每个类别中的各个品牌名对应的商品销售数量或者总销售额，并将销售数量或者总销售额按照从大到小、从小到大或者是其它的顺序进行排列汇总，从中选出销售数量最多或者是总销售额最大的品牌并将其确定为对应类别中的标准品牌名。例如，在手机类别中，包括手机品牌A、B、C以及其它手机品牌，其中手机品牌A的销售数量最大，所以可以将手机品牌A确定为手机类别中的标准品牌名。同样的在冰箱类别中，冰箱品牌B的销售额最大，则可以将冰箱品牌B确定为冰箱类别中的标准品牌名。

此外，本示例实施方式中，在所述第一数据源和所述第二数据源的所述品牌名中确定多个标准品牌名之后，所述品牌信息处理方法还可以包括：

将所述标准品牌名作为键值，通过化简操作对与所述标准品牌名对应的商品销售数据进行加和；

对所述第一数据源和所述第二数据源中包含所述标准品牌名的商品销售数据进行聚合操作并存储。

本示例实施方式中，可以将确定的标准品牌名作为键值，通过Reduce化简操作对RDD中的键值对应的商品销售数据进行加和处理，即分别对不同数据源以及其它网站中与标准品牌名同类别的所有品牌名对应的商品销售数据进行汇总得到多个RDD。可以通过pub函数将一个键值与一个值对象相关联，也可以通过get函数得到与此键值对象所对应的值对象。进一步的，可以通过Cogroup聚合操作将汇总的不同数据源中包含标准品牌名的多个RDD聚合成一个RDD，并将聚合的RDD按照[第一数据源标准品牌列表，第二数据源标准品牌列表]的格式进行存储。例如，通过Reduce化简操作分别对友商A和网站B中与标准品牌名同类的所有品牌名对应的商品销售数据进行汇总得到多个RDD，再通过Cogroup聚合操作将汇总的多个RDD聚合成一个RDD并存储为[友商A标准品牌列表，网站B标准品牌列表]的数据格式或者是存储为其他数据格式。

此外，本示例实施方式中，根据所述标准品牌名确定所述第一数据源的标准品牌名在所述第二数据源的引进关系可以包括：

对所述第一数据源的标准品牌名的商品销售信息进行逐行映射操作以转化与所述标准品牌名对应的商品销售信息；

对与所述第一数据源对应的所述第二数据源的标准品牌名的商品销售信息进行过滤处理，获取符合引进条件的与所述标准品牌名对应的商品销售信息；

将获取的所述第二数据源的标准品牌名的商品销售信息补充到与所述第一数据源的标准品牌名对应的商品销售信息中以确定引进关系。

本示例实施方式中，参考图4所示，可以通过对友商A中的标准品牌列表逐行进行映射转化生成新的标准品牌列表；同时可以根据友商A的品牌名规则，对网站B中与友商A每一行对应的的标准品牌列表进行过滤操作，在网站B中筛选出符合友商A引进条件的标准品牌名列表；进一步的，可以将网站B中筛选的符合友商A的引进条件的每一行标准品牌列表补充到与该行友商A对应的标准品牌列表中，并且可以通过网站B补充到友商A的品牌确定网站B中引进的友商A标准品牌信息，得到友商A补充完网站B标准品牌的标准品牌销售信息RDD。通过逐行确定标准品牌名，以及通过友商A引进条件对网站B标准品牌名进行筛选，可以实现友商A品牌名在网站B的精确引进，提高数据引进的准确性，进而更好的实现商品精细化运营。

此外，本示例实施方式中，对与所述第一数据源对应的所述第二数据源的标准品牌名的商品销售信息进行过滤处理，获取符合引进条件的与所述标准品牌名对应的商品销售信息可以包括：

对所述第一数据源和所述第二数据源进行全量交叉，通过判断所述标准品牌名是否完全一致，确定所述第一数据源和所述第二数据源的所述标准品牌名是否为相同的品牌名。

本示例实施方式中，可以对友商A和网站B的标准品牌列表进行全量交叉，通过判断友商A和网站B确定的标准品牌名是否完全相同从而确定友商A和网站B的品牌是否为同一品牌，友商A和网站B确定的标准品牌名可以是英文品牌名、中文品牌名或者是品牌全名。举例来说，友商A冰箱类确定的标准品牌名是a，网站B冰箱类确定的标准品牌名是A，在忽略字符书写差别的情况下，可以认定品牌名a和品牌名A完全相同，因此可以确定友商A中冰箱类确定的标准品牌名a和网站B中冰箱类确定的标准品牌名A是同一品牌。进一步的，可以将网站B中标准品牌名A的商品销售信息补充到友商A中与标准品牌名a对应的商品销售信息中。可以通过一循环，对友商A每一行的标准品牌名进行转化同时对友商A每一行对应的网站B的标准品牌名进行过滤，从而得到网站B引进友商A的所有标准品牌名的商品销售信息。

本示例实施方式中，可以采用K折交叉验证(K-fold Cross Validation)方法对第一数据源和第二数据源进行全量交叉。可以通过K折交叉验证方法，将数据集分成K份，轮流将其中K-1份做训练，另外1份做验证，通过K次验证结果的均值估计算法精度。通过全量交叉验证，可以找到误差相对较小的数据，提高数据的稳定性，以使汇总的数据更加准确全面。

此外，本示例实施方式中，对所述第一数据源在所述第二数据源中引进的所述标准品牌名的商品销售信息进行分层汇总可以包括：

将所述第二数据源中引进的所述第一数据源的标准品牌名按照与所述第一数据源的标准品牌名对应的商品销售额逆序排序以进行分层汇总。

本示例实施方式中，可以对上述友商A补充完网站B标准品牌名的销售信息RDD进行排序。本示例中可以按照友商A中与品牌名对应的商品销售总量，也可以按照友商A中与品牌名对应的商品总销售额进行排序，排序方式可以是从小到大，也可以是从大到小，也可以是其它排序方式，本示例实施方式对此不做特殊限定。

此外，本示例实施方式中，可以按照通用的分层规则或者是其它分层规则对采集的商品销售信息进行分层汇总。例如，将友商A中与品牌名对应的商品总销售额按照从大到小的逆序进行排列，并使用通用分层规则进行汇总。可以将商品总销售额排在1-200位的品牌名划分为第一层，将商品总销售额排在201-1000的品牌名划分为第二层，对于商品总销售额排名在1000之后的品牌名，按照每隔2000个分为一层的规则进行分层。也可以对商品的销售数量进行排序后，按照其它的规则进行分层，例如将商品的销售数量按照从大到小的顺序进行排序，将排在1-100位的品牌名划分为第一层，商品销售数量排在100-500之间的品牌名划分为第二层，对于商品销售数量排在500位之后的品牌名，每1000个划分为一层，本示例实施方式对此不做特殊限定。

进一步的，参考图5所示，本示例的实施方式中还提供了一种品牌信息处理装置200，包括信息采集模块201、信息聚合模块202、引进关系确定模块203以及分层汇总模块204。其中：

信息采集模块201，可以用于采集第一数据源的商品销售信息以及第二数据源的全量商品销售信息，其中，所述商品销售信息包括品牌名以及与所述品牌名对应的商品销售数据，所述全量商品销售信息包括品牌名以及与所述品牌名对应的商品销售数据；

信息聚合模块202，可以用于在所述第一数据源的品牌名和所述第二数据源的品牌名中确定多个标准品牌名，并按照所述标准品牌名聚合与所述标准品牌名对应的商品销售信息；

引进关系确定模块203，可以用于按照所述标准品牌名确定所述第一数据源的所述标准品牌名在所述第二数据源的引进关系以及与所述标准品牌名对应的商品销售信息；

分层汇总模块204，可以用于对所述第一数据源在所述第二数据源中引进的所述标准品牌名的商品销售信息进行分层汇总并发送至前端系统。

此外，本示例实施方式中，所述品牌信息处理装置还可以包括：

信息处理模块，可以用于通过基于Spark的并行框架对所述第一数据源的商品销售信息和所述第二数据源的全量商品销售信息进行处理。

此外，本示例实施方式中，在采集第一数据源的商品销售信息以及第二数据源的全量商品销售信息之后，所述品牌信息处理装置还可以包括：

拆分模块，可以用于采用映射操作对所述品牌名进行拆分，其中，所述品牌名包括英文品牌名、中文品牌名以及品牌全名；

封装模块，可以用于将拆分后的所述英文品牌名和所述中文品牌名封装成相同的格式。

此外，本示例实施方式中，在所述第一数据源和所述第二数据源的所述品牌名中确定多个标准品牌名可以包括：

品牌名判断模块，可以用于对采集的所述第一数据源的品牌名和所述第二数据源的品牌名进行映射操作，判断封装后的所述英文品牌名或者所述中文品牌名是否完全相等；

品牌名聚合模块，可以用于在判断出封装后的所述英文品牌名或者所述中文品牌名完全相等时，将相等的所述品牌名组成一集合；

标准品牌名确定模块，可以用于将所述集合中的销售额最大的所述品牌名确定为所述标准品牌名。

此外，本示例实施方式中，所述聚合模块还可以包括：

数据化简模块，可以用于将所述标准品牌名作为键值，通过化简操作对所述标准品牌名对应的商品销售数据进行加和；

数据聚合模块，可以用于对所述第一数据源和所述第二数据源中包含所述标准品牌名的商品销售数据进行聚合操作并存储。

此外，本示例实施方式中，所述引进关系确定模块还可以包括：

转化模块，可以用于对所述第一数据源的标准品牌名的商品销售信息进行逐行映射操作以转化与所述标准品牌名对应的商品销售信息；

过滤模块，可以用于对与所述第一数据源对应的所述第二数据源的标准品牌名的商品销售信息进行过滤处理，获取符合引进条件的与所述标准品牌名对应的商品销售信息；

引进模块，可以用于将获取的所述第二数据源的标准品牌名的商品销售信息补充到与所述第一数据源的标准品牌名对应的商品销售信息中以确定引进关系。

此外，本示例实施方式中，对与所述第一数据源对应的所述第二数据源的标准品牌名的商品销售信息进行过滤处理，获取符合引进条件的与所述标准品牌名对应的商品销售信息可以包括：

引进条件模块，可以用于对所述第一数据源和所述第二数据源进行全量交叉，通过判断所述标准品牌名是否完全一致，确定所述第一数据源和所述第二数据源的所述标准品牌名是否为相同的品牌名。

此外，本示例实施方式中，所述分层汇总模块还可以包括：

分层模块，可以用于将所述第二数据源中引进的所述第一数据源的标准品牌名按照与所述第一数据源的标准品牌名对应的商品销售额逆序排序以进行分层汇总。

上述中各品牌信息处理装置的具体细节已经在对应的品牌信息处理方法中进行了详细的描述，因此此处不再赘述。

本示例实施方式中还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的品牌信息处理方法。

存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

存储介质中包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、射频等等，或者上述的任意合适的组合。

本示例实施方式中还提供了一种电子设备，参考图6所示，该电子设备10包括：处理组件11，其进一步可以包括一个或多个处理器，以及由存储器12所代表的存储器资源，用于存储可由处理组件11执行的指令，例如应用程序。存储器12中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件11被配置为执行指令，以执行上述方法。

该电子设备10还可以包括：一个电源组件，电源组件被配置成对执行电子设备10进行电源管理；一个有线或无线网络接口13，被配置成将电子设备10连接到网络；以及一个输入输出(I/O)接口14。该电子设备10可以操作基于存储在存储器12的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、电子设备、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (18)

1.一种品牌信息处理方法，其特征在于，包括：

采集第一数据源的商品销售信息以及第二数据源的全量商品销售信息；其中，所述商品销售信息包括品牌名以及与所述品牌名对应的商品销售数据，所述全量商品销售信息包括品牌名以及与所述品牌名对应的商品销售数据；

在所述第一数据源的品牌名和所述第二数据源的品牌名中确定多个标准品牌名，并根据确定的所述标准品牌名聚合与所述标准品牌名对应的商品销售信息；

根据所述标准品牌名确定所述第一数据源的标准品牌名在所述第二数据源的引进关系以及与所述标准品牌名对应的商品销售信息；

对所述第一数据源在所述第二数据源中引进的与所述标准品牌名对应的商品销售信息进行分层汇总并发送至前端系统。

2.根据权利要求1所述的品牌信息处理方法，其特征在于，其中，通过基于Spark的并行框架对所述第一数据源的商品销售信息和所述第二数据源的全量商品销售信息进行处理。

3.根据权利要求1所述的品牌信息处理方法，其特征在于，在采集第一数据源的商品销售信息以及第二数据源的全量商品销售信息之后，所述方法还包括：

采用映射操作对所述品牌名进行拆分；其中，所述品牌名包括英文品牌名、中文品牌名以及品牌全名；

将拆分后的所述英文品牌名和所述中文品牌名封装成相同的格式。

4.根据权利要求3所述的品牌信息处理方法，其特征在于，在所述第一数据源的品牌名和所述第二数据源的品牌名中确定多个标准品牌名包括：

对采集的所述第一数据源的品牌名和所述第二数据源的品牌名进行映射操作，判断封装后的所述英文品牌名或者所述中文品牌名是否完全相等；

在判断出封装后的所述英文品牌名或者所述中文品牌名完全相等时，将相等的所述品牌名组成一集合；

将所述集合中销售额最大的所述品牌名确定为所述标准品牌名。

5.根据权利要求1所述的品牌信息处理方法，其特征在于，在所述第一数据源和所述第二数据源的所述品牌名中确定多个标准品牌名之后，所述方法还包括：

将所述标准品牌名作为键值，通过化简操作对与所述标准品牌名对应的商品销售数据进行加和；

对所述第一数据源和所述第二数据源中包含所述标准品牌名的商品销售数据进行聚合操作并存储。

6.根据权利要求1所述的品牌信息处理方法，其特征在于，根据所述标准品牌名确定所述第一数据源的所述标准品牌名在所述第二数据源的引进关系包括：

对所述第一数据源的所述标准品牌名的商品销售信息进行逐行映射操作以转化与所述标准品牌名对应的商品销售信息；

对与所述第一数据源对应的所述第二数据源的标准品牌名的商品销售信息进行过滤处理，获取符合引进条件的与所述标准品牌名对应的商品销售信息；

将获取的所述第二数据源的标准品牌名的商品销售信息补充到与所述第一数据源的标准品牌名对应的商品销售信息中以确定引进关系。

7.根据权利要求6所述的品牌信息处理方法，其特征在于，对与所述第一数据源对应的所述第二数据源的标准品牌名的商品销售信息进行过滤处理，获取符合引进条件的与所述标准品牌名对应的商品销售信息包括：

对所述第一数据源和所述第二数据源进行全量交叉，通过判断所述标准品牌名是否完全一致，确定所述第一数据源和所述第二数据源的所述标准品牌名是否为相同的品牌名。

8.根据权利要求1所述的品牌信息处理方法，其特征在于，对所述第一数据源在所述第二数据源中引进的与所述标准品牌名对应的商品销售信息进行分层汇总包括：

将所述第二数据源中引进的所述第一数据源的标准品牌名按照与所述第一数据源的标准品牌名对应的商品销售额逆序排序以进行分层汇总。

9.一种品牌信息处理装置，其特征在于，包括：

信息采集模块，用于采集第一数据源的商品销售信息以及第二数据源的全量商品销售信息；其中，所述商品销售信息包括品牌名以及与所述品牌名对应的商品销售数据，所述全量商品销售信息包括品牌名以及与所述品牌名对应的商品销售数据；

信息聚合模块，用于在所述第一数据源的品牌名和所述第二数据源的品牌名中确定多个标准品牌名，并根据确定的所述标准品牌名聚合与所述标准品牌名对应的商品销售信息；

引进关系确定模块，用于根据所述标准品牌名确定所述第一数据源的标准品牌名在所述第二数据源的引进关系以及与所述标准品牌名对应的商品销售信息；

分层汇总模块，用于对所述第一数据源在所述第二数据源中引进的与所述标准品牌名对应的商品销售信息进行分层汇总并发送至前端系统。

10.根据权利要求9所述的品牌信息处理装置，其特征在于，所述装置还包括：

信息处理模块，用于通过基于Spark的并行框架对所述第一数据源的商品销售信息和所述第二数据源的全量商品销售信息进行处理。

11.根据权利要求9所述的品牌信息处理装置，其特征在于，在采集第一数据源的商品销售信息以及第二数据源的全量商品销售信息之后，所述装置还包括：

拆分模块，用于采用映射操作对所述品牌名进行拆分，其中，所述品牌名包括英文品牌名、中文品牌名以及品牌全名；

封装模块，用于将拆分后的所述英文品牌名和所述中文品牌名封装成相同的格式。

12.根据权利要求11所述的品牌信息处理装置，其特征在于，在所述第一数据源的品牌名和所述第二数据源的品牌名中确定多个标准品牌名包括：

品牌名判断模块，用于对采集的所述第一数据源的品牌名和所述第二数据源的品牌名进行映射操作，判断封装后的所述英文品牌名或者所述中文品牌名是否完全相等；

品牌名聚合模块，用于在判断出封装后的所述英文品牌名或者所述中文品牌名完全相等时，将相等的所述品牌名组成一集合；

标准品牌名确定模块，用于将所述集合中销售额最大的所述品牌名确定为所述标准品牌名。

13.根据权利要求9所述的品牌信息处理装置，其特征在于，所述信息聚合模块还包括：

数据化简模块，用于将所述标准品牌名作为键值，通过化简操作对与所述标准品牌名对应的商品销售数据进行加和；

数据聚合模块，用于对所述第一数据源和所述第二数据源中包含所述标准品牌名的商品销售数据进行聚合操作并存储。

14.根据权利要求9所述的品牌信息处理装置，其特征在于，所述引进关系确定模块还包括：

转化模块，用于对所述第一数据源的标准品牌名的商品销售信息进行逐行映射操作以转化与所述标准品牌名对应的商品销售信息；

过滤模块，用于对与所述第一数据源对应的所述第二数据源的标准品牌名的商品销售信息进行过滤处理，获取符合引进条件的与所述标准品牌名对应的商品销售信息；

引进模块，用于将获取的所述第二数据源的标准品牌名的商品销售信息补充到与所述第一数据源的标准品牌名对应的商品销售信息中以确定引进关系。

15.根据权利要求14所述的品牌信息处理装置，其特征在于，对与所述第一数据源对应的所述第二数据源的标准品牌名的商品销售信息进行过滤处理，获取符合引进条件的与所述标准品牌名对应的商品销售信息包括：

引进条件模块，用于对所述第一数据源和所述第二数据源进行全量交叉，通过判断所述标准品牌名是否完全一致，确定所述第一数据源和所述第二数据源的所述标准品牌名是否为相同的品牌名。

16.根据权利要求9所述的品牌信息处理装置，其特征在于，所述分层汇总模块还包括：

分层模块，用于将所述第二数据源中引进的所述第一数据源的标准品牌名按照与所述第一数据源的标准品牌名对应的商品销售额逆序排序以进行分层汇总。

17.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的品牌信息处理方法。

18.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-8任一项所述的品牌信息处理方法。