CN110674182A - 大数据的分析方法、及数据分析服务器 - Google Patents

Abstract

本发明提供一种大数据的分析方法、及数据分析服务器，通过综合考虑不同兴趣度度量维度，以对每个维度的所有业务大数据进行聚类后，可以保证不同兴趣度度量维度在不同的数据挖掘项目待应用场景下性能表现更加统一，提高大数据挖掘的能力，并且可以根据各聚类簇的特征信息，动态确定待挖掘服务的多个数据挖掘项目。

Description

大数据的分析方法、及数据分析服务器

技术领域

本申请涉及大数据技术领域，具体而言，涉及一种大数据的分析方法、 装置及数据分析服务器。

背景技术

目前针对各个线上业务(例如订单行为业务、浏览行为业务等)等大 数据挖掘方案，大多仅限使用一种兴趣度度量维度，虽然部分关注于不同 兴趣度度量维度方式的属性和行为的研究，但是针对某个待挖掘服务，不 同兴趣度度量维度在不同的数据挖掘项目待应用场景下，性能表现不一， 其使用局限性限制了在大数据挖掘的能力。并且，在整个数据挖掘过程中， 需要先对数据进行分析，然后才能确定挖掘项目。然而，现有的分析方法 无法进行多维度的分析，并准确获得挖掘项目。

发明内容

为了至少克服现有技术中的上述不足，本申请的目的之一在于提供一 种一种大数据的分析方法、装置及数据分析服务器。

第一方面，本申请提供一种大数据的分析方法，应用于与待分析服务 所对应的各个业务服务器通信连接的数据分析服务器，所述方法包括：

从各个业务服务器中获取多个维度的业务大数据，并针对每个维度， 对该维度的所有业务大数据进行聚类，得到每个维度的聚类簇；

提取每个维度的聚类簇的特征信息，并根据每个维度的聚类簇的特征 信息，确定所述待挖掘服务的多个数据挖掘项目。

在第一方面的一种可能的设计中，所述根据每个维度的聚类簇的特征 信息，确定所述待挖掘服务的多个数据挖掘项目的步骤，包括：

从所述每个维度的聚类簇的特征信息中分析得到高贡献值特征与低贡 献值特征；

计算所述高贡献值特征在所述每个维度的聚类簇的特征信息中的第一 占比以及所述低贡献值特征在所述每个维度的聚类簇的特征信息中的第二 占比；

根据所述第一占比和所述第二占比确定所述待挖掘服务的多个数据挖 掘项目。

在第一方面的一种可能的设计中，所述根据所述第一占比和所述第二 占比确定所述待挖掘服务的多个数据挖掘项目的步骤，包括：

根据所述第一占比与第一设定值之间的第一差值，以及所述第二占比 与第二设定值之间的第二差值，分别确定高贡献值特征的第一挖掘系数和 低贡献值特征的第二挖掘系数；

根据所述第一挖掘系数和所述第二挖掘系数确定高贡献值特征所对应 的数据挖掘项目的第一比例和低贡献值特征所对应的数据挖掘项目的第二 比例；

根据所述第一比例和所述第二比例确定所述待挖掘服务的多个数据挖 掘项目。

第二方面，本申请实施例提供一种数据分析服务器，包括处理器、存 储器和网络接口。其中，存储器、网络接口处理器之间可以通过总线系统 相连。网络接口用于接收报文，存储器用于存储程序、指令或代码，处理 器用于执行存储器中的程序、指令或代码，以完成上述第一方面或第一方 面的任意可能的设计方式中的所执行的操作。

第三方面，本申请实施例提供一种计算机可读存储介质，计算机可读 存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第 一方面或第一方面的任意可能的设计方式中的方法。

基于上述任意一个方面，本申请通过综合考虑不同兴趣度度量维度， 以对每个维度的所有业务大数据进行聚类后，可以保证不同兴趣度度量维 度在不同的数据挖掘项目待应用场景下性能表现更加统一，提高大数据挖 掘的能力，并且可以根据各聚类簇的特征信息，动态准确的获取待挖掘服 务的多个数据挖掘项目。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需 要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些 实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的大数据挖掘方法的应用场景示意图；

图2为本申请实施例提供的大数据挖掘方法的流程示意图；

图3为图2中所示的一种可能的实施方式中步骤S120包括的各个子步 骤的流程示意图；

图4为本申请实施例提供的用于执行上述的大数据挖掘方法的数据分 析服务器的结构示意框图。

具体实施方式

下面结合说明书附图对本申请进行具体说明，方法实施例中的具体操 作方法也可以应用于装置实施例或系统实施例中。在本申请的描述中，除 非另有说明，“至少一个”包括一个或多个。“多个”是指两个或两个以上。 例如，A、B和C中的至少一个，包括：单独存在A、单独存在B、同时存 在A和B、同时存在A和C、同时存在B和C，以及同时存在A、B和C。 在本申请中，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和 /或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种 情况。

请参阅图1，为本申请实施例提供的大数据的分析方法的应用场景示意 图。本实施例中，该应用场景可包括数据分析服务器100以及与该数据分 析服务器100通信连接的多个业务服务器200。其中，数据分析服务器100 可以为多个业务服务器200提供数据分析服务。每个业务服务器200可以 是单独执行各个线上业务，例如订单业务、交易业务等。

图2为本申请实施例提供的大数据的分析方法的流程示意图。本实施 例中，该大数据的分析方法可以由图1中所示的数据分析服务器100执行， 下面对该大数据的分析方法进行详细介绍。

步骤S110，从各个业务服务器200中获取多个维度的业务大数据，并 针对每个维度，对该维度的所有业务大数据进行聚类，得到每个维度的聚 类簇。

本实施例中，待挖掘服务可以是根据用户需求实际确定的挖掘服务， 具体可以根据用户的设定选择与其相关联的业务服务器200，然后从这些业 务服务器200中获取多个维度的业务大数据，并针对每个维度，对该维度 的所有业务大数据进行聚类，从而得到每个维度的聚类簇。

步骤S120，提取每个维度的聚类簇的特征信息，并根据每个维度的聚 类簇的特征信息，确定所述待挖掘服务的多个数据挖掘项目。

本实施例中，例如，可以通过首先对每个维度的聚类簇进行加窗处理； 将窗口内的每个维度的聚类簇输入到CCIPCA算法中计算所述每个维度的 聚类簇的特征信息。

在一种可能的设计中，请结合参阅图3，针对步骤S120，具体可以包 括如下子步骤：

子步骤S121，从所述每个维度的聚类簇的特征信息中分析得到高贡献 值特征与低贡献值特征。

子步骤S122，计算所述高贡献值特征在所述每个维度的聚类簇的特征 信息中的第一占比以及所述低贡献值特征在每个维度的聚类簇的特征信息 中的第二占比。

子步骤S123，根据所述第一占比和所述第二占比确定所述待挖掘服务 的多个数据挖掘项目。

其中，针对子步骤S123，在一种可能的实现方式中，首先根据所述第 一占比与第一设定值之间的第一差值，以及所述第二占比与第二设定值之 间的第二差值，分别确定高贡献值特征的第一挖掘系数和低贡献值特征的 第二挖掘系数。然后，根据所述第一挖掘系数和所述第二挖掘系数确定高 贡献值特征所对应的数据挖掘项目的第一比例和低贡献值特征所对应的数 据挖掘项目的第二比例，最后根据所述第一比例和所述第二比例确定所述 待挖掘服务的多个数据挖掘项目。

基于上述步骤，本实施例通过进一步考虑高贡献值特征与低贡献值特 征在每个维度的聚类簇的特征信息中的占比，从而确定待挖掘服务的多个 数据挖掘项目，相较于现有技术中采用固定挖掘数据维度来说，本实施例 可以有效提高数据挖掘效果和准确性，避免过多无用数据参与到数据挖掘 过程中。并且，能够有效降低固定挖掘数据维度选择的主观性影响、降低 挖掘错误率。

在前述描述的基础上，数据分析服务器100可以将所述待挖掘服务的 大数据挖掘结果发送给各个对应的业务服务器200。

图4为本申请实施例提供的用于执行上述大数据的分析方法的数据分 析服务器100的结构示意图，如图4所示，该数据分析服务器100可包括 网络接口110、机器可读存储介质120、处理器130以及总线140。处理器 130的数量可以是一个或多个，图4中以一个处理器130为例；网络接口 110、机器可读存储介质120以及处理器130可以通过总线140或其他方式 连接，图4中以通过总线140连接为例。

机器可读存储介质120作为一种计算机可读存储介质，可用于存储软 件程序、计算机可执行程序以及模块，如本申请实施例中的建立机器人自 动问答知识库的方法对应的程序指令/模块。处理器130通过运行存储在机 器可读存储介质120中的软件程序、指令以及模块，从而执行终端设备的 各种功能应用以及数据处理，即实现上述的大数据的分析方法，在此不再 赘述。

机器可读存储介质120可主要包括存储程序区和存储数据区，其中， 存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区 可存储根据终端的使用所创建的数据等。此外，机器可读存储介质120可 以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器 两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、 可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储 器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性 说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、 动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器 (Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器 (Double DataRateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储 器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM， DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这 些和任意其它适合类型的存储器。在一些实例中，机器可读存储介质120 可进一步包括相对于处理器130远程设置的存储器，这些远程存储器可以 通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内 部网、局域网、移动通信网及其组合。

处理器130可能是一种集成电路芯片，具有信号的处理能力。在实现 过程中，上述方法实施例的各步骤可以通过处理器130中的硬件的集成逻 辑电路或者软件形式的指令完成。上述的处理器130可以是通用处理器、 数字信号处理器(DigitalSignalProcessorDSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、 分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤 及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规 的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件 译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完 成。

数据分析服务器100可以通过通信接口110和其它设备(例如业务服 务器200)进行信息交互。通信接口110可以是电路、总线、收发器或者其 它任意可以用于进行信息交互的装置。处理器130可以利用通信接口110 收发信息。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任 意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品 的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机 上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施 例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算 机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存 储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质 传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数 据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、 无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传 输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者 是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所 述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、 或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机 程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现 流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流 程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计机、 嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得 通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现 在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功 能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理 设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存 储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上， 使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现 的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流 程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的 步骤。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而 不脱离本申请的精神和范围。这样，倘若本申请实施例的这些修改和变型 属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些 改动和变型在内。

Claims (5)

1.一种大数据的分析方法，其特征在于，应用于与待分析服务所对应的各个业务服务器通信连接的数据分析服务器，所述方法包括：

从各个业务服务器中获取多个维度的业务大数据，并针对每个维度，对该维度的所有业务大数据进行聚类，得到每个维度的聚类簇；

提取每个维度的聚类簇的特征信息，并根据每个维度的聚类簇的特征信息，确定所述待挖掘服务的多个数据挖掘项目。

2.根据权利要求1所述的大数据的分析方法，其特征在于，所述根据每个维度的聚类簇的特征信息，确定所述待挖掘服务的多个数据挖掘项目的步骤，包括：

从所述每个维度的聚类簇的特征信息中分析得到高贡献值特征与低贡献值特征；

计算所述高贡献值特征在所述每个维度的聚类簇的特征信息中的第一占比以及所述低贡献值特征在每个维度的聚类簇的特征信息中的第二占比；

根据所述第一占比和所述第二占比确定所述待挖掘服务的多个数据挖掘项目。

3.根据权利要求2所述的大数据的分析方法，其特征在于，所述根据所述第一占比和所述第二占比确定所述待挖掘服务的多个数据挖掘项目的步骤，包括：

根据所述第一占比与第一设定值之间的第一差值，以及所述第二占比与第二设定值之间的第二差值，分别确定高贡献值特征的第一挖掘系数和低贡献值特征的第二挖掘系数；

根据所述第一挖掘系数和所述第二挖掘系数确定高贡献值特征所对应的数据挖掘项目的第一比例和低贡献值特征所对应的数据挖掘项目的第二比例；

根据所述第一比例和所述第二比例确定所述待挖掘服务的多个数据挖掘项目。

4.一种数据分析服务器，其特征在于，所述数据分析服务器包括机器可读存储介质及处理器，所述机器可读存储介质存储有机器可执行指令，所述处理器在执行所述机器可执行指令时，该数据分析服务器实现权利要求1-3中任意一项所述的大数据的分析方法。

5.一种可读存储介质，其特征在于，所述可读存储介质中存储有机器可执行指令，所述机器可执行指令被执行时实现权利要求1-3中任意一项所述的大数据的分析方法。

Images