CN114791927A - 一种数据分析方法和装置 - Google Patents

Abstract

本发明实施例公开了一种数据分析方法和装置，在接收到数据分析任务时，根据该数据分析任务的类型，可以从对应的矩阵库中确定出该类型对应的特征矩阵，并可以由该特征矩阵对该数据分析任务对应的待分析数据进行处理，可见，从矩阵库获取对应的特征矩阵来用于对一个数据分析任务的处理，以获取所述特征矩阵的输出特征，根据所述输出特征确定所述数据分析任务的分析结果。而不用为这个数据分析任务专门配置特征矩阵，从而省去了原本需要根据所需分析的数据及数据分析任务的需求来配置特征矩阵的时间，提高了数据分析效率。

Description

一种数据分析方法和装置

本申请为2016年09月27日提交的申请号为201610854748.7的发明专利申请的分案申请。

技术领域

本发明涉及数据处理领域，特别是涉及一种数据分析方法和装置。

背景技术

随着数据分析技术的发展，数据的重要性随之提升，对数据进行数据分析的分析结果往往可以作为一些公司决策、发展的重要参考。

数据分析的过程需要使用到特征矩阵和模型对所需分析的数据进行处理，从而得到分析结果。数据分析的分析结果越准确，起到的参考价值就越高。

目前，在进行数据分析的过程中，在执行每一次数据分析任务时，都需要为该数据分析任务专门配置特征矩阵，每次配置特征矩阵都会消耗大量时间，数据分析的效率有待提高。

发明内容

为了解决上述技术问题，本发明实施例提供了一种数据分析方法和装置，可以节省配置特征矩阵的时间，提高数据分析效率。

第一方面，本发明实施例提供了一种数据分析方法，该方法包括：

接收数据分析任务；获取该数据分析任务对应的待分析数据；根据该数据分析任务的类型从矩阵库中确定出该类型对应的特征矩阵；根据该特征矩阵的处理逻辑对该数据进行处理，以获取该特征矩阵的输出特征；根据该输出特征确定该数据分析任务的分析结果。

可见，在接收到数据分析任务时，根据该数据分析任务的类型，可以从对应的矩阵库中确定出该类型对应的特征矩阵，并可以由该特征矩阵对该数据分析任务所需分析的数据进行处理，可见，从矩阵库获取对应的特征矩阵来用于对一个数据分析任务的处理，而不用为这个数据分析任务专门配置特征矩阵，从而省去了原本需要根据所需分析的数据及数据分析任务的需求来配置特征矩阵的时间，提高了数据分析效率。

在第一方面的第一种可能的实现方式中，该矩阵库包括在历史任务的分析过程中所配置的特征矩阵，该历史任务为已完成的数据分析任务，该历史任务的类型与该数据分析任务的类型相同。

可见，将历史任务的特征矩阵应用于数据分析任务的分析中，达到了对特征矩阵重复使用的效果。减少了对该数据分析任务进行数据分析所耗费的时间，进而提高了数据分析的效率。若矩阵库中存放的特征矩阵越全面，特征矩阵对应的数据分析任务的类型越多，则在接收到新的数据分析任务时，从矩阵库中直接重复使用之前保存下来的特征矩阵进行处理的机率越大。

结合第一方面的第一种的实现方式，在第二种可能的实现方式中，还包括：

根据该类型从特征工程库中确定出与该类型对应的特征工程，该特征工程包括从获取所需分析的数据到从特征矩阵得到输出特征之间的数据分析过程；该根据该特征矩阵的处理逻辑对该数据进行处理，获取该特征矩阵的输出特征，包括：按照该特征工程中包括的数据分析过程，根据该特征矩阵的处理逻辑对该数据进行处理，获取该特征矩阵的输出特征。

可见，可以通过预先建立特征工程库，并将历史任务在分析过程中所配置出的特征工程、以及该历史任务的类型与其所配置的特征工程具有的对应关系均保存在该特征工程库中，方便在接收到的数据分析任务时，能够依据该数据分析任务的类型直接从特征工程库中匹配到与该类型对应的特征工程，省去了配置繁琐的数据分析步骤的时间，提高了数据分析效率。

结合第一方面的第二种的实现方式，在第三种可能的实现方式中，该数据分析过程还包括对所需分析的数据进行预处理的过程，该预处理的过程包括数据去重、数据抽样和数据优化中任意一项或多项的组合。

可见，通过记录待分析数据的预处理过程，在针对数据分析任务复用该数据分析过程时，免去手动配置繁琐的预处理步骤，节省了时间，提高了数据分析的效率。

在第一方面的第四种可能的实现方式中，该矩阵库中包括的该特征矩阵为根据特征库中保存的特征与处理逻辑所配置得到的，该特征库中保存的特征为根据历史数据所构建得到的。

可见，可以预先通过一个领域中的数据构建出与这个领域相关的特征库，从而在需要为一个数据分析任务配置对应的特征矩阵时，可以直接依据特征库中已经确定好的特征和处理逻辑进行配置，从而可以一定程度上节省配置特征矩阵的所消耗的时间。

结合第一方面的第四种的实现方式，在第五种可能的实现方式中，该历史数据属于电信领域，则该特征库中保存的特征为根据该领域中数据所构建得到的，包括：该特征库中保存的特征为基于数据所携带的属性，对该电信领域中的数据进行构建得到的，该属性包括用户属性、位置属性、业务属性、终端属性和网络属性中任意一项或多项的组合。

可见，针对电信领域的特点，通过用户属性、位置属性、业务属性、终端属性和网络属性中任意一项或多项的组合，可以根据电信领域的历史数据构建出针对电信领域的特征库，以便于提高电信领域的数据分析任务的数据分析效率。

在第一方面的第六种可能的实现方式中，该根据该输出特征确定该数据分析任务的分析结果，包括：从模型库中查找与该数据分析任务的类型相匹配的模型；根据查找到的模型对该输出特征进行处理，以得到该分析结果。

可见，可以通过预先构建模型库，并将历史任务在分析过程中所配置出的模型、以及该历史任务的类型与其所配置的模型具有的对应关系保存在该模型库中，方便在接收到的数据分析任务时，依据该数据分析任务的类型可以直接从模型库中匹配到与该类型对应的模型，并可以根据该模型对特征矩阵的输出特征进行处理，省去了重新为该数据分析任务配置模型的时间，提高了数据分析效率。

结合第一方面的第六种的实现方式，在第七种可能的实现方式中，该模型库包括在历史任务的分析过程中所配置的模型，该历史任务为已完成的数据分析任务，该历史任务的类型与该数据分析任务的类型相同。

可见，同类型的数据分析任务所配置的模型基本类似，将历史任务的模型保存在模型库中，处理同类型的数据分析任务时可以进行复用，省去为数据分析任务配置模型的时间。

第二方面，本发明实施例提供了一种数据分析装置，该装置包括接收单元、获取单元、确定单元和处理单元,用于执行上述第一方面或第一方面的任一种实现方式所描述的方法。

第三方面，提供一种数据分析服务器，包括存储器和处理器，所述存储器用于存储程序，所述处理器用于执行程序，当所述程序被执行时，所述处理器具体用于执行上述第一方面或第一方面的任一种实现方式所描述的方法。

第四方面，提供一种计算机可读介质，所述计算机可读介质用于存储程序代码，所述程序代码包含用于实现上述第一方面或第一方面的任一种实现方式所描述的方法的指令。

由上述技术方案可以看出，在接收到数据分析任务时，根据该数据分析任务的类型，可以从对应的矩阵库中确定出该类型对应的特征矩阵，并可以由该特征矩阵对该数据分析任务所需分析的数据进行处理，可见，从矩阵库获取对应的特征矩阵来用于对一个数据分析任务的处理，而不用为这个数据分析任务专门配置特征矩阵，从而省去了原本需要根据所需分析的数据及数据分析任务的需求来配置特征矩阵的时间，提高了数据分析效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据分析方法的方法流程图；

图2为本发明实施例提供的一种电信领域数据分析的结构示意图；

图3为本发明实施例提供的另一种数据分析方法的方法流程图；

图4为本发明实施例提供的一种电信领域数据分析方法的方法流程图；

图5为本发明实施例提供的另一种数据分析方法的方法流程图；

图6为本发明实施例提供的一种数据分析装置的装置结构图；

图7为本发明实施例提供的一种数据分析服务器的硬件结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着数据的重要性提升，对数据的数据分析需求越来越大。数据分析的过程需要使用到特征矩阵和模型对所需分析的数据进行处理，从而得到分析结果。目前虽然有用于数据分析的分析软件，但是这类分析软件主要是针对数据的通用性分析，并未关注各个领域中数据所具有的特点。

有一些领域中数据的种类较为多变，这些领域中，同一个类型的数据分析任务所需分析的数据可能都不尽相同。有一些领域中数据的种类较为固定，例如电信领域、银行领域等，这些领域中，同一个类型的数据分析任务所需分析的数据可能基本类似。可见，在数据的种类较为固定的领域中，若能够将曾经处理的数据分析任务所配置的特征矩阵保存下来，之后如果出现相同类型的一个数据分析任务需要处理，由于相同类型的数据分析任务在这个领域下所需处理的数据基本类似，故之前所保存的特征矩阵将具有在这个数据分析任务中重复使用的可能。

为此，本发明实施例提供了一种数据分析方法和装置，在接收到数据分析任务时，根据该数据分析任务的类型，可以从对应的矩阵库中确定出该类型对应的特征矩阵，并可以由该特征矩阵对该数据分析任务所需分析的数据进行处理，可见，从矩阵库获取对应的特征矩阵来用于对一个数据分析任务的处理，而不用为这个数据分析任务专门配置特征矩阵，从而省去了原本需要根据所需分析的数据及数据分析任务的需求来配置特征矩阵的时间，提高了数据分析效率。

本发明实施例主要应用于数据种类较为固定，变化较少的领域，例如电信领域。在处理这类领域的数据分析任务时，可以根据数据分析任务的类型从矩阵库中确定出与该类型对应的特征矩阵，确定出的该特征矩阵可以用来处理、分析该数据分析任务所需分析的数据，并从该特征矩阵输出数据分析任务所需的输出特征。

在本发明实施例中，数据分析任务可以是为了实现一个需求而对特定数据进行的特定数据分析，若数据分析任务为离线数据分析任务时，该数据分析任务所需分析的数据将为离线数据，所进行的数据分析也是针对离线数据的数据分析。一个数据分析任务的类型可以是数据分析的具体分析类型、所需分析数据的数据类型、数据分析中所使用的算法和所使用的特征矩阵类型等任意一个或多个的组合。

数据分析任务具有对应的待分析数据，也就是该数据分析任务所需分析的数据，在数据分析任务对应的待分析数据中，一个数据可以为一个单独的值或记录。以表结构的数据表为例，一个数据可以为数据表中的一个记录。数据可以具有属性，而特征可以为具有相同属性的数据的集合。以表结构的数据表为例，一个特征可以为表中的一列或一行数据的总称，这一列或一行数据可以具有相同的属性，例如一个数据表中包括4列，这4列分别为“姓名”、“年龄”、“性别”和“身高”，每一列都可以包括具有相同属性的至少一个数据，例如特征“姓名”这一列中可以包括数据“张三”、“李四”和“王五”，特征“年龄”这一列中可以包括数据“20岁”、“30岁”和“40岁”。对于“张三”、“李四”和“王五”这三个数据来说，都具有表示姓名的属性。对于“20岁”、“30岁”和“40岁”这三个数据来说，都具有表示年龄的属性。对于这个数据表来说，可以具有4个特征，分别为“姓名”、“年龄”、“性别”和“身高”，每个特征包括具有相同属性的数据，例如特征“姓名”包括了数据“20岁”、“30岁”和“40岁”，特征“姓名”包括了数据“张三”、“李四”和“王五”。

一个数据分析任务可以对所需分析的数据进行数据分析，该数据分析可以包括对所需分析数据分类、重组、转换、运算、分析等数据处理操作。在进行数据分析的过程中，需要将所需分析的数据输入到特征矩阵中，以便通过特征矩阵的运算输出数据分析任务所需的输出特征。在本发明实施例中，一个特征矩阵的输入内容和输出内容可以均为特征。一个特征矩阵应该输入什么特征以及可以输出什么特征是由这个特征矩阵的处理逻辑决定的。例如在电信领域中，特征矩阵的处理逻辑可以为电信特征应用程序编程接口(Application Programming Interface，API)。在通过特征矩阵来处理数据分析任务所需分析的数据时，需要先将数据重组、转换为符合该特征矩阵的输入特征。

接下来详细介绍本发明实施例所提供的数据分析方法。图1为本发明实施例提供的一种数据分析方法的方法流程图，所述方法包括：

S101：接收数据分析任务。

举例说明，数据分析任务可以是为了实现一个需求而对特定数据进行的特定数据分析，该数据分析任务可以提供所需分析的数据、所需分析的数据分析任务的归属类型等信息内容。例如做一个离网项目需要涉及到对8000张业务支撑系统(Business SupportSystem，BSS)数据表进行数据分析，那么针对这个离网项目的数据分析任务可以包括对该8000张BSS数据表进行数据分析，以实现该离网项目的分析需求的任务。

此时可以将“对8000张BSS数据表进行数据分析”这一需求所涉及的“8000张BSS数据表”作为该数据分析任务所需分析的数据，进而针对本次数据分析任务提供的“8000张BSS数据表”所包括的数据及其归属的类型如 BSS，进行专门的数据分析。同时，由于该项目为离网环境下执行的，故该数据分析任务所提供的信息内容中还可以包含对所需分析的数据进行分析的特性条件如离线环境，故对“8000张BSS数据表”进行的数据分析可以为针对离线环境下的数据进行的数据分析。

本发明实施例所接收到的数据分析任务可以属于特定领域内的数据分析任务，该特定领域可以是数据种类较为固定，变化较少的领域，例如电信、银行领域。

S102：获取所述数据分析任务对应的待分析数据。

举例说明，待分析的数据可以携带在该数据分析任务中，从而可在获取该数据分析任务时一起获取；待分析的数据也可以保存在该数据分析任务所指示的存储位置中，在获取到该数据分析任务后，可以从所指示的存储位置中提取所需分析的数据。获取所需分析的数据的方式本发明并不限定，可以是通过结构化查询语言(Structured QueryLanguage，SQL)提取所需分析的数据。

S103：根据所述数据分析任务的类型从矩阵库中确定出与所述类型对应的特征矩阵。

举例说明，数据分析任务的类型可以是数据分析的具体分析类型、所需分析数据的数据类型、数据分析中所使用的算法和所使用的特征矩阵类型等中的任意一个或多个的组合。可以根据具体的应用场景或者需求来确定一个数据分析任务的类型。

以一个所需分析数据为8000张BSS表的、离网项目的数据分析任务为例，根据不同的场景或需求，该数据分析任务的类型可以为数据分析的具体分析类型：离网任务分析，从而可以从矩阵库中确定出与离网任务分析相对应的特征矩阵。或者，该数据分析任务的类型可以是所需分析数据的数据类型： BSS表，从而可以从矩阵库中确定出与BSS表相对应的特征矩阵。或者，该数据分析任务的类型可以是数据分析的具体分析类型：离网任务分析，以及数据分析中所使用的算法A，从而可以从矩阵库中确定出与离网任务分析和算法A相对应的特征矩阵。

本发明实施例中所涉及到的矩阵库可以是预先建立的，主要用来存放特征矩阵，所存放的特征矩阵可以包括不同类型的数据分析任务所对应的特征矩阵，特征矩阵可以用于处理所对应数据分析任务中所需分析的数据。矩阵库中的特征矩阵具有与所对应数据分析任务的类型之间的关联关系，从而通过数据分析任务的类型可以从矩阵库中确定出与该类型具有关联关系的特征矩阵。从矩阵库中确定出的特征矩阵可以用于对S101所接收的数据分析任务的处理，从而避免了为该数据分析任务专门配置特征矩阵的过程，省去了原本需要根据所需分析的数据及数据分析任务的需求来配置特征矩阵的时间，提高了数据分析效率。一般情况下，矩阵库中特征矩阵所对应的数据分析任务所属的领域可以与S101所接收的数据分析任务所属的领域相同，且均属于数据种类较为固定，变化较少的领域，例如电信领域。

针对S103的通过数据分析任务的类型可以从矩阵库中确定出与该类型对应的特征矩阵，本发明提供了几种根据数据分析任务的类型从矩阵库中确定特征矩阵的方式。

第一种确定方式：

这种确定方式主要是通过匹配的方式来从矩阵库中确定出特征矩阵，在这种确定方式中，矩阵库中包括的特征矩阵可以为在历史任务的分析过程中所配置的特征矩阵。该历史任务为已完成的数据分析任务。

从矩阵库中匹配出特征矩阵的情况相当于从基于历史任务的分析过程所配置出来的特征矩阵中来确定当前接收到的数据分析任务(即S101所接收到的数据分析任务)所需配置的特征矩阵的情况。

从矩阵库内确定出特征矩阵所对应的历史任务的类型与S101所接收到的数据分析任务的类型相同。将确定出的特征矩阵应用于对S101所接收到的数据分析任务的处理中，从而达到了对特征矩阵重复使用的效果。若矩阵库中存放的特征矩阵越全面，特征矩阵对应的数据分析任务的类型越多，则在接收到新的数据分析任务时，从矩阵库中直接重复使用之前保存下来的特征矩阵进行处理的机率越大。

通过第一种确定方式，可以增加从矩阵库中复用其预先存放的特征矩阵的机率，而不用为对S101所接收到的数据分析任务重新配置特性矩阵，减少了对该数据分析任务进行数据分析所耗费的时间，进而提高了数据分析的效率。

第二种确定方式：

本发明实施例除了可以复用从矩阵库中匹配到的特征矩阵，还可以通过第二种确定方式从矩阵库中确定出特征矩阵。此时矩阵库中包括的特征矩阵可以为根据特征库中保存的特征与处理逻辑所配置的，该特征库中保存的特征为根据历史数据所构建得到的。采用第二种确定方式的场景可以包括针对依据数据分析任务的类型从矩阵库中无法匹配出对应的特征矩阵的场景，这种场景可以理解为，通过第一种确定方式从矩阵库中匹配特征矩阵时，发现矩阵库中并不具有该数据分析任务的类型所对应的特征矩阵。矩阵库中并不具有该数据分析任务的类型所对应的特征矩阵主要可以有几种情况导致。例如一种情况下，在通过S101接收数据分析任务之前并未处理过与该数据分析任务的类型相同的数据分析任务，故矩阵库中并未保存有与该数据分析任务的类型所对应的特征矩阵；例如另一种情况下，尽管之前处理、分析过与S101 所接收的数据分析任务的类型相同的数据分析任务，但却未将配置的特征矩阵保存到矩阵库中。

在第二种确定方式中，从矩阵库内确定出的特征矩阵是根据特征库中保存的特征与处理逻辑所配置的特征矩阵。该特征库中保存的特征可以为根据历史数据所构建得到的，该历史数据为属于一个领域中的数据，这个领域可以是电信领域。一个领域的历史数据可以通过预先收集获取。可以针对历史数据所携带的属性构建出特征库中所保存的特征。例如构建一个与电信领域相关的特征库时，可以针对在电信领域所收集到的数据，依据其各自所携带的属性进行聚类，从而构建出一个属于电信领域的特征库。电信领域中数据所携带的属性可以包括用户属性、位置属性、业务属性、终端属性和网络属性中的任意一项或多项的组合。例如针对用户属性，将具有用户属性的数据进行归类，得到特征“用户”的数据集合。

此外，在构建特征库的过程中，还可能会使用知识图谱技术，对收集到的属于电信领域的数据进行筛选、分类等处理操作，从而将收集到的数据归类成具有不同属性的数据集合，形成多个特征，进而实现了特征库中部分特征的生成自动化。

而特征库中保存的处理逻辑可以是根据特征库中不同特征之间的关系构建而成，例如如何根据特征a、特征b得到特征c的方式可以为一种处理逻辑，可见，特征与处理逻辑之间具有明确的关联关系。

针对一个领域，可以根据这个领域的历史数据构建出与这个领域相关的特征库。之后，在接收到这个领域需要进行数据分析的数据分析任务时，可以利用该特征库中包含的特征及处理逻辑，配置得到与该数据分析任务的类型对应的特征矩阵。

在利用预先构建的特征库配置特征矩阵时，可以依据该特征库中保存的处理逻辑与特征，来生成一个数据分析任务类型所需的特征矩阵。例如针对电信领域中的一个数据分析任务，根据该数据分析任务的类型，从特征库中确定出为了实现该数据分析任务，该数据分析任务中特征矩阵所需输入的特征a、b和c，所需输出的特征d和e，并从特征库中确定出如何根据特征a、 b和c确定得到特征d和e的处理逻辑x，从而根据特征a、b、c、d和e，以及处理逻辑x配置得到该数据分析任务所需的特征矩阵，并可以将该特征矩阵存入矩阵库中。

此外，在根据特征库配置特征矩阵的过程中，还可能会使用到一种或多种算法，算法也可以属于处理逻辑的一部分。具体过程包括在利用确定出的处理逻辑选取出所需的特征如“年龄”一列所构成的数据集合后，由确定出的算法对选取的特征进行处理，再由处理逻辑利用经过处理后的特征自动生成本次数据分析需要配置的特征矩阵F，并存入矩阵库中。其中，数据分析过程中可能会使用到的算法可以为机器学习(Machine Learning，ML)、时间序列分析(Time series analysis)、描述性研究(descriptive study)等一种或多种的组合，且配置特征矩阵所使用到的算法可以由本次数据分析任务的类型所确定。本发明中所述的数据分析过程可以包括从获取到所需分析的数据到从特征矩阵得到输出特征之间的过程。

结合附图2对如何通过特征库配置特征矩阵进行说明。在图2所示场景中，通过数据分析平台中模块实现了通过特征库配置特征矩阵的方案。可以预先构建特征库，具体构建过程可以是依据收集到的属于电信领域的数据和/ 或知识引擎(Knowledge Engine)模块构建具有不同属性的特征，再依据不同特征之间的关系，得到图2所示的电信APIs(Telecom APIs)模块，进而由特征与Telecom APIs模块组成特征库；其中，Telecom APIs模块能够与交互式探索环境(Interactive Exploratory Environment)模块随时进行信息交互。由于在配置特征矩阵的过程中，可能会使用到算法，故设置算法(Algorithms)模块，且该Algorithms模块也能够与Interactive Exploratory Environment模块随时进行信息交互。

在Interactive Exploratory Environment模块接收到从电信特征推导(Telecom Feature Derivation)模块发送来的一个属于电信领域的数据分析任务时，Interactive Exploratory Environment模块可以先从矩阵库中进行查找，判断是否有与该类型对应的特征矩阵存在；若不存在，则Interactive Exploratory Environment模块可以通过与特征库之间的信息交互，能够依据该类型从特征库的Telecom APIs模块中确定出所需的处理逻辑，以及选取所需的特征，从而生成本次数据分析任务需要配置的特征矩阵，Interactive Exploratory Environment模块可以根据该特征矩阵继续进行后续的数据分析，其中，从Telecom APIs模块中确定出所需的处理逻辑可以是家庭/工作地点识别(HomeZone)、操作系统标识(OS Identification)以及内容标识(Content Identification)中任意一个或多个的组合。

此外，在确定出所需的处理逻辑的过程中，还可能会由于本次数据分析任务的类型，从Algorithms模块中确定出本次所需的一种或多种算法，从而可以结合确定的算法，生成本次数据分析需要配置的特征矩阵。

通过第二种确定方式，可以预先通过一个领域中的数据构建出与这个领域相关的特征库，从而在需要为一个数据分析任务配置对应的特征矩阵时，可以直接依据特征库中已经确定好的特征和处理逻辑进行配置，从而可以一定程度上节省配置特征矩阵的所消耗的时间。

S104：根据所述特征矩阵的处理逻辑对所述数据进行处理，以获取所述特征矩阵的输出特征。

举例说明，在配置得到与本次数据分析任务类型对应的特征矩阵后，可以利用该特征矩阵所含的处理逻辑对S102获取的该数据分析任务所需分析的数据进行相应的处理操作，进而获取到该特征矩阵的输出特征。

在利用该特征矩阵所含的处理逻辑对S102获取的该数据分析任务所需分析的数据进行相应的处理操作的过程中，若即将输入到该特征矩阵的输入内容不符合该特征矩阵所含的处理逻辑的输入要求，则需要先将S102获取到的该数据分析任务所需分析的数据进行一些数据处理操作，如数据重组、转换等，进而获得符合输入要求的输入内容；在将符合输入要求的输入内容如输入特征输入到该特征矩阵后，该特征矩阵就可以通过所含的处理逻辑对输入特征进行运算，最终输出该数据分析任务所需的输出内容如输出特征。

S105：根据所述输出特征确定所述数据分析任务的分析结果。

举例说明，在确定出本次数据分析任务所需的输出特征后，可以通过模型对该输出特征进行运算，以便得到该数据分析任务的分析结果。

根据上述实施例可以看出，可以通过接收到的数据分析任务，获取到该数据分析任务本次所需分析的数据以及该数据分析任务的类型，从而能够根据该数据分析任务的类型从矩阵库中确定出与该类型对应的特征矩阵，并可以由该特征矩阵的处理逻辑对所需分析的数据进行处理，获取该特征矩阵的输出特征，进而实现了从矩阵库中直接获取对应的特征矩阵来用于对一个数据分析任务的处理，而不用为这个数据分析任务专门配置特征矩阵，省去了原本需要根据所需分析的数据及数据分析任务的需求来配置特征矩阵的时间，提高了数据分析效率。

在根据所需分析数据从特征矩阵得到输出特征的过程中，需要实施的数据分析步骤较为繁琐，例如将数据转换为特征矩阵所需的输入特征、特征矩阵中的处理逻辑对输入特征进行运算等数据分析步骤。本发明实施例中将这部分从获取所需分析的数据到从特征矩阵中得到输出特征之间的数据分析步骤统称为特征工程。

由于在数据种类较为固定，变化较少的领域如电信领域中，特征工程在同类型的数据分析任务中实际上是比较类似的，故在数据种类较为固定，变化较少的领域中，除了可以复用同类型数据分析任务中所配置的特征矩阵外，还可以复用同类型数据分析任务中的特征工程。

在图1所对应实施例的基础上，针对步骤S104，本发明实施例还提供了一种用于基于历史任务获取特征矩阵的输出特征的具体方法，如图3所示，该方法包括：

S301：根据数据分析任务的类型从特征工程库中确定出与所述类型对应的特征工程，所述特征工程包括从获取所需分析的数据到从特征矩阵得到输出特征之间的数据分析过程。

举例说明，本发明实施例所涉及到的特征工程库可以是预先构建的，用来保存曾经处理过的历史任务从获取所需分析的数据到从特征矩阵得到输出特征之间的数据分析过程、以及该历史任务的类型与其特征工程之间具有的对应关系。

特征工程还可以包括对数据分析任务所需分析数据的预处理过程，该预处理的过程包括数据去重、数据抽样和数据优化中任意一项或多项的组合。例如数据预处理可以包括为了降低计算量，对所需分析数据进行的数据抽样，将从中抽取出一部分数据用于数据分析，或者包括对所需分析数据进行数据去重，将重复数据除去以提高数据分析准确性，或者包括对所需分析数据进行预先的特征聚类，以便得到特征矩阵所需要的输入特征等操作。

由于特征工程在同类型的数据分析任务中较为相似，故能够根据数据分析任务的类型直接从构建的特征工程库中匹配出与其类型具有对应关系的特征工程，以便能够重复使用该特征工程进行相应的数据分析过程。

S302：按照所述特征工程中包括的数据分析过程，根据所述特征矩阵的处理逻辑对所述数据进行处理，获取所述特征矩阵的输出特征。

举例说明，在接收到一个数据分析任务时，可以根据该数据分析任务的类型从特征工程库中确定出对应的特征工程，确定出的特征工程可以是同类型的历史任务中所采用的特征工程。根据该特征工程，可以针对该数据分析任务所需分析的数据进行预处理，虽然该数据分析任务与该历史任务所分析的数据内容有所不同，但是处理步骤基本相同，故可以在特征工程的基础上，相应的将各个步骤所需处理的数据内容依据该数据分析任务所需分析数据进行调整，即可将确定出的该特征工程应用于对该数据分析任务的处理中，并能够根据特征矩阵得到该数据分析任务所需的输出特征。

下面结合附图4进一步举例说明，在从数据源模块获得数据分析任务，并从该数据分析任务中获取到所需分析的数据后，若所需分析的数据总数量过多，则可以通过图4所示的数据抽样模块从所需分析的数据中抽取出部分数据，以供分析使用；再由数据预处理模块对抽取出的部分数据进行其他预处理操作，如数据去重、数据优化等任意一项或多项的组合。之后，电信API (Telecom API)模块对经过数据预处理模块处理后得到的数据再次进行处理操作，得到输出特征，并存入如图4所示的特征矩阵(Feature Matrix)模块，同时还将从获取到所需分析的数据到从特征矩阵得到输出特征之间的数据分析过程存入图4所示的特征工程模块中，作为该数据分析任务的特征工程，再由特征管理模块对获得的特征工程进行筛选处理与管理，以便在从数据源模块获得同一类型的数据分析任务时，可以直接复用特征管理模块中保存的特征工程，来获取其特征矩阵的输出特征，进而节省了数据分析过程所耗费的时间。

根据上述实施例可以看出，可以通过预先建立特征工程库，并将历史任务在分析过程中所配置出的特征工程、以及该历史任务的类型与其所配置的特征工程具有的对应关系均保存在该特征工程库中，方便在接收到的数据分析任务时，能够依据该数据分析任务的类型直接从特征工程库中匹配到与该类型对应的特征工程，省去了配置繁琐的数据分析步骤的时间，提高了数据分析效率。

在对数据分析任务进行数据分析的过程中，需要将特征矩阵所输出的输出特征通过模型进行运算，进而得到该数据分析任务的分析结果。在本发明实施例中，模型可以是根据既定算法、算法参数以及训练数据共同产生的规则实体，针对数据分析任务所使用的模型，该模型的输入内容可以包括该数据分析任务所使用的特征矩阵的输出特征，该模型的输出内容可以是该数据分析任务的分析结果。

在数据种类较为固定，变化较少的领域中，同类型的数据分析任务所配置的模型基本类似，故为了省去为数据分析任务配置模型的时间，本发明实施例中，提供了保存历史任务中所配置的模型，可以直接复用模型库中保存的相同类型的数据分析任务的模型，进而能够根据该模型对输出特征进行处理，得到分析结果。

在另一个实施例中，如图5所示，步骤S105可以包括：

S501：从模型库中查找与所述数据分析任务的类型相匹配的模型。

举例说明，模型库可以预先构建，用于将历史任务在分析过程中所配置出的模型、以及该历史任务的类型与其所配置的模型之间具有的对应关系进行保存，以便后续相同类型的数据分析任务可以直接依据其类型从模型库中查找到对应的模型，进而实现了对模型的重复使用省去了重新为该数据分析任务配置模型的时间。针对一个数据分析任务，若能够根据该数据分析任务的类型从模型库中确定出模型，则该模型所对应的历史任务的类型与该数据分析任务的类型可以相同。

S502：根据查找到的模型对所述输出特征进行处理，以得到所述分析结果。

举例说明，如图4所示，在图4中的特征工程模块输出了输出特征后，模型构建模块会依据数据分析任务的类型从预先存储的模型中匹配出与该类型对应的模型，并利用匹配得到的模型对该输出特征进行运算，从而得到对应的分析结果，避免了为该数据分析任务重新配置模型的操作过程；同时，模型构建模块还可以将保存的模型输入到模型(Model)模块中，由模型 (Model)模块利用预测(Prediction)模块对输入的模型进行相关训练，进而提高模型的精准程度。为了增加构建的模型库中所保存的模型的重复使用率，可以对该模型库中保存的模型进行模型训练、模型评估、模型更新等一种或多种组合操作。如图2所示，为了保证交互式探索环境(Interactive Exploratory Environment)模块在接收到电信特征推导(Telecom Feature Derivation)模块发送来的一个数据分析任务时，可以依据该数据分析任务的类型从模型生命周期管理(Model Lifecycle Management)模块中匹配出对应的模型，还可以利用Model Lifecycle Management模块所包含的模型建立(BuildModel)子模块、模型验证(Validate Model)子模块、模型更新(Update Model)子模块以及模型监控(Deploy Monitor Model)子模块中的任意一个或多个子模块对模型进行管理操作，进而使模型更为精准，也提高了模型的重复使用率。

根据上述实施例可以看出，可以通过预先构建模型库，并将历史任务在分析过程中所配置出的模型、以及该历史任务的类型与其所配置的模型具有的对应关系保存在该模型库中，方便在接收到的数据分析任务时，依据该数据分析任务的类型可以直接从模型库中匹配到与该类型对应的模型，并可以根据该模型对特征矩阵的输出特征进行处理，省去了重新为该数据分析任务配置模型的时间，提高了数据分析效率。

图6为本发明实施例提供的一种数据分析装置的装置结构图，所述数据分析装置600包括：接收单元601、获取单元602、确定单元603和处理单元 604，其中：

接收单元601，用于接收数据分析任务。

获取单元602，用于获取所述数据分析任务对应的待分析数据。

确定单元603，用于根据所述数据分析任务的类型从矩阵库中确定出所述类型对应的特征矩阵。

处理单元604，用于根据所述特征矩阵的处理逻辑对所述数据进行处理，以获取所述特征矩阵的输出特征。

确定单元603还用于根据所述输出特征确定所述数据分析任务的分析结果。

可选的，所述矩阵库包括在历史任务的分析过程中所配置的特征矩阵，所述历史任务为已完成的数据分析任务，所述历史任务的类型与所述数据分析任务的类型相同。

可选的，确定单元603还用于根据所述类型从特征工程库中确定出与所述类型对应的特征工程，所述特征工程包括从获取所需分析的数据到从特征矩阵得到输出特征之间的数据分析过程；

处理单元604还用于按照所述特征工程中包括的数据分析过程，根据所述特征矩阵的处理逻辑对所述数据进行处理，获取所述特征矩阵的输出特征。

可选的，所述数据分析过程还包括对所需分析的数据进行预处理的过程，所述预处理的过程包括数据去重、数据抽样和数据优化中任意一项或多项的组合。

可选的，所述矩阵库中包括的所述特征矩阵为根据特征库中保存的特征与处理逻辑所配置得到的，所述特征库中保存的特征为根据历史数据所构建得到的。

可选的，所述历史数据属于电信领域，则所述特征库中保存的特征为根据所述领域中数据所构建得到的，包括：

所述特征库中保存的特征为基于数据所携带的属性，对所述电信领域中的数据进行构建得到的，所述属性包括用户属性、位置属性、业务属性、终端属性和网络属性中任意一项或多项的组合。

可选的，确定单元603还用于从模型库中查找与所述数据分析任务的类型相匹配的模型；根据查找到的模型对所述输出特征进行处理，以得到所述分析结果。

可选的，所述模型库包括在历史任务的分析过程中所配置的模型，所述历史任务为已完成的数据分析任务，所述历史任务的类型与所述数据分析任务的类型相同。

在一个实施例中，接收单元601可以为网络接口或者API，用于接收应用程序提交的数据分析任务；获取单元602、确定单元603和处理单元604可以由一个或多个处理器来实现，处理器具体可以为通用处理器，也可以为数字信号处理器(DSP)，专用集成电路(ASIC)，现场可编程门阵列(FPGA)或其它可编程逻辑组件。

需要说明的是，图6所对应实施例中实现细节可以参见图1、图3和图5 所对应实施例的相关说明，这里不再赘述。

图7为本发明实施例提供的一种数据分析服务器的硬件结构示意图，所述数据分析服务器700包括存储器701和接收器702，以及分别与所述存储器 701和所述接收器702连接的处理器703，所述存储器701用于存储一组程序指令，所述处理器703用于调用所述存储器701存储的程序指令执行如下操作：

触发所述接收器702接收数据分析任务；

触发所述接收器702获取所述数据分析任务对应的待分析数据；

根据所述数据分析任务的类型从矩阵库中确定出所述类型对应的特征矩阵；

根据所述特征矩阵的处理逻辑对所述数据进行处理，以获取所述特征矩阵的输出特征；

根据所述输出特征确定所述数据分析任务的分析结果。

可选地，所述处理器703还用于调用所述存储器701存储的程序指令执行图1、图3和图5所对应实施例中的其它步骤。

在一个实施例中，所述处理器703可以为中央处理器(Central Processing Unit，CPU)，所述存储器701可以为随机存取存储器(Random Access Memory， RAM)类型的内部存储器，所述接收器702可以包含普通物理接口，所述物理接口可以为以太(Ethernet)接口或异步传输模式(Asynchronous Transfer Mode，ATM)接口。所述处理器703、接收器702和存储器701可以集成为一个或多个独立的电路或硬件，如：专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (16)

1.一种数据分析方法，其特征在于，所述方法包括：

接收数据分析任务；

获取所述数据分析任务对应的待分析数据；

根据所述数据分析任务的类型得到所述类型对应的特征矩阵；

根据所述特征矩阵的处理逻辑对所述数据进行处理，以获取所述特征矩阵的输出特征；

根据所述输出特征确定所述数据分析任务的分析结果。

2.根据权利要求1所述的方法，其特征在于，所述特征矩阵是根据所属数据分析任务的类型，基于矩阵库得到的，所述矩阵库包括在历史任务的分析过程中所配置的特征矩阵，所述历史任务为已完成的数据分析任务，所述历史任务的类型与所述数据分析任务的类型相同。

3.根据权利要求2所述的方法，其特征在于，还包括：

根据所述类型从特征工程库中确定出与所述类型对应的特征工程，所述特征工程包括从获取所需分析的数据到从特征矩阵得到输出特征之间的数据分析过程；

所述根据所述特征矩阵的处理逻辑对所述数据进行处理，获取所述特征矩阵的输出特征，包括：

按照所述特征工程中包括的数据分析过程，根据所述特征矩阵的处理逻辑对所述数据进行处理，获取所述特征矩阵的输出特征。

4.根据权利要求3所述的方法，其特征在于，所述数据分析过程还包括对所需分析的数据进行预处理的过程，所述预处理的过程包括数据去重、数据抽样和数据优化中任意一项或多项的组合。

5.根据权利要求2所述的方法，其特征在于，所述矩阵库中包括的所述特征矩阵是根据特征库中保存的特征与处理逻辑所配置得到的，所述特征库中保存的特征为根据历史数据所构建得到的。

6.根据权利要求5所述的方法，其特征在于，所述历史数据属于电信领域，则所述特征库中保存的特征为根据所述领域中数据所构建得到的，包括：

所述特征库中保存的特征为基于数据所携带的属性，对所述电信领域中的数据进行构建得到的，所述属性包括用户属性、位置属性、业务属性、终端属性和网络属性中任意一项或多项的组合。

7.根据权利要求1所述的方法，其特征在于，所述根据所述输出特征确定所述数据分析任务的分析结果，包括：

从模型库中查找与所述数据分析任务的类型相匹配的模型；

根据查找到的模型对所述输出特征进行处理，以得到所述分析结果。

8.根据权利要求7所述的方法，其特征在于，所述模型库包括在历史任务的分析过程中所配置的模型，所述历史任务为已完成的数据分析任务，所述历史任务的类型与所述数据分析任务的类型相同。

9.一种数据分析装置，其特征在于，所述装置包括接收单元、获取单元、确定单元和处理单元：

所述接收单元，用于接收数据分析任务；

所述获取单元，用于获取所述数据分析任务对应的待分析数据；

所述确定单元，用于根据所述数据分析任务的类型得到所述类型对应的特征矩阵；

所述处理单元，用于根据所述特征矩阵的处理逻辑对所述数据进行处理，以获取所述特征矩阵的输出特征；

所述确定单元还用于根据所述输出特征确定所述数据分析任务的分析结果。

10.根据权利要求9所述的装置，其特征在于，所述特征矩阵是根据所属数据分析任务的类型，基于矩阵库得到的，所述矩阵库包括在历史任务的分析过程中所配置的特征矩阵，所述历史任务为已完成的数据分析任务，所述历史任务的类型与所述数据分析任务的类型相同。

11.根据权利要求10所述的装置，其特征在于，所述确定单元还用于根据所述类型从特征工程库中确定出与所述类型对应的特征工程，所述特征工程包括从获取所需分析的数据到从特征矩阵得到输出特征之间的数据分析过程；

所述处理单元还用于按照所述特征工程中包括的数据分析过程，根据所述特征矩阵的处理逻辑对所述数据进行处理，获取所述特征矩阵的输出特征。

12.根据权利要求11所述的装置，其特征在于，所述数据分析过程还包括对所需分析的数据进行预处理的过程，所述预处理的过程包括数据去重、数据抽样和数据优化中任意一项或多项的组合。

13.根据权利要求10所述的装置，其特征在于，所述矩阵库中包括的所述特征矩阵为根据特征库中保存的特征与处理逻辑所配置得到的，所述特征库中保存的特征为根据历史数据所构建得到的。

14.根据权利要求13所述的装置，其特征在于，所述历史数据属于电信领域，则所述特征库中保存的特征为根据所述领域中数据所构建得到的，包括：

所述特征库中保存的特征为基于数据所携带的属性，对所述电信领域中的数据进行构建得到的，所述属性包括用户属性、位置属性、业务属性、终端属性和网络属性中任意一项或多项的组合。

15.根据权利要求9所述的装置，其特征在于，所述确定单元还用于从模型库中查找与所述数据分析任务的类型相匹配的模型；根据查找到的模型对所述输出特征进行处理，以得到所述分析结果。

16.根据权利要求15所述的装置，其特征在于，所述模型库包括在历史任务的分析过程中所配置的模型，所述历史任务为已完成的数据分析任务，所述历史任务的类型与所述数据分析任务的类型相同。

Images