CN113312191A - 数据分析方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种数据分析方法、装置、设备及存储介质，涉及计算机信息技术领域。该方法应用于模型引擎，包括：接收数据分析平台发送的待分析的至少一个数据源的参数信息；根据待分析的至少一个数据源的参数信息，生成模型文件；使用文档对象模型解析引擎，对模型文件进行解析，得到模型文件解析后的业务对象；从预设的数据源类型插件库和算法插件库中，分别搜索与业务对象匹配的目标数据源类型插件和目标算法插件，并基于目标数据源类型插件和目标算法插件，对业务对象进行分析处理，得到分析结果；向数据分析平台发送分析结果，并对分析结果进行显示。在本方案中，可快速响应业务分析需求的变化，提高了对数据分析的效率。

Description

数据分析方法、装置、设备及存储介质

技术领域

本申请涉及计算机信息技术领域，具体而言，涉及一种数据分析方法、装置、设备及存储介质。

背景技术

数据分析，是指利用大数据及人工智能等技术，对用户行为、业务经营等多种数据源进行多维度的处理和分析，以提取有用信息和形成结论，辅助用户快速做出决策。

目前，数据分析产品大多是基于传统模式进行开发，主要是基于硬编码、数据仓库(Extract-Transform-Load，ETL)处理和数据库存储等方式进行相应的业务规则处理。

但是，由于业务规则很难调整或者调整周期需要耗费更多的时间，当需要对不同的业务系统中的数据源进行分析时，则会涉及到业务规则的调整，导致无法快速响应业务分析需求的变化。

发明内容

本发明的目的在于，针对上述现有技术中的不足，提供一种数据分析方法、装置、设备及存储介质，以便快速响应业务分析需求的变化。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种数据分析方法，应用于模型引擎，包括：

接收数据分析平台发送的待分析的至少一个数据源的参数信息，所述数据源的参数信息包括：地址信息、登录信息；

根据所述待分析的至少一个数据源的参数信息，生成模型文件；

使用文档对象模型解析引擎，对所述模型文件进行解析，得到所述模型文件解析后的业务对象；其中，所述业务对象包括：所述模型文件所引用的数据源类型、所述待分析的至少一个数据源对应的业务处理策略、所述业务处理策略对应的算法以及业务描述语言；

从预设的数据源类型插件库和算法插件库中，分别搜索与所述业务对象匹配的目标数据源类型插件和目标算法插件，并基于所述目标数据源类型插件和所述目标算法插件，对所述业务对象进行分析处理，得到分析结果；

向所述数据分析平台发送所述分析结果，并对所述分析结果进行显示。

可选地，所述使用文档对象模型解析引擎，对所述模型文件进行解析，得到所述模型文件解析后的业务对象，包括：

使用预设的语法校验器，对所述模型文件进行语法校验；

若校验通过，则使用文档对象模型解析引擎，对所述模型文件进行解析，得到所述模型文件解析后的业务对象。

可选地，所述根据所述待分析的至少一个数据源的参数信息，生成模型文件，包括：

根据所述待分析的至少一个数据源的参数信息，获取所述待分析的至少一个数据源；

从所述待分析的至少一个数据源中拉取至少一个数据表；

确定与各所述数据表匹配的数据源类型；

使用所述与各所述数据表匹配的数据源类型，对所述至少一个数据表进行解析，得到各所述数据表的属性信息，所述属性信息包括：表间关系、以及各所述数据表中的字段类型、字段项；

根据所述待分析的至少一个数据源对应的业务处理策略以及各所述数据表的属性信息，对各所述数据表进行分析处理，生成模型文件。

可选地，所述从预设的数据源类型插件库和算法插件库中，分别搜索与所述业务对象匹配的目标数据源类型插件和目标算法插件，并基于所述目标数据源类型插件和所述目标算法插件，对所述业务对象进行分析处理，得到分析结果，包括：

根据所述业务对象中包括的所述模型文件所引用的数据源类型，从所述预设的数据源类型插件库中，搜索与所述模型文件所引用的数据源类型匹配的所述目标数据源类型插件；

根据所述业务对象中包括的所述业务处理策略对应的算法，从所述模型引擎中预设的算法插件库中，搜索与所述业务处理策略对应的算法匹配的目标算法插件；

调用所述目标数据源类型插件和所述目标算法插件，对所述业务对象进行分析处理，得到分析结果。

可选地，所述对所述业务对象进行分析处理，得到分析结果，还包括：

对所述业务对象进行分析处理，并在分析处理时使用预设的数据性能及安全监控组件，对所述业务对象的进行监听，生成执行日志报告。

可选地，所述模型引擎中预设的算法插件库包括下述至少一项：比较类算法插件、预测分析算法插件、图谱构建算法插件以及图谱应用算法插件；

所述模型引擎中预设的所述数据源类型插件库包括下述至少一项：关系型数据库插件和非关系数据库插件。

可选地，所述接收数据分析平台发送的待分析的至少一个数据源的参数信息，包括：

通过第一接口接收所述待分析的至少一个数据源的参数信息，所述第一接口为所述模型引擎提供的接口。

第二方面，本申请实施例还提供了一种数据分析装置，所述装置包括：接收模块、生成模块、解析模块、处理模块、发送模块；

所述接收模块，用于接收数据分析平台发送的待分析的至少一个数据源的参数信息，所述数据源的参数信息包括：地址信息、登录信息；

所述生成模块，用于根据所述待分析的至少一个数据源的参数信息，生成模型文件；

所述解析模块，用于使用文档对象模型解析引擎，对所述模型文件进行解析，得到所述模型文件解析后的业务对象；其中，所述业务对象包括：所述模型文件所引用的数据源类型、所述待分析的至少一个数据源对应的业务处理策略、所述业务处理策略对应的算法以及业务描述语言；

所述处理模块，用于从预设的数据源类型插件库和算法插件库中，分别搜索与所述业务对象匹配的目标数据源类型插件和目标算法插件，并基于所述目标数据源类型插件和所述目标算法插件，对所述业务对象进行分析处理，得到分析结果；

所述发送模块，用于向所述数据分析平台发送所述分析结果，并对所述分析结果进行显示。

可选地，所述生成模块，还用于：

根据所述待分析的至少一个数据源的参数信息，获取所述待分析的至少一个数据源；

从所述待分析的至少一个数据源中拉取至少一个数据表；

确定与各所述数据表匹配的数据源类型；

使用所述与各所述数据表匹配的数据源类型，对所述至少一个数据表进行解析，得到各所述数据表的属性信息，所述属性信息包括：表间关系、以及各所述数据表中的字段类型、字段项；

根据所述待分析的至少一个数据源对应的业务处理策略以及各所述数据表的属性信息，对各所述数据表进行分析处理，生成模型文件。

可选地，所述处理模块，还用于：

根据所述业务对象中包括的所述模型文件所引用的数据源类型，从所述预设的数据源类型插件库中，搜索与所述模型文件所引用的数据源类型匹配的所述目标数据源类型插件；

根据所述业务对象中包括的所述业务处理策略对应的算法，从所述模型引擎中预设的算法插件库中，搜索与所述业务处理策略对应的算法匹配的目标算法插件；

调用所述目标数据源类型插件和所述目标算法插件，对所述业务对象进行分析处理，得到分析结果。

可选地，所述装置还包括：监听模块；

所述监听模块，用于对所述业务对象进行分析处理，并在分析处理时使用预设的数据性能及安全监控组件，对所述业务对象的进行监听，生成执行日志报告。

可选地，所述模型引擎中预设的算法插件库包括下述至少一项：比较类算法插件、预测分析算法插件、图谱构建算法插件以及图谱应用算法插件；

所述模型引擎中预设的所述数据源类型插件库包括下述至少一项：关系型数据库插件和非关系数据库插件。

可选地，所述接收模块，还用于：

通过第一接口接收所述待分析的至少一个数据源的参数信息，所述第一接口为所述模型引擎提供的接口。

第三方面，本申请实施例还提供了一种发布设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当发布设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面提供的所述方法的步骤。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面提供的所述方法的步骤。

本申请的有益效果是：

本申请实施例提供一种数据分析方法、装置、设备及存储介质，应用于模型引擎，包括：接收数据分析平台发送的待分析的至少一个数据源的参数信息，数据源的参数信息包括：地址信息、登录信息；根据待分析的至少一个数据源的参数信息，生成模型文件；使用文档对象模型解析引擎，对模型文件进行解析，得到模型文件解析后的业务对象；其中，业务对象包括：模型文件所引用的数据源类型、待分析的至少一个数据源对应的业务处理策略、业务处理策略对应的算法以及业务描述语言；从预设的数据源类型插件库和算法插件库中，分别搜索与业务对象匹配的目标数据源类型插件和目标算法插件，并基于目标数据源类型插件和目标算法插件，对业务对象进行分析处理，得到分析结果；向数据分析平台发送分析结果，并对分析结果进行显示。在本方案中，通过数据分析平台调用模型引擎，然后，通过模型引擎根据待分析的至少一个数据源的参数信息、业务处理策略、业务处理策略对应的算法以及业务描述语言，生成模型文件，并使用DOM解析引擎，对生成的模型文件进行解析，得到业务对象，再基于从数据源类型插件库和算法插件库中搜索到的目标数据源类型插件和目标算法插件，对业务对象进行解析执行，以得到待分析数据源的各种分析指标，为相关项目的运营与决策提供数据支撑，使得能够快速响应业务分析需求的变化，提高对待分析的至少一个数据源分析的效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种数据分析系统的结构示意图；

图2为本申请实施例提供的一种数据分析系统中模型引擎的架构图；

图3为本申请实施例提供的一种电子设备的结构示意图；

图4为本申请实施例提供的一种数据分析方法的流程示意图；

图5为本申请实施例提供的另一种数据分析方法的流程示意图；

图6为本申请实施例提供的又一种数据分析方法的流程示意图；

图7为本申请实施例提供的一种数据分析方法的框架示意图；

图8为本申请实施例提供的又一种数据分析方法的流程示意图；

图9为本申请实施例提供的一种数据分析方法的整体流程示意图；

图10为本申请实施例提供的一种数据分析方法的整体框架示意图；

图11为本申请实施例提供的一种数据分析装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

图1为本申请实施例提供的一种数据分析系统的结构示意图；如图1所示，该数据分析系统100包括：数据分析平台101、模型引擎102、网络103中的一种或多种，数据分析平台101和模型引擎102中包括执行指令操作的处理器。

在一种可实现的方式中，例如，如图1所示，数据分析平台101和模型引擎102是独立部署运行在不同的电子设备中，如数据分析平台101是安装在电脑、移动上网设备、平板、手机终端等设备中的应用软件，具有操作功能和显示功能，模型引擎102是部署在服务器中的处理设备，具有数据处理功能。

在另一种可实现的方式中，也可以将数据分析平台101和模型引擎102部署在同一个电子设备中，如计算机或者服务器等处理设备，具有数据处理功能和可视化界面，在本实施例中不具体展开说明。

图2为本申请实施例提供的一种数据分析系统中模型引擎的系统架构图；如图2所示，是模型引擎102的系统架构图，模型引擎102包括：生成模型文件模块、语法校验器、文档对象模型(Document Object Model，简称DOM)解析引擎、数据结构探索、数据源类型插件库、算法适配器、算法插件库、文档对象模型和数据性能及安全监控组件等。

数据分析平台101向用户提供各项数据分析功能入口，用户根据需要点击功能入口执行数据分析指令，并通过数据分析平台101调用模型引擎102，然后，通过模型引擎102中包括的各功能模块对待分析的数据源进行加工和整理，计算得到各种分析指标，进而使得用户能够快速、明晰地读取业务数据，为相关项目的运营与决策提供数据支撑，使得能够快速响应业务分析需求的变化，提高对数据分析的效率。

网络103可以用于信息和/或数据的交换，例如，网络103可以是任何类型的有线或者无线网络，或其任意组合。

可以理解，图1所示的结构仅为示意，数据分析系统100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

图3为本申请实施例提供的一种电子设备的结构示意图；该电子设备如可以是计算机或者服务器等处理设备，该电子设备用于部署运行上述图1中的数据分析平台101和模型引擎102，以实现本申请的数据分析方法。如图1所示，电子设备包括：存储器201、处理器202及通信单元203。

其中，存储器201、处理器202及通信单元203相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

存储器201中存储有以软件或固件(firmware)的形式存储于存储器201中的软件功能模块，处理器202通过运行存储在存储器201内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现本发明实施例中的数据分析方法。

其中，存储器201可以是，但不限于，随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-OnlyMemory，PROM)、可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)等。其中，存储器201用于存储程序，处理器202在接收到执行指令后，执行所述程序。

处理器202可能是一种集成电路芯片，具有信号的处理能力。上述的处理器202可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。

通信单元203用于通过网络103建立数据分析平台101与模型引擎102之间的通信连接，实现网络信号及数据信息的收发操作。

如下将通过多个具体的实施例对本申请所提供的数据分析方法的实现原理和对应产生的有益效果进行说明。

图4为本申请实施例提供的一种数据分析方法的流程示意图；可选地，该方法的执行主体是上述图1中所示的模型引擎，如图4所示，该方法包括：

S401、接收数据分析平台发送的待分析的至少一个数据源的参数信息，数据源的参数信息包括：地址信息、登录信息。

通常，待分析的数据源可以是由用户通过电子终端设备，如手机、电脑、平板电脑等进行不断录入获得的，记录不同的业务数据，并有可能会分散在各个平台上，如本地文件、客户关系管理(Customer Relationship Management，CRM简称)平台、销售平台等。

进一步地，用户可以通过数据分析平台提供各项数据分析功能入口，并输入待分析的至少一个数据源的地址信息、登录信息等，用户根据需要点击数据分析功能入口执行数据分析指令，模型引擎根据待分析的至少一个数据源的地址信息、登录信息，找到对应的存储数据源的数据库，并获取到待分析的至少一个数据源，实现对待分析的数据源的处理和整合。

S402、根据待分析的至少一个数据源的参数信息，生成模型文件。

通常，随着企业业务数据的不断积累，通过大数据对业务数据的分析，发现很多业务处理策略存在一定的通用性，但是业务处理策略很难调整或者调整周期需要耗费更多的时间，如果需要集成第三方业务模型更是会涉及到数据分析系统和架构的改造，导致不能响应快速变化的业务分析需求。因此，通过对业务处理策略的抽象，并结合业务描述语言，最终形成相应的业务语言描述文件，称之为模型文件。

其中，业务处理策略，是指对待分析的至少一个数据源进行的业务处理，如企业查找年龄大于35的员工，则获取与“年龄大于35的员工”相匹配的数据分析资源。

业务描述语言，是指编写模型文件所使用的语法结构，如可以是可扩展标记语言(eXtensible Markup Language，简称XML)的自定义语法结构。

模型文件作为模型引擎的核心业务处理策略文件，是企业的业务数据的另一种表现形式，具有可读性强、可扩展性强和可复用性强等特点，起到了承上启下的作用。

模型文件，记录待分析的至少一个数据源的业务处理策略、业务处理策略对应的算法以及业务描述语言，还有模型文件的输出地址、输出类型等。

采用基于模型文件的方式，也使业务人员参与具体业务分析成为可能，业务人员可以用类自然语言的方式来描述业务规则；以及采用基于模型文件的方式也可以将业务人员大脑中的业务经验以介质的形式存储记录下来，作为企业的数据库进行传承沉淀，提高了业务经验的推广性。

在本实施例中，模型引擎提供构建模型文件的服务，该服务主要是为第三方业务系统集成时调用，提供了接口的对接要求及规范，这样使得可以将模型文件和应用程序进行了有效的剥离，以便于第三方业务系统能够快速与模型引擎进行对接，当待分析的至少一个数据源的业务处理策略发生变化时，只用去调整模型文件中的业务处理策略，并根据待分析的至少一个数据源的地址信息、登录信息、业务处理策略以及业务描述语言，生成模型文件，就可快速响应业务分析需求的变化，并按照标准格式编写模型文件，以便快速响应业务分析需求的变化。

在另一种可实现的方式中，例如，用户可以通过编辑器，根据模型文件的语法规则、具体的业务处理策略，手动离线编写一份模型文件，提高数据分析系统的实用性、易用性、复用性和可移植性。

S403、使用文档对象模型解析引擎，对模型文件进行解析，得到模型文件解析后的业务对象。

其中，DOM解析引擎，是一种基于对象的应用程序接口(Application ProgrammingInterface，简称API)，把XML的内容加载到内存中，生成一个XML文档相对应的对象模型，根据对象模型，以树节点的方式对文档进行操作。

在本实施例中，使用DOM解析引擎对上述生成的XML语法结构的模型文件进行解析，并得到模型文件解析后的业务对象，该业务对象包括：模型文件所引用的数据源类型、待分析的至少一个数据源对应的业务处理策略、业务处理策略对应的算法以及业务描述语言。

S404、从预设的数据源类型插件库和算法插件库中，分别搜索与业务对象匹配的目标数据源类型插件和目标算法插件，并基于目标数据源类型插件和目标算法插件，对业务对象进行分析处理，得到分析结果。

其中，数据源类型插件库包括但不限于：关系型数据库和非关系数据库，算法插件库包括但不限于：比较类算法、预测分析算法类算法、图谱构建算法以及图谱应用算法等。

在本实施例中，为了能够快速响应新的业务需求，同时能满足后续的扩展要求，采用将数据源类型插件库和算法插件库预先内置在模型引擎中，根据上述对模型文件解析得到的业务对象，进一步地，从数据源类型插件库搜索与业务对象匹配的目标数据源类型插件和目标算法插件，并使用目标数据源类型插件和目标算法插件，对业务对象进行解析执行，以获取对业务对象的分析结果，例如，得到的分析结果是“年龄大于45的员工”的数据集。

S405、向数据分析平台发送分析结果，并对分析结果进行显示。

模型引擎将得到的分析结果反馈至数据分析平台，使得用户能够及时获取到对待分析的至少一个数据源进行分析的处理结果，进而使得用户能够快速、明晰地读取对业务数据的分析结果，为相关项目的运营与决策提供数据支撑，使得能够快速响应业务分析需求的变化，提高对数据分析的效率。

此外，为了提高用户获取分析结果的可视化，还可以将分析结果以图表形式进行显示，如以饼图、柱图、折线图、关系图、雷达图、地图等形式进行显示，满足各种数据分析应用需求，提高了分析结果展示的可视化，随时满足用户的想法，让用户参与到数据分析与挖掘的过程中，有效的降低用户的时间和学习成本。

综上所述，本申请实施例提供一种数据分析方法，应用于模型引擎，包括：接收数据分析平台发送的待分析的至少一个数据源的参数信息，数据源的参数信息包括：地址信息、登录信息；根据待分析的至少一个数据源的参数信息，生成模型文件；使用文档对象模型解析引擎，对模型文件进行解析，得到模型文件解析后的业务对象；其中，业务对象包括：模型文件所引用的数据源类型、待分析的至少一个数据源对应的业务处理策略、业务处理策略对应的算法以及业务描述语言；从预设的数据源类型插件库和算法插件库中，分别搜索与业务对象匹配的目标数据源类型插件和目标算法插件，并基于目标数据源类型插件和目标算法插件，对业务对象进行分析处理，得到分析结果；向数据分析平台发送分析结果，并对分析结果进行显示。在本方案中，通过数据分析平台调用模型引擎，然后，通过模型引擎根据待分析的至少一个数据源的参数信息、业务处理策略、业务处理策略对应的算法以及业务描述语言，生成模型文件，并使用DOM解析引擎，对生成的模型文件进行解析，得到业务对象，再基于从数据源类型插件库和算法插件库中搜索到的目标数据源类型插件和目标算法插件，对业务对象进行解析执行，以得到待分析数据源的各种分析指标，为相关项目的运营与决策提供数据支撑，使得能够快速响应业务分析需求的变化，提高对数据分析的效率。

将通过如下实施例具体讲解如何使用文档对象模型解析引擎，对模型文件进行解析，得到模型文件解析后的业务对象。

图5为本申请实施例提供的另一种数据分析方法的流程示意图；可选地，如图5所示，上述步骤S403：使用文档对象模型解析引擎，对模型文件进行解析，得到模型文件解析后的业务对象，包括：

S501、使用预设的语法校验器，对模型文件进行语法校验。

在本实例中，由于不同业务处理策略对应的算法的语法结构存在差异，因此，需要使用模型引擎预先内置的语法校验器，比如，可以使用XML结构定义(XML SchemasDefinition，简称XSD)语法校验文件对模型文件进行语法校验，确保模型文件语法结构的正确性。

S502、若校验通过，则使用文档对象模型解析引擎，对模型文件进行解析，得到模型文件解析后的业务对象。

在一种可实现的方式中，若模型文件通过语法校验，模型文件中的语法结构完全正确时，才能够使用DOM解析引擎对模型文件进行解析，以得到模型文件解析后的业务对象。

在另一种可实现的方式中，若模型文件没有通过语法校验，则直接跳出，不对模型文件进行解析。

将通过如下实施例具体讲解如何根据待分析的至少一个数据源的参数信息，生成模型文件。

图6为本申请实施例提供的又一种数据分析方法的流程示意图；可选地，如图6所示，上述步骤S402：根据待分析的至少一个数据源的参数信息，生成模型文件，包括：

S601、根据待分析的至少一个数据源的参数信息，获取待分析的至少一个数据源。

其中，参数信息包括地址信息、登录信息，模型引擎根据待分析的至少一个数据源的登录信息(如用户名密码)，登录存储数据源的业务平台，如可以登录企业销售平台、用户消费记录账号等，然后，再使用待分析的至少一个数据源的地址信息(如IP地址端口)，在已登录的业务平台中找到存储待分析的数据源的数据库，并从存储“待分析的数据源”的数据库中获取到待分析的至少一个数据源，且数据源包括至少一个数据表，各数据表中记录用户的业务数据，如数据表1中记录企业A在近一个月内的销售额信息。

S602、从待分析的至少一个数据源中拉取至少一个数据表。

S603、确定与各数据表匹配的数据源类型。

在本实施例中，为了提高对数据分析的效率，采用在模型引擎中，预先内置数据结构探索模块，并使用“数据结构探索模块”从待分析的至少一个数据源中拉取至少一个数据表。

由于各数据表记录的业务数据各有差异，导致各数据表的数据源类型不同，因此，需要根据各数据表的数据源类型，确定与各数据表匹配的数据源类型，使得可以基于与各数据表匹配的数据源类型，对各数据表进行解析。

S604、使用与各数据表匹配的数据源类型，对至少一个数据表进行解析，得到各数据表的属性信息，属性信息包括：表间关系、以及各数据表中的字段类型、字段项。

示例性地，可以使用与各数据表匹配的数据源类型，对至少一个数据表进行解析。例如，数据表1的数据源类型是结构化查询语言(MyStructured Query Language，简称MySQL)，则需要使用MySQL对数据表1进行解析，以得到数据表1中各字段类型和各字段项信息。

例如，如数据表2中记录企业A在近一个月内的销售产品信息，数据表2的数据源类型是Oracle(是一种数据源类型)，则使用Oracle对数据表2进行解析，以得到数据表2中各字段类型和各字段项信息、以及数据表1和数据表2的表间关系。

另外，还可以得到指定数据表的主外键关系，以及指定列的别名等信息。

S605、根据待分析的至少一个数据源对应的业务处理策略以及各数据表的属性信息，对各数据表进行分析处理，生成模型文件。

例如，待分析的至少一个数据源对应的业务处理策略，是对某个数据表中的某个字段选择的探索模式，比如，表间关联、表间关系挖掘、集合、分析、图谱构建、预测分析等。

在上述实施例的基础上，在得到各数据表的属性信息之后，选中感兴趣的数据表进行数据探索，并根据待分析的至少一个数据源对应的业务处理策略以及各数据表的属性信息，对各数据表进行分析处理，生成模型文件，使得可以将业务处理策略、业务处理策略对应的算法、业务描述语言记录到模型文件中。

图7为本申请实施例提供的一种数据分析方法的架构示意图；可选地，如图7所示，可以更直观地了解到如何根据待分析的至少一个数据源的参数信息，生成模型文件。

第一步、根据待分析的至少一个数据源的参数信息，从第三方业务系统中获取待分析的至少一个数据源。

第二步、使用模型引擎中预先内置数据结构探索，从获取到的待分析的至少一个数据源中拉取至少一个数据表，并从数据源插件库中搜索与各数据表匹配的数据源类型，然后，使用与各数据表匹配的数据源类型对至少一个数据表进行解析，得到各数据表的属性信息。

第三步、使用模型引擎中预先内置数据探索，调用DOM解析引擎、以及与各数据表匹配的数据源类型，并根据待分析的至少一个数据源对应的业务处理策略以及各数据表的属性信息，对各数据表进行分析处理，生成模型文件。

在另一种可实现的方式中，还可以使用编辑器，手动编写模型文件。

将通过如下实施例具体讲解如何基于目标数据源类型插件和目标算法插件对业务对象进行分析处理，并得到分析结果。

图8为本申请实施例提供的又一种数据分析方法的流程示意图；可选地，如图8所示，上述步骤S404：从预设的数据源类型插件库和算法插件库中，分别搜索与业务对象匹配的目标数据源类型插件和目标算法插件，并基于目标数据源类型插件和目标算法插件，对业务对象进行分析处理，得到分析结果，包括：

S801、根据业务对象中包括的模型文件所引用的数据源类型，从预设的数据源类型插件库中，搜索与模型文件所引用的数据源类型匹配的目标数据源类型插件。

在本实施例中，由于待分析的数据源的来源不同，业务形态的数据库各有差异，势必会导致业务对象中的模型文件所引用的数据源类型不同。

因此，为了适配不同用户的业务需求，通过对已有用户所涉及的数据库类型进行了汇总分析，并按照业务的优先级进行了分别适配，在模型引擎中内置数据源类型插件库。

可选地，模型引擎中预设的数据源类型插件库包括下述至少一项：关系型数据库插件和非关系数据库插件。其中，关系型数据库插件包括：Oracle、MySQL、人大金仓、图数据库等。还可以根据实际业务不同需求，对数据源类型插件库中的数据源类型扩展，进行离线开发，在线部署，这样可以提高数据分析系统多源异构数据分析能力，这样既可以解决跨数据源、跨异构库的业务分析需求，也可以直接针对融合库进行业务分析，这样可以大大缩减融合数据所需要的工作量。

在本实施例中，模型引擎提供了一个数据虚拟化的引擎和数据源插件库，同时提供了动态扩展数据源的标准接口，可以根据企业业务数据源情况快速适配，不用调整原有架构，这种扩展方式对国产化数据库的支持也同样适用，极大提高了多源异构数据分析能力，从而确保业务分析的快速响应和应用快速落地。

例如，模型引擎可以根据业务对象中包括的模型文件所引用的数据源类型，从预设的数据源类型插件库中，搜索与模型文件所引用的数据源类型匹配的目标数据源类型插件，例如，搜索的目标数据源类型插件是MYSQL。

S802、根据业务对象中包括的业务处理策略对应的算法，从模型引擎中预设的算法插件库中，搜索与业务处理策略对应的算法匹配的目标算法插件。

可选地，模型引擎中预设的算法插件库包括下述至少一项：比较类算法插件、预测分析算法插件、图谱构建算法插件以及图谱应用算法插件。

在本实施例中，模型引擎提供了算法适配器和算法库插件库，并提供了动态扩展算法的标准接口，可根据业务需求动态扩展算法插件库中的算法，同时也可以快速集成第三方业务模型的算法，且各个算法插件之间可以独立使用，也可以组合使用，快速灵活扩展和优化算法，快速响应不同的业务场景和需求。

例如，模型引擎可以根据业务对象中包括的业务处理策略对应的算法，从模型引擎中预先内置的算法插件库中，搜索与业务处理策略对应的算法相匹配的目标算法插件，例如，搜索的目标算法插件是比较类算法插件。

S803、调用目标数据源类型插件和目标算法插件，对业务对象进行分析处理，得到分析结果。

在上述实施例的基础上，调用搜索到的目标数据源类型插件和目标算法插件，对业务对象进行解析执行，以获取对待分析的至少一个数据源的分析结果，并将分析结果输出至指定位置供用户使用。

可选地，对业务对象进行分析处理，得到分析结果，还包括：

对业务对象进行分析处理，并在分析处理时使用预设的数据性能及安全监控组件，对业务对象的进行监听，生成执行日志报告。

在本实施例中，对业务对象进行解析执行的整个过程中，调用模型引擎中的数据性能及安全监控组件，对上述解析执行过程进行全程监听，并生成对应的执行日志，通过执行日志可以精准分析出业务对象在执行的过程中可能存在的性能瓶颈，以便数据分析系统的运维人员进行排查定位及相应的性能或业务规则优化，如可以对模型文件的业务逻辑进行优化完善。

可选地，接收数据分析平台发送的待分析的至少一个数据源的参数信息，包括：通过第一接口接收待分析的至少一个数据源的参数信息，第一接口为所述模型引擎提供的接口，例如，第一接口是API接口。

将通过如下实施例具体讲解本申请提供的数据分析方法的整体流程。

图9为本申请实施例提供的一种数据分析方法的整体流程示意图；可选地，该数据分析方法的整体步骤的执行主体是模型引擎，如图9所示，该方法包括：

S901、通过第一接口接收待分析的至少一个数据源的参数信息。

S902、根据待分析的至少一个数据源的参数信息，生成模型文件。

S903、使用预设的语法校验器，对模型文件进行语法校验，若校验通过，则使用DOM解析引擎，对模型文件进行解析，得到模型文件解析后的业务对象。

S904、从预设的数据源类型插件库和算法插件库中，分别搜索与业务对象匹配的目标数据源类型插件和目标算法插件，并基于目标数据源类型插件和目标算法插件，对业务对象进行分析处理，得到分析结果。

可选地，对业务对象进行分析处理，并在分析处理时使用预设的数据性能及安全监控组件，对业务对象的进行监听，生成执行日志报告。

S905、向数据分析平台发送分析结果，并对分析结果进行显示。

可选地，本方法的具体实现步骤以及产生的有益效果已在前面具体实施例中进行了详细说明，此处不再一一赘述。

图10为本申请实施例提供的一种数据分析方法的整体框架示意图；可选地，如图10所示，可以更直观地了解到模型引擎如何对接收到的待分析的至少一个数据源的参数信息，进行分析处理，以得到分析结果。

第一步、接收根据待分析的至少一个数据源的参数信息生成的模型文件。

第二步、使用语法校验器，对模型文件进行语法校验。

第三步、若校验通过，则使用DOM解析引擎，对模型文件进行解析，得到模型文件解析后的业务对象。

第四步、从数据源类型插件库和算法插件库中，分别搜索与业务对象匹配的目标数据源类型插件和目标算法插件，并基于目标数据源类型插件和目标算法插件，对业务对象进行解析执行，得到分析结果。

下述对用以执行本申请所提供的数据分析装置及存储介质等进行说明，其具体的实现过程以及技术效果参见上述，下述不再赘述。

图11为本申请实施例提供的一种数据分析装置的结构示意图；可选地，如图11所示，应用于模型引擎，该装置包括：接收模块1101、生成模块1102、解析模块1103、处理模块1104、发送模块1105。

接收模块1101，用于接收数据分析平台发送的待分析的至少一个数据源的参数信息，数据源的参数信息包括：地址信息、登录信息；

生成模块1102，用于根据待分析的至少一个数据源的参数信息，生成模型文件；

解析模块1103，用于使用文档对象模型解析引擎，对模型文件进行解析，得到模型文件解析后的业务对象；其中，业务对象包括：模型文件所引用的数据源类型、待分析的至少一个数据源对应的业务处理策略、业务处理策略对应的算法以及业务描述语言；

处理模块1104，用于从预设的数据源类型插件库和算法插件库中，分别搜索与业务对象匹配的目标数据源类型插件和目标算法插件，并基于目标数据源类型插件和目标算法插件，对业务对象进行分析处理，得到分析结果；

发送模块1105，用于向数据分析平台发送分析结果，并对分析结果进行显示。

可选地，生成模块1102，还用于：

根据待分析的至少一个数据源的参数信息，获取待分析的至少一个数据源；

从待分析的至少一个数据源中拉取至少一个数据表；

确定与各数据表匹配的数据源类型；

使用与各数据表匹配的数据源类型，对至少一个数据表进行解析，得到各数据表的属性信息，属性信息包括：表间关系、以及各数据表中的字段类型、字段项；

根据待分析的至少一个数据源对应的业务处理策略以及各数据表的属性信息，对各数据表进行分析处理，生成模型文件。

可选地，处理模块1104，还用于：

根据业务对象中包括的模型文件所引用的数据源类型，从预设的数据源类型插件库中，搜索与模型文件所引用的数据源类型匹配的目标数据源类型插件；

根据业务对象中包括的业务处理策略对应的算法，从模型引擎中预设的算法插件库中，搜索与业务处理策略对应的算法匹配的目标算法插件；

调用目标数据源类型插件和目标算法插件，对业务对象进行分析处理，得到分析结果。

可选地，该装置还包括：监听模块；

监听模块，用于对业务对象进行分析处理，并在分析处理时使用预设的数据性能及安全监控组件，对业务对象的进行监听，生成执行日志报告。

可选地，模型引擎中预设的算法插件库包括下述至少一项：比较类算法插件、预测分析算法插件、图谱构建算法插件以及图谱应用算法插件；

模型引擎中预设的数据源类型插件库包括下述至少一项：关系型数据库插件和非关系数据库插件。

可选地，接收模块1101，还用于：

通过第一接口接收待分析的至少一个数据源的参数信息，第一接口为模型引擎提供的接口。

上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种数据分析方法，其特征在于，应用于模型引擎，包括：

接收数据分析平台发送的待分析的至少一个数据源的参数信息，所述数据源的参数信息包括：地址信息、登录信息；

根据所述待分析的至少一个数据源的参数信息，生成模型文件；

使用文档对象模型解析引擎，对所述模型文件进行解析，得到所述模型文件解析后的业务对象；其中，所述业务对象包括：所述模型文件所引用的数据源类型、所述待分析的至少一个数据源对应的业务处理策略、所述业务处理策略对应的算法以及业务描述语言；

从预设的数据源类型插件库和算法插件库中，分别搜索与所述业务对象匹配的目标数据源类型插件和目标算法插件，并基于所述目标数据源类型插件和所述目标算法插件，对所述业务对象进行分析处理，得到分析结果；

向所述数据分析平台发送所述分析结果，并对所述分析结果进行显示。

2.根据权利要求1所述的方法，其特征在于，所述使用文档对象模型解析引擎，对所述模型文件进行解析，得到所述模型文件解析后的业务对象，包括：

使用预设的语法校验器，对所述模型文件进行语法校验；

若校验通过，则使用文档对象模型解析引擎，对所述模型文件进行解析，得到所述模型文件解析后的业务对象。

3.根据权利要求1所述的方法，其特征在于，所述根据所述待分析的至少一个数据源的参数信息，生成模型文件，包括：

根据所述待分析的至少一个数据源的参数信息，获取所述待分析的至少一个数据源；

从所述待分析的至少一个数据源中拉取至少一个数据表；

确定与各所述数据表匹配的数据源类型；

使用所述与各所述数据表匹配的数据源类型，对所述至少一个数据表进行解析，得到各所述数据表的属性信息，所述属性信息包括：表间关系、以及各所述数据表中的字段类型、字段项；

根据所述待分析的至少一个数据源对应的业务处理策略以及各所述数据表的属性信息，对各所述数据表进行分析处理，生成模型文件。

4.根据权利要求3所述的方法，其特征在于，所述从预设的数据源类型插件库和算法插件库中，分别搜索与所述业务对象匹配的目标数据源类型插件和目标算法插件，并基于所述目标数据源类型插件和所述目标算法插件，对所述业务对象进行分析处理，得到分析结果，包括：

根据所述业务对象中包括的所述模型文件所引用的数据源类型，从所述预设的数据源类型插件库中，搜索与所述模型文件所引用的数据源类型匹配的所述目标数据源类型插件；

根据所述业务对象中包括的所述业务处理策略对应的算法，从所述模型引擎中预设的算法插件库中，搜索与所述业务处理策略对应的算法匹配的目标算法插件；

调用所述目标数据源类型插件和所述目标算法插件，对所述业务对象进行分析处理，得到分析结果。

5.根据权利要求1所述的方法，其特征在于，所述对所述业务对象进行分析处理，得到分析结果，还包括：

对所述业务对象进行分析处理，并在分析处理时使用预设的数据性能及安全监控组件，对所述业务对象的进行监听，生成执行日志报告。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述模型引擎中预设的算法插件库包括下述至少一项：比较类算法插件、预测分析算法插件、图谱构建算法插件以及图谱应用算法插件；

所述模型引擎中预设的所述数据源类型插件库包括下述至少一项：关系型数据库插件和非关系数据库插件。

7.根据权利要求1-5中任一项所述的方法，其特征在于，所述接收数据分析平台发送的待分析的至少一个数据源的参数信息，包括：

通过第一接口接收所述待分析的至少一个数据源的参数信息，所述第一接口为所述模型引擎提供的接口。

8.一种数据分析装置，其特征在于，所述装置包括：接收模块、生成模块、解析模块、处理模块、发送模块；

所述接收模块，用于接收数据分析平台发送的待分析的至少一个数据源的参数信息，所述数据源的参数信息包括：地址信息、登录信息；

所述生成模块，用于根据所述待分析的至少一个数据源的参数信息，生成模型文件；

所述解析模块，用于使用文档对象模型解析引擎，对所述模型文件进行解析，得到所述模型文件解析后的业务对象；其中，所述业务对象包括：所述模型文件所引用的数据源类型、所述待分析的至少一个数据源对应的业务处理策略、所述业务处理策略对应的算法以及业务描述语言；

所述处理模块，用于从预设的数据源类型插件库和算法插件库中，分别搜索与所述业务对象匹配的目标数据源类型插件和目标算法插件，并基于所述目标数据源类型插件和所述目标算法插件，对所述业务对象进行分析处理，得到分析结果；

所述发送模块，用于向所述数据分析平台发送所述分析结果，并对所述分析结果进行显示。

9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-7任一所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-7任一所述方法的步骤。

Images