CN109976729B - 一种存算显全局可配置的数据分析软件架构设计方法 - Google Patents

Abstract

本发明提供一种存算显全局可配置的数据分析软件架构设计方法，涉及软件系统架构技术领域。该方法将数据分析软件架构分为界面层、分析层、数据访问层和插件层，并将数据访问层、分析层、界面层三层的总和命名为存算显层；界面层为软件使用人员提供交互式操作的可视化界面；分析层负责执行算法数据分析，以及处理软件系统的业务逻辑；数据访问层根据数据分析需求从数据存储介质中获取数据并传入到分析层；插件层提供软件开发人员配置数据和算法的方式，解析上述数据和算法的配置，并提供解析结果的接口；本发明提供的数据分析软件架构设计方法，使设计的软件架构满足使用友好、扩展性好、维护性强、可用性高的软件架构设计的初衷。

Description

一种存算显全局可配置的数据分析软件架构设计方法

技术领域

本发明涉及软件系统架构技术领域，尤其涉及一种存算显全局可配置的数据分析软件架构设计方法。

背景技术

如今软件规模越来越庞大、功能越来越复杂，软件架构的设计随着也越来越受到软件从业人员的重视。软件架构作为软件的骨架，是决定软件质量的重要原因。一个软件在架构设计阶段出现的失误，很难在实际开发阶段予以彻底弥补，最终会造成开发和维护过程中大量资源的浪费，甚至导致软件的彻底失败。

现有的数据分析软件原本大多是为特定分析目的而设计的，这使得数据分析软件在功能上只支持特定的算法种类与特定的数据参数。现有的软件架构设计方法所设计的软件架构不能轻易扩展数据分析所使用的算法、不能支持随着数据变化与分析目的变化造成的算法参数的动态变化。当分析目的和分析方法需要改变时，现有的软件难以扩展，常常需要开发一款新软件以用于新需求下的数据分析，从而使得原有软件被放弃，在满足数据分析人员的动态变化的分析需求的过程中造成了人力物力财力的大量浪费。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种存算显全局可配置的数据分析软件架构设计方法，使用该方法设计出一种能够让软件开发人员灵活扩展数据与算法，且对软件使用人员使用友好的，扩展性好、维护性强、可用性高的数据分析软件架构。

为解决上述技术问题，本发明所采取的技术方案是：一种存算显全局可配置的数据分析软件架构设计方法，将数据分析软件架构分为界面层、分析层、数据访问层和插件层四个层次，其中将数据访问层、分析层、界面层三层的总和命名为存算显层；所述界面层为软件使用人员提供交互式操作的可视化界面；软件使用人员选择数据分析的算法和数据传送至分析层进行分析计算，并在可视化界面显示分析层返回的数据分析结果；所述分析层负责执行算法数据分析，以及处理软件系统的业务逻辑；所述数据访问层根据数据分析需求从数据存储介质中获取数据并传入到分析层，为分析层提供数据服务；所述插件层提供软件开发人员配置数据和算法的方式，解析上述数据和算法的配置，并提供解析结果的接口；所述接口用于界面层的显示接口调用、分析层的计算接口调用、以及数据访问层的存储接口调用。

优选地，所述插件层配置两种外部存储类型：数据存储和算法存储；所述数据存储为数据分析所需数据集的外部存储介质；所述算法存储为数据分析执行时调用的外部算法代码包，其形式是输入数据集和算法参数并返回分析结果的函数或函数集的代码集合；软件开发人员将用于数据分析的数据存储和算法存储配置于插件层中，配置的具体数据格式和语义在软件开发设计阶段定义，开发人员在配置时遵循设计阶段定义的配置方式；所述数据存储的配置用于描述数据所存放的文件系统中的文件，描述数据文件或数据库中每个文件或数据库表的文件或表索引号和访问路径这些数据文件或表元数据，以及在文件或数据库表中每个属性及其子属性的属性索引号、属性名、属性数据类型这些数据属性元数据；所述算法存储的配置用于描述算法插件的基本信息，给出可显示在界面层的算法名、算法路径、算法输入参数约束、算法输出参数约束这些算法参数元数据；除了上述元数据外，开发人员根据具体情况扩展元数据；当软件部署并运行后，插件层将自动解析上述配置，作为界面层的显示接口、分析层的计算接口和数据访问层的存储接口的返回结果。

优选地，所述数据访问层通过调用存储接口访问插件层；数据访问层在获得由界面层产生，由分析层传递的数据索引的情况下，调用存储接口获取插件层解析的相关数据索引的存储位置和存储数据类型这些数据存储配置信息；数据访问层根据存储接口返回结果访问外部数据存储，获取所需数据并根据存储数据类型保存为相应数据集对象，并将数据集对象作为数据分析的数据集返回至分析层。

优选地，所述分析层通过调用计算接口访问插件层；分析层在获取了界面层传入的算法索引和算法参数后，调用计算接口获取插件层解析的相关算法的访问路径、输入参数约束、输出参数约束这些算法存储配置信息；分析层根据计算接口返回的结果，唤起分析层内的数据分析引擎，传入根据计算接口返回结果封装后的算法参数和数据访问层返回的数据集至数据分析引擎中，执行算法存储中的算法包代码，完成数据分析计算，并将分析结果根据输出参数约束返回到界面层。

优选地，所述界面层通过调用显示接口访问插件层；当软件架构使用人员访问可视化界面时，界面调用显示接口获取插件层解析的所有算法存储配置信息，构建动态的算法选择界面，软件架构使用人员从该界面选择算法，输入算法输入参数；同时调用显示接口获取插件层解析的所有数据存储配置信息，构建动态的数据集选择界面，软件架构使用人员从该界面选择数据集；软件架构使用人员获得的分析结果的可视化界面也由显示接口获取的算法输出参数约束为基础构建，结果的形式包括图像、表格、文字和分析过程日志。

采用上述技术方案所产生的有益效果在于：本发明提供的一种存算显全局可配置的数据分析软件架构设计方法，使设计的软件架构存算显全局可配置，在软件架构使用人员的需求发生变更时，开发人员可将新的数据存储或算法存储配置于插件层中，此时无需更改存算显层的代码，软件的相应模块即可通过调用存储接口、计算接口、显示接口，获取插件层相应的配置解析结果，从而访问新增的数据存储和算法存储，快速实现新需求下的数据分析，满足使用友好、扩展性好、维护性强、可用性高的软件架构设计的初衷。

附图说明

图1为本发明实施例提供的软件架构示意图；

图2为本发明实施例提供的软件架构模块示意图；

图3为本发明实施例提供的数据插件配置器配置实例；

图4为本发明实施例提供的算法插件配置器配置实例；

图5为本发明实施例提供的软件架构核心类示意图；

图6为本发明实施例提供的软件架构的数据分析流程示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例采用本发明的一种存算显全局可配置的数据分析软件架构设计方法设计一种数据分析软件架构。

一种存算显全局可配置的数据分析软件架构设计方法，将数据分析软件架构分为界面层、分析层、数据访问层和插件层四个层次，如图1所示，其中将数据访问层、分析层、界面层三层的总和命名为存算显层；所述界面层为软件使用人员提供交互式操作的可视化界面；软件使用人员选择数据分析的算法和数据传送至分析层进行分析计算，并在可视化界面显示分析层返回的数据分析结果；所述分析层负责执行算法数据分析，以及处理软件系统的业务逻辑；所述数据访问层根据数据分析需求从数据存储介质中获取数据并传入到分析层，为分析层提供数据服务；所述插件层提供软件开发人员配置数据和算法的方式，解析上述数据和算法的配置，并提供解析结果的接口；所述接口用于界面层的显示接口调用、分析层的计算接口调用、以及数据访问层的存储接口调用。

所述插件层配置两种外部存储类型：数据存储和算法存储；所述数据存储为数据分析所需数据集的外部存储介质，其形式包括但不限于各类数据库或数据文件系统；所述算法存储为数据分析执行时调用的外部算法代码包，其形式是输入数据集和算法参数并返回分析结果的函数或函数集的代码集合；软件开发人员将用于数据分析的数据存储和算法存储配置于插件层中，配置的具体数据格式和语义在软件开发设计阶段定义，开发人员在配置时遵循设计阶段定义的配置方式；所述数据存储的配置用于描述数据所存放的文件系统中的文件，描述数据文件或数据库中每个文件或数据库表的文件或表索引号和访问路径这些数据文件或表元数据，以及在文件或数据库表中每个属性及其子属性的属性索引号、属性名、属性数据类型这些数据属性元数据；所述算法存储的配置用于描述算法插件的基本信息，给出可显示在界面层的算法名、算法路径、算法输入参数约束、算法输出参数约束这些算法参数元数据；除了上述元数据外，开发人员也可根据具体情况扩展元数据；当软件部署并运行后，插件层将自动解析上述配置，作为界面层的显示接口、分析层的计算接口和数据访问层的存储接口的返回结果。

所述数据访问层通过调用存储接口访问插件层；数据访问层在获得由界面层产生，由分析层传递的数据索引的情况下，调用存储接口获取插件层解析的相关数据索引的存储位置和存储数据类型这些数据存储配置信息；数据访问层根据存储接口返回结果访问外部数据存储，获取所需数据并根据存储数据类型保存为相应数据集对象，并将数据集对象作为数据分析的数据集返回至分析层。

所述分析层通过调用计算接口访问插件层；分析层在获取了界面层传入的算法索引和算法参数后，调用计算接口获取插件层解析的相关算法的访问路径、输入参数约束、输出参数约束这些算法存储配置信息；分析层根据计算接口返回的结果，唤起分析层内的数据分析引擎，传入根据计算接口返回结果封装后的算法参数和数据访问层返回的数据集至数据分析引擎中，执行算法存储中的算法包代码，完成数据分析计算，并将分析结果根据输出参数约束返回到界面层。

所述界面层通过调用显示接口访问插件层；当软件架构使用人员访问可视化界面时，界面调用显示接口获取插件层解析的所有算法存储配置信息，构建动态的算法选择界面，软件架构使用人员从该界面选择算法，输入算法输入参数；同时调用显示接口获取插件层解析的所有数据存储配置信息，构建动态的数据集选择界面，软件架构使用人员从该界面选择数据集；软件架构使用人员获得的分析结果的可视化界面也由显示接口获取的算法输出参数约束为基础构建，结果的形式包括图像、表格、文字和分析过程日志。

本实施例中，采用本发明的软件架构设计方法设计的数据分析软件架构在存算显层共有5个模块，分别为参数选择模块、结果展示模块、数据分析引擎、业务逻辑模块、数据访问模块；在插件层有4个模块，分别为数据插件配置器、算法插件配置器、数据插件解析器、算法插件解析器；存算显层分别通过显示接口、计算接口、存储接口访问插件层，如图2所示。

本实施例使用文件系统中的文件作为软件架构中的数据存储，使用可执行的R语言算法包作为软件架构中的算法存储。文件系统中有若干文件，文件内数据的形式是二维表，其中横坐标是若干数据属性，纵坐标为日期，一行数据表示某个日期下若干属性的值；通过确定文件名、文件内属性列名和日期的方式可以确定该属性在某个日期内的值。R语言算法包是用R语言实现的数据分析算法基本功能的代码文件，当服务器部署了R执行环境后，输入算法包内的函数所需的参数后，即可输出分析结果。

本实施例在插件层中，实现了用于配置数据存储的数据插件配置器，其描述形式为XML文件。在数据插件配置器中，使用category标签描述文件系统中的文件信息，包括文件索引号、文件名、文件路径、文件内数据起始日期和数据结束日期(本实施例中，文件数据一行表示一天，上下行之间为连续不间断的日期，故定义第一数据行的日期为起始日期，最后一个数据行的日期为结束日期，数据插件解析器即可解析出文件的行数)；使用attribute标签描述文件内每列属性的信息，包括属性索引号、属性名、列数和属性数据类型。category的子标签attributes是该文件下所有attribute标签所描述的数据属性的集合。

数据插件配置器对于“操业参数”文件(文件索引号21)的配置实例如图3所示，该文件内的起始时间和结束时间表示文件第一行数据和最后一行数据的对应日期，每个attribute标签代表文件每列数据的索引、名称、列数和数据类型。

本实施例在插件层中，实现了用于配置算法存储的算法插件配置器，其描述形式为XML文件。在算法插件配置器中，使用algorithm标签描述R算法包的算法信息，包括算法包索引号、算法包名、算法包调用函数名、算法包路径、算法包依赖库、返回图表类型。algorithm的子标签parameters是该算法所有算法参数的集合，算法参数的描述标签为parameter，包括算法参数索引号、算法参数类型和参数约束。若算法参数是选择型，则在parameter标签下加上option子标签描述具体选项；而输入型的算法参数则无需option子标签。本实施例中，将算法存储所含的R语言算法包进行了归类，分为“描述统计”、“统计分析”和“数据挖掘”三大类算法，以RPackage标签描述；在三大类算法下也通过approach标签分别划分为若干小类。而algorithms是approach标签下的子标签，表示描述R算法包的algorithm标签的集合，在界面层，软件使用人员能通过大类标签快速定位和选择所用算法。例如在本实施例的界面上，界面顶部是算法选择区，上述三大类算法是算法选择区的一级菜单，approach标签为二级菜单，algorithm标签为三级菜单，在选择算法时鼠标点击三级菜单进入相应具体三级算法的算法参数输入界面。

算法插件配置器对于两种“时间序列分析”算法的配置实例如图4所示，其中单变量指数预测模型(算法索引号“3_5_1”)需要引入第三方R库“lubridate”，输出图像类型为散点图，输入限制为“只能选择一个数据属性”，模型预测月数为不小于1的整数，不得为空；单变量ARIMA预测模型(算法索引号“3_5_2”)需要引入第三方R库“tseries”和“forecast”，输出图像类型为散点图，输入限制为“只能选择一个数据属性”，模型预测月数为不小于1的整数，不得为空。

本实施例在存算显层中，服务器端使用Java Web技术开发，服务器部分的核心类图如图5所示。在分析层中，AttributePrase类和RPackagePrase类分别为架构中的数据插件解析器和算法插件解析器。数据插件解析器和算法插件解析器在软件服务器启动时解析上述用XML描述的数据插件配置器和算法插件配置器，反序列化为内存对象。AttributePrase类解析的对象保存在CategoriesPool类中，RPackagePrase类解析的对象保存在AlgorithmsPool类中，其余模块调用插件配置信息只需调用上述类的对象的成员方法。AttributesServlet类和RPackageServlet类属于本实施例中软件架构的界面层，作用是当软件架构使用人员访问客户端时，这两个类分别将CategoriesPool对象和AlgorithmsPool对象的数据封装后发送之客户端，从而完成参数选择模块的功能。DatasetPool类和DatasetFactory类属于数据访问层的数据访问模块。DatasetFactory类的作用是读取文件系统中的数据，其对数据的定位与CategoriesPool对象存在依赖关系。DatasetFactory类读取的数据以DatasetPool类的对象形式保存。AnalyzeCore类是数据分析过程中调用数据分析引擎前解析客户端参数、获取数据分析所需算法和数据集并将引擎的算法分析结果封装并返回到客户端的业务逻辑模块类。数据分析引擎的功能由REngine类完成，接受AnalyzeCore对象的算法参数和数据集，调用R执行算法包的算法，并将执行结果简易封装为Java对象返回到AnalyzeCore中。

本实施例中，数据分析流程的核心业务流程如图6所示。软件使用人员打开客户端后，客户端自动从AttributesServlet类和RPackageServlet类获取配置信息，并根据信息自动构建界面的参数选择模块。软件使用人员在客户端中首先选择算法，随后搜索并选择加入数据集的数据属性(即选择数据文件内数据的列的范围)，接着输入或选择算法参数(输入框或选择框由RPackageServlet传来的算法信息生成)，最后选择数据的时间范围(即选择数据文件内数据的行的范围)并点击分析按钮。上述信息随即传到服务器端，由ServiceServlet类接收并转发到AnalyzeCore类。AnalyzeCore类解析客户端传来的信息，首先根据信息调用DatasetPool对象中的数据，而DatasetPool对象又通过DatasetFactory类的方法从文件系统获取数据集。AnalyzeCore类获得数据后将数据集和算法信息作为参数调用REngine类，REngine类根据传入的算法索引，调用服务器中部署的R环境执行相应的R算法包，开始数据分析过程。数据分析结束后，REngine类将分析结果(成功的分析结果或失败的错误代号)返回AnalyzeCore类，AnalyzeCore进行封装后由ServiceServlet类通过HTTP协议返回分析结果到客户端。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (4)

1.一种存算显全局可配置的数据分析软件架构设计方法，其特征在于：将数据分析软件架构分为界面层、分析层、数据访问层和插件层四个层次，其中将数据访问层、分析层、界面层三层的总和命名为存算显层；所述界面层为软件使用人员提供交互式操作的可视化界面；软件使用人员选择数据分析的算法和数据传送至分析层进行分析计算，并在可视化界面显示分析层返回的数据分析结果；所述分析层负责执行算法数据分析，以及处理软件系统的业务逻辑；所述数据访问层根据数据分析需求从数据存储介质中获取数据并传入到分析层，为分析层提供数据服务；所述插件层提供软件开发人员配置数据和算法的方式，解析上述数据和算法的配置，并提供解析结果的接口；所述接口用于界面层的显示接口调用、分析层的计算接口调用、以及数据访问层的存储接口调用；

所述插件层配置两种外部存储类型：数据存储和算法存储；所述数据存储为数据分析所需数据集的外部存储介质；所述算法存储为数据分析执行时调用的外部算法代码包，其形式是输入数据集和算法参数并返回分析结果的函数或函数集的代码集合；软件开发人员将用于数据分析的数据存储和算法存储配置于插件层中，配置的具体数据格式和语义在软件开发设计阶段定义，开发人员在配置时遵循设计阶段定义的配置方式；所述数据存储的配置用于描述数据所存放的文件系统中的文件，描述数据文件或数据库中每个文件或数据库表的文件或表索引号和访问路径这些数据文件或表元数据，以及在文件或数据库表中每个属性及其子属性的属性索引号、属性名、属性数据类型这些数据属性元数据；所述算法存储的配置用于描述算法插件的基本信息，给出可显示在界面层的算法名、算法路径、算法输入参数约束、算法输出参数约束这些算法参数元数据；除了上述元数据外，开发人员根据具体情况扩展元数据；当软件部署并运行后，插件层将自动解析上述配置，作为界面层的显示接口、分析层的计算接口和数据访问层的存储接口的返回结果；

在插件层有4个模块，分别为数据插件配置器、算法插件配置器、数据插件解析器、算法插件解析器；

用于配置数据存储的数据插件配置器，其描述形式为XML文件； 在数据插件配置器中，使用category标签描述文件系统中的文件信息，包括文件索引号、文件名、文件路径、文件内数据起始日期和数据结束日期；使用attribute标签描述文件内每列属性的信息，包括属性索引号、属性名、列数和属性数据类型；category的子标签attributes是该文件下所有attribute标签所描述的数据属性的集合；

用于配置算法存储的算法插件配置器，其描述形式为XML文件；在算法插件配置器中，使用algorithm标签描述算法包的算法信息，包括算法包索引号、算法包名、算法包调用函数名、算法包路径、算法包依赖库、返回图表类型；algorithm的子标签parameters是该算法所有算法参数的集合，算法参数的描述标签为parameter，包括算法参数索引号、算法参数类型和参数约束；若算法参数是选择型，则在parameter标签下加上option子标签描述具体选项；而输入型的算法参数则无需option子标签；

数据插件解析器和算法插件解析器在软件服务器启动时解析用XML描述的数据插件配置器和算法插件配置器，反序列化为内存对象。

2.根据权利要求1所述的一种存算显全局可配置的数据分析软件架构设计方法，其特征在于：所述数据访问层通过调用存储接口访问插件层；数据访问层在获得由界面层产生，由分析层传递的数据索引的情况下，调用存储接口获取插件层解析的相关数据索引的存储位置和存储数据类型这些数据存储配置信息；数据访问层根据存储接口返回结果访问外部数据存储，获取所需数据并根据存储数据类型保存为相应数据集对象，并将数据集对象作为数据分析的数据集返回至分析层。

3.根据权利要求1所述的一种存算显全局可配置的数据分析软件架构设计方法，其特征在于：所述分析层通过调用计算接口访问插件层；分析层在获取了界面层传入的算法索引和算法参数后，调用计算接口获取插件层解析的相关算法的访问路径、输入参数约束、输出参数约束这些算法存储配置信息；分析层根据计算接口返回的结果，唤起分析层内的数据分析引擎，传入根据计算接口返回结果封装后的算法参数和数据访问层返回的数据集至数据分析引擎中，执行算法存储中的算法包代码，完成数据分析计算，并将分析结果根据输出参数约束返回到界面层。

4.根据权利要求1所述的一种存算显全局可配置的数据分析软件架构设计方法，其特征在于：所述界面层通过调用显示接口访问插件层；当软件架构使用人员访问可视化界面时，界面调用显示接口获取插件层解析的所有算法存储配置信息，构建动态的算法选择界面，软件架构使用人员从该界面选择算法，输入算法输入参数；同时调用显示接口获取插件层解析的所有数据存储配置信息，构建动态的数据集选择界面，软件架构使用人员从该界面选择数据集；软件架构使用人员获得的分析结果的可视化界面也由显示接口获取的算法输出参数约束为基础构建，结果的形式包括图像、表格、文字和分析过程日志。

Images