CN117851711A - 一种基于多源可配置智能接入与分析的数据浏览器平台 - Google Patents

Abstract

本发明公开了一种基于多源可配置智能接入与分析的数据浏览器平台，通过内置数据源管理、数据集配置、数据关联匹配、数据统计等模块，实现了技术能力不足的业务人员面向多来源的数据分析需求，对多源数据进行接入、审查、拼接等数据处理，并可直接对生成的数据模型进行统计、发布与共享。同时建立数据分析人员习惯记录档案，进行智能化推荐和趋势分析，简化用户操作，大大降低了业务人员对数据模型建设的参与门槛，具有较强的开放性、可扩展性。

Description

一种基于多源可配置智能接入与分析的数据浏览器平台

技术领域

本发明涉及一种基于多源可配置智能接入与分析的数据浏览器平台，属于大数据处理技术领域。

背景技术

数据浏览器是一种软件工具，用于查看和分析数据。它可以从各种数据源中获取数据，包括数据库、文件和Web服务。数据浏览器通常具有查看数据(以表格、图表或其他可视化形式查看数据)、分析数据(对数据进行统计分析，例如求和、平均值和标准差)、过滤数据(根据特定条件过滤数据)、导出数据(将数据导出到各种格式，如CSV、Excel或PDF)等功能。目前市场上有的一些数据浏览器工具包括：

(1)Tableau:是数据可视化领域的领导者，它有较为丰富的可视化功能和易于使用的界面，同时有较好的兼容性，它可以连接到各种数据源，包括数据库、文件和Web服务。它的主要功能是数据可视化方面，但在数据分析方面相对有限。

(2)Ql ikView：是一种基于查询的数据浏览器，它使用了内存数据库技术，可以快速访问和分析数据。但是也正因为它使用内存数据库技术，因此需要注意数据安全性。同时它主要用于数据分析，其可视化功能相对有限。

(3)Microsoft Power BI：是Microsoft提供的数据分析和可视化工具。它与Microsoft生态系统(如Excel和Azure)紧密集成，提高了工作效率。同时可以云端部署，可以随时随地访问数据。不过它的易用性尚有欠缺，需要一些时间和精力去进行学习。同时脱离Microsoft的体系后部署和使用不够独立和方便。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提出了一种基于多源可配置智能接入与分析的数据浏览器平台设计与实现，对不同数据源之间的数据敏捷建模分析，快速响应分析和决策支持需求，实现分析快捷化。

本发明的技术解决方案是：

一种基于多源可配置智能接入与分析的数据浏览器平台，包括数据源管理模块、数据集配置模块、数据关联匹配模块、数据统计模块、趋势分析模块；

所述数据源管理模块通过搭建Web数据表格和数据表单，提取多业务系统的数据源并进行管理；

所述数据集配置模块根据业务需求，从数据源管理模块中查找与业务需求相关的数据源中数据表，形成包含维度和指标两种形式的数据集，并将与业务需求关系最大的维度作为主维度；

所述数据关联匹配模块对数据集内的维度数据与指标数据之间进行关联匹配，构成数据处理模型；

所述数据统计模块根据业务需求，对已建立关联匹配关系的数据处理模型中的指标数据进行统计分析并显示；

所述趋势分析模块用于观察和理解所述数据统计模块中指标数据的变化趋势。

优选的，所述数据关联匹配模块进行数据关联匹配的方法为：

建立Web交互界面，将数据集中的多个维度数据、多个指标数据分区域显示；

根据业务需求，通过在交互界面中拖拽选择相关的维度数据；选择维度数据时，将当前维度的维度key传输到服务器，判断是否已选择指标，若没有选择指标，则直接返回当前维度的维度key和维度名称，在web交互界面以行的形式展示维度数据；若已经选择指标，则服务器将主维度、指标和指标的其他维度组合形成查询语句，根据指标绑定的数据源，匹配维度查询所述指标的指标值，联合主维度key返回到web页面，并以行的形式展示维度数据；

根据业务需求，通过在交互界面中拖拽选择相关的指标数据，web交互界面将当前在主维度区选中的维度和选中的指标配置信息传输到服务器，服务器通过维度、指标拼接成查询语句，将主维度和选中的指标以JSONArray的接口形式返回到Web页面，并与界面中现有的数据集以主维度Key进行匹配，在界面中增加新列展示。

优选的，所述数据统计模块在Web交互界面中提供多种数据统计方法，包括最大值、最小值、平均值、数量统计、求和、方差、中位数；通过业务需求选择相应的统计方法，界面通过RestFul接口发送到服务器，服务器通过Java的joinery组件将该数据集转化为标准数据模型，并根据传递的统计方法，对数据进行统计分析，并返回到Web交互界面。

优选的，所述数据源管理模块搭建Web数据表格和数据表单，通过在web表单界面新建数据源连接信息，包括主机地址、端口号、用户名、密码，进行业务系统数据库的连接。

优选的，数据集配置模块连接数据源管理模块中的各数据库，结合java执行数据库查询命令，获取数据库全部表名称和表结构，选择需要进行数据关联匹配的数据表。

优选的，针对半结构化和非结构化的数据，通过解析器、正则匹配、关键字提取方法，将上述数据解析成结构化的形式。

优选的，趋势分析模块通过对指标及相关的维度数据进行数据清洗，并将数据存放于数据仓库，再使用趋势分析方法，推测指标未来的走势。

优选的，还包括智能推荐模块，根据使用者的兴趣、行为和偏好，自动提供个性化的推荐和建议，具体包括：

收集用户的搜索查询内容、系统使用行为、用户基本信息、点击指标数据类型及查看指标的停留时间，将上述数据转化为特征向量；

根据特征向量建立用户偏好模型和指标维度特征模型，推荐于用户偏好相关的指标和维度。

本发明与现有技术相比的优点在于：

(1)现有的技术以单数据源为查询基准，本发明以不同数据源之间的共性维度为基础，实现包括结构化、半结构化和非结构化等不同数据源之间的数据敏捷建模分析，快速响应分析和决策支持需求，实现分析快捷化。

(2)现有的数据集分析技术，使用Apache NiFi等ETL工具，将来自不同数据源的数据提取并整合到一个中心数据存储中，并且进行数据标准化，以确保不同数据源中的数据格式、单位等标准化。同时将整合后的数据存储到Amazon Redshift等数据仓库中，以支持高性能的查询分析，最终实现数据集的统计分析，本发明将关联查询的数据集，使用数据分析引擎，进行多源数据的统计分析，提高数据经营的效率。

(3)与传统的数据浏览器相比，本发明可以根据用户的使用习惯进行智能分析，从而给用户提供最相关、有用且个性化的信息。同时可以识别和理解数据随时间发展的方向和模式，从而揭示潜在的趋势、周期或变化，帮助用户制定策略和方针。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例数据浏览器平台结构示意图；

图2为本发明实施例数据浏览器平台数据流向示意图；

图3为本发明实施例数据关联匹配功能图；

图4为本发明实施例数据统计功能图；

图5为本发明实施例根据选择的维度值查找主维度、指标的查询语句图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明提出了一种基于多源可配置智能接入与分析的数据浏览器平台，如图1所示，包括数据源管理模块、数据集配置模块、数据关联匹配模块、数据统计模块、智能推荐模块、趋势分析模块。数据流向如图2所示。

数据源管理模块1用于维护数据浏览器所用的数据源，并进行用户权限分配与管理，添加的数据信息可以作为数据表绑定的输入，以实现企业分析数据的统一接入、按需分发以及数据控制。数据源可以支持结构化、半结构化和非结构化等。结构化数据包括Oracle、Mysql、SqlServer及国产的神通等数据库或各种API等。半结构化数据包括XML格式、YAML格式、Excel文件等。非结构化数据包括各种文本、日志文件等。

数据源管理模块通过搭建web数据表格和数据表单，实现数据源信息的管理。操作人员通过在web表单界面新建数据源连接信息，包括主机地址、端口号、用户名、密码等，本发明通过引入Oracle、Mysql、SqlServer和神通等数据库的java库包，并通过前述配置的连接信息，实现数据库的连接。通过权限划分，各用户只能查看自己配置的数据源，从而控制用户能够访问的数据库和数据信息。

数据集配置模块用于从数据源建立的数据库中获取需要进行数据展示的数据表，并指定度量列与指标列。

通过java执行数据库查询命令：

show database：获取本数据库连接可以访问到的全部的数据库。

show tables：获取选择数据库的全部数据表。

通过Java获取数据库全部表名称和表结构，选择需要进行数据关联匹配的数据表，指定可以唯一标识行数据的维度和标识行数据的结果的指标，主要是通过维度定义实现不同表之间的关联匹配。

针对半结构化和非结构化的数据，可以通过合适的解析器(如XML解析器或JSON解析器)、正则匹配、关键字提取、NLP技术等，将数据解析成结构化的形式。最终形成维度和指标两种形式的统计角度，下面是维度和指标的相关解释：

维度是数据模型主要统计的角度，同时维度决定的数据模型的体量。如某一数据模型定义为财务数据模型，那么具体有哪些公司，公司就是一个维度，维度有多少条记录，数据模型就有多少条记录。维度可以是复合维度，即多列构成的维度。例如财务数据模型可以有公司、日期等复合维度。

指标是一个依据业务逻辑口径实现出来的一个值，这个值可以是数值，比如某公司某个日期的“营业收入”、“净利润”、“资产总额”、“营业收入利润率”、“利润总额增长率”等指标，这个值也可能是文本数据等，比如某公司某个日期的“办公地址”、“曾用名”、“业务访问”等指标，没有固定的相对结果。

数据集关联匹配模块用于将从数据源管理模块中绑定的数据源中根据需求抽取业务数据，并进行数据整合、清洗和转化，利用去重、规范化数据、自动化清洗等方式，将原数据源中分散、零乱、标准不统一的数据系统整合并予以展示。以确保数据的高质量和一致性。

数据集关联匹配模块开发Web交互界面，主要包括维度选择区域、指标选择区域和数据展示区域。

其中维度选择区域，选择待分析不同数据源中的共性维度，如公司社会信用代码和公司名称，组成维度选择区，以列表的形式或者树状的形式展示公司主维度。

其中指标选择区域，选择不同数据源中的指标增加到该区域，如公司财务快报数据库，可以选择快报数据表中的指标，如营业收入、净利润、总资产、净资产收益率等快报指标，并指定除上述维度区中的主维度之后的其他剩余维度，如日期维度等，如果没有则不用选择。通过选择不同数据源中的指标，以列表的形式或者树状的形式展示指标选择区域的。

本数据源下的指标如果配置了除了主维度之外的其他维度，则通过web页面弹出该指标的配置页面，显示与主维度无关的其他维度，并进行选择，如时间维度。

在维度选择区域，选中一个维度值之后，如某家公司，将该维度的维度key通过restful接口传输到服务器，判断目前是否选择了指标，如果没有选择指标，则通过数据源sql查询，直接返回该维度的维度key和维度名称，在web页面的表格控件中以行的形式展示该数据；如果已经选中了一个指标，则服务器将主维度、指标和指标的其他维度组合，形成查询sql，根据该指标绑定的数据源，匹配维度查询该指标的指标值，联合主维度key返回到web页面，并插入到页面数据集中以行的形式展示该数据。

在指标选择区域选中某个指标和该指标相关的其他维度后，web页面将目前在主维度区选中的维度集和该指标配置信息通过restful接口传输到服务器，服务器通过维度集、指标、指标的其他维度，拼接成相应的SQL查询语句，如图5所示，其中orgcode为本数据库中的主维度key，target1为选择的指标，db1为使用的数据库，table1为使用的数据表，#date为web传输的其他维度，#orgcodes为传输的主维度集。本查询语句将主维度和查询的指标以JSONArray的接口形式返回到Web页面，并与页面中现有的数据集，以主维度Key进行匹配，以新的列的形式插入数据集，并在页面中增加新列展示，如图3所示。

本发明支持一次性选择多个度量和指标。

数据统计模块用于根据业务分析需求将数据集关联匹配模块中形成的数据集按照中位数、最大值、最小值、标准差、方差、计数、算数平均、四分位等方法进行整体统计，或根据指定列，进行数据分组统计。

根据页面中不同的度量和指标选择的匹配结果数据集，和需要进行数据统计的方法，如最大值、最小值、平均值、数量统计、求和、方差、中位数通过RestFul接口发送到服务器，服务器通过Java的joinery组件将该数据集转化为标准数据模型，并根据传递的统计方法，对数据进行统计分析，并返回到Web展示页面，如图4所示。

智能推荐模块根据用户的兴趣、行为和偏好，自动提供个性化的推荐和建议，建立用户行为档案，自动分析用户关注的历史内容，从而为每个用户提供最相关、有用且个性化的信息，以提高用户体验，促进用户参与，增加交互和便捷性。

首先要进行数据收集与用户建模，收集用户的搜索查询内容、系统使用行为、用户的一些基本信息，如所在部门、职务等信息，还有一些隐式的反馈，如点击、停留时间等，作为推荐模型的训练数据。然后将用户的基本信息和行为数据转化为特征向量，包括one-hot编码、embedding等。利用一些机器学习算法进行推荐，如协同过滤、内容过滤等。其中协同过滤是基于用户行为或项目相似性来推荐。可以使用基于用户的协同过滤或基于物品的协同过滤。然后使用用户-项目矩阵进行相似性计算，最后利用相似性权重进行推荐；内容过滤是基于用户的行为和指标、维度的属性及逆行推荐。使用到了关键词匹配等文本挖掘技术。可以分析用户的历史点击和组合行为，建立用户偏好模型和指标维度特征模型，推荐于用户偏好相关的指标和维度。

趋势分析模块分析使用人员选择的数据集随时间的变化，从而进行评估和分析，通过趋势分析模块，系统可以识别和理解数据随时间发展的方向和模式，从而揭示潜在的趋势、周期或变化，这种分析可以用来预测未来的发展、制定决策或制定战略。

首先确定用户选择查看并分析的关键业务指标和维度。从合适的数据源中抽取并结构化数据，然后进行数据清洗，清洗数据已处理缺失值、异常值，确保数据的准确和一致性。将清洗后的数据存放在数据仓库中，以便后续分析。同时按照不同的维度将数据进行不同的存储，如若分析的是时间趋势，确保数据按照时间序列组织，可以使用时间戳字段进行排序和分组。然后根据数据的性质选择合适的图表类型，如折线图、柱状图、面积图等，如果有多个维度，可以使用对地图、多轴图等方式，同时展示多个维度的趋势。通过观察图表，并采用适当的趋势分析算法，如移动平均法、指数平滑法、季节性分解法、趋势线拟合、ARIMA模型、回归分析等算法，分析指标随事件或其他维度的趋势，推测指标未来的走势。同时对于关键指标和维度，建立监控系统，定期检查趋势，及时发现和处理异常情况，根据趋势分析的结果以及用户对趋势结果的评测，不断优化业务策略，提高决策的准确性和效果。

本发明立足于强化数据管控能力，严格按照模块化结构，研发基于微服务结构的底层平台，集成包括结构化数据、非结构化数据和API等多源数据，并通过用户自定义维度组合产生数据集进行分析。利用内置且可交互的数据处理模型、基于动态化的场景模型和业务分析模型的设计与开发，有效降低开发门槛以及开发和维护成本，提升数据资产决策支持能力。

通过基于多源可配置数据源接入与分析的数据浏览器平台可实现跨子系统的数据综合统计和分析功能，实现多源数据灵活查询、统计分析、排序筛选，可支持指标、参数、单位范围、单位类型的任意设定和自由提取。同时对连接的多数据源进行数据整合和清洗，本多数据源管理器可以解决不同来源获取的数据格式和结构不同的问题，帮助用户将这些数据整合到统一的格式中，并进行清洗以去除错误和不一致。通过数据浏览器平台，数据分析人员可通过简单的页面拖拽组合即可形成自定义的各种业务数据模型，同时建立数据分析人员习惯记录档案，进行智能推荐和趋势分析，简化用户的行为，展示数据潜在的关联性和趋势，最终实现数据的多维度的分析、深度挖掘和灵活展示。

以上所述实施例只是本发明较优选具体实施方式，本领域技术人员在本发明技术方案范围内进行的通常变化和替换应包含在本发明的保护范围内。

Claims (8)

1.一种基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，包括数据源管理模块、数据集配置模块、数据关联匹配模块、数据统计模块、趋势分析模块；

所述数据源管理模块通过搭建Web数据表格和数据表单，提取多业务系统的数据源并进行管理；

所述数据集配置模块根据业务需求，从数据源管理模块中查找与业务需求相关的数据源中数据表，形成包含维度和指标两种形式的数据集，并将与业务需求关系最大的维度作为主维度；

所述数据关联匹配模块对数据集内的维度数据与指标数据之间进行关联匹配，构成数据处理模型；

所述数据统计模块根据业务需求，对已建立关联匹配关系的数据处理模型中的指标数据进行统计分析并显示；

所述趋势分析模块用于观察和理解所述数据统计模块中指标数据的变化趋势。

2.根据权利要求1所述的基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，所述数据关联匹配模块进行数据关联匹配的方法为：

建立Web交互界面，将数据集中的多个维度数据、多个指标数据分区域显示；

根据业务需求，通过在交互界面中拖拽选择相关的维度数据；选择维度数据时，将当前维度的维度key传输到服务器，判断是否已选择指标，若没有选择指标，则直接返回当前维度的维度key和维度名称，在web交互界面以行的形式展示维度数据；若已经选择指标，则服务器将主维度、指标和指标的其他维度组合形成查询语句，根据指标绑定的数据源，匹配维度查询所述指标的指标值，联合主维度key返回到web页面，并以行的形式展示维度数据；

根据业务需求，通过在交互界面中拖拽选择相关的指标数据，web交互界面将当前在主维度区选中的维度和选中的指标配置信息传输到服务器，服务器通过维度、指标拼接成查询语句，将主维度和选中的指标以JSONArray的接口形式返回到Web页面，并与界面中现有的数据集以主维度Key进行匹配，在界面中增加新列展示。

3.根据权利要求1所述的基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，所述数据统计模块在Web交互界面中提供多种数据统计方法，包括最大值、最小值、平均值、数量统计、求和、方差、中位数；通过业务需求选择相应的统计方法，界面通过RestFul接口发送到服务器，服务器通过Java的joinery组件将该数据集转化为标准数据模型，并根据传递的统计方法，对数据进行统计分析，并返回到Web交互界面。

4.根据权利要求1所述的基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，所述数据源管理模块搭建Web数据表格和数据表单，通过在web表单界面新建数据源连接信息，包括主机地址、端口号、用户名、密码，进行业务系统数据库的连接。

5.根据权利要求1所述的基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，数据集配置模块连接数据源管理模块中的各数据库，结合java执行数据库查询命令，获取数据库全部表名称和表结构，选择需要进行数据关联匹配的数据表。

6.根据权利要求5所述的基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，针对半结构化和非结构化的数据，通过解析器、正则匹配、关键字提取方法，将上述数据解析成结构化的形式。

7.根据权利要求1所述的基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，趋势分析模块通过对指标及相关的维度数据进行数据清洗，并将数据存放于数据仓库，再使用趋势分析方法，推测指标未来的走势。

8.根据权利要求1所述的基于多源可配置智能接入与分析的数据浏览器平台，其特征在于，还包括智能推荐模块，根据使用者的兴趣、行为和偏好，自动提供个性化的推荐和建议，具体包括：

收集用户的搜索查询内容、系统使用行为、用户基本信息、点击指标数据类型及查看指标的停留时间，将上述数据转化为特征向量；

根据特征向量建立用户偏好模型和指标维度特征模型，推荐于用户偏好相关的指标和维度。