CN115237899A - 一种数据处理方法、装置、电子设备及介质 - Google Patents

Abstract

本申请提供了一种数据处理方法、装置、电子设备及介质，所述方法包括获取多种类型的数据，并按照预设的数据治理规则进行数据治理，生成至少一个数据资产；根据所述数据资产的属性，将所述数据资产和数据资产目录中的第一目标目录项相关联，并存储所述数据资产，每一目录项对应一数据资产描述；响应接收到针对目标数据资产的查询请求，并根据查询请求中携带的关键词确定查询请求对应的第二目标目录项，再确定出目标数据资产；响应接收到处理所述目标数据资产的处理请求，从预先配置的数据处理工具中确定出目标数据第一处理规则对目标数据资产进行分析处理，得到数据处理结果，从而实现一站式、无编码的数据处理。

Description

一种数据处理方法、装置、电子设备及介质

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据处理方法、装置、电子设备及介质。

背景技术

企业中经常需要对数据进行各种分析，但是，现有的企业中，其数据集成与数据应用在技术上始终没有形成统一的技术架构；由于数据治理概念的长期缺失，企业数据资产的梳理、描述、分析处理、发布等各个环节，都分别使用一些独立的工具，如自助式BI开发工具等，至今未形成系统性的平台或框架，缺乏系统性的处理方法。

发明内容

有鉴于此，本申请的目的在于提供一种数据处理方法、装置、电子设备及介质，能够整合企业数据资产使用中的各个环节，从而系统性的一站式处理企业中的数据。

本申请实施例提供的一种数据处理方法，所述方法包括以下步骤：

获取多种类型的数据，并针对每种类型的数据，按照预设的数据治理规则进行数据治理，生成至少一个数据资产；

根据所述数据资产的属性，将所述数据资产和预先配置的、标准化的数据资产目录中的第一目标目录项相关联，并存储所述数据资产；其中，所述数据资产目录中的每一目录项对应一数据资产描述；

响应接收到针对目标数据资产的查询请求，将所述查询请求中携带的关键词和数据资产目录、数据资产描述做对比，确定所述查询请求对应的第二目标目录项，并根据所述关键词从所述第二目标目录项所关联的数据资产中，确定出目标数据资产；

响应接收到处理所述目标数据资产的处理请求，根据所述处理请求，从预先配置的数据处理工具中确定出目标数据第一处理规则，并根据所述目标数据第一处理规则对所述目标数据资产进行分析处理，得到数据处理结果。

在一些实施例中，所述的数据处理方法中，在获取多种类型的数据后，所述方法还包括以下步骤：

响应获取的数据中的目标数据满足数据应用条件，根据所述目标数据的属性，从预先配置的多种数据第二处理规则中，确定所述目标数据对应的目标数据第二处理规则；

根据所述目标数据对应的目标数据第二处理规则，对所述目标数据进行处理，得到应用数据源，并将所述应用数据源发送至客户端进行展示。

在一些实施例中，所述的数据处理方法中，响应接收到处理所述目标数据资产的处理请求，根据所述处理请求，从预先配置的数据处理工具中确定出目标数据第一处理规则，并根据所述目标数据第一处理规则对所述目标数据资产进行分析处理，得到数据处理结果；包括：

响应接收到客户端对预先配置的多种数据处理工具的第一选择操作，确定目标数据处理工具；

响应接收到客户端对目标数据处理工具中多种数据第一处理规则的第二选择操作，确定目标数据第一处理规则；

根据所述目标数据第一处理规则所述目标数据资产，得到数据处理结果，并将所述数据处理结果发送至客户端进行展示。

在一些实施例中，所述的数据处理方法中，所述预先配置的多种数据处理工具包括可视化处理工具和表格化处理工具；

当所述目标数据第一处理规则为可视化处理工具中的处理规则时，所述数据处理结果以可视化的形式进行展示；

当所述目标数据第一处理规则为表格化处理工具中的处理规则时，所述数据处理结果以表格化的形式进行展示。

在一些实施例中，所述的数据处理方法中，所述针对目标数据资产的查询请求，是通过以下方式生成的：

客户端的图形用户界面上展示一数据资产查询菜单和/或一搜索控件；其中，所述数据资产查询菜单是根据数据资产目录生成的；

响应对数据资产查询菜单中菜单项的第三选择操作和/或在搜索控件中输入的关键字，生成针对目标数据资产的查询请求。

在一些实施例中，所述的数据处理方法还包括：

接收到用户上传的个人数据；

响应接收到处理所述个人数据的处理请求，根据所述处理请求，从预先配置的数据处理工具中确定出目标数据第一处理规则，并根据所述目标数据第一处理规则对所述个人数据进行分析处理，得到所述个人数据的数据处理结果。

在一些实施例中，所述的数据处理方法还包括：

响应针对预先配置的组织架构中目标用户的第四选择操作，确定目标用户；

响应针对所述数据处理结果的分享操作，将所述数据处理结果发送至目标用户的客户端，以使目标用户共享所述数据处理结果。

在一些实施例中，还提供一种数据处理装置，所述装置包括：

获取模块，用于获取多种类型的数据，并针对每种类型的数据，按照预设的数据治理规则进行数据治理，生成至少一个数据资产；

关联模块，用于根据所述数据资产的属性，将所述数据资产和预先配置的、标准化的数据资产目录中的第一目标目录项相关联，并存储所述数据资产；其中，所述数据资产目录中的每一目录项对应一数据资产描述；

确定模块，用于响应接收到针对目标数据资产的查询请求，将所述查询请求中携带的关键词和数据资产目录、数据资产描述做对比，确定所述查询请求对应的第二目标目录项，并根据所述关键词从所述第二目标目录项所关联的数据资产中，确定出目标数据资产；

第一处理模块，用于响应接收到处理所述目标数据资产的处理请求，根据所述处理请求，从预先配置的数据处理工具中确定出目标数据第一处理规则，并根据所述目标数据第一处理规则对所述目标数据资产进行分析处理，得到数据处理结果。

在一些实施例中，还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行所述的数据处理方法的步骤。

在一些实施例中，还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行所述的数据处理方法的步骤。

本申请提供一种数据处理方法，能够自动获取企业业务中多种类型的数据，并通过数据治理将原始数据处理为可用的数据资产，并将所述数据资产和标准化的数据资产目录相关联，从而通过在客户端上输入关键字，即可通过数据资产目录和数据资产描述来锁定数据资产的范围，再根据关键字和数据资产的属性来直接检索到数据资产，并直接将检索到的数据资产导入数据处理工具当中进行处理，得到数据处理结果；这里，将数据获取、数据治理、数据集成、数据分析等各个环节全部打通，任意两个环节之间均无需用户编辑代码或导入导出数据，实现了数据一站式处理；更是无需将各个数据分别导入数据处理工具进行分析，而是直接通过关键字查询的方式快捷的调用待分析的数据，提高了数据处理的速度和便捷程度。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供的一种数据处理方法的方法流程图；

图2示出了本申请实施例提供的数据处理系统的应用场景示意图；

图3示出了本申请实施例提供的生成目标数据资产的查询请求的方法流程图；

图4示出了本申请实施例提供的另一种数据处理方法的方法流程图；

图5示出了本申请实施例提供的另一种数据处理方法的方法流程图；

图6示出了本申请实施例提供的一种数据处理装置的结构示意图；

图7示出了本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

企业中经常需要对数据进行各种分析，但是，现有的企业中，其数据集成与数据应用在技术上始终没有形成统一的技术架构；由于数据治理概念的长期缺失，企业数据资产的梳理、描述、分析处理、发布等各个环节，都分别使用一些独立的工具，如元数据管理工具，自助式BI开发工具等等，至今未形成系统性的平台或框架，缺乏系统性的处理方法。

其中，自助式BI开发工具是企业数据分析管理业务中一项常用的技术，BI，Business Intelligence，商务智能技术是本世纪初出现的一种历史较为悠久的IT技术。其核心就是通过接入数据源数据，进行简单处理后，以不同的展现形式，如报表、看板等，将数据中的规律、关系可视化。BI开发工具主要提供多种类型数据源连接、应用端数据处理、报表/仪表盘开发与发布等功能。自助式BI开发工具，则以工具自身提供的简洁、易用、低代码的方式，使不具备专业数据库和软件开发技能的普通业务人员也能够开发报表和仪表盘应用。但因为BI技术以前端数据可视化技术为核心，其前端工具属性更强。面对企业中复杂、丰富的多源异构数据，前端并不能直接获取，也就是说，在使用自助式BI开发工具分析数据时，通常需要在前端手动导入各类数据，然后调用自助式BI开发工具的规则进行数据处理。

而对企业中复杂、丰富的多源异构数据的整合，通常属于数据仓库技术应对的领域。但数据仓库技术的平台属性更强，在大数据技术广泛应用之前，数据仓库产品被少数平台型技术厂商垄断，如Oracle、SAP等，他们都以自身数据库、ERP等平台为基础，具有很强的封闭性。大数据技术被广泛应用后，数据仓库技术有被诸如数据湖、数据中台等新技术概念取代的趋势，和BI前端工具的技术紧密度更加疏远，无论是平台厂商还是BI工具厂商都没有形成统一技术框架的动力。

企业级的数据分析平台，其数据集成与数据应用在技术上始终没有形成统一的技术架构的另一个重要原因是此前数据治理概念的长期缺失。企业数据资产的梳理、描述、发布，直到近年来才出现一些相对独立的工具，如元数据管理工具，至今未形成系统性的平台或框架，因此，数据集成和分析应用的源头，技术上并不清晰和明确。市场上，除了企业自身，很少会有一家厂商对上述问题进行整体上的思考并提出解决方案，这就是始终未出现以数据资产为源头，统一数据集成和数据应用的技术架构的原因。

综上所述，自助式BI开发工具作为目前广泛使用的企业数据分析工具，仅仅从前端开发工具层面，帮助用户快速开发报表和仪表盘，但无法作为整个企业数据集成与应用的开发环境和解决方案。在实际企业数据利用的需求中，往往首先需要通过数据治理，形成企业数据资产列表；又需要进行一定的数据处理、数据集成，才能够进行有效的数据利用和数据应用开发；最后，企业级的解决方案，还需要提供一个持久层模块，以解决数据录入的保存、数据应用开发后的发布和共享以及个人数据资产的维护，自助式BI开发工具远不能实现这些功能。

基于此，本申请提供一种数据处理方法，能够自动获取企业业务中多种类型的数据，并通过数据治理将原始数据处理为可用的数据资产，并将所述数据资产和标准化的数据资产目录相关联，从而通过在客户端上输入关键字，即可通过数据资产目录和数据资产描述来锁定数据资产的范围，再根据关键字和数据资产的属性来直接检索到数据资产，并直接将检索到的数据资产导入数据处理工具当中进行处理，得到数据处理结果；这里，将数据获取、数据治理、数据集成、数据分析等各个环节全部打通，任意两个环节之间均无需用户编辑代码或导入导出数据，实现了数据一站式处理；更是无需将各个数据分别导入数据处理工具进行分析，而是直接通过关键字查询的方式快捷的调用待分析的数据，提高了数据处理的速度和便捷程度。

请参照图1，本申请实施例提供一种数据处理方法，具体的，所述方法包括以下步骤S101-S104：

S101、获取多种类型的数据，并针对每种类型的数据，按照预设的数据治理规则进行数据治理，生成至少一个数据资产；

S102、根据所述数据资产的属性，将所述数据资产和预先配置的、标准化的数据资产目录中的第一目标目录项相关联，并存储所述数据资产；其中，所述数据资产目录中的每一目录项对应一数据资产描述；

S103、响应接收到针对目标数据资产的查询请求，将所述查询请求中携带的关键词和数据资产目录、数据资产描述做对比，确定所述查询请求对应的第二目标目录项，并根据所述关键词从所述第二目标目录项所关联的数据资产中，确定出目标数据资产；

S104、响应接收到处理所述目标数据资产的处理请求，根据所述处理请求，从预先配置的数据处理工具中确定出目标数据第一处理规则，并根据所述目标数据第一处理规则对所述目标数据资产进行分析处理，得到数据处理结果。

本申请实施例所述的数据处理方法，应用于一种数据处理系统，图2给出了所述数据处理系统的应用场景示意图。

所述数据处理系统包括数据源、采集和传输模块、数据治理模块、数据湖、开发和计算模块、开发和计算、应用和服务模块。

所述步骤S101中，所述多种类型的数据，包括：非结构化数据，例如图像数据和视频数据等；半结构化数据，例如文档数据、日志数据、网页数据等；专业工程数据，例如时序数据、三维数模数据等；结构化源数据，例如信息系统的数据。

本申请实施例中，所述获取多种类型的数据，具体的，通过数据底层的传输通路从目标数据库中直接批量获取数据，而无需企业的各个业务系统开放数据接口。

生成数据资产时，生成该数据资产的数据接口，以使应用和服务模块中的各个应用或服务共享该数据资产。

在所述步骤S102中，根据所述数据资产的属性，将所述数据资产和预先配置的、标准化的数据资产目录中的第一目标目录项相关联，并存储所述数据资产；其中，所述数据资产目录中的每一目录项对应一数据资产描述。

这里，所述标准化的数据资产目录是根据实际业务情况来确定的。所述数据资产目录中包括一些有分析价值、使用价值的数据。以飞机业务为例：飞机发动机温度数据、飞机速度数据等数据能够反映飞机情况，工程师也需要对飞机发动机温度数据、飞机速度数据进行分析，以判断飞机是否安全等等，因此，飞机发动机温度、飞机速度即可作为数据资产目录中的一项。

因此，所述数据资产目录，表征了数据资产的类别，通过将生成的数据资产和数据资产目录中的第一目标目录项相关联，确定了该数据资产的类别，然后存储数据，数据入湖，便于后期查询、使用该数据资产。

当生成数据资产后，根据所述数据资产的属性，即可判断该数据资产所属的第一目标目录项。例如，当所述数据资产为6月2日的飞机发动机数据时，则该数据资产属于飞机发动机温度这一目录项，将该资产数据与飞机发动机温度这一目录项相关联。

本申请实施例中，请参照图2，将数据资产存入所述数据湖；所述数据湖融合了大数据技术和传统数据仓库技术，通过数据“采集与传输”模块，实现了数据湖中的数据与企业信息系统数据以及其他数据资源的同步，并提供保存和管理企业数据应用模型的功能。

在所述步骤S103、响应接收到针对目标数据资产的查询请求，将所述查询请求中携带的关键词和数据资产目录、数据资产描述做对比，确定所述查询请求对应的第二目标目录项，并根据所述关键词从所述第二目标目录项所关联的数据资产中，确定出目标数据资产。

如图3所示，本申请实施例中，所述针对目标数据资产的查询请求，是通过以下方式生成的：

S301、客户端的图形用户界面上展示一数据资产查询菜单和/或一搜索控件；其中，所述数据资产查询菜单是根据数据资产目录生成的；

S302、响应对数据资产查询菜单中菜单项的第三选择操作和/或在搜索控件中输入的关键字，生成针对目标数据资产的查询请求。

所述的第二选择操作可以为点击、触控、长按、短按等。

请参照图2，这里所述的客户端的图形用户界面上展示一数据资产查询菜单和/或一搜索控件；即为所述数据处理系统中的企业搜索控件、数据导航控件。

当用户需要使用某数据资产时，可以通过在搜索控件中输入关键字，从而在数据湖中检索目标数据资产；当根据关键字检索目标数据资产时，可能会有多个检索结果，用户通过对检索结果的选择操作，来确定出目标数据资产。

所述资产查询菜单，即数据查询导航，通过预设的菜单项，来缩小检索范围。例如：所述资产查询菜单包括：飞机温度数据按钮、飞机速度数据按钮、舱内气压数据按钮；用户通过点击所述飞机温度数据按钮，检索飞机温度数据；这里，可以直接按照预设展示规则将多个飞机温度数据进行展示，再通过用户对目标飞机温度数据的选择操作，来确定出目标飞机温度数据；也可以再选中飞机温度数据按钮后，再在搜索控件中输入关键字，例如：飞机编号+时间，检索出目标飞机温度数据。

本申请实施例中，所述数据资产查询菜单是根据数据资产目录生成的；在一些优选的方案中，所述数据资产查询菜单的菜单项的排布可以根据数据资产目录中各个目录项的历史使用数据确定；例如，用户频繁使用的菜单项，展示在显眼的位置。

所述数据资产查询菜单的菜单项，可以根据数据资产目录中各个目录项的历史使用数据进行增加、删除、替换等修改。例如，菜单项A用户长时间不用，而资产目录中的目录项B则经常被用户搜索，则可将所述目录项B添加为菜单项，而菜单项A则进行删除。

在所述步骤S104中，响应接收到处理所述目标数据资产的处理请求，根据所述处理请求，从预先配置的数据处理工具中确定出目标数据第一处理规则，并根据所述目标数据第一处理规则对所述目标数据资产进行分析处理，得到数据处理结果，具体包括：

响应接收到客户端对预先配置的多种数据处理工具的第一选择操作，确定目标数据处理工具；

响应接收到客户端对目标数据处理工具中多种数据第一处理规则的第二选择操作，确定目标数据第一处理规则；

根据所述目标数据第一处理规则所述目标数据资产，得到数据处理结果，并将所述数据处理结果发送至客户端进行展示。

本申请实施例中，所述的第一选择操作可以为点击、触控、长按、短按等。所述的第二选择操作可以为点击、触控、长按、短按等。

这里，所述预先配置的多种数据处理工具至少包括可视化处理工具和表格化处理工具。所述可视化处理工具为自助式BI开发工具。所述表格化处理工具中的数据第一处理规则具体包括数据表字段的增加、删除，字段的计算，数据的编辑，字段内的聚合计算(例如通过常用统计函数进行聚合计算)，数据表格根据指定字段的整合，数据表格httpservice形式的发布。

当所述目标数据第一处理规则为可视化处理工具中的处理规则时，所述数据处理结果以可视化的形式进行展示。

当所述目标数据第一处理规则为表格化处理工具中的处理规则时，所述数据处理结果以表格化的形式进行展示。

换句话说，当所述目标数据第一处理规则为可视化处理工具中的处理规则时，所述数据处理结果为可视化的数据处理结果。

当所述目标数据第一处理规则为表格化处理工具中的处理规则时，所述数据处理结果为表格化的数据处理结果。

请参照图2，所述数据处理工具也可以称之为应用服务。

在所述用户客户端的图形用户界面上，展示应用服务控件，所述应用服务控件包括多种数据处理工具；当用户查询到目标数据资产后，可以直接通过所述数据处理系统内置的数据处理工具，对数据进行分析处理，得到数据处理结果并进行发布。

示例性的，用户在查询得到目标数据资产，点击自助式BI开发工具，进入自助式开发界面，所述自助式开发界面上展示有多种数据第一处理规则，用户点击目标数据第一处理规则，以确定目标数据第一处理规则。

本申请实施例中，通过应用服务控件，用户可获得两大类型的服务。其一是选择需要的数据资产后，将其以数据表格的形式发布，并直接利用平台内置的自助式BI开发工具，进行在线的自助式报表、看板等数据应用的设计与开发。其二是可利用平台内置的表格化处理工具，在线进行简单的数据处理、数据集成的操作，处理的结果可以以数据表格的形式发布。用户既可以进一步调用自助式BI模块进行数据应用开发，也可以“一键”生成该数据表格的httpservice形式的数据接口(无需在平台侧写接口代码)，在自己的应用侧获取这一数据，从而实现了无需写任何代码，无需导入数据，就能实现基本的数据处理、集成、可视化的操作。

本申请实施例中，根据权利要求1所述的数据处理方法中，在获取多种类型的数据后，如图4所示，所述方法还包括以下步骤：

S401、响应获取的数据中的目标数据满足数据应用条件，根据所述目标数据的属性，从预先配置的多种数据第二处理规则中，确定所述目标数据对应的目标数据第二处理规则；

S402、根据所述目标数据对应的目标数据第二处理规则，对所述目标数据进行处理，得到应用数据源，并将所述应用数据源发送至客户端进行展示。

所述步骤S401中，所述目标数据满足数据应用条件，即所述目标数据为一些特定的数据，或者所述接收到客户端发送到针对目标数据的处理请求。

请参照图2，“开发与计算”模块是引入大数据计算技术，包括批量计算和流式计算，分别对应大规模计算和实时计算两类不同的大数据应用场景，计算结果作为一种数据源形式，通过“应用服务”模块向用户发布。

由于用户对于某些数据有特定需求，比如实时性需求、特定分析需求，对于获取的数据中的目标数据，进行分析处理，并将目标数据的分析处理结果直接发送至客户端的图形用户界面上进行展示。

示例性的，企业内部每天都需要对企业中每个部门当天产生的文档数量进行统计，则所述“开发与计算”模块可以统计每个部门每天产生的数量，并统计结果发送到客户端进行展示。

本申请实施例所提供的数据处理方法，还包括：

接收到用户上传的个人数据；

响应接收到处理所述个人数据的处理请求，根据所述处理请求，从预先配置的数据处理工具中确定出目标数据第一处理规则，并根据所述目标数据第一处理规则对所述个人数据进行分析处理，得到所述个人数据的数据处理结果。

也就是说，“应用服务”模块还支持个人数据的上传，上传的数据可以用可视化处理工具进行分析处理，得到可视化的处理结果；也可以采用表格化处理工具以数据表格形式管理或与其他数据资产集成。

在一些实施例中，可以监测用户上传的个人数据，并根据所述个人数据修改数据资产目录。

也就是说，如果用户经常需要对某些个人数据进行分析，则说明该项个人数据有一定价值，若该项个人数据符合数据资产的标准，则将之添加至数据资产目录中，以便于自动获取以及一键式分析处理。

如图5所示，在一些实施例中，所述的数据处理方法还包括：

S501、响应针对预先配置的组织架构中目标用户的第四选择操作，确定目标用户；

S502、响应针对所述数据处理结果的分享操作，将所述数据处理结果发送至目标用户的客户端，以使目标用户共享所述数据处理结果。

所述第四选择操作可以为点击、触控、长按、短按等。

当某一用户对某一数据资产进行分析，得到数据处理结果后，可以将该数据处理结果共享给目标用户，例如同组用户，从而可以实现结果共享，有利于分工合作，避免重复工作。

示例性的，在所述客户端的图形用户界面上，还展示有预先配置的组织架构，用户选择组织架构中目标用户，并向目标用户共享该数据处理结果。

在本申请实施例所述数据处理系统的架构上，进一步将业务需求转化或细化为应用功能需求和数据流向以及数据对象的识别，进行功能模块的划分，形成应用架构和数据架构。在此基础上，对整个项目进行整体技术框架的选型，并最终将每一功能模块或功能组件落实到具体的技术工具、框架、服务组件上。

具体的，本申请实施例所述数据处理系统的部分工具，例如采集和传输模块的消息中间件，开发和计算模块的算法引擎等采用开源技术框架。均将采用在该领域的主流开源软件框架。

请参照图6，本申请实施例还提供一种数据处理装置，所述装置包括：

获取模块601，用于获取多种类型的数据，并针对每种类型的数据，按照预设的数据治理规则进行数据治理，生成至少一个数据资产；

关联模块602，用于根据所述数据资产的属性，将所述数据资产和预先配置的、标准化的数据资产目录中的第一目标目录项相关联，并存储所述数据资产；其中，所述数据资产目录中的每一目录项对应一数据资产描述；

确定模块603，用于响应接收到针对目标数据资产的查询请求，将所述查询请求中携带的关键词和数据资产目录、数据资产描述做对比，确定所述查询请求对应的第二目标目录项，并根据所述关键词从所述第二目标目录项所关联的数据资产中，确定出目标数据资产；

第一处理模块604，用于响应接收到处理所述目标数据资产的处理请求，根据所述处理请求，从预先配置的数据处理工具中确定出目标数据第一处理规则，并根据所述目标数据第一处理规则对所述目标数据资产进行分析处理，得到数据处理结果。

本申请提供一种数据处理装置，能够自动获取企业业务中多种类型的数据，并通过数据治理将原始数据处理为可用的数据资产，并将所述数据资产和标准化的数据资产目录相关联，从而通过在客户端上输入关键字，即可通过数据资产目录和数据资产描述来锁定数据资产的范围，再根据关键字和数据资产的属性来直接检索到数据资产，并直接将检索到的数据资产导入数据处理工具当中进行处理，得到数据处理结果；这里，将数据获取、数据治理、数据集成、数据分析等各个环节全部打通，任意两个环节之间均无需用户编辑代码或导入导出数据，实现了数据一站式处理；更是无需将各个数据分别导入数据处理工具进行分析，而是直接通过关键字查询的方式快捷的调用待分析的数据，提高了数据处理的速度和便捷程度。

在一些实施例中，所述数据处理装置还包括第二处理模块，所述第二处理模块，用于在获取多种类型的数据后，响应获取的数据中的目标数据满足数据应用条件，根据所述目标数据的属性，从预先配置的多种数据第二处理规则中，确定所述目标数据对应的目标数据第二处理规则；

根据所述目标数据对应的目标数据第二处理规则，对所述目标数据进行处理，得到应用数据源，并将所述应用数据源发送至客户端进行展示。

在一些实施例中，所述数据处理装置中的第一处理模块，在响应接收到处理所述目标数据资产的处理请求，根据所述处理请求，从预先配置的数据处理工具中确定出目标数据第一处理规则，并根据所述目标数据第一处理规则对所述目标数据资产进行分析处理，得到数据处理结果时，具体用于：

响应接收到客户端对预先配置的多种数据处理工具的第一选择操作，确定目标数据处理工具；

响应接收到客户端对目标数据处理工具中多种数据第一处理规则的第二选择操作，确定目标数据第一处理规则；

根据所述目标数据第一处理规则所述目标数据资产，得到数据处理结果，并将所述数据处理结果发送至客户端进行展示。

在一些实施例中，所述数据处理装置中，所述预先配置的多种数据处理工具包括可视化处理工具和表格化处理工具；

当所述目标数据第一处理规则为可视化处理工具中的处理规则时，所述数据处理结果以可视化的形式进行展示；

当所述目标数据第一处理规则为表格化处理工具中的处理规则时，所述数据处理结果以表格化的形式进行展示。

在一些实施例中，所述数据处理装置中，所述针对目标数据资产的查询请求，是通过以下模块生成的：

展示模块，用于在客户端的图形用户界面上展示一数据资产查询菜单和/或一搜索控件；其中，所述数据资产查询菜单是根据数据资产目录生成的；

生成模块，用于响应对数据资产查询菜单中菜单项的第三选择操作和/或在搜索控件中输入的关键字，生成针对目标数据资产的查询请求。

在一些实施例中，所述数据处理装置中还包括：

接收模块，用于接收到用户上传的个人数据；

第三处理模块，用于响应接收到处理所述个人数据的处理请求，根据所述处理请求，从预先配置的数据处理工具中确定出目标数据第一处理规则，并根据所述目标数据第一处理规则对所述个人数据进行分析处理，得到所述个人数据的数据处理结果。

在一些实施例中，所述数据处理装置中还包括：

分享模块，用于响应针对预先配置的组织架构中目标用户的第四选择操作，确定目标用户；

响应针对所述数据处理结果的分享操作，将所述数据处理结果发送至目标用户的客户端，以使目标用户共享所述数据处理结果。

在一些实施例中，如图7所示，还提供一种电子设备700，包括：处理器702、存储器701和总线，所述存储器701存储有所述处理器702可执行的机器可读指令，当电子设备700运行时，所述处理器702与所述存储器701之间通过总线通信，所述机器可读指令被所述处理器702执行时执行所述的数据处理方法的步骤。

在一些实施例中，还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行所述的数据处理方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，平台服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括以下步骤：

获取多种类型的数据，并针对每种类型的数据，按照预设的数据治理规则进行数据治理，生成至少一个数据资产；

根据所述数据资产的属性，将所述数据资产和预先配置的、标准化的数据资产目录中的第一目标目录项相关联，并存储所述数据资产；其中，所述数据资产目录中的每一目录项对应一数据资产描述；

响应接收到针对目标数据资产的查询请求，将所述查询请求中携带的关键词和数据资产目录、数据资产描述做对比，确定所述查询请求对应的第二目标目录项，并根据所述关键词从所述第二目标目录项所关联的数据资产中，确定出目标数据资产；

响应接收到处理所述目标数据资产的处理请求，根据所述处理请求，从预先配置的数据处理工具中确定出目标数据第一处理规则，并根据所述目标数据第一处理规则对所述目标数据资产进行分析处理，得到数据处理结果。

2.根据权利要求1所述的数据处理方法，其特征在于，所述方法包括以下步骤：在获取多种类型的数据后，所述方法还包括以下步骤：

响应获取的数据中的目标数据满足数据应用条件，根据所述目标数据的属性，从预先配置的多种数据第二处理规则中，确定所述目标数据对应的目标数据第二处理规则；

根据所述目标数据对应的目标数据第二处理规则，对所述目标数据进行处理，得到应用数据源，并将所述应用数据源发送至客户端进行展示。

3.根据权利要求1所述的数据处理方法，其特征在于，响应接收到处理所述目标数据资产的处理请求，根据所述处理请求，从预先配置的数据处理工具中确定出目标数据第一处理规则，并根据所述目标数据第一处理规则对所述目标数据资产进行分析处理，得到数据处理结果；包括：

响应接收到客户端对预先配置的多种数据处理工具的第一选择操作，确定目标数据处理工具；

响应接收到客户端对目标数据处理工具中多种数据第一处理规则的第二选择操作，确定目标数据第一处理规则；

根据所述目标数据第一处理规则所述目标数据资产，得到数据处理结果，并将所述数据处理结果发送至客户端进行展示。

4.根据权利要求3所述的数据处理方法，其特征在于，所述预先配置的多种数据处理工具包括可视化处理工具和表格化处理工具；

当所述目标数据第一处理规则为可视化处理工具中的处理规则时，所述数据处理结果以可视化的形式进行展示；

当所述目标数据第一处理规则为表格化处理工具中的处理规则时，所述数据处理结果以表格化的形式进行展示。

5.根据权利要求1所述的数据处理方法，其特征在于，所述针对目标数据资产的查询请求，是通过以下方式生成的：

客户端的图形用户界面上展示一数据资产查询菜单和/或一搜索控件；其中，所述数据资产查询菜单是根据数据资产目录生成的；

响应对数据资产查询菜单中菜单项的第三选择操作和/或在搜索控件中输入的关键字，生成针对目标数据资产的查询请求。

6.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：

接收到用户上传的个人数据；

响应接收到处理所述个人数据的处理请求，根据所述处理请求，从预先配置的数据处理工具中确定出目标数据第一处理规则，并根据所述目标数据第一处理规则对所述个人数据进行分析处理，得到所述个人数据的数据处理结果。

7.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：

响应针对预先配置的组织架构中目标用户的第四选择操作，确定目标用户；

响应针对所述数据处理结果的分享操作，将所述数据处理结果发送至目标用户的客户端，以使目标用户共享所述数据处理结果。

8.一种数据处理装置，其特征在于，所述装置包括：

获取模块，用于获取多种类型的数据，并针对每种类型的数据，按照预设的数据治理规则进行数据治理，生成至少一个数据资产；

关联模块，用于根据所述数据资产的属性，将所述数据资产和预先配置的、标准化的数据资产目录中的第一目标目录项相关联，并存储所述数据资产；其中，所述数据资产目录中的每一目录项对应一数据资产描述；

确定模块，用于响应接收到针对目标数据资产的查询请求，将所述查询请求中携带的关键词和数据资产目录、数据资产描述做对比，确定所述查询请求对应的第二目标目录项，并根据所述关键词从所述第二目标目录项所关联的数据资产中，确定出目标数据资产；

第一处理模块，用于响应接收到处理所述目标数据资产的处理请求，根据所述处理请求，从预先配置的数据处理工具中确定出目标数据第一处理规则，并根据所述目标数据第一处理规则对所述目标数据资产进行分析处理，得到数据处理结果。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任意一项所述的数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任意一项所述的数据处理方法的步骤。

Images