CN117891895A - 一种在数据中台内管理非结构化数据的方法、系统与设备 - Google Patents

Abstract

本发明公开了一种在数据中台内管理非结构化数据的方法、系统与设备，涉及非结构化数据管理技术领域，包括步骤：使用存储协议网关提供非结构化数据的访问协议，将接收的非结构化数据及元数据更新到对象内容存储集群并更新对象元数据库，完成非结构化数据和元数据的处理，将操作描述信息发送到消息队列，把消息传递到对象索引引擎，通过对象索引引擎以操作描述信息中各个字段为关键字，以倒排表的形式存储索引信息；通过数据中台从对象索引引擎中批量检索操作描述信息，且将接收的非结构化数据以数据服务形式对外共享。本发明通过实现非结构化数据的一体化管理，可以有效地解决非结构化数据管理、共享中的技术难题。

Description

一种在数据中台内管理非结构化数据的方法、系统与设备

技术领域

本发明涉及非结构化数据管理技术领域，特别涉及一种在数据中台内管理非结构化数据的方法、系统与设备。

背景技术

随着大数据时代的到来，数据已经成为企业的重要资产，其中非结构化数据包含了文本、图像、声音、影视、超媒体等典型信息，在企业的信息内容形式中占据了很大比例。对于非结构化数据管理一直是一个技术难题，非结构化数据的存储处理和管理都是分离的，无法形成一体化的企业数据资产管理，因此，需要一种新的方法来打通非结构数据“存、算、管、用”的通道来实现数据资产的管理和使用。

现有技术在管理非结构化数据方面存在以下缺点：数据处理效率低下：由于非结构化数据的复杂性和多样性，传统的数据处理方法往往需要耗费大量时间和计算资产，无法满足实时数据处理的需求。数据管理困难：由于非结构化数据的无序性和不规则性，传统的数据管理方法难以对数据进行有效的组织和检索，使得数据的查询和共享使用变得十分困难。

发明内容

本发明的目的在于针对上述现有技术的不足，提供一种在数据中台内管理非结构化数据的方法、系统与设备，以解决现有技术中传统的数据管理方法难以对数据进行有效的组织和检索，使得数据的查询和共享使用变得十分困难的问题。

本发明具体提供如下技术方案：一种在数据中台内管理非结构化数据的方法，包括如下步骤：

使用存储协议网关提供非结构化数据的访问协议，接收非结构化数据及元数据，并将所述非结构化数据及元数据更新到对象内容存储集群或更新对象元数据库；并将存储协议网关完成文件内容和元数据更新的操作描述信息发送到消息队列；所述元数据为读取或写入操作相应的数据；

以异步的方式将消息队列中的操作描述信息传递到对象索引引擎；

利用对象索引引擎以操作描述信息中各个字段为关键字，并以倒排表的形式存储由关键字构成的索引信息；

利用数据中台从对象索引引擎中批量检索索引信息，根据检索的内容形成对象元数据宽表，并将所述对象元数据宽表保存到数据仓库集群，且通过数据中台将数据仓库集群中的数据以数据服务形式对外共享。

优选的，访问协议包括NFS/CIFS、S3协议；通过外部应用在操作系统上将NFS/CIFS的挂载点直接挂载到本地文件系统；或直接使用S3的对象存储协议进行访问。

优选的，使用所述对象内容存储集群优选分布式对象存储集群，所述分布式对象存储集群包括分布式文件系统或传统的NAS系统。

优选的，所述根据检索的内容形成对象元数据宽表，包括如下步骤：

将对象索引引擎中的索引信息和对象的客户化元数据字段，作为宽表的字段，创建一张宽表；

将对象索引引擎中的索引信息和对象的客户化元数据字段的内容，作为宽表对应字段内容，保存到宽表中；

所述对象索引引擎还包含了对象的客户化元数据字段，根据对象的客户化元数据信息，检索出相应的操作描述信息。

优选的，所述通过数据中台将数据仓库集群中的数据以数据服务形式对外共享，包括如下步骤：

使用数据中台系统对对象内容存储集群中的数据进行标准化治理；

对非结构化数据进行加工处理，形成统一的非结构化数据资产多维度检索门户；

将非结构化数据以数据服务形式对外共享。

优选的，所述使用数据中台系统对对象内容存储集群中的数据进行标准化治理，包括检查非结构化数据的完整性、准确性、一致性、及时性、有效性、唯一性、编码规范性；具体包括如下步骤：

分别定义完整性、准确性、一致性、及时性、有效性、唯一性、编码规范性的检查规则，每一检查规则包含规则名称、SQL语句；

在对象内容存储集群执行每一检查规则定义的SQL语句，将SQL语句执行的结果作为检查的结果信息保存到统一的结果信息表；

将结果信息表数据作为检查发现的问题；

对发现的问题进行人工整改，完成整改后，完成标准化治理。

优选的，所述对非结构化数据进行加工处理，形成统一的非结构化数据资产多维度检索门户，包括如下步骤：

数据中台对对象内容存储集群中的非结构化数据进行操作；

所述操作包括对数据进行格式转换、计算、清洗操作；所述格式转换是指编码格式转换、日期格式转换、时间格式转换、数据类型转换；所述计算是指对数据进行求和、求差、求平均值运算；所述清洗是指对缺失值、空格、特殊字符、不必要数据进行处理；

将操作结果保存到对象内容存储集群；

将对象内容存储集群存储的对象元数据宽表数据作为非结构化数据的数据资产信息；

将数据资产信息通过页面以列表方式显示，将该页面作为查询非结构化数据资产信息的数据门户，进行资产查询；

数据门户提供多种检索方式，包括关键词检索、范围检索、业务属性字段检索；

所述关键字检索为根据数据门户页面输入的查询关键字，在数据仓库集群中查询满足条件的数据并返回页面显示；所述范围检索为在数据门户页面输入查询的数据的范围，如时间范围、数值范围，在数据仓库集群中查询满足范围条件的数据并返回页面显示；所述业务属性字段检索为在数据门户页面选择具体业务字段，输入该业务字段对应的查询内容，在数据仓库集群中查询相应数据并返回页面显示。

优选的，所述将非结构化数据以数据服务形式对外共享，包括如下步骤：

通过所述数据资产多维度检索门户检索非结构化数据资产；

选择检索出的一条数据资产信息，通过数据服务共享接口获取该数据资产的具体非结构化数据内容，进行非结构化数据共享；

其中，所述数据服务共享接口是数据中台提供的，用于根据资产信息到对象内容存储集群中查询对应资产具体数据内容的服务接口。

优选的，本发明还提供一种在数据中台内管理非结构化数据的系统，包括：

更新模块，用于使用存储协议网关提供非结构化数据的访问协议，接收非结构化数据及元数据，并将所述非结构化数据及元数据更新到对象内容存储集群或更新对象元数据库；并将存储协议网关完成文件内容和元数据更新的操作描述信息发送到消息队列；所述元数据为读取或写入操作相应的数据；

消息传递模块，用于以异步的方式将消息队列中的操作描述信息传递到对象索引引擎；

存储模块，用于利用对象索引引擎以操作描述信息中各个字段为关键字，并以倒排表的形式存储由关键字构成的索引信息；

数据管理模块，用于利用数据中台从对象索引引擎中批量检索索引信息，根据检索的内容形成对象元数据宽表，并将所述对象元数据宽表保存到数据仓库集群，且通过数据中台将数据仓库集群中的数据以数据服务形式对外共享。优选的，本发明提供一种电子设备，包括存储器，以及耦合到所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行所述一种在数据中台内管理非结构化数据的方法。

与现有技术相比，本发明具有如下显著优点：

本发明提供一种在数据中台内管理非结构化数据的方法，以存储不同非结构化数据的访问协议，对接收内容进行更新，并将操作信息发送至消息队列，以提高数据处理效率，保障数据性，同时以异步的方式将消息队列发送至对象搜索引擎，并进行倒排表后发送至数据中台进行检索，方便对数据进行管理和查询及共享，通过实现非结构化数据的一体化管理，可以有效地解决非结构化数据处理中的技术难题，提高数据处理效率，同时保障数据的完整性。

附图说明

图1是本发明提供的系统结构图；

图2是本发明提供的用golang语言表达的操作描述信息；

图3是本发明提供的数据中台对非结构化数据的管理图。

具体实施方式

下面结合本发明中的附图，对本发明实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

参考图1，本发明提供一种在数据中台内管理非结构化数据的方法、系统与设备，包括以下功能组件：存储协议网关、对象内容存储集群、对象元数据库、消息队列、对象索引引擎、数据仓库集群、数据中台系统。本发明的实施例提供一种在数据中台内管理非结构化数据的方法，包括如下步骤：

步骤S1：使用存储协议网关提供非结构化数据的访问协议，接收包括非结构化数据和/或元数据，并将非结构化数据和/或元数据更新到对象内容存储集群或更新对象元数据库；并将存储协议网关完成文件内容和元数据更新的操作描述信息发送到消息队列。元数据为读取或写入操作相应的数据。

具体为：图1是本发明的系统结构图。存储协议网关101提供非结构化数据的访问协议，包括NFS/CIFS、S3协议等。外部应用可以在操作系统上把本发明提供的NFS/CIFS挂载点直接挂载到本地文件系统上，也可以用S3对象存储协议访问。这样，外部应用就可以随时读取、写入各类非结构化数据文件的文件内容，以及操作（读取或写入）相应的元数据。

存储协议网关101在接收到文件内容或元数据后，把文件内容写入或更新到对象内容存储集群107中，并更新对象元数据库104。对象内容存储集群107优选分布式对象存储集群，可选地，也可以是分布式文件系统或传统的NAS系统等。

其中，将存储协议网关完成文件内容和元数据更新的操作描述信息发送到消息队列，具体为：

存储协议网关101在完成文件内容和元数据的处理后，把本次操作的操作描述信息发送到消息队列102中。可选的，操作描述信息可以以JSON格式传递；也可以选择其他编码格式，如protobuf等。图2是用go语言表达的操作描述信息。

如图2所示，在操作描述信息中，包含了操作信息（ActionName），系统元数据、存储信息（StorageID/RegionID）等。

步骤S2：以异步的方式将消息队列中的操作描述信息从源端传递到对象索引引擎。

具体为：消息队列102负责缓存和转发操作描述信息。消息队列102可采用常见的Kafka，RabbitMQ等开源消息队列系统。以异步的方式，把消息从源端传递到目标端。在本发明中，目标端包含两个：对象索引引擎105和数据中台103。

步骤S3：利用对象索引引擎以操作描述信息中各个字段为关键字，并以倒排表的形式存储由关键字构成的索引信息。

具体为：对象索引引擎105可采用常见的ElasticSearch等开源搜索引擎系统。对象索引引擎以操作描述信息中各个字段为关键字，以倒排表的形式存储索引信息。因此，可以以操作描述信息中的各个字段为关键字，快速检索相应的操作描述信息。

对象索引引擎105中除容纳了操作描述信息的各个字段之外，还包含了对象的客户化元数据字段。因此，可以根据对象的客户化元数据信息（如制造业的零件质检图片，其客户化元数据信息包含了流水线号、零件的BOM编号等业务属性信息，也能检索出相应的操作描述信息来。）

步骤S4：利用数据中台从对象索引引擎中批量检索索引信息，根据检索的内容形成对象元数据宽表，并将对象元数据宽表保存到数据仓库集群，且通过数据中台将数据仓库集群中的数据以数据服务形式对外共享。

具体为：数据中台103系统，从对象索引引擎105中批量检索操作描述信息，对同一个对象的写操作，更新元数据操作进行聚合，把一个对象的全部元数据字段聚合到一行上，形成对象元数据的宽表。把宽表保存到数据仓库集群106中。

数据中台103系统，对对象内容存储集群107中的数据进行标准化治理，同时可以对非结构化数据进行加工处理，并形成统一的非结构化数据资产多维度检索门户，将非结构化数据以数据服务形式对外共享。

数据中台103系统对非结构化数据的管理具体如图3所示；非结构化数据标准化治理301，包括定义完整性、准确性、一致性、及时性、有效性、唯一性、编码规范性等检查规则，每一检查规则包含规则名称、SQL语句；分别在对象内容存储集群执行每一检查规则定义的SQL语句，将SQL语句执行的结果作为检查的结果信息保存到统一的结果信息表，将结果信息表数据作为检查发现的问题，对发现的问题进行人工整改，完成整改后，完成标准化治理。非结构化数据加工处理302，是对非结构化数据进行格式转换、计算、清洗等操作等。非结构化数据资产门户303，是指将数据仓库集群存储的对象元数据宽表的数据内容作为非结构化数据的数据资产信息，将数据资产信息通过页面以列表方式显示，该页面作为查询非结构化数据资产信息的数据门户，供资产查询时使用，方便使用者快速查找数据资产。非结构化数据查询共享304，是指在对象内容存储集群中存储的非结构化数据可以通过数据资产门户查询检索，同时提供多种查询方式，如关键词查询、范围查询、业务属性字段查询等，用户选择检索出的一条数据资产信息，通过数据服务共享接口从内容存储集群中查询对应资产具体数据内容，通过调用数据服务共享接口获取非结构化数据，达到非结构化数据共享的目的。

基于以上方法和陈述内容，本发明提供一种在数据中台内管理非结构化数据的系统，包括：更新模块、消息传递模块、存储模块与数据管理模块。

其中，更新模块用于使用存储协议网关提供非结构化数据的访问协议，接收包括非结构化数据的文件内容或元数据，并将文件内容或元数据更新到对象内容存储集群或更新对象元数据库；并将存储协议网关完成文件内容和元数据更新的操作描述信息发送到消息队列；消息传递模块用于以异步的方式将消息队列中的操作描述信息传递到对象索引引擎；存储模块用于利用对象索引引擎以操作描述信息中各个字段为关键字，并以倒排表的形式存储由关键字构成的索引信息；数据管理模块用于利用数据中台从对象索引引擎中批量检索索引信息，根据检索的内容形成对象元数据宽表，并将对象元数据宽表保存到数据仓库集群，且通过数据中台将数据仓库集群中的数据以数据服务形式对外共享。

本发明还提供一种电子设备，包括存储器，以及耦合到存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行一种在数据中台内管理非结构化数据的方法。

以上内容是结合具体优选实施方式对本发明做进一步详细说明，对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种在数据中台内管理非结构化数据的方法，其特征在于，包括如下步骤：

使用存储协议网关提供非结构化数据的访问协议，接收非结构化数据及元数据，并将所述非结构化数据及元数据更新到对象内容存储集群或更新对象元数据库；并将存储协议网关完成文件内容和元数据更新的操作描述信息发送到消息队列；所述元数据为读取或写入操作相应的数据；

以异步的方式将消息队列中的操作描述信息传递到对象索引引擎；

利用对象索引引擎以操作描述信息中各个字段为关键字，并以倒排表的形式存储由关键字构成的索引信息；

利用数据中台从对象索引引擎中批量检索索引信息，根据检索的内容形成对象元数据宽表，并将所述对象元数据宽表保存到数据仓库集群，且通过数据中台将数据仓库集群中的数据以数据服务形式对外共享。

2.如权利要求1所述的一种在数据中台内管理非结构化数据的方法，其特征在于，所述访问协议包括NFS/CIFS、S3协议；通过外部应用在操作系统上将NFS/CIFS的挂载点直接挂载到本地文件系统；或直接使用S3的对象存储协议进行访问。

3.如权利要求1所述的一种在数据中台内管理非结构化数据的方法，其特征在于，使用所述对象内容存储集群选择分布式对象存储集群，所述分布式对象存储集群包括分布式文件系统或传统的NAS系统。

4.如权利要求1所述的一种在数据中台内管理非结构化数据的方法，其特征在于，所述根据检索的内容形成对象元数据宽表，包括如下步骤：

将对象索引引擎中的索引信息和对象的客户化元数据字段，作为宽表的字段，创建一张宽表；

将对象索引引擎中的索引信息和对象的客户化元数据字段的内容，作为宽表对应字段内容，保存到宽表中；

所述对象索引引擎还包含了对象的客户化元数据字段，根据对象的客户化元数据信息，检索出相应的操作描述信息。

5.如权利要求1所述的一种在数据中台内管理非结构化数据的方法，其特征在于，所述通过数据中台将数据仓库集群中的数据以数据服务形式对外共享，包括如下步骤：

使用数据中台系统对对象内容存储集群中的数据进行标准化治理；

对非结构化数据进行加工处理，形成统一的非结构化数据资产多维度检索门户；

将非结构化数据以数据服务形式对外共享。

6.如权利要求5所述的一种在数据中台内管理非结构化数据的方法，其特征在于，所述使用数据中台系统对对象内容存储集群中的数据进行标准化治理，包括检查非结构化数据的完整性、准确性、一致性、及时性、有效性、唯一性、编码规范性；具体包括如下步骤：

分别定义完整性、准确性、一致性、及时性、有效性、唯一性、编码规范性的检查规则，每一检查规则包含规则名称、SQL语句；

在对象内容存储集群执行每一检查规则定义的SQL语句，将SQL语句执行的结果作为检查的结果信息保存到统一的结果信息表；

将结果信息表数据作为检查发现的问题；

对发现的问题进行人工整改，完成整改后，完成标准化治理。

7.如权利要求5所述的一种在数据中台内管理非结构化数据的方法，其特征在于，所述对非结构化数据进行加工处理，形成统一的非结构化数据资产多维度检索门户，包括如下步骤：

数据中台对对象内容存储集群中的非结构化数据进行操作；

所述操作包括对数据进行格式转换、计算、清洗操作；所述格式转换是指编码格式转换、日期格式转换、时间格式转换、数据类型转换；所述计算是指对数据进行求和、求差、求平均值运算；所述清洗是指对缺失值、空格、特殊字符、不必要数据进行处理；

将操作结果保存到对象内容存储集群；

将对象内容存储集群存储的对象元数据宽表数据作为非结构化数据的数据资产信息；

将数据资产信息通过页面以列表方式显示，将该页面作为查询非结构化数据资产信息的数据门户，进行资产查询；

数据门户提供多种检索方式，包括关键词检索、范围检索、业务属性字段检索；

所述关键字检索为根据数据门户页面输入的查询关键字，在数据仓库集群中查询满足条件的数据并返回页面显示；所述范围检索为在数据门户页面输入查询的数据的范围，包括时间范围和数值范围，在数据仓库集群中查询满足范围条件的数据并返回页面显示；所述业务属性字段检索为在数据门户页面选择具体业务字段，输入该业务字段对应的查询内容，在数据仓库集群中查询相应数据并返回页面显示。

8.如权利要求5所述的一种在数据中台内管理非结构化数据的方法，其特征在于，所述将非结构化数据以数据服务形式对外共享，包括如下步骤：

通过所述数据资产多维度检索门户检索非结构化数据资产；

选择检索出的一条数据资产信息，通过数据服务共享接口获取该数据资产的具体非结构化数据内容，进行非结构化数据共享；

其中，所述数据服务共享接口是数据中台提供的，用于根据资产信息到对象内容存储集群中查询对应资产具体数据内容的服务接口。

9.一种在数据中台内管理非结构化数据的系统，其特征在于，包括：

更新模块，用于使用存储协议网关提供非结构化数据的访问协议，接收非结构化数据及元数据，并将所述非结构化数据及元数据更新到对象内容存储集群或更新对象元数据库；并将存储协议网关完成文件内容和元数据更新的操作描述信息发送到消息队列；所述元数据为读取或写入操作相应的数据；

消息传递模块，用于以异步的方式将消息队列中的操作描述信息传递到对象索引引擎；

存储模块，用于利用对象索引引擎以操作描述信息中各个字段为关键字，并以倒排表的形式存储由关键字构成的索引信息；

数据管理模块，用于利用数据中台从对象索引引擎中批量检索索引信息，根据检索的内容形成对象元数据宽表，并将所述对象元数据宽表保存到数据仓库集群，且通过数据中台将数据仓库集群中的数据以数据服务形式对外共享。

10.一种电子设备，其特征在于，包括存储器，以及耦合到所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1-8任一项所述一种在数据中台内管理非结构化数据的方法。