CN117472858A - 一种基于元模型的多源异构数据管理方法 - Google Patents

Abstract

本发明公开了一种基于元模型的多源异构数据管理方法，包括用户在客户端界面定义元模型的数据帧格式，并将元模型的数据帧格式映射至位于服务端的元模型定义组件，将元模型中的数据与元模型定义组件下的文件存储目录关联并将关联关系存储至数据库中。通过将客户端定义的元模型的数据帧格式映射至位于服务端的元模型定义组件，并将元模型中的数据与文件存储目录进行关联并将关联关系存储至数据库中，使得服务端的文件监听组件对文件存储目录中的文件夹或文件或产生新的文件存储目录进行监控，并且将产生的新文件通过文件解析组件进行解析，并通过数据入库组件将解析的结果存储至数据库中，实现对数据的管理。

Description

一种基于元模型的多源异构数据管理方法

技术领域

本发明属于多源异构数据管理领域，具体涉及一种基于元模型的多源异构数据管理方法。

背景技术

多源异构数据，指数据的来源非常广泛，可以是不同的系统、设备、应用，并且数据的结构、格式也不同。当前主流的多源异构数据管理方法根据多源异构数据种类，一般都有各自独立的业务处理系统，在数据产生的过程中或者数据形成文件后，通过函数调用或者消息通知方式启动数据解析入库流程。数据解析入库一般根据数据格式可分为定义数据库表结构、数据解析、数据入库、定义数据库的查询语句进行数据检索。

目前的主流的多源异构数据管理技术需要依赖业务系统调用者通过扫描文件系统寻找需要解析的文件数据。此类方法需要同外部业务系统结合，对于新增的数据类型需要新增对应的调用流程。扫描文件系统的方法，存在随着文件数量增多扫描效率降低的问题。其中，定义数据库表结构、数据解析、数据入库、定义数据库的查询语句以及数据检索步骤根据数据结构编写相应数据库表结构定义语句、数据解析处理函数、数据库插入语句、数据库查询语句的方式进行，如果新增数据类型或者原有的数据结构发生变化，就需要对应修改或新开发，存在“牵一发而动全身”的不利因素进而导致耦合度高，灵活度低，开发成本高的问题。随着多源异构数据类型增多、数据结构变化，往往使得数据解析入库效率降低，对于后续的数据应用产生不利影响。

发明内容

本发明的目的在于针对解决背景技术中提出的问题，提出一种基于元模型的多源异构数据管理方法。

为实现上述目的，本发明所采取的技术方案为：

本发明提出的一种基于元模型的多源异构数据管理方法，包括：

用户在客户端界面定义元模型的数据帧格式，并将元模型的数据帧格式映射至位于服务端的元模型定义组件，将元模型中的数据与元模型定义组件下的文件存储目录关联并将关联关系存储至数据库中；

服务端的文件监听组件将文件存储目录下的文件夹递归加入到监控目录集合中，当有新的文件存储目录或新的文件夹产生，将新的文件存储目录或新的文件夹添加到监控目录集合中，并在产生新的文件时，发出通知；

服务端的文件解析组件响应于通知，基于数据帧格式中的字段对新文件进行解析；

服务端的数据入库组件将解析结果保存至数据库中；

用户在客户端选择字段并选择检索条件对文件进行检索，客户端将检索请求发送至服务端的数据检索组件，数据检索组件解析检索条件调用数据库的接口进行查询，然后将返回的结果发送至客户端，客户端收到数据后在界面中进行展现。

优选地，元模型的数据帧格式包括模型ID、模型名称、帧长、标识长度和标识值，以及各关键字字段的名称、类型和长度。

优选地，元模型定义组件支持对数据帧格式的增加、删除、修改和查询操作，通过客户端界面执行增加、修改、删除和查询操作，将请求发送至服务端的元模型定义组件，元模型定义组件接收到请求后，在数据库中增加、修改、删除和获取数据库中对应字段的记录。

优选地，当将新的文件存储目录添加到监控目录集合的过程中且该文件存储目录产生新文件或新文件夹时，则将该新的文件存储目录添加到监控目录集合中后，并对该新的文件存储目录进行遍历，当遍历到的新的文件夹时，将新的文件夹加入到监控目录集合中，当遍历到的新的文件时发出通知。

优选地，服务端的文件解析组件响应于通知，基于数据帧格式中的字段对新文件进行解析，包括：

文件解析组件接收到文件监听组件的通知后，依次读取新文件中的数据至缓存，根据缓存中数据的帧长、标识长度和标识值找到对应的数据帧格式，然后根据该数据帧格式中的各字段的定义解析数据。

优选地，服务端的数据入库组件将解析结果保存至数据库中，包括：

根据数据帧格式中的字段在数据库中定义对应的数据表，并添加偏移位置和帧长两项表项，解析结果按照数据表的表项进行字段的划分，与数据表的表项一一对应。

优选地，用户在客户端选择字段并选择检索条件对文件进行检索，客户端将检索请求发送至服务端的数据检索组件，数据检索组件解析检索条件调用数据库的接口进行查询，然后将返回的结果发送至客户端，客户端收到数据后在界面中进行展现，包括：

用户首先在客户端界面选择待检索的文件，客户端基于选择的文件找到对应的数据帧格式，对用户展现可以检索的字段，并且用户选择检索条件，客户端将用户的检索请求发送至服务端的数据检索组件，数据检索组件收到检索请求后，解析客户端的检索条件，然后自动构造字段检索SQL语句，检索SQL语句自动构造完成后，调用数据库的接口进行数据查询，将查询的结果发往客户端，客户端将查询的结果在界面中进行展示。

与现有技术相比，本发明的有益效果为：

1、本基于元模型的多源异构数据管理方法通过将客户端定义的元模型的数据帧格式映射至位于服务端的元模型定义组件，并将元模型中的数据与文件存储目录进行关联并将关联关系存储至数据库中，使得服务端的文件监听组件对文件存储目录中的文件夹或文件或产生新的文件存储目录进行监控，并且将产生的新文件通过文件解析组件进行解析，并通过数据入库组件将解析的结果存储至数据库中，实现对数据的管理；

2、本基于元模型的多源异构数据管理方法的文件事件监听组件通过文件事件触发，被动接收操作系统事件通知，相对传统轮询判断文件变更技术，大大提升了灵敏度以及计算效率，不需要对于文件系统的进行遍历，数据处理的时效性更高。

3、本基于元模型的多源异构数据管理方法检索条件可以根据元模型信息自动生成，检索范围为用户指定输入，两者结合可以提供通用的数据查询方法，且更加灵活。

附图说明

图1为本发明基于元模型的多源异构数据管理方法的模块框图；

图2为本发明监控目录集合的变化示意图；

图3为本发明客户端的查询页面示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，当组件被称为与另一个组件“连接”时，它可以直接与另一个组件连接或者也可以存在居中的组件。除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。

如图1-3所示，一种基于元模型的多源异构数据管理方法，包括：

S1、用户在客户端界面定义元模型的数据帧格式，并将元模型的数据帧格式映射至位于服务端的元模型定义组件，将元模型中的数据与元模型定义组件下的文件存储目录关联并将关联关系存储至数据库中。

具体为，用户在客户端定义元模型的数据帧格式，客户端将数据帧格式封装成网络数据，通过TCP协议发送至服务端的元模型定义组件，元模型定义组件根据接收到的网络数据定义模型的数据帧格式，且模型的数据帧格式包括模型ID、模型名称、帧长、标识长度和标识值，以及各关键字字段的名称、类型和长度(即字段包括各关键字的名称、类型和长度，具体的关键字的数量和类型不作限制，如图3中展示的关键字：type、sequence(seq)、lenth(len)、infomation(info))。其中，对于帧长，0表示变长，否则表示定长帧；类型分为整型、浮点型和字符串，其中整型字段类型支持1字节、2字节、4字节、8字节以及有符号整型与无符号整型的组合，浮点型支持4字节与8字节。同时在数据库中根据数据帧格式中的字段定义数据表。

S2、服务端的文件监听组件将文件存储目录下的文件夹递归加入到监控目录集合中，当有新的文件存储目录或新的文件夹产生，将新的文件存储目录或新的文件夹添加到监控目录集合中，并在产生新的文件时，发出通知。

具体为，监控目录集合为文件监听组件监听目录的集合，文件监听组件接收到将元模型中的数据与元模型定义组件下的文件存储目录绑定的操作后，将文件存储目录下的文件夹递归加入到监控目录集合中；当有新的文件存储目录或新的文件夹产生，将新的文件存储目录或新的文件夹添加到监控目录集合中，当有新的文件产生(文件监听组件监控到的新的文件不仅指用户在客户端产生的新文件，也可以为服务端在运行过程中产生的新文件)，通知服务端的文件解析组件对新文件进行解析(即调用文件解析组件对新文件进行解析)。当有文件存储目录或文件夹删除，则在监控目录集合中将该文件存储目录或文件夹删除，同时将对应在数据库中解析结果进行删除。现有操作系统针对文件监控功能，提供了一套监控指定目录一级目录的接口，这套接口仅支持对一级目录下子目录文件创建、删除、修改等事件的监控，无法提供更深层级目录的监控，但本方法动态将新的文件存储目录/文件夹增加到监控目录集合中(或者将删除的文件存储目录/文件夹从监控目录集合中删除)的方式实现对深层级目录的监控。

文件事件监听组件通过文件事件触发，被动接收操作系统事件通知，相对传统轮询判断文件变更技术，大大提升了灵敏度以及计算效率。

如图2表示的是监控目录集合的变化示意图，其中图2中的d_root表示文件存储目录，dir_1、dir_2、dir_3、dir_1_1、dir_1_2和dir_1_1_1均表示文件夹，file_1、file_2、file_3和file_4均表示文件。

S3、服务端的文件解析组件响应于通知，基于数据帧格式中的字段对新文件进行解析。

具体为，文件解析组件接收到文件监听组件的通知后，依次读取新文件中的数据至缓存，根据缓存中数据的帧长、标识长度和标识值找到对应的数据帧格式，然后根据该数据帧格式中的各字段(从元模型定义组件中获取，即元模型定义组件需要调用文件解析组件去获取数据帧格式中的各字段)的定义解析数据，首先解析字段类型，根据字段的类型分为以下几种处理情况：

a)有符号整型

判断字段的长度，根据字段的长度将帧数据格式中对应字段长度转化为整型数值。

i.字段长度为1

提取帧中1字节的数据，转换为有符号int8_t整型数据。

ii.字段长度为2

提取帧中2字节的数据，转换为有符号int16_t整型数据。

iii.字段长度为4

提取帧中4字节的数据，转换为有符号int32_t整型数据。

iv.字段长度为8

提取帧中8字节的数据，转换为有符号int64_t整型数据。

b)无符号整型

与有符号整型处理方式类型，如：

i.字段长度为1

提取帧中1字节的数据，转换为无符号uint8_t整型数据。

ii.字段长度为2

提取帧中2字节的数据，转换为无符号uint16_t整型数据。

iii.字段长度为4

提取帧中4字节的数据，转换为无符号uint32_t整型数据。

iv.字段长度为8

提取帧中8字节的数据，转换为无符号uint64_t整型数据。

c)浮点型

判断字段的长度，根据字段的长度将帧数据格式中对应字段长度转化为浮点型数值数据。

i.字段长度为4

提取帧中4字节的数据，转换为4字节float浮点型数据。

ii.字段长度为8

提取帧中8字节的数据，转换为8字节double浮点型数据。

d)字符串

先通过该字段长度值获取该字段对应的长度值，如果该字段为定长数据，则从帧对应偏移位置处提取指定长度的数据，如果该字段为变长数据，则从索引长度字段获取字符串对应的长度，然后从帧对应偏移位置处提取指定长度的数据。

将上述提取的帧数据格式中各字段的值调用数据入库组件接口进入至数据库中(即文件解析组件调用数据入库组件进行数据入库)。

S4、服务端的数据入库组件将解析结果保存至数据库中。

具体为，根据数据帧格式中的字段在数据库中定义对应的数据表，并添加偏移位置和帧长两项表项，解析结果按照数据表的表项进行字段的划分，与数据表的表项一一对应。

具体步骤如下：

数据入库组件被文件解析组件调用时，根据文件所在的文件存储目录以及元模型中的数据与文件存储目录的绑定关系，匹配相应的数据帧格式；

根据相应的数据帧格式中的字段在数据库中定义对应的数据表(在定义元模型的数据帧格式时自动创建数据表)，以数据帧格式中各字段作为表项，并添加额外两个表项：偏移位置和帧长，其中，偏移位置用于记录数据在文件内的便宜位置，帧长用于记录每一帧数据各自的长度；

解析结果保存至数据库时，解析结果按照数据帧格式中的各字段进行划分，需要入库的信息与数据表的表项一一对应，数据入库组件接收到文件解析结果后，将按照数据表与解析结构对应的关系构建INSERT(表示数据库的插入操作)数据库入库语句，构建方法为：

获取数据帧格式中字段的数量与名称，开始构造SQL(数据查询语言)语句，在SQL语句中拼接所有的字段名称以及相应数量的占位符(在数据库的使用场景下，占位符是在SQL语句中使用的特殊字符或符号，用于表示需要动态填充的值。占位符通常用于预处理语句，以防止SQL注入攻击，并提高性能)“VALUE(？)”，数据字段的顺序与数据表中表项顺序完全一致；

SQL语句预处理之后，将文件解析结果中的数据绑定到SQL语句的句柄上，相当于在占位符中填入相应的数据；

调用数据库接口执行完整的SQL语句(即数据入库组件调用数据库进行数据存储)。

为提高入库的效率，采用了多条数据结果执行一次入库的方式来取代逐条入库。在数据库将所有文件解析结果插入数据表中并保存之后，将解析成功的文件在数据库中的状态置为解析完成，以供后续对指定的文件进行检索。

S5、用户在客户端选择字段并选择检索条件对文件进行检索，客户端将检索请求发送至服务端的数据检索组件，数据检索组件解析检索条件调用数据库的接口进行查询，然后将返回的结果发送至客户端，客户端收到数据后在界面中进行展现。

具体为，用户首先在客户端界面选择待检索的文件，客户端基于选择的文件找到对应的数据帧格式，对用户展现可以检索的字段，客户端将用户的检索请求发送至服务端的数据检索组件，数据检索组件收到检索请求后，解析客户端的检索条件，然后自动构造字段检索SQL语句，检索SQL语句自动构造完成后，调用数据库的接口进行数据查询，将查询的结果发往客户端，客户端将查询的结果在界面中进行展示。

具体步骤如下：

用户在客户端界面选择待检索的文件；

客户端基于选择的文件，找到关联的数据帧格式，对用户展现出可检索的字段；

用户在客户端界面中选择要检索字段，可针对每个字段按照字段类型选择检索条件，针对整型、浮点型等类型字段，检索条件支持选择等于、不等于、大于、大于等于、小于、小于等于，针对字符串类型字段，检索条件支持选择等于、不等于、包含、以检索字符串开头、以检索字符串结尾等多种选择；

客户端将用户的检索请求通过TCP协议发送至服务端的数据检索组件；

数据检索组件收到检索请求后，解析客户端的检索条件，然后自动构造字段检索SQL语句，多个字段间检索条件SQL语句中使用“AND”进行拼接，作为组合检索语句，单个字段检索SQL构造根据检索类型主要分为以下几种情况：

a)等于

使用“＝”符号拼接SQL；

b)不等于

使用“<>”符号拼接SQL；

c)大于

使用“>”符号拼接SQL；

d)小于

使用“<”符号拼接SQL；

e)大于等于

使用“>＝”符号拼接SQL；

f)小于等于

使用“<＝”符号拼接SQL；

g)包含

该检索条件仅针对字符串类型字段适用，使用“LIKE‘％检索关键字％’”拼接SQL；

h)不包含

该检索条件仅针对字符串类型字段适用，使用“NOT LIKE‘％检索关键字％’”拼接SQL；

i)以检索字符串开头

该检索条件仅针对字符串类型字段适用，使用“LIKE‘检索关键字％’”拼接SQL；

j)以检索字符串结尾

该检索条件仅针对字符串类型字段适用，使用“LIKE‘％检索关键字’”拼接SQL。

检索SQL语句自动构造完成后，调用数据库的接口进行数据查询；

将查询的结果发往客户端；

客户端将查询的结果在界面中进行展示。

图3表示的是客户端的查询页面示意图。

以上S1、S2、S3、S4和S5步骤之间的顺序不作限制，可以同时执行，也可以根据实际情况进行顺序的调换。

在一个实施例中，元模型定义组件支持对数据帧格式的增加、删除、修改和查询操作，通过客户端界面执行增加、修改、删除和查询操作，将请求发送至服务端的元模型定义组件，元模型定义组件接收到请求后，在数据库中增加、修改、删除和获取数据库中对应字段的记录。

具体为，元模型定义组件对数据帧格式的增加操作如下：

用户在客户端界面中定义增加的数据帧格式，客户端将增加的数据帧格式封装成网络数据，通过TCP协议发往服务端的元模型定义组件，元模型定义组件在接收到增加的数据帧格式后，首先判断该增加的数据帧格式的模型名称是否存在，如果不存在，在数据库的数据表中增加存储该数据帧格式中的各字段，并返回该数据帧格式的模型ID。

元模型定义组件对数据帧格式进行修改、删除、查询时，通过客户端界面执行修改、删除、查询操作，将请求发送至服务端的元模型定义组件，元模型定义组件接收到请求后，在数据库中修改、删除、获取数据库的数据表对应字段的记录。

在一个实施例中，当将新的文件存储目录添加到监控目录集合的过程中且该文件存储目录产生新文件或新文件夹时，则将该新的文件存储目录添加到监控目录集合中后，并对该新的文件存储目录进行遍历，当遍历到的新的文件夹时，将新的文件夹加入到监控目录集合中，当遍历到的新的文件时发出通知。

需要说明的是，新的文件存储目录添加到监控目录集合的过程需要一定的计算时间，若在该时间内该文件存储目录产生新文件，则会导致新文件无法被捕获到，为了解决该问题，将该新的文件存储目录添加到监控目录集合中后，并对该新的文件存储目录进行遍历，将遍历到的新的文件夹加入到监控目录集合中，将遍历到的新的文件时通知文件解析组件进行文件解析。

本基于元模型的多源异构数据管理方法通过将客户端定义的元模型的数据帧格式映射至位于服务端的元模型定义组件，并将元模型中的数据与文件存储目录进行关联并将关联关系存储至数据库中，使得服务端的文件监听组件对文件存储目录中的文件夹或文件或产生新的文件存储目录进行监控，并且将产生的新文件通过文件解析组件进行解析，并通过数据入库组件将解析的结果存储至数据库中，实现对数据的管理；文件事件监听组件通过文件事件触发，被动接收操作系统事件通知，相对传统轮询判断文件变更技术，大大提升了灵敏度以及计算效率，不需要对于文件系统的进行遍历，数据处理的时效性更高；检索条件可以根据元模型信息自动生成，检索范围为用户指定输入，两者结合可以提供通用的数据查询方法，且更加灵活。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请描述较为具体和详细的实施例，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于元模型的多源异构数据管理方法，其特征在于：所述基于元模型的多源异构数据管理方法，包括：

用户在客户端界面定义元模型的数据帧格式，并将元模型的数据帧格式映射至位于服务端的元模型定义组件，将元模型中的数据与元模型定义组件下的文件存储目录关联并将关联关系存储至数据库中；

服务端的文件监听组件将文件存储目录下的文件夹递归加入到监控目录集合中，当有新的文件存储目录或新的文件夹产生，将新的文件存储目录或新的文件夹添加到监控目录集合中，并在产生新的文件时，发出通知；

服务端的文件解析组件响应于通知，基于数据帧格式中的字段对新文件进行解析；

服务端的数据入库组件将解析结果保存至数据库中；

用户在客户端选择字段并选择检索条件对文件进行检索，客户端将检索请求发送至服务端的数据检索组件，数据检索组件解析检索条件调用数据库的接口进行查询，然后将返回的结果发送至客户端，客户端收到数据后在界面中进行展现。

2.如权利要求1所述的基于元模型的多源异构数据管理方法，其特征在于：所述元模型的数据帧格式包括模型ID、模型名称、帧长、标识长度和标识值，以及各关键字字段的名称、类型和长度。

3.如权利要求1所述的基于元模型的多源异构数据管理方法，其特征在于：所述元模型定义组件支持对数据帧格式的增加、删除、修改和查询操作，通过客户端界面执行增加、修改、删除和查询操作，将请求发送至服务端的元模型定义组件，元模型定义组件接收到请求后，在数据库中增加、修改、删除和获取数据库中对应字段的记录。

4.如权利要求1所述的基于元模型的多源异构数据管理方法，其特征在于：当将新的文件存储目录添加到监控目录集合的过程中且该文件存储目录产生新文件或新文件夹时，则将该新的文件存储目录添加到监控目录集合中后，并对该新的文件存储目录进行遍历，当遍历到的新的文件夹时，将新的文件夹加入到监控目录集合中，当遍历到的新的文件时发出通知。

5.如权利要求2所述的基于元模型的多源异构数据管理方法，其特征在于：所述服务端的文件解析组件响应于通知，基于数据帧格式中的字段对新文件进行解析，包括：

文件解析组件接收到文件监听组件的通知后，依次读取新文件中的数据至缓存，根据缓存中数据的帧长、标识长度和标识值找到对应的数据帧格式，然后根据该数据帧格式中的各字段的定义解析数据。

6.如权利要求1所述的基于元模型的多源异构数据管理方法，其特征在于：所述服务端的数据入库组件将解析结果保存至数据库中，包括：

根据数据帧格式中的字段在数据库中定义对应的数据表，并添加偏移位置和帧长两项表项，解析结果按照数据表的表项进行字段的划分，与数据表的表项一一对应。

7.如权利要求1所述的基于元模型的多源异构数据管理方法，其特征在于：所述用户在客户端选择字段并选择检索条件对文件进行检索，客户端将检索请求发送至服务端的数据检索组件，数据检索组件解析检索条件调用数据库的接口进行查询，然后将返回的结果发送至客户端，客户端收到数据后在界面中进行展现，包括：

用户首先在客户端界面选择待检索的文件，客户端基于选择的文件找到对应的数据帧格式，对用户展现可以检索的字段，并且用户选择检索条件，客户端将用户的检索请求发送至服务端的数据检索组件，数据检索组件收到检索请求后，解析客户端的检索条件，然后自动构造字段检索SQL语句，检索SQL语句自动构造完成后，调用数据库的接口进行数据查询，将查询的结果发往客户端，客户端将查询的结果在界面中进行展示。