CN111459929B - 基于对等模式的多源数据链接与协同共享方法 - Google Patents

Abstract

本发明提供一种基于对等模式的多源数据链接与协同共享方法，包括以下步骤：（a）建造多个数据单元封装与挂载，将可聚合嵌套的每个数据单元借助一个数据单元储存管理层实现信息上传、存储、访问；（b）建立一个数据单元目录快速检索系统；和（c）实现多源异构数据的表征体系构建，实现多源异构数据的链接关联。

Description

基于对等模式的多源数据链接与协同共享方法

技术领域

本发明涉及一种数据协同共享的方法，具体来讲是一种基于对等模式的多源数据链接与协同共享方法。

背景技术

目前在进行海量异构数据管理时，信息服务系统中常遇到多源数据与多种类应用程序间的跨应用访问的局限性和同种业务在不同应用场景中的数据接入复杂问题，对数据的链接与协同共享提出了新的挑战。此外，信息服务系统也同样具有数据的访问控制和数据挂载的需求，以及在海量数据单元目录的同步和检索过程中存在着时延问题。总而言之，运行环境中海量数据的异构性对统一存储管理提出了挑战，同时多源异构数据不断变化，造成对数据认知理解难度大，数据使用不便等问题。

发明内容

本发明的一个优势在于提供一种基于对等模式的多源数据链接与协同共享方法，其中数据单元封装与挂载技术增强平台级的动态控制服务依赖数据的能力，实现数据管理系统的业务互通。

本发明的另一优势在于提供一种基于对等模式的多源数据链接与协同共享方法，其中面向数据单元的目录同步与快速检索技术实现了数据单元目录存储持久化和数据单元目录检索的快速响应。

本发明的另一优势在于提供一种基于对等模式的多源数据链接与协同共享方法，其中多源异构数据表征体系构建与链接关联技术通过对数据进行多维度的表征体系构建，从多个维度梳理面向关联的信息要素，保障数据的高效存储管理，支撑多源异构数据链接关联。

本发明的另一优势在于提供一种基于对等模式的多源数据链接与协同共享方法，其中通过多源异构数据链接关联，将数据整合至语义级，表达数据高层内涵，提高数据查询传输效率。

本发明的其它优势和特点通过下述的详细说明得以充分体现并可通过所附权利要求中特地指出的手段和装置的组合得以实现。

依本发明的一个方面，能够实现前述目的和其他目的和优势的本发明一种基于对等模式的多源数据链接与协同共享方法，包括以下步骤：

（a）建造多个数据单元封装与挂载，将可聚合嵌套的每个数据单元借助一个数据单元储存管理层实现信息上传、存储、访问；

（b）建立一个数据单元目录快速检索系统；和

（c）实现多源异构数据的表征体系构建，实现多源异构数据的链接关联。

进一步地，其中，该步骤（a）包括子步骤：该数据单元适应灵活访问。

进一步地，其中，该步骤（a）包括子步骤：统一上下层间链接关联的标准。

进一步地，其中，该步骤（a）包括子步骤：加入面向该数据单元的一个权限管理和动态挂载机制，实现管理平台对服务依赖数据的动态控制。

进一步地，其中，该步骤（b）包括子步骤：采用动态数据管理算法、协商算法以及更新日志机制实现数据单元目录的同步过程。

进一步地，其中，该步骤（b）包括子步骤：在此基础上结合数据缓存过程和多级检索过程，实现管理平台数据单元目录的快速检索。

进一步地，其中，该步骤（c）包括子步骤：面向海量异构数据的统一存储问题，对数据进行多维度的表征体系构建，从多个维度梳理面向关联的信息要素。

进一步地，其中，该步骤（c）包括子步骤：针对高变化性多源异构数据的理解与运用中的局限性，将多源异构数据整合至语义级，表达数据高层内涵。

通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。

本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。

附图说明

图1是根据本发明的一个实施例的基于对等模式的多源数据链接与协同共享方法的数据单元目录快速检索系统的结构示意图。

图2是根据本发明的上述实施例的基于对等模式的多源数据链接与协同共享方法的数据的检索流程示意图。

图3是根据本发明的上述实施例的基于对等模式的多源数据链接与协同共享方法的信息表征模型的结构示意图。

图4是根据本发明的上述实施例的基于对等模式的多源数据链接与协同共享方法的多源异构数据链接关联过程的流程示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、 “横向”、 “上”、“下”、 “前”、 “后”、 “左”、 “右”、 “竖直”、 “水平”、 “顶”、 “底”、 “内”、 “外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

参考本发明说明书附图之图1至4，依本发明的一个实施例的基于对等模式的多源数据链接与协同共享方法被揭露，其中针对一个信息服务系统中不同应用场景中海量数据的数据访问安全性问题以及数据的动态挂载需求，建立适应灵活访问控制的多个数据单元封装与挂载，将可聚合嵌套的每个数据单元借助一个数据单元储存管理层实现信息上传、存储、访问，并统一上下层间链接关联的标准，进一步加入一个面向每个数据单元的权限管理和动态挂载机制，通过一个管理平台实现对服务依赖数据的一个动态控制；进而采用动态数据管理算法、协商算法以及更新日志机制实现该数据单元目录的同步过程，在此基础上结合数据缓存过程和多级检索过程，建立一个数据单元目录快速检索系统，实现对该管理平台数据单元目录的快速检索；以及面向海量异构数据的统一存储问题，对数据进行多维度的表征体系构建，从多个维度梳理面向关联的信息要素，构建一个多源异构数据的表征体系，针对高变化性多源异构数据的理解与运用中的局限性，将多源异构数据整合至语义级，表达数据高层内涵，实现多源异构数据的链接关联。

进一步地，在该信息服务系统中首先将该数据单元作为一个数据分布管理机制的核心，进而在一个应用程序层与该多源数据间建立该数据单元储存管理层，同时为该数据单元储存管理层相关的信息上传、存储、访问以及上下层间链接关联方式设立一个预设标准，该预设标准为同一标准，以便实现该信息服务系统中的业务互通。其中，该数据单元能够是一个服务、用户、数据间的动态挂载关联服务，该用户通过访问该应用服务层获取该信息服务系统提供的各种服务，而该应用服务层与该数据单元储存管理层进行层间交互获取该数据单元储存管理层的该数据单元。该用户借助该应用服务层访问该数据单元储存管理层，该数据单元存储管理层链接具有多个数据库表格及对象的该数据单元，该数据单元存储管理层同时管理多种该数据单元，为该应用服务层提供海量的数据支撑。

进一步地，该数据单元的创建时间可以在该数据生命周期的任何时刻，在数据采集期，该信息服务系统根据数据来源、数据时空属性、数据采集手段等方式划分该数据单元，利用数据单元的机制提升数据采集过程的效率；在数据存储期，该信息服务系统根据数据落地的目的位置，如某个目录、某个库、某个表来划分该数据单元，由此增加数据存储管理的灵活性；在数据处理期，该信息服务系统根据在数据处理过程中可以对数据集合声明为一个该数据单元，然后将各种算子运用在该数据单元上，加快数据处理过程的速度；在数据分发共享期，该信息服务系统以该数据单元为单位进行数据分发、数据共享和数据订阅过程。

该信息服务系统中的该数据单元相关权限管理的目的是建立一个包含用户权限，服务应用权限和可访问数据权限在内的权限管理机制，该数据单元的该权限管理机制负责统一管理边缘信息服务平台上资源、数据、应用、服务等安全对象的访问控制规则和权限，支持权限的新增、删除、修改、查询、激活等操作，通过构建安全访问控制策略和规则，以服务、应用、指标、数据分类等为单位，划分出不同粒度的资源访问权限，向不同用户角色授予访问权限，只有经过授权的该用户才能访问与之匹配的资源，且只能访问其权限以内的服务、应用、功能模块、数据、程序代码等各类资源；对于不同的该服务应用同样授予相应的访问权限，只有符合规定等级授权的用户使用符合规定等级的该服务应用才能访问与相应等级的资源。

进一步地，该信息服务系统在进行高安全性的数据单元权限控制的同时，还可以与服务实现一个动态挂载机制，以提升对该服务进行外部控制的灵活性。该信息服务系统通过切换同种类不同数据内容的该数据单元，可以实现对不同服务场景的切换，在例如，拥有一级权限的该用户A借助具有二级权限的地图应用与该数据单元储存管理层的该数据单元1进行数据交互时，经该权限管理机制审核符合要求，该用户成功获取到了A地区的地图服务，而该用户想要接下来访问B地区的地图时，地图应用只需要将该数据单元2挂载到该数据单元储存管理层，就可以获取B地区的地图服务，而因为该用户的权限低于C地区地图的可访问数据权限，因此无法使用C地区的地图服务。

综上所述，该信息服务系统利用加入该数据单元机制的方式来实现该权限管理及动态挂载机制，一是为了让平台具备动态控制服务依赖数据的能力，二是为了权限和安全的考量，且实现动态的权限和安全控制。

如图1至2所示，为解决海量数据单元目录检索过程的时延问题，提出面向数据单元的快速检索技术。值得注意的是，该数据单元目录可以是一个标准的键值检索系统。该数据单元目录快速检索系统的组成结构以及相关的数据写入、删除、读取过程如下所述。

如图1所示，该数据单元目录快速检索系统的主要包括六个部分：存在于内存中的一个可变快速检索表和一个不可变快速检索表以及存在于磁盘上的多个有序数据表、一个日志文件、一个元数据文件以及一个元数据记录文件。

进一步地，该不可变快速检索表与该可变快速检索表文件从结构上讲是一致的，区别仅仅在于该不可变快速检索表文件不允许写入操作，而该可变快速检索表则是允许写入和读取的。当该可变快速检索表写入的数据占用内存到达一定程度，则自动转换为该不可变快速检索表。该可变快速检索表提供数据写入，删除以及读取记录的操作接口，表中的键值对是根据键大小有序存储的，在系统插入新的键值对时，系统要把这个键值对插到合适的位置上以保持这种键有序性。

该有序数据表在物理结构上会划分为固定大小的物理存储块，每个块分为三个部分：一个数据存储区、一个类型区以及一个循环冗余校验码。该数据存储区用于储存具体的目录数据；该类型区用于标识该数据存储区是否采用了数据压缩算法；该循环冗余校验码用于判别数据是否在生成和传输中出错。

该日志文件在系统中的作用主要为了避免系统崩溃恢复时的数据丢失情况。系统在写入内存前先将写入操作记录到日志文件中，然后再记入内存中，这样即使系统崩溃，也可以从该日志文件中恢复可变快速检索表的内容。

该元数据文件用于记录该有序数据表各个文件的管理信息，该有序数据表中的某个文件属于特定层级，而且其存储的记录是键有序的，该元数据文件记录了该有序数据表属于哪个层级，文件名称以及文件的最小键大小和最大键大小等信息。

该元数据记录文件记录有当前的该元数据文件名。在系统运行过程中，不同层次的该有序数据表会随着数据的写入和删除发生变化，会有新的文件产生，老的文件被废弃，此时往往会新生成元数据文件来记载这种变化，而该元数据记录文件则用来标记当前使用的该元数据文件。

当该可变快速检索表插入的数据占用内存到了一个界限后，需要将内存的记录导出到外存文件中，系统会生成新的该日志文件和该可变快速检索表，原先的该可变快速检索表就成为该不可变快速检索表，原先的该不可变快速检索表的数据导出到磁盘，形成一个新的该有序数据表。该有序数据表就是由内存中的数据不断导出后形成的，而且该有序数据表之间具有一种层级结构，第一层为层级0，第二层为层级1，依次类推，层级逐渐增高，层级0的该有序数据表和其它层级的该有序数据表相比有所不同：层级0的两个该有序数据表可能存在键重叠。当某个层级下的该有序数据表数目超过一定设置值后，该数据单元目录快速检索系统会从这个层级的该有序数据表集合中选择一个文件将其和高一层级的该有序数据表合并。

如图2所示，对于一次数据的检索操作，系统首先会去查看该可变快速检索表，如果该可变快速检索表中包含键及其对应的值，则返回数据内容即可。如果在该可变快速检索表没有读到键，则接下来到同样处于内存中的该不可变快速检索表中去读取，如果读到就返回，若是没有读到，则从该有序数据表中查找。在该有序数据表中的读取原则为：首先从属于层级0的文件中查找，如果找到则返回对应的值，如果没有找到那么到层级1中的文件中去找，如此循环往复，直到在某层该有序数据表中找到这个键对应的值为止，此种搜索顺序是可以保障搜索到的该数据单元目录数据是此系统中最新的数据。在具体的搜索过程中，层级0下的不同文件可能键的范围有重叠，某个要查询的键有可能多个文件都包含，此时的检索策略是先找出层级0中哪些文件包含这个键（元数据文件中记载有各文件中键的范围信息），之后按照文件的新鲜程度排序，新的文件排在前面，之后依次查找，读出键对应的值。而如果是非层级0的话，因为这个层级的文件之间键是不重叠的，所以只从一个文件就可以找到键对应的值。

当此系统没有从该可变快速检索表和该不可变快速检索表中找到对应的数据时，为加快数据读取速度，需要利用数据表缓存进行磁盘相关的数据检索过程。首先，系统会先在内存中的数据表缓存中查找是否包含这个文件的缓存记录，如果包含，则从缓存中读取；如果不包含，则打开该有序数据表，同时将这个文件的索引部分加载到内存中并放入缓存中。这样缓存里面就有了该有序数据表的缓存项，但是只有索引部分在内存中，之后该数据单元目录快速检索系统根据索引可以定位到具体的某个内容块会包含这条键，从文件中读出这个块的内容，在根据记录一一比较，如果找到则返回结果，如果没有找到，那么说明这个层级的该有序数据表并不包含这个键，所以到下一级别的该有序数据表中去查找，若查到最高层级还没有找到对应数据，则说明该系统中不存在此数据。

大量数据的异构性对统一存储管理提出了挑战，要实现多源异构数据的汇聚存储，梳理实际接入的信息情况，需要对数据进行多维度的表征体系构建。同时针对数据海量、异构、动态、变化等特点造成对数据认知理解难度大，导致数据使用不便的问题，必须采取新的技术方法对数据进行有效的链接关联。表达数据高层内涵，发现内在规律与特点，将数据整合至语义级，便于数据的查询与传输。

对多源异构数据进行数据接入与表征建模研究，具体来说（1）从类型、来源、形式、内容等方面梳理了相关信息，确定汇集与关联的信息范围，研究信息的高效接入与预处理。（2）以支撑多源异构信息的关联为驱动，从多个维度梳理面向关联的信息要素，建立信息关联要素表征体系。

以支撑多源异构数据关联为驱动，从语义特征、基础元数据、时间、空间、实体、事件、任务等维度梳理了面向关联的信息要素，形成数据统一表征体系，实现了对多源异构数据的统一描述，便于存储管理。显性化数据特征，以支持后续的信息关联。如图3所示，统一表征包括一个基础元数据、一个时空维度、一个实体维度、一个任务维度和一个语义特征维度，其中该基础元数据用来描述数据的基本信息，是用户组织、浏览和筛选信息的常用元素，该时空维度是指数据中携带的事件或地理信息，该实体维度用来描述信息中包含的对象，例如文本、图像中所描述的飞机、坦克等关键对象，该任务维度的属性用来描述该信息的用户和任务属性，包括数据可支撑的任务与系统具备的功能活动，该语义特征维度的属性用来对各种格式的数据进行底层、体现语义特征的描述，重点关注文本与图像两种格式数据的语义特征。

进一步地，多源异构数据链接关联是应用和数据衔接的中间核心环节，是高效提供数据访问和服务的基础。建立一个数据组织管理机制，对多源异构数据进行科学组织，自主关联，通过对各类要素进行归一化处理，构建多源异构数据组织管理知识图谱。动态建立一个实体关联关系，解决关联关系自主学习、动态关联网络构建、关系按需更新等问题。

如图4所示，通过构建的多源异构数据表征体系，构建一个数据单元模型库，使数据可扩可管。该开放式数据单元模型库是多源异构数据链接关联的基础。通过该数据单元实现对数据的理解，增强对多源异构数据的可关联能力。通过分析多模态、异构、动态数据的特点，根据构建的数据表征模型，适配结构化和非结构化数据。

在数据链接环节越来越丰富的多源异构数据给链接后数据质量的提升带来了多种挑战。一个数据清洗转换是数据可用可算的基础，使用数据清洗、转换等预处理通用工具集，针对噪声数据、冲突数据、非标数据和外军数据等，进行错误数据剔除、一致性检测、格式转换、时空基准统一等操作，解决数据属性要素确实、数据碎片化、时空不一致等问题。

研制数据关联算法模型进行归一化处理，基于归一化的属性要素，实现多源异构数据科学组织，自主关联，构建多源异构数据组织管理知识图谱。动态建立数据关联关系，解决关联关系自主学习、动态关联网络构建、关系按需更新等问题，使知识图谱可以自主学习、动态演化、使用可控。

通过面向时空基准的实体链接、基于频繁共现的文本对象实体关联、多特征融合的图像视频分析等技术，在语义级别建立数据间的关联关系。同时在语义级别关系构建的基础上，通过知识表示、概念实体映射、实体向量相似度计算等技术建立数据关联分析模型。针对建立的关联关系，对关联关系进行自动分类、冗余检查和动态重建，从而进行深度挖掘与分析，保障关联的有效性和准确性。

建立数据统计评估处理机制，提供数据统计分析、数据生命周期管理、数据日志处理、数据版本控制、数据质量化评估等功能，实现数据行为分析、数据质量分析、数据关注度分析、数据热度分析等，易于理解于数据的统一访问。建立数据质量评估模型、体系与指标，对关联的数据进行评估，形成评价基线，确定数据质量维度和元素，以及用于考核每个维度的指标。对数据通过定性和定量评价方法，采用不同策略匹配多源异构数据应用情景、过程复杂性与动态性。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (1)

1.一种基于对等模式的多源数据链接与协同共享方法，其特征在于，包括以下步骤：

（a）建立适应灵活访问控制的多个数据单元封装与挂载，将可聚合嵌套的每个所述数据单元借助一个数据单元储存管理层实现信息上传、存储、访问；统一多个所述数据单元储存管理层的上下层间链接关联的标准，加入面向每个所述数据单元的权限管理和动态挂载机制；

（b）采用动态数据管理算法、协商算法以及更新日志机制实现数据单元目录的同步过程；在此基础上结合数据缓存过程和多级检索过程，实现管理平台数据单元目录的快速检索，建立一个数据单元目录快速检索系统；

（c）面向海量异构数据的统一存储问题，对数据进行多维度的表征体系构建，从多个维度梳理面向关联的信息要素，实现多源异构数据的表征体系构建，实现多源异构数据的链接关联。