CN111427867A - 一种基于混合式存储的模型持久化方法 - Google Patents

Abstract

本发明公开了一种基于混合式存储的模型持久化方法，包括步骤：建模过程中，根据自定义的对象关系映射表对模型数据进行增量式存储到关系型数据库；建模结束后，创建资源机制，依据该资源机制将模型数据格式化成文件后，并所述文件全量存储到文件系统。该基于混合式存储的模型持久化方法中根据模型大小以及模型状态(建模过程中或建模结束)采用增量式存储和/或全量式存储，满足大规模建模平台数据存储的需求。

Description

一种基于混合式存储的模型持久化方法

技术领域

本发明涉及存储领域，具体涉及一种基于混合式存储的模型持久化方法。

背景技术

随着现代工业制造体系中制造方法的复杂度不断提升，工业体系规模的快速扩大，以及智能化制造思想的广泛普及，工业界亟需引进更先进的设计方法来统筹和兼顾工业制造的复杂流程。基于模型的系统工程(Model-Based System Engineer，MBSE)应运而生，成为当前世界上工业与科技领域的前沿阵地。它具有无可比拟的优势，如无二义性的语义刻画和早期的仿真分析等等，正在成为中国智能制造的重要使能技术。MBSE理论强调把复杂装备设计过程划分为需求分析、功能分析、系统设计、确认及验证四个主要步骤，共同完成整体复杂设计。相比于传统的文档式系统工程管理，MBSE强调在需求设计之初就利用模型而非文档式管理，完成一系列的系统设计、系统仿真和验证工作，通过迭代式的探索逐步完善系统整体设计。

近年来，中国的航天科工企业率先探索了基于模型的系统工程下复杂装备制造的设计开发，为MBSE在中国的大规模发展积累了宝贵的经验。航天企业普遍设置了MBSE相关部门单位，开展了MBSE试点工作，深刻意识到只有在世界最先进的工业系统管理体系下，才能开发出最先进的现代工业产品。此外，许多一线的MBSE建模人员不断探索系统工程建模的方法论，已经逐步积累一套行之有效的建模方案，为未来系统工程的发展留下了希望的火种。许多高科技企业单位的工程师都希望将当代蓬勃发展的基于模型的系统工程理论和当下复杂的产品设计制造有机地结合在一起，为需求管理、制造设计和验证分析等环节赋予新的思考。

系统建模语言(The System Modeling)是当前基于模型的系统工程领域最流行的建模语言。它是一种图形建模语言，通过需求设计、系统设计、系统仿真和验证等工作完成对人员、需求、软件、硬件等各方面建模提供的全面支持，已经成为MBSE领域最可靠的工具方法。2003年，由系统工程专家和软件建模专家组成的协会“SysML Partners”创办了基于UML扩展的建模语言SysML，用于系统工程领域的设计，但还是处于襁褓之中，没有成形的理论体系和语言生态。2007年，国际对象组织和国际系统工程协会经历了一系列学术和技术讨论，正式确立了OMG SysML 1.0规范，标志着SysML从诞生到理论成熟。在此后的十几年中，SysML语言不断完善和发展，逐步成长为系统建模方面成熟可靠的工具。同时得益于SysML的开源特性，国际社会普遍采纳SysML语言作为事实上的建模标准。

在SysML建模语言不断完善、MBSE理论逐渐被工业界采纳的情况下，SysML建模软件如雨后春笋般在市场上涌现。一般的SysML建模软件都是由通用的UML软件发展而来，通常会兼顾模型设计、协调、持久化等功能。而随着建模过程的进行，模型规模从内存能容纳下的MB级规模逐步上升到内存无法容纳的GB乃至TB级别的规模，给模型的持久化和网络传输带来了巨大的挑战。传统的持久化方法如文件存储，全量式数据库存储，都存在着单一、低效，无法满足大规模建模平台数据存储的需求。

发明内容

本发明的目的是提供一种基于混合式存储的模型持久化方法，以解决传统模型持久化不符合规范，且单一低效的问题。

一种基于混合式存储的模型持久化方法，包括步骤：

建模过程中，根据自定义的对象关系映射表对模型数据进行增量式存储到关系型数据库；

建模结束后，创建资源机制，依据该资源机制将模型数据格式化成文件后，并所述文件全量存储到文件系统。

实施例中，自定义一个对象关系映射表，将用户内存地址的模型元素对象和数据库中的关系对应起来。具体地，所述对象关系映射表包括用户表、工程表、profile应用表、构造型属性表、对象表、结构特征表。

在构建对象关系映射表的基础上，为了实现对模型数据进行增量式存储，构建了能够完成模型到关系型数据库的读写操作以及实现关系型数据库连接的可插拔性的数据源中间层，在该数据源中间层中，根据所述对象关系映射表，通过操作语句实现对模型数据的读写操作。

模型系统具有的资源具有原子性，在实现全量式持久化存储，需要将一次性将资源内的模型数据持久化到存储介质中，为了避免和其他用户创建的资源发生命名冲突和混乱，同时方便同一资源内的模型可以引用到其他模型，而不必全量的将被引用的模型数据配置到模型本地，需要构建资源机制，所述资源机制包括：

为每一个资源设定唯一资源标识；

为一个资源内的每个模型设定唯一模型标识。

优选地，所述依据该资源机制将全部模型数据格式化成文件包括：

在资源机制下，解构模型数据成字段信息和模型信息，其中，模型信息包括模型之间关系、模型类型以及模型标识；

序列化所述模型信息，获得模型信息序列化结果；

序列化所述字段信息，获得字段信息序列化结果；

依据模型之间关系对所述模型信息序列化结果和所述字段信息序列化结果重新组织成文件。

其中，所述序列化所述字段信息，获得字段信息序列化结果包括：

当字段信息为数值类型时，直接保留原有数值为字段信息序列化结果；

当字段信息为引用类型时，解析所述字段信息，获得的引用模型的模型标识为字段信息序列化结果。

为了优化缓存，避免占用CPU，在进行全量式持久化时，分配内存映射区域作为存储桥梁，格式化获得的文件被写入到所述分配内存映射区域，所述内存映射区域内数据落入页缓存地址后，会自动持久化到文件系统。

为了提升存储效率和存储安全性，格式化获得的文件被存储之前，对所述文件进行加密和压缩。其中，可以采用非对称加密算法对所述文件进行加密。

本发明提供的基于混合式存储的模型持久化方法中根据模型大小以及模型状态(建模过程中或建模结束)采用增量式存储和/或全量式存储，满足大规模建模平台数据存储的需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的基于混合式存储的模型持久化方法的流程图；

图2是实施例提供的将模型数据格式化成文件全量式持久化过程图；

图3是实施例提供的数据库表设计图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

图1是实施例提供的基于混合式存储的模型持久化方法的流程图。参见图1，实施例提供的模型持久化方法包括：针对全量式存储和增量式存储两个不同的场景，构建了基于文件存储的全量持久化方式和基于关系型数据库的增量持久化方式。增量式持久化一般既适用于大规模模型的持久化，也适用于中小规模模型的持久化，且一般应用到建模过程中。全量持久化一般适用于中小规模模型的持久化，且一般应用到建模结束后，针对全部模型进行全量式存储，解决了结构不规范、安全性不足等缺点。

阶段1，建模活动进行中进行增量式持久化

针对增量式持久化的场景，选择关系型数据库进行底层设计。其中包括对象关系映射表的设计，用以建立模型到关系型数据库的桥梁，以及数据源中间层架构的设计，保证映射策略的实现、模型数据查询能力和数据库的可拔插性。下面针对每部分进行说明。

设计对象关系映射表

为了突破UML和元模型规范的严格约束，获得更灵活、更快捷的存储效果，设计了更好的对象关系映射表，主要遵循两个原则，1)不需要确保透明的对象-关系映射层和底层数据库存储严格遵照元模型规范，只要保证用户层数据的正确性和完整性；2)表的设计满足数据库第三范式。

因此设计如下表结构：

该表的数据库表设计如图3所示，图中t_user(用户表)主键为user_id(用户编号)，代表注册在建模平台中的一个用户。t_project(工程表)主键为project_id(工程编号)，通过外键user_id(工程编号)和t_user(用户表)表建立联系，一个用户下可建立多个工程。t_profile_application(概况应用表)主键为profile_application_id(概况应用编号)，通过外键project_id(工程编号)和t_project(工程表)表建立联系，一个工程下可应用多个profile(概况)。t_stereotype_application(构造型应用表)主键为stereotype_application_id(构造型应用编号)，通过外键profile_application_id(概况应用编号)和t_profile_application(概况应用表)表建立联系，通过外键eobject_id(对象编号)和t_eobject(对象表)表建立联系，一个stereotypeApplication(构造型应用)对象隶属于一个Profile(概况)，同时也会唯一对应一个EObject(建模对象)对象。t_stereotype_attribute(构造型属性表)主键为stereotype_attribute_id(构造型属性编号)，通过外键steretype_application_id(构造型应用编号)和t_stereotype_application(构造型应用表)表建立联系，一个stereotype(构造型)属性隶属于一个已经应用在具体EObject(建模对象)对象上的stereotypeApplication(构造型应用)对象。t_eobject(对象表)主键为eobject_id(对象编号)，通过外键project_id(工程编号)和t_project(工程表)表建立联系，每个工程下有多个EObject(建模对象)对象，每个EObject(建模对象)对象隶属于唯一的工程。t_structural_feature(结构特征表)主键为structural_feature_id(构造属性编号)，通过外键eobject_id(对象编号)和t_eobject(对象表)表建立联系，每个EObject(建模对象)对象下包含多个structureFeature(结构特征)对象，即字段。

设计数据源中间层

数据源中间层是为承接上层用户操作和维持底层数据库操作设计的重要结构层次。为了将用户对模型的操作和底层数据库数据的增删改成有机地结合起来，需要在数据源中间层中设计良好的语义转换机制，将用户操作编译成数据库可以理解的SQL语句。使用了参数化机制来实现用户操作和数据库SQL语句之间的转换。参数化查询是指在执行查询前预先编译设计好SQL，一旦将具体参数填充进去就可以正常执行查询。

一般的，为用户对于特征或对象的获取预先设计好SQL语句，并将SQL中的一些关键参数，如连接条件、过滤条件等设置成未知数。当用户进行具体操作时，再从上层接口中获取参数填充到SQL中，从而可以正常在执行数据库增删改查操作。在建模系统中，将SQL语句需要的具体参数封装在ParameterContext(上下文参数)对象中，这个对象可以在运行时根据上下文环境自动组装参数内容供后续使用。

阶段2，建模活动结束后进行全量式持久化

全量持久化需要构建资源机制，设计遵循元模型规范的格式化方法，加密与压缩设计以及缓存优化。针对每一部分详细说明如下：

构建资源机制

对于全量式持久化，在逻辑层面提出了一套资源机制，保证持久化能正常、稳定、有序地进行。模型系统中的资源具有原子性，这意味着全量持久化只能一次性将资源内的模型持久化到存储介质中。同时，资源可以实现定制化的持久化过程，提供了丰富的选项来支持对持久化中的功能做一定的调整。在一个资源内，可用通用唯一模型识别码来唯一标识一个模型，而不需要考虑是否和其他资源内的识别码同名。通用唯一模型识别码可以用作对象的引用符号，方便同一资源内的模型可以引用到其他模型，而不必全量的将被引用的模型数据配置到模型本地，大大减少了存储空间上的浪费。资源不仅仅在全量持久化层面上被视为最小的存储单位，同时在模型工程设计的层面上也是工程的唯一主体。用户建立的一个模型工程和底层的一个资源是一一对应的，用户导入的第三方库和使用的构造型都只在本资源内可用。同理，其他资源如果希望使用本资源内部的模型，也必须先进行导入操作。用统一资源标识符(URI)来唯一标识一个资源。通过URI可以很方便地通过网络或者文件系统定位到我们需要获取的资源，同时避免和其他用户创建的资源发生命名冲突和混乱。

设计遵循元模型规范的格式化方法

如图2所示，格式化过程包括解构过程、序列化过程和重组过程。解构过程实际上就是将所有模型元素及其下属的字段从模型树中抽象出来，保证其原有的父子关系、模型类型、字段信息和字段数值，形成一个个独立的、以模型元素为单元的持久化单位。具体地，解构模型数据成字段信息和模型信息，其中，字段信息分为数值类型的字段信息，还包括引用类型的字段信息，所述引用类型是指该字段信息表达的内容中存在引用关系，指向其他模型。模型信息包括模型之间关系、模型类型以及模型标识。模型之间关系是指模型之间的连接关系，一般在模型树中对应父子关系。

在序列化过程中，将解构出来的持久化单位按照一定规律进行序列化。针对模型信息，也就是模型元素对象，抽象出模型类型信息、父子单位信息和模型标识符，并对其下属的字段进行处理。对于字段信息需要依据字段类型不同分别进行序列化。其中对于数值类型，保留其原有数值为序列化结果；而对于引用类型，则转换为引用的对象元素的唯一模型标识符为序列化结果。

在重组过程中，对经过解构和序列化后得到的以模型元素为单元的数据，按照最初的父子关系，重新组织起来形成文本，最终持久化到文件中。

设计加密与压缩机制

为了保证文件持久化的安全性与效率需要对文件进行压缩和加密处理。在压缩机制方面，主要考虑压缩/解压缩的速度与压缩率的平衡，实施例提出了适当降低压缩率以保证压缩速度/持久化内存较便宜价格的优势的全新方法。同时，在加密方面，提出基于非对称加密算法来对文件进行加密处理，来最大程度保证信息的安全性。

缓存优化

对于内存无法容纳全部待持久化模型的情况，利用页缓存进行了优化。为了实现缓存优化，分配一定数量的内存映射区域，它将用户内存地址空间和页缓存地址空间建立起映射从而形成一片可控的页缓存区域，同时也方便DRAM和磁盘越过CPU的操控，通过DMA机制直接通信，避免对宝贵的CPU时间的占用。接着将压缩好的字节数据在分配的内存映射区域上写入，如果写入数据已经到达了区域边界，则从区域开始处重新开始下一步写入过程。在这一过程中，内存映射区域的数据落入页缓存后，每隔一段时间会自动地持久化到磁盘中。已经被持久化的页缓存数据已经处于可被覆盖的状态，后续的字节数据可以落入到被持久化数据所占用的内存空间中。通过这种优化手段，可以利用有限的内存区域来实现超大规模的文件存储，而不必受限于虚拟内存的大小。

实施例提供的基于混合式存储的模型持久化方法中根据模型大小以及模型状态(建模过程中或建模结束)采用增量式存储和/或全量式存储，满足大规模建模平台数据存储的需求。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于混合式存储的模型持久化方法，其特征在于，包括步骤：

建模过程中，根据自定义的对象关系映射表对模型数据进行增量式存储到关系型数据库；

建模结束后，创建资源机制，依据该资源机制将模型数据格式化成文件后，并所述文件全量存储到文件系统。

2.如权利要求1所述的基于混合式存储的模型持久化方法，其特征在于，所述对象关系映射表包括用户表、工程表、profile应用表、构造型属性表、对象表、结构特征表。

3.如权利要求1或2所述的基于混合式存储的模型持久化方法，其特征在于，根据所述对象关系映射表，通过操作语句实现对模型数据的读写操作。

4.如权利要求1所述的基于混合式存储的模型持久化方法，其特征在于，所述资源机制包括：

为每一个资源设定唯一资源标识；

为一个资源内的每个模型设定唯一模型标识。

5.如权利要求1所述的基于混合式存储的模型持久化方法，其特征在于，所述依据该资源机制将全部模型数据格式化成文件包括：

在资源机制下，解构模型数据成字段信息和模型信息，其中，模型信息包括模型之间关系、模型类型以及模型标识；

序列化所述模型信息，获得模型信息序列化结果；

序列化所述字段信息，获得字段信息序列化结果；

依据模型之间关系对所述模型信息序列化结果和所述字段信息序列化结果重新组织成文件。

6.如权利要求5所述的基于混合式存储的模型持久化方法，其特征在于，所述序列化所述字段信息，获得字段信息序列化结果包括：

当字段信息为数值类型时，直接保留原有数值为字段信息序列化结果；

当字段信息为引用类型时，解析所述字段信息，获得的引用模型的模型标识为字段信息序列化结果。

7.如权利要求1所述的基于混合式存储的模型持久化方法，其特征在于，分配内存映射区域作为存储桥梁，格式化获得的文件被写入到所述分配内存映射区域，所述内存映射区域内数据落入页缓存地址后，会自动持久化到文件系统。

8.如权利要求1所述的基于混合式存储的模型持久化方法，其特征在于，格式化获得的文件被存储之前，对所述文件进行加密和压缩。

9.如权利要求8所述的基于混合式存储的模型持久化方法，其特征在于，采用非对称加密算法对所述文件进行加密。

Images