CN108038222A - 用于信息系统建模和数据访问的实体-属性框架的系统 - Google Patents

用于信息系统建模和数据访问的实体-属性框架的系统 Download PDF

Info

Publication number
CN108038222A
CN108038222A CN201711408077.2A CN201711408077A CN108038222A CN 108038222 A CN108038222 A CN 108038222A CN 201711408077 A CN201711408077 A CN 201711408077A CN 108038222 A CN108038222 A CN 108038222A
Authority
CN
China
Prior art keywords
data
entity
attribute
information
management module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711408077.2A
Other languages
English (en)
Other versions
CN108038222B (zh
Inventor
李勇
盛钢
徐化岩
梁青艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Automation Research and Design Institute of Metallurgical Industry
Original Assignee
Automation Research and Design Institute of Metallurgical Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Automation Research and Design Institute of Metallurgical Industry filed Critical Automation Research and Design Institute of Metallurgical Industry
Priority to CN201711408077.2A priority Critical patent/CN108038222B/zh
Publication of CN108038222A publication Critical patent/CN108038222A/zh
Application granted granted Critical
Publication of CN108038222B publication Critical patent/CN108038222B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2428Query predicate definition using graphical user interfaces, including menus and forms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems

Abstract

一种用于信息系统建模和数据访问的实体‑属性框架的系统,属于信息技术领域,包括实体属性建模模块、存储管理模块、过程信息管理模块、物化视图管理模块、扩展查询引擎模块、用户UI模块,见图1。其中,实体属性建模模块负责系统的建模功能。优点在于,能够快速地对业务对象进行建模并反馈到数据的存储,提高了系统建模的效率,而且数据能够随着数据量的增加而平行扩展,用户不需要关心数据存储的结构和方法,从而降低了系统的复杂性;在数据访问上,提供了一种扩展SQL中列标记定义的方法,用户可以通过列标记定义灵活地筛选、排序数据,提高了系统的灵活性。

Description

用于信息系统建模和数据访问的实体-属性框架的系统
技术领域
本发明属于信息技术领域,特别是提供了一种用于信息系统建模和数据访问的实体-属性框架的系统,在本系统中提出了通过一种实体信息和属性信息组合框架建立统一描述业务模型的信息结构和处理业务模型生命周期的方法。
背景技术
信息系统是对信息进行采集、处理、存储、管理、检索和传输的系统,信息系统常见的建模方法有结构化方法、面向对象方法、原型法、基于流程网络建模方法、面向Agent方法等。其中面向对象方法强调针对问题域中客观存在的事物设定分析模型中的对象,用封装在对象中的属性和行为分别描述事物的静态和动态的特征、行为;用类描述具有相同属性和行为的对象群;用对象的结构描述客观事物的分类和特征;用消息连接、实例连接表示事物之间的动态和静态联系。现在一种非常流行的面向对象方法为统一建模语言(UnifiedModeling Language)UML,UML由视图(Views)、图(Diagram)、模型元素(Model element)等几个部分构成。视图描述被建模的各个方面,为系统建立多个模型,这些模型都反映同一个系统,且具有一致性。图包含多种类型的图形、如用例图,描述视图的内容;模型元素包括面向对象的类、对象、消息和关系等概念,是构成图的最基本概念。面向对象在信息系统的建设中起了巨大的作用,但是从面向对象的系统设计来说,对象类型很多,对象之间的关系也比较复杂,对象之间的接口也比较多,在利用面向对象开发大型信息系统的时候系统结构很复杂,开发者开发了面向对象的软件复用技术,开发了大量的组件库,提倡通用接口技术,降低了构建信息系统的门槛,但还是尚存缺憾,如何进一步对面向对象进行抽象,降低系统的复杂性是一个艰巨的任务。
结构化查询语言(SQL)是关系数据库系统的系统建模语言和工具。SQL的体系结构主要是三级结构,表、行、列分别代表SQL的三级。首先,一个SQL数据库是表(Table)的集合,它由一个或多个SQL模式定义;一个SQL由行集构成,一行是列的序列,每列与行对应一个数据项;一个表或者是一个基本表或者一个视图,一个基本表对应一个或者多个存储文件,代表一个专门的业务对象信息,而视图由一个或多个表定义的SQL语句得到,代表数据信息的部分切面和部分行集信息;SQL语句通过数据来描述业务系统,包含了元数据和存储定义、数据操作定义、不同的数据库系统大都提供符合统一规范的SQL定义,用户可以通过统一的数据库访问对象通过SQL操作数据库。
SQL92是一种数据库系统的ANSI/ISO标准,她是一种在SQL89上增强的标准,包括支持更多的数据类型,更多字符集、更多排序规则,更多权限能力;支持更多标量操作,支持连接字符串和取字符串的字符的字符串操作,日期和时间操作,支持条件表达式的形成;更多的集合操作符,支持内连接、集合求并集、差集、交集等集合操作,支持对元数据的编辑(特别是DROP和ALTER语句),支持在Ada、C、MUMPS语言中嵌入SQL语句(模块和嵌入式语法),更多的权限能力,更多的引用完整性的能力,包括引用的动作,检查约束中的子查询,单独的断言,以及用户控制约束的推迟,支持SQL语言的动态执行,支持某些设施所需的远程数据库访问(尤其是连接的管理语句和合格的方案名称),支持临时表,支持各级事务的一致性,支持数据类型转换(各种数据类型使用CAST表达式),支持滚动游标。
反射技术则提供了封装程序集、模块中的类型和对象。您可以使用反射动态地创建类型的实例,将类型绑定到现有对象,或从现有对象中获取类型。然后,可以调用类型的方法或访问其字段和属性。
JSon定义为JavaScript Object Notation,是一种轻量级的数据交换格式,采用完全独立于编程语言的文本格式来存储和表示数据,结构简洁和清晰,在Web领域应用较多。
在分布式存储系统中,数据需要分散存储在多台设备上,数据分片(Sharding)就是用来确定数据在多台存储设备上分布的技术。数据分片的原则有:分布均匀,即每台设备上的数据量要尽可能相近;负载均衡,即每台设备上的请求量要尽可能相近;扩缩容时产生的数据迁移尽可能少
发明内容
本发明的目的在于提供用于信息系统建模和数据访问的实体-属性框架的系统,能够快速地对业务对象进行建模并反馈到数据的存储,提高了系统建模的效率,而且数据能够随着数据量的增加而平行扩展,用户不需要关心数据存储的结构和方法,只需要关注数据管理和查询接口即可,从而降低了系统的复杂性;在数据访问上,提供了一种扩展SQL中列标记定义的方法,用户可以通过在查询列上添加标记定义筛选、排序、汇总数据,提高了系统的灵活性。
本发明包括实体属性建模模块、存储管理模块、过程信息管理模块、物化视图管理模块、扩展查询引擎模块、用户UI模块,见图1。其中,实体属性建模模块负责系统的建模功能,主要功能是将业务模型映射到实体和属性信息的集合,它与过程信息管理模块和存储管理模块连接,为过程信息管理模块和存储管理模块提供模型元数据信息;存储管理模块负责与实体属性建模模块相连,通过模型信息的定义来实现实体和属性数据管理,再和扩展查询引擎模块和物化视图管理模块相连接,为它们提供查询或者生成视图所需要的模型数据;过程信息管理模块从实体属性建模模块获得模型配置信息,然后根据外部离散连续信号的触发,实现实体属性时变信息的管理,时变的数据再发送给存储管理模块进行归档;扩展查询引擎模块与存储管理模块和物化视图管理模块、用户UI模块连接,查询所需要的数据来自存储管理模块,物化视图模块则调用扩展查询引擎模块执行查询,将查询后的结果写入存储管理模块的物化实体存储表中,后续用户再调用扩展查询引擎模块查询该视图的时候将直接使用对应存储表的内容,降低查询负荷,提高性能;用户UI模块则和用户查询模块相连接,使用图表、表格的方式展示模型的数据。
实体属性建模模块的主要功能是对业务模型进行分解,将实际业务对象分解为实体与属性、实体与实体信息的组合、继承关系模型,为后续的存储管理提供模型元数据信息,从而实体定义是一种层次化的组合结构,见图2。在后续的存储管理模块中,不同的实体的存储结构是不一样的。
实体存储类型包括表格、普通视图、物化视图、用户程序视图类型,普通视图和物化视图非常相似,在视图定义中都包含用户需要查询的列信息和条件信息、分组信息和条件信息,视图的数据需要调用扩展查询模块完成,可以按行集类型动态返回实体数据信息,但不同的是,普通视图的执行是由系统触发的,而物化视图的数据更新是由系统自动触发的,系统会动态计算并保存查询结果并存储在物理硬盘上,用户在查询物化视图的时候就和查询普通表格一样,这样可以大大提高系统的性能;用户程序类型视图代表一个自定义的用户数据查询视图,表格的数据是通过外部程序计算得到的,程序提供访问数据的参数信息,在系统初始化的时候系统会通过反射的方式将外部程序挂载在视图访问点,在用户在调用SQL访问数据的时候,用户会从SQL中解析出程序视图名称和相关参数,通过反射方式调用程序内部相应的函数接口来完成。属性类型除了包括字符串类型、整形类型、日期类型、数组类型、JSon类型、可变长度类型、二进制类型等,还包括计算属性类型。计算属性中包含一个自定义公式定义,确定当前属性的取值依赖于哪些其他实体和属性信息,属性的值存储也分动态和静态两种类型,动态实体属性的计算是在执行查询的时候完成的,静态实体的属性计算则是在整个实体的数据变更的时候计算得到的,在查询的时候静态属性可以和普通属性一样被直接引用而不用附加额外的查询操作,可以大大提高查询效率。另外,有些实体的信息有自耦属性,实体的数据实例和父亲实例存在关联关系,我们用父亲节点ID字段代表父亲字段,在查询的时候系统会通过数据的自耦关系递归运算,避免用户调用复杂的SQL嵌套语句。
有了实体和属性的定义,在系统初始化阶段,系统会分析系统中实体与实体之间、实体与属性之间、属性与属性之间的组合关系和继承关系,构造层次化的元数据结构信息树,每个实体的属性信息位于这个信息树的一个叶子节点上,我们定义从实体‐属性树根节点到叶子节点的绝对路径为属性路径。
在实体属性建模模块中,提供了一种引擎,可以分析面向对象的模型结构,将面向对象的模型结构转换为实体‐属性结构,方法是:
(1)预先建立问题域中一些常见的实体属性信息库备用,这个实体属性集合可以包含实体和属性和继承关系信息,为了优化查询,可以为这些实体属性信息预先建立存储数据结构;
(2)递归遍历面向对象的程序结构,建立对象类结构树,在建立对象类结构树的时候,需要综合实体对象及其属性的类型、名称进行分析,提取出相似的类对象结构建立继承属性结构;
(3)分析并计算对象结构树中的对象与已有实体信息库的实体、本对象体系中的其他对象的相似度,如果当前对象树中的对象相似度和已有对象域里的对象的相似度达到一定的阀值,认为当前对象节点为已有对象的一个实例的变种,在对象属性信息存储的时候,首先需要存储对象原型的相关信息,然后存储本实体相关的变化信息;如果当前对象树中对象和当前对象树中的其他对象的相似度的差值小于一定阀值,则认为两个对象属于继承关系,再检查父级对象和已有对象域中的对象的相似度,如果相似度未达到阀值,则需要在已有对象域中建立新的对象类型,当前对象、父亲对象为继承关系,父亲对象和已有对象域中的对象类型关联,为对象类型的实例化。在对象存储的时候还是首先存储对象类型的数据,再存储本实体特有的数据,读取的时候首先读取对象类型的数据,然后再读取本实体特有的属性信息数据覆盖对象类型上的同名属性对应的值,最后得到对象全部属性的真实值。
过程信息管理模块管理实体‐属性信息模型中所有实体和属性信息随着时间变化的信息,实现对实体‐属性框架中的模型数据全生命周期的管理。在模块初始化阶段,首先会读取所有的实体和属性信息,获得实体属性的依赖关系树,然后系统就处于等待状态,不断等待外部的新的带时标数据输入。对于新的输入,系统首先对数据行进行解析,分析数据中包含哪些实体和属性,然后根据实体与属性、实体与实体的依赖和关联关系将数据分解为多个元组信息,每个元组代表作用在一个单一实体属性信息的输入,被依赖的实体/属性的数据在前面,依赖的实体/属性信息在后面,每条数据的更新都对应一个事件操作,我们用一个这样的信息集合(实体,属性路径,事件ID,当前时间戳,当前值,最新时间戳,最新值)来表示系统实时变化状态,这些信息可以作为数据恢复的还原点,存储模块会存储属性的最新值;在数据需要撤销的时候,系统可以根据数据更新记录倒序处理所有的操作记录,对数据进行回溯,数据回溯到相应的还原点上;在访问实体和属性的过程信息的时候,需要结合数据时标变化和实体属性组合、继承关系来访问指定属性的数据的历史值、当前值和最新值。
存储管理模块负责将数据存储到数据库系统或者其他存储系统中,在系统初始化阶段,我们根据实体及其属性的信息将将实体的逻辑结构映射到数据库关系表、视图结构、物化视图中,属性信息映射到数据表的字段上,在实体和属性的模式发生变化的时候,实体属性的变化可以自动同步到数据库的表结构定义上。另外在实体和属性上我们可以定义数据的分片模式,定义按照不同数据关键字的范围将数据的存储映射到不同的物理存储表格中,在不同的存储单元之间实现数据存储的数量和访问频率的负载均衡,提高数据的查询效率;另外对于一些特定的属性信息,我们可以选择数据按行存储或者按列存储的方式,在列上可以进行数据的压缩,提高数据的存储效率。
物化视图存储模块负责根据物化视图的查询信息定义,执行动态查询,将查询的结果存储到物理表格中,在用户查询的时候可以直接返回物理表格的数据,提高查询效率。在系统中对于物化视图的更新采用增加扫描线程跟踪实体数据的更新事件,在实体数据发生变动的时候自动更新物化视图的数据,同时记录变更日志;在更新出现问题的时候,系统会根据日志进行重试保存或者执行数据撤销回滚操作。
扩展查询引擎模块负责解析用户的查询输入信息,检索相关的物理表格,将返回的数据组织为实体‐属性数据信息元组的表示形式;在表格上实现数据分片的情况下,系统会根据表格上数据的查询条件检索关键码的范围,根据数据的分片信息从多个物理表格中读取数据后汇总后再和其他表格做连接查询操作。另外,在扩展查询引擎模块中,除了满足标准的查询请求以外,实现了扩展查询请求,扩展查询请求的是基本SQL查询的基础上,通过在数据列上标记特殊筛选条件,在基本查询结果的基础上再筛选数据,达到一些特殊查询需求
用户UI模块主要用于数据前端展示,表现形式为一些WEB页面和查询脚本,在WEB页面上会绘制数据表格或者图表来进行呈现,数据来自于查询脚本,查询脚本调用扩展查询引擎接口访问模型的配置数据和时变数据。
一种常见的系统部署方式为三级部署结构,实体属性建模模块、过程信息管理模块、存储管理模块、物化视图管理模块、扩展查询引擎模块都部署在一台单独的应用服务器上,有一台专门数据存储系统与该应用服务器连接;有一台WEB服务器,部署了用于访问该系统数据的系统管理和数据查询组件,用户通过浏览器进行系统建模、数据管理和查询操作,浏览器和WEB服务器连接,WEB服务器和应用服务器连接,见图3。
附图说明
图1为实体-属性框架模块连接关系图。
图2为实体-属性框架模型结构图。
图3为实体-属性框架系统部署结构图。
具体实施方式
本发明包括实体属性建模模块、存储管理模块、过程信息管理模块、物化视图管理模块、扩展查询引擎模块、用户UI模块,见图1。其中,实体属性建模模块负责系统的建模功能,主要功能是将业务模型映射到实体和属性信息的集合,为存储管理模块提供基本的模型元数据信息,它与过程信息管理模块和存储管理模块连接,为过程信息管理模块和存储管理模块提供模型元数据信息;存储管理模块负责与实体属性建模模块相连,通过模型信息的定义来实现实体和属性数据基本信息的管理和生命周期管理,它再和扩展查询引擎模块和物化视图管理模块相连接,为它们提供查询或者生成视图所需要的模型数据;过程信息管理从实体属性建模模块获得模型配置信息,然后根据外部离散连续信号的触发,实现实体属性时变信息的管理,时变的数据再发送给存储管理模块进行归档;扩展查询引擎模块与存储管理模块和物化视图管理模块、用户UI模块连接,查询所需要的数据来自存储管理模块,物化视图模块则调用扩展查询引擎模块执行查询,将查询后的结果写入存储管理模块,后续用户再调用扩展查询引擎模块查询该视图的时候可以直接使用对应存储表的内容,降低查询负荷,提高性能;用户UI模块则和用户查询模块相连接,使用图表、表格的方式展示模型的数据。
实体属性建模模块将实际业务对象分解为实体与属性、实体与实体信息的组合、继承关系模型。在本系统中,实体是由属性信息和其他实体信息组合而来的,分别称之为子实体和子属性;子实体的也可以由其他实体和属性组合而来;实体和实体之间的关系除了组合关系以外,还有继承关系,属性可以继承属性,实体可以继承实体,继承的实体对象包含所继承对象全部的实体和属性信息,如果两个实体有包含的实体信息和属性信息,则对应的实体的定义以继承对象为准,属性在继承属性的时候,需要检查两个属性的定义有哪些区别,新的属性的定义是以原有的属性为基础修改相应的属性字段得到。相应的,在实体或者属性信息发生变化的时候实体的存储配置必须得到同步更新,否则实体的存储可能发生错误;如果当前实体的存储结构不支持数据类型的更改,实体建模模块在修改实体或者属性配置的时候就会收到警告信息和操作提示。
在本系统中实体对应的每条数据都有一个唯一的ID,在向系统输入实体的数据的时候,系统总是获取一个新的ID,在系统中维护一个所有类型实体的最大ID的数据结构,在系统输入一条新数据的时候当前实体的获取一个新的ID为最大ID+1,同时对应实体的最大ID得到更新;如果该实体是一个组合实体的时候,需要按照实体组合的关系,首先从新数据中分解出被组合实体的数据,创建新记录并得到对应记录的ID,然后当前记录当前的组合实体字段替换为组合实体的ID然后再保存数据;如果被组合对象不可更改,是引用关系,则在得到被组合实体的数据的时候,需要根据被组合对象的数据表格检索对象的ID,然后将当前记录的组合实体字段替换为检索到的对象的ID。
相似度计算需要考虑对象类和实体的名称类型,包含的实体或者类的名称、类别、属性的类型,属性的可见度,属性的继承关系、属性相关的约束信息等限制,这些信息在计算相似度的时候每一项都可以赋予一个权重,采用加权平均的方法求解对象的相似度指标,相似度指标可以作为对象的特征编码存储,在系统对象的结构分解和属性分解的时候需要重新计算相似度指标。
在扩展查询引擎模块中,除了满足标准的查询请求以外,实现了扩展查询请求,扩展查询请求的是基本SQL查询的基础上,通过在数据列上标记特殊筛选条件、分组信息、聚合函数,在查询表格上标识主实体、对象实体映射信息、行筛选信息等手段,在基本查询结果的基础上再筛选数据,达到一些特殊查询需求。用户的查询输入用下面表格中的信息结构表示,其中对象属性表达式、条件字符串和连接条件满足SQL92规范。
(1)主实体信息代表需要查询的主实体,如果在所有出现属性信息的地方中无法确定属性对应的实体,则用主实体代替。
(2)属性信息属性信息包括多个对象‐属性表达式,表达式之间用逗号分隔。对象‐属性表达式该表达式支持标准的SQL标准,支持别名信息。
(3)分组列信息。描述查询后的表格数据按照哪些列进行分组统计。
(4)在对象表达式后面可以添加列筛选信息。列上的筛选信息用于描述如何根据分组条件在列上过滤、排序、计算数据,作用是在总的查询条件和数据分组的基础上进一步匹配和筛选数据,达到缩小数据范围和完成某种特定类型的查询需求。
(5)排序列信息确定返回的数据表格按照哪些列进行排序,哪些列是正序,哪些列是反向排序;
(6)对象实体映射表确定在查询列中,每个列的对应的实体对象对应哪些实际实体,在通过实体去查找真实的存储表格;
(7)在本专利的时候默认的连接关系是通过实体与实体组合关系得到的,如果实体1组合了实体2,并且查询列中均包含了实体1和实体2对应的列,则默认的连接关系中会出现实体2通过主键列连接实体对应的列,在系统建表的时候会自动创建实体1和实体2之间的外键关系。通过在查询请求中加入用户自定义的连接关系,可以补充对象之间除了外键关系之外的连接关系,可以实现对数据的精确检索;在某些情况下,这些连接条件比较固定,则可以将自定义的连接关系加入默认的表连接关系配置里面,只需要在表格列里面配置好关联的属性,则在查询的时候系统会检索默认的表连接配置,构造查询SQL的时候可以补齐连接关系信息;另外,SQL连接中有连接类型如自然连接,左连接右连接的情况,系统约定主实体和其他对象的连接可以是左连接和自然连接,但不可是右连接;如果系统中配置了非主实体的条件字符串,则在条件字符串中的实体系统会进行综合判断,决定是采用自然连接还是左连接操作构造查询字符串。
(8)行筛选是确定如何从源数据集合中首先筛选数据的子集后再进行进一步的扩展查询操作。系统支持两种筛选操作,一种是基于开始行和结束行的筛选,另外一种是基于一个固定的行号和行数的筛选方法。

Claims (6)

1.一种用于信息系统建模和数据访问的实体-属性框架的系统,其特征在于,包括,实体属性建模模块、存储管理模块、过程信息管理模块、物化视图管理模块、扩展查询引擎模块、用户UI模块,实体属性建模模块负责系统的建模,它与过程信息管理模块和存储管理模块连接,为过程信息管理模块和存储管理模块提供模型元数据信息;存储管理模块负责与实体属性建模模块相连,通过模型信息的定义来实现对实体和属性数据基本信息的管理和生命周期管理,它再和扩展查询引擎模块和物化视图管理模块相连接,为它们提供查询或者生成视图所需要的模型数据;过程信息管理从实体属性建模模块获得模型配置信息,然后根据外部离散连续信号的触发,实现实体属性时变信息的管理,时变的数据再发送给存储管理模块进行归档;扩展查询引擎模块与存储管理模块和物化视图管理模块、用户UI模块连接,查询所需要的数据来自存储管理模块,物化视图模块则调用扩展查询引擎模块执行查询,将查询后的结果写入存储管理模块,后续用户再调用扩展查询引擎模块查询该视图的时候将直接使用对应存储表的内容,降低查询负荷,提高性能;用户UI模块则和用户查询模块相连接,使用图表、表格的方式展示模型的数据;
实体属性建模模块的功能:将业务模型映射到实体和属性信息的集合,为存储管理模块提供基本的模型元数据信息,对业务模型进行分解,将实际业务对象分解为实体与属性、实体与实体信息的组合、继承关系模型,为后续的存储管理提供模型元数据信息;
实体属性建模模块、过程信息管理模块、存储管理模块、物化视图管理模块、扩展查询引擎模块都部署在一台单独的应用服务器上,有一台数据存储系统与该应用服务器连接;有一台WEB服务器,部署了用于访问该系统数据的系统管理和数据查询组件,用户通过浏览器进行系统建模、数据管理和查询操作,浏览器和WEB服务器连接,WEB服务器和应用服务器连接。
2.根据权利要求1所述的系统,其特征在于,在系统初始化阶段,系统会分析系统中实体与实体之间、实体与属性之间、属性与属性之间的组合关系和依赖关系,构造层次化的元数据结构信息树,每个实体的属性信息位于这个信息树的一个叶子节点上,定义从实体‐属性树根节点到叶子节点的绝对路径为属性路径;在实体属性建模模块中,提供了一种引擎,能分析面向对象的模型结构,将面向对象的模型结构转换为实体‐属性结构。
3.根据权利要求2所述的系统,其特征在于,将面向对象的模型结构转换为实体‐属性结构的方法如下:
(1)预先建立问题域中一些常见的实体属性信息库备用,这个实体属性集合能包含实体和属性关联与继承关系信息,为了优化查询,能为这些实体属性信息预先建立存储数据结构;
(2)递归遍历面向对象的程序结构,建立对象类结构树,在建立对象类结构树的时候,需要综合实体对象及其属性的类型、名称进行分析,提取出相似的类对象结构建立继承属性结构;
(3)分析并计算对象结构树中的对象与已有实体信息库的实体、本对象体系中的其他对象的相似度,当当前对象树中的对象相似度和已有对象域里的对象的相似度达到一定的阀值,认为当前对象节点为已有对象的一个实例的变种,在对象属性信息存储的时候,首先需要存储对象原型的相关信息,然后存储本实体相关的变化信息;当当前对象树中对象和当前对象树中的其他对象的相似度的差值小于一定阀值,则认为两个对象属于继承关系,再检查父级对象和已有对象域中的对象的相似度,当相似度未达到阀值,则需要在已有对象域中建立新的对象类型,当前对象、父亲对象为继承关系,父亲对象和已有对象域中的对象类型关联,为对象类型的实例化。在对象存储的时候还是首先存储对象类型的数据,再存储本实体特有的数据,读取的时候首先读取对象类型的数据,然后再读取本实体特有的属性信息数据覆盖对象类型上的同名属性对应的值,最后得到对象全部属性的真实值。
4.根据权利要求1所述的系统,其特征在于,过程信息管理模块管理实体‐属性信息模型中所有实体和属性信息随着时间变化的信息;在模块初始化阶段,首先会读取所有的实体和属性信息,获得实体属性的依赖关系树,然后系统就处于等待状态,不断等待外部的新的带时标数据输入;对于新的输入,系统首先对数据行进行解析,分析数据中包含哪些实体和属性,然后根据实体与属性、实体与实体的依赖和关联关系将数据分解为多个元组信息,每个元组代表作用在一个单一实体属性信息的输入,被依赖的实体/属性的数据在前面,依赖的实体/属性信息在后面,每条数据的更新都对应一个事件操作,用一个“实体,属性路径,事件ID,当前时间戳,当前值,最新时间戳,最新值”这样一个信息集合来表示系统实时变化状态,这些信息作为数据恢复的还原点,存储模块会存储属性的最新值;在数据需要撤销的时候,系统根据数据更新记录倒序处理所有的操作记录,对数据进行回溯,数据回溯到相应的还原点上;在访问实体和属性的过程信息的时候,需要结合数据时标变化和实体属性组合、继承关系来访问指定属性的数据的历史值、当前值和最新值。
5.根据权利要求1所述的系统,其特征在于,存储管理模块负责将数据存储到数据库系统或者其他存储系统中,在系统初始化阶段,我们根据实体及其属性的信息将将实体的逻辑结构映射到数据库关系表、视图结构、物化视图中,属性信息映射到数据表的字段上,在实体和属性的模式发生变化的时候,实体属性的变化能自动同步到数据库的表结构定义上;在实体和属性上能定义数据的分片模式,定义按照不同数据关键字的范围将数据的存储映射到不同的物理存储表格中,在不同的存储单元之间实现数据存储的数量和访问频率的负载均衡,提高数据的查询效率;对于一些特定的属性信息,我们可以能选择数据按行存储或者按列存储的方式,在列上可以进行数据的压缩,提高数据的存储效率。
6.根据权利要求1所述的系统,其特征在于,扩展查询引擎模块负责解析用户的查询输入信息,检索相关的物理表格,将返回的数据组织为实体‐属性数据信息元组的表示形式;在表格上实现数据分片的情况下,系统会根据表格上数据的查询条件检索关键码的范围,根据数据的分片信息从多个物理表格中读取数据后汇总后再和其他表格做连接查询操作;另外,在扩展查询引擎模块中,除了满足标准的查询请求以外,实现了扩展查询请求,扩展查询请求的是基本SQL查询的基础上,通过在数据列上标记特殊筛选条件,在基本查询结果的基础上再筛选数据。
CN201711408077.2A 2017-12-22 2017-12-22 用于信息系统建模和数据访问的实体-属性框架的系统 Expired - Fee Related CN108038222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711408077.2A CN108038222B (zh) 2017-12-22 2017-12-22 用于信息系统建模和数据访问的实体-属性框架的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711408077.2A CN108038222B (zh) 2017-12-22 2017-12-22 用于信息系统建模和数据访问的实体-属性框架的系统

Publications (2)

Publication Number Publication Date
CN108038222A true CN108038222A (zh) 2018-05-15
CN108038222B CN108038222B (zh) 2022-01-11

Family

ID=62100814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711408077.2A Expired - Fee Related CN108038222B (zh) 2017-12-22 2017-12-22 用于信息系统建模和数据访问的实体-属性框架的系统

Country Status (1)

Country Link
CN (1) CN108038222B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829884A (zh) * 2018-06-27 2018-11-16 中国建设银行股份有限公司 数据映射方法及装置
CN108874971A (zh) * 2018-06-07 2018-11-23 北京赛思信安技术股份有限公司 一种应用于海量标签化实体数据存储的工具和方法
CN109145121A (zh) * 2018-07-16 2019-01-04 浙江大学 一种时变图数据的快速存储查询方法
CN109583762A (zh) * 2018-11-30 2019-04-05 冶金自动化研究设计院 一种生产流程建模与产品数据追踪的系统
CN110673895A (zh) * 2019-09-29 2020-01-10 浙江中控技术股份有限公司 一种Hibernate创建SessionFactory的方法及装置
CN110928548A (zh) * 2019-11-14 2020-03-27 腾讯音乐娱乐科技(深圳)有限公司 一种数据处理方法以及设备
CN111241129A (zh) * 2019-12-27 2020-06-05 冶金自动化研究设计院 一种工业生产企业指标数据采集与计算的系统
CN111382192A (zh) * 2018-12-28 2020-07-07 北京神州泰岳软件股份有限公司 一种数据列表展示方法、装置和电子设备
CN111767349A (zh) * 2020-06-08 2020-10-13 北京思特奇信息技术股份有限公司 通用的信息系统数据模型推导方法
CN112180776A (zh) * 2020-08-19 2021-01-05 北京航空航天大学 基于设备组件模块的opc ua信息建模方法及装置
CN112486461A (zh) * 2020-11-30 2021-03-12 彩讯科技股份有限公司 一种基于springboot框架的信息处理系统
CN112527796A (zh) * 2020-12-10 2021-03-19 中移(杭州)信息技术有限公司 数据表处理方法、装置及计算机可读存储介质
CN113076086A (zh) * 2021-04-12 2021-07-06 北京元年科技股份有限公司 元数据管理系统和使用其对模型对象进行建模的方法
CN113094360A (zh) * 2021-03-19 2021-07-09 北京优奥创思科技发展有限公司 一种跨行业数据处理方法
CN113590592A (zh) * 2021-08-04 2021-11-02 亚联(天津)信息技术有限责任公司 基于关系型数据库的动态建模方法及设备
CN115292353A (zh) * 2022-10-09 2022-11-04 腾讯科技(深圳)有限公司 数据查询方法、装置、计算机设备和存储介质
CN115543960A (zh) * 2022-09-16 2022-12-30 北京神舟航天软件技术股份有限公司 一种业务对象的动态建模方法和系统
CN117170632A (zh) * 2023-11-02 2023-12-05 浙江大学 基于Vue的SysML模型仿真的用户界面开发系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1967572A (zh) * 2005-11-18 2007-05-23 中国科学院软件研究所 用于业务密集型领域的业务过程管理方法和系统
CN101067814A (zh) * 2007-05-10 2007-11-07 浪潮集团山东通用软件有限公司 数据访问层Xml格式数据与关系数据间的映射转换方法
CN101197876A (zh) * 2006-12-06 2008-06-11 中兴通讯股份有限公司 一种对消息类业务数据进行多维分析的方法和系统
CN101290620A (zh) * 2007-04-18 2008-10-22 中国传媒大学 一种基于数字对象的媒体资产处理方法及系统
US20090198697A1 (en) * 2008-02-05 2009-08-06 Bilger Michael P Method and system for controlling access to data via a data-centric security model
US20090259683A1 (en) * 2008-04-14 2009-10-15 Fiberlink Communications Corporation System and method for business object modeling
CN101615117A (zh) * 2008-06-23 2009-12-30 株式会社日立制作所 软件开发过程建模系统和方法
CN101794315A (zh) * 2010-03-31 2010-08-04 袁梅宇 一种数据库模式固定的对象关系映射模型
CN101908176A (zh) * 2010-08-02 2010-12-08 国电南瑞科技股份有限公司 一种基于电力信息数据建模及元数据管理应用方法
CN102932160A (zh) * 2011-08-10 2013-02-13 中兴通讯股份有限公司 一种资源管理系统
CN103019673A (zh) * 2012-11-14 2013-04-03 北京仟手莲科技有限公司 基于互联网和工作流的智能决策与实体推荐联合系统
CN103714129A (zh) * 2013-12-12 2014-04-09 用友软件股份有限公司 基于条件规则的动态数据结构和关系的构建装置和构建方法
CN103839155A (zh) * 2013-11-13 2014-06-04 重庆大学 一种基于语义网关的异构信息系统模型集成方法
CN104008203A (zh) * 2014-06-17 2014-08-27 浙江工商大学 一种融入本体情境的用户兴趣挖掘方法
CN105224693A (zh) * 2015-11-09 2016-01-06 武汉大学 基于知识建模的空间信息处理方法
CN106326248A (zh) * 2015-06-23 2017-01-11 阿里巴巴集团控股有限公司 数据库数据的存储方法和装置
CN106843835A (zh) * 2016-12-21 2017-06-13 中国电子科技网络信息安全有限公司 一种元数据定制的应用系统软件构建系统、系统构建方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1967572A (zh) * 2005-11-18 2007-05-23 中国科学院软件研究所 用于业务密集型领域的业务过程管理方法和系统
CN101197876A (zh) * 2006-12-06 2008-06-11 中兴通讯股份有限公司 一种对消息类业务数据进行多维分析的方法和系统
CN101290620A (zh) * 2007-04-18 2008-10-22 中国传媒大学 一种基于数字对象的媒体资产处理方法及系统
CN101067814A (zh) * 2007-05-10 2007-11-07 浪潮集团山东通用软件有限公司 数据访问层Xml格式数据与关系数据间的映射转换方法
US20090198697A1 (en) * 2008-02-05 2009-08-06 Bilger Michael P Method and system for controlling access to data via a data-centric security model
US20090259683A1 (en) * 2008-04-14 2009-10-15 Fiberlink Communications Corporation System and method for business object modeling
CN101615117A (zh) * 2008-06-23 2009-12-30 株式会社日立制作所 软件开发过程建模系统和方法
CN101794315A (zh) * 2010-03-31 2010-08-04 袁梅宇 一种数据库模式固定的对象关系映射模型
CN101908176A (zh) * 2010-08-02 2010-12-08 国电南瑞科技股份有限公司 一种基于电力信息数据建模及元数据管理应用方法
CN102932160A (zh) * 2011-08-10 2013-02-13 中兴通讯股份有限公司 一种资源管理系统
CN103019673A (zh) * 2012-11-14 2013-04-03 北京仟手莲科技有限公司 基于互联网和工作流的智能决策与实体推荐联合系统
CN103839155A (zh) * 2013-11-13 2014-06-04 重庆大学 一种基于语义网关的异构信息系统模型集成方法
CN103714129A (zh) * 2013-12-12 2014-04-09 用友软件股份有限公司 基于条件规则的动态数据结构和关系的构建装置和构建方法
CN104008203A (zh) * 2014-06-17 2014-08-27 浙江工商大学 一种融入本体情境的用户兴趣挖掘方法
CN106326248A (zh) * 2015-06-23 2017-01-11 阿里巴巴集团控股有限公司 数据库数据的存储方法和装置
CN105224693A (zh) * 2015-11-09 2016-01-06 武汉大学 基于知识建模的空间信息处理方法
CN106843835A (zh) * 2016-12-21 2017-06-13 中国电子科技网络信息安全有限公司 一种元数据定制的应用系统软件构建系统、系统构建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HULL R 等: "Introducing the guard-stage-milestone approach for specifying business entity lifecycles", 《INTERNATIONAL WORKSHOP ON WEB SERVICES AND FORMAL METHODS》 *
万小妹: "以数据为中心的业务流程系统建模与验证问题研究", 《华东大学》 *
李勇: "智能检索中基于本体的个性化用户建模技术及应用", 《国防科学技术大学》 *
郭旭东: "基于对象关系映射的对象持久化模型的分析与设计", 《西南财经大学》 *
黄贻望 等: "一种情境感知的业务流程动态自适应方法", 《微型机与应用》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874971A (zh) * 2018-06-07 2018-11-23 北京赛思信安技术股份有限公司 一种应用于海量标签化实体数据存储的工具和方法
CN108874971B (zh) * 2018-06-07 2021-09-24 北京赛思信安技术股份有限公司 一种应用于海量标签化实体数据存储的工具和方法
CN108829884A (zh) * 2018-06-27 2018-11-16 中国建设银行股份有限公司 数据映射方法及装置
CN108829884B (zh) * 2018-06-27 2021-10-15 中国建设银行股份有限公司 数据映射方法及装置
CN109145121A (zh) * 2018-07-16 2019-01-04 浙江大学 一种时变图数据的快速存储查询方法
CN109583762A (zh) * 2018-11-30 2019-04-05 冶金自动化研究设计院 一种生产流程建模与产品数据追踪的系统
CN109583762B (zh) * 2018-11-30 2022-12-02 冶金自动化研究设计院 一种生产流程建模与产品数据追踪的系统
CN111382192A (zh) * 2018-12-28 2020-07-07 北京神州泰岳软件股份有限公司 一种数据列表展示方法、装置和电子设备
CN111382192B (zh) * 2018-12-28 2023-11-03 北京神州泰岳软件股份有限公司 一种数据列表展示方法、装置和电子设备
CN110673895A (zh) * 2019-09-29 2020-01-10 浙江中控技术股份有限公司 一种Hibernate创建SessionFactory的方法及装置
CN110673895B (zh) * 2019-09-29 2022-05-27 浙江中控技术股份有限公司 一种Hibernate创建SessionFactory的方法及装置
CN110928548B (zh) * 2019-11-14 2023-08-22 腾讯音乐娱乐科技(深圳)有限公司 一种数据处理方法以及设备
CN110928548A (zh) * 2019-11-14 2020-03-27 腾讯音乐娱乐科技(深圳)有限公司 一种数据处理方法以及设备
CN111241129A (zh) * 2019-12-27 2020-06-05 冶金自动化研究设计院 一种工业生产企业指标数据采集与计算的系统
CN111241129B (zh) * 2019-12-27 2023-12-08 冶金自动化研究设计院 一种工业生产企业指标数据采集与计算的系统
CN111767349A (zh) * 2020-06-08 2020-10-13 北京思特奇信息技术股份有限公司 通用的信息系统数据模型推导方法
CN111767349B (zh) * 2020-06-08 2023-09-19 北京思特奇信息技术股份有限公司 通用的信息系统数据模型推导方法
CN112180776A (zh) * 2020-08-19 2021-01-05 北京航空航天大学 基于设备组件模块的opc ua信息建模方法及装置
CN112486461B (zh) * 2020-11-30 2024-04-09 彩讯科技股份有限公司 一种基于springboot框架的信息处理系统
CN112486461A (zh) * 2020-11-30 2021-03-12 彩讯科技股份有限公司 一种基于springboot框架的信息处理系统
CN112527796A (zh) * 2020-12-10 2021-03-19 中移(杭州)信息技术有限公司 数据表处理方法、装置及计算机可读存储介质
CN112527796B (zh) * 2020-12-10 2023-07-21 中移(杭州)信息技术有限公司 数据表处理方法、装置及计算机可读存储介质
CN113094360A (zh) * 2021-03-19 2021-07-09 北京优奥创思科技发展有限公司 一种跨行业数据处理方法
CN113094360B (zh) * 2021-03-19 2023-11-10 北京优奥创思科技发展有限公司 一种跨行业数据处理方法
CN113076086A (zh) * 2021-04-12 2021-07-06 北京元年科技股份有限公司 元数据管理系统和使用其对模型对象进行建模的方法
CN113590592A (zh) * 2021-08-04 2021-11-02 亚联(天津)信息技术有限责任公司 基于关系型数据库的动态建模方法及设备
CN115543960A (zh) * 2022-09-16 2022-12-30 北京神舟航天软件技术股份有限公司 一种业务对象的动态建模方法和系统
CN115543960B (zh) * 2022-09-16 2024-01-05 北京神舟航天软件技术股份有限公司 一种业务对象的动态建模方法和系统
CN115292353A (zh) * 2022-10-09 2022-11-04 腾讯科技(深圳)有限公司 数据查询方法、装置、计算机设备和存储介质
CN117170632A (zh) * 2023-11-02 2023-12-05 浙江大学 基于Vue的SysML模型仿真的用户界面开发系统
CN117170632B (zh) * 2023-11-02 2024-02-09 浙江大学 基于Vue的SysML模型仿真的用户界面开发系统

Also Published As

Publication number Publication date
CN108038222B (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
CN108038222A (zh) 用于信息系统建模和数据访问的实体-属性框架的系统
JP6580737B2 (ja) データ検索装置、データ検索方法、データ検索プログラム、及び記録媒体
CN110300963B (zh) 大规模数据储存库中的数据管理系统
CN110168515B (zh) 用于分析数据关系以支持查询执行的系统
CN105408857B (zh) 数据仓库系统、生成关系数据库的多列索引的方法和系统
Golfarelli et al. Conceptual design of data warehouses from E/R schemes
CN112214611B (zh) 一种企业知识图谱的构建系统和方法
CN110275920A (zh) 数据查询方法、装置、电子设备及计算机可读存储介质
CA2493352C (en) Data base and knowledge operating system
CN107193967A (zh) 一种多源异构行业领域大数据处理全链路解决方案
CN107103050A (zh) 一种大数据建模平台及方法
Froeschl Metadata management in statistical information processing: a unified framework for metadata-based processing of statistical data aggregates
CN108369587A (zh) 创建用于交换的表
CN110659282B (zh) 数据路由的构建方法、装置、计算机设备和存储介质
CN103559189B (zh) 基于元数据集成模型的电力仿真培训资源管理系统及方法
CN108399199A (zh) 一种基于Spark的应用软件运行日志的收集与服务处理系统及方法
CN105117442B (zh) 一种基于概率的大数据查询方法
CN110309110A (zh) 一种大数据日志监控方法及装置、存储介质和计算机设备
CN110134845A (zh) 项目舆情监控方法、装置、计算机设备及存储介质
CN108804594A (zh) 一种新闻内容全文检索引擎的构建方法及装置
Tiwari et al. Pattern warehouse: context based modeling and quality issues
CN106168982A (zh) 用于特定主题的数据检索方法
CN106294652A (zh) web页面信息搜索方法
Tsvetovat et al. NetIntel: A database for manipulation of rich social network data
Atay et al. Modeling and querying multidimensional bitemporal data warehouses

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220111

CF01 Termination of patent right due to non-payment of annual fee