CN116756374A - 数据融合和数据存储方法、系统、装置、设备及存储介质 - Google Patents
数据融合和数据存储方法、系统、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116756374A CN116756374A CN202310728396.0A CN202310728396A CN116756374A CN 116756374 A CN116756374 A CN 116756374A CN 202310728396 A CN202310728396 A CN 202310728396A CN 116756374 A CN116756374 A CN 116756374A
- Authority
- CN
- China
- Prior art keywords
- data
- entities
- concept
- data fusion
- entity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013500 data storage Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 26
- 238000007500 overflow downdraw method Methods 0.000 claims description 22
- 238000007726 management method Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000012800 visualization Methods 0.000 description 6
- 238000013499 data model Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000033772 system development Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及智慧建筑管理技术领域,公开了数据融合和数据存储方法、系统、装置、设备及存储介质,本发明通过接收不同来源的数据信息,包括各种数据实体和各数据实体间的关联关系,将各种数据实体进行统一语义化处理,得到数据实体对应适用于数据融合模型语言的概念实体,基于各数据实体间的关联关系,创建链接实体对各种概念实体进行关联处理,可根据数据实体间的关联关系,即可将不同来源的数据进行融合处理,且能够持续不断的接收数据,根据接收到的数据和已在数据融合模型中的概念实体间的关联关系,即可在数据融合模型中进行更新与融合。
Description
技术领域
本发明涉及智慧建筑管理技术领域,具体涉及数据融合和数据存储方法、系统、装置、设备及存储介质。
背景技术
BIM(建筑信息模型)是一种使用三维建筑数字化建模手段,将建筑工程项目各相关信息集成在一起的建筑数据存储与展示技术。它是对工程项目全周期信息详尽的表达,是数字可视化技术在建筑工程中的直接应用。使用BIM数据,能够对建设工程项目全生命周期中的各项问题进行预警和分析,协助工程项目各参与方能够了解和应对业务问题,为各方协同工作提供坚实的信息支持。
相关的技术手段是使用BIM三维建筑可视化技术结合基于传统关系数据库的数据集成的方式来进行系统开发,但BIM模型只用来为三维建筑可视化技术提供数据支持,不能实现针对不同阶段和领域的多来源业务数据的采集与融合应用,需要根据具体的业务需求定制开发,成本较高,且不同来源的数据之间的业务关联信息无法进行动态调整。
发明内容
有鉴于此,本发明提供了一种数据融合和数据存储方法、系统、装置、设备及存储介质,以解决不能实现不同阶段和领域的多来源业务数据的采集和融合的问题。
第一方面,本发明提供了一种数据融合方法,所述方法包括:基于不同数据源平台接收不同来源的数据信息,所述数据信息包括各种数据实体和各数据实体间的关联关系;将所述各种数据实体进行统一语义化处理,得到所述数据实体对应适用于数据融合模型语言的概念实体;基于所述各数据实体间的关联关系,创建链接实体对各种概念实体进行关联处理,所述链接实体表示在数据融合模型中两个概念实体之间的关联关系;将所有概念实体和各概念实体对应的链接实体集成到数据融合模型。
本发明提供的数据融合方法,通过接收不同来源的数据信息,包括各种数据实体和各数据实体间的关联关系,将各种数据实体进行统一语义化处理,得到数据实体对应适用于数据融合模型语言的概念实体,基于各数据实体间的关联关系,创建链接实体对各种概念实体进行关联处理,可根据数据实体间的关联关系,即可将不同来源的数据进行融合处理,且能够持续不断的接收数据,根据接收到的数据和已在数据融合模型中的概念实体间的关联关系,即可在数据融合模型中进行更新与融合。
在一种可选的实施方式中,所述方法还包括:获取所有概念实体对应的参数集合,所述参数集合包括所述概念实体对应的所有参数属性信息;将所述概念实体对应的参数集合集成到数据融合模型中。
本发明将所有概念实体对应的参数属性信息集成到数据融合模型中,可在后续的数据访问中提供概念实体对应的所有数据信息,提高数据分析的全面性。
在一种可选的实施方式中,所述方法还包括:基于所述概念实体对应的参数属性信息,判断概念实体间是否有同一特征的属性信息;若多个概念实体间有同一特征的属性信息,创建对应的标签实例对所述多个概念实体进行关联处理,所述标签实例表示所述多个概念实体的对应的统一特征属性信息;将创建的标签实例集成到数据融合模型中。
本发明通过判断概念实体间是否有同一特征的属性信息,若多个概念实体具备同一特征的属性信息,创建标签类型对多个概念实体间进行关联处理,在数据融合时,不仅可以根据实体间的关联交互关系,还可以根据实体间的同一业务特征进行融合,提高数据融合的可实现性。
在一种可选的实施方式中,所述数据源平台为BIM模型,所述数据实体为实例构件,所述数据实体间的关联关系为各实例构件间的关联关系,通过下述步骤获取数据信息:接收BIM模型发送的构件数据信息;提取所述构建数据信息中的所有实例构件信息和各实例构件间的关联关系信息。
本发明通过提取BIM模型的构件数据信息,利用BIM轻量化技术舍弃BIM模型中的三维或贴图信息等,只保留BIM模型中所有建筑构件类型的信息和属性信息,减少了进入数据融合模型的数据,提高了数据融合的效率。
第二方面,本发明提供了一种数据存储方法,所述方法包括:基于数据融合模型中的所有概念实体和各概念实体对应的链接实体,在图数据库中创建对应的第一顶点和边,所述数据融合模型为通过上述第一方面或其对应的任一实施方式的数据融合方法得到的。将所述图数据库反馈至用户端,使得用户基于图数据库进行数据应用。
本发明通过采用属性图技术对应的图数据库来存储数据融合模型中的数据信息,图数据库可存储大量的数据,很好的支持数据之间的相互关联和多重维度的关联,且可供用户进行数据查询和分析,更加便捷地、精准地对数据进行分析。
在一种可选的实施方式中,所述方法还包括:将所述每一概念实体对应的参数集合添加到所述概念实体对应的顶点的属性上;基于数据融合模型中的所有标签实例,在图数据库中创建对应的第二顶点。
本发明可供用户查询的数据更加全面,能够更加智能、精准全面地发现各数据问题,并能够给出更明智专业的建议。
第三方面,本发明提供了一种数据融合系统,所述系统包括:不同数据源平台,用于发送不同数据信息;处理器,用于基于不同数据源平台接收不同来源的数据信息,所述数据信息包括各种数据实体和各数据实体间的关联关系;将所述各种数据实体进行统一语义化处理,得到所述各种数据实体对应适用于数据融合模型语言的概念实体;基于所述各数据实体间的关联关系,创建链接实体对各种概念实体进行关联处理,所述链接实体表示在数据融合模型中两个概念实体之间的关联关系;将所有概念实体和各概念实体对应的链接实体集成到数据融合模型;数据融合模型,用于集成所有概念实体和各概念实体对应的链接实体。
第四方面,本发明提供了一种数据存储装置,所述装置包括:数据创建模块,用于基于数据融合模型中的所有概念实体和各概念实体对应的链接实体,在图数据库中创建对应的第一顶点和边,所述数据融合模型为通过上述第一方面或其对应的任一实施方式的数据融合方法得到的。数据反馈模块,用于将所述图数据库反馈至用户端,使得用户基于图数据库进行数据应用。
第五方面,本发明提供了一种计算机设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的数据融合方法,或执行上述第二方面或其对应的任一实施方式的数据存储方法。
第六方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的数据融合方法,或执行上述第二方面或其对应的任一实施方式的数据存储方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的数据融合方法的流程示意图;
图2是根据本发明实施例的数据融合方法对应的数据融合模型各个对象的交互图;
图3是根据本发明实施例的数据融合方法对应的数据融合模型中各个实体间多维度关系图;
图4是根据本发明实施例的另一数据融合方法的流程示意图;
图5是根据本发明实施例的数据存储方法的流程示意图;
图6是根据本发明实施例的数据存储方法对应的图数据库存储架构图;
图7是根据本发明实施例的另一数据存储方法的流程示意图;
图8是根据本发明实施例的数据融合系统的结构框图;
图9是根据本发明实施例的数据存储装置的结构框图;
图10是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
相关的技术手段是使用BIM三维建筑可视化技术结合基于传统关系数据库的数据集成的方式来进行系统开发,但BIM模型只用来为三维建筑可视化技术提供数据支持,不能实现针对不同阶段和领域的多来源业务数据的采集与融合应用,需要根据具体的业务需求定制开发,成本较高,且不同来源的数据之间的业务关联信息无法进行动态调整。
根据本发明实施例,提供了一种数据融合和数据存储方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种数据融合方法,可用于上述的计算机设备,图1是根据本发明实施例的数据融合方法的流程图,如图1所示,该流程包括如下步骤:
步骤S101,基于不同数据源平台接收不同来源的数据信息,
其中,数据信息包括各种数据实体和各数据实体间的关联关系。
本申请实施例中数据源平台可包括多个BIM模型、建筑领域的已有业务系统数据库,也可以包括在不愿意暴露数据库的情况下,与业务系统的数据接口,通过与不同数据源之间连接接收不同来源的数据信息,其中,数据信息可包括各个数据实体,比如BIM模型中的建筑实例构件或已有业务系统数据库中的业务含义,仅作为举例,数据信息还包括各数据实体间的关联关系,比如建筑实例构件间的关联关系,一个电表箱和一盏点灯是控制关系,房间和窗户之间是包含关系。
在具体实施例中,获取多个BIM模型中的建筑实例构件类型信息和属性信息以及各实例构件间的关联关系、建筑领域相关的已有业务系统数据库中的各个数据表的所有数据的业务含义以及不同数据表间的业务关联信息和已有业务系统接口中各个接口的业务含义。
步骤S102,将所述各种数据实体进行统一语义化处理,得到所述数据实体对应适用于数据融合模型语言的概念实体;
本申请实施例中数据融合模型在建筑领域中也可叫做智慧建筑全域数据模型,可以通过以下术语来描述数据融合模型所需要的各种对象的概念,如图2所示,比如概念类型,表示智慧建筑全域数据模型中能够包含的任意实体对象的概念类型表达;概念实体是一个特定概念类型的真实数据表达,表示真实世界存在的物理或虚拟事物适用于智慧建筑全域数据模型语言的数字孪生,概念类型创建概念实体,比如概念类型为窗,则概念实体可为百叶窗、推拉窗等;参数类型,表示一个概念类型中包含的一项数据信息的基本结构,参数类型定义包含该项参数的名称,描述以及参数的数据类型,数据类型包含基本的标量数值类型和文本等非结构化数据类型;参数集合类型,表示一个包含若干参数类型定义的容器,与概念类型之间有链接关系,参数集合类型创建参数集合,其中,在一个参数集合类型中可以包含多个参数类型定义;参数类型创建参数值,参数集合包含多个参数值,如图3所示,链接类型,表示描述概念实体对象之间的一种特定的关联方式,例如两个建筑构件实体在建筑空间中的包含关系,或者两个设备实体在操作上的控制关系,在数据融合模型中可定义任意数量的链接类型来描述各个概念实体间的关联关系;链接实体,表示一个链接类型定义的真实数据表达,表示智慧建筑全域数据模型中两个实体之间的一个客观联系,可包含任意数量的链接实体;标签类型,表示一类客观存在的,不依赖具体的业务和分析目标而变化的实体对象,来表述智慧建筑全域数据模型中需要进行全局分析的各类业务维度(例如时间,空间类型,建筑专业等);标签实例表示一个特征标签类型的真实数据表达,比如标签类型为性别,则标签实例可为男或女,仅作为举例。
本申请实施例中数据融合模型的各种对象直接存在交互关系,如图2所示,一个概念类型可以和任意数量的参数集合类型相关联,这些关联定义了一个概念类型中所能表述的所有不同业务类型的参数的集合;一个参数集合类型可以和任意数量的参数类型相关联,这些关联定义了一个参数集合中能够包含的所有参数的详细定义;概念类型定义中关联的参数集合类型定义,一个概念实体中包含相应数量的参数集合,一个参数集合中包含相应数量的参数值,仅作为举例。
本申请实施例在获取不同来源的数据信息后,可将数据信息进行统一语义化处理,将各种数据实体处理得到适用于数据融合模型语言的概念实体,比如可通过孪生定义将所有数据实体对象在数据融合模型中进行数字化的复制重现,仅作为举例。
在具体实施例中,将接收到的BIM模型中的建筑实例构件通过语义化处理得到对应的概念实体,将接收到的各个数据表中的所有数据进行语义化处理得到对应的概念实体,将已有业务系统接口返回的结果进行语义化处理得到对应的概念实体。
步骤S103,基于所述各数据实体间的关联关系,创建链接实体对各种概念实体进行关联处理,所述链接实体表示在数据融合模型中两个概念实体之间的关联关系。
本申请实施例中为任意两个特定的概念类型指定一个特定的连接类型,可以在创建概念实体时自动创建符合该链接类型定义的链接实体,其中,如图3所示,每一个链接实体都必须属于一个特定的链接类型,每一个链接实体都具有方向,必须指向一个源头实体对象和一个目标实体对象,可通过访问任意概念实体均可获取到与其相关联的所有链接实体,继而可通过该链接实体获取到相关的链接另一端的概念实体,比如第一链接类型创建第第一链接实体,第一概念类型创建第一概念实体,第二概念类型创建第二概念实体,第一链接实体的链接关系源实体为第一概念实体,链接关系目标实体为第二概念实体。
在具体实施例中,基于BIM模型中建筑实例构件间的关联关系,为各种概念实体间创建链接实体,可再基于建筑实例构件与已有业务系统数据库或已有业务系统接口中某一概念实体之间的关联关系,将两个不同来源的概念实体进行融合,比如是BIM模型中的某一房间实体,再通过访问已有的建筑业务数据库中获得房间的入驻企业信息,即可实现业务数据和建筑数据间的数据融合,仅作为举例。
步骤S104,将所有概念实体和各概念实体对应的链接实体集成到数据融合模型。
本申请实施例将上述步骤得到的概念实体和各概念实体对应的链接实体集成到数据融合模型中,当有新的数据源或新的数据进入时,可判断新的数据实体与数据融合模型中已有的概念实体间是否有关联,若有关联,则可创建新的数据实体和已有的概念实体间的链接实体进行数据融合。
本实施例提供的数据融合方法,通过接收不同来源的数据信息,包括各种数据实体和各数据实体间的关联关系,将各种数据实体进行统一语义化处理,得到数据实体对应适用于数据融合模型语言的概念实体,基于各数据实体间的关联关系,创建链接实体对各种概念实体进行关联处理,可根据数据实体间的关联关系,即可将不同来源的数据进行融合处理,且能够持续不断的接收数据,根据接收到的数据和已在数据融合模型中的概念实体间的关联关系,即可在数据融合模型中进行更新与融合。
在本实施例中提供了一种数据融合方法,可用于上述的计算机设备,图4是根据本发明实施例的数据融合方法的流程图,如图4所示,该流程包括如下步骤:
步骤S201,基于不同数据源平台接收不同来源的数据信息。
其中,数据信息包括各种数据实体和各数据实体间的关联关系。
具体地,上述步骤S201包括:
步骤S2011,数据源平台为BIM模型,所述数据实体为实例构件,所述数据实体间的关联关系为各实例构件间的关联关系,通过下述步骤获取数据信息:接收BIM模型发送的构件数据信息;提取所述构建数据信息中的所有实例构件信息和各实例构件间的关联关系信息。
本申请实施例在获取BIM模型的建筑实例构件数据信息时,可预先采用BIM模型数模分离技术,舍弃BIM模型中的三维可视化与材质、贴图等信息,只保留BIM模型中的所有建筑实例构件信息和各实例构件间的关联关系。
本发明通过提取BIM模型的构件数据信息,利用BIM轻量化技术舍弃BIM模型中的三维或贴图信息等,只保留BIM模型中所有建筑构件类型的信息和属性信息,减少了进入数据融合模型的数据,提高了数据融合的效率。
步骤S202,将所述各种数据实体进行统一语义化处理,得到所述数据实体对应适用于数据融合模型语言的概念实体。详细请参见图1所示实施例的步骤S102,在此不再赘述。
步骤S203,基于所述各数据实体间的关联关系,创建链接实体对各种概念实体进行关联处理,所述链接实体表示在数据融合模型中两个概念实体之间的关联关系。详细请参见图1所示实施例的步骤S103,在此不再赘述。
步骤S204,将所有概念实体和各概念实体对应的链接实体集成到数据融合模型。详细请参见图1所示实施例的步骤S104,在此不再赘述。
步骤S205,获取所有概念实体对应的参数集合,所述参数集合包括所述概念实体对应的所有参数属性信息;将所述概念实体对应的参数集合集成到数据融合模型中。
本申请实施例在从不同数据源平台获取数据实体时,同时接收到数据实体对应的参数集合,用来表示数据实体对应的所有参数属性信息,比如数据实体为窗,则参数属性信息可包括窗的尺寸、材质和位置信息等,仅作为举例,将所有数据实体通过语义化处理后得到对应的概念实体,此时数据实体对应的参数集合平移到了对应的概念实体上,当将所有的概念实体集成到数据融合模型中时,则也将所有的参数集合集成到数据融合模型中。
本发明将所有概念实体对应的参数属性信息集成到数据融合模型中,可在后续的数据访问中提供概念实体对应的所有数据信息,提高数据分析的全面性。
步骤S206,基于所述概念实体对应的参数属性信息,判断概念实体间是否有同一特征的属性信息;若多个概念实体间有同一特征的属性信息,创建对应的标签实例对所述多个概念实体进行关联处理,所述标签实例表示所述多个概念实体的对应的统一特征属性信息;将创建的标签实例集成到数据融合模型中。
本申请实施例中每一概念实体都有对应的参数属性信息,判断概念实体间是否有同一特征属性信息,比如多个概念实体的形状都为矩形,则可创建“矩形”标签实例将多个概念实体进行关联处理,可将创建的“矩形”标签实例通过对应的链接实体集成到数据融合模型中,仅作为举例,本申请实施例数据融合模型中可定义任意的标签类型,并可为任一标签类型创建任意数量的相应类型的标签实例,如图3所示,第二链接类型创建第二链接实体,标签类型创建标签实例,为第一概念类型创建第一概念实体,第一概念实体对应一个标签实例,则第二链接实体的链接关系源实体为对应的标签实例,链接关系目标实体为第一概念实体,仅作为举例。
本发明通过判断概念实体间是否有同一特征的属性信息,若多个概念实体具备同一特征的属性信息,创建标签类型对多个概念实体间进行关联处理,在数据融合时,不仅可以根据实体间的关联交互关系,还可以根据实体间的同一业务特征进行融合,提高数据融合的可实现性。
在本实施例中提供了一种数据存储方法,可用于上述的计算机设备,图5是根据本发明实施例的数据存储方法的流程图,如图5所示,该流程包括如下步骤:
步骤S301,基于数据融合模型中的所有概念实体和各概念实体对应的链接实体,在图数据库中创建对应的第一顶点和边。
其中,数据融合模型为通过上述实施例的数据融合方法得到的。
本申请实施例采用属性图技术使用特定内部名称的图数据库系统的顶点类型来表示数据融合模型中的各类结构元数据信息、概念实体数据和链接实体数据,包括概念类型参数类型、参数集合类型、标签类型定义和链接类型定义,并分别在这些特定内部名称的顶点类型中创建图数据顶点来表示基于语义的各种对象的业务定义,针对每一种链接类型定义在图数据库中创建对应的边类型,每一个该链接类型中的链接实体都在图数据库中创建对应边类型的一条边数据,针对每一种概念类型定义,在图数据库中创建对应的顶点类型,每一个该概念类型中的概念实体都在图数据库中创建对应顶点类型的一个顶点数据,如图6所示,比如第一概念类型和第二概念类型创建图数据顶点类型,对应第一概念实体和第二概念实体创建图数据顶点,第一链接实例创建图数据边类型,对应第一链接实体创建图数据边,仅作为举例。
步骤S302,将所述图数据库反馈至用户端,使得用户基于图数据库进行数据应用。
本申请实施例在得到图数据库后,可将图数据库反馈至用户端,使得用户基于图数据库进行数据应用,比如发现城市建筑网络中的关键影响因素、桥接实体和群体、智能发现建筑维修隐患以增强维修预警时效性并给出更明智、更专业的建议、发现指示危险源头行为的模式及关系。
本发明通过采用属性图技术对应的图数据库来存储数据融合模型中的数据信息,图数据库可存储大量的数据,很好的支持数据之间的相互关联和多重维度的关联,且可供用户进行数据查询和分析,更加便捷地、精准地对数据进行分析。
在本实施例中提供了一种数据存储方法,可用于上述的计算机设备,图7是根据本发明实施例的数据存储方法的流程图,如图7所示,该流程包括如下步骤:
步骤S401,基于数据融合模型中的所有概念实体和各概念实体对应的链接实体,在图数据库中创建对应的第一顶点和边。
其中,数据融合模型为通过上述实施例的数据融合方法得到的。详细请参见图5所示实施例的步骤S301,在此不再赘述。
步骤S402,将所述图数据库反馈至用户端,使得用户基于图数据库进行数据应用。详细请参见图5所示实施例的步骤S302,在此不再赘述。
步骤S403,将所述每一概念实体对应的参数集合添加到所述概念实体对应的顶点的属性上;基于数据融合模型中的所有标签实例,在图数据库中创建对应的第二顶点。
针对每一种标签类型定义,都在图数据库中创建对应的顶点类型,每一个该标签类型中的标签都在图数据库中创建对应顶点类型的一个顶点数据,每一个概念实体中包含的参数,都由该概念实体在图数据库中对应的顶点上的属性来表示,如图6所示,比如对第一标签类型创建图数据顶点类型,对应第一标签实例创建图数据顶点,第一概念类型包括第一参数集合类型、第二参数集合类型和第三参数集合类型分别放置到对应的图数据顶点上,第一参数集合类型包括第一参数类型和第二参数类型,相应的放置到对应的图数据顶点上,将第一参数值和第二参数值添加到第一概念实体对应的图数据顶点属性上。
本发明可供用户查询的数据更加全面,能够更加智能、精准全面地发现各数据问题,并能够给出更明智专业的建议。
在本发明实施例中还提供了一种数据融合系统,如图8所示,数据融合系统包括:不同数据源平台51,用于发送不同数据信息;处理器52,用于基于不同数据源平台接收不同来源的数据信息,所述数据信息包括各种数据实体和各数据实体间的关联关系;将所述各种数据实体进行统一语义化处理,得到所述各种数据实体对应适用于数据融合模型语言的概念实体;基于所述各数据实体间的关联关系,创建链接实体对各种概念实体进行关联处理,所述链接实体表示在数据融合模型中两个概念实体之间的关联关系;将所有概念实体和各概念实体对应的链接实体集成到数据融合模型;数据融合模型53,用于集成所有概念实体和各概念实体对应的链接实体。
本申请实施例数据源平台的数量可根据实际情况自行确定,本申请实施例以4个数据源平台为例,包括BIM模型1、BIM模型2、已有业务系统数据库和有业务系统接口,仅作为举例,具体说明参见上述实施例,在此不再赘述。
在本实施例中还提供了一种数据存储装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种数据存储装置,如图9所示,数据存储装置包括:
数据创建模块601,用于基于数据融合模型中的所有概念实体和各概念实体对应的链接实体,在图数据库中创建对应的第一顶点和边,所述数据融合模型为通过上述实施例所述的数据融合方法得到的。
数据反馈模块602,用于将所述图数据库反馈至用户端,使得用户基于图数据库进行数据应用。
在一些可选的实施方式中,数据存储装置还包括:数据添加模块,用于将所述每一概念实体对应的参数集合添加到所述概念实体对应的顶点的属性上;顶点创建模块,用于基于数据融合模型中的所有标签实例,在图数据库中创建对应的第二顶点。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
本实施例中的数据存储装置是以功能单元的形式来呈现,这里的单元是指ASIC(Application Specific Integrated Circuit,专用集成电路)电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
本发明实施例还提供一种计算机设备,具有上述图9所示的数据存储装置。
请参阅图10,图10是本发明可选实施例提供的一种计算机设备的结构示意图,如图10所示,该计算机设备包括:一个或多个处理器10、存储器20,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相通信连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个计算机设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图10中以一个处理器10为例。
处理器10可以是中央处理器,网络处理器或其组合。其中,处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路,可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件,现场可编程逻辑门阵列,通用阵列逻辑或其任意组合。
其中,所述存储器20存储有可由至少一个处理器10执行的指令,以使所述至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器20可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中,存储器20可选包括相对于处理器10远程设置的存储器,这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器,例如,随机存取存储器;存储器也可以包括非易失性存储器,例如,快闪存储器,硬盘或固态硬盘;存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括通信接口30,用于该计算机设备与其他设备或通信网络通信。
本发明实施例还提供了一种计算机可读存储介质,上述根据本发明实施例的方法可在硬件、固件中实现,或者被实现为可记录在存储介质,或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中,存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等;进一步地,存储介质还可以包括上述种类的存储器的组合。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件,当软件或计算机代码被计算机、处理器或硬件访问且执行时,实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所限定的范围之内。
Claims (10)
1.一种数据融合方法,其特征在于,所述方法包括:
基于不同数据源平台接收不同来源的数据信息,所述数据信息包括各种数据实体和各数据实体间的关联关系;
将所述各种数据实体进行统一语义化处理,得到所述数据实体对应适用于数据融合模型语言的概念实体;
基于所述各数据实体间的关联关系,创建链接实体对各种概念实体进行关联处理,所述链接实体表示在数据融合模型中两个概念实体之间的关联关系;
将所有概念实体和各概念实体对应的链接实体集成到数据融合模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所有概念实体对应的参数集合,所述参数集合包括所述概念实体对应的所有参数属性信息;
将所述概念实体对应的参数集合集成到数据融合模型中。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
基于所述概念实体对应的参数属性信息,判断概念实体间是否有同一特征的属性信息;
若多个概念实体间有同一特征的属性信息,创建对应的标签实例对所述多个概念实体进行关联处理,所述标签实例表示所述多个概念实体的对应的统一特征属性信息;
将创建的标签实例集成到数据融合模型中。
4.根据权利要求1所述的方法,其特征在于,所述数据源平台为BIM模型,所述数据实体为实例构件,所述数据实体间的关联关系为各实例构件间的关联关系,通过下述步骤获取数据信息:
接收BIM模型发送的构件数据信息;
提取所述构件数据信息中的所有实例构件信息和各实例构件间的关联关系信息。
5.一种数据存储方法,其特征在于,所述方法包括:
基于数据融合模型中的所有概念实体和各概念实体对应的链接实体,在图数据库中创建对应的第一顶点和边,所述数据融合模型为通过权利要求1-4中任一项所述的数据融合方法得到的;
将所述图数据库反馈至用户端,使得用户基于图数据库进行数据应用。
6.根据权利要求5所述的数据存储方法,其特征在于,所述方法还包括:
将每一概念实体对应的参数集合添加到所述概念实体对应的顶点的属性上;
基于数据融合模型中的所有标签实例,在图数据库中创建对应的第二顶点。
7.一种数据融合系统,其特征在于,所述系统包括:
不同数据源平台,用于发送不同数据信息;
处理器,用于基于不同数据源平台接收不同来源的数据信息,所述数据信息包括各种数据实体和各数据实体间的关联关系;将所述各种数据实体进行统一语义化处理,得到所述数据实体对应适用于数据融合模型语言的概念实体;基于所述各数据实体间的关联关系,创建链接实体对各种概念实体进行关联处理,所述链接实体表示在数据融合模型中两个概念实体之间的关联关系;将所有概念实体和各概念实体对应的链接实体集成到数据融合模型;
数据融合模型,用于集成所有概念实体和各概念实体对应的链接实体。
8.一种数据存储装置,其特征在于,所述装置包括:
数据创建模块,用于基于数据融合模型中的所有概念实体和各概念实体对应的链接实体,在图数据库中创建对应的第一顶点和边,所述数据融合模型为通过权利要求1-4中任一项所述的数据融合方法得到的;
数据反馈模块,用于将所述图数据库反馈至用户端,使得用户基于图数据库进行数据应用。
9.一种计算机设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1至4中任一项所述的数据融合方法,或执行权利要求5至6中任一项所述的数据存储方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令用于使计算机执行权利要求1至4中任一项所述的数据融合方法,或执行权利要求5至6中任一项所述的数据存储方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310728396.0A CN116756374A (zh) | 2023-06-19 | 2023-06-19 | 数据融合和数据存储方法、系统、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310728396.0A CN116756374A (zh) | 2023-06-19 | 2023-06-19 | 数据融合和数据存储方法、系统、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116756374A true CN116756374A (zh) | 2023-09-15 |
Family
ID=87954814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310728396.0A Pending CN116756374A (zh) | 2023-06-19 | 2023-06-19 | 数据融合和数据存储方法、系统、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116756374A (zh) |
-
2023
- 2023-06-19 CN CN202310728396.0A patent/CN116756374A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8719299B2 (en) | Systems and methods for extraction of concepts for reuse-based schema matching | |
US20140344211A1 (en) | Supporting combination of flow based etl and entity relationship based etl | |
CN111427561A (zh) | 业务代码的生成方法、装置、计算机设备和存储介质 | |
CN105528418B (zh) | 一种设计文档生成方法及装置 | |
CN111462327A (zh) | 三维造型软件三维检验模型非结构化数据解析方法 | |
CN109508355A (zh) | 一种数据抽取方法、系统及终端设备 | |
US8688626B2 (en) | Software tool for generating technical business data requirements | |
US9405518B2 (en) | Leveraging legacy applications for use with modern applications | |
CN104268428A (zh) | 一种用于指标计算的可视化配置方法 | |
US20200311095A1 (en) | System and method for automated source code generation for database conversion | |
US20110137872A1 (en) | Model-driven data archival system having automated components | |
CN111813804A (zh) | 一种数据查询方法、装置、电子设备及存储介质 | |
CN109871470B (zh) | 一种电网设备数据标签化管理系统及实现方法 | |
WO2021253641A1 (zh) | 着色语言翻译方法 | |
CN116821223B (zh) | 基于数字孪生的工业可视化控制平台及方法 | |
CN113051650A (zh) | 一种建筑信息模型构件数据实时采集方法和装置 | |
CN111435367A (zh) | 知识图谱的构建方法、系统、设备及存储介质 | |
Krogstie | Capturing enterprise data integration challenges using a semiotic data quality framework | |
CN110851630A (zh) | 一种深度学习标注样本的管理系统及方法 | |
CN112328667B (zh) | 一种基于数据血缘的页岩气田地面工程数字化移交方法 | |
CN116756374A (zh) | 数据融合和数据存储方法、系统、装置、设备及存储介质 | |
US10055811B2 (en) | System and method for generating interactive 2D projection of 3D model | |
CN108205564B (zh) | 知识体系构建方法及系统 | |
CN115469860A (zh) | 基于指令集的需求到软件领域模型的自动生成方法及系统 | |
CN114020852A (zh) | 知识图谱的展示方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |