CN113946594B - 一种工业多源异构数据的集成查询方法、装置及设备 - Google Patents
一种工业多源异构数据的集成查询方法、装置及设备 Download PDFInfo
- Publication number
- CN113946594B CN113946594B CN202111576281.1A CN202111576281A CN113946594B CN 113946594 B CN113946594 B CN 113946594B CN 202111576281 A CN202111576281 A CN 202111576281A CN 113946594 B CN113946594 B CN 113946594B
- Authority
- CN
- China
- Prior art keywords
- query
- data
- business
- preset
- entities
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明提供一种工业多源异构数据的集成查询方法、装置及设备,所述方法包括:获取对目标工业数据进行查询的查询请求,所述查询请求包括根据预设查询条件确定的至少两个业务实体间的关联查询;按照预设业务数据模型,根据所述查询请求中满足预设查询条件的至少一个业务实体与其它业务实体间的关联关系,确定要查询的至少两个异构目标数据库;从所述至少两个异构目标数据库中,获得满足所述查询条件的查询结果。本发明提供的方案,实现了对多种不同类型的数据库的关联访问查询,屏蔽不必要的数据查询细节,降低工业数据分析人员查询数据的难度及成本。
Description
技术领域
本发明涉及工业数据处理技术领域,特别是指一种工业多源异构数据的集成查询方法、装置及设备。
背景技术
工业数据的特点是数据来源广泛,形式多样,质量参差不齐。数据来源可以包括有:设备数据,业务系统数据,纸质数据,物联数据等;数据形式多样比如可以有:关系数据,时序数据,文件数据;质量参差不齐主要表现在:设备型号多样,业务系统建设时期差别很大;但是典型的工业大数据分析需要关联上述数据,数据维度多,比如设备,物料,工艺,质检的相互关联等。
现有数据库是针对特定数据类型和形式进行分别存储,无法满足对多源数据进行处理,无法满足对用户对多源异构数据的查询,影响查询效率。
发明内容
本发明要解决的技术问题是提供一种工业多源异构数据的集成查询方法、装置及设备,实现了对多种不同类型的数据库的访问查询,屏蔽不必要的数据查询细节,降低查询难度及成本。
为解决上述技术问题,本发明的实施例提供一种工业多源异构数据的集成查询方法,所述方法包括:
获取对目标工业数据进行查询的查询请求,所述查询请求包括根据预设查询条件确定的至少两个业务实体间的关联查询;
按照预设业务数据模型,根据所述查询请求中满足预设查询条件的至少一个业务实体与其他业务实体之间的关联关系,确定要查询的至少两个异构目标数据库;
从所述至少两个异构目标数据库中,获得满足所述查询条件的查询结果。
可选的,所述预设业务数据模型包括:不同类型的业务实体以及不同类型的业务实体之间的关联关系,所述业务实体为对任一种业务对象对应的数据进行实例化得到的数据实体。
可选的,所述业务实体之间的关联关系存储于第一目标数据库;所述业务实体对应的时序数据存储于第二目标数据库;所述业务实体对应的设备图像数据存储于第三目标数据库;所述第一目标数据库、第二目标数据库和第三目标数据库的数据存储结构不同。
可选的,按照预设业务数据模型,对所述查询请求中满足预设查询条件的至少一个业务实体与其它业务实体之间的关联关系,确定要查询的至少两个异构目标数据库,包括:
按照预设查询条件,在预设业务数据模型中业务实体和业务实体之间的关联关系组成的数据网上进行遍历,获得查询遍历过的业务实体实际所在的至少两个异构目标数据库。
可选的,所述多源异构数据的集成查询方法还包括:对所述至少两个异构目标数据库进行分组,生成每个目标数据库的查询计划;
对所述查询计划进行改写,生成每个目标数据库的查询语句。
可选的,从所述至少两个异构目标数据库中,获得满足所述查询条件的查询结果,包括:
根据所述查询语句,以及满足所述查询条件的至少两个业务实体之间的关联关系,从第一目标数据库中查询,获得第一查询结果;
根据所述查询语句,以及满足所述查询条件的至少一个业务实体对应的时序数据,从第二目标数据库中查询,获得第二查询结果;
根据所述查询语句,以及满足所述查询条件的至少一个业务实体对应的设备的图像数据,从第三目标数据库中查询,获得第三查询结果;
根据所述第一查询结果、第二查询结果和/或第三查询结果,获得满足所述查询条件的查询结果。
可选的,所述多源异构数据的查询方法还包括:
将所述查询结果以二维表格形式输出。
本发明的实施例还提供一种工业多源异构数据的查询装置,所述装置包括:
获取模块:用于获取对目标工业数据进行查询的查询请求,所述查询请求包括根据预设查询条件确定的至少两个业务实体间的关联查询;
处理模块,用于按照预设业务数据模型,根据所述查询请求中满足预设查询条件的至少一个业务实体与其他业务实体之间的关联关系,确定要查询的至少两个异构目标数据库;从所述至少两个异构目标数据库中,获得满足所述查询条件的查询结果。
本发明的实施例还提供一种计算设备,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如上所述的多源异构数据的查询方法的步骤。
本发明的实施例还提供一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如上所述的多源异构数据的查询方法的步骤。
本发明的上述方案至少包括以下有益效果:
本发明的上述方案,通过获取对目标工业数据进行查询的查询请求,所述查询请求包括根据预设查询条件确定的至少两个业务实体间的关联查询;按照预设业务数据模型,根据所述查询请求中满足预设查询条件的至少一个业务实体与其他业务实体之间的关联关系,确定要查询的至少两个异构目标数据库;从所述至少两个异构目标数据库中,获得满足所述查询条件的查询结果,实现对多种不同类型数据库进行转换对接,屏蔽底层数据库访问细节,打通数据孤岛,提高数据查询效率,降低数据查询及访问的难度,缩短智能应用的创新周期。
附图说明
图1是本发明的实施例提供的工业多源异构数据的集成查询方法流程图;
图2是本发明的实施例提供的业务实体实例化示意图;
图3是本发明的一可选实施例提供工业多源异构数据的集成查询方法中数据网结构示意图;
图4是本发明的一可选实施例提供的在工业生产应用场景下的业务数据模型示意图;
图5是本发明的一可选实施例提供的在工业生产应用场景下对业务数据模型的业务实体进行转换示意图;
图6是本发明的一可选实施例提供的在工业生产应用场景下生成模型中业务实体查询计划示意图;
图7是本发明的一可选实施例提供的工业多源异构数据库接入的数据库驱动框架示意图;
图8是本发明的实施例提供的工业多源异构数据的集成查询装置图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
如图1所示,本发明的实施例提出一种工业多源异构数据的集成查询方法,包括:
步骤11,获取对目标工业数据进行查询的查询请求,所述查询请求包括根据预设查询条件确定的至少两个业务实体间的关联查询;
步骤12,按照预设业务数据模型,根据所述查询请求中满足预设查询条件的至少一个业务实体与其他业务实体之间的关联关系,确定要查询的至少两个异构目标数据库;
步骤13,从所述至少两个异构目标数据库中,获得满足所述查询条件的查询结果。
该实施例中,所述查询请求包括预设查询条件,根据预设查询条件,可以在多个业务实体中,确定满足所述预设查询条件的至少两个业务实体间的关联查询;预设的业务数据模型可以为实际工业生产运行现场在数字世界的模型,所述预设业务数据模型包括:不同类型的业务实体以及不同类型的业务实体之间的关联关系,所述业务实体为对任一业务对象对应的数据进行实例化得到的数据实体。
所述预设业务数据模型可以是不同类型的业务实体实例化定义的模型,以及不同类型的业务实体之间的关联关系实例化定义的模型;优选的,所述业务数据模型可以根据不同的应用场景进行定义模拟,以应用于不同的场景;所述业务实体可以是任意一种应用场景下的对象对应(如设备、工艺工序、产品、物料等)的数据进行实例化得到的数据实体;如图2所示,以工业生产过程中的生产设备对象为例,对工业设备在生产过程中运转过程中产生的应数据进行实例化,得到数据实体;以及相关设备本身自有的属性定义、类型定义以及量测定义等进行实例化后,得到相应的属性、规格以及量测等数据实体;
所述至少一个业务实体形成业务实体的集合,在该集合中每一个业务实体与其他的业务实体之间都存在一定的关联关系;所述至少两个异构目标数据库为不同类型的数据库,所述至少两个异构目标数据库中,每个数据库中数据的存储形式以及存储介质均不相同;以预设的业务数据模型为中心,根据所述至少一个业务实体、以及该业务实体与其他业务实体之间的关联关系,确定要查询的至少两个异构目标数据库,精确了满足查询条件的目标数据库,提高了数据查询的精确度。
本发明的一可选实施例中,所述业务实体之间的关联关系存储于第一目标数据库;所述业务实体对应的时序数据存储于第二目标数据库;所述业务实体对应的设备图像数据存储于第三目标数据库;所述第一目标数据库、第二目标数据库和第三目标数据库的数据存储结构不同。
该实施例中,将不同类型业务实体、不同类型业务实体间关联关系以及不同类型的业务实体对应的相关数据映射到不同的数据库中,也即是存储到不同的数据库中,得到不同类型的目标数据库,以及在映射过程中形成不同业务实体和实际数据存储位置的对照关系表,所述对照信息表可以是数据库自动探测,或者人工参与制定和修正得到的;所述对照关系表的获取,进一步确定不同类型的业务实体实际所在的数据库,为后续数据查询提供查询依据,提高数据查询的精确度;所述第一目标数据库可以是不同业务实体间的关联关系映射形成的关系数据库,所述第二目标数据库可以是业务实体产生的时序数据映射形成的时序数据库,所述第三目标数据库可以是业务实体产生的图像映射形成的对象存储数据库;当然,目标数据库不仅限于这三种类型,可以根据不同应用场景下的需求,以及对应的业务实体和各业务实体之间的关联关系生成相应应用场景下所需要的数据库。
本发明的一可选实施例中,上述步骤12可以包括:
步骤121:按照预设查询条件,在预设业务数据模型中业务实体和业务实体之间的关联关系组成的数据网上进行遍历,获得查询遍历过的业务实体实际所在的至少两个异构目标数据库。
该实施例中,如图3所示,所述数据网为不同的业务实体以及不同业务实体之间的关联关系形成的网络结构;根据预设的查询条件,在所述预设业务数据模型中找出对应的业务实体,根据所述对应的业务实体以及业务实体之间的关联关系,在所述数据网中进行遍历查询,同时进行“搜索、剪枝、排序、分页”等操作,得到不同的业务实体实际所在的数据库,也即是得出所述对应的业务实体实际所在的异构目标数据库,进一步保证查询的准确性。
本发明的一可选实施例中,基于步骤121还包括:
步骤122:对所述至少两个异构目标数据库进行分组,生成每个目标数据库的查询计划;
步骤123:对所述查询计划进行改写,生成每个目标数据库的查询语句。
该实施例中,对不同类型的业务实体对应所在的实际目标数据库进行分组,并根据查询条件,生成每个目标数据库的查询计划;所述查询计划可以是根据查询条件生成对目标数据库进行查询的先后顺序、或者根据查询条件生成在对应在目标数据库中需要的查询内容等;在不同类型目标数据库中进行查询之前,将所述查询计划进行语义改写,生成不同的查询语句,不同的查询语句对应不同类型的目标数据库,以提高查询的效率,降低查询成本。
本发明的一可选实施例中,上述步骤13包括:
步骤131:根据所述查询语句,以及满足所述查询条件的至少两个业务实体之间的关联关系,从第一目标数据库中查询,获得第一查询结果;
步骤132:根据所述查询语句,以及满足所述查询条件的至少一个业务实体对应的时序数据,从第二目标数据库中查询,获得第二查询结果;
步骤133:根据所述查询语句,以及满足所述查询条件的至少一个业务实体对应的设备的图像数据,从第三目标数据库中查询,获得第三查询结果;
步骤134:根据所述第一查询结果、第二查询结果和/或第三查询结果,获得满足所述查询条件的查询结果。
该实施例中,根据所述查询语句,以及满足所述查询条件所需的业务实体,在相应业务实体对应的实际目标数据库中进行查找,得到在不同类型目标数据库中查询的查询结果,对多个查询结果进行汇总组装,得到最终查询结果;
进一步的,对所述最终查询结果进行二维化处理,以二维表格形式输出,返回给用户。
可选的,在实际应用中,不同类型的目标数据库可以通过统一的数据库驱动框架进行接入,如图7所示,目标数据库接入的接入口可以包括两大类:数据定义接口,以及数据访问接口;所述数据定义接口主要适配不同类型的数据结构对应的目标数据库,所述数据访问接口主要为适配数据查询、抽取以及订阅等不同访问方式下的对应的目标数据库,通过实现系统定义的接口,用户可以在外部定义新的数据库支持;优选的,主要接入口可以包括:GetEntities(实体接入口)、GetEntitiesByID(实体ID接入口)、GetRelations(关系接入口),GetRelationsByID(关系ID接入口)、ConvertDataframe(数据转换帧接入口)等。
以下将结合具体实例,对上述实施例进行说明,以查询条件为工业生产线生产的产品良率低于预设值Q的批次为例,对批次所使用的设备以及对应设备的数据进行查询,具体包括以下步骤:
步骤1,建立业务数据模型:如图4所示,主要包括的业务实体类型有:产品(物料批次)、段响应(过站信息)、设备(生产加工设备)、设备数据(设备数据包括:生产过程中设备产生的时序数据和检测图片)等,根据业务实体以及业务实体间的关联关系(如:不同批次的产品生产过程中需要的过站信息,不同批次产品对应的生产设备,不同设备在生产过程总产生的过站信息,不同设备在生产过程中产生的相应数据),构建业务数据模型。
步骤2,如图5所示对业务数据模型的业务实体进行转换:将业务实体及业务实体间的关系映射到多源异构数据库中,将产品、段响应、设备三种类型的实体以及三种类型业务实体之间的关系映射到关系数据库中;将设备产生的时序数据映射到时序数据库中;将设备产生的检测图片映射到对象存储数据库中,并生成业务实体与数据库映射对照关系表。
步骤3,如图6所示,根据查询条件,生成业务数据模型中业务实体的查询计划:根据查询条件,在业务数据模型中找出所需的业务实体:产品、段响应、设备以及设备产生的时序数据,生成一条从产品到段响应,从段响应到设备,再从设备到时序数据的线性查询路线,如图中箭头所示方向;根据查询条件生成对各业务实体要进行查询的查询内容,并将查询路线以及查询内容形成的查询计划转化为业务查询语义。
步骤4,将业务查询语义转换为数据库查询语句,同时在底层接入的多个不同类型数据库中,按照业务实体映射的相应数据库对照关系表,在多个不同类型的数据库中得到业务实体实际所在的数据库,也即是关系数据库、时序数据库中以及对象存储数据库中;业务实体实际所在的数据库中按照查询计划进行查询,得到满足查询条件满足产品良率低于预设值Q的业务实体,同时对查询结果进行拼装以及二维化转化,生成表格反馈用户。
该实施例中,底层接入的多个不同类型的数据库可以通过统一数据库驱动接口接入,所述数据库驱动接口按照统一的接口规范进行定义,对支持的数据库能力进行抽象,形成可扩展接口支持多种数据库实现;通过统一接口实现不同数据库的接入,为数据查询提供资源;同时依据上述查询方法,可以实现对多种数据库进行转换对接并访问查询,屏蔽底层访问细节,打通数据孤岛,降低数据智能应用访问数据的门槛。
如图8所示,本发明的实施例还提供一种工业多源异构数据的集成查询装置80,所述装置80包括:
获取模块81:用于获取对目标工业数据进行查询的查询请求,所述查询请求包括根据预设查询条件确定的至少两个业务实体间的关联查询;
处理模块82,用于处理按照预设业务数据模型,根据所述查询请求中满足预设查询条件的至少一个业务实体与其它业务实体之间的关联关系,确定要查询的至少两个异构目标数据库;从所述至少两个异构目标数据库中,获得满足所述查询条件的查询结果。
可选的,所述预设业务数据模型包括:不同类型的业务实体以及不同类型的业务实体之间的关联关系,所述业务实体为对任一种业务对象对应的数据进行实例化得到的数据实体。
可选的,所述业务实体之间的关联关系存储于第一目标数据库;所述业务实体对应的时序数据存储于第二目标数据库;所述业务实体对应的设备图像数据存储于第三目标数据库;所述第一目标数据库、第二目标数据库和第三目标数据库的数据存储结构不同。
可选的,所述处理模块82按照预设业务数据模型,对所述查询请求中满足预设查询条件的至少一个业务实体、以及该业务实体与其它业务实体之间的关联关系,确定要查询的至少两个异构目标数据库,包括:
按照预设查询条件,在预设业务数据模型中业务实体和业务实体之间的关联关系组成的数据网上进行遍历,获得查询遍历过的业务实体实际所在的至少两个异构目标数据库。
可选的,所述处理模块82对所述至少两个异构目标数据库进行分组,生成每个目标数据库的查询计划;对所述查询计划进行改写,生成每个目标数据库的查询语句。
可选的,所述处理模块22从所述至少两个异构目标数据库中,获得满足所述查询条件的查询结果,包括:
根据所述查询语句,以及满足所述查询条件的至少两个业务实体之间的关联关系,从第一目标数据库中查询,获得第一查询结果;
根据所述查询语句,以及满足所述查询条件的至少一个业务实体对应的时序数据,从第二目标数据库中查询,获得第二查询结果;
根据所述查询语句,以及满足所述查询条件的至少一个业务实体对应的设备的图像数据,从第三目标数据库中查询,获得第三查询结果;
根据所述第一查询结果、第二查询结果和/或第三查询结果,获得满足所述查询条件的查询结果。
可选的,所述处理模块82:将所述查询结果以二维表格形式输出。
该装置是与上述方法对应的装置,上述方法实施例中的所有实现方式均适用于该装置的实施例中,也能达到相同的技术效果。
本发明的实施例还提供一种计算设备,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如上所述的多源异构数据的集成查询方法的步骤;上述实施例中的所有实现方式均适用于该实施例中,也能达到相同的技术效果。
本发明的实施例还提供一种计算机可读存储介质,存储有指令,所述指令在计算机上运行时,使得计算机执行如上所述的多源异构数据的集成查询方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外,需要指出的是,在本发明的装置和方法中,显然,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行,某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言,能够理解本发明的方法和装置的全部或者任何步骤或者部件,可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中,以硬件、固件、软件或者它们的组合加以实现,这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此,本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此,本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说,这样的程序产品也构成本发明,并且存储有这样的程序产品的存储介质也构成本发明。显然,所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是,在本发明的装置和方法中,显然,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种工业多源异构数据的集成查询方法,其特征在于,所述方法包括:
获取对目标工业数据进行查询的查询请求,所述查询请求包括根据预设查询条件确定的至少两个业务实体间的关联查询;
按照预设业务数据模型,根据所述查询请求中满足预设查询条件的至少一个业务实体与其它业务实体之间的关联关系,确定要查询的至少两个异构目标数据库;
其中,按照预设业务数据模型,对所述查询请求中满足预设查询条件的至少一个业务实体与其它业务实体之间的关联关系,确定要查询的至少两个异构目标数据库,包括:
按照预设查询条件,在预设业务数据模型中业务实体和业务实体之间的关联关系组成的数据网上进行遍历,获得查询遍历过的业务实体实际所在的至少两个异构目标数据库;
所述至少两个异构目标数据库包括:存储所述业务实体之间的关联关系的第一目标数据库;存储所述业务实体对应的时序数据的第二目标数据库;存储所述业务实体对应的设备图像数据的第三目标数据库;所述第一目标数据库、第二目标数据库和第三目标数据库的数据存储结构不同;
根据所述预设查询条件,在所述预设业务数据模型中找出所需的业务实体,所述所需的业务实体包括:产品、段响应、设备以及设备产生的时序数据,并生成一条从产品到 段响应,从段响应到设备,再从设备到时序数据的线性查询路线;再根据查询条件生成对各业务实体要进行查询的查询内容,并将查询路线以及查询内容转化为业务查询语义;
根据业务查询语义从所述至少两个异构目标数据库中,获得满足所述查询条件的查询结果;
其中,所述预设业务数据模型包括:不同类型的业务实体以及不同类型的业务实体之间的关联关系,所述业务实体为对任一种业务对象对应的数据进行实例化得到的数据实体;所述预设业务数据模型是根据不同类型的业务实体实例化,以及不同类型的业务实体之间的关联关系实例化定义的模型;所述预设业务数据模型根据不同的应用场景进行定义模拟,以应用于不同的场景;根据不同应用场景下的需求,以及对应的业务实体和各业务实体之间的关联关系生成相应应用场景下所需要的数据库。
2.根据权利要求1所述的工业多源异构数据的集成查询方法,其特征在于,还包括:
对所述至少两个异构目标数据库进行分组,生成每个目标数据库的查询计划;
对所述查询计划进行改写,生成每个目标数据库的查询语句。
3.根据权利要求2所述的工业多源异构数据的集成查询方法,其特征在于,从所述至少两个异构目标数据库中,获得满足所述查询条件的查询结果,包括:
根据所述查询语句,以及满足所述查询条件的至少两个业务实体之间的关联关系,从第一目标数据库中查询,获得第一查询结果;
根据所述查询语句,以及满足所述查询条件的至少一个业务实体对应的时序数据,从第二目标数据库中查询,获得第二查询结果;
根据所述查询语句,以及满足所述查询条件的至少一个业务实体对应的设备的图像数据,从第三目标数据库中查询,获得第三查询结果;
根据所述第一查询结果、第二查询结果和/或第三查询结果,获得满足所述查询条件的查询结果。
4.根据权利要求3所述的工业多源异构数据的集成查询方法,其特征在于,还包括:
将所述查询结果以二维表格形式输出。
5.一种工业多源异构数据的集成查询装置,其特征在于,所述装置包括:
获取模块:用于获取对目标工业数据进行查询的查询请求,所述查询请求包括根据预设查询条件确定的至少两个业务实体间的关联查询;
处理模块,用于按照预设业务数据模型,根据所述查询请求中满足预设查询条件的至少一个业务实体与其它业务实体之间的关联关系,确定要查询的至少两个异构目标数据库;其中,按照预设业务数据模型,对所述查询请求中满足预设查询条件的至少一个业务实体与其它业务实体之间的关联关系,确定要查询的至少两个异构目标数据库,包括:
按照预设查询条件,在预设业务数据模型中业务实体和业务实体之间的关联关系组成的数据网上进行遍历,获得查询遍历过的业务实体实际所在的至少两个异构目标数据库;
所述至少两个异构目标数据库包括:存储所述业务实体之间的关联关系的第一目标数据库;存储所述业务实体对应的时序数据的第二目标数据库;存储所述业务实体对应的设备图像数据的第三目标数据库;所述第一目标数据库、第二目标数据库和第三目标数据库的数据存储结构不同;
根据所述预设查询条件,在所述预设业务数据模型中找出所需的业务实体,所述所需的业务实体包括:产品、段响应、设备以及设备产生的时序数据,并生成一条从产品到段响应,从段响应到设备,再从设备到时序数据的线性查询路线;再根据查询条件生成对各业务实体要进行查询的查询内容,并将查询路线以及查询内容转化为业务查询语义;根据业务查询语义从所述至少两个异构目标数据库中,获得满足所述查询条件的查询结果;
其中,所述预设业务数据模型包括:不同类型的业务实体以及不同类型的业务实体之间的关联关系,所述业务实体为对任一种业务对象对应的数据进行实例化得到的数据实体;所述预设业务数据模型是根据不同类型的业务实体实例化,以及不同类型的业务实体之间的关联关系实例化定义的模型;所述预设业务数据模型根据不同的应用场景进行定义模拟,以应用于不同的场景;根据不同应用场景下的需求,以及对应的业务实体和各业务实体之间的关联关系生成相应应用场景下所需要的数据库。
6.一种计算设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-4任一项所述的多源异构数据的集成查询方法的步骤。
7.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-4任一项所述的多源异构数据的集成查询方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111576281.1A CN113946594B (zh) | 2021-12-22 | 2021-12-22 | 一种工业多源异构数据的集成查询方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111576281.1A CN113946594B (zh) | 2021-12-22 | 2021-12-22 | 一种工业多源异构数据的集成查询方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113946594A CN113946594A (zh) | 2022-01-18 |
CN113946594B true CN113946594B (zh) | 2022-07-12 |
Family
ID=79339230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111576281.1A Active CN113946594B (zh) | 2021-12-22 | 2021-12-22 | 一种工业多源异构数据的集成查询方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113946594B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116383233B (zh) * | 2023-03-23 | 2024-01-19 | 天链(宁夏)数据科技有限公司 | 一种分布式数据库高速检索方法及系统 |
CN116910085A (zh) * | 2023-09-12 | 2023-10-20 | 联通智网科技股份有限公司 | 数据查询方法、装置、设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110162544A (zh) * | 2019-05-30 | 2019-08-23 | 口碑(上海)信息技术有限公司 | 异构数据源数据获取方法及装置 |
CN110618983A (zh) * | 2019-08-15 | 2019-12-27 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
CN112800179A (zh) * | 2021-02-02 | 2021-05-14 | 浙江公共安全技术研究院有限公司 | 关联数据库查询方法、装置、存储介质及电子设备 |
CN113486005A (zh) * | 2021-06-09 | 2021-10-08 | 中国科学院空天信息创新研究院 | 异构结构下的空间科学卫星大数据组织及查询方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102571720B (zh) * | 2010-12-27 | 2015-02-04 | 中国移动通信集团辽宁有限公司 | 一种异构信息内容处理方法及装置 |
CN111209319B (zh) * | 2018-11-21 | 2022-03-29 | 华为云计算技术有限公司 | 一种数据服务方法及装置 |
CN111782872B (zh) * | 2020-06-30 | 2023-08-08 | 北京百度网讯科技有限公司 | 查询方法、装置、电子设备以及存储介质 |
-
2021
- 2021-12-22 CN CN202111576281.1A patent/CN113946594B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110162544A (zh) * | 2019-05-30 | 2019-08-23 | 口碑(上海)信息技术有限公司 | 异构数据源数据获取方法及装置 |
CN110618983A (zh) * | 2019-08-15 | 2019-12-27 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
CN112800179A (zh) * | 2021-02-02 | 2021-05-14 | 浙江公共安全技术研究院有限公司 | 关联数据库查询方法、装置、存储介质及电子设备 |
CN113486005A (zh) * | 2021-06-09 | 2021-10-08 | 中国科学院空天信息创新研究院 | 异构结构下的空间科学卫星大数据组织及查询方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113946594A (zh) | 2022-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11036735B2 (en) | Dimension context propagation techniques for optimizing SQL query plans | |
US20220035815A1 (en) | Processing database queries using format conversion | |
CN113946594B (zh) | 一种工业多源异构数据的集成查询方法、装置及设备 | |
US20190005104A1 (en) | Systems and methods for interest-driven data visualization systems utilizing visualization image data and trellised visualizations | |
Souza et al. | Provenance data in the machine learning lifecycle in computational science and engineering | |
CN105740333A (zh) | 一种可视化的广告管理平台和实现方法 | |
US11704340B2 (en) | Linking discrete dimensions to enhance dimensional analysis | |
US9886477B2 (en) | Generating imperative-language query code from declarative-language query code | |
JP2016516246A (ja) | 個別のデータ値に対する効率よい演算を行うための方法、装置、並びにコンピュータ可読媒体 | |
CN104346371A (zh) | 内存数据库驱动业务整合系统报告 | |
CN111414410A (zh) | 数据处理方法、装置、设备和存储介质 | |
US10558652B2 (en) | Merging multiproviders in a database calculation scenario | |
CN109933622A (zh) | 一种数据可视化系统及实现方法 | |
Savinov | ConceptMix-Self-Service Analytical Data Integration based on the Concept-Oriented Model. | |
US10970265B2 (en) | Enhanced table functions for database management systems | |
Chereja et al. | Operationalizing analytics with NewSQL | |
CN114780752A (zh) | 联邦知识图谱构建方法、系统、设备及存储介质 | |
US20220413905A1 (en) | Data curation with synthetic data generation | |
El Abassi et al. | Matching data detection for the integration system | |
US9158818B2 (en) | Facilitating identification of star schemas in database environments | |
Mulyukova et al. | Big data analysis for studying spatiotemporal trends in the sustainable development of large cities | |
Bianchini et al. | A Methodological Approach for enabling Personalised Smart City Data Exploration | |
Azarm et al. | Managing and mapping data lineage for business intelligence and analytics applications in health care | |
Tiwari et al. | A Survey of Optimization Big Data Analytical Tools | |
Gupta | A Semantic Approach To Data Management for Smart Spaces |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |