CN114579545A - 一种基于地铁车站系统的数仓数据查询方法及装置 - Google Patents
一种基于地铁车站系统的数仓数据查询方法及装置 Download PDFInfo
- Publication number
- CN114579545A CN114579545A CN202210059740.7A CN202210059740A CN114579545A CN 114579545 A CN114579545 A CN 114579545A CN 202210059740 A CN202210059740 A CN 202210059740A CN 114579545 A CN114579545 A CN 114579545A
- Authority
- CN
- China
- Prior art keywords
- data
- query
- layer
- node
- station level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000001360 synchronised effect Effects 0.000 claims description 37
- 230000010354 integration Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 11
- 238000013500 data storage Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 230000004083 survival effect Effects 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013479 data entry Methods 0.000 claims description 5
- 239000010410 layer Substances 0.000 claims 40
- 239000002344 surface layer Substances 0.000 claims 1
- 230000005856 abnormality Effects 0.000 abstract description 14
- 239000002609 medium Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 239000003795 chemical substances by application Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 235000019580 granularity Nutrition 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 238000005192 partition Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 206010033799 Paralysis Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种基于地铁车站系统的数仓数据查询方法及装置,地铁车站系统包括均设置有数据仓库中心节点和车站级节点,通过发送查询指令给中心节点,以获取中心节点中存储的数据,所述查询指令包括数据来源标识信息;若在预设时间内没接收到中心节点反馈的查询结果数据,则进行查询数据是否属于本车站级节点数据的判断;若查询数据属于本车站级节点数据,则直接从本车站级节点的数据仓库中获取查询数据;若查询数据不属于本车站级节点数据,则根据查询指令中的数据来源标识信息确定数据来源节点,并发送查询指令给所述数据来源节点;接收并输出所述数据来源节点反馈的查询结果数据,降低网络异常对查询业务的影响,提升数据查询的效率。
Description
技术领域
本申请实施例涉及数据仓库技术领域,尤其涉及一种基于地铁车站系统的数仓数据查询方法及装置。
背景技术
地铁作为人们一种重要的交通出行方式,给人们的社会生活带来了巨大的便利,也给国家和地区的经济带来了非常大的促进发展作用。但是,随着国家对地铁行业的大力支持,各地都在不断的加大对地铁的建设,随着地铁线路的越来越多,随之乘坐地铁的人也越来越多,存储和管理庞大的数据变得越来越复杂,所以为了更方便的存储和管理庞大的地铁车站系统数据,提出了通过数据仓库进行数据的管理。
现有的数据仓库服务一般部署在控制中心节点的大数据集群中,而在车站与控制中心节点存在网络异常时,查询数据业务则需要暂停,需要等网络恢复之后才能继续进行查询业务的反馈。在车站与控制中心节点存在网络异常时,车站所有依赖于数据仓库支撑的业务均处于瘫痪状态,使得车站部分业务无法正常运行。
发明内容
本申请实施例提供一种基于地铁车站系统的数仓数据查询方法及装置,能够解决车站进行数据查询时与中心节点网络中断导致的查询失败的问题,降低网络异常对查询业务的影响,提升数据查询的效率。
在第一方面,本申请实施例提供了一种基于地铁车站系统的数仓数据查询方法,所述地铁车站系统包括中心节点和车站级节点,其中中心节点和车站级节点均设置有数据仓库,包括:
发送查询指令给中心节点,以获取中心节点中存储的数据,所述查询指令包括数据来源标识信息;
若在预设时间内没接收到中心节点反馈的查询结果数据,则进行查询数据是否属于本车站级节点数据的判断;
若查询数据属于本车站级节点数据,则直接从本车站级节点的数据仓库中获取查询数据;
若查询数据不属于本车站级节点数据,则根据查询指令中的数据来源标识信息确定数据来源节点,并发送查询指令给所述数据来源节点;
接收并输出所述数据来源节点反馈的查询结果数据。
进一步的,所述方法还包括:
对查询指令进行分析判断查询数据是否为统计数据;
若查询数据是统计数据,则将查询指令发送给对应的至少一个数据来源节点;
接收数据来源节点反馈的第一查询结果数据;
对第一查询结果数据进行汇聚计算,得到第二查询结果数据,并输出第二查询结果数据;
若查询数据不是统计数据,则将查询指令发送给对应的数据来源节点;
接收数据来源节点反馈的第一查询结果数据,并输出第一查询结果数据。
进一步的,所述中心节点和所述车站级节点均包括接入层、存储层、计算层和共享层,其中,接入层分别与存储层和计算层连接,计算层和存储层连接,存储层与共享层连接;
其中,所述接入层包括消息队列和FTP文件方式接入采集设备采集得到的初始数据;
所述存储层包括时序数据库、对象数据库和关系型数据库;
所述共享层包括数据共享接口和查询代理接口,所述数据共享接口用于进行数据的共享,所述查询代理接口用于响应查询指令。
进一步的,所述时序数据库、对象数据库和关系型数据库均包括操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS和维表层DIM;
其中,所述操作数据层ODS1用于数据入口,保存初始数据;
所述操作数据层ODS2用于对初始数据进行数据清洗处理,得到第一整合数据;
所述事实明细层DWD用于对第一整合数据进行数据业务主题划分处理,得到第二整合数据;
所述事实汇总层DWS用于对第二整合数据进行共性提炼处理,得到第三整合数据;
所述数据应用层ADS用于对第三整合数据进行时间维度和空间维度的数据整合处理,得到第四整合数据;
所述维表层DIM用于存储维度数据。
进一步的,所述车站级节点包括车站节点、车辆段节点、停车场节点和主变电所节点;
所述方法还包括:
每一车站级节点完成节点数据仓库的建立后,则向其他车站级节点发送注册信息,完成注册后接收心跳检测,并发送响应给对应的车站级节点,以展示自身的存活状态;
完成注册后,建立车站级节点与中心节点之间的通信,以实现数据的储存和查询,以及建立车站级节点之间的通信,以实现数据的查询。
进一步的,所述操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS中均存在待同步记录和已同步记录;
所述方法还包括:
将各车站级节点的操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS中的待同步记录中的数据同步到中心节点对应的操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS中;
将已同步的数据增加到已同步记录中,并将已同步的数据从待同步记录中删除。
进一步的,所述方法还包括:
在将查询指令发送给所述数据来源节点后,在预设时间内没接到所述数据来源节点反馈的查询结果数据时,则输出查询失败结果。
在第二方面,本申请实施例提供了一种基于地铁车站系统的数仓数据查询装置,所述地铁车站系统包括中心节点和车站级节点,其中中心节点和车站级节点均设置有数据仓库,包括:
查询指令发送模块,用于发送查询指令给中心节点,以获取中心节点中存储的数据,所述查询指令包括数据来源标识信息;
数据来源判断模块,用于若在预设时间内没接收到中心节点反馈的查询结果数据,则进行查询数据是否属于本车站级节点数据的判断;
若查询数据属于本车站级节点数据,则直接从本车站级节点的数据仓库中获取查询数据;
若查询数据不属于本车站级节点数据,则根据查询指令中的数据来源标识信息确定数据来源节点,并将查询指令发送给所述数据来源节点;
数据输出模块,用于接收并输出所述数据来源节点反馈的查询结果数据。
进一步的,所述装置还包括:
查询指令分析模块,用于对查询指令进行分析判断查询数据是否为统计数据;
若查询数据是统计数据,则将查询指令发送给对应的至少一个数据来源节点;
接收数据来源节点反馈的第一查询结果数据;
对第一查询结果数据进行汇聚计算,得到第二查询结果数据,并输出第二查询结果数据;
若查询数据不是统计数据,则将查询指令发送给对应的数据来源节点;
接收数据来源节点反馈的第一查询结果数据,并输出第一查询结果数据。
进一步的,所述中心节点和所述车站级节点均包括接入层、存储层、计算层和共享层,其中,接入层分别与存储层和计算层连接,计算层和存储层连接,存储层与共享层连接;
其中,所述接入层包括消息队列和FTP文件方式接入采集设备采集得到的初始数据;
所述存储层包括时序数据库、对象数据库和关系型数据库;
所述共享层包括数据共享接口和查询代理接口,所述数据共享接口用于进行数据的共享,所述查询代理接口用于响应查询指令。
进一步的,所述时序数据库、对象数据库和关系型数据库均包括操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS和维表层DIM;
其中,所述操作数据层ODS1用于数据入口,保存初始数据;
所述操作数据层ODS2用于对初始数据进行数据清洗处理,得到第一整合数据;
所述事实明细层DWD用于对第一整合数据进行数据业务主题划分处理,得到第二整合数据;
所述事实汇总层DWS用于对第二整合数据进行共性提炼处理,得到第三整合数据;
所述数据应用层ADS用于对第三整合数据进行时间维度和空间维度的数据整合处理,得到第四整合数据;
所述维表层DIM用于存储维度数据。
进一步的,所述车站级节点包括车站节点、车辆段节点、停车场节点和主变电所节点;
所述装置还包括:
注册和心跳检测模块,用于每一车站级节点完成节点数据仓库的建立后,则向其他车站级节点发送注册信息,完成注册后接收心跳检测,并发送响应给对应的车站级节点,以展示自身的存活状态;
通信模块,用于完成注册后,建立车站级节点与中心节点之间的通信,以实现数据的储存和查询,以及建立车站级节点之间的通信,以实现数据的查询。
进一步的,所述操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS中均存在待同步记录和已同步记录;
所述装置还包括:
数据同步模块,用于将各车站级节点的操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS中的待同步记录中的数据同步到中心节点对应的操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS中;
将已同步的数据增加到已同步记录中,并将已同步的数据从待同步记录中删除。
进一步的,所述装置还包括:
查询失败结果输出模块,用于在将查询指令发送给所述数据来源节点后,在预设时间内没接到所述数据来源节点反馈的查询结果数据时,则输出查询失败结果。
在第三方面,本申请实施例提供了一种电子设备,包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的基于地铁车站系统的数仓数据查询方法。
在第四方面,本申请实施例提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的基于地铁车站系统的数仓数据查询方法。
本申请实施例通过在中心节点和车站级均设置数据仓库,发送包括数据来源标识信息的查询指令给中心节点以获取中心节点存储的数据,若在预设时间内没接收到中心节点反馈的查询结果数据,则进行查询数据是否属于本车站节点数据的判断,若查询数据属于本车站级节点数据,则直接从本车站级节点的数据仓库中获取查询数据,若查询数据不属于本车站级节点数据,则根据查询指令中的数据来源标识信息确定数据来源节点并发送查询指令给所述数据来源节点,接收并输出所述数据来源节点反馈的查询结果数据。采用上述技术手段,在车站级节点设置有数据仓库,在车站与中心节点存在网络异常时,可以降级为车站级节点的数据仓库提供数据查询服务,降低因与中心节点的网络异常对查询业务的影响,提升了数据查询的效率。此外,在车站级节点的数据仓库提供数据查询服务时,优先从本车站级节点中获取查询数据,在查询数据不属于本车站节点数据时,则从对应的车站级节点中获取对应的数据,可以进一步的提高数据查询的效率。
附图说明
图1是本申请实施例一提供的一种基于地铁车站系统的数仓数据查询方法中的节点注册和心跳检测示意图;
图2是本申请实施例一提供的一种基于地铁车站系统的数仓数据查询方法的流程图;
图3是本申请实施例一中的数据查询过程流程图;
图4是本申请实施例一中的中心节点和车站级节点的架构示意图;
图5是本申请实施例一中的中心节点和车站级节点的另一架构示意图;
图6是本申请实施例一中的数据同步示意图;
图7是本申请实施例一中的数据同步裁剪示意图;
图8是本申请实施例二提供的一种基于地铁车站系统的数仓数据查询装置的结构示意图;
图9是本申请实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的基于地铁车站系统的数仓数据查询方法及装置,旨在数据查询时,通过在车站级节点设置数据仓库,以在车站与中心节点存在网络异常时可以通过车站级节点获取查询数据,降低因与中心节点的网络异常对查询业务的影响,提升数据查询的效率。相对于传统的车站数据查询方式,其通常将数据仓库部署在中心节点的集群中,在车站需要查询数据时遇到车站与控制中心节点存在网络异常时,查询数据业务则需要暂停,导致车站所有依赖于数据仓库支撑的业务无法进行,导致车站部分业务处于瘫痪状态,严重影响车站的整体运作。基于此,提供本申请实施例的基于地铁车站系统的数仓数据查询方法,以解决现有数据查询时与中心节点网络中断导致的查询失败的问题。
实施例一:
图2给出了本申请实施例一提供的一种基于地铁车站系统的数仓数据查询方法的流程图,本实施例中提供的基于地铁车站系统的数仓数据查询方法可以由基于地铁车站系统的数仓数据查询设备执行,该基于地铁车站系统的数仓数据查询设备可以通过软件和/或硬件的方式实现,该基于地铁车站系统的数仓数据查询设备可以是两个或多个物理实体构成,也可以是一个物理实体构成。一般而言,该基于地铁车站系统的数仓数据查询设备可以是移动终端设备,如计算机等。
下述以计算机为执行基于地铁车站系统的数仓数据查询方法的主体为例,进行描述。参照图5,地铁车站系统包括中心节点和车站级节点,其中中心节点和车站级节点均设置有数据仓库。其中中心节点主要包含整个线路车站的监控和指挥等系统,中心节点设置的数据仓库是对所有车站级的节点的数据进行储存。所述车站级节点包括车站节点、车辆段节点、停车场节点和主变电所节点。车站节点配置车站内设备的监控和控制系统,通过监控和控制系统对车站节点的数据进行监控和记录,并保存到车站节点的数据仓库中。车辆段节点、停车场节点和主变电所节点内配置相应的专业系统,以监控和记录自身节点的数据,并保存在自身节点对应的数据仓库中。每一车站级节点完成节点数据仓库的建立后,则向其他车站级节点发送注册信息,完成注册后接收心跳检测,并发送响应给对应的车站级节点,以展示自身的存活状态。完成注册后,建立车站级节点与中心节点之间的通信,以实现数据的储存和查询,以及建立车站级节点之间的通信,以实现数据的查询。
示例性的,每个车站级节点和中心节点在建设的过程都是独立的,每个节点通过自身的计算和存储资源完成数据的接入、存储、统计和共享,数据内容也仅包含本节点的内容。数据备份通过存储组件的备份机制在本地进行备份,例如多副本备份或主备机制备份等。
参照图1,车站级节点1完成自身节点的数据仓库的建立后,向节点2发送注册信息,节点2接收到车站级节点1发送的注册信息后给车站级节点1发送心跳检测。节点2可以定时向车站级节点1发送心跳检测。车站级节点1接收到节点2发送的心跳检测后,发送响应给节点2,以向节点2展示自身的存活状态。节点2根据接收到车站级节点1的响应获知车站级节点1还处于存活状态。所述节点2可以是中心节点也可以是车站级节点。由此建立起车站级节点1和节点2之间的通信,以实现数据的传输功能。当节点2是中心节点时,完成注册后建立车站级节点1和中心节点之间的通信,以实现数据的存储和查询。当节点2是车站级节点时,则建立车站级节点1和车站级节点之间的通信,以实现数据的查询。
在一实施例中,在进行节点的注册时,可以是向多个节点同时发送注册信息,也可以是逐一发送注册信息。
该基于地铁车站系统的数仓数据查询方法具体包括:
S101、发送查询指令给中心节点,以获取中心节点中存储的数据,所述查询指令包括数据来源标识信息。
参照图3,由于中心节点对所有车站级节点的数据进行存储,因此,在需要进行数据查询时,优先考虑从中心节点获取需要查询的数据信息。发送查询指令给中心节点,中心节点接收到查询指令后根据查询指令中的数据来源标识信息查找数据仓库中对应的数据并反馈给对应的发送查询指令的车站级节点。
S102、若在预设时间内没接收到中心节点反馈的查询结果数据,则进行查询数据是否属于本车站级节点数据的判断。
通过发送查询指令给中心节点,在预设的时间内没接收到中心节点反馈的查询结果数据,证明可能存在本节点与中心节点之间的通信异常情况,或者中心节点中并没有存储有需要查询的数据,因此并不能反馈对应查询结果给对应的发送查询指令的车站级节点,因此这时则需要从数据来源标识信息对应的车站级节点中的数据仓库获取对应的查询数据。此时,需要优先从本节点获取数据,因此需要判断需要查询的数据是否属于本车站级节点的数据。
S103、若查询数据属于本车站级节点数据,则直接从本车站级节点的数据仓库中获取查询数据。
根据查询指令中携带的数据来源标识信息,判断需要查询的数据来源于哪个车站级节点。若查询数据属于本车站级节点的数据,则直接从本车站级节点的数据仓库中获取需要查询的数据。
S104、若查询数据不属于本车站级节点数据,则根据查询指令中的数据来源标识信息确定数据来源节点,并发送查询指令给所述数据来源节点。
根据查询指令中携带的数据来源标识信息,判断需要查询数据来源于哪个车站级节点。若查询数据不属于本车站级节点的数据,则根据查询指令中的数据来源标识信息确定数据来源节点,并发送查询指令给所述数据来源节点。例如,发出查询指令的是车站节点,需要查询的是停车场节点的数据,因此查询指令中携带的数据来源标识信息包括停车场节点信息,因此判断查询数据不属于本车站节点的数据,则根据查询指令中携带的数据来源标识信息包括停车场节点信息确定数据来源于停车场节点,并发送查询指令到停车场节点进行数据的查询。
S105、接收并输出所述数据来源节点反馈的查询结果数据。
当中心节点接收到车站级节点发送的查询指令时,根据查询指令反馈对应的数据信息。接收中心节点反馈的数据信息,并输出中心节点反馈的数据信息。当数据来源节点接收到查询指令时,则根据查询指令反馈对应的数据信息。接收数据来源节点反馈的数据信息,并输出所述数据来源节点反馈的数据信息。
在一实施例中,对查询指令进行分析判断查询数据是否为统计数据;若查询数据是统计数据,则将查询指令发送给对应的至少一个数据来源节点;接收各数据来源节点反馈的第一查询结果数据;对第一查询结果数据进行汇聚计算,得到第二查询结果数据,并输出第二查询结果数据。若查询数据不是统计数据,则将查询指令发送给对应的数据来源节点;接收数据来源节点反馈的第一查询结果数据,并输出第一查询结果数据。
示例性的,参照图3,当需要查询的数据为多个车站级节点的某项业务数据总数或总和,则需要查询的数据为统计数据,则将查询指令发送给所有需要统计该项业务数据对应的所有车站级节点,接收所有车站级节点反馈回来的第一查询结果数据,所述第一查询结果数据为具体的业务数据。对接收到的第一查询数据进行汇聚计算得到第二查询结果数据,所述第二查询结果数据就是需要的多个车站级节点的某项业务数据总数或总和,输出所述第二查询结果数据。
示例性的,当需要查询的数据是某个车站级节点具体某个业务数据时,则查询数据不是统计数据,则将查询指令发给对应的车站级节点,接收所述车站级节点反馈的第一查询结果数据,所述第一查询结果数据为具体的业务数据,输出所述第一查询结果数据。
在一实施例中,在将查询指令发送给所述数据来源节点后,在预设时间内没接到所述数据来源节点反馈的查询结果数据时,则输出查询失败结果。
参照图3,在将查询指令发送给所述数据来源节点后,在预设时间内没接到所述数据来源节点反馈的查询结果数据时,说明发出查询指令的车站级节点与数据来源节点之间存在通信异常,所述数据来源节点不可达,则输出查询失败结果。
在一实施例中,参照图4,所述中心节点和所述车站级节点均包括接入层、存储层、计算层和共享层,其中,接入层分别与存储层和计算层连接,计算层和存储层连接,存储层与共享层连接。其中,所述接入层包括消息队列和FTP文件方式接入采集设备采集得到的初始数据。所述存储层包括时序数据库、对象数据库和关系型数据库。所述共享层包括数据共享接口和查询代理接口,所述数据共享接口用于进行数据的共享,所述查询代理接口用于响应查询指令。
具体的,接入层通过消息队列、FTP文件等方式接入监测中心采集的各专业数据,支持csv,json格式数据解析,支持非结构化数据采集,支持实时采集和离线定期采集,支持全量采集和增量采集;控制中心节点还需接入各车站的统计数据,统计数据通过Binlog日志方式进行实时同步。存储层根据接入数据的不同,将数据存储在不同的组件中。监控点变化数据存入时序数据库,图片、视频等非结构化数据存储对象数据库,图片、视频元数据、告警、故障等业务数据以及统计数据存储在关系型数据库。计算层根据业务数据、统计数据的时效性要求,提供实时计算和离线计算两种计算模式。实时计算支持Flink流计算框架,在资源充足的情况下可满足并行计算要求,可有效降低数据延迟,保证数据的Exactly Once要求。离线计算使用关系型数据库的计算能力,通过调度工具定期执行计算任务。共享层提供两部分服务,数据共享接口对外发布rest api接口,用于业务侧获取数据共享中心内的数据。每个数据共享接口提供全功能服务。查询代理接口用于响应其它车站转发的本站数据的查询要求。
在一实施例中,参照图5,通过在各车站级节点中均建设数据仓库,每个节点数仓的分层为操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS和维表层DIM,将数据存储以及计算的压力分摊到各个车站内,同时将统计后的数据同步到中心节点进行二次数据统计,以支持线路级别的业务应用需求。
参照图4和图5,所述时序数据库、对象数据库和关系型数据库均包括操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS和维表层DIM。其中,由于车站业务涉及到相同的表接口协议可能不一致,因此操作数据层ODS衍生操作数据层ODS1和操作数据层ODS2两层。所述操作数据层ODS1用于数据入口,保存初始数据,不做数据清洗,保障数据完整性,后续如果后端数据处理出错时,可以追根溯源。所述操作数据层ODS2用于则根据不同协议进行适配转换,对初始数据进行数据清洗处理,形成统一标准和增加一些公共字段(例如日期分区字段),并对不同线路进行数据合并等,得到第一整合数据。所述事实明细层DWD用于对第一整合数据进行数据业务主题划分处理,得到第二整合数据。所述事实明细层DWD用于对第一整合数据与车站业务中各维度信息进行关联,按照业务主题进行数据整合,存储企业全局的历史明细数据,建立相对稳定的企业数据视图,屏蔽业务源系统变化对下游各目标应用系统的影响,支持高性能的海量数据查询分析和上下钻取分析需求。所述事实汇总层DWS用于对第二整合数据进行共性提炼处理,得到第三整合数据。例如,根据车站业务需求,需要生成时间粒度15分钟、30分钟、60分钟、1天、1个月和1年等等不同时间粒度维度的聚合统计,为了避免重复从事实明细层DWD抽取历史明细数据按不同时间粒度统计,导致计算压力过重,所以基于事实明细层DWD的第二整合数据,对常用业务数据进行共性提炼,对常用数据粒度的应用分析需求进行统一的汇总加工处理(例如先聚合15分钟维度的数据),提供公共数据的复用性,为数据应用提供数据服务。所述数据应用层ADS用于对第三整合数据进行时间维度和空间维度的数据整合处理,得到第四整合数据。例如,根据车站业务需求,需要生成车站、线路空间维度和15min、30min、60min、1h、1m等不同时间粒度的宽表,为了方便数据的管理和维度,通过增加room_cube和time_cube等表字段的设计,将不同空间维度和时间粒度维度的数据写入到同个表中,为各种分析主题提供数据服务,为内部管理分析类应用需求提供数据支持。所述维表层DIM用于存储维度数据。
在一实施例中,中心节点和车站级节点中的数据仓库均包括生命周期管理。所述生命周期管理包括表的创建与删除和表分区数据的生命周期管理。以HIVE数据仓库为例,在建表的时候根据业务要求和服务器存储空间的实际情况设计表和数据的生命周期,再根据HIVE的TBLPROPERTIES属性,分别设定表和数据的生命周期参数,例如表数据的生命周期只保留最近一个月的数据,可以设置参数key为lifecycle,value为30,然后定时启动SpringBoot任务通过hive.metastoreUris参数从HIVE表中获取参数名称取到对应的参数值,基于系统时间自动删除过期分区表(表必须第一个分区为ds的,日期为天格式yyyymmdd)。
在一实施例中,参照图6,所述操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS中均存在待同步记录和已同步记录。将各车站级节点的操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS中的待同步记录中的数据同步到中心节点对应的操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS中;将已同步的数据增加到已同步记录中,并将已同步的数据从待同步记录中删除。
在一实施例中,数据仓库内的数据采用分区的方式进行存储,每个分区是一个独立的统计单元,在车站级节点数据仓库的计算过程完成时,向车站级节点数据仓库的数据同步服务中写入一个待同步记录(包含同步的内容以及分区、以及待同步的条数等信息),中心节点的接入服务定期扫描待同步记录并进行数据同步,中心节点同步完成后,将车站级节点数据仓库的待同步记录更新为已完成;如果中心节点与车站级节点的网络异常,不影响待同步记录的生成,网络恢复后,中心继续扫描待同步记录进行数据同步。
在一实施例中,参照图7,当中心节点的存储资源不能满足抽取全部车站级节点数据的需求时,可根据实际资源情况按顺序对事实明细层DWD、事实汇总层DWS、数据应用层ADS进行裁剪,例如:若中心节点只能满足数据应用层ADS数据的汇总需要,则可以裁剪为数据仓库中仅同步存储数据应用层ADS。
上述,通过在中心节点和车站级均设置数据仓库,发送包括数据来源标识信息的查询指令给中心节点以获取中心节点存储的数据,若在预设时间内没接收到中心节点反馈的查询结果数据,则进行查询数据是否属于本车站节点数据的判断,若查询数据属于本车站级节点数据,则直接从本车站级节点的数据仓库中获取查询数据,若查询数据不属于本车站级节点数据,则根据查询指令中的数据来源标识信息确定数据来源节点并发送查询指令给所述数据来源节点,接收并输出所述数据来源节点反馈的查询结果数据。采用上述技术手段,在车站级节点设置有数据仓库,在车站与中心节点存在网络异常时,可以降级为车站级节点的数据仓库提供数据查询服务,降低因与中心节点的网络异常对查询业务的影响,提升了数据查询的效率。此外,在车站级节点的数据仓库提供数据查询服务时,优先从本车站级节点中获取查询数据,在查询数据不属于本车站节点数据时,则从对应的车站级节点中获取对应的数据,可以进一步的提高数据查询的效率。
实施例二:
在上述实施例的基础上,图8为本申请实施例二提供的一种基于地铁车站系统的数仓数据查询装置的结构示意图。参考图8,本实施例提供的基于地铁车站系统的数仓数据查询装置具体包括:查询指令发送模块21、数据来源判断模块22和数据输出模块23。
其中,所述地铁车站系统包括中心节点和车站级节点,其中中心节点和车站级节点均设置有数据仓库,包括:
查询指令发送模块21,用于发送查询指令给中心节点,以获取中心节点中存储的数据,所述查询指令包括数据来源标识信息;
数据来源判断模块22,用于若在预设时间内没接收到中心节点反馈的查询结果数据,则进行查询数据是否属于本车站级节点数据的判断;
若查询数据属于本车站级节点数据,则直接从本车站级节点的数据仓库中获取查询数据;
若查询数据不属于本车站级节点数据,则根据查询指令中的数据来源标识信息确定数据来源节点,并将查询指令发送给所述数据来源节点;
数据输出模块23,用于接收并输出所述数据来源节点反馈的查询结果数据。
进一步的,所述装置还包括:
查询指令分析模块,用于对查询指令进行分析判断查询数据是否为统计数据;
若查询数据是统计数据,则将查询指令发送给对应的至少一个数据来源节点;
接收数据来源节点反馈的第一查询结果数据;
对第一查询结果数据进行汇聚计算,得到第二查询结果数据,并输出第二查询结果数据;
若查询数据不是统计数据,则将查询指令发送给对应的数据来源节点;
接收数据来源节点反馈的第一查询结果数据,并输出第一查询结果数据。
进一步的,所述中心节点和所述车站级节点均包括接入层、存储层、计算层和共享层,其中,接入层分别与存储层和计算层连接,计算层和存储层连接,存储层与共享层连接;
其中,所述接入层包括消息队列和FTP文件方式接入采集设备采集得到的初始数据;
所述存储层包括时序数据库、对象数据库和关系型数据库;
所述共享层包括数据共享接口和查询代理接口,所述数据共享接口用于进行数据的共享,所述查询代理接口用于响应查询指令。
进一步的,所述时序数据库、对象数据库和关系型数据库均包括操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS和维表层DIM;
其中,所述操作数据层ODS1用于数据入口,保存初始数据;
所述操作数据层ODS2用于对初始数据进行数据清洗处理,得到第一整合数据;
所述事实明细层DWD用于对第一整合数据进行数据业务主题划分处理,得到第二整合数据;
所述事实汇总层DWS用于对第二整合数据进行共性提炼处理,得到第三整合数据;
所述数据应用层ADS用于对第三整合数据进行时间维度和空间维度的数据整合处理,得到第四整合数据;
所述维表层DIM用于存储维度数据。
进一步的,所述车站级节点包括车站节点、车辆段节点、停车场节点和主变电所节点;
所述装置还包括:
注册和心跳检测模块,用于每一车站级节点完成节点数据仓库的建立后,则向其他车站级节点发送注册信息,完成注册后接收心跳检测,并发送响应给对应的车站级节点,以展示自身的存活状态;
通信模块,用于完成注册后,建立车站级节点与中心节点之间的通信,以实现数据的储存和查询,以及建立车站级节点之间的通信,以实现数据的查询。
进一步的,所述操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS中均存在待同步记录和已同步记录;
所述装置还包括:
数据同步模块,用于将各车站级节点的操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS中的待同步记录中的数据同步到中心节点对应的操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS中;
将已同步的数据增加到已同步记录中,并将已同步的数据从待同步记录中删除。
进一步的,所述装置还包括:
查询失败结果输出模块,用于在将查询指令发送给所述数据来源节点后,在预设时间内没接到所述数据来源节点反馈的查询结果数据时,则输出查询失败结果。
上述,通过在中心节点和车站级均设置数据仓库,发送包括数据来源标识信息的查询指令给中心节点以获取中心节点存储的数据,若在预设时间内没接收到中心节点反馈的查询结果数据,则进行查询数据是否属于本车站节点数据的判断,若查询数据属于本车站级节点数据,则直接从本车站级节点的数据仓库中获取查询数据,若查询数据不属于本车站级节点数据,则根据查询指令中的数据来源标识信息确定数据来源节点并发送查询指令给所述数据来源节点,接收并输出所述数据来源节点反馈的查询结果数据。采用上述技术手段,在车站级节点设置有数据仓库,在车站与中心节点存在网络异常时,可以降级为车站级节点的数据仓库提供数据查询服务,降低因与中心节点的网络异常对查询业务的影响,提升了数据查询的效率。此外,在车站级节点的数据仓库提供数据查询服务时,优先从本车站级节点中获取查询数据,在查询数据不属于本车站节点数据时,则从对应的车站级节点中获取对应的数据,可以进一步的提高数据查询的效率。
本申请实施例二提供的基于地铁车站系统的数仓数据查询装置可以用于执行上述实施例一提供的基于地铁车站系统的数仓数据查询方法,具备相应的功能和有益效果。
实施例三:
本申请实施例三提供了一种电子设备,参照图9,该电子设备包括:处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个,该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。
存储器32作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请任意实施例所述的基于地铁车站系统的数仓数据查询方法对应的程序指令/模块(例如,基于地铁车站系统的数仓数据查询装置中的查询指令发送模块、数据来源判断模块和数据输出模块)。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块33用于进行数据传输。
处理器31通过运行存储在存储器中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的基于地铁车站系统的数仓数据查询方法。
输入装置34可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
上述提供的电子设备可用于执行上述实施例一提供的基于地铁车站系统的数仓数据查询方法,具备相应的功能和有益效果。
实施例四:
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种基于地铁车站系统的数仓数据查询方法,该基于地铁车站系统的数仓数据查询方法包括:发送查询指令给中心节点,以获取中心节点中存储的数据,所述查询指令包括数据来源标识信息;若在预设时间内没接收到中心节点反馈的查询结果数据,则进行查询数据是否属于本车站级节点数据的判断;若查询数据属于本车站级节点数据,则直接从本车站级节点的数据仓库中获取查询数据;若查询数据不属于本车站级节点数据,则根据查询指令中的数据来源标识信息确定数据来源节点,并发送查询指令给所述数据来源节点;接收并输出所述数据来源节点反馈的查询结果数据。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDR RAM、SRAM、EDO RAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的基于地铁车站系统的数仓数据查询方法,还可以执行本申请任意实施例所提供的基于地铁车站系统的数仓数据查询方法中的相关操作。
上述实施例中提供的基于地铁车站系统的数仓数据查询装置、存储介质及电子设备可执行本申请任意实施例所提供的基于地铁车站系统的数仓数据查询方法,未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的基于地铁车站系统的数仓数据查询方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由权利要求的范围决定。
Claims (10)
1.一种基于地铁车站系统的数仓数据查询方法,所述地铁车站系统包括中心节点和车站级节点,其中中心节点和车站级节点均设置有数据仓库,其特征在于,包括:
发送查询指令给中心节点,以获取中心节点中存储的数据,所述查询指令包括数据来源标识信息;
若在预设时间内没接收到中心节点反馈的查询结果数据,则进行查询数据是否属于本车站级节点数据的判断;
若查询数据属于本车站级节点数据,则直接从本车站级节点的数据仓库中获取查询数据;
若查询数据不属于本车站级节点数据,则根据查询指令中的数据来源标识信息确定数据来源节点,并发送查询指令给所述数据来源节点;
接收并输出所述数据来源节点反馈的查询结果数据。
2.根据权利要求1所述的基于地铁车站系统的数仓数据查询方法,其特征在于,所述方法还包括:
对查询指令进行分析判断查询数据是否为统计数据;
若查询数据是统计数据,则将查询指令发送给对应的至少一个数据来源节点;
接收数据来源节点反馈的第一查询结果数据;
对第一查询结果数据进行汇聚计算,得到第二查询结果数据,并输出第二查询结果数据;
若查询数据不是统计数据,则将查询指令发送给对应的数据来源节点;
接收数据来源节点反馈的第一查询结果数据,并输出第一查询结果数据。
3.根据权利要求1所述的基于地铁车站系统的数仓数据查询方法,其特征在于,所述中心节点和所述车站级节点均包括接入层、存储层、计算层和共享层,其中,接入层分别与存储层和计算层连接,计算层和存储层连接,存储层与共享层连接;
其中,所述接入层包括消息队列和FTP文件方式接入采集设备采集得到的初始数据;
所述存储层包括时序数据库、对象数据库和关系型数据库;
所述共享层包括数据共享接口和查询代理接口,所述数据共享接口用于进行数据的共享,所述查询代理接口用于响应查询指令。
4.根据权利要求3所述的基于地铁车站系统的数仓数据查询方法,其特征在于,所述时序数据库、对象数据库和关系型数据库均包括操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS和维表层DIM;
其中,所述操作数据层ODS1用于数据入口,保存初始数据;
所述操作数据层ODS2用于对初始数据进行数据清洗处理,得到第一整合数据;
所述事实明细层DWD用于对第一整合数据进行数据业务主题划分处理,得到第二整合数据;
所述事实汇总层DWS用于对第二整合数据进行共性提炼处理,得到第三整合数据;
所述数据应用层ADS用于对第三整合数据进行时间维度和空间维度的数据整合处理,得到第四整合数据;
所述维表层DIM用于存储维度数据。
5.根据权利要求1所述的基于地铁车站系统的数仓数据查询方法,其特征在于,所述车站级节点包括车站节点、车辆段节点、停车场节点和主变电所节点;
所述方法还包括:
每一车站级节点完成节点数据仓库的建立后,则向其他车站级节点发送注册信息,完成注册后接收心跳检测,并发送响应给对应的车站级节点,以展示自身的存活状态;
完成注册后,建立车站级节点与中心节点之间的通信,以实现数据的储存和查询,以及建立车站级节点之间的通信,以实现数据的查询。
6.根据权利要求4所述的基于地铁车站系统的数仓数据查询方法,其特征在于,所述操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS中均存在待同步记录和已同步记录;
所述方法还包括:
将各车站级节点的操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS中的待同步记录中的数据同步到中心节点对应的操作数据层ODS1、操作数据层ODS2、事实明细层DWD、事实汇总层DWS、数据应用层ADS中;
将已同步的数据增加到已同步记录中,并将已同步的数据从待同步记录中删除。
7.根据权利要求1所述的基于地铁车站系统的数仓数据查询方法,其特征在于,所述方法还包括:
在将查询指令发送给所述数据来源节点后,在预设时间内没接到所述数据来源节点反馈的查询结果数据时,则输出查询失败结果。
8.一种基于地铁车站系统的数仓数据查询装置,所述地铁车站系统包括中心节点和车站级节点,其中中心节点和车站级节点均设置有数据仓库,其特征在于,包括:
查询指令发送模块,用于发送查询指令给中心节点,以获取中心节点中存储的数据,所述查询指令包括数据来源标识信息;
数据来源判断模块,用于若在预设时间内没接收到中心节点反馈的查询结果数据,则进行查询数据是否属于本车站级节点数据的判断;
若查询数据属于本车站级节点数据,则直接从本车站级节点的数据仓库中获取查询数据;
若查询数据不属于本车站级节点数据,则根据查询指令中的数据来源标识信息确定数据来源节点,并将查询指令发送给所述数据来源节点;
数据输出模块,用于接收并输出所述数据来源节点反馈的查询结果数据。
9.一种电子设备,其特征在于,包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7任一所述的方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210059740.7A CN114579545A (zh) | 2022-01-19 | 2022-01-19 | 一种基于地铁车站系统的数仓数据查询方法及装置 |
PCT/CN2022/134201 WO2023138213A1 (zh) | 2022-01-19 | 2022-11-24 | 一种基于地铁车站系统的数仓数据查询方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210059740.7A CN114579545A (zh) | 2022-01-19 | 2022-01-19 | 一种基于地铁车站系统的数仓数据查询方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114579545A true CN114579545A (zh) | 2022-06-03 |
Family
ID=81769783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210059740.7A Pending CN114579545A (zh) | 2022-01-19 | 2022-01-19 | 一种基于地铁车站系统的数仓数据查询方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114579545A (zh) |
WO (1) | WO2023138213A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023138213A1 (zh) * | 2022-01-19 | 2023-07-27 | 广州新科佳都科技有限公司 | 一种基于地铁车站系统的数仓数据查询方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060072537A1 (en) * | 2003-02-03 | 2006-04-06 | Don Lee | System for providing wireless internet mobile communication service and method of the same |
CN109739878A (zh) * | 2018-12-13 | 2019-05-10 | 北京达佳互联信息技术有限公司 | 大数据查询方法、装置、服务器及存储介质 |
CN112637277A (zh) * | 2020-12-09 | 2021-04-09 | 南京熊猫电子股份有限公司 | 基于云平台的车站中心系统及控制方法 |
CN113938487A (zh) * | 2021-09-13 | 2022-01-14 | 北京和利时系统工程有限公司 | 车站管理系统、站区中心节点、车站节点及控制中心节点 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9607105B1 (en) * | 2011-03-30 | 2017-03-28 | Amazon Technologies, Inc. | Content searching techniques |
CN109670016B (zh) * | 2018-12-25 | 2021-02-02 | 苏州思必驰信息科技有限公司 | 用于语音对话平台内语音产品的技能测试方法及系统 |
CN110569315B (zh) * | 2019-07-29 | 2020-11-10 | 北京创鑫旅程网络技术有限公司 | 基于数据仓库的数据处理方法和装置 |
CN112860657B (zh) * | 2021-01-14 | 2022-08-02 | 中车青岛四方车辆研究所有限公司 | Tias系统实时数据库地址空间的构建方法及系统 |
CN113515544B (zh) * | 2021-06-23 | 2022-02-15 | 金蝶软件(中国)有限公司 | 一种数据属性查询方法及数据属性查询装置 |
CN113254426B (zh) * | 2021-07-13 | 2021-10-29 | 杰为软件系统(深圳)有限公司 | 一种基于分支和基线的cad数据分布式版本控制系统 |
CN114579545A (zh) * | 2022-01-19 | 2022-06-03 | 广州新科佳都科技有限公司 | 一种基于地铁车站系统的数仓数据查询方法及装置 |
-
2022
- 2022-01-19 CN CN202210059740.7A patent/CN114579545A/zh active Pending
- 2022-11-24 WO PCT/CN2022/134201 patent/WO2023138213A1/zh unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060072537A1 (en) * | 2003-02-03 | 2006-04-06 | Don Lee | System for providing wireless internet mobile communication service and method of the same |
CN109739878A (zh) * | 2018-12-13 | 2019-05-10 | 北京达佳互联信息技术有限公司 | 大数据查询方法、装置、服务器及存储介质 |
CN112637277A (zh) * | 2020-12-09 | 2021-04-09 | 南京熊猫电子股份有限公司 | 基于云平台的车站中心系统及控制方法 |
CN113938487A (zh) * | 2021-09-13 | 2022-01-14 | 北京和利时系统工程有限公司 | 车站管理系统、站区中心节点、车站节点及控制中心节点 |
Non-Patent Citations (1)
Title |
---|
汤石男等: "基于云平台的城市轨道交通综合监控系统方案" * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023138213A1 (zh) * | 2022-01-19 | 2023-07-27 | 广州新科佳都科技有限公司 | 一种基于地铁车站系统的数仓数据查询方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2023138213A1 (zh) | 2023-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109492040B (zh) | 一种适用于数据中心海量短报文数据处理的系统 | |
CN111077870A (zh) | 一种基于流计算的opc数据实时采集监控智能系统及方法 | |
CN110990432B (zh) | 一种跨机房同步分布式缓存集群的装置和方法 | |
CN107391276B (zh) | 分布式监听方法、监听控制装置及系统 | |
CN106709003A (zh) | 基于Hadoop的海量日志数据处理方法 | |
CN104657497A (zh) | 一种基于分布式计算的海量用电信息并行计算系统及方法 | |
CN112367354B (zh) | 一种云边资源图智能调度系统及其调度方法 | |
CN108140035B (zh) | 分布式系统的数据库复制方法及装置 | |
CN108924007B (zh) | 通信运营信息的大数据采集及存储系统和方法 | |
CN112865311B (zh) | 一种电力系统消息总线监视方法和装置 | |
CN109388481A (zh) | 一种事务信息的传输方法、系统、装置、计算设备和介质 | |
WO2023138213A1 (zh) | 一种基于地铁车站系统的数仓数据查询方法及装置 | |
CN112417050A (zh) | 数据同步方法和装置、系统、存储介质及电子装置 | |
CN112100227A (zh) | 一种基于多级异构数据存储的大数据处理方法 | |
CN109657000B (zh) | 一种轨道交通综合监控系统的实时数据同步方法及装置 | |
CN113378219B (zh) | 一种非结构化数据的处理方法和系统 | |
CN104598623A (zh) | 综合传感网分层数据管理系统 | |
CN115630122A (zh) | 一种数据同步方法、装置、存储介质和计算机设备 | |
CN115391429A (zh) | 基于大数据云计算的时序数据处理方法及装置 | |
Zhao et al. | A real-time processing system for massive traffic sensor data | |
US20240340215A1 (en) | Discovering and retrieving management data in a telecommunications network | |
CN109992625B (zh) | 一种异地一体化电网数据存储系统及方法 | |
Fei | Distributed Streaming Computing Mode Based on Fast Message Mechanism | |
Soboliev et al. | Distributed System of Intelligent Content Monitoring Agents. | |
CN115794832A (zh) | 用于电力可视化监控的海量数据处理查询方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40075259 Country of ref document: HK |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220603 |