CN116132548B - 一种分布式多源异构数据的数据采集方法及其系统 - Google Patents
一种分布式多源异构数据的数据采集方法及其系统 Download PDFInfo
- Publication number
- CN116132548B CN116132548B CN202310113196.4A CN202310113196A CN116132548B CN 116132548 B CN116132548 B CN 116132548B CN 202310113196 A CN202310113196 A CN 202310113196A CN 116132548 B CN116132548 B CN 116132548B
- Authority
- CN
- China
- Prior art keywords
- data
- heterogeneous
- source heterogeneous
- distributed
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 147
- 238000006243 chemical reaction Methods 0.000 claims abstract description 52
- 230000003993 interaction Effects 0.000 claims abstract description 9
- 230000005540 biological transmission Effects 0.000 claims description 87
- 238000002955 isolation Methods 0.000 claims description 39
- 230000008859 change Effects 0.000 claims description 36
- 238000012544 monitoring process Methods 0.000 claims description 32
- 230000006978 adaptation Effects 0.000 claims description 31
- 230000000149 penetrating effect Effects 0.000 claims description 28
- 230000002159 abnormal effect Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 10
- 238000013480 data collection Methods 0.000 claims description 10
- 230000005611 electricity Effects 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 238000007726 management method Methods 0.000 claims description 8
- 238000013523 data management Methods 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 230000008846 dynamic interplay Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 230000005856 abnormality Effects 0.000 description 16
- 230000004888 barrier function Effects 0.000 description 15
- 230000007246 mechanism Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000035515 penetration Effects 0.000 description 4
- 238000009423 ventilation Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013497 data interchange Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000011284 combination treatment Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000011885 synergistic combination Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/08—Protocols for interworking; Protocol conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种分布式多源异构数据的数据采集方法及其系统，其方法包括实时采集接入目标交通枢纽的每个机电设备的设备运行数据，对所述设备运行数据进行接口协议转换处理，得到符合统一接口协议的异构运行数据，将所述异构运行数据输入至预先构建的分布式数据框架中进行数据转换处理，得到统一数据格式的多源异构数据，根据所述设备运行数据的数据采集时间，将所述多源异构数据进行分布式存储处理，以便于目标交通枢纽之间的资源动态交互。本申请具有提高多源异构数据的数据联动共享能力的效果。
Description
技术领域
本发明涉及数据采集的技术领域，尤其是涉及一种分布式多源异构数据的数据采集方法及其系统。
背景技术
目前，随着物联网技术的发展，在同一个平台上需要接入多种类型的工业设施，来满足用户的多种工业需求，尤其是在地铁、车站等交通枢纽通常需要对轨道设备、电梯设备、风机设备等同时进行控制，才能支持地铁站的正常运营。
现有的多源异构数据的采集方式通常根据每种异构数据的事实标准进行单独采集与管理，每个设备的数据生态圈封闭，难以进行自主开发，造成同一个交通枢纽的设备数据归属不一，每个设备系统形成独立的烟囱式建设，同一个交通枢纽的多个机电设备的运行数据之间存在数据壁垒，造成同一交通枢纽下的多个机电设备之间无法进行数据共享。
针对上述中的相关技术，发明人认为存在有同一交通枢纽下的运行数据之间存在数据壁垒，影响数据联动共享的缺陷。
发明内容
为了提高多源异构数据的数据联动共享能力，本申请提供一种分布式多源异构数据的数据采集方法及其系统。
本申请的上述发明目的一是通过以下技术方案得以实现的：
一种分布式多源异构数据的数据采集方法，所述分布式多源异构数据的数据采集方法包括：
实时采集接入目标交通枢纽的每个机电设备的设备运行数据；
对所述设备运行数据进行接口协议转换处理，得到符合统一接口协议的异构运行数据；
将所述异构运行数据输入至预先构建的分布式数据框架中进行数据转换处理，得到统一数据格式的多源异构数据；
根据所述设备运行数据的数据采集时间，将所述多源异构数据进行分布式存储处理，以便于目标交通枢纽之间的资源动态交互。
通过采用上述技术方案，由于同一交通枢纽内需要对多个运行系统进行同时监控，且不同系统之间通常存在数据壁垒，难以在多个机电设备之间进行数据共享，且接口标准不统一的机电设备进行互联操作的难度大且运维成本高，因此，本申请通过对接入目标交通枢纽的每个机电设备的设备运行数据进行实时采集，有助于对每个机电设备的当前运行状态进行实时监控，并通过对设备运行数据进行接口协议转换处理，统一每个机电设备的接口协议标准，便于将异构运行数据接入统一数据架构的分布式数据框架中进行协同处理，通过分布式数据框架对接入的异构运行数据进行数据转换处理，得到统一数据格式的多源异构数据，便于对多源异构数据进行协同调动，通过统一数据标准来减少机电设备之间的信息孤岛，并根据设备运行时间的数据采集时间顺序，对多源异构数据进行分布式存储，提高数据存储的有序性，也便于在目标交通枢纽之间进行数据资源的动态交互，提高资源之间的联动共享能力，本申请通过对目标交通枢纽内的所有机电设备进行接口协议的统一处理、数据格式的统一处理，使每个机电设备的设备运行数据能够按照时序进行分布式存储，打破多种机电设备之间的数据壁垒，通过机电设备端到云端的统一数据接入服务，实现目标交通枢纽的轨道交通设备的设备互联，提高分布式数据框架的数据复用能力，进而提高数据资源之间的联动共享能力。
本申请在一较佳示例中可以进一步配置为：所述对所述设备运行数据进行接口协议转换处理，得到符合统一接口协议的异构运行数据，具体包括：
获取每个机电设备与目标交通枢纽的接入状态数据；
根据所述接入状态数据，对每个机电设备进行数据接入策略匹配处理，得到符合每个机电设备的实际接入状态的数据接入方案；
根据所述数据接入方案，对每个机电设备进行接口协议适配处理，得到接口协议适配结果；
根据所述接口协议适配结果，调用对应的接口协议对所述设备运行数据进行数据转换处理，得到可被分布式数据框架识别的异构运行数据。
通过采用上述技术方案，通过实时获取每个机电设备与目标交通枢纽的接入状态，便于实时检测机电设备的当前工作状态，从而根据机电设备的接入状态数据来匹配对应的数据接入策略，便于根据数据接入方案来将机电设备精准挂靠至对应的云端服务器下，并通过对每个机电设备进行接口协议适配处理，根据接口协议适配结果来调用对应的接口协议对设备运行数据进行数据转换处理，得到可被分布式数据框架识别的异构运行数据，从而便于通过分布式数据框架对统一接入的异构运行数据进行协同处理，提高目标交通枢纽内的所有异构运行数据的数据交互能力，提高数据联动性。
本申请在一较佳示例中可以进一步配置为：所述将所述异构运行数据输入至预先构建的分布式数据框架中进行数据转换处理，得到统一数据格式的多源异构数据，具体包括：
对所述异构运行数据进行数据穿闸服务适配处理，得到符合数据隔离网闸传输需求的穿闸隔离策略；
根据所述穿闸隔离策略，对所述异构运行数据进行穿墙协议转换处理，得到符合穿墙协议的异构穿墙数据；
通过预设的数据隔离网闸将所述异构穿墙数据进行数据透传处理，得到符合数据透传转发需求的多源异构数据；
对所述多源异构数据同步发送至预设的消息中间件进行分布式数据转发处理，以便于分布式数据框架对目标交通枢纽接入的机电设备进行统一管理。
通过采用上述技术方案，由于交通枢纽的设备运行安全直接影响到使用人员的人身安全，若其他用户通过终端入侵系统对轨交设备进行异常修改，容易造成交通枢纽的安全事故，因此，通过对异构运行数据进行数据穿闸服务适配处理，得到每个异构运行数据的穿闸隔离策略，有助于根据穿闸隔离策略对异构运行数据匹配合适的数据隔离网闸，提高异构运行数据的穿闸隔离适配性，并通过对异构运行数据的穿墙协议转换处理，使异构运行数据进行统一穿墙协议匹配，从而使转换后的异构运行数据能够满足数据隔离网闸的数据传输协议需求，便于异构穿墙数据能够顺利通过数据隔离网闸进行传输，通过数据隔离网闸能够对异构穿墙数据进行数据透传处理，提高分布式数据框架的统一数据传输能力，通过分布式数据框架将多源异构数据同步发送至预设的消息中间件，便于通过消息中间件来对多源异构数据进行分布式数据转发，减少接入的机电设备变动对分布式数据框架的底层逻辑变动修改，从而提高分布式数据框架的数据可靠性，便于对接入的机电设备进行统一管理，提高轨交设备的设备互联能力，提高设备的统一管理便利性。
本申请在一较佳示例中可以进一步配置为：所述对所述多源异构数据同步发送至预设的消息中间件进行分布式数据转发处理，以便于分布式数据框架对目标交通枢纽接入的机电设备进行统一管理，还包括：
在多源异构数据发送至消息中间件的过程中，监测所述多源异构数据的传输完成状态；
根据所述传输完成状态，对完整传输的所述多源异构数据进行数据备份处理，得到所述多源异构数据的热备存储策略；
当所述消息中间件进行数据透传转发时，根据所述热备存储策略将所述多源异构数据同步备份至热备服务器，以便于减少当前数据传输故障造成的数据丢失。
通过采用上述技术方案，在多源异构数据发送至消息中间件的过程中，通过预设的监听机制监测多源异构数据的传输完成状态，从而便于及时获知数据传输过程中是否发生数据传输异常，减少数据丢失的风险，从而对成功传输至消息中间件的多源异构数据进行数据备份处理，得到每个多源异构数据的热备存储策略，有助于根据每个多源异构数据的存储需求对多源异构数据进行分布式热备存储，并在消息中间件进行数据透传转发的过程中，将多源异构数据同步备份至对应的热备服务器中，以便于减少消息中间件在进行数据转发的过程中发送数据传输故障引起的数据丢失现象，从而提高分布式数据框架的多径容灾能力，提高数据传输的安全性。
本申请在一较佳示例中可以进一步配置为：所述将所述异构运行数据输入至预先构建的分布式数据框架中进行数据转换处理，得到统一数据格式的多源异构数据，还包括：
实时采集每个机电设备的电力变化波动值，得到目标机电设备的电力变化数据；
根据所述电力变化数据，判断被监测的目标机电设备是否发生电力波动异常；
若是，则将目标机电设备的运行监测信息发送至分布式数据框架进行异常处理策略匹配处理，得到符合电力波动异常情况的目标故障处理策略。
通过采用上述技术方案，通过预设的电力监控系统来实时采集每个机电设备的电力变化波动值，从而便于根据目标机电设备的电力变化数据来实时获取每个目标机电设备的电力耗损情况，保障电力系统的正常运行，并根据电力变化数据来判断目标机电设备是否发生电力波动异常，从而在电力波动异常时，能够及时对异常的机电设备进行异常处理，通过运行检测信息进行异常分析，进而匹配对应的异常处理策略，有助于根据目标故障处理策略来对电力波动异常情况进行及时处理，减少机电设备故障造成的安全风险，从而提高整个目标交通枢纽的机电设备的运行安全性和稳定性。
本申请在一较佳示例中可以进一步配置为：所述根据所述电力变化数据，判断被监测的目标机电设备是否发生电力波动异常，还包括：
实时采集目标交通枢纽内的用电负载数据；
根据所述用电负载数据，判断所述分布式数据框架的剩余挂靠负载值是否满足新接入负载的需求；
若否，则对所述分布式数据框架的实际挂靠负载值进行电力调度处理，以便于对目标交通枢纽的电力资源进行动态调配。
通过采用上述技术方案，通过接入目标交通枢纽的每个机电设备的启闭情况，来实时采集目标交通枢纽的用电负载数据，便于对目标交通枢纽的当前运行设备数量进行实时控制，并通过用电负载数据来判断分布式数据框架的剩余挂靠负载值是否能够满足新接入负载的容量需求，进而判断对应的新负载是否允许被接入分布式数据框架，若分布式数据框架的实际挂靠负载值已经达到数据处理的最佳容纳阈值，则对实际挂靠负载值进行电力调度处理，使电力资源能够与每个机电设备的实际使用情况相适配，通过对目标交通枢纽的电力资源的动态调配，提高电力资源的调度精确性和合理利用率。
本申请在一较佳示例中可以进一步配置为：所述根据所述设备运行数据的数据采集时间，将所述多源异构数据进行分布式存储处理，以便于目标交通枢纽之间的资源动态交互，具体包括：
实时获取所述设备运行数据的数据采集时间；
根据所述数据采集时间判断每个机电设备的运行状态是否符合预设的运营时间线需求，得到每个机电设备的运行状态判断结果；
根据所述运行状态判断结果，对目标交通枢纽的所有机电设备进行协同组合处理，得到设备协同组合策略；
按照所述设备协同组合策略，对协同组合的多源异构数据进行分布式存储，以便于对协同组合后的机电设备之间进行资源融合调动。
通过采用上述技术方案，通过对设备运行数据的数据采集时间的实时记录，有助于根据数据采集的时序来有序地记录机电设备的运行情况，根据数据采集时间来判断每个机电设备的运行状态是否符合预设的运营时间线的需求，有助于及时获知机电设备是否发生异常的启闭，提高对机电设备的工作状态的监控精确度，通过运行状态判断结果来对目标交通枢纽内的所有机电设备进行协同组合处理，从而根据运行需求得到设备协同组合策略，有助于根据设备协同组合策略对目标交通枢纽内的所有机电设备进行有序的调配，保证目标交通枢纽的正常运行，并根据设备协同组合策略来对协同组合后的多源异构数据进行分布式存储，便于在协同组合的多个机电设备之间进行资源的融合调动，提高分布式数据框架的资源调动的融合性。
本申请的上述发明目的二是通过以下技术方案得以实现的：
提供一种分布式多源异构数据的数据采集系统，所述分布式多源异构数据的数据采集系统包括：
数据采集模块，用于实时采集接入目标交通枢纽的每个机电设备的设备运行数据；
协议转换模块，用于对所述设备运行数据进行接口协议转换处理，得到符合统一接口协议的异构运行数据；
数据处理模块，用于将所述异构运行数据输入至预先构建的分布式数据框架中进行数据转换处理，得到统一数据格式的多源异构数据；
数据存储模块，用于根据所述设备运行数据的数据采集时间，将所述多源异构数据进行分布式存储处理，以便于目标交通枢纽之间的资源动态交互。
通过采用上述技术方案，由于同一交通枢纽内需要对多个运行系统进行同时监控，且不同系统之间通常存在数据壁垒，难以在多个机电设备之间进行数据共享，且接口标准不统一的机电设备进行互联操作的难度大且运维成本高，因此，本申请通过对接入目标交通枢纽的每个机电设备的设备运行数据进行实时采集，有助于对每个机电设备的当前运行状态进行实时监控，并通过对设备运行数据进行接口协议转换处理，统一每个机电设备的接口协议标准，便于将异构运行数据接入统一数据架构的分布式数据框架中进行协同处理，通过分布式数据框架对接入的异构运行数据进行数据转换处理，得到统一数据格式的多源异构数据，便于对多源异构数据进行协同调动，通过统一数据标准来减少机电设备之间的信息孤岛，并根据设备运行时间的数据采集时间顺序，对多源异构数据进行分布式存储，提高数据存储的有序性，也便于在目标交通枢纽之间进行数据资源的动态交互，提高资源之间的联动共享能力，本申请通过对目标交通枢纽内的所有机电设备进行接口协议的统一处理、数据格式的统一处理，使每个机电设备的设备运行数据能够按照时序进行分布式存储，打破多种机电设备之间的数据壁垒，通过机电设备端到云端的统一数据接入服务，实现目标交通枢纽的轨道交通设备的设备互联，提高分布式数据框架的数据复用能力，进而提高数据资源之间的联动共享能力。
本申请的上述目的三是通过以下技术方案得以实现的：
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述分布式多源异构数据的数据采集方法的步骤。
本申请的上述目的四是通过以下技术方案得以实现的：
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述分布式多源异构数据的数据采集方法的步骤。
综上所述，本申请包括以下至少一种有益技术效果：
1、通过对接入目标交通枢纽的每个机电设备的设备运行数据进行实时采集，有助于对每个机电设备的当前运行状态进行实时监控，并通过对设备运行数据进行接口协议转换处理，统一每个机电设备的接口协议标准，便于将异构运行数据接入统一数据架构的分布式数据框架中进行协同处理，通过分布式数据框架对接入的异构运行数据进行数据转换处理，得到统一数据格式的多源异构数据，便于对多源异构数据进行协同调动，通过统一数据标准来减少机电设备之间的信息孤岛，并根据设备运行时间的数据采集时间顺序，对多源异构数据进行分布式存储，提高数据存储的有序性，也便于在目标交通枢纽之间进行数据资源的动态交互，提高资源之间的联动共享能力，本申请通过对目标交通枢纽内的所有机电设备进行接口协议的统一处理、数据格式的统一处理，使每个机电设备的设备运行数据能够按照时序进行分布式存储，打破多种机电设备之间的数据壁垒，通过机电设备端到云端的统一数据接入服务，实现目标交通枢纽的轨道交通设备的设备互联，提高分布式数据框架的数据复用能力，进而提高数据资源之间的联动共享能力；
2、通过实时获取每个机电设备与目标交通枢纽的接入状态，便于实时检测机电设备的当前工作状态，从而根据机电设备的接入状态数据来匹配对应的数据接入策略，便于根据数据接入方案来将机电设备精准挂靠至对应的云端服务器下，并通过对每个机电设备进行接口协议适配处理，根据接口协议适配结果来调用对应的接口协议对设备运行数据进行数据转换处理，得到可被分布式数据框架识别的异构运行数据，从而便于通过分布式数据框架对统一接入的异构运行数据进行协同处理，提高目标交通枢纽内的所有异构运行数据的数据交互能力，提高数据联动性；
3、通过对异构运行数据进行数据穿闸服务适配处理，得到每个异构运行数据的穿闸隔离策略，有助于根据穿闸隔离策略对异构运行数据匹配合适的数据隔离网闸，提高异构运行数据的穿闸隔离适配性，并通过对异构运行数据的穿墙协议转换处理，使异构运行数据进行统一穿墙协议匹配，从而使转换后的异构运行数据能够满足数据隔离网闸的数据传输协议需求，便于异构穿墙数据能够顺利通过数据隔离网闸进行传输，通过数据隔离网闸能够对异构穿墙数据进行数据透传处理，提高分布式数据框架的统一数据传输能力，通过分布式数据框架将多源异构数据同步发送至预设的消息中间件，便于通过消息中间件来对多源异构数据进行分布式数据转发，减少接入的机电设备变动对分布式数据框架的底层逻辑变动修改，从而提高分布式数据框架的数据可靠性，便于对接入的机电设备进行统一管理，提高轨交设备的设备互联能力，提高设备的统一管理便利性。
附图说明
图1是本申请一实施例中分布式多源异构数据的数据采集方法的实现流程图。
图2是本申请一实施例中数据采集方法步骤S20的实现流程图。
图3是本申请一实施例中数据采集方法步骤S30的实现流程图。
图4是本申请一实施例中数据采集方法步骤S30的另一实现流程图。
图5是本申请一实施例中数据采集方法步骤S302的另一实现流程图。
图6是本申请一实施例中数据采集方法步骤S204的另一实现流程图。
图7是本申请一实施例中数据采集方法步骤S40的实现流程图。
图8是本申请一实施例中分布式多源异构数据的数据采集系统的结构示意图。
图9是实现分布式多源异构数据的数据采集方法的计算机设备的内部结构示意图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
在一实施例中，如图1所示，本申请公开了一种分布式多源异构数据的数据采集方法，具体包括如下步骤：
S10：实时采集接入目标交通枢纽的每个机电设备的设备运行数据。
具体的，目标交通枢纽包括地铁站、汽车站、大型运输场所以及物资中转站等设置有多个机电设备，且多个机电设备之间需要进行协同配合工作的场所，通过ISCS系统、BAS系统对电梯、电扶梯等短途出行工具进行数据采集，通过PSCADA系统对设备电力使用情况进行数据采集，通过接口对接将每个机电设备的中控处理器对接至分布式数据处理框架中，进行设备运行数据的实时采集。
S20：对设备运行数据进行接口协议转换处理，得到符合统一接口协议的异构运行数据。
具体的，如图2所示，步骤S20包括以下步骤：
S101：获取每个机电设备与目标交通枢纽的接入状态数据。
具体的，当机电设备接入电力启动时，建立机电设备与目标交通枢纽之间的接入连接，从而将机电设备的接入状态标记为成功接入状态，当机电设备发生连接链路断开或者休眠时，将对应的机电设备的接入状态标记为断开状态，从而得到每个机电设备与目标交通枢纽的接入状态数据，包括设备本身已完成数据采集并通过既有监控系统直接接入网关、设备本身未完成数据采集并直接对接网关进行数据接入、需要搭配数据采集模块进行数据采集并通过数据采集模块为中间件与网关进行数据对接等。
S102：根据接入状态数据，对每个机电设备进行数据接入策略匹配处理，得到符合每个机电设备的实际接入状态的数据接入方案。
具体的，根据接入状态数据，对成功接入的机电设备进行数据接入策略匹配处理，如设备数据已接入对应的监控系统，则在中心机房通过机架式通讯网关直接与对应的监控系统进行对接；再如，设备数据本身未完成数据采集但是设备本身配置有相关的通讯接口，则可以直接通过通讯网关与设备原有接口进行对接来完成设备数据的采集；或者，设备数据未完成采集且需要设备搭载数据采集模块才能进行数据采集，则通过在设备内部部署数据采集模块，完成设备数据的采集工作并在数据采集完成后传输至通讯模块发送至对应的网关，从而根据每个机电设备的实际接入状态来匹配对应的数据接入方案，提高数据采集与对接的精确性。
S103：根据数据接入方案，对每个机电设备进行接口协议适配处理，得到接口协议适配结果。
具体的，根据每个机电设备的数据接入方案来适配对应的接口协议，如AFC系统中的闸机设备数据、电梯运行数据等主要是通过自有监控系统进行数据采集的，通过Mudbus通讯接口协议为主适配方案，再如PSCADA系统中的电力监控数据通常需要外接数据采集模块进行数据采集，则主要适配IEC-61850/104等数据对接协议为主，从而得到与每个机电设备相适配的接口协议适配结果。
S104：根据接口协议适配结果，调用对应的接口协议对设备运行数据进行数据转换处理，得到可被分布式数据框架识别的异构运行数据。
具体的，根据接口协议适配结果，调用对应的接口协议对设备运行数据进行数据转换处理，如当接入PSCADA系统的电力监控数据时，根据接口协议适配结果，将电力监控数据通过IEC-61850/104协议进行数据转换，将转换后得到的异构运行数据发送至分布式数据框架，以便于通过分布式数据框架将同一数据协议下的异构运行数据进行交互式调用。
S30：将异构运行数据输入至预先构建的分布式数据框架中进行数据转换处理，得到统一数据格式的多源异构数据。
具体的，如图3所示，步骤S30具体包括以下步骤：
S201：对异构运行数据进行数据穿闸服务适配处理，得到符合数据隔离网闸传输需求的穿闸隔离策略。
具体的，基于目标交通枢纽的安全建设需求，通过部署正向隔离网闸实现目标交通枢纽内部的机电设备的数据安全隔离，如在正向隔离网闸的外侧部署每个机电设备的数据采集终端，在正向隔离网闸内侧部署数据管理端，通过正向隔离网闸限制采集到的设备运行数据从数据采集终端单向传输至数据管理终端，减少非相关用户对机电设备的设备运行数据的非法获取，从而提高目标交通枢纽的机电设备的数据安全性和抗干扰性，通过异构运行数据的传输需求分析进行数据穿闸服务适配处理，如适配单向数据穿闸或者双向数据穿闸等，从而得到符合数据隔离网闸传输需求的穿闸隔离策略，以便于根据穿闸隔离策略对相同传输需求下的异构运行数据进行重复调用，提高分布式数据框架的能力复用性。
S202：根据穿闸隔离策略，对异构运行数据进行穿墙协议转换处理，得到符合穿墙协议的异构穿墙数据。
具体的，根据每个异构运行数据适配的穿闸隔离策略，对异构运行数据进行穿墙协议转换处理，从而使每个异构运行数据均能转换为与统一的穿墙协议相适配的异构穿墙数据，通过统一的穿墙协议能够使异构穿墙数据顺利通过正向数据隔离网闸，从数据采集端传输至数据管理端，同时通过穿墙协议转换处理对异构运行数据进行数据加密，将异构运行数据的数据格式转换为符合穿墙协议且能够被正向隔离网闸识别的异构穿墙数据，从而提高设备运行数据传输至分布式数据框架的数据安全性。
S203：通过预设的数据隔离网闸将异构穿墙数据进行数据透传处理，得到符合数据透传转发需求的多源异构数据。
具体的，通过预设在数据采集端与数据管理端之间的数据隔离网闸，对异构穿墙数据进行数据透传处理，通过预先部署的通讯网关如蓝牙、WiFi或5G网络通信等，根据传输距离的远近动态选择传输性能最优的通讯传输方案进行异构穿墙数据的数据传输，通过预设的数据透传协议对异构穿墙数据进行再次处理，确保在数据传输过程中异构穿墙数据不会发生数据变化，从而得到符合数据透传协议的多源异构数据，便于将多源异构数据完整地传输至消息中间件中。
S204：对多源异构数据同步发送至预设的消息中间件进行分布式数据转发处理，以便于分布式数据框架对目标交通枢纽接入的机电设备进行统一管理。
具体的，通过消息中间件对多源异构数据的数据识别结果，从分布式数据处理框架中实时接收从正向隔离网闸透传过来的多源异构数据，通过消息中间件将多源异构数据进行分布式转发处理，使每个向消息中间件进行设备运行数据获取请求的终端，都能够随时调用协同组合后的机电设备的多源异构数据，从而便于对目标交通枢纽内的多个机电设备进行统一管理，提高分布式数据框架对多个机电设备的协同管理能力。
在一实施例中，为了更好地对对目标交通枢纽内的多个机电设备进行协同管理，如图4所示，步骤S30还包括以下步骤：
S301：实时采集每个机电设备的电力变化波动值，得到目标机电设备的电力变化数据。
具体的，通过对机电设备的供电系统的主变电所、牵降变电所、降压变电所等多个类别变电所内的高压66~110千伏设备，中压10~35千伏设备、直流750伏或者1500伏设备、低压400伏设备、交直流电源屏、排流柜、轨道电位限制装置等多个供电设备进行数据采集，从而得到每个机电设备的电力变化波动值，如在预设时间段内如5秒、10秒内，将相同时间间隔下的电力值进行计算，得到每个时间间隔下的电力变化波动值，通过对接入目标交通枢纽内的每个机电设备的电力变化波动值进行实时采集，得到每个目标机电设备的电力变化数据，还可以根据数据采集时间，将电力变化数据绘制成电力变化波动曲线图，能够更加直观地观察到每个机电设备的电力变化情况。
S302：根据电力变化数据，判断被监测的目标机电设备是否发生电力波动异常。
具体的，根据电力变化数据，判断被监测的目标机电设备是否发生电力波动异常，如获取电力变化数据的数据峰值，包括电力波峰值和电力波谷值，计算相邻波峰值或者相邻波谷值之间的电力变化差值，根据电力变化差值与预设的电力波动阈值进行比对，当电力变化差值大于或等于电力波动阈值时，判定对应的目标机电设备发生电力波动异常，若电力变化差值小于预设的电力波动阈值，则判定对应的目标机电设备的电力波动处于正常误差范围内。
需要说明的是，也可以通过每个完整的电力波动，如相邻的波峰值与波谷值之间的电力波动时间，来判断每个完整电力波动的耗时是否超出正常范围值，若一个包含波峰与波谷的完整电力波动的耗时超过正常范围值，则说明对应的目标机电设备发生了电力波动异常。
在一实施例中，为了更好地对分布式数据框架的挂靠负载数量进行管理，使分布式数据框架的数据处理性能能够始终保持在最佳状态，如图5所示，步骤S302还包括：
S401：实时采集目标交通枢纽内的用电负载数据。
具体的，通过PSCADA系统进行实时监控接入至目标交通枢纽供电系统的机电设备，如在机电设备连接电源启动时，通过机电设备的唯一识别码以及电力资源的流转分配情况自动识别机电设备的接入，则PSCADA系统将目标交通枢纽内的用电负载数量加1，再如机电设备断开电源休眠时，通过机电设备的唯一识别码以及电力资源的流转分配情况自动识别机电设备的断开，则PSCADA系统将目标交通枢纽内的用电负载数量减1，以此类推，从而得到目标交通枢纽内的用电负载数据。
S402：根据用电负载数据，判断分布式数据框架的剩余挂靠负载值是否满足新接入负载的需求。
具体的，根据用电负载数据来判断分布式数据框架的剩余挂靠负载值是否满足新接入负载的需求，如，根据分布式数据框架的最佳数据运行性能设置分布式数据框架的最大挂靠负载阈值，并根据用电负载数据实时统计当前的实际挂靠负载值，根据最大挂靠负载阈值与实际挂靠负载值的差值来实时计算剩余挂靠负载值的情况，进而判断剩余挂靠负载值是否满足新接入负载的需求，如剩余挂靠负载值为10，新接入负载数量为20，则可以判定剩余挂靠负载值不满足新接入负载的需求，若新接入负载数量为5，则判定剩余挂靠负载值满足新接入负载的需求。
S403：若否，则对分布式数据框架的实际挂靠负载值进行电力调度处理，以便于对目标交通枢纽的电力资源进行动态调配。
具体的，若分布式数据框架的剩余挂靠负载值不能满足新接入负载的需求，则对分布式数据框架的实际挂靠负载值进行电力调度处理，如根据每个挂靠负载终端的运行性能计算当前的最佳运行用电资源，根据最佳运行用电资源来对每个机电设备进行电力资源调度，从而在保证当前挂靠负载终端的最佳运行性能的同时，合理分配目标交通枢纽内的电力资源，如根据电梯实际运载重量动态调用对应的电力资源，根据当前天气情况实际设置风机等通风设备的通风以及温度情况，从而动态调用对应的店里资源进行目标交通枢纽内的温度以及通风情况。
S404：若是，则将新负载挂靠至分布式数据框架中，并调用对应的监测机制对新负载的资源调度情况进行实时监测。
具体的，若分布式数据框架的剩余挂靠负载值符合新接入负载的需求，则允许将新负载挂靠至分布式数据框架中，并调用对应的监测机制对新负载的资源调度情况进行实时监测，如建立新负载与分布式数据框架之间的数据传输通道，并通过PSCADA系统监测新负载的电力资源调度情况，从而获取新负载的实时运行数据。
S303：若是，则将目标机电设备的运行监测信息发送至分布式数据框架进行异常处理策略匹配处理，得到符合电力波动异常情况的目标故障处理策略。
当目标机电设备发生电力波动异常时，将目标机电设备的运行监测信息发送至分布式数据框架，通过分布式数据框架进行电力数据异常处理，如根据电力波动异常数值与当前运行监测信息进行关联分析，从而追溯目标机电设备的电力波动异常原因，并根据电力波动异常原因进行异常处理策略匹配处理，其中，电力波动异常原因的追溯可以通过对若干个历史电力波动异常数据预先训练得到，并在目标机电设备的运营过程中通过当前电力异常波动数据对电力波动异常原因的追溯方案进行动态更新，从而根据匹配结果得到符合电力波动异常情况的目标故障处理策略。
S304：若否，则通过预设的电力监测机制对目标机电设备进行实时监控，以便于获取目标机电设备的实时运行状态。
具体的，当目标机电设备的电力波动情况处于正常范围内时，通过预设的店里监测机制如PSCADA系统进行电力监控，通过统一的数据接口将目标机电设备接入PACADA系统，根据PACADA系统实时从目标机电设备的中控服务器中获取实时电力波动数据，通过实时电力波动数据来对目标机电设备进行实时监控，以便于获取目标机电设备的实时运行状态，从而在电力波动异常时能够及时捕获异常数据，提高目标机电设备的异常数据捕获敏捷性与及时性。
在一实施例中，为了更好地提高数据传输安全性，减少设备运行数据在数据传输过程中发生数据丢失的风险，如图6所示，步骤S204还包括：
S501：在多源异构数据发送至消息中间件的过程中，监测多源异构数据的传输完成状态。
具体的，在多源异构数据传输至消息中间件的过程中，通过预设的数据检测机制如心跳包检测，对多源异构数据的传输完成状态进行监测，包括多源异构数据的成功传输、不完整传输以及未发生数据传输等多种传输状态。
S502：根据传输完成状态，对完整传输的多源异构数据进行数据备份处理，得到多源异构数据的热备存储策略。
具体的，根据每个多源异构数据的传输完成状态，对完整传输至消息中间件的多源异构数据进行数据备份处理，得到多源异构数据的热备存储策略，如根据每个多源异构数据的数据格式适配对应数据格式的热备服务器，或者根据每个多源异构数据的数据容量与热备服务器的当前剩余存储容量进行适配，并选择满足多源异构数据数据容量需求的热备服务器与多源异构数据进行关联，从而得到每个多源异构数据的热备存储策略。
S503：当消息中间件进行数据透传转发时，根据热备存储策略将多源异构数据同步备份至热备服务器，以便于减少当前数据传输故障造成的数据丢失。
具体的，在消息中间件进行数据透传，将多源异构数据转发至数据请求终端时，根据每个多源异构数据的热备存储策略，将多源异构数据发送至数据请求终端的同时同步备份至适配的热备服务器中，进行多源异构数据的同步备份存储，从而减少传输至数据请求终端的当前服务器出现故障时，能够及时从热备服务器中调取同步备份的多源异构数据进行数据传输，减少数据传输波动，减少当前数据传输故障造成的数据丢失的情况，提高分布式数据框架的多径容灾能力。
S40：根据设备运行数据的数据采集时间，将多源异构数据进行分布式存储处理，以便于目标交通枢纽之间的资源动态交互。
具体的，如图7所示，步骤S40具体包括以下步骤：
S601：实时获取设备运行数据的数据采集时间。
具体的，当机电设备开始工作时，通过预先构建的数据传输通道将设备运行数据发送至分布式数据框架，当分布式数据框架接收到机电设备的设备运行数据时，记录对应的数据接收时间，从而每个机电设备的数据采集时间。
S602：根据数据采集时间判断每个机电设备的运行状态是否符合预设的运营时间线需求，得到每个机电设备的运行状态判断结果。
具体的，根据数据采集时间判断每个机电设备的运行状态是否符合预设的运营时间线需求，如根据行人的出行习惯，根据时间线，依次采集自动售检票系统、电梯运行系统和轨道交通系统的设备运行数据，从而根据数据采集时间以及对应的设备运行数据来判断对应的机电设备是否在预设运营时间线范围内运行，从而得到每个机电设备的运行状态判断结果，如机电设备在预设运营时间线范围内运行或机电设备不在预设运营时间线范围内运行。
S603：根据运行状态判断结果，对目标交通枢纽的所有机电设备进行协同组合处理，得到设备协同组合策略。
具体的，根据运行状态判断结果，对目标交通枢纽内的所有机电设备进行协同组合处理，如根据行人出行习惯，将自动售检票设备、电梯运行设备、轨道交通设备等分别进行最佳出行方案的协同组合，如根据距离最短或者用能最优等原则设置机电设备的协同组合，从而得到目标交通枢纽的所有机电设备的设备协同组合策略。
S604：按照设备协同组合策略，对协同组合的多源异构数据进行分布式存储，以便于对协同组合后的机电设备之间进行资源融合调动。
具体的，根据设备协同组合策略，对协同组合的机电设备的多源异构数据进行分布式存储，如行人最佳出行方案的协同组合，包括自动售检票设备、电梯运行设备和轨道交通设备等组成的多源异构数据，根据组合形式对多源异构数据进行分布式存储，如按照每个出行方案的协同组合，将对应的多源异构数据存储至对应的协同组合中，从而便于在协同组合的机电设备之间进行资源的融合调动，提高资源数据的共享交互能力。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种分布式多源异构数据的数据采集系统，该分布式多源异构数据的数据采集系统与上述实施例中分布式多源异构数据的数据采集方法一一对应。如图8所示，该分布式多源异构数据的数据采集系统包括数据采集模块、协议转换模块、数据处理模块和数据存储模块。各功能模块详细说明如下：
数据采集模块，用于实时采集接入目标交通枢纽的每个机电设备的设备运行数据。
协议转换模块，用于对设备运行数据进行接口协议转换处理，得到符合统一接口协议的异构运行数据。
数据处理模块，用于将异构运行数据输入至预先构建的分布式数据框架中进行数据转换处理，得到统一数据格式的多源异构数据。
数据存储模块，用于根据设备运行数据的数据采集时间，将多源异构数据进行分布式存储处理，以便于目标交通枢纽之间的资源动态交互。
优选的，协议转换模块具体包括：
接入状态获取子模块，用于获取每个机电设备与目标交通枢纽的接入状态数据。
策略匹配处理子模块，用于根据接入状态数据，对每个机电设备进行数据接入策略匹配处理，得到符合每个机电设备的实际接入状态的数据接入方案。
接口协议适配子模块，用于根据数据接入方案，对每个机电设备进行接口协议适配处理，得到接口协议适配结果。
数据转换处理子模块，用于根据接口协议适配结果，调用对应的接口协议对设备运行数据进行数据转换处理，得到可被分布式数据框架识别的异构运行数据。
优选的，数据处理模块具体包括：
穿闸服务适配处理子模块，用于对异构运行数据进行数据穿闸服务适配处理，得到符合数据隔离网闸传输需求的穿闸隔离策略。
穿墙协议转换子模块，用于根据穿闸隔离策略，对异构运行数据进行穿墙协议转换处理，得到符合穿墙协议的异构穿墙数据。
数据透传处理子模块，用于通过预设的数据隔离网闸将异构穿墙数据进行数据透传处理，得到符合数据透传转发需求的多源异构数据。
数据转发处理子模块，用于对多源异构数据同步发送至预设的消息中间件进行分布式数据转发处理，以便于分布式数据框架对目标交通枢纽接入的机电设备进行统一管理。
优选的，数据转发处理子模块还包括：
传输状态监测单元，用于在多源异构数据发送至消息中间件的过程中，监测多源异构数据的传输完成状态。
数据备份适配单元，用于根据传输完成状态，对完整传输的多源异构数据进行数据备份处理，得到多源异构数据的热备存储策略。
数据备份处理单元，用于当消息中间件进行数据透传转发时，根据热备存储策略将多源异构数据同步备份至热备服务器，以便于减少当前数据传输故障造成的数据丢失。
优选的，数据处理模块还包括：
电力数据采集子模块，用于实时采集每个机电设备的电力变化波动值，得到目标机电设备的电力变化数据。
电力波动异常检测子模块，用于根据电力变化数据，判断被监测的目标机电设备是否发生电力波动异常。
异常处理策略匹配子模块，用于若是，则将目标机电设备的运行监测信息发送至分布式数据框架进行异常处理策略匹配处理，得到符合电力波动异常情况的目标故障处理策略。
优选的，电力波动异常检测子模块还包括：
用电负载数据采集单元，用于实时采集目标交通枢纽内的用电负载数据。
剩余挂靠负载需求判断单元，用于根据用电负载数据，判断分布式数据框架的剩余挂靠负载值是否满足新接入负载的需求。
电力调度单元，用于若否，则对分布式数据框架的实际挂靠负载值进行电力调度处理，以便于对目标交通枢纽的电力资源进行动态调配。
优选的，数据存储模块具体包括：
数据采集时间获取子模块，用于实时获取设备运行数据的数据采集时间。
运营状态判断子模块，用于根据数据采集时间判断每个机电设备的运行状态是否符合预设的运营时间线需求，得到每个机电设备的运行状态判断结果。
协同组合处理子模块，用于根据运行状态判断结果，对目标交通枢纽的所有机电设备进行协同组合处理，得到设备协同组合策略。
分布式存储子模块，用于按照设备协同组合策略，对协同组合的多源异构数据进行分布式存储，以便于对协同组合后的机电设备之间进行资源融合调动。
关于分布式多源异构数据的数据采集系统的具体限定可以参见上文中对于分布式多源异构数据的数据采集方法的限定，在此不再赘述。上述分布式多源异构数据的数据采集系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标交通枢纽内的多源异构数据以及分布式数据框架处理多源异构数据时产生的多个中间数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种分布式多源异构数据的数据采集方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述分布式多源异构数据的数据采集方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (8)
1.一种分布式多源异构数据的数据采集方法，其特征在于，所述分布式多源异构数据的数据采集方法包括：
实时采集接入目标交通枢纽的每个机电设备的设备运行数据；
对所述设备运行数据进行接口协议转换处理，得到符合统一接口协议的异构运行数据；
将所述异构运行数据输入至预先构建的分布式数据框架中进行数据转换处理，得到统一数据格式的多源异构数据；
根据所述设备运行数据的数据采集时间，将所述多源异构数据进行分布式存储处理，以便于目标交通枢纽之间的资源动态交互；
其中，所述将所述异构运行数据输入至预先构建的分布式数据框架中进行数据转换处理，得到统一数据格式的多源异构数据，具体包括：
对所述异构运行数据进行数据穿闸服务适配处理，得到符合数据隔离网闸传输需求的穿闸隔离策略，具体的，通过正向隔离网闸限制设备运行数据从数据采集终端单向传输至数据管理终端；
根据所述穿闸隔离策略，对所述异构运行数据进行穿墙协议转换处理，得到符合穿墙协议的异构穿墙数据；
通过预设的数据隔离网闸将所述异构穿墙数据进行数据透传处理，得到符合数据透传转发需求的多源异构数据，具体的，根据传输距离的远近动态选择传输性能最优的通讯传输方案进行异构穿墙数据的数据传输，通过预设的数据透传协议对异构穿墙数据进行再次处理；
对所述多源异构数据同步发送至预设的消息中间件进行分布式数据转发处理，以便于分布式数据框架对目标交通枢纽接入的机电设备进行统一管理；
其中，所述对所述多源异构数据同步发送至预设的消息中间件进行分布式数据转发处理，以便于分布式数据框架对目标交通枢纽接入的机电设备进行统一管理，还包括：
在多源异构数据发送至消息中间件的过程中，监测所述多源异构数据的传输完成状态；
根据所述传输完成状态，对完整传输的所述多源异构数据进行数据备份处理，得到所述多源异构数据的热备存储策略，具体的，根据每个多源异构数据的数据格式与热备服务器的数据格式的适配性，或者每个多源异构数据的数据容量与热备服务器的当前剩余存储容量之间的适配程度进行热备服务器的选择与关联；
当所述消息中间件进行数据透传转发时，根据所述热备存储策略将所述多源异构数据同步备份至热备服务器，以便于减少当前数据传输故障造成的数据丢失，具体的，当前服务器出现故障时，及时从热备服务器中调取同步备份的多源异构数据进行数据传输。
2.根据权利要求1所述的分布式多源异构数据的数据采集方法，其特征在于，所述对所述设备运行数据进行接口协议转换处理，得到符合统一接口协议的异构运行数据，具体包括：获取每个机电设备与目标交通枢纽的接入状态数据；
根据所述接入状态数据，对每个机电设备进行数据接入策略匹配处理，得到符合每个机电设备的实际接入状态的数据接入方案；
根据所述数据接入方案，对每个机电设备进行接口协议适配处理，得到接口协议适配结果；根据所述接口协议适配结果，调用对应的接口协议对所述设备运行数据进行数据转换处理，得到可被分布式数据框架识别的异构运行数据。
3.根据权利要求1所述的分布式多源异构数据的数据采集方法，其特征在于，所述将所述异构运行数据输入至预先构建的分布式数据框架中进行数据转换处理，得到统一数据格式的多源异构数据，还包括：
实时采集每个机电设备的电力变化波动值，得到目标机电设备的电力变化数据；
根据所述电力变化数据，判断被监测的目标机电设备是否发生电力波动异常；
若是，则将目标机电设备的运行监测信息发送至分布式数据框架进行异常处理策略匹配处理，得到符合电力波动异常情况的目标故障处理策略。
4.根据权利要求3所述的分布式多源异构数据的数据采集方法，其特征在于，所述根据所述电力变化数据，判断被监测的目标机电设备是否发生电力波动异常，还包括：
实时采集目标交通枢纽内的用电负载数据；
根据所述用电负载数据，判断所述分布式数据框架的剩余挂靠负载值是否满足新接入负载的需求；
若否，则对所述分布式数据框架的实际挂靠负载值进行电力调度处理，以便于对目标交通枢纽的电力资源进行动态调配，具体的，根据每个挂靠负载终端的运行性能计算当前的最佳运行用电资源，根据最佳运行用电资源对每个机电设备进行电力资源调度，其中，根据电梯实际运载重量动态调用对应的电力资源。
5.根据权利要求1所述的分布式多源异构数据的数据采集方法，其特征在于，所述根据所述设备运行数据的数据采集时间，将所述多源异构数据进行分布式存储处理，以便于目标交通枢纽之间的资源动态交互，具体包括：
实时获取所述设备运行数据的数据采集时间；
根据所述数据采集时间判断每个机电设备的运行状态是否符合预设的运营时间线需求，得到每个机电设备的运行状态判断结果；
根据所述运行状态判断结果，对目标交通枢纽的所有机电设备进行协同组合处理，得到设备协同组合策略，具体的，根据距离最短或者用能最优原则设置机电设备的协同组合，生成目标交通枢纽的所有机电设备的设备协同组合策略；
按照所述设备协同组合策略，对协同组合的多源异构数据进行分布式存储，以便于对协同组合后的机电设备之间进行资源融合调动，具体的，按照每个出行方案的协同组合，将对应的多源异构数据存储至对应的协同组合中进行资源融合调动。
6.一种分布式多源异构数据的数据采集系统，其特征在于，所述分布式多源异构数据的数据采集系统包括：
数据采集模块，用于实时采集接入目标交通枢纽的每个机电设备的设备运行数据；
协议转换模块，用于对所述设备运行数据进行接口协议转换处理，得到符合统一接口协议的异构运行数据；
数据处理模块，用于将所述异构运行数据输入至预先构建的分布式数据框架中进行数据转换处理，得到统一数据格式的多源异构数据；
数据存储模块，用于根据所述设备运行数据的数据采集时间，将所述多源异构数据进行分布式存储处理，以便于目标交通枢纽之间的资源动态交互；
其中，所述数据处理模块，具体包括：
穿闸服务适配处理子模块，用于对所述异构运行数据进行数据穿闸服务适配处理，得到符合数据隔离网闸传输需求的穿闸隔离策略，具体的，通过正向隔离网闸限制设备运行数据从数据采集终端单向传输至数据管理终端；
穿墙协议转换子模块，用于根据所述穿闸隔离策略，对所述异构运行数据进行穿墙协议转换处理，得到符合穿墙协议的异构穿墙数据；
数据透传处理子模块，用于通过预设的数据隔离网闸将所述异构穿墙数据进行数据透传处理，得到符合数据透传转发需求的多源异构数据，具体的，根据传输距离的远近动态选择传输性能最优的通讯传输方案进行异构穿墙数据的数据传输，通过预设的数据透传协议对异构穿墙数据进行再次处理；
数据转发处理子模块，用于对所述多源异构数据同步发送至预设的消息中间件进行分布式数据转发处理，以便于分布式数据框架对目标交通枢纽接入的机电设备进行统一管理；
其中，所述数据转发处理子模块还包括：
传输状态监测单元，用于在多源异构数据发送至消息中间件的过程中，监测所述多源异构数据的传输完成状态；
数据备份适配单元，用于根据所述传输完成状态，对完整传输的所述多源异构数据进行数据备份处理，得到所述多源异构数据的热备存储策略，具体的，根据每个多源异构数据的数据格式与热备服务器的数据格式的适配性，或者每个多源异构数据的数据容量与热备服务器的当前剩余存储容量之间的适配程度进行热备服务器的选择与关联；
数据备份处理单元，用于当所述消息中间件进行数据透传转发时，根据所述热备存储策略将所述多源异构数据同步备份至热备服务器，以便于减少当前数据传输故障造成的数据丢失，具体的，当前服务器出现故障时，及时从热备服务器中调取同步备份的多源异构数据进行数据传输。
7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述分布式多源异构数据的数据采集方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述分布式多源异构数据的数据采集方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310113196.4A CN116132548B (zh) | 2023-02-06 | 2023-02-06 | 一种分布式多源异构数据的数据采集方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310113196.4A CN116132548B (zh) | 2023-02-06 | 2023-02-06 | 一种分布式多源异构数据的数据采集方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116132548A CN116132548A (zh) | 2023-05-16 |
| CN116132548B true CN116132548B (zh) | 2023-08-15 |
Family
ID=86309855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310113196.4A Active CN116132548B (zh) | 2023-02-06 | 2023-02-06 | 一种分布式多源异构数据的数据采集方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116132548B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105159951A (zh) * | 2015-08-17 | 2015-12-16 | 成都中科大旗软件有限公司 | 一种开放式的旅游多源异构数据融合方法及系统 |
| CN105811402A (zh) * | 2016-03-22 | 2016-07-27 | 广西电网有限责任公司电力科学研究院 | 一种电力负荷预测系统及其预测方法 |
| CN112711626A (zh) * | 2020-12-29 | 2021-04-27 | 长威信息科技发展股份有限公司 | 一种多源异构数据统一汇聚方法及系统 |
| CN113268486A (zh) * | 2021-06-07 | 2021-08-17 | 清华大学 | 智能工厂的一体化数据应用系统 |
| CN114138766A (zh) * | 2021-12-07 | 2022-03-04 | 华北电力大学 | 数据空间下多价值链数据体系分析架构及整合协同方法 |
| CN115695150A (zh) * | 2022-11-01 | 2023-02-03 | 广州城轨科技有限公司 | 一种基于分布式异构融合组网设备检测方法及装置 |
-
2023
- 2023-02-06 CN CN202310113196.4A patent/CN116132548B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105159951A (zh) * | 2015-08-17 | 2015-12-16 | 成都中科大旗软件有限公司 | 一种开放式的旅游多源异构数据融合方法及系统 |
| CN105811402A (zh) * | 2016-03-22 | 2016-07-27 | 广西电网有限责任公司电力科学研究院 | 一种电力负荷预测系统及其预测方法 |
| CN112711626A (zh) * | 2020-12-29 | 2021-04-27 | 长威信息科技发展股份有限公司 | 一种多源异构数据统一汇聚方法及系统 |
| CN113268486A (zh) * | 2021-06-07 | 2021-08-17 | 清华大学 | 智能工厂的一体化数据应用系统 |
| CN114138766A (zh) * | 2021-12-07 | 2022-03-04 | 华北电力大学 | 数据空间下多价值链数据体系分析架构及整合协同方法 |
| CN115695150A (zh) * | 2022-11-01 | 2023-02-03 | 广州城轨科技有限公司 | 一种基于分布式异构融合组网设备检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 通用数采监控系统数据集成设计与实现;曾志强;王绍源;谭蓉;;电子技术应用(第06期);132-134,137 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116132548A (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110855004B (zh) | 基于多站融合的智慧站一体化监控系统 | |
| CN112134802A (zh) | 一种基于终端触发式的边缘算力资源调度方法及系统 | |
| CN104753038A (zh) | 一种智能变电站集中式继电保护系统及保护方法 | |
| CN101801015A (zh) | 一种小区退服故障的处理方法及装置 | |
| EP2675196B1 (en) | Method for processing content network information, base station and content network system | |
| CN110677286B (zh) | 电源掉电告警监测方法、装置和系统 | |
| CN101374073A (zh) | 一种家用基站的管理方法和系统 | |
| CN101976886B (zh) | 电力调度自动化系统分布式数据采集分区互备方法 | |
| WO2011143899A1 (zh) | 一种移动通讯数据的采集方法和装置 | |
| US20240005069A1 (en) | Rru undervoltage risk prediction method, apparatus, and system, device, and medium | |
| CN110457146A (zh) | 机器人数据的处理方法及装置 | |
| CN106658576A (zh) | 一种数据处理方法、装置以及网络系统 | |
| CN116132548B (zh) | 一种分布式多源异构数据的数据采集方法及其系统 | |
| US10033807B2 (en) | Method and M2M gateway for managing data of terminal peripheral | |
| CN105743695A (zh) | 一种基于iec104 规约的监听方法及系统 | |
| CN109343488A (zh) | 基于微信和fdt技术的现场总线监控预警系统和方法 | |
| CN110445876B (zh) | 基于物联网的掉电数据的管理系统 | |
| Bebea-González et al. | Management framework for sustainable rural e-healthcare provision | |
| CN113938972B (zh) | 一种应用于电网融合型终端的自适应无线拨号方法 | |
| KR102572937B1 (ko) | 보호계전기 사고 파형 데이터 운영유닛 | |
| CN102843265A (zh) | 一种通讯规约的不复位无微扰的热备双连接方法 | |
| CN112311891A (zh) | 一种变电站在线智能巡视云边协同系统及方法 | |
| CN112769230A (zh) | 基于容器技术的分布式边缘微云监控系统 | |
| CN109587189B (zh) | 节点管理方法及装置 | |
| CN116208682B (zh) | 交换电力信息的网络系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240108 Address after: Room 1227-1, 12th floor, Haitai building, No. 229, Middle North Fourth Ring Road, Haidian District, Beijing 100089 Patentee after: Beijing maglev Co.,Ltd. Address before: Room 408, 1-14, 4 / F, Hengxiang building, No.15 Tuanjie hunanli, Chaoyang District, Beijing 100020 Patentee before: Beijing thinking Shichuang Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |