CN109347922A - 一种支持轨道交通线网实时数据处理的读取方法及装置 - Google Patents
一种支持轨道交通线网实时数据处理的读取方法及装置 Download PDFInfo
- Publication number
- CN109347922A CN109347922A CN201811098720.0A CN201811098720A CN109347922A CN 109347922 A CN109347922 A CN 109347922A CN 201811098720 A CN201811098720 A CN 201811098720A CN 109347922 A CN109347922 A CN 109347922A
- Authority
- CN
- China
- Prior art keywords
- host
- target data
- data
- sent
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/547—Remote procedure calls [RPC]; Web services
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种支持轨道交通线网实时数据处理的读取方法及装置。包括:第一主机的第一进程将订阅消息发送至第二主机的第二进程;所述订阅消息用于订阅所述第二进程处理的目标数据;所述第一主机的第一进程若接收到来自所述第二主机的第二进程的业务信息,则从所述第一主机的内存中读取所述目标数据。第二主机的第二进程接收第一主机的第一进程发送的订阅消息;所述订阅消息用于订阅所述第二进程处理的目标数据;所述第二主机的第二进程处理所述订阅消息订阅的所述目标数据,并将处理后的所述目标数据发送至所述第一主机的内存。
Description
技术领域
本发明涉及轨道交通综合监控领域,尤其涉及一种支持轨道交通线网实时数据处理的读取方法及装置。
背景技术
轨道交通综合监控系统运行时需要实时处理大量数据。
为了提高数据的处理效率,现有技术中的解决方法有两种:第一,通过共享内存处理技术,但是现有技术的共享内存能处理的数据量较小;第二,通过多机处理,但是进程运行时需要通过网络跨进程读取数据,处理效率低下,无法满足综合监控的实时处理需求。
因此,本发明实施例提供了一种能够支持千万点数据处理且能够满足实时性要求的方法。
发明内容
本发明实施例提供了一种支持轨道交通线网实时数据处理的读取方法及装置,解决了现有技术中进程读取数据时需要跨进程或通过网络读取、需要发送至不同进程多份相同数据的问题。
本发明实施例提供了一种支持轨道交通线网实时数据处理的读取方法,包括:
第一主机的第一进程将订阅消息发送至第二主机的第二进程;所述订阅消息用于订阅所述第二进程处理的目标数据;
所述第一主机的第一进程若接收到来自所述第二主机的第二进程的业务信息,则从所述第一主机的内存中读取所述目标数据;所述业务信息用于指示目标数据已经全部传输完成。
可选的,所述从所述第一主机的内存中读取所述目标数据,还包括:
若所述第一主机的内存中的所述目标数据有缺失,则所述第一主机的第一进程发送通知信息至所述第二主机的第二进程;所述通知信息用于指示所述第二主机的第二进程再次传输所述目标数据缺失的部分。
本发明实施例提供了一种支持轨道交通线网实时数据处理的读取方法,包括:
第二主机的第二进程接收第一主机的第一进程发送的订阅消息;所述订阅消息用于订阅所述第二进程处理的目标数据;
所述第二主机的第二进程处理所述订阅消息订阅的所述目标数据,并将处理后的所述目标数据发送至所述第一主机的内存。
可选的,所述第二主机的第二进程处理所述订阅消息订阅的所述目标数据,并将处理后的所述目标数据发送至所述第一主机的内存,包括:
所述第二主机的第二进程根据所述订阅消息,从所述第二主机的内存中获取所述目标数据;
所述第二主机的第二进程将所述目标数据分为至少一份数据;
所述第二主机的第二进程每次获取所述至少一份数据中的一份数据,并将该份数据转化为第一比特流后,发送至所述第一主机的内存。
可选的,所述将处理后的所述目标数据发送至所述第一主机的内存,包括:
若所述第一主机和所述第二主机不在同一个域,则所述第二主机将所述处理后的所述目标数据发送至第二域间网关;所述第二域间网关为运行在所述第二主机上的一个进程;
所述第二主机的第二域间网关将所述处理后的所述目标数据发送至所述第一主机的内存。
可选的,所述将处理后的所述目标数据发送至所述第一主机的内存之后,包括:
所述第二主机的第二进程将业务信息发送至所述第一主机的第一进程;所述业务信息用于指示所述目标数据已经全部传输完成。
本发明实施例中,第一主机的第一进程先将订阅消息发送至第二主机的第二进程,第二主机的第二进程接收到订阅消息后,将所述订阅消息订阅的所述目标数据处理后发送至所述第一主机的内存,保证第一主机的第一进程在运行之前,所述目标数据已经在第一主机的内存中,从而避免了第一主机的第一进程在运行时,跨进程访问所需数据,提升了数据读取的效率。
基于同样的发明构思,本发明实施例还提供一种支持轨道交通线网实时数据处理的读取装置,该装置包括:
转发模块:用于将订阅消息发送至第二主机的第二进程;所述订阅消息用于订阅所述第二进程处理的目标数据;
处理模块:用于若接收到来自所述第二主机的第二进程的业务信息,则从第一主机的内存中读取所述目标数据;所述业务信息用于指示目标数据已经全部传输完成;以及若所述第一主机的内存中的所述目标数据有缺失,则发送通知信息至所述第二主机的第二进程;所述通知信息用于指示所述第二主机的第二进程再次传输所述目标数据缺失的部分。
本发明实施例进一步地提供一种支持轨道交通线网实时数据处理的读取装置,该装置包括:
接收模块:用于接收第一主机的第一进程发送的订阅消息;所述订阅消息用于订阅第二主机的第二进程处理的目标数据;
处理模块:用于处理所述订阅消息订阅的所述目标数据,并将处理后的所述目标数据发送至所述第一主机的内存。
可选的,所述处理模块,具体用于:
根据所述订阅消息,从所述第二主机的内存中获取所述目标数据;将所述目标数据分为至少一份数据;以及每次获取所述至少一份数据中的一份数据,并将该份数据转化为第一比特流后,发送至所述第一主机的内存。
可选的,所述处理模块,还用于:
若所述第一主机和所述第二主机不在同一个域,则将所述处理后的所述目标数据发送至第二域间网关;所述第二域间网关为运行在所述第二主机上的一个进程;将所述处理后的所述目标数据发送至所述第一主机的内存;以及将业务信息发送至所述第一主机的第一进程;所述业务信息用于指示所述目标数据已经全部传输完成。
附图说明
图1为本发明实施例中实现支持轨道交通线网实时数据处理的读取方法的系统示意图;
图2为本发明实施例中支持轨道交通线网实时数据处理的读取方法的示意流程图;
图3为本发明实施例中支持轨道交通线网实时数据处理的读取方法的发布订阅机制实现示意图;
图4为本发明实施例中支持轨道交通线网实时数据处理的读取方法的域间通信示意图;
图5为本发明实施例中支持轨道交通线网实时数据处理的读取装置的结构示意图;
图6为本发明实施例中支持轨道交通线网实时数据处理的读取装置的结构示意图。
具体实施方式
为了更好的理解上述技术方案,下面将结合说明书附图及具体的实施方式对上述技术方案进行详细的说明,应当理解本发明实施例以及实施例中的具体特征是对本发明实施例技术方案的详细的说明,而不是对本发明实施例技术方案的限定,在不冲突的情况下,本发明实施例以及实施例中的技术特征可以相互结合。
下面结合说明书附图对本发明实施例作进一步详细描述。
城市轨道交通线网综合监控系统(以下简称综合监控系统)集成了线网运营调度平台与应急指挥平台,建立了城市线网级统一的软、硬件平台。综合监控系统可以对城市轨道实施跨线路的监控、维护和管理,并实现轨道交通信息城市级互通、资源共享调度、线路级信息统计分析。综合监控系统提升了全城范围内轨道交通的综合运力、资源协调、风险应急能力。
综合监控系统肩负着对城市轨道交通车辆、客流、设备监视管控调度的重大任务,还包括线路统计分析、业绩考核、资源共享协调分配、应急处置等。综合监控系统是地铁信息化综合运维的核心,是所有线路信息汇集的中心。因此,综合监控系统对于千万点数据流的实时读取和处理要求极高。
传统综合监控系统的数据处理能力仍是线路级,无法实时处理线网级数据量。其中,线网由多个线路构成。另外,传统综合监控系统的内存分布在各个主机上独自使用,如果某一主机需要另一台主机内存中的数据,则需要通过网络进行数据传输之后才能读取。数据量较大时,这种数据读取方式会对网络造成负担,且影响数据的实时处理效率。
传统综合监控系统的数据流传输方向仍然是先由车站到OCC(Operating ControlCenter,线路控制中心),再由OCC到线网控制中心,且传输的仍然是全部数据流,读取路径较长,数据流较大,网络传输延时较长。当数据量暴增时,网络会造成拥塞。
本发明实施例提出了处理超大规模(1000万点级)数据的处理方法;其中称为一组包含多属性且有相同监控任务的监控信息称为1点。
综合监控系统按照数据的相互关联性,将线网内的各个车站以域为单位进行分组。每个域中都运行一个或多个主机。每个主机上都会运行多个进程,其中,进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动。它是操作系统动态执行的基本单元,在传统的操作系统中,进程既是基本的分配单元,也是基本的执行单元。特别地,每个主机都运行一个消息总线和一个域间网关,消息总线和域间网关是特殊的进程。
每个进程运行时都需要分配一定的内存;其中,内存又称主存,是CPU能直接寻址的存储空间。操作系统会为每个进程分配一块内存。传统综合监控系统中,当操作系统需要的数据不在进程对应的内存中时,需要通过网络跨进程读取数据;而且,如果有多个组件需要相同数据时,会按照组件的数量发送多份重复的数据,造成很多的数据冗余,加重系统与网络的负担。而本发明实施例为了保证数据的实时读取效率及处理效率,提供了一种单机共享内存和多机分布式的内存共享机制。每个进程里直接通过提供的内存库读取库来对共享内存库进行读取。内存库读取库是共享内存库中用于对内存读取控制的一个工具,将内存提供给各个进程使用,实现对内存库的读写以及内存库事务、并发的管理。内存共享机制的优点有四个方面。第一,每个进程需要的数据存放在各主机的内存中,没有内存库与硬盘输入/输出I/O交互的过程;第二,数据存放是基于键值的方式,从而保证即使在数据量非常大的时候,没有键冲突的问题,保证了千万点数据量下的内存共享;第三,运行在同一主机的不同进程,从单机共享内存中获取需要的数据;第四,运行在不同主机的进程,通过多机共享内存机制,在进程开始进行数据读取之前,数据已经完成了同步。主机接收到数据需要读取的通知消息时,直接从本机内存读取即可获取需要的数据,提升进程处理数据的效率。
每个进程都包括一个或多个业务处理模块、一个订阅管理模块和一个发布管理模块。当系统内数据发生变化,消息总线用于通知其他业务处理模块进行读取处理时,进行数据的交互通知,消息发送者和接收者不需要关注将消息发送至谁或消息来自谁,由消息总线完成消息的路由分发功能。当业务处理模块需要跨域进行数据交互时,则先经过消息总线,再由域间网关进行数据的交互通知。服务由读取库和消息总线进程构成,进程只需加载读取库,调用其外部接口即可,由读取库完成与消息总线的通信工作。
本发明实施例中实现数据读取方法的系统架构如图1所示。综合监控系统有多个域,通常每条线路作为一个域,线网中心单独作为一个域。一个域内有一个或多个主机,每个主机上都运行着一个消息总线和一个域间网关以及一个或多个进程,共享内存库以分布式的方式部署在每个主机上。同一个域内(包括同一个主机内)的进程之间数据的读取直接通过消息总线完成;不同域内的进程之间数据的读取,通过消息总线和域间网关完成。
主机中各模块及各自核心功能为:
共享内存库:是每个主机内存中划分的作为公共数据存放的部分。其核心功能是,为综合监控系统的所有进程提供数据的读取服务,包括共享内存库的创建、磁盘文件的加载、共享内存库数据的同步。
进程:常见的进程有测点处理进程、命令处理进程、报警处理进程、历史处理进程等各个进程。各个业务进程为共享内存库提供数据或者从共享内存库读取数据。
消息总线:消息总线为运行在主机上的一个特殊的进程,每个主机有且仅有一个消息总线。消息总线负责消息的路由和分发。
域间网关:域间网关为运行在主机上的一个特殊的进程,每个主机有且仅有一个域间网关。用于完成域间基于消息总线的通信,包括:本域数据发送至其他域、接收其他域的数据发送至本域、接收其他域的数据并转发给第三方域。
本发明实施例按以下步骤实现支持轨道交通线网实时数据处理的读取方法,结合以下步骤详细介绍主机中的每个模块,如图2所示。
步骤201:第一主机的第一进程将订阅消息发送至第二主机的第二进程。
所述订阅消息用于订阅所述第二进程处理的目标数据。
步骤202:第二主机的第二进程接收第一主机的第一进程发送的订阅消息。
步骤203:第二主机的第二进程处理所述订阅消息订阅的所述目标数据。
步骤204:第二主机的第二进程将处理后的所述目标数据发送至所述第一主机的内存。
步骤205:所述第二主机的第二进程将业务信息发送至所述第一主机的第一进程。
所述业务信息用于指示所述目标数据已经全部传输完成。
步骤206:第一主机的第一进程从所述第一主机的内存中读取所述目标数据。
步骤201中,第一主机的第一进程(以下简称第一进程)和第二主机的第二进程(以下简称第二进程)为运行在不同主机的两个进程。当第一进程需要的数据不在本主机时,通过其他进程(本发明实施例中为第二进程)读取数据。其中,提供数据的进程称为生产者,使用数据的进程称为消费者。这里需要说明的是,各进程生产者与消费者关系是根据业务流程依赖关系设定的。如测点处理进程运行完成监控信息采集之后,才运行命令处理进程对数据进行进一步处理。进程可以既是消费者又是生产者。本实施例中,第一进程为第二进程的消费者,第二进程为第一进程的生产者。
综合监控系统在运行之前,会预先对第一进程、第二进程配置订阅消息。每个进程的订阅消息包括该进程的目标数据(每个业务处理模块实现对应业务时需要的数据)、该进程的生产者消费者对应关系等。每个进程都对应一个订阅管理模块和发布管理模块。在监控系统的初始化阶段,第一进程把多个业务处理模块的订阅消息汇总到第一进程的订阅管理模块,并由第一进程的订阅管理模块将订阅消息通过网络发送至第二进程。如图3,第一进程、第二进程各自的订阅管理模块和发布管理模块为实现内存共享的执行实体,具体见后续步骤。
步骤202中,第二进程通过订阅管理模块接收第一进程发送的订阅消息。这样以来,第二进程便获取了第二进程的消费者第一进程的订阅消息。第二进程了订阅消息之后,第二进程将数据存放规则和第一数据发送至第一进程。其中,数据存放规则为目标数据在内存中存放的规则,使得第一进程和第二进程的目标数据在各自主机的内存中存放的位置一致,易于读取。第一数据为目标数据的一部分数据。
步骤203中,由于生产者消费者关系是根据流程中各个步骤的依赖关系而定,目标数据会由第二进程先行处理。第二进程将目标数据先分为至少一份数据,第二进程每次获取所述至少一份数据中的一份数据,将该份数据转化为第一比特流。第一比特流为二进制比特流,第一比特流再次写入内存后,不需要再进行数据解析、转化等步骤,可以直接被机器执行。
步骤204中,具体地,根据监控系统初始化阶段第二进程的订阅管理模块存储的订阅消息,第二进程已经知悉目标数据为第一进程的所需数据,则第二进程将目标数据转化为第一比特流后,将第一比特流发送至第一主机的内存。
分为第一主机和第二主机是否在同一个域内两种情况。
具体地,(1)若第一主机和第二主机在同一个域内,第二进程每次将目标数据中至少一份数据中的一份数据转化为第一比特流后,就立即将第一比特流发送至第二主机的消息总线二(以下简称消息总线二),再由消息总线二发送至第一主机的消息总线一(以下简称消息总线一),最后由消息总线一发送至第一主机的内存。
(2)若第一进程和第二进程不在同一个域内,第二进程只将目标数据分为一份数据,第二进程将目标数据完全处理完后,才将第一比特流一起发送至消息总线二,再由消息总线二发送至第二主机的第二域间网关(以下简称第二域间网关),接着由第二域间网关发送至第一主机的第一域间网关(以下简称第一域间网关),之后由第一域间网关发送至消息总线一,最后由消息总线一发送至第一主机的内存。
为保证域内主机之间的通讯效率以及传输质量,消息总线仅能在域内进行数据传输,这样保证了消息的最小范围传播,降低了通讯的负载。
如图4所示,域间网关来实现域间进程的消息转发与传输。域间网关通讯依赖组态配置的转发表。转发表由两部分构成,一种为软件设计时定义好的软件架构要求,在此使用通道定义表,为静态的;另外为工程特殊需要,由工程实施及开发人员在组态界面共同配置。
域间网关配置表如下表所示。
该步骤中,消息总线二接收到了第一比特流后,根据上述配置表中的转发规则判断第一比特流是否需要发送至第二域间网关。若需要,第二域间网关接收到第一比特流之后,会根据第一比特流所在的通道向第二域间网关发送,第二域间网关在接收到第一比特流之后,第二域间网关会根据消息的通道号,发送给域内的消息总线二,域内的消息总线二根据其相关逻辑通知各个进程,具体在步骤205中说明。
步骤205中,具体地,如图3所示,在第二进程处理完目标数据之后,第二进程的发布管理模块将业务信息发送至第一进程。业务信息是生产者已将消费者所需数据传输完成的通知信息,用于指示目标数据已经全部传输完成。
与步骤204相应地,也分为是否在一个同域内两种情况。
(1)若第一进程和第二进程在同一个域,在第二进程处理完目标数据之后,第二进程对应的发布管理模块先将业务信息发送至消息总线二,再由消息总线二发送至消息总线一,最后由消息总线一发送至第一进程对应的订阅管理模块。
(2)若第一进程和第二进程不在同一个域,在第二进程处理完目标数据之后,第二进程对应的发布管理模块先将业务信息发送至消息总线二,消息总线二将第一比特流和业务信息一同发送至第二域间网关,再由第二域间网关发送至第一域间网关,第二域间网关接着发送至消息总线一,最后由消息总线一发送至第一进程对应的订阅管理模块。
基于订阅发布的机制,当有消费者订阅数据后,生产者仅发布一个数据更新讯号即业务信息;消费者在接收到业务信息之后,直接从所在主机的内存中读取数据,保证了系统的响应实时性。
步骤206中,第一进程的订阅管理模块接收到业务信息后,便知悉需要的数据已在主机的内存中。因此,第一进程会读取第一主机的内存中的第一比特流。但是,由于网络风暴、丢包等原因,在内存中的可能并不是完整的第一比特流。如果第一进程发现第一比特流有缺少的部分,则第一进程的订阅管理模块发送通知信息至第二进程的订阅管理模块,通知信息用于指示第二进程再次传输所述目标数据缺失的部分。同样地,重新发送仍按照上述步骤执行,此处不再赘述。
步骤201~206中的第一进程、第二进程为运行在不同主机上的两个进程。
而实际上,第一进程、第二进程可以为运行在同一主机的两个进程。本发明实施例中,每个进程的数据分为两部分存放在内存中。需要说明的是,单个主机的内存存储机制不使用键值存储方式,因为在数据量大的时候,会出现很多的键冲突,本发明实施例中使用类似于关系库的树存储方式。各进程既有私有的内存,也会将一部分其他进程需要的数据放到主机中公共的共享内存库中。当第一进程和第二进程在同一个主机时,消息总线不再处理目标数据,也不将目标数据交由消息总线发送。第二进程处理完目标数据后,通过消息总线发送业务信息至第一进程。同一个主机内,支持轨道交通线网实时数据处理的读取方法对应的具体步骤如下:
(a)第一主机的第一进程将订阅消息发送至第一主机的第二进程。
其中,第一主机的第一进程把该进程中多个业务处理模块的订阅消息汇总到第一主机的第一进程的订阅管理模块,并由第一主机的第一进程的订阅管理模块将订阅消息发送至第一主机的第二进程。
(b)第一主机的第二进程接收第一主机的第一进程发送的订阅消息。
(c)第一主机的第二进程处理订阅消息订阅的目标数据。
第一主机的第二进程将目标数据转化为第二比特流;第二比特流为二进制比特流。
(d)第一主机的第二进程将处理后的目标数据放入第一主机的内存。
由于第一主机的第二进程接收到订阅消息,已经知悉目标数据为第一主机的第一进程的所需数据,因此第一主机的第二进程会把处理后的目标数据放入第一主机中公共的共享内存库中。
(e)第一主机的第二进程将业务信息发送至第一主机的第一进程。
该业务消息由第一主机的第二进程通过第一主机的消息总线,发送至第一主机的第一进程。
(f)第一主机的第一进程从第一主机的内存中读取所述目标数据。
由于第一主机的第二进程在处理完目标数据之后,直接将处理后的目标数据放入到第一主机的内存,因此在第一主机收到业务消息时,第二比特流已经在第一主机的内存中,第一主机的第一进程可直接从第一主机的内存中读取。
本发明实施例中,第一主机的第一进程先将订阅消息发送至第二主机的第二进程,第二主机的第二进程接收到订阅消息后,将所述订阅消息订阅的所述目标数据处理后发送至所述第一主机的内存,保证第一主机的第一进程在运行之前,所述目标数据已经在第一主机的内存中,从而避免了第一主机的第一进程在运行时,跨进程访问所需数据,提升了数据读取的效率。
本发明实施例根据数据的关联性及物理特性以域为单位对主机进行归类,并根据域内及域间的不同,提出使用消息总线与域间网关的方式来进行数据通讯,保证了在千万点数据的情况下,依然能够进行网络的高效传输。
本发明实施例提出的共享内存库技术实现了单机、多机、跨域进程的内存共享,保证了在千万点数据存在的情况下,能够根据各个进程消费数据的情况来合理地进行数据的分配及同步每个进程的订阅管理模块通过监听消息总线的业务信息来预准备数据的内存同步,大大降低了系统的网络传输开销,在每个进程消费数据之前,已经开始数据的同步,提高了数据的读取效率。
如图5所示,为本发明实施例中支持轨道交通线网实时数据处理的读取装置的结构示意图,该装置包括:
转发模块501:用于将订阅消息发送至第二主机的第二进程;所述订阅消息用于订阅所述第二进程处理的目标数据;
处理模块502:用于若接收到来自所述第二主机的第二进程的业务信息,则从第一主机的内存中读取所述目标数据;所述业务信息用于指示目标数据已经全部传输完成;以及若所述第一主机的内存中的所述目标数据有缺失,则发送通知信息至所述第二主机的第二进程;所述通知信息用于指示所述第二主机的第二进程再次传输所述目标数据缺失的部分。
如图6所示,为本发明实施例中支持轨道交通线网实时数据处理的读取装置的结构示意图,该装置包括:
接收模块601:用于接收第一主机的第一进程发送的订阅消息;所述订阅消息用于订阅第二主机的第二进程处理的目标数据;
处理模块602:用于处理所述订阅消息订阅的所述目标数据,并将处理后的所述目标数据发送至所述第一主机的内存。
可选的,所述处理模块602,具体用于:
根据所述订阅消息,从所述第二主机的内存中获取所述目标数据;将所述目标数据分为至少一份数据;以及每次获取所述至少一份数据中的一份数据,并将该份数据转化为第一比特流后,发送至所述第一主机的内存。
可选的,所述处理模块602,还用于:
若所述第一主机和所述第二主机不在同一个域,则将所述处理后的所述目标数据发送至第二域间网关;所述第二域间网关为运行在所述第二主机上的一个进程;将所述处理后的所述目标数据发送至所述第一主机的内存;以及将业务信息发送至所述第一主机的第一进程;所述业务信息用于指示所述目标数据已经全部传输完成。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种支持轨道交通线网实时数据处理的读取方法,其特征在于,包括:
第一主机的第一进程将订阅消息发送至第二主机的第二进程;所述订阅消息用于订阅所述第二进程处理的目标数据;
所述第一主机的第一进程若接收到来自所述第二主机的第二进程的业务信息,则从所述第一主机的内存中读取所述目标数据;所述业务信息用于指示目标数据已经全部传输完成。
2.如权利要求1所述的方法,其特征在于,所述从所述第一主机的内存中读取所述目标数据,还包括:
若所述第一主机的内存中的所述目标数据有缺失,则所述第一主机的第一进程发送通知信息至所述第二主机的第二进程;所述通知信息用于指示所述第二主机的第二进程再次传输所述目标数据缺失的部分。
3.一种支持轨道交通线网实时数据处理的读取方法,其特征在于,包括:
第二主机的第二进程接收第一主机的第一进程发送的订阅消息;所述订阅消息用于订阅所述第二进程处理的目标数据;
所述第二主机的第二进程处理所述订阅消息订阅的所述目标数据,并将处理后的所述目标数据发送至所述第一主机的内存。
4.如权利要求3所述的方法,其特征在于,所述第二主机的第二进程处理所述订阅消息订阅的所述目标数据,并将处理后的所述目标数据发送至所述第一主机的内存,包括:
所述第二主机的第二进程根据所述订阅消息,从所述第二主机的内存中获取所述目标数据;
所述第二主机的第二进程将所述目标数据分为至少一份数据;
所述第二主机的第二进程每次获取所述至少一份数据中的一份数据,并将该份数据转化为第一比特流后,发送至所述第一主机的内存。
5.如权利要求3或4所述的方法,其特征在于,所述将处理后的所述目标数据发送至所述第一主机的内存,包括:
若所述第一主机和所述第二主机不在同一个域,则所述第二主机将所述处理后的所述目标数据发送至第二域间网关;所述第二域间网关为运行在所述第二主机上的一个进程;
所述第二主机的第二域间网关将所述处理后的所述目标数据发送至所述第一主机的内存。
6.如权利要求3或4所述的方法,其特征在于,所述将处理后的所述目标数据发送至所述第一主机的内存之后,包括:
所述第二主机的第二进程将业务信息发送至所述第一主机的第一进程;所述业务信息用于指示所述目标数据已经全部传输完成。
7.一种支持轨道交通线网实时数据处理的读取装置,其特征在于,包括:
转发模块:用于将订阅消息发送至第二主机的第二进程;所述订阅消息用于订阅所述第二进程处理的目标数据;
处理模块:用于若接收到来自所述第二主机的第二进程的业务信息,则从第一主机的内存中读取所述目标数据;所述业务信息用于指示目标数据已经全部传输完成;以及若所述第一主机的内存中的所述目标数据有缺失,则发送通知信息至所述第二主机的第二进程;所述通知信息用于指示所述第二主机的第二进程再次传输所述目标数据缺失的部分。
8.一种支持轨道交通线网实时数据处理的读取装置,其特征在于,包括:
接收模块:用于接收第一主机的第一进程发送的订阅消息;所述订阅消息用于订阅第二主机的第二进程处理的目标数据;
处理模块:用于处理所述订阅消息订阅的所述目标数据,并将处理后的所述目标数据发送至所述第一主机的内存。
9.如权利要求8所述的装置,其特征在于,所述处理模块,具体用于:
根据所述订阅消息,从所述第二主机的内存中获取所述目标数据;将所述目标数据分为至少一份数据;以及每次获取所述至少一份数据中的一份数据,并将该份数据转化为第一比特流后,发送至所述第一主机的内存。
10.如权利要求8或9所述的装置,其特征在于,所述处理模块,还用于:
若所述第一主机和所述第二主机不在同一个域,则将所述处理后的所述目标数据发送至第二域间网关;所述第二域间网关为运行在所述第二主机上的一个进程;将所述处理后的所述目标数据发送至所述第一主机的内存;以及将业务信息发送至所述第一主机的第一进程;所述业务信息用于指示所述目标数据已经全部传输完成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811098720.0A CN109347922A (zh) | 2018-09-20 | 2018-09-20 | 一种支持轨道交通线网实时数据处理的读取方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811098720.0A CN109347922A (zh) | 2018-09-20 | 2018-09-20 | 一种支持轨道交通线网实时数据处理的读取方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109347922A true CN109347922A (zh) | 2019-02-15 |
Family
ID=65305751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811098720.0A Withdrawn CN109347922A (zh) | 2018-09-20 | 2018-09-20 | 一种支持轨道交通线网实时数据处理的读取方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109347922A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111988557A (zh) * | 2019-05-22 | 2020-11-24 | 上汽通用汽车有限公司 | 车载视频传输方法和车载视频传输系统 |
CN115883654A (zh) * | 2022-11-29 | 2023-03-31 | 深圳市汇川技术股份有限公司 | 进程通信方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102929585A (zh) * | 2012-09-25 | 2013-02-13 | 上海证券交易所 | 一种支持多主机分布式数据处理的批处理方法及系统 |
CN103647669A (zh) * | 2013-12-16 | 2014-03-19 | 上海证券交易所 | 一种保证分布式数据处理一致性的系统及方法 |
US20160147786A1 (en) * | 2014-11-25 | 2016-05-26 | Mihnea Andrei | Efficient Database Undo / Redo Logging |
-
2018
- 2018-09-20 CN CN201811098720.0A patent/CN109347922A/zh not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102929585A (zh) * | 2012-09-25 | 2013-02-13 | 上海证券交易所 | 一种支持多主机分布式数据处理的批处理方法及系统 |
CN103647669A (zh) * | 2013-12-16 | 2014-03-19 | 上海证券交易所 | 一种保证分布式数据处理一致性的系统及方法 |
US20160147786A1 (en) * | 2014-11-25 | 2016-05-26 | Mihnea Andrei | Efficient Database Undo / Redo Logging |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111988557A (zh) * | 2019-05-22 | 2020-11-24 | 上汽通用汽车有限公司 | 车载视频传输方法和车载视频传输系统 |
CN111988557B (zh) * | 2019-05-22 | 2022-09-13 | 上汽通用汽车有限公司 | 车载视频传输方法和车载视频传输系统 |
CN115883654A (zh) * | 2022-11-29 | 2023-03-31 | 深圳市汇川技术股份有限公司 | 进程通信方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE602006000516T2 (de) | Architektur eines Kommunikationsknoten in einem global asynchronen Netzwerk on-chip-System | |
CN101690022A (zh) | 用于对等直播流的基于队列的自适应块调度 | |
CN109450936A (zh) | 一种基于Kafka的异构通信协议的适配方法及装置 | |
CN104243496A (zh) | 一种软件定义网跨域安全代理方法和系统 | |
CN110928694B (zh) | 一种计算机系统 | |
CN109347922A (zh) | 一种支持轨道交通线网实时数据处理的读取方法及装置 | |
CN103460654A (zh) | 中继装置、中继装置的控制方法以及计算机程序 | |
RU2008132332A (ru) | Способ и система интерактивного электронного действия рабочего стола | |
CN102006245A (zh) | 一种数据交换和共享平台 | |
US20110154108A1 (en) | System and process for simulation or test exploiting data from monitoring ports | |
CN102546461A (zh) | 多层级消息中间件系统及其消息转发控制方法和装置 | |
CN109756552A (zh) | 一种乘客信息系统消息分发方法和装置及乘客信息系统 | |
CN104639437A (zh) | 堆叠系统中广播报文的转发方法及装置 | |
CN110932920B (zh) | 一种网络拓扑结构 | |
CN116107727B (zh) | 一种基于混合内核架构的算力网络操作系统及电子设备 | |
Meng et al. | Integrated optimization model on maintenance time window and train timetabling | |
Li et al. | A software-defined networking roadside unit cloud resource management framework for vehicle ad hoc networks | |
Tyler Dick | Quantifying the relative influence of railway hump classification yard performance factors | |
CN100377549C (zh) | 数据转发实体转发数据帧的方法 | |
CN105049515A (zh) | 一种配电监测系统及其数据交互方法 | |
Luo et al. | Data-driven disruption response planning for a mass rapid transit system | |
Guo et al. | A study on the practical carrying capacity of large high-speed railway stations considering train set utilization | |
WO2021148015A1 (zh) | 一种计算机系统 | |
Liu et al. | Scheduled platoons of public transport autonomous modular vehicles | |
CN113472782B (zh) | 自动变更访问控制配置方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190215 |
|
WW01 | Invention patent application withdrawn after publication |