CN116225667A - 面向高轨多星定位的实时流式并行调度处理系统 - Google Patents

Abstract

本发明提供了一种面向高轨多星定位的实时流式并行调度处理系统，可以应用于卫星定位技术领域。该系统包括：数据接收模块，用于采集实时流式数据，通过消息中间件模块将数据到达通知发送给业务调度模块；该业务调度模块，用于基于该实时流式数据进行组织调度，生成计算通知，并通过该消息中间件模块将该计算通知发送给计算服务模块；该计算服务模块，用于基于该实时流式数据进行定位解算，生成计算完成通知，并通过该消息中间件模块将该计算完成通知发送给结果入库管理模块；该结果入库管理模块，用于提取该定位解算的计算结果，将该计算结果缓存入数据缓存模块，生成结果生成通知，并通过该消息中间件模块将结果生成通知发送给该业务调度模块。

Description

面向高轨多星定位的实时流式并行调度处理系统

技术领域

本发明涉及卫星定位领域，具体地涉及一种面向高轨多星定位的实时流式并行调度处理系统。

背景技术

高轨卫星可对目标区域进行长时间连续观测，利用多颗高轨卫星组成定位星座，实时接收信号源发射的信号，并将接收数据下传至地面系统进行信号源定位解算，实现信号源的定位。高轨多星定位业务场景下，卫星下传的实时流式数据具有高并发、实时性、连续性等特点，对于地面系统的实时调度计算提出了严峻的考验。以往的卫星地面处理系统多采用批处理模式，数据接收完毕后进行事后处理，难以满足持续下传的实时流式数据的处理需求以及计算单元分布式扩展的需求。

发明内容

鉴于上述问题，本发明提供了一种面向高轨多星定位的实时流式并行调度处理系统。

根据本发明的一个方面，提供了一种面向高轨多星定位的实时流式并行调度处理系统包括：

数据接收模块，用于采集卫星信号的实时流式数据，并在采集到所述实时流式数据的情况下，通过消息中间件模块将数据到达通知发送给业务调度模块；

所述业务调度模块，用于在接收到所述数据到达通知的情况下，基于所述实时流式数据进行组织调度，生成计算通知，并通过所述消息中间件模块将所述计算通知发送给计算服务模块；

所述计算服务模块，用于在接收到所述数据到达通知的情况下，基于所述实时流式数据进行定位解算，生成计算完成通知，并通过所述消息中间件模块将所述计算完成通知发送给结果入库管理模块；

所述结果入库管理模块，用于提取所述定位解算的计算结果，将所述计算结果缓存入数据缓存模块，生成结果生成通知，并通过所述消息中间件模块将所述结果生成通知发送给所述业务调度模块；

所述消息中间件模块，用于转发通知消息，所述通知消息包括所述数据到达通知、所述计算通知、所述计算完成通知以及所述结果生成通知；

所述数据缓存模块，用于基于Redis内存数据库，缓存所述通知消息和实现所述定位解算的中间结果数据。

在本发明一实施例中，所述计算通知包括信号检测计算通知，所述业务调度模块包括信号检测调度单元，所述信号检测调度单元用于：

在接收到所述数据到达通知的情况下，通过所述消息中间件模块将所述信号检测计算通知发送给所述计算服务模块。

在本发明一实施例中，所述计算完成通知包括信号检测计算完成通知，所述计算服务模块包括信号检测计算单元，所述信号检测计算单元用于：

在接收到所述信号检测计算通知的情况下，对所述卫星信号进行检测，输出所述卫星信号的时刻和长度，并生成所述信号检测计算完成通知；

通过所述消息中间件模块将所述信号检测计算完成通知发送给所述业务调度模块。

在本发明一实施例中，所述计算通知包括参数估计计算通知，所述业务调度模块包括参数估计调度单元，所述参数估计调度单元用于：

在接收到所述信号检测计算完成通知的情况下，提取所述实时流式数据的时间戳；

根据所述时间戳，从所述数据缓存模块中查询与所述时间戳对应的用于执行定位解算的数据文件；

若所述数据文件存在，则生成所述参数估计计算通知，并通过所述消息中间件模块将所述参数估计计算通知发送给所述计算服务模块；

若所述数据文件不存在，则接收下一信号检测计算完成通知，执行所述提取所述实时流式数据的时间戳的操作。

在本发明一实施例中，所述计算完成通知包括参数估计计算完成通知，所述计算服务模块包括参数估计计算单元，所述参数估计计算单元用于：

在接收到所述参数估计计算通知的情况下，基于所述卫星信号的时刻和长度，进行时差与频差提取，并生成所述参数估计计算完成通知，通过所述消息中间件模块将所述参数估计计算完成通知发送给所述业务调度模块。

在本发明一实施例中，所述计算通知包括定位解算计算通知，所述业务调度模块包括定位解算调度单元，所述定位解算调度单元用于：

在接收到所述参数估计计算完成通知的情况下，生成定位解算计算通知；

通过所述消息中间件模块将所述定位解算计算通知发送给所述计算服务模块。

在本发明一实施例中，所述计算完成通知包括定位解算计算完成通知，所述计算服务模块包括定位解算计算单元，所述定位解算计算单元用于：

在接收到所述定位解算计算通知的情况下，根据所述时差和频差，进行信号源位置解算，生成所述定位解算计算完成通知；

通过所述消息中间件模块将所述定位解算计算完成通知发送给所述结果入库管理模块。

在本发明一实施例中，所述计算服务模块的信号检测计算单元、参数检测计算单元和定位解算计算单元实行分布式并行计算处理。

在本发明一实施例中，所述系统还包括：

外部接口处理模块，用于提供统一的内外部系统间信息收发接口；

任务与作业管理模块，用于实现对于定位任务的管理。

在本发明一实施例中，所述数据接收模块部署在数据采集服务器上；

所述数据接收模块还用于实时监控扫描所述数据采集服务器的本地文件落盘目录，获取后缀名为.dat.fin的已完成写入的数据文件，并将所述数据文件实时同步复制到预设的共享存储模块指定的存储路径下。

本发提出的一种面向高轨多星定位的实时流式并行调度处理系统，将调度与计算解耦，基于数据驱动模式进行消息与数据的流转，实现高轨多星定位流程的流式调度处理；基于消息中间件提供低延迟的消息交互服务；设计无状态模式的计算实例，支持分布式并行计算处理以及水平扩展，从而实现低延迟、高并发、弹性可伸缩的实时流式并行调度处理系统，能够满足高轨多星定位业务场景的高时效性需求。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本发明实施例的面向高轨多星定位的实时流式并行调度处理系统的示意图；

图2示意性示出了根据本发明实施例的面向高轨多星定位的实时流式并行调度处理系统的示意图；

图3示意性示出了根据本发明实施例的面向高轨多星定位的实时流式并行调度处理的流程图。

具体实施方式

以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。

图1示意性示出了根据本发明实施例的面向高轨多星定位的实时流式并行调度处理系统的示意图。

如图1所示，该实施例的面向高轨多星定位的实时流式并行调度处理系统包括：数据接收模块、业务调度模块、计算服务模块、结果入库管理模块、消息中间件模块和数据缓存模块。

数据接收模块，用于采集卫星信号的实时流式数据，并在采集到该实时流式数据的情况下，通过消息中间件模块将数据到达通知发送给业务调度模块。

该业务调度模块，用于在接收到该数据到达通知的情况下，基于该实时流式数据进行组织调度，生成计算通知，并通过该消息中间件模块将该计算通知发送给计算服务模块。

该计算服务模块，用于在接收到该数据到达通知的情况下，基于该实时流式数据进行定位解算，生成计算完成通知，并通过该消息中间件模块将该计算完成通知发送给结果入库管理模块。

该结果入库管理模块，用于提取该定位解算的计算结果，将该计算结果缓存入数据缓存模块，生成结果生成通知，并通过该消息中间件模块将该结果生成通知发送给该业务调度模块。

该消息中间件模块，用于转发通知消息，该通知消息包括该数据到达通知、该计算通知、该计算完成通知以及该结果生成通知。

该数据缓存模块，用于基于Redis内存数据库，缓存该通知消息和实现该定位解算的中间结果数据。

图2示意性示出了根据本发明实施例的面向高轨多星定位的实时流式并行调度处理系统的示意图。

如图2所示，该实施例的面向高轨多星定位的实时流式并行调度处理系统除了包括图1所示的数据接收模块、业务调度模块、计算服务模块、结果入库管理模块、消息中间件模块和数据缓存模块之外，还包括：外部接口处理模块和任务与作业管理模块。外部接口处理模块用于提供统一的内外部系统间信息收发接口。任务与作业管理模块用于实现对于定位任务的管理。

具体的，外部接口处理模块作为与内外部系统间的信息收发接口，可以基于RESTFUL协议与外部系统进行消息交互，基于Redis内存数据库完成对内部系统的消息传递与消息交换。外部接口处理模块接收任务启动通知、任务取消通知以及各类辅助数据，并对外反馈定位任务完成情况。

具体的，任务与作业管理模块完成对于定位任务的组织管理，接收任务启动通知、任务取消通知，解析任务优先级、起止时间等任务参数，实现对于定位任务的启动、停止、优先级调整等统一管理。

图3示意性示出了根据本发明实施例的面向高轨多星定位的实时流式并行调度处理的流程图。

如图2和图3所示，数据接收模块作为系统实时数据的前端入口，部署在各台数据采集服务器上，实时监控扫描数据采集服务器的本地文件落盘目录，获取后缀名为.dat.fin的已完成写入的数据文件。

数据接收模块将数据实时同步复制到共享存储模块指定的存储路径下，减少了数据流转环节，提高了数据访问效率。设计共享存储模块提供存储支撑，可以满足分布在不同计算节点上计算实例的数据访问需求。同时，数据接收模块通过消息中间件模块发送数据到达通知广播消息，驱动业务调度模块完成后续的业务调度流转，完成不同采集设备的数据实时接收、汇集、发送。数据接收模块还可以实现远控模式，基于RESTFUL架构实现对于控制指令的远程调用，能够通过HTTP请求远程向数据接收模块发送启动、停止、参数修改等控制指令，从而实现对部署在不同采集服务器上数据接收模块的统一控制操作，大大提高了操作效率。

数据缓存模块基于Redis内存数据库实现中间结果数据的缓存管理，高轨多星定位流程主要分为数据接收、信号检测、参数估计、定位解算四个环节，每个环节的数据处理依赖于前序环节的生成结果以及各类辅助数据，传统的数据交互方式一般采用文件写入读取，以及访问关系型数据库的方式，针对具有高并发、小体量、连续性、实时性等特点的中间结果数据，读写效率无法满足数据并发负载以及访问速度等实时处理的需求。本方案基于Redis内存数据库进行中间结果数据的缓存管理，支持灵活的数据模型，中间结果不落盘，大大提高了数据并发访问的效率，为实时流式计算提供支撑。

业务调度模块基于数据驱动模式，接收数据到达通知广播和中间结果生成通知广播，对于同一时间戳下的数据，进行数据齐全性判断、数据组装、去重处理，生成计算通知推送至消息中间件模块进行消息发布，完成高轨多星定位的业务组织调度。业务调度模块通过消息中间件模块发布订阅系统不断接收数据到达通知和中间结果生成通知，同时通过Redis内存数据库快速进行数据齐全性判断，分布式并行处理各类通知并传递消息驱动算法执行，实现对于具有多突发性、持续生成的实时流式数据的高效组织调度。

业务调度模块包括信号检测调度单元、参数估计调度单元和定位解算调度单元，信号检测计算单元、参数检测计算单元和定位解算计算单元实行分布式并行计算处理。业务调度模块发出的计算通知包括信号检测计算通知、参数估计计算通知和定位解算计算通知。相应的，计算服务模块包括信号检测计算单元、参数估计计算单元和定位解算计算单元。计算服务模块发出的计算完成通知包括信号检测计算完成通知、参数估计计算完成通知和定位解算计算完成通知。

计算服务模块基于无状态服务模式实现分布式并行计算处理，将高轨多星定位各个处理环节的算法进行标准化封装，形成信号检测计算单元、参数估计计算单元、定位解算计算单元，完成对于各类计算通知消息的实时处理响应。

计算服务模块的具体实施逻辑如下，订阅消息中间件模块发布的计算通知消息，接收到计算通知并解析，获取参数信息，按照既定的处理逻辑执行具体的计算处理。在计算过程中，通过与redis内存数据库交互完成中间结果数据、辅助数据等数据资源的共享访问，大大提高了数据访问效率，计算完成后通过消息中间件模块发布计算完成通知，驱动后续计算流转。计算服务模块的各个计算实例设计为无状态模式，使得多个实例能够并发执行，多节点分布式部署多个计算实例，以实现高并发计算业务的负载均衡，并且能够支持计算能力的水平扩展，从而支撑后续业务体量增长的使用需求。

在一实施例中，利用本发明所示的面向高轨多星定位的实时流式并行调度处理系统进行调度处理如下：

该信号检测调度单元用于在接收到该数据到达通知的情况下，通过该消息中间件模块将该信号检测计算通知发送给该计算服务模块的信号检测计算单元。

该信号检测计算单元用于在接收到该信号检测计算通知的情况下，对该卫星信号进行检测，输出该卫星信号的时刻和长度，并生成该信号检测计算完成通知，通过该消息中间件模块将该信号检测计算完成通知发送给该业务调度模块的参数估计调度单元。

该参数估计调度单元在接收到该信号检测计算完成通知的情况下，提取该实时流式数据的时间戳，根据该时间戳，从该数据缓存模块中查询与该时间戳对应的用于执行定位解算的数据文件，若该数据文件存在，则生成该参数估计计算通知，并通过该消息中间件模块将该参数估计计算通知发送给该计算服务模块参数估计计算单元，若该数据文件不存在，则接收下一信号检测计算完成通知，执行该提取该实时流式数据的时间戳的操作。

该参数估计计算单元用于在接收到该参数估计计算通知的情况下，基于该卫星信号的时刻和长度，进行时差与频差提取，并生成该参数估计计算完成通知，通过该消息中间件模块将该参数估计计算完成通知发送给该业务调度模块的定位解算调度单元。

该定位解算调度单元用于在接收到该参数估计计算完成通知的情况下，生成定位解算计算通知，通过该消息中间件模块将该定位解算计算通知发送给该计算服务模块的定位解算计算单元。

该定位解算计算单元用于在接收到该定位解算计算通知的情况下，根据该时差和频差，进行信号源位置解算，生成该定位解算计算完成通知，通过该消息中间件模块将该定位解算计算完成通知发送给该结果入库管理模块。

消息中间件模块作为整个流式并行调度处理系统的消息中枢，为系统各个模块的信息交互提供消息传递、分发通道，采用开源的消息中间件，实现发布订阅模式、队列模式等不同的消息消费模式，以满足不同的业务场景需求。如图3所示，针对数据到达通知、结果生成通知等需要被多个消费者消费的消息，设计发布订阅模式，生产者将消息塞入对应的topic生成广播消息，所有订阅该topic的消费者都能获取到该条消息，以实现并行调度处理；针对计算通知等仅需处理一次的消息，设计队列模式，生产者将消息放入消息队列，多个消费者通过竞争进行消息取用，一条消息只能被一个消费者消费，消息被确认消费后，从队列中移除，同一计算服务单元的多个计算实例通过竞争取用消息的方式实现业务负载均衡，同时支持计算实例的水平扩展需求。在高轨多星定位流式并行调度处理场景下，消息中间件模块能够对生产者和消费者进行解耦，使得生产者和消费者能够灵活进行各自业务的扩展以及对于消息的异步处理，面对高并发、小体量、连续实时的数据特点，消息中间件模块提供低延迟、高并发、持续稳定的消息传递服务，以满足面向高轨多星定位的流式并行调度处理系统的高时效性要求。

附图中的示意图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，示意图或框图中的每个方框或圆圈可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框或圆圈中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本发明的各个实施例中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。

以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。

Claims (10)

1.一种面向高轨多星定位的实时流式并行调度处理系统，其特征在于，包括：

数据接收模块，用于采集卫星信号的实时流式数据，并在采集到所述实时流式数据的情况下，通过消息中间件模块将数据到达通知发送给业务调度模块；

所述业务调度模块，用于在接收到所述数据到达通知的情况下，基于所述实时流式数据进行组织调度，生成计算通知，并通过所述消息中间件模块将所述计算通知发送给计算服务模块；

所述计算服务模块，用于在接收到所述数据到达通知的情况下，基于所述实时流式数据进行定位解算，生成计算完成通知，并通过所述消息中间件模块将所述计算完成通知发送给结果入库管理模块；

所述结果入库管理模块，用于提取所述定位解算的计算结果，将所述计算结果缓存入数据缓存模块，生成结果生成通知，并通过所述消息中间件模块将所述结果生成通知发送给所述业务调度模块；

所述消息中间件模块，用于转发通知消息，所述通知消息包括所述数据到达通知、所述计算通知、所述计算完成通知以及所述结果生成通知；

所述数据缓存模块，用于基于Redis内存数据库，缓存所述通知消息和实现所述定位解算的中间结果数据。

2.根据权利要求1所述的面向高轨多星定位的实时流式并行调度处理系统，其特征在于，所述计算通知包括信号检测计算通知，所述业务调度模块包括信号检测调度单元，所述信号检测调度单元用于：

在接收到所述数据到达通知的情况下，通过所述消息中间件模块将所述信号检测计算通知发送给所述计算服务模块。

3.根据权利要求2所述的面向高轨多星定位的实时流式并行调度处理系统，其特征在于，所述计算完成通知包括信号检测计算完成通知，所述计算服务模块包括信号检测计算单元，所述信号检测计算单元用于：

在接收到所述信号检测计算通知的情况下，对所述卫星信号进行检测，输出所述卫星信号的时刻和长度，并生成所述信号检测计算完成通知；

通过所述消息中间件模块将所述信号检测计算完成通知发送给所述业务调度模块。

4.根据权利要求3所述的面向高轨多星定位的实时流式并行调度处理系统，其特征在于，所述计算通知包括参数估计计算通知，所述业务调度模块包括参数估计调度单元，所述参数估计调度单元用于：

在接收到所述信号检测计算完成通知的情况下，提取所述实时流式数据的时间戳；

根据所述时间戳，从所述数据缓存模块中查询与所述时间戳对应的用于执行定位解算的数据文件；

若所述数据文件存在，则生成所述参数估计计算通知，并通过所述消息中间件模块将所述参数估计计算通知发送给所述计算服务模块；

若所述数据文件不存在，则接收下一信号检测计算完成通知，执行所述提取所述实时流式数据的时间戳的操作。

5.根据权利要求4所述的面向高轨多星定位的实时流式并行调度处理系统，其特征在于，所述计算完成通知包括参数估计计算完成通知，所述计算服务模块包括参数估计计算单元，所述参数估计计算单元用于：

在接收到所述参数估计计算通知的情况下，基于所述卫星信号的时刻和长度，进行时差与频差提取，并生成所述参数估计计算完成通知，通过所述消息中间件模块将所述参数估计计算完成通知发送给所述业务调度模块。

6.根据权利要求5所述的面向高轨多星定位的实时流式并行调度处理系统，其特征在于，所述计算通知包括定位解算计算通知，所述业务调度模块包括定位解算调度单元，所述定位解算调度单元用于：

在接收到所述参数估计计算完成通知的情况下，生成定位解算计算通知；

通过所述消息中间件模块将所述定位解算计算通知发送给所述计算服务模块。

7.根据权利要求6所述的面向高轨多星定位的实时流式并行调度处理系统，其特征在于，所述计算完成通知包括定位解算计算完成通知，所述计算服务模块包括定位解算计算单元，所述定位解算计算单元用于：

在接收到所述定位解算计算通知的情况下，根据所述时差和频差，进行信号源位置解算，生成所述定位解算计算完成通知；

通过所述消息中间件模块将所述定位解算计算完成通知发送给所述结果入库管理模块。

8.根据权利要求7所述的面向高轨多星定位的实时流式并行调度处理系统，其特征在于，所述计算服务模块的信号检测计算单元、参数检测计算单元和定位解算计算单元实行分布式并行计算处理。

9.根据权利要求1所述的面向高轨多星定位的实时流式并行调度处理系统，其特征在于，所述系统还包括：

外部接口处理模块，用于提供统一的内外部系统间信息收发接口；

任务与作业管理模块，用于实现对于定位任务的管理。

10.根据权利要求1所述的面向高轨多星定位的实时流式并行调度处理系统，其特征在于，所述数据接收模块部署在数据采集服务器上；

所述数据接收模块还用于实时监控扫描所述数据采集服务器的本地文件落盘目录，获取后缀名为.dat.fin的已完成写入的数据文件，并将所述数据文件实时同步复制到预设的共享存储模块指定的存储路径下。

Images