CN115987377B - 一种基于分布式集群的卫星海量数据处理方法、系统及介质 - Google Patents
一种基于分布式集群的卫星海量数据处理方法、系统及介质 Download PDFInfo
- Publication number
- CN115987377B CN115987377B CN202211701437.9A CN202211701437A CN115987377B CN 115987377 B CN115987377 B CN 115987377B CN 202211701437 A CN202211701437 A CN 202211701437A CN 115987377 B CN115987377 B CN 115987377B
- Authority
- CN
- China
- Prior art keywords
- data
- subsystem
- telemetry
- processing
- digital twin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 176
- 238000004364 calculation method Methods 0.000 claims abstract description 89
- 238000004088 simulation Methods 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 11
- 230000003139 buffering effect Effects 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 7
- 230000007774 longterm Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Radio Relay Systems (AREA)
Abstract
本发明实施例公开了一种基于分布式集群的卫星海量数据处理方法、系统及介质；该系统包括：服务器集群、遥测数据库、遥控遥测子系统、数据处理子系统集群以及数字孪生子系统；其中，服务器集群包括一个或多个服务器，每个服务器对应接收多颗在轨卫星下传的遥测数据，以及将接收到的遥测数据保存在遥测数据库中并将接收到的遥测数据上报至遥控遥测子系统；遥控遥测子系统，用于根据遥测数据生成在轨卫星的JSON协议数据，并将在轨卫星状态实时呈现所需的数据传输至数据处理子系统集群；以及，在数据处理子系统集群中，为在轨卫星配置对应的数据处理子系统；数据处理子系统集群包括一个或多个数据处理子系统，每个数据处理子系统，用于将对应的在轨卫星数据进行实时处理和计算，并将处理及计算结果传输至数字孪生子系统；数字孪生子系统，用于生成在轨卫星对应的数字孪生体，并将数据处理子系统的计算及处理结果实时呈现于在轨卫星对应的数字孪生体。
Description
技术领域
本发明实施例涉及卫星数据处理技术领域，尤其涉及一种基于分布式集群的卫星海量数据处理方法、系统及介质。
背景技术
地面卫星系统在接收在轨卫星的遥测数据过程中，由于传输带宽、卫星可见时长以及处理能力等影响，无法在同一时刻接收并处理大量在轨卫星遥测数据，容易造成地面卫星系统界面卡顿，数据丢失，软件崩溃等问题。
因此，目前常规的地面卫星系统方案，无法适应于大规模星座的遥测数据接收和处理。
发明内容
有鉴于此，本发明实施例期望提供一种基于分布式集群的卫星海量数据处理方法、系统及介质；能够实时快速地接收并处理海量的卫星遥测数据。
本发明实施例的技术方案是这样实现的：
第一方面，本发明实施例提供了一种基于分布式集群的卫星海量数据处理系统，所述系统包括：服务器集群、遥测数据库、遥控遥测子系统、数据处理子系统集群以及数字孪生子系统；其中，
所述服务器集群包括一个或多个服务器，每个服务器对应接收多颗在轨卫星下传的遥测数据，以及将接收到的遥测数据保存在所述遥测数据库中并将接收到的遥测数据上报至所述遥控遥测子系统；
所述遥控遥测子系统，用于根据遥测数据生成在轨卫星的JSON协议数据，并将在轨卫星状态实时呈现所需的数据传输至数据处理子系统集群；以及，在数据处理子系统集群中，为在轨卫星配置对应的数据处理子系统；
所述数据处理子系统集群包括一个或多个数据处理子系统，每个数据处理子系统，用于将对应的在轨卫星数据进行实时处理和计算，并将处理及计算结果传输至数字孪生子系统；
所述数字孪生子系统，用于生成在轨卫星对应的数字孪生体，并将数据处理子系统的计算及处理结果实时呈现于在轨卫星对应的数字孪生体。
第二方面，本发明实施例提供了一种基于分布式集群的卫星海量数据处理方法，所述方法应用于第一方面所述的基于分布式集群的卫星海量数据处理系统，所述方法包括：
服务器集群中的服务器接收对应在轨卫星的遥测数据；
所述服务器将接收到的遥测数据保存在所述遥测数据库中并将接收到的遥测数据上报至遥控遥测子系统；
所述遥控遥测子系统根据遥测数据生成在轨卫星的JSON协议数据，并将在轨卫星状态实时呈现所需的数据传输至数据处理子系统集群；
所述遥控遥测子系统在数据处理子系统集群中，为在轨卫星配置对应的数据处理子系统；
所述数据处理子系统集群中的数据处理子系统将对应的在轨卫星数据进行实时处理和计算，并将处理及计算结果传输至数字孪生子系统；
所述数字孪生子系统生成在轨卫星对应的数字孪生体，并将数据处理子系统的计算及处理结果实时呈现于在轨卫星对应的数字孪生体。
第三方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质存储有基于分布式集群的卫星海量数据处理程序，所述基于分布式集群的卫星海量数据处理程序被至少一个处理器执行时实现第二方面所述基于分布式集群的卫星海量数据处理方法的步骤。
本发明实施例提供了一种基于分布式集群的卫星海量数据处理方法、系统及介质；利用服务器集群中服务器与在轨卫星之间的对应关系接收遥测数据，从而将在轨卫星海量的遥测数据通过多个服务器进行分担接收，并且利用数据处理子系统集群分担海量遥测数据的处理压力，从而通过集群负载平衡海量数据压力，使得海量遥测数据及时地接收并处理，满足数字孪生子系统实时呈现卫星状态的需求。
附图说明
图1为本发明实施例提供的一种基于分布式集群的卫星海量数据处理系统组成示意图；
图2为本发明实施例提供的数据处理子系统的组成示意图；
图3为本发明实施例提供的数据处理子系统的架构设计示意图；
图4为本发明实施例提供的一种基于分布式集群的卫星海量数据处理方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
对于地面的数字化卫星系统来说，利用数字孪生仿真的手段，基于在轨卫星下传的遥测数据进行实时仿真、计算及处理，能够更加真实和直观地呈现在轨卫星的实时状态。
随着卫星运载能力的不断提升，卫星功能的不断增加，单颗卫星在轨运行过程中需要进行下传的遥测数据的数据量也随之增长；再结合大规模卫星星座的应用，在轨卫星形成的海量遥测数据需要及时地被地面的数字化卫星系统接收并处理，才能够满足实时呈现卫星状态的需求。
基于此，参见图1，其示出了本发明实施例提供的一种基于分布式集群的卫星海量数据处理系统10，该系统10可以包括：服务器集群11、遥测数据库12、遥控遥测子系统13、数据处理子系统集群14以及数字孪生子系统15；其中，
所述服务器集群11包括一个或多个服务器，每个服务器对应接收多颗在轨卫星下传的遥测数据，以及将接收到的遥测数据保存在所述遥测数据库12中并将接收到的遥测数据上报至所述遥控遥测子系统13；
所述遥控遥测子系统13，用于根据遥测数据生成在轨卫星的JSON协议数据，并将在轨卫星状态实时呈现所需的数据传输至数据处理子系统集群14；以及，在数据处理子系统集群14中，为在轨卫星配置对应的数据处理子系统；
所述数据处理子系统集群14包括一个或多个数据处理子系统，每个数据处理子系统，用于将对应的在轨卫星数据进行实时处理和计算，并将处理及计算结果传输至数字孪生子系统15；
所述数字孪生子系统15，用于生成在轨卫星对应的数字孪生体，并将数据处理子系统的计算及处理结果实时呈现于在轨卫星对应的数字孪生体。
通过上述技术方案，利用服务器集群中服务器与在轨卫星之间的对应关系接收遥测数据，从而将在轨卫星海量的遥测数据通过多个服务器进行分担接收，并且利用数据处理子系统集群分担海量遥测数据的处理压力，从而通过集群负载平衡海量数据压力，使得海量遥测数据及时地接收并处理，满足数字孪生子系统实时呈现卫星状态的需求。
结合图1所示的系统10，对于服务器集群来说，在一些示例中，服务器集群11中包括了多个服务器设备，以3个为例，分别可以标志为服务器11-1、11-2以及11-3，每个服务器均对应多颗在轨卫星，也就是说，可以将大规模卫星星座中的在轨卫星进行划分，获得多个卫星群，每个卫星群均可以对应一个服务器。基于该对应关系，每个服务器就能够接收自身所对应的多颗卫星的遥测数据，从而将卫星星座中的海量遥测数据通过服务器集群的方式进行划分，从而分担了海量数据的接收压力。对于每个服务器来说，均可以设置API接口，通过该接口，各服务器之间就能够进行数据和信息的相互调用与通信，此外，每个服务器均对应分配唯一的标识，从而通过该标识能够寻找到对应的服务器节点。需要说明的是，根据在轨卫星数量的动态变化，服务器的数量也会相应进行动态扩展和动态配置，以适配在轨卫星海量遥测数据的接收需求。
结合图1所示的系统10，对于遥测数据库12来说，在一些示例中，遥测数据库12可以包括消息队列(MQ，Message Queue)缓冲中间件、Redis缓存以及主数据库；举例来说，服务器将接收到的遥测数据保存至遥测数据库12的过程中，可以利用MQ缓冲中间件按照在轨卫星的标识将遥测数据写入Redis缓存以及主数据库，详细来说，对于随时间进行变化的遥测数据，比如卫星姿轨数据，这类数据由于随着时间的推移而不断地需要被修改，因此，可以写入Redis缓存以便于及时读取；而对于随时间几乎不变的数据，比如卫星的轨道面参数等，这类数据随着时间的推移几乎不会被修改，因此，可以写入主数据库。
结合图1所示的系统10，对于遥控遥测子系统13来说，在一些示例中，遥控遥测子系统13在接收到服务器集群11所上报的所有在轨卫星的遥测数据之后，可以对应生成这些卫星的JSON协议数据，该生成过程可以认为对在轨卫星的原始遥测数据进行了一次数据的清洗和整理。在生成的卫星数据中，有些数据能够作为数字孪生子系统15进行状态呈现时所需要的数据，因此，将该部分数据传输至后端的数据处理子系统集群14，而并不进行存储；而有些数据暂时对于数字孪生子系统15的状态呈现没有作用，这部分数据需要进行保存。在一些示例中，遥控遥测子系统13内还可以包括：数据源系统131，该数据源系统131则用来保存上述暂时对于数字孪生子系统15的状态呈现没有作用的数据。此外，在一些示例中，遥控遥测子系统13还用于在数据处理子系统集群14中，针对在轨卫星分配对应进行数据仿真计算和处理的数据处理子系统；在本实施例中，优选可以按照服务器集群11中各服务器与在轨卫星的对应关系来分配对应的数据处理子系统，从而使得每个数据处理子系统均对应服务器集群11中的一个服务器。
结合图1所示的系统10，对于数据处理子系统集群14来说，在一些示例中，数据处理子系统集群14中包括了多个数据处理子系统，仍然以3个为例，分别可以标志为数据处理子系统14-1、14-2以及14-3，每个数据处理子系统均对应多颗在轨卫星，也就是说，可以将大规模卫星星座中的在轨卫星进行划分，获得多个卫星群，每个卫星群均可以对应一个数据处理子系统。结合前述关于服务器与在轨卫星之间的对应关系，在本发明实施例中，可以将每个数据处理子系统均对应服务器集群11中的一个服务器以实现数据处理子系统对应多颗在轨卫星。
具体来说，数据处理子系统集群14中的每一个数据处理子系统，均用于针对遥控遥测子系统13传输的数据进行仿真计算及处理，比如卫星姿态数据算法的实现、实时计算卫星的姿态、太阳矢量角、长期轨道和短期轨道数据信息等计算，卫星边缘计算、智能的卫星故障检测等，将数据整理成数字孪生模块需要的数据格式，实时进行推送，实现和数字孪生子系统15的信息交互等；此外，每一个数据处理子系统还会直接从MQ的缓冲区里面进行获取缓存的遥测数据，以对在轨卫星数据进行处理计算，比如卫星的实时仿真计算，边缘计算，以及各种卫星故障检测阈值分析等计算，最终所得到的计算结果也会保存到遥测数据库12的主数据库中，该计算后结果，同样也会传输至数字孪生子系统15，以驱动数字孪生模型，通过数字孪生体实时呈现在轨卫星状态。
针对前述数据处理子系统集群14中的每一个数据处理子系统，在一些示例中，参见图2，可以包括：参数配置模块21、遥测数据接收模块22、遥测数据分发模块23、命令处理模块24、遥测数据发送模块25以及仿真计算模块26；其中，
所述参数配置模块21，用于提供维护系统10运行所需的卫星参数、采集数据参数、运行参数信息；
所述遥测数据接收模块22，用于接收来自遥控遥测子系统13的卫星数据并将其推送至遥测数据分发模块23；
所述遥测数据分发模块23，用于将卫星数据进行分类整理，并将需要进行仿真计算和处理的卫星数据推送至仿真计算模块26，将符合数字孪生子系统15协议格式的数据推送至遥测数据发送模块25；
所述遥测数据发送模块25，用于将收到的推送数据发送至数字孪生子系统15对应的显示设备上；
所述仿真计算模块26，用于将仿真计算和处理的计算结果通过协议文件保存至数字孪生子系统15的共享路径下，并将仿真计算和处理的完成指示发送至数字孪生子系统15对应的显示设备上；
所述命令处理模块24，用于接收来自数据源系统的控制命令，并将执行结果返回给数据源系统。
对于上述示例，具体来说，数据处理子系统集群14中的每一个数据处理子
系统，基于上述6个模块组件不仅能够实现数据仿真计算和处理，还实现了遥5控遥测子系统13与数字孪生子系统15之间的数据通信，仿真计算和处理结果通过数字孪生子系统15能够使得技术人员清晰直观地观测到星座所包含的各个在轨卫星的运行状态并能进行信息的交互。
详细来说，结合图3所示的数据处理子系统的架构，对于参数配置模块21，
该模块的主要功能是通过设计好的交互界面，由用户自主维护系统需要采集的0卫星参数、数据参数以及运行参数等信息。系统10会根据这些配置参数对数据进行采集、处理和发送。
对于遥测数据接收模块22，该模块的主要功能是通过数据接收线程接收来自遥控遥测子系统13发送过来的JSON格式的数据并将其存放至数据接收队列缓冲区中。
5对于遥测数据分发模块23，该模块的主要功能是通过数据分发线程从数据接收队列缓冲区中将遥控遥测子系统13发送过来的数据解析成数字孪生显示系统能够识别的数据并将其存放至数据发送队列缓冲区中；如果数据需要进行仿真计算，比如单次轨道计算和长期轨道计算，则把这些卫星数据存放至仿真计算模块26所使用的数据缓存区中。
0对于仿真计算模块26，该模块的主要功能是从仿真计算数据缓冲区中获取最新的计算输入参数并进行对应的仿真计算。将计算结果以CSV文件的形式发送至数字孪生子系统15指定的协议文件共享路径中，同时将计算完毕的消息发送至数字孪生子系统15对应的显示设备上。比如通过长期轨道计算线程以及短
期轨道计算线程分别进行长期轨道计算和单次轨道计算，并将结果发送至协议5文件共享路径。
对于遥测数据发送模块25，该模块的主要功能是从数据发送队列缓冲区中将符合数字孪生子系统15协议格式读取出来并通过数据发送线程将其发送至数字孪生子系统15对应的显示设备上。
对于命令处理模块24，该模块的主要功能是通过命令处理线程接收来自数据源系统的控制指令，经过解析处理后，将处理结果反馈至数据源系统。在一些示例中，控制指令可以包括数据源的时间及轨道校准命令。
基于前述技术方案相同的发明构思，参见图4，其其示出了本发明实施例提供的一种基于分布式集群的卫星海量数据处理方法，所述方法应用于图1至图3所述的基于分布式集群的卫星海量数据处理系统10，所述方法包括：
S401：服务器集群中的服务器接收对应在轨卫星的遥测数据；
S402：所述服务器将接收到的遥测数据保存在所述遥测数据库中并将接收到的遥测数据上报至遥控遥测子系统；
S403：所述遥控遥测子系统根据遥测数据生成在轨卫星的JSON协议数据，并将在轨卫星状态实时呈现所需的数据传输至数据处理子系统集群；
S404：所述遥控遥测子系统在数据处理子系统集群中，为在轨卫星配置对应的数据处理子系统；
S405：所述数据处理子系统集群中的数据处理子系统将对应的在轨卫星数据进行实时处理和计算，并将处理及计算结果传输至数字孪生子系统；
S406：所述数字孪生子系统生成在轨卫星对应的数字孪生体，并将数据处理子系统的计算及处理结果实时呈现于在轨卫星对应的数字孪生体。
对于上述方案，在一些示例中，所述数据处理子系统集群中的数据处理子系统将对应的在轨卫星数据进行实时处理和计算，并将处理及计算结果传输至数字孪生子系统，包括：
所述数据处理子系统针对遥控遥测子系统传输的数据进行仿真计算及处理并将计算和处理结果整理成符合数字孪生子系统所规定的数据格式并实时进行推送；
所述数据处理子系统从缓冲区中获取缓存的遥测数据，并针对该遥测数据进行处理计算，将计算结果保存到遥测数据库的主数据库中，且将所述计算结果传输至数字孪生子系统，以驱动数字孪生模型，通过数字孪生体实时呈现在轨卫星状态。
对于上述方案，在一些示例中，所述每个数据处理子系统，包括：参数配置模块、遥测数据接收模块、遥测数据分发模块、命令处理模块、遥测数据发送模块以及仿真计算模块；相应地，所述数据处理子系统集群中的数据处理子系统将对应的在轨卫星数据进行实时处理和计算，并将处理及计算结果传输至数字孪生子系统，包括：
所述参数配置模块提供维护系统运行所需的卫星参数、采集数据参数、运行参数信息；
所述遥测数据接收模块接收来自遥控遥测子系统的卫星数据并将其推送至遥测数据分发模块；
所述遥测数据分发模块将卫星数据进行分类整理，并将需要进行仿真计算和处理的卫星数据推送至仿真计算模块，将符合数字孪生子系统协议格式的数据推送至遥测数据发送模块；
所述遥测数据发送模块将收到的推送数据发送至数字孪生子系统对应的显示设备上；
所述仿真计算模块将仿真计算和处理的计算结果通过协议文件保存至数字孪生子系统的共享路径下，并将仿真计算和处理的完成指示发送至数字孪生子系统对应的显示设备上；
所述命令处理模块接收来自遥控遥测子系统的数据源系统的控制命令，并将执行结果返回给遥控遥测子系统的数据源系统。
可以理解地，在本实施例中，图4所示的基于分布式集群的卫星海量数据处理方法既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
因此，本实施例提供了一种计算机存储介质，所述计算机存储介质存储有基于分布式集群的卫星海量数据处理程序，所述基于分布式集群的卫星海量数据处理程序被至少一个处理器执行时实现上述技术方案中所述基于分布式集群的卫星海量数据处理方法步骤。
可以理解地，上述基于分布式集群的卫星海量数据处理方法的示例性技术方案，与前述基于分布式集群的卫星海量数据处理系统的技术方案属于同一构思，因此，上述对于基于分布式集群的卫星海量数据处理方法的技术方案未详细描述的细节内容，均可以参见前述基于分布式集群的卫星海量数据处理系统的技术方案的描述。本发明实施例对此不做赘述。
需要说明的是：本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于分布式集群的卫星海量数据处理系统，其特征在于，所述系统包括：服务器集群、遥控遥测子系统、数据处理子系统集群以及数字孪生子系统；其中，
所述服务器集群包括一个或多个服务器，每个服务器对应接收多颗在轨卫星下传的遥测数据，以及将接收到的遥测数据保存在所述遥测数据库中并将接收到的遥测数据上报至所述遥控遥测子系统；
所述遥控遥测子系统，用于根据遥测数据生成在轨卫星的JSON协议数据，并将在轨卫星状态实时呈现所需的数据传输至数据处理子系统集群；以及，在数据处理子系统集群中，为在轨卫星配置对应的数据处理子系统；
所述数据处理子系统集群包括一个或多个数据处理子系统，每个数据处理子系统，用于将对应的在轨卫星数据进行实时处理和计算，并将处理及计算结果传输至数字孪生子系统；
所述数字孪生子系统，用于生成在轨卫星对应的数字孪生体，并将数据处理子系统的计算及处理结果实时呈现于在轨卫星对应的数字孪生体。
2.根据权利要求1所述的系统，其特征在于，所述遥测数据库包括消息队列MQ缓冲中间件、Redis缓存以及主数据库；其中，在所述服务器将接收到的遥测数据保存至遥测数据库的过程中，利用MQ缓冲中间件按照在轨卫星的标识将遥测数据写入Redis缓存以及主数据库。
3.根据权利要求1所述的系统，其特征在于，所述遥控遥测子系统，经配置为：
在接收到服务器集群所上报的所有在轨卫星的遥测数据之后，对应生成这些卫星的JSON协议数据；以及，
将能够作为数字孪生子系统进行状态呈现所需要的数据传输至后端的数据处理子系统集群；以及，
将对于数字孪生子系统的状态呈现没有作用的数据进行保存；以及，
在数据处理子系统集群中，针对在轨卫星分配对应进行数据仿真计算和处理的数据处理子系统。
4.根据权利要求1所述的系统，其特征在于，所述数据处理子系统集群中的每个数据处理子系统，经配置为：
针对遥控遥测子系统传输的数据进行仿真计算及处理并将计算和处理结果整理成符合数字孪生子系统所规定的数据格式并实时进行推送；以及，
从MQ的缓冲区中获取缓存的遥测数据，并针对该遥测数据进行处理计算，将计算结果保存到遥测数据库的主数据库中，且将所述计算结果传输至数字孪生子系统，以驱动数字孪生模型，通过数字孪生体实时呈现在轨卫星状态。
5.根据权利要求1所述的系统，其特征在于，所述每个数据处理子系统，包括：参数配置模块、遥测数据接收模块、遥测数据分发模块、命令处理模块、遥测数据发送模块以及仿真计算模块；其中，
所述参数配置模块，用于提供维护系统运行所需的卫星参数、采集数据参数、运行参数信息；
所述遥测数据接收模块，用于接收来自遥控遥测子系统的卫星数据并将其推送至遥测数据分发模块；
所述遥测数据分发模块，用于将卫星数据进行分类整理，并将需要进行仿真计算和处理的卫星数据推送至仿真计算模块，将符合数字孪生子系统协议格式的数据推送至遥测数据发送模块；
所述遥测数据发送模块，用于将收到的推送数据发送至数字孪生子系统对应的显示设备上；
所述仿真计算模块，用于将仿真计算和处理的计算结果通过协议文件保存至数字孪生子系统的共享路径下，并将仿真计算和处理的完成指示发送至数字孪生子系统对应的显示设备上；
所述命令处理模块，用于接收来自遥控遥测子系统的数据源系统的控制命令，并将执行结果返回给遥控遥测子系统的数据源系统。
6.根据权利要求5所述的系统，其特征在于，
所述参数配置模块，经配置为：通过设计好的交互界面，由用户自主维护系统需要采集的卫星参数、数据参数以及运行参数信息；
所述遥测数据接收模块，经配置为通过数据接收线程接收来自遥控遥测子系统发送过来的JSON格式的数据并将其存放至数据接收队列缓冲区中；
所述遥测数据分发模块，经配置为通过数据分发线程从数据接收队列缓冲区中将遥控遥测子系统发送过来的数据解析成数字孪生显示系统能够识别的数据并将其存放至数据发送队列缓冲区中；以及将需要进行仿真计算的数据存放至仿真计算模块所使用的数据缓存区中；
所述仿真计算模块，经配置为从仿真计算数据缓冲区中获取最新的计算输入参数并进行对应的仿真计算，并将计算结果以CSV文件的形式发送至数字孪生子系统指定的协议文件共享路径中，同时将所述计算完毕的消息发送至数字孪生子系统对应的显示设备上；
所述遥测数据发送模块，经配置为从数据发送队列缓冲区中将符合数字孪生子系统协议格式的数据读取出来并通过数据发送线程将其发送至数字孪生子系统对应的显示设备上；
所述命令处理模块，经配置为通过命令处理线程接收来自数据源系统的控制指令，经过解析处理后，将处理结果反馈至数据源系统。
7.一种基于分布式集群的卫星海量数据处理方法，其特征在于，所述方法应用于权利要求1至6任一项所述的基于分布式集群的卫星海量数据处理系统，所述方法包括：
服务器集群中的服务器接收对应在轨卫星的遥测数据；
所述服务器将接收到的遥测数据保存在所述遥测数据库中并将接收到的遥测数据上报至遥控遥测子系统；
所述遥控遥测子系统根据遥测数据生成在轨卫星的JSON协议数据，并将在轨卫星状态实时呈现所需的数据传输至数据处理子系统集群；
所述遥控遥测子系统在数据处理子系统集群中，为在轨卫星配置对应的数据处理子系统；
所述数据处理子系统集群中的数据处理子系统将对应的在轨卫星数据进行实时处理和计算，并将处理及计算结果传输至数字孪生子系统；
所述数字孪生子系统生成在轨卫星对应的数字孪生体，并将数据处理子系统的计算及处理结果实时呈现于在轨卫星对应的数字孪生体。
8.根据权利要求7所述的方法，其特征在于，所述数据处理子系统集群中的数据处理子系统将对应的在轨卫星数据进行实时处理和计算，并将处理及计算结果传输至数字孪生子系统，包括：
所述数据处理子系统针对遥控遥测子系统传输的数据进行仿真计算及处理并将计算和处理结果整理成符合数字孪生子系统所规定的数据格式并实时进行推送；
所述数据处理子系统从MQ的缓冲区中获取缓存的遥测数据，并针对该遥测数据进行处理计算，将计算结果保存到遥测数据库的主数据库中，且将所述计算结果传输至数字孪生子系统，以驱动数字孪生模型，通过数字孪生体实时呈现在轨卫星状态。
9.根据权利要求7所述的方法，其特征在于，所述每个数据处理子系统，包括：参数配置模块、遥测数据接收模块、遥测数据分发模块、命令处理模块、遥测数据发送模块以及仿真计算模块；相应地，所述数据处理子系统集群中的数据处理子系统将对应的在轨卫星数据进行实时处理和计算，并将处理及计算结果传输至数字孪生子系统，包括：
所述参数配置模块提供维护系统运行所需的卫星参数、采集数据参数、运行参数信息；
所述遥测数据接收模块接收来自遥控遥测子系统的卫星数据并将其推送至遥测数据分发模块；
所述遥测数据分发模块将卫星数据进行分类整理，并将需要进行仿真计算和处理的卫星数据推送至仿真计算模块，将符合数字孪生子系统协议格式的数据推送至遥测数据发送模块；
所述遥测数据发送模块将收到的推送数据发送至数字孪生子系统对应的显示设备上；
所述仿真计算模块将仿真计算和处理的计算结果通过协议文件保存至数字孪生子系统的共享路径下，并将仿真计算和处理的完成指示发送至数字孪生子系统对应的显示设备上；
所述命令处理模块接收来自遥控遥测子系统的数据源系统的控制命令，并将执行结果返回给遥控遥测子系统的数据源系统。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有基于分布式集群的卫星海量数据处理程序，所述基于分布式集群的卫星海量数据处理程序被至少一个处理器执行时实现权利要求7至9任一项所述基于分布式集群的卫星海量数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211701437.9A CN115987377B (zh) | 2022-12-28 | 2022-12-28 | 一种基于分布式集群的卫星海量数据处理方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211701437.9A CN115987377B (zh) | 2022-12-28 | 2022-12-28 | 一种基于分布式集群的卫星海量数据处理方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115987377A CN115987377A (zh) | 2023-04-18 |
| CN115987377B true CN115987377B (zh) | 2023-08-11 |
Family
ID=85975598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211701437.9A Active CN115987377B (zh) | 2022-12-28 | 2022-12-28 | 一种基于分布式集群的卫星海量数据处理方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115987377B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2159926A1 (en) * | 2008-08-26 | 2010-03-03 | Agence Spatiale Europeenne | Methods, apparatuses and system for asynchronous spread-spectrum communication |
| CN112565404A (zh) * | 2020-12-02 | 2021-03-26 | 中国联合网络通信集团有限公司 | 数据处理方法、边缘服务器、中心服务器和介质 |
| CN115390585A (zh) * | 2022-07-29 | 2022-11-25 | 中国科学院微小卫星创新研究院 | 一种基于航天器集群的姿轨控数字孪生系统及其构建方法 |
| CN115438563A (zh) * | 2022-07-18 | 2022-12-06 | 北京空间飞行器总体设计部 | 一种基于数字孪生的航天器在轨模型构建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1713206A1 (en) * | 2005-04-11 | 2006-10-18 | Last Mile Communications/Tivis Limited | A distributed communications network comprising wirelessly linked base stations |
-
2022
- 2022-12-28 CN CN202211701437.9A patent/CN115987377B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2159926A1 (en) * | 2008-08-26 | 2010-03-03 | Agence Spatiale Europeenne | Methods, apparatuses and system for asynchronous spread-spectrum communication |
| CN112565404A (zh) * | 2020-12-02 | 2021-03-26 | 中国联合网络通信集团有限公司 | 数据处理方法、边缘服务器、中心服务器和介质 |
| CN115438563A (zh) * | 2022-07-18 | 2022-12-06 | 北京空间飞行器总体设计部 | 一种基于数字孪生的航天器在轨模型构建方法 |
| CN115390585A (zh) * | 2022-07-29 | 2022-11-25 | 中国科学院微小卫星创新研究院 | 一种基于航天器集群的姿轨控数字孪生系统及其构建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115987377A (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109522287B (zh) | 分布式文件存储集群的监控方法、系统、设备及介质 | |
| CN107850882B (zh) | 自动化和控制分布式数据管理系统 | |
| CN105183299B (zh) | 一种人机界面服务处理系统和方法 | |
| CN109451072A (zh) | 一种基于Kafka的消息缓存系统和方法 | |
| US5974237A (en) | Communications network monitoring | |
| CN103605722B (zh) | 数据库监控方法及装置、设备 | |
| CN105915633B (zh) | 自动化运维系统和方法 | |
| CN108989358B (zh) | 一种基于tcp/ip协议纺机运行数据获取方法 | |
| CN103401909B (zh) | 基于bs的数据交互方法与系统、客户端及服务器 | |
| CN105338061A (zh) | 一种轻量级消息中间件的实现方法与系统 | |
| CN110795503A (zh) | 分布式存储系统的多集群数据同步方法及相关装置 | |
| CN106161145A (zh) | 一种服务器系统运行状态信息的监控方法和系统 | |
| CA2221579A1 (en) | Communications network monitoring | |
| CN111431730B (zh) | 一种业务处理方法、系统、计算机设备及可读介质 | |
| CN110190890A (zh) | 一种基于通信卫星系统的航天器在线申请方法和系统 | |
| CN115987377B (zh) | 一种基于分布式集群的卫星海量数据处理方法、系统及介质 | |
| EP0849911A2 (en) | Communications network monitoring | |
| EP0849910A2 (en) | Communications network monitoring | |
| CN114490100A (zh) | 一种消息队列遥测传输负载均衡方法、装置及服务器 | |
| CN114387124B (zh) | 一种核电工业互联网平台的时序数据存储方法 | |
| CN114095571A (zh) | 数据处理方法、数据服务总线、终端和存储介质 | |
| CN109639545B (zh) | 多星测控平台系统的轻量级总线布置方法 | |
| CN111049846A (zh) | 数据处理方法和装置、电子设备及计算机可读存储介质 | |
| CN113918436A (zh) | 日志处理方法及装置 | |
| KR20190091867A (ko) | 다중 지상국의 장비 상태 감시 및 제어 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |