CN109871269A - 一种遥感数据处理方法、系统、电子设备和介质 - Google Patents

Abstract

本发明提供了一种遥感数据处理方法、系统、电子设备和介质。所述方法包括：构建N个计算节点，计算节点之间通过高速网络连接，通过数据总线进行数据传递，其中，N≥1；当有一轨遥感原始码流数据待处理时，按照数据处理流程，不同环节的处理任务在不同的计算节点上同时被调度，至少一个计算节点根据所述处理任务对原始码流数据进行数据处理，同时将处理得到的数据通过所述数据总线传递至下一个环节的处理任务所在的计算节点进行数据处理，直至完成遥感数据处理任务。本发明基于数据驱动自动发起数据处理任务，数据处理结果在每个处理任务环节之间利用数据总线进行流式传递，提高了处理速度，也保证了时效性。

Description

一种遥感数据处理方法、系统、电子设备和介质

技术领域

本发明涉及一种遥感数据处理方法、系统、电子设备和介质。

背景技术

随着遥感技术的发展，遥感数据应用于越来越多的领域，例如环境监测、灾害预警、测绘等。因此对遥感数据处理的时效性提出了更高的要求。

现有遥感数据的处理通常采用外部(外部系统或人工)指令的方式驱动数据处理流程，系统响应时效性比较低。

现有技术对遥感数据的处理通常为基于批处理框架实现，各个数据处理模块之间通过磁盘等存储设备将上一个数据处理模块已处理完成的数据存储至磁盘中，下一个数据处理模块从磁盘中取出待处理的数据，再进行数据处理。这样的处理模式需要上一个处理模块将数据全部处理完成后，下一个处理模块再开始处理数据。同时，处理模块通过磁盘将数据一批一批的通过多次存储和多次取出实现数据的处理。批处理框架下的数据处理过程慢，时效性低。

发明内容

(一)要解决的技术问题

现有遥感数据的处理通常采用外部(外部系统或人工)指令的方式驱动数据处理流程，系统响应时效性比较低。

现有技术对遥感数据的处理通常为基于批处理框架实现，需要上一个处理模块将数据全部处理完成后，下一个处理模块再开始处理数据。同时，处理模块通过磁盘将数据一批一批的通过多次存储和多次取出实现数据的处理。批处理框架下的数据处理过程慢，时效性低。

(二)技术方案

本发明一方面提供了一种遥感数据处理方法，所述方法包括：步骤101：构建N个计算节点，所述N个计算节点之间通过高速网络连接，通过数据总线实现数据传递，其中，N≥1；步骤102：获取待处理的一轨遥感原始码流数据，按照数据处理流程，不同环节的处理任务在不同的计算节点上同时被调度，至少一个计算节点根据所述处理任务对所述原始码流数据进行数据处理，同时将已处理完成得到的数据通过所述数据总线传递至下一个环节的处理任务所在的计算节点进行数据处理，直至完成遥感数据处理任务。

可选地，所述步骤102包括：步骤1021，对所述N个计算节点进行分组，至少得到数据接入计算节点组、解压缩计算节点组、分景编目计算节点组及产品生产计算节点组，其中，每个计算节点组至少包括一个计算节点；步骤1022，检测到一轨新的原始码流数据时，所述至少一个数据接入计算节点组将所述原始码流数据进行帧同步处理得到帧数据，同时将所述帧数据通过数据总线传递至所述解压缩计算节点组；步骤1023，所述至少一个解压缩计算节点组将所述帧数据进行解压缩处理，同时将解压缩处理后的格式化数据通过数据总线传递至所述分景编目计算节点组；步骤1024，所述至少一个分景编目计算节点组对解压缩处理后的格式化数据进行分景，得到分景数据，当数据够一景时，在至少一个产品生产计算节点组上启动产品生产软件，将所述分景数据通过数据总线传递至产品生产计算节点组；步骤1025，所述产品生产计算节点组根据所述分景数据，生成遥感影像和元数据；步骤1026，将所述遥感影像和元数据存储在高速缓存设备中。

可选地，所述方法还包括：根据遥感数据处理任务对N个计算节点进行调度和监控。

可选地，对N个计算节点进行调度，包括：获取新的处理任务，依据任务类型获取其所属的计算节点组；判断所述计算节点组是否有满足处理任务需求的空闲计算节点，若是，获取至少一个所述空闲计算节点，对数据进行处理。

可选地，对N个计算节点进行调度，还包括：对所述计算节点处理任务的数据处理时间进行预估，判断所述数据处理时间是否超过预设数值，若是，所述计算节点任务执行失败；判断同组计算节点内是否存在满足处理任务需求的空闲计算节点，若是，获取至少一个所述空闲计算节点，将任务调度到所述空闲计算节点上，对数据进行处理。

可选地，对N个计算节点进行监控，包括：监听N个计算节点是否存活，若否，将该计算节点从所属计算节点组中删除，并重启死亡的计算节点，判断所述计算节点是否重启成功，若否，则发出报警信息，提示系统故障，若是，将所述计算节点重新添加到所属组内，并对其分配处理任务。

可选地，对N个计算节点进行监控，还包括：当重启死亡的计算节点后，所述计算节点仍无法进行数据处理，将所述计算节点中待处理的任务均衡调度至组内其余计算节点进行数据处理，并将该计算节点从所属组中删除，同时，发出报警信息，提示系统故障。

本发明再一方面提供了一种电子设备，所述设备包括：处理器；存储器，其存储有计算机可执行程序，该程序在被所述处理器执行时，使得所述处理器实现如上文所述的遥感数据处理方法。

本发明又一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上文所述的遥感数据处理方法。

(三)有益效果

本发明通过数据驱动方式，按照数据处理流程，不同环节的处理任务在不同的计算节点上同时被调度，至少一个计算节点根据所述任务对原始码流数据进行数据处理，一边处理一边将已处理完成得到的数据通过所述数据总线传递至下一个环节的处理任务所在的计算节点进行数据处理，直至完成遥感数据处理任务。处理结果实时通过数据总线进行传递，实现多个处理任务环节并行执行，避免了现有技术中数据处理任务串行执行，以及需要通过磁盘等物理设备将这些中间数据进行多次存储和多次取出才能实现数据处理的问题。提高了处理速度，也保证了时效性，极大地缩短了从获取原始码流数据到生产出第一景产品数据的时间，在救灾应急、环境监测等方面具有重大应用价值。

附图说明

为了更完整地理解本发明及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了本发明实施例提供的遥感数据处理方法流程图；

图2示意性示出了图1中本发明实施例提供的遥感数据处理方法中步骤102的方法流程图；

图3示意性示出了本发明实施例提供的遥感数据处理系统框图；

图4示意性示出了根据本公开实施例提供的电子设备框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

本发明的一个实施例提供了一种遥感数据处理方法，所述方法包括步骤101-102的内容，参见图1，具体地：

步骤101：构建N个计算节点，所述N个计算节点之间通过高速网络连接，通过数据总线实现数据传递，其中，N≥1。

其中，数据总线(DataBus，DB)用于传送数据信息，通常情况下，基于数据总线的数据传输方式至少包括三种：一种是基于TCP/IP协议的数据传输。二是基于Redis数据库的数据交换，三是基于高速缓存设备的高效数据总线传输。

本发明中，数据接入与解压缩之间、解压缩与分景编目之间通过TCP/IP协议完成数据流式传输。分景编目软件在检测到数据够一景时，通过Redis发送产品生产任务，后台任务调度从Redis获取产品生产任务后，启动产品生产软件。产品生产软件通过高速缓存设备获取产品数据。在本方法中，分景编目软件与产品生产软件没有采用TCP/IP协议进行数据传输，而是采用专门定制的高速缓存设备。但本发明对此不作具体限定，分景编目与产品生产之间也可以采用TCP/IP协议进行数据传输。

另外，计算节点的构建是基于基础的物理硬件设备和基础运行环境实现的，该物理硬件设备包括用于数据存储的高速缓存设备、用于数据计算的刀片集群和用于数据信息存储的数据库服务器。基础运行环境包括数据交换网络IB(InfiniBand)网络和基础运行系统，InfiniBand通常应用于服务器与服务器，服务器和存储设备，例如存储区域网络SAN(Storage Area Network)和直接存储附件，以及服务器和网络之间，例如服务器与局域网络LAN(Local Area Network)之间的通信。基础运行系统可以为Linux系统等。

构建计算节点的过程可通过云平台中的计算服务进行构建，示例性地，可以通过PAAS、IAAS等云平台中创建虚拟化的计算节点进行实现。

步骤102：获取待处理的一轨遥感原始码流数据，按照数据处理流程，不同环节的处理任务在不同的计算节点上同时被调度，至少一个计算节点根据所述处理任务对原始码流数据进行数据处理，同时将已处理完成得到的数据通过所述数据总线传递至下一个环节的处理任务所在的计算节点进行数据处理，直至完成遥感数据处理任务。

在获得卫星传感器捕获的原始遥感数据后，随即需对该原始码流数据进行处理，假设该原始数据的处理为一个总的数据处理任务，可以将这一个总的数据处理任务拆分为多个小的连续的处理任务，那么多个计算节点可以认为是用于处理这些小的任务，一个小的处理任务可以由一个计算节点进行处理完成，也可以由多个计算节点同步进行处理，该任务在处理过程中，一边处理一边将已经处理完得到的数据通过数据总线传递至下一个或多个计算节点进一步处理下一个小的处理任务。

其中，不同环节的处理任务是指上文中的多个小的连续的处理任务，这些处理任务由于属于一个总的数据处理任务，因此，在实际的任务处理过程中，均可以同时被调度。上文所述的每一个小的处理任务在处理的同时可将已经处理完的结果通过数据总线传递至下一个或多个计算节点进一步处理，同时可将该处理结果存储进高速缓存设备中，以防止在数据处理的过程中出现错误后，需调用上一步骤完成的处理结果。但本发明对此不作具体限定，例如，也可以不对每一个小的处理任务得到的处理结果进行存储，直接在总的数据处理任务完成时将最后的处理结果进行存储，以减少存储量，加快处理速度。

构建高速缓存设备，示例性的，针对存储空间小的，可以通过对固态盘做Read实现高性能IO，或者在服务器中通过插SSD实现，针对存储空间大的需求，在保证高IO性能的前提下，可以通过分布式存储实现。

综上，本发明实施例通过数据驱动方式，按照数据处理流程，不同环节的处理任务在不同的计算节点上同时被调度，至少一个计算节点根据所述任务对原始码流数据进行数据处理，一边处理一边将已处理完成得到的数据通过所述数据总线传递至下一个环节的处理任务所在的计算节点进行数据处理，直至完成遥感数据处理任务。处理结果实时通过数据总线进行传递，实现多个处理任务环节并行执行，避免了现有技术中数据处理任务串行执行，以及需要通过磁盘等物理设备将这些中间数据进行多次存储和多次取出才能实现数据处理的问题。提高了处理速度，也保证了时效性，极大地缩短了从获取原始码流数据到生产出第一景产品数据的时间，在救灾应急、环境监测等方面具有重大应用价值。

需要说明的是，步骤102还包括下列步骤1021-1025的内容，参见图2，具体地：

步骤1021，对所述N个计算节点进行分组，至少得到数据接入计算节点组、解压缩计算节点组、分景编目计算节点组及产品生产计算节点组，其中，每个计算节点组至少包括一个计算节点。

由于遥感数据处理任务可以被拆分为多个小的连续的处理任务，因此可以根据这些小的处理任务对N个计算节点进行分组，每组计算节点用于处理一个小的处理任务，本发明实施例根据实际的遥感数据处理流程，将N个计算节点至少分为4个小组，但本发明对此不作具体限制，例如还可根据实际情况将其分为10组、20组或50组等，分出的组数越多，相应的每组处理的任务被划分的越细致，每组处理的时间越短。

步骤1022，检测到一轨新的原始码流数据时，所述至少一个数据接入计算节点组将所述原始码流数据进行帧同步处理得到帧数据，同时将所述帧数据通过数据总线流式传递至所述解压缩计算节点组。

其中，预处理包括帧同步、纠错编码等步骤。帧同步指的是接收方应当能从接收到的二进制比特流中区分出帧的起始与终止。帧同步也是为了实现遥感卫星传送的基带数据从发送端至接收端的数据保持一致，该基带数据即为原始码流数据。纠错编码是指在最有效的利用信道的传输能力的前提下，通过增加冗余信息以保证信息传输的可靠性，例如RS纠错码。

帧数据(即帧)是一系列标准化的数据位，它的一般格式为一个标题和一个数据有效荷载区。

数据接入节点完成一帧数据处理后，就将处理得到的数据发送给解压缩计算节点进行处理，实现数据流式传递。

步骤1023，所述至少一个解压缩计算节点组将所述帧数据进行解压缩处理，同时将解压缩处理后的格式化数据通过数据总线流式传递至所述分景编目计算节点组。

通常情况下，遥感卫星传感器捕捉到的图像是经过压缩的，因此遥感卫星传输的原始码流数据(基带数据)以及后续经过预处理的帧数据也是经过压缩的，此时，需要对该帧数据进行解压缩，以重构完整图像。

步骤1024，所述至少一个分景编目计算节点组对解压缩处理后的格式化数据进行分景，得到分景数据，当数据够一景时，在至少一个产品生产计算节点组上启动产品生产软件，将所述分景数据通过数据总线传递至产品生产计算节点组。

通常需要对帧数据进行处理，以景为单位，一景通常为类似方形的图像。分景一般为基于卫星成像的星下点位置进行分景，地球卫星在地面的投影点(或卫星和地心连线与地面的交点)称星下点，用地理经、纬度表示。在分景的过程中，通常还会同时对分景数据进行编目，方便数据的查询检索。

分景编目计算节点一边接收格式化数据，一边将数据存储到高速缓存中，当检测到数据够一景时，就通知后台调度服务启动产品生产软件，并告诉产品生产软件该景数据在格式化数据中的位置。分景编目计算节点组将格式化数据存储到高速缓存的步骤，本发明对此不作具体限定，分景编目计算节点组也可以通过TCP/IP协议将数据传输给下一个环节的产品生产软件。由于遥感数据的产品生产时间比较长，一般情况下，都会多景产品数据同时在不同的计算节点上进行生产。

步骤1025，所述产品生产计算节点组根据所述分景数据，生成遥感影像和元数据。

其中，元数据是关于图像数据特征的表述，是关于数据的数据。元数据描述了与图像获取有关的参数和获取后所进行的后处理。例如，元数据中可包括图像获取的日期和时间、投影参数、几何纠正精度、图像分辨率、辐射校正参数等。

元数据和遥感影像即遥感数据处理得到的产品，另外根据实际需要遥感数据处理得到的产品还可以包括拇指图、浏览图等。

本发明中，产品生产计算节点组可以通过高速缓存获取分景数据，进行产品生产。但本发明对此不作具体限定，产品生产软件也可以通过TCP/IP协议接收分景编目软件发送的分景数据。

步骤1026，将所述遥感影像和元数据存储在高速缓存设备中。

通常将遥感影像、元数据、拇指图、浏览图等产品数据存储到高速缓存设备中，以便于后续的应用和专业处理。

另外本发明实施例提供的方法还可以将产品数据进一步进行处理，生成产品质量评价报告。例如，再增加一个计算节点组，即产品质量评价计算节点组，通过高速总线将产品生产计算节点组处理得到的产品数据发送至产品质量评价计算节点组，对产品数据进行质量评价，生成质量评价报告，以供用户检索、浏览和下载。

本发明的另一个实施例中，所述方法还包括：根据遥感数据处理任务对所述N个计算节点进行调度和监控。

具体地，对所述N个计算节点进行调度，包括：获取新的处理任务，依据任务类型获取其所属的计算节点组。判断所述计算节点组是否有满足处理任务需求的空闲计算节点，若是，获取至少一个所述空闲计算节点，对数据进行处理。

在上文所述实施例中，将N个计算节点分为4组，每组至少包括一个计算节点。系统构建时，首先对每个数据处理软件所需的计算资源和所属哪一组计算节点进行注册管理。其中，计算资源包括CPU、GPU和内存等资源。有一个新的处理任务时，首先判断该任务属于哪一个计算节点组，然后根据该任务所需的计算资源判断所属计算节点组内是否有满足数据处理任务需求的空闲资源。获取到至少一个计算节点的空闲资源满足数据处理任务需求后，将该处理任务调度到所述计算节点上进行处理。另外，对所述N个计算节点进行监控，包括：监听N个计算节点是否存活，若否，将该计算节点从所属计算节点组中删除，并重启死亡的计算节点，判断所述计算节点是否重启成功，若否，则发出报警信息，提示系统故障，若是，将所述计算节点重新添加到所属组内，并对其分配新来的处理任务。

对于正在处理数据的计算节点而言，需要随时发现其状态，当该计算节点死亡时，需要将该节点正在执行的任务调度到其它节点进行处理，同时，将该节点从所属的计算节点组内删除，然后立即重启，以恢复其正常功能。对于正在处理数据的计算节点，其死亡的状态包括数据处理中断、计算节点不能连接网络、计算节点不能接收和发送数据等情况。而对于处于空闲状态的计算节点而言，当其也属于死亡的计算节点时，为了避免需要其处理数据但无法正常进行，也需要将该节点从所属的计算节点组内删除，并将其重新进行启动。对于处于空闲状态的计算节点，其死亡状态通常为不能连接网络、数据调度服务死亡等情况。

当重启死亡的计算节点后，所述计算节点仍无法进行数据处理，将所述计算节点中待处理的任务均衡调度至组内其余计算节点进行数据处理，并将该计算节点从所属组中删除，同时，发出报警信息，提示系统故障，实现对问题节点的有效处理。

在本发明的又一个实施例中，对所述N个计算节点进行调度，包括：对所述计算节点处理任务的数据处理时间进行预估，判断所述数据处理时间是否超过预设数值，若是，所述计算节点任务执行失败。判断同组计算节点内是否存在满足处理任务需求的空闲计算节点，若是，获取至少一个所述空闲计算节点，将任务调度到所述空闲计算节点上，对数据进行处理。

在上文所述实施例中，每个处理任务会被调度到满足其计算资源需求的计算节点上进行执行。对于每个处理任务的数据处理时间均可设置预设数值。数据处理时间超过该数值范围时，认为在该计算节点上的处理任务失败了，再获取一个空闲资源满足处理任务资源需求的计算节点处理该任务。

本发明的再一个实施例提供了一种遥感数据处理系统，参见图3，所述系统200包括：

构建模块201，用于构建N个计算节点，所述N个计算节点之间通过高速网络连接，通过数据总线实现数据传递，其中，N≥1；

处理模块202，获取待处理的一轨遥感原始码流数据，按照数据处理流程，不同环节的处理任务在不同的计算节点上同时被调度，至少一个计算节点根据所述处理任务对所述原始码流数据进行数据处理，同时将已处理完成得到的数据通过所述数据总线传递至下一个环节的处理任务所在的计算节点进行数据处理，直至完成遥感数据处理任务。

根据本发明的实施例的模块的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本发明实施例的模块的任意一个或多个可以被拆分成多个模块来实现。根据本发明实施例的模块的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本发明实施例的模块的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图4示意性示出了根据本发明实施例的电子设备的框图。

如图4所示，电子设备300包括处理器301和存储器302。该电子设备300可以执行根据本发明实施例的方法。

具体地，处理器301例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器301还可以包括用于缓存用途的板载存储器。处理器301可以是用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

存储器302，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。其存储有计算机可执行程序，该程序在被所述处理器执行时，使得所述处理器执行如上文所述的直播间标签的添加方法。

本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。

根据本发明的实施例，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、射频信号等等，或者上述的任意合适的组合。

本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。

尽管已经参照本发明的特定示例性实施例示出并描述了本发明，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本发明的精神和范围的情况下，可以对本发明进行形式和细节上的多种改变。因此，本发明的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种遥感数据处理方法，其特征在于，所述方法包括：

步骤101：构建N个计算节点，所述N个计算节点之间通过高速网络连接，通过数据总线实现数据传递，其中，N≥1；

步骤102：获取待处理的一轨遥感原始码流数据，按照数据处理流程，不同环节的处理任务在不同的计算节点上同时被调度，至少一个计算节点根据所述处理任务对所述原始码流数据进行数据处理，同时将已处理完成得到的数据通过所述数据总线传递至下一个环节的处理任务所在的计算节点进行数据处理，直至完成遥感数据处理任务。

2.根据权利要求1所述的方法，其特征在于，所述步骤102包括：

步骤1021，对所述N个计算节点进行分组，至少得到数据接入计算节点组、解压缩计算节点组、分景编目计算节点组及产品生产计算节点组，其中，每个计算节点组至少包括一个计算节点；

步骤1022，检测到一轨新的原始码流数据时，所述至少一个数据接入计算节点组将所述原始码流数据进行帧同步处理得到帧数据，同时将所述帧数据通过数据总线传递至所述解压缩计算节点组；

步骤1023，所述至少一个解压缩计算节点组将所述帧数据进行解压缩处理，同时将解压缩处理后的格式化数据通过数据总线传递至所述分景编目计算节点组；

步骤1024，所述至少一个分景编目计算节点组对解压缩处理后的格式化数据进行分景，得到分景数据，当数据够一景时，在至少一个产品生产计算节点组上启动产品生产软件，将所述分景数据通过数据总线传递至产品生产计算节点组；

步骤1025，所述产品生产计算节点组根据所述分景数据，生成遥感影像和元数据；

步骤1026，将所述遥感影像和元数据存储在高速缓存设备中。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据遥感数据处理任务对所述N个计算节点进行调度和监控。

4.根据权利要求3所述的方法，其特征在于，所述对所述N个计算节点进行调度，包括：

获取新的处理任务，依据任务类型获取其所属的计算节点组；判断所述计算节点组是否有满足处理任务需求的空闲计算节点，若是，获取至少一个所述空闲计算节点，对数据进行处理。

5.根据权利要求3所述的方法，其特征在于，所述对所述N个计算节点进行调度，还包括：

对所述计算节点处理任务的数据处理时间进行预估，判断所述数据处理时间是否超过预设数值，若是，所述计算节点任务执行失败；判断同组计算节点内是否存在满足处理任务需求的空闲计算节点，若是，获取至少一个所述空闲计算节点，将任务调度到所述空闲计算节点上，对数据进行处理。

6.根据权利要求3所述的方法，其特征在于，所述对所述N个计算节点进行监控，包括：

监听N个计算节点是否存活，若否，将该计算节点从所属计算节点组中删除，并重启死亡的计算节点，判断所述计算节点是否重启成功，若否，则发出报警信息，提示系统故障，若是，将所述计算节点重新添加到所属组内，并对其分配处理任务。

7.根据权利要求3所述的方法，其特征在于，所述对所述N个计算节点进行监控，还包括：

当重启死亡的计算节点后，所述计算节点仍无法进行数据处理，将所述计算节点中待处理的任务均衡调度至组内其余计算节点进行数据处理，并将该计算节点从所属组中删除，同时，发出报警信息，提示系统故障。

8.一种遥感数据处理系统，其特征在于，所述系统包括：

构建模块，用于构建N个计算节点，所述N个计算节点之间通过高速网络连接，通过数据总线实现数据传递，其中，N≥1；

处理模块，获取待处理的一轨遥感原始码流数据，按照数据处理流程，不同环节的处理任务在不同的计算节点上同时被调度，至少一个计算节点根据所述处理任务对所述原始码流数据进行数据处理，同时将已处理完成得到的数据通过所述数据总线传递至下一个环节的处理任务所在的计算节点进行数据处理，直至完成遥感数据处理任务。

9.一种电子设备，其特征在于，所述设备包括：

处理器；

存储器，其存储有计算机可执行程序，该程序在被所述处理器执行时，使得所述处理器实现如权利要求1-7中的遥感数据处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中的遥感数据处理方法。