CN114116682A - 卫星遥测数据的迁移方法、装置、系统、设备及介质 - Google Patents

Abstract

本申请涉及一种卫星遥测数据的迁移方法、装置、系统、电子设备及计算机可读介质。该方法包括：根据迁移任务确定待进行迁移的卫星遥测数据，所述卫星遥测数据为时序数据；基于数据库查询语句导出所述卫星遥测数据；剔除掉所述卫星遥测数据中的异常值；将所述卫星遥测数据写入到分布式文件系统。本申请涉及的卫星遥测数据的迁移方法、装置、系统、电子设备及计算机可读介质，能够高效、安全、持久化存储海量遥测数据，突破现有技术对卫星大量历史遥测数据存储性能瓶颈，满足用户对卫星遥测数据分析和挖掘的需求。

Description

卫星遥测数据的迁移方法、装置、系统、设备及介质

技术领域

本申请涉及卫星遥测遥控领域，具体而言，涉及一种卫星遥测数据的迁移方法、装置、系统、电子设备及计算机可读介质。

背景技术

目前航天领域的地面测控系统管理着各类在轨航天器，随着航天器数量增加以及航天数据的剧增，地面测控系统的数据存储问题的重要性日趋凸显。航天数据是一种典型大数据，同时都带有时间标签，也是一种典型的时序大数据。关于时序数据的存储和挖掘也是研究的一个热点，传统的方法都是采用时序数据库软件进行卫星历史遥测数据的存储。

现有的卫星历史遥测数据存储是采用单机集中式数据存储的方式，利用专业的时序数据库软件进行存储，对数据类型、数据的结构要求较高。随着航天领域的快速发展，卫星遥测数据量也越来越多，数据类型也越来越复杂，传统的技术无法满足高效、安全、持久化存储海量遥测数据，同时采用传统数据库存储无法满足用户对卫星遥测数据分析和挖掘的需求。

因此，需要一种新的卫星遥测数据的迁移方法、装置、系统、电子设备及计算机可读介质。

在所述背景技术部分公开的上述信息仅用于加强对本申请的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本申请提供一种卫星遥测数据的迁移方法、装置、系统、电子设备及计算机可读介质，能够高效、安全、持久化存储海量遥测数据，突破现有技术对卫星大量历史遥测数据存储性能瓶颈，满足用户对卫星遥测数据分析和挖掘的需求。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请的一方面，提出一种卫星遥测数据的迁移方法，该方法包括：根据迁移任务确定待进行迁移的卫星遥测数据，所述卫星遥测数据为时序数据；基于数据库查询语句导出所述卫星遥测数据；剔除掉所述卫星遥测数据中的异常值；将所述卫星遥测数据写入到分布式文件系统。

在本申请的一种示例性实施例中，根据迁移任务确定待进行迁移的卫星遥测数据，包括：定时生成迁移任务；根据迁移任务提取待迁移的参数；基于所述参数确定待进行迁移的卫星遥测数据。

在本申请的一种示例性实施例中，基于数据库查询语句导出所述卫星遥测数据，包括：基于数据库查询语句的语法规则生成查询语句；基于所述查询语句在时序数据库中查询并导出所述卫星遥测数据。

在本申请的一种示例性实施例中，剔除掉所述卫星遥测数据中的异常值，包括：获取所述卫星遥测数据对应的多个参数范围；将超出多个参数范围的卫星遥测数据剔除。

在本申请的一种示例性实施例中，将所述卫星遥测数据写入到分布式文件系统，包括：在分布式文件系统确定待写入的多个目标服务器；将所述卫星遥测数据拆解为多个数据包；将所述多个数据包传输给所述多个目标服务器。

在本申请的一种示例性实施例中，将所述多个数据包传输给所述多个目标服务器，包括：由所述多个目标服务器中确定初始服务器；将所述多个数据包传输给所述初始服务器；所述初始服务器将所述多个数据包传输给其他目标服务器。

在本申请的一种示例性实施例中，由所述多个目标服务器中确定初始服务器之后，还包括：初始服务器和其他目标服务器之间建立传输管道。

在本申请的一种示例性实施例中，还包括：基于所述分布式文件系统中的多个服务器和其中存储的文件副本响应用户的卫星遥测数据读取请求。

根据本申请的一方面，提出一种卫星遥测数据的迁移装置，该装置包括：任务模块，用于根据迁移任务确定待进行迁移的卫星遥测数据，所述卫星遥测数据为时序数据；导出模块，用于基于数据库查询语句导出所述卫星遥测数据；剔除模块，用于剔除掉所述卫星遥测数据中的异常值；写入模块，用于将所述卫星遥测数据写入到分布式文件系统。

根据本申请的一方面，提出一种卫星遥测数据的迁移系统，该系统包括：时序数据库，用于根据迁移任务确定待进行迁移的卫星遥测数据，所述卫星遥测数据为时序数据；基于数据库查询语句导出所述卫星遥测数据；剔除掉所述卫星遥测数据中的异常值；分布式文件系统，用于将所述时序数据类型的卫星遥测数据写入并存储。

根据本申请的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。

根据本申请的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。

根据本申请的卫星遥测数据的迁移方法、装置、系统、电子设备及计算机可读介质，通过根据迁移任务确定待进行迁移的卫星遥测数据，所述卫星遥测数据为时序数据；基于数据库查询语句导出所述卫星遥测数据；剔除掉所述卫星遥测数据中的异常值；将所述卫星遥测数据写入到分布式文件系统的方式，能够高效、安全、持久化存储海量遥测数据，突破现有技术对卫星大量历史遥测数据存储性能瓶颈，满足用户对卫星遥测数据分析和挖掘的需求。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

通过参照附图详细描述其示例实施例，本申请的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种卫星遥测数据的迁移系统的应用场景图。

图2是根据另一示例性实施例示出的一种卫星遥测数据的迁移方法的示意图。

图3是根据一示例性实施例示出的一种卫星遥测数据的迁移方法的流程图。

图4是根据另一示例性实施例示出的一种卫星遥测数据的迁移方法的示意图。

图5是根据另一示例性实施例示出的一种卫星遥测数据的迁移方法的示意图。

图6是根据一示例性实施例示出的一种卫星遥测数据的迁移装置的框图。

图7是根据一示例性实施例示出的一种电子设备的框图。

图8是根据一示例性实施例示出的一种计算机可读介质的框图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本申请将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、系统、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本申请概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。

本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本申请所必须的，因此不能用于限制本申请的保护范围。

图1是根据一示例性实施例示出的一种卫星遥测数据的迁移系统的应用场景图。

如图1所示，系统架构10可以包括卫星终端101、102、103，网络104和时序数据库105、分布式文件系统106。网络104用以在卫星终端101、102、103和时序数据库105之间；时序数据库105和分布式文件系统106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

卫星终端101、102、103通过网络104与时序数据库105交互，以接收或发送数据等。卫星终端101、102、103上可以安装有各种遥测遥感类的传感器和应用，例如温度传感设备、图像传感设备、环境采集设备等，还可例如数据处理类应用、图像处理类应用、即时通信工具、信号处理类应用等。卫星终端101、102、103可以是具有遥测探测类功能的各种商业卫星。

时序数据库105可例如根据迁移任务确定待进行迁移的卫星遥测数据，所述卫星遥测数据为时序数据；时序数据库105可例如基于数据库查询语句导出所述卫星遥测数据；时序数据库105可例如剔除掉所述卫星遥测数据中的异常值；时序数据库105可例如将所述时序数据类型的卫星遥测数据写入分布式文件系统106并存储。

分布式文件系统106可例如为HDFS系统，由多个服务器组成，分布式文件系统106的系统架构如图2所示。更进一步的，NameNode（命名节点）与DataNode（数据节点）的特点如下表所述：

NameNode	DataNode
		存储元数据	存储文件内容
元数据保存在内存中	文件内容保存在磁盘
		保存文件、block、DataNode之间的关系	维护了block id到DataNode本地文件的映射关系

其中，NameNode(命名节点)是一个中心服务器，单一节点（简化系统的设计和实现），负责管理文件系统的名字空间（namespace）以及客户端对文件的访问。

文件操作，namenode是负责文件元数据的操作，dataNode(数据节点)负责处理文件内容的读写，跟文件内容相关的数据流不经过Namenode，只询问它跟哪个dataNode联系，否则NameNode会成为系统的瓶颈。

副本存放在哪些DataNode上由NameNode来控制，根据全局情况作出块放置决定，读取文件时NameNode尽量让用户先读取最近的副本，降低读取网络开销和读取延时。

NameNode全权管理数据的复制，它周期性的从集群中的每个DataNode接收心跳信息和状态报告，接收到心跳信号意味着DataNode节点工作正常，块状态报告包含了一个该DataNode上所有的数据列表。

需要说明的是，本申请实施例所提供的卫星遥测数据的迁移方法可以由服务器105执行，相应地，卫星遥测数据的迁移装置可以设置于服务器105中。而提供给用户进行商品浏览的网页端与进行商家查询的请求端一般位于卫星终端101、102、103中。

图3是根据一示例性实施例示出的一种卫星遥测数据的迁移方法的流程图。卫星遥测数据的迁移方法30至少包括步骤S302至S308。

如图3所示，在S302中，根据迁移任务确定待进行迁移的卫星遥测数据，所述卫星遥测数据为时序数据。卫星通常有2000多个遥测参数，但是并不是所有参数都是本次任务所关注的，首先需要确定根据任务的内容确定要迁移的遥测参数。

在一个实施例中，定时生成迁移任务；根据迁移任务提取待迁移的参数；基于所述参数确定待进行迁移的卫星遥测数据。

编写定时脚本，可以定时把指定的卫星参数从时序数据库中迁移至分布式文件系统。比如：白天根据业务需求会把当天的卫星所有遥测数据存储在时序数据库（可例如为influxdb数据库中），利用编写的脚本可以定时在每晚24点，把指定的重要参数从数据库中提取出来并写入分布式文件系统中。

在S304中，基于数据库查询语句导出所述卫星遥测数据。可例如，基于数据库查询语句的语法规则生成查询语句；基于所述查询语句在时序数据库中查询并导出所述卫星遥测数据。1、 确定要迁移参数后，按照数据库查询语句的语法规则自动生成查询语句，在数据库中查询并将数据导出。

在S306中，剔除掉所述卫星遥测数据中的异常值。可例如，获取所述卫星遥测数据对应的多个参数范围；将超出多个参数范围的卫星遥测数据剔除。

由于卫星遥测数据经过较远距离传输，个别参数值偶尔会出现异常值，需要提前制定每个参数的异常值规则，通过规则剔除掉异常值数据。

在S308中，将所述卫星遥测数据写入到分布式文件系统。可例如，在分布式文件系统确定待写入的多个目标服务器；将所述卫星遥测数据拆解为多个数据包；将所述多个数据包传输给所述多个目标服务器。

更具体的，可由所述多个目标服务器中确定初始服务器；初始服务器和其他目标服务器之间建立传输管道，将所述多个数据包传输给所述初始服务器；所述初始服务器将所述多个数据包传输给其他目标服务器。

在一个实施例中，还包括：基于所述分布式文件系统中的多个服务器和其中存储的文件副本响应用户的卫星遥测数据读取请求。

现有的技术方法有存储性能瓶颈，安全性和持久化较低，并且对数据类型和数据的结构有严格限制，同时由于数据库是面向业务需求，所以无法进行数据分析工作。本申请的卫星遥测数据的迁移方法是一种新型遥测数据存储方式，以解决数据膨胀带来的一系列问题。

根据本申请的卫星遥测数据的迁移方法，通过根据迁移任务确定待进行迁移的卫星遥测数据，所述卫星遥测数据为时序数据；基于数据库查询语句导出所述卫星遥测数据；剔除掉所述卫星遥测数据中的异常值；将所述卫星遥测数据写入到分布式文件系统的方式，能够高效、安全、持久化存储海量遥测数据，突破现有技术对卫星大量历史遥测数据存储性能瓶颈，满足用户对卫星遥测数据分析和挖掘的需求。

综上，根据本申请的卫星遥测数据的迁移方法，能够实现卫星历史遥测数据从时序数据库到分布式文件系统迁移；能够突破现有技术对卫星大量历史遥测数据存储性能瓶颈；能够满足用户对卫星遥测数据分析和挖掘的需求。

应清楚地理解，本申请描述了如何形成和使用特定示例，但本申请的原理不限于这些示例的任何细节。相反，基于本申请公开的内容的教导，这些原理能够应用于许多其它实施例。

图4是根据另一示例性实施例示出的一种卫星遥测数据的迁移方法的示意图。图4所示的流程是对“本申请中的分布式系统文件写入过程”的详细描述。

1、客户端发起文件上传请求，通过远程过程调用与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传；

2、客户端请求第一个block（数据块）该传输到哪些DataNode服务器上；

3、NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如：A，B，C；

4、客户端请求3台DataNode中的一台A上传数据，A收到请求会继续调用B，然后B调用C，将整个传输管道建立完成，后逐级返回客户端；

5、客户端开始往A上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet（数据包）为单位（默认64K），A收到一个packet就会传给B，B传给C；A每传一个packet会放入一个应答队列等待应答。

6、数据被分割成多个packet数据包在传输管道上依次传输，在传输管道反方向上，逐个发送ack（命令正确应答），最终由传输管道中第一个DataNode节点A将传输成功响应发送给客户端;

7、当一个block传输完成之后，客户端再次请求NameNode上传第二个block到服务器。

图5是根据另一示例性实施例示出的一种卫星遥测数据的迁移方法的示意图。图5所示的流程是对“本申请中的分布式系统文件读取过程”的详细描述。

1、客户端向NameNode发起远程过程调用请求，来确定请求文件block所在的位置；

2、NameNode会视情况返回文件的部分或者全部block列表，对于每个block，NameNode都会返回含有该block副本的DataNode地址；这些返回的DataNode地址，会按照集群拓扑结构得出DataNode与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距离客户端近的排靠前；心跳机制中超时汇报的DataNode状态为无效，这种DataNode排序靠后；

3、客户端选取排序靠前的DataNode来读取block，如果客户端本身就是DataNode,那么将从本地直接获取数据(短路读取特性)；

4、底层建立SocketStream（FSDataInputStream），重复的调用父类DataInputStream的read方法，直到这个块上的数据读取完毕；

5、当读完列表的block后，若文件读取还没有结束，客户端会继续向NameNode获取下一批的block列表；

6、读取完一个block都会进行checksum（总和检验码）校验，如果读取DataNode时出现错误，客户端会通知NameNode，然后再从下一个拥有该block副本的DataNode继续读。

7、read方法是并行的读取block信息，不是一块一块的读取；NameNode只是返回客户端请求包含块的DataNode地址，并不是返回请求块的数据；

8、最终读取来所有的block会合并成一个完整的最终文件。

本申请的卫星遥测数据的迁移方法，提出采用分布式文件系统存储数据，具有较高存储性能，利用集群模式，数据的副本机制保证遥测数据的持久化与高容错性，突破传统单服务器存储性能瓶颈，同时也可以支持面向分析。

本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU 执行的计算机程序。在该计算机程序被CPU 执行时，执行本申请提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图6是根据另一示例性实施例示出的一种卫星遥测数据的迁移装置的框图。如图6所示，卫星遥测数据的迁移装置60包括：任务模块602，导出模块604，剔除模块606，写入模块608。

任务模块602用于根据迁移任务确定待进行迁移的卫星遥测数据，所述卫星遥测数据为时序数据；

导出模块604用于基于数据库查询语句导出所述卫星遥测数据；

剔除模块606用于剔除掉所述卫星遥测数据中的异常值；

写入模块608用于将所述卫星遥测数据写入到分布式文件系统。

根据本申请的卫星遥测数据的迁移装置，通过根据迁移任务确定待进行迁移的卫星遥测数据，所述卫星遥测数据为时序数据；基于数据库查询语句导出所述卫星遥测数据；剔除掉所述卫星遥测数据中的异常值；将所述卫星遥测数据写入到分布式文件系统的方式，能够高效、安全、持久化存储海量遥测数据，突破现有技术对卫星大量历史遥测数据存储性能瓶颈，满足用户对卫星遥测数据分析和挖掘的需求。

图7是根据一示例性实施例示出的一种电子设备的框图。

下面参照图7来描述根据本申请的这种实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：至少一个处理单元710、至少一个存储单元720、连接不同系统组件（包括存储单元720和处理单元710）的总线730、显示单元740等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元710执行，使得所述处理单元710执行本说明书中描述的根据本申请各种示例性实施方式的步骤。例如，所述处理单元710可以执行如图3，图4，图5中所示的步骤。

所述存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元（RAM）7201和/或高速缓存存储单元7202，还可以进一步包括只读存储单元（ROM）7203。

所述存储单元720还可以包括具有一组（至少一个）程序模块7205的程序/实用工具7204，这样的程序模块7205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备700也可以与一个或多个外部设备700’（例如键盘、指向设备、蓝牙设备等）通信，使得用户能与该电子设备700交互的设备通信，和/或该电子设备700能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口750进行。并且，电子设备700还可以通过网络适配器760与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。网络适配器760可以通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，如图8所示，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、或者网络设备等）执行根据本申请实施方式的上述方法。

所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如下功能：根据迁移任务确定待进行迁移的卫星遥测数据，所述卫星遥测数据为时序数据；基于数据库查询语句导出所述卫星遥测数据；剔除掉所述卫星遥测数据中的异常值；将所述卫星遥测数据写入到分布式文件系统。

本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、移动终端、或者网络设备等）执行根据本申请实施例的方法。

以上具体地示出和描述了本申请的示例性实施例。应可理解的是，本申请不限于这里描述的详细结构、设置方式或实现方法；相反，本申请意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (12)

1.一种卫星遥测数据的迁移方法，其特征在于，包括：

根据迁移任务确定待进行迁移的卫星遥测数据，所述卫星遥测数据为时序数据；

基于数据库查询语句导出所述卫星遥测数据；

剔除掉所述卫星遥测数据中的异常值；

将所述卫星遥测数据写入到分布式文件系统。

2.如权利要求1所述的方法，其特征在于，根据迁移任务确定待进行迁移的卫星遥测数据，包括：

定时生成迁移任务；

根据迁移任务提取待迁移的参数；

基于所述参数确定待进行迁移的卫星遥测数据。

3.如权利要求1所述的方法，其特征在于，基于数据库查询语句导出所述卫星遥测数据，包括：

基于数据库查询语句的语法规则生成查询语句；

基于所述查询语句在时序数据库中查询并导出所述卫星遥测数据。

4.如权利要求1所述的方法，其特征在于，剔除掉所述卫星遥测数据中的异常值，包括：

获取所述卫星遥测数据对应的多个参数范围；

将超出多个参数范围的卫星遥测数据剔除。

5.如权利要求1所述的方法，其特征在于，将所述卫星遥测数据写入到分布式文件系统，包括：

在分布式文件系统确定待写入的多个目标服务器；

将所述卫星遥测数据拆解为多个数据包；

将所述多个数据包传输给所述多个目标服务器。

6.如权利要求5所述的方法，其特征在于，将所述多个数据包传输给所述多个目标服务器，包括：

由所述多个目标服务器中确定初始服务器；

将所述多个数据包传输给所述初始服务器；

所述初始服务器将所述多个数据包传输给其他目标服务器。

7.如权利要求6所述的方法，其特征在于，由所述多个目标服务器中确定初始服务器之后，还包括：

初始服务器和其他目标服务器之间建立传输管道。

8.如权利要求1所述的方法，其特征在于，还包括：

基于所述分布式文件系统中的多个服务器和其中存储的文件副本响应用户的卫星遥测数据读取请求。

9.一种卫星遥测数据的迁移装置，其特征在于，包括：

任务模块，用于根据迁移任务确定待进行迁移的卫星遥测数据，所述卫星遥测数据为时序数据；

导出模块，用于基于数据库查询语句导出所述卫星遥测数据；

剔除模块，用于剔除掉所述卫星遥测数据中的异常值；

写入模块，用于将所述卫星遥测数据写入到分布式文件系统。

10.一种卫星遥测数据的迁移系统，其特征在于，包括：

时序数据库，用于根据迁移任务确定待进行迁移的卫星遥测数据，所述卫星遥测数据为时序数据；基于数据库查询语句导出所述卫星遥测数据；剔除掉所述卫星遥测数据中的异常值；

分布式文件系统，用于将所述时序数据类型的卫星遥测数据写入并存储。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。

Images