CN112948466A - 卫星数据的处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种卫星数据的处理方法、装置、电子设备及存储介质，方法包括：获取待存储的卫星数据；根据预设哈希函数对卫星数据进行哈希运算，得到卫星数据的哈希值；对哈希值进行取模运算，得到哈希值的取模结果；根据取模结果与数据分片节点的预设映射关系，确定卫星数据的目标数据分片节点；将卫星数据写入至目标数据分片节点中的主数据节点和从数据节点。本申请能够提高卫星数据处理系统的稳定性和可靠性，以及提高卫星数据的节点流转效率。将卫星数据写入至目标数据分片节点中的主数据节点和从数据节点，实现多节点存储，提高卫星数据存储效率。

Description

卫星数据的处理方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种卫星数据的处理方法、装置、电子设备及存储介质。

背景技术

随着微小卫星的商业化发展不断加深，市场对卫星数据可视化展示的数据快速存储和检索查询提出更高的要求。卫星数据采集时是以秒位单位的高频次传输方式，对于设备采集到的卫星数据，也需要以高频次的数据存储方式进行存储。

在相关技术中，目前的卫星数据存储系统一般采用的关系型数据库，一方面，关系型数据库对于数据存储和数据查询存在瓶颈问题；另一方面，高频次的巨大数据量，使得存储系统的读写性能越来越难以满足存储需求，导致数据丢失问题越来越突出。可见，当前卫星数据的处理方式存在效率及可靠性低的问题。

发明内容

本申请实施例的目的在于提供一种卫星数据的处理方法、装置、电子设备及存储介质，旨在解决当前卫星数据的处理方式存在效率及可靠性低的问题。

第一方面，本申请实施例提供了一种卫星数据的处理方法，应用于集群的服务节点，集群包括服务节点和多个数据分片节点，每个数据分片节点包括主数据节点和多个从数据节点，服务节点与主数据节点和从数据节点通信连接，方法包括：

获取待存储的卫星数据；

根据预设哈希函数对卫星数据进行哈希运算，得到卫星数据的哈希值；

对哈希值进行取模运算，得到哈希值的取模结果；

根据取模结果与数据分片节点的预设映射关系，确定卫星数据的目标数据分片节点；

将卫星数据写入至目标数据分片节点中的主数据节点和从数据节点。

在本实施例中，通过将卫星数据处理系统集群化，配置服务节点和多个数据分片节点，以防止单一服务器崩溃而导致系统停止服务，提高卫星数据处理系统的稳定性和可靠性，以及提高卫星数据的节点流转效率。通过预设哈希函数对卫星数据进行哈希运算，得到卫星数据的哈希值，以及对哈希值进行取模运算，得到哈希值的取模结果，根据取模结果与数据分片节点的预设映射关系，确定卫星数据的目标数据分片节点，实现对卫星数据进行数据分片，使得卫星数据能够存储于多个数据分片节点中，提高数据存储效率；最后将卫星数据写入至目标数据分片节点中的主数据节点和从数据节点，实现多节点存储，提高卫星数据存储效率。

进一步地，根据预设哈希函数对卫星数据进行哈希运算，得到卫星数据的哈希值，包括：

利用预设的非加密哈希函数，对卫星数据的数据标识进行哈希运算，得到卫星数据的哈希值。

在本实施例中，非加密哈希函数能够提高卫星数据的哈希运算速度，对数据标识进行哈希运算，实现卫星数据索引化，以便于在数据查询阶段利用数据标识进行数据查询，从而实现卫星数据快速定位和高效率查询。

进一步地，将卫星数据写入至目标数据分片节点中的主数据节点和从数据节点，包括：

将卫星数据写入到目标数据分片节点的同步日志文件；

基于同步日志文件，将卫星数据同步至主数据节点；

当主数据节点同步完成后，控制主数据节点将卫星数据同步至所有从数据节点。

在本实施例中，通过将卫星数据写入到同步日志文件，以实现同步日志文件增量化同步卫星数据，提高数据写入效率。通过主数据节点同步卫星数据至从数据节点，实现分类化存储和查询，极大降低卫星数据的维护成本。

进一步地，将卫星数据同步至目标数据分片节点中的主数据节点和从数据节点之后，还包括：

获取待查询卫星数据的数据标识，并基于数据标识，确定待查询卫星数据的一个或多个数据分片节点；

查询每个数据分片节点中的卫星数据，得到卫星数据的优先级得分；

针对每个数据分片节点，对卫星数据的优先级得分进行排序，得到每个数据分片节点的查询得分；

对每个数据分片节点的查询得分进行排序，得到最优查询得分；

将最优查询得分对应的卫星数据返回至查询终端。

在本实施例中，基于数据标识实现数据索引化，能够快速定位数据分片节点和提高查询效率，基于优先级得分，提高数据查询准确度。

进一步地，查询每个数据分片节点中的卫星数据，得到卫星数据的优先级得分，包括：

对于每个数据分片节点，对数据分片节点中的所有从数据节点进行查询操作；

若查询到从数据节点存在卫星数据，则得到卫星数据的优先级得分；

若未查询到从数据节点存在卫星数据，则对数据分片节点中的主数据节点进行查询操作，得到卫星数据的优先级得分。

在本实施例中，先查询从数据节点的卫星数据，在从数据节点未查询到卫星数据时，再查询主数据节点的卫星数据，以优先查询存在卫星数据可能性更高的从数据节点，以提高数据查询效率。

进一步地，主数据节点用于为数据分片节点提供最高优先级的写入操作，从数据节点用于为数据分片节点提供最高优先级的查询操作。

在本实施例中，为主数据节点和从数据节点分别配置不同的操作优先级，以分配节点的主要功能，从而提高数据分片节点的数据处理的整体效率。

第二方面，本申请实施例提供了卫星数据的处理装置，应用于集群的服务节点，集群包括服务节点和多个数据分片节点，每个数据分片节点包括主数据节点和多个从数据节点，服务节点与主数据节点和从数据节点通信连接，装置包括：

获取模块，用于获取待存储的卫星数据；

哈希运算模块，用于根据预设哈希函数对卫星数据进行哈希运算，得到卫星数据的哈希值；

取模运算模块，用于对哈希值进行取模运算，得到哈希值的取模结果；

确定模块，用于根据取模结果与数据分片节点的预设映射关系，确定卫星数据的目标数据分片节点；

写入模块，用于将卫星数据写入至目标数据分片节点中的主数据节点和从数据节点。

进一步地，写入模块，包括：

写入单元，用于将卫星数据写入到目标数据分片节点的同步日志文件；

同步单元，用于基于同步日志文件，将卫星数据同步至主数据节点；

控制单元，用于当主数据节点同步完成后，控制主数据节点将卫星数据同步至所有从数据节点。

第三方面，本申请实施例提供了一种电子设备，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行第一方面的卫星数据的处理方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时实现如第一方面的卫星数据的处理方法。

需要说明的是，上述第二方面至第四方面的有益效果可参考第一方面的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的卫星数据的处理方法的流程示意图；

图2为本申请实施例提供的卫星数据存储过程的数据流转示意图；

图3为本申请实施例提供的卫星数据查询过程的数据流转示意图；

图4为本申请实施例提供的卫星数据的处理装置的结构示意图；

图5为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如背景技术相关记载，目前的卫星数据存储系统一般采用的关系型数据库，但是关系型数据库对于数据存储和数据查询存在瓶颈问题，而高频次的巨大数据量，使得存储系统的读写性能也越来越难以满足存储需求，导致数据丢失问题越来越突出。可见，当前卫星数据的处理方式存在效率及可靠性低的问题。

针对上述现有技术中的问题，本申请提供了一种卫星数据的处理方法，通过将卫星数据处理系统集群化，配置服务节点和多个数据分片节点，以防止单一服务器崩溃而导致系统停止服务，提高卫星数据处理系统的稳定性和可靠性，以及提高卫星数据的节点流转效率。通过预设哈希函数对卫星数据进行哈希运算，得到卫星数据的哈希值，以及对哈希值进行取模运算，得到哈希值的取模结果，根据取模结果与数据分片节点的预设映射关系，确定卫星数据的目标数据分片节点，实现对卫星数据进行数据分片，使得卫星数据能够存储于多个数据分片节点中，提高数据存储效率；最后将卫星数据写入至目标数据分片节点中的主数据节点和从数据节点，实现多节点存储，提高卫星数据存储效率。

参见图1，图1示出了本申请实施例提供的一种卫星数据的处理方法的实现流程图。本申请实施例中下述的卫星数据的处理方法可应用于集群的服务节点，该服务节点可以是但不限于智能手机、平板电脑、桌上型计算机、超级计算机、个人数字助理、物理服务器和云服务器等计算机设备。集群包括服务节点和多个数据分片节点，服务节点中包含数据分片节点的元数据信息，每个数据分片节点可以分配一个分配数量编号，每个数据分片节点包括主数据节点和多个从数据节点，服务节点与主数据节点和从数据节点通信连接。本申请实施例的卫星数据的处理方法，包括步骤S101至S105，详述如下：

步骤S101，获取待存储的卫星数据。

在本实施例中，卫星数据为人造卫星采集的遥感数据，例如高分5号卫星采集的高光谱数据。卫星采集到数据后，传输给地面的数据存储设备进行数据存储。

步骤S102，根据预设哈希函数对卫星数据进行哈希运算，得到卫星数据的哈希值。

在本实施例中，哈希运算为根据预设哈希函数进行数学运算的过程。预设哈希函数可以是加密哈希函数，例如MD5、SHA-1和SHA-256等加密函数，加密哈希函数能够保证数据安全性，防止卫星数据被恶意读取或篡改；也可以是非加密哈希函数，例如MurmurHash2和MurmurHash3等哈希函数，非加密哈希函数能够使得哈希运算速度更快和占用更小的运行空间。

可选地，不同卫星数据的数据内容的内容长度不一致，利用预设哈希函数对卫星数据的数据内容进行哈希运算，得到特定长度的哈希值，使得卫星数据更加便于存储与查询。可以理解的是，数据内容为具体的卫星数据，如高光谱数据中的波段数据。

可选地，利用预设的非加密哈希函数，对卫星数据的数据标识进行哈希运算，得到卫星数据的哈希值。本实现方式中，非加密哈希函数可以是MurmurHash3哈希函数，以提高数据存储阶段的数据处理效率。数据标识为卫星数据的标识信息，一般而言，卫星数据记录于一个文档中，该文档具有唯一的文档ID，将该文档ID作为卫星数据的标识信息，实现卫星数据索引化，以便于后续查询文档ID对应的卫星数据。

步骤S103，对哈希值进行取模运算，得到哈希值的取模结果。

在本实施例中，取模运算为求两个数相除的余数的运算过程。其中一个数为上述哈希值，另一个为预设值，该预设值可基于数据分片节点的数量确定，例如数据分片节点为5，则预设值可以为5。

步骤S104，根据取模结果与数据分片节点的预设映射关系，确定卫星数据的目标数据分片节点。

在本实施例中，预设映射关系可以是取模结果与数据分片节点一一对应，例如取模结果为1，对应的数据分片节点为A，取模结果为2，对应的数据分片节点为B。预设映射关系也可以是数据分片节点与取模结果范围对应，例如数据分片节点A对应的取模结果范围为[1,10]，数据分片节点B对应的取模结果范围为[11,20]，也就是说，当取模结果为2时，则对应的数据分片节点为A，当取模结果为13时，则对应的数据分片节点为B。预设映射关系还可以是取模结果与数据分片节点环位置对应，具体地，将数据分片节点映射到一个由取模结果组的环上，每个数据分片节点分布于该环的各个位置。例如，数据分片节点为A、B、C和D，取模结果为1至100，利用该取模结果组成环，则该环有100个位置，其中结果为1的取模结果与为101的取模结果是相同位置，将A、B、C和D分别映射在环位置为0、25、50和75，当取模结果为1时，则对应的数据分片节点为A，当取模结果为30时，数据分片节点为B，取模结果为168时，则数据分片节点为C，以此类推，不再赘述。

步骤S105，将卫星数据写入至目标数据分片节点中的主数据节点和从数据节点。

在本实施例中，将卫星数据写入到主数据节点和从数据节点，实现多节点存储，提高卫星数据存储效率。

在一实施例中，如图2示出的卫星数据在存储过程中的数据流转示意图。将卫星数据写入到目标数据分片节点的同步日志文件；基于同步日志文件，将卫星数据同步至主数据节点；当主数据节点同步完成后，控制主数据节点将卫星数据同步至所有从数据节点。

在本实施例中，数据分片节点主要有同步日志文件和数据节点两部分组成，同步日志文件用于增量化同步数据，提高数据写入效率。数据节点内部包括主数据节点和从数据节点，数据节点中有选举模式，主数据节点是由多个从数据节点选举产生。优选地，多个从数据节点最好为奇数服务器数量，主数据节点因位置问题，服务器奔溃后，从数据节点就会自动发起选举，知道选出新的主数据节点才可进行写入操作。

服务节点将卫星数据写入卫星同步日志文件中，同步日志文件将卫星数据同步到主数据节点，其同步成功后，主数据节点同步卫星数据到所有的从数据节点，当数据同步从数据节点分片成功后，通知服务节点，再由服务节点通知到客户端，卫星数据写入成功通知。

通过将卫星数据写入到同步日志文件，以实现同步日志文件增量化同步卫星数据，提高数据写入效率。通过主数据节点同步卫星数据至从数据节点，实现分类化存储和查询，极大降低卫星数据的维护成本。

在图1的基础上，图3示出了卫星数据在数据查询时的数据流转示意图。如图3所示，将卫星数据同步至目标数据分片节点中的主数据节点和从数据节点之后，还包括：获取待查询卫星数据的数据标识，并基于数据标识，确定待查询卫星数据的一个或多个数据分片节点；查询每个数据分片节点中的卫星数据，得到卫星数据的优先级得分；针对每个数据分片节点，对卫星数据的优先级得分进行排序，得到每个数据分片节点的查询得分；对每个数据分片节点的查询得分进行排序，得到最优查询得分；将最优查询得分对应的卫星数据返回至查询终端。

在本实施例中，客户端发起数据查询请求，该数据查询请求包含待查询卫星数据的数据标识(如文档ID)，服务节点获取该数据标识，将数据标识路由到数据分片节点上。基于数据标识查询到数据分片节点，再查询该数据分片节点的主数据节点和从数据节点中的卫星数据，得到卫星数据的优先级得分。

可选地，数据查询请求还包括查询数据字段，在主数据节点和从数据节点查询卫星数据时，基于查询数据字段与各个数据节点中的数据进行匹配，得到匹配相似度，相似度越高，则优先级得分越高。

数据分片节点给所有的查询结果创建一个队列，会按照优先级得分进行排序，以获得查询得分。然后将查询结果的卫星数据文档ID和优先级得分返回给服务节点，每个数据分片节点只获取若干个(如20个)查询得分，服务节点在获得所有查询得分后，按照查询得分再进行重新排序，得到最优查询得分。服务节点在获取最优查询得分后，向包含原始文档数据的数据分片节点发起请求，数据分片节点将卫星数据填充至文档信息，并将文档信息返给客户端。本实施例基于数据标识实现数据索引化，能够快速定位数据分片节点和提高查询效率，基于优先级得分，提高数据查询准确度。

在一实施例中，查询每个数据分片节点中的卫星数据，得到卫星数据的优先级得分，包括：对于每个数据分片节点，对数据分片节点中的所有从数据节点进行查询操作；若查询到从数据节点存在卫星数据，则得到卫星数据的优先级得分；若未查询到从数据节点存在卫星数据，则对数据分片节点中的主数据节点进行查询操作，得到卫星数据的优先级得分。

在本实施例中，由于现在存储阶段主节点将卫星数据同步至从数据节点，从数据节点更有可能存储有卫星数据，所以优先向所有的从数据节点发起查询，如果从数据节点查询成功，则直接按原路返回数据，如果查询失败，则向主数据节点发起查询，然后原路返回数据。以优先查询存在卫星数据可能性更高的从数据节点，以提高数据查询效率。

在一实施例中，主数据节点用于为数据分片节点提供最高优先级的写入操作，从数据节点用于为数据分片节点提供最高优先级的查询操作。

在本实施例中，主数据节点和从数据节点的集群化配置相应的选举模式，主数据节点为数据提供优先级更高的写入操作(如图3中的标记1)，从数据节点为数据提供优先级更高的查询操作(如图3中的标记2)。在主数据节点崩溃的情况下，从数据分片节点按照选举模式的相应算法，选举出新的主数据节点，为主数据节点和从数据节点分别配置不同的操作优先级，以分配节点的主要功能，从而提高数据分片节点的数据处理的整体效率。

为了执行上述方法实施例对应的方法，以实现相应的功能和技术效果，下面提供一种卫星数据的处理装置，应用于集群的服务节点，集群包括服务节点和多个数据分片节点，每个数据分片节点包括主数据节点和多个从数据节点，服务节点与主数据节点和从数据节点通信连接。

参见图4，图4是本申请实施例提供的一种卫星数据的处理装置的结构框图。本实施例中该装置包括的各模块用于执行图1对应的实施例中的各步骤，具体参见图1以及图1对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分，本申请实施例提供的卫星数据的处理装置，包括：

获取模块401，用于获取待存储的卫星数据；

哈希运算模块402，用于根据预设哈希函数对卫星数据进行哈希运算，得到卫星数据的哈希值；

取模运算模块403，用于对哈希值进行取模运算，得到哈希值的取模结果；

确定模块404，用于根据取模结果与数据分片节点的预设映射关系，确定卫星数据的目标数据分片节点；

写入模块405，用于将卫星数据写入至目标数据分片节点中的主数据节点和从数据节点。

进一步地，哈希运算模块402，包括：

利用预设的非加密哈希函数，对卫星数据的数据标识进行哈希运算，得到卫星数据的哈希值。

进一步地，写入模块405，包括：

写入单元，用于将卫星数据写入到目标数据分片节点的同步日志文件；

同步单元，用于基于同步日志文件，将卫星数据同步至主数据节点；

控制单元，用于当主数据节点同步完成后，控制主数据节点将卫星数据同步至所有从数据节点。

进一步地，上述装置还包括：

第二获取模块，用于获取待查询卫星数据的数据标识，并基于数据标识，确定待查询卫星数据的一个或多个数据分片节点；

查询模块，用于查询每个数据分片节点中的卫星数据，得到卫星数据的优先级得分；

第一排序模块，用于针对每个数据分片节点，对卫星数据的优先级得分进行排序，得到每个数据分片节点的查询得分；

第二排序模块，用于对每个数据分片节点的查询得分进行排序，得到最优查询得分；

返回模块，用于将最优查询得分对应的卫星数据返回至查询终端。

进一步地，查询模块，包括：

第一查询单元，用于对于每个数据分片节点，对数据分片节点中的所有从数据节点进行查询操作；

得到单元，用于若查询到从数据节点存在卫星数据，则得到卫星数据的优先级得分；

第二查询单元，用于若未查询到从数据节点存在卫星数据，则对数据分片节点中的主数据节点进行查询操作，得到卫星数据的优先级得分。

进一步地，主数据节点用于为数据分片节点提供最高优先级的写入操作，从数据节点用于为数据分片节点提供最高优先级的查询操作。

图5为本申请一实施例提供的电子设备的结构示意图。如图5所示，该实施例的电子设备5包括：至少一个处理器50(图5中仅示出一个)处理器、存储器51以及存储在所述存储器51中并可在所述至少一个处理器50上运行的计算机程序52，所述处理器50执行所述计算机程序52时实现上述任意方法实施例中的步骤。

所述电子设备5可以是智能手机、平板电脑、桌上型计算机、超级计算机、个人数字助理、物理服务器和云服务器等计算设备。该电子设备可包括但不仅限于处理器50、存储器51。本领域技术人员可以理解，图5仅仅是电子设备5的举例，并不构成对电子设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，该处理器50还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器51在一些实施例中可以是所述电子设备5的内部存储单元，例如电子设备5的硬盘或内存。所述存储器51在另一些实施例中也可以是所述电子设备5的外部存储设备，例如所述电子设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述电子设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

另外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述任意方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时实现可实现上述各个方法实施例中的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种卫星数据的处理方法，其特征在于，应用于集群的服务节点，所述集群包括所述服务节点和多个数据分片节点，每个所述数据分片节点包括主数据节点和多个从数据节点，所述服务节点与所述主数据节点和所述从数据节点通信连接，所述方法包括：

获取待存储的卫星数据；

根据预设哈希函数对所述卫星数据进行哈希运算，得到所述卫星数据的哈希值；

对所述哈希值进行取模运算，得到所述哈希值的取模结果；

根据所述取模结果与所述数据分片节点的预设映射关系，确定所述卫星数据的目标数据分片节点；

将所述卫星数据写入至所述目标数据分片节点中的所述主数据节点和所述从数据节点。

2.根据权利要求1所述的卫星数据的处理方法，其特征在于，所述根据预设哈希函数对所述卫星数据进行哈希运算，得到所述卫星数据的哈希值，包括：

利用预设的非加密哈希函数，对所述卫星数据的数据标识进行哈希运算，得到所述卫星数据的哈希值。

3.根据权利要求1所述的卫星数据的处理方法，其特征在于，所述将所述卫星数据写入至所述目标数据分片节点中的所述主数据节点和所述从数据节点，包括：

将所述卫星数据写入到所述目标数据分片节点的同步日志文件；

基于所述同步日志文件，将所述卫星数据同步至所述主数据节点；

当所述主数据节点同步完成后，控制所述主数据节点将所述卫星数据同步至所有所述从数据节点。

4.根据权利要求1所述的卫星数据的处理方法，其特征在于，所述将所述卫星数据同步至所述目标数据分片节点中的所述主数据节点和所述从数据节点之后，还包括：

获取待查询卫星数据的数据标识，并基于所述数据标识，确定所述待查询卫星数据的一个或多个所述数据分片节点；

查询每个所述数据分片节点中的卫星数据，得到所述卫星数据的优先级得分；

针对每个所述数据分片节点，对所述卫星数据的优先级得分进行排序，得到每个所述数据分片节点的查询得分；

对每个所述数据分片节点的查询得分进行排序，得到最优查询得分；

将所述最优查询得分对应的卫星数据返回至查询终端。

5.根据权利要求4所述的卫星数据的处理方法，其特征在于，所述查询每个所述数据分片节点中的卫星数据，得到所述卫星数据的优先级得分，包括：

对于每个所述数据分片节点，对所述数据分片节点中的所有所述从数据节点进行查询操作；

若查询到所述从数据节点存在卫星数据，则得到所述卫星数据的优先级得分；

若未查询到所述从数据节点存在卫星数据，则对所述数据分片节点中的所述主数据节点进行查询操作，得到所述卫星数据的优先级得分。

6.根据权利要求1所述的卫星数据的处理方法，其特征在于，所述主数据节点用于为所述数据分片节点提供最高优先级的写入操作，所述从数据节点用于为所述数据分片节点提供最高优先级的查询操作。

7.一种卫星数据的处理装置，其特征在于，应用于集群的服务节点，所述集群包括所述服务节点和多个数据分片节点，每个所述数据分片节点包括主数据节点和多个从数据节点，所述服务节点与所述主数据节点和所述从数据节点通信连接，所述装置包括：

获取模块，用于获取待存储的卫星数据；

哈希运算模块，用于根据预设哈希函数对所述卫星数据进行哈希运算，得到所述卫星数据的哈希值；

取模运算模块，用于对所述哈希值进行取模运算，得到所述哈希值的取模结果；

确定模块，用于根据取模结果与所述数据分片节点的预设映射关系，确定所述卫星数据的目标数据分片节点；

写入模块，用于将所述卫星数据写入至所述目标数据分片节点中的所述主数据节点和所述从数据节点。

8.根据权利要求7所述的卫星数据的处理装置，其特征在于，所述写入模块，包括：

写入单元，用于将所述卫星数据写入到所述目标数据分片节点的同步日志文件；

同步单元，用于基于所述同步日志文件，将所述卫星数据同步至所述主数据节点；

控制单元，用于当所述主数据节点同步完成后，控制所述主数据节点将所述卫星数据同步至所有所述从数据节点。

9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至6中任一项所述的卫星数据的处理方法。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的卫星数据的处理方法。

Images