CN117793105A - 一种基于高性能计算集群的云服务网络系统 - Google Patents

Abstract

本申请提供了一种基于高性能计算集群的云服务网络系统。包括网站服务层、调度服务层、数据库层和集群，其中，网站服务层，与调度服务层通信连接，数据库层，响应于用户提交的对所述输入目录进行任务处理的请求，增加与请求内容相关联的记录条；调度服务层，与数据库层通信连接，按照预设时间间隔查看数据库层中的各个记录条，基于对任务的推进处理情况，对各个记录条中的任务状态进行修改；集群，与调度服务层通信连接，用于对输入目录进行任务处理，并响应于调度服务层的指令，向调度服务层反馈任务处理状态或传输输出目录。如此，提高该云服务网络系统的适用性和安全性。

Description

一种基于高性能计算集群的云服务网络系统

技术领域

本申请涉及大数据信息处理技术领域，具体涉及一种基于高性能计算集群的云服务网络系统。

背景技术

在高性能计算集群中，通常需要对集群中的计算节点进行资源管理和调度，以实现多个用户之间的公平共享和最优利用计算资源。这时候，就需要使用一些专门的软件来管理和调度集群中的资源，Slurm就是这样的一个软件。

Slurm能够为用户提供许多计算资源管理和作业调度的功能，如节点分配、任务提交、队列管理、资源限制、优先级管理等。用户可以通过命令行或者Web界面来提交任务，然后Slurm会自动根据系统负载和用户需求进行资源分配和作业调度，保证每个任务都能按时完成。

然而，在实际应用中，如果用户想要基于高性能计算集群来分析和处理数据，则需要用户充分掌握Linux操作系统相关知识，并由用户自行撰写脚本，知晓Slurm的所有命令，并由用户去监控Slurm在运行中可能遇到的问题。因此，目前对于高性能计算集群的运用对于用户的要求较高，适用性和广谱性较差。此外，现有的基于高性能计算集群的系统安全性较差，容易受到攻击导致数据丢失。

发明内容

针对现有技术中存在的上述技术问题，提出了本申请。本申请旨在提供一种基于高性能计算集群的云服务网络系统，其能够为大众提供适用性和安全性较高的云服务网络系统，能够使得不了解Linux操作系统、Slurm等高难度技术的大众方便地基于云服务网络系统进行安全地数据处理和分析。

根据本申请的第一方案，提供一种基于高性能计算集群的云服务网络系统，所述云服务网络系统与用户终端通信连接，至少用于接收用户上传的待处理数据并建立输入目录，以及提交的对所述输入目录进行任务处理和获取输出目录的请求，包括网站服务层、调度服务层、数据库层和集群，其中，所述网站服务层，与调度服务层通信连接，用于存储所述输入目录以及接收调度服务层返回的输出目录，以使得用户能够基于所述用户终端获取到输出目录；所述数据库层，响应于用户提交的对所述输入目录进行任务处理的请求，增加与请求内容相关联的记录条，所述记录条至少包括任务状态；所述调度服务层，与数据库层通信连接，按照预设时间间隔查看所述数据库层中的各个记录条，并基于各个记录条的任务状态，调度网站服务层和集群中的对应方执行任务向下一个任务状态的推进处理；基于对任务的推进处理情况，对各个记录条中的任务状态进行修改；所述集群，与调度服务层通信连接，用于对所述输入目录进行任务处理，并响应于所述调度服务层的指令，向所述调度服务层反馈任务处理状态或传输输出目录。

与现有技术相比，本申请实施例的有益效果在于：

本申请实施例提供的云服务网络系统，调度服务层与数据库层通信连接，按照预设时间间隔查看数据库层中的各个记录条，并基于各个记录条的任务状态，调度网站服务层和集群中的对应方执行任务向下一个任务状态的推进处理。集群与调度服务层通信连接，用于对所述输入目录进行任务处理，并响应于所述调度服务层的指令，向所述调度服务层反馈任务处理状态或传输输出目录。如此，通过调度服务层实现网站服务层、数据库层和集群之间的通信，从而避免集群与数据库层之间的通信，能够有效地保证数据信息的安全。

此外，用户只需要将待处理和分析的数据上传，并基于该云服务网络系统建立输入目录即可实现基于该高性能计算集群对数据的处理和分析，无需用户自行编写高性能计算集群运行的脚本，更无需用户掌握Linux操作系统相关知识，知晓Slurm的所有命令，也无需用户去监控Slurm在运行中可能遇到的问题。因此，对于不了解高性能计算集群相关专业知识的大众用户，均可以方便且高效的利用高性能计算集群来完成数据处理和分析，极大地提高了该云服务网络系统的广谱性和适用性。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述说明和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的类似附图标记可以表示相似组件的不同示例。附图通过举例而不是以限制的方式大体上示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。这样的实施例是说明性和示例性的，而并非旨在作为本系统或具有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他的实施例。

图1示出根据本申请实施例所述的云服务网络系统的结构示意图。

图2示出根据本申请实施例所述的云服务网络系统中的调度服务层基于查询的数据库层中的记录条的状态进行处理的流程图。

具体实施方式

为使本领域技术人员更好的理解本申请的技术方案，下面结合附图和具体实施方式对本申请作详细说明。下面结合附图和具体实施例对本申请的实施例作进一步详细描述，但不作为对本申请的限定。

本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分。本申请中使用的“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。在本申请中，各个步骤在图中所示的箭头仅仅作为执行顺序的示例，而不是限制，本申请的技术方案并不限于实施例中描述的执行顺序，执行顺序中的各个步骤可以合并执行，可以分解执行，可以调换顺序，只要不影响执行内容的逻辑关系即可。

本申请使用的所有术语(包括技术术语或者科学术语)与本申请所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。对于相关领域普通技术人员已知的系统可能不作详细讨论，但在适当情况下，所述系统应当被视为说明书的一部分。

图1示出根据本申请实施例所述的云服务网络系统的结构示意图。所述云服务网络系统100与用户终端通信连接，至少用于接收用户上传的待处理数据并建立输入目录，以及提交的对所述输入目录进行任务处理和获取输出目录的请求，包括网站服务层101、调度服务层102、数据库层103和集群104。其中，所述用户终端可以是笔记本、台式电脑、平板电脑、手机等，对此不做具体限定。

示例性地，可以在用户终端配置云服务网络系统100，在用户终端向用户提供交互界面，以使得用户能够基于交互界面设置用户信息、上传待处理数据等，云服务网络系统100响应于用户的配置操作，基于用户设置的用户信息、上传的待处理数据等自动建立输入目录。基于用户终端提供的交互界面，用户可以在交互界面上提交对输入目录进行任务处理的请求，比如用户通过点击交互界面上的提交按钮，云服务网络系统100响应于用户执行提交操作的任务处理请求，自动开始任务处理。当然，用户也可以提交获取输出目录的请求，云服务网络系统100响应于用户执行提交获取输出目录的请求，自动向用户提供输出目录。仅以此作为示例性说明，对于云服务网络系统100与用户终端通信连接的具体方式不做限定，只要能够通过用户终端向用户提供本申请实施例所述的云服务网络系统100即可。

其中，所述网站服务层101与调度服务层102通信连接，用于存储所述输入目录以及接收调度服务层102返回的输出目录，以使得用户能够基于所述用户终端获取到输出目录。具体来说，用户基于用户终端，从用户入口进入到交互界面并上传待处理数据，云服务网络系统100自动建立包含所述待处理数据的输入目录并将所述输入目录存储在网站服务层101。在用户基于交互界面提交对所述输入目录进行任务处理的请求之后，所述数据库层103响应于用户提交的对所述输入目录进行任务处理的请求，增加与请求内容相关联的记录条，所述记录条至少包括任务状态。

数据库层103作为数据存储和管理的基础，提供了可靠的数据一致性和事务处理能力，支持高效的查询操作。作为示例性地，所述数据库层103可以使用关系型数据库管理系统，所述关系型数据库管理系统架构可以包括：用户信息表，用于存储注册用户的相关信息，例如用户名、密码、电子邮箱等；用户注册表，用于记录用户的注册信息和时间戳，管理用户的注册流程和统计注册用户数；任务信息表，用于保存每个插补任务的原数据，例如任务名称、任务状态、提交时间、优先级等；历史任务表，用于存储已完成的插补任务的历史记录，包括任务的执行时间、结果和日志等；提示信息表，用于存储向用户发送的提示和通知信息，如任务完成通知、错误提示等；任务状态表，用于记录每个插补任务的当前状态，如等待状态、运行状态、成功状态、失败状态等。如此，数据库层103通过使用关系型数据库管理系统，能够高效地实现对任务相关的数据的有效存储和管理。

在用户提交了对输入目录进行任务处理的请求后，数据库层103自动增加与请求内容相关联的记录条，该记录条可以包括用户信息项、任务信息项、任务状态项，来分别存储用户的信息、待处理的输入目录的任务信息和当前任务所处的处理状态。其中，用户信息项、任务信息项、任务状态项等相关项的信息可以基于数据库层103中的用户信息表、任务信息表、任务状态表等来自动获得。仅以此作为示例性，不构成对数据库层103的具体限定。

在该实施例中，所述调度服务层102与数据库层103通信连接，按照预设时间间隔查看所述数据库层103中的各个记录条，并基于各个记录条的任务状态，调度网站服务层101和集群104中的对应方执行任务向下一个任务状态的推进处理。具体地，调度服务层102可以使用结构化查询语言(SQL)进行数据库层103的查询、插入、更新和删除操作，实现对数据库层103中的记录条和其他数据信息的读写操作，包括查询任务状态、更新任务状态、插入新的记录条等。

所述预设时间间隔可以是1s、2s、3s，可以是云服务网络系统100默认的值，对此不做具体限定。例如，调度服务层102按照每隔1s的时间间隔对数据库层103中的各个记录条进行查询，如果基于目标记录条读取到目标任务状态为任务开始建立且未处理，则会从网站服务层101将该目标记录条对应的输入目录从网站服务层101调取到调度服务层102，并将数据库层103中的目标记录条的任务状态更新为任务建立完成且未处理。此时，目标记录条的任务状态由任务开始建立且未处理，被更新为任务建立完成且未处理，也意味着对于目标记录条对应的输入目录的处理进度得到进一步地推进。

调度服务层102可以使用定时任务(如Cron Job)设置预设时间间隔和频率，确保及时获取任务状态的更新。调度服务层102继续按照每隔1s的时间间隔对数据库层103中的各个记录条进行查询，如果读取到目标记录条的任务状态为任务建立完成且未处理，则会与集群104进行通信，集群104将目标记录条对应的输入目录从调度服务层102调取到集群104进行处理，此时，调度服务层102进一步将数据库层103中的目标记录条的任务状态修改为正在处理目标任务。也就是说，调度服务层102基于对任务的推进处理情况，对各个记录条中的任务状态进行修改。此时，目标记录条的任务状态由任务建立完成且未处理，被更新为正在处理目标任务，也意味着对于目标记录条对应的输入目录的处理进度得到进一步地推进。

如此，通过调度服务层102对数据库层103的查询，基于查询到的记录条中显示的任务状态来调度网站服务层101和集群104中的对应方执行任务向下一个任务状态的推进处理。

在该实施例中，所述集群104与调度服务层102通信连接，用于对所述输入目录进行任务处理，并响应于所述调度服务层102的指令，向所述调度服务层102反馈任务处理状态或传输输出目录。也就是说，在集群104从调度服务层102获取到输入目录之后，立即对输入目录中对应的待处理数据进行处理和分析，并向调度服务层102反馈任务处理中的任务处理状态，而调度服务层102在接收到集群104反馈的任务处理状态之后将数据库层103中记录条的任务状态进行相应的更新，确保数据库层103和集群104之间的数据一致性，并提供准确的任务状态信息给用户。

如果调度服务层102在数据库层103中查询到记录条中的任务状态为已结束或者其他用于表示任务处理已结束的提示语，则会向集群104发送获取已结束任务的输出目录。集群104响应于调度服务层102获取输出目录的指令，将相应的输出目录返回至调度服务层102，调度服务层102再将输出目录返回至网站服务层101，以使得用户能够基于用户终端获取到输出目录。

如此，只需要将本申请实施例所述的云服务网络系统100提供给用户，用户只需要将其待处理的数据上传到云服务网络系统100，并提交任务处理的请求即可，从而提高用户基于云服务网络系统100进行数据分析和处理的便捷性和高效性。同时，在本申请实施例提供的云服务网络系统100，集群104与数据库层103、网站服务层101不通信，通过调度服务层102实现与集群104之间的通信，能够确保与集群104之间的可靠通信和数据交换，提高数据处理的安全性。

在本申请的一些实施例中，响应于用户提交的所述请求，与所述请求对应的记录条中的任务状态更新为指示任务开始建立且未处理的第一状态。也就是说，用户基于用户终端提交对所述输入目录进行任务处理请求，与用户终端通信连接的云服务网络系统100响应于该请求，自动在数据库层103中增加与任务处理请求相关联的记录条，并将该记录条中的任务状态更新为第一状态。其中，第一状态用于指示任务开始建立且未处理，比如，适用的文字提示至少包括初始建立、建立中、开始建立或等待处理等，对于用于指示任务开始建立且未处理的文字内容不做具体限定。当然，任务开始建立且未处理，表示刚开始建立任务处理的任务，但是未对待处理数据进行任务处理。

进一步地，如图2所示，在步骤S201，调度服务层102定期巡查数据库层103中的记录条，在对数据库层103中的各个记录条进行查询的过程中，如果发现关注记录条的任务状态为第一状态(如步骤S202)，说明该关注记录条对应的任务刚刚建立但是还未处理。调度服务层102负责将任务向下一个任务状态进行推进，调度服务层102执行步骤S203，调度服务层102从网站服务层101获取关注输入目录。所述关注输入目录即为关注记录条对应的输入目录，该关注输入目录存储在网站服务层101中，至少包含待处理的数据。

调度服务层102在查询到关注记录条处于第一状态的情况下，即将关注输入目录从网站服务层101调取至调度服务层102，同时，执行步骤S204，将关注记录条的任务状态更新为第二状态，该第二状态用于指示关注任务建立完成且未处理，以表征该关注任务被成功建立但是依然对待处理数据进行处理。也就是说，在调度服务层102查询到关注记录条的任务状态为第一状态的情况下，所述调度服务层102从所述网站服务层101中获取存储的关注输入目录，并将所述关注记录条的任务状态更新为指示关注任务建立完成且未处理的第二状态。

在步骤S205，关注记录条的任务状态为第二状态，则执行步骤S206，调度服务层102向集群104传输第一指令。具体地，如果调度服务层102查询到数据库层103中的关注记录条的任务状态为第二状态，则能够识别出该关注任务已经建立完成但是未处理，此时，调度服务层102向集群传输关注任务建立完成的第一指令，以通知集群104即将开始对关注任务进行处理，以使得集群104从调度服务层102获取关注输入目录，并向调度服务层102反馈关注任务编号(如步骤S207)。

集群104在接收到来自所述调度服务层102的第一指令之后，即刻从调度服务层102获取关注输入目录，并立刻将获取到的关注输入目录置于计算服务器进行排队以进行任务处理。其中，所述关注任务编号即可理解为表示该关注任务在集群104上进行任务处理的顺序编号，比如，该关注任务在集群104中进行任务处理的顺序编号为30，则可以认为关注任务编号为30。也就是说，在调度服务层102查询到关注记录条的任务状态为第二状态的情况下，所述调度服务层102向集群104传输关注任务建立完成的第一指令；所述集群104响应于所述第一指令，从所述调度服务层102获取所述关注输入目录，对所述关注输入目录进行任务处理，同时向所述调度服务层102反馈关注任务的关注任务编号。

在本申请的一些实施例中，所述记录条还包括任务编号项，在集群104向调度服务层102反馈关注任务编号之前，所述任务编号项为空。也就是说，在响应于用于提交的请求，在数据库层103中增加与请求任务处理相关联的记录条时，此时记录条中的任务编号项为空，且任务编号项可被填充或编辑。调度服务层102在接收到集群104反馈的关注任务编号之后，即执行步骤S208，将关注任务编号更新到关注记录条中，并将任务状态更新为第三状态，此时，关注记录条中的任务编号项被更新为关注任务编号，不再是空的状态。所述第三状态用于指示正在处理关注任务，例如关注记录条的任务状态被更新为运行中、计算中、处理中等，都可以用于表示正在处理关注任务。

进一步地，在步骤S209，关注记录条的任务状态为第三状态，此时，执行步骤S210，调度服务层102向集群104传输第二指令。也就是说，在调度服务层102查询到关注记录条的任务状态为第三状态的情况下，所述调度服务层102向集群104传输查看关注任务的处理进展的第二指令，该第二指令中包括关注任务编号。调度服务层102对数据库层103中的各个记录条进行监控，并根据各个记录条的任务状态执行任务向下一个任务的推进处理。在调度服务层102读取到关注记录条的任务状态处于第三状态时，能够知晓该关注任务正在处于处理中，因此，需要进一步对该关注任务的处理进度进行监控。调度服务层102向集群104传输查看关注任务编号对应的关注任务的处理进展的第二指令，对关注任务的处理进展进行监控和推进。

响应于所述第二指令，使得集群104向调度服务层102反馈关注任务的处理进展(如步骤S211)，在步骤S212，调度服务层102对数据库层103中的关注记录条中的任务状态与处理进展进行匹配的更新。例如，所述处理进展可能包括排队中、计算中，将关注记录条中的任务状态相应地更新为排队中、计算中。也就是说，所述调度服务层102基于集群104反馈的关注任务的处理进展，对数据库层103中的关注记录条中的任务状态与所述处理进展进行匹配的更新。仅以此作为示例性说明，不构成具体限定。

在本申请的一些实施例中，对数据库层103中的关注记录条中的任务状态与所述处理进展进行匹配的更新，具体包括：在所述处理进展为指示正在对关注任务进行运算的情况下，关注记录条中的任务状态被更新为指示正在运算的第四状态，例如，集群104正在对关注输入目录中的待处理数据进行运算，此时，可以任务处理进展为指示正在对关注任务进行运算。其中，用于表征第四状态的文字可以是运算中、分析中等，对此不做限定。

在所述处理进展为指示关注任务处理出错的情况下，关注记录条中的任务状态被更新为指示关注任务出错的第五状态，比如，关注输入目录中上传的待处理数据出错或者出现其他错误，此时，均可以认为关注任务出错。集群104则同样会将关注任务出错的处理进展反馈给调度服务层102。

在所述处理进展为指示关注任务处理结束的情况下，关注记录条中的任务状态被更新为指示关注任务处理完成的第六状态，比如，集群104将关注输入目录中的所有待处理数据均运算完成，此时，可以确定关注任务处理结束。

回到图2，在步骤S213，关注记录条的任务状态为第四状态，则执行步骤S214，调度服务层102一直向集群104传输第二指令，直到接收到的处理进展为指示关注任务处理出错或关注任务处理结束的情况下，不再向集群104传输第二指令。也就是说，在调度服务层102查询到关注记录条的任务状态为第四状态时，能够知晓该关注记录条对应的关注输入目录中的待处理数据正在被集群104运算，此时，调度服务层102将会持续对该关注任务的处理进展进行监控，即持续向集群104传输第二指令，以通知集群104要查询该关注任务的处理进展。在调度服务层102接收到来自集群104反馈的任务处理进展为指示关注任务处理出错或关注任务处理结束的情况下，不再向集群104传输第二指令。如此，通过调度服务层102实时监控关注任务的处理进展，调度服务层102获取关注任务的实时的处理状态，并基于处理进展对数据库层103中关注记录条的任务状态进行更新，以便用户可以随时了解到各个关注任务的执行情况。

在步骤S215，关注记录条的任务状态为第五状态，即在调度服务层102查询到关注记录条的任务状态为第五状态的情况下执行步骤S216，结束整个任务。也就是说，在集群104向调度服务层102反馈的关注任务的处理进展指示关注任务出错的情况下，则即刻结束整个任务，退出程序，以便于用户对云服务网络系统100、用户终端或者上传的待处理数据等相关联信息进行审核。

在步骤S217，关注记录条的任务状态为第六状态，即在调度服务层102查询到关注记录条的任务状态为第六状态的情况下，执行步骤S218，调度服务层102向集群104传输第三指令，使得集群104响应于第三指令，将关注输出目录，传输至调度服务层102(如步骤S219)。其中，所述第三指令包含关注任务编号，用于指示获取关注输出目录。具体地，调度服务层102在查询到关注记录条的任务状态为第六状态时，则意味着该关注输入目录中的待处理数据已经被集群104运算完成，即集群104对该关注输入目录的处理任务结束，自动生成了关注输出目录，该关注输出目录中至少包括对于关注输出目录的处理结果。此时，调度服务层102通过向集群104传输第三指令，以通知集群104将要获取关注任务编号对应的关注输出目录。所述第三指令例如可以是“get output”等能够用于表示获取输出目录的相关提示内容。也就是说，所述调度服务层102向所述集群104传输获取关注输出目录的第三指令，该第三指令中包含关注任务编号；所述集群104响应于所述第三指令，将所述关注输出目录，传输至调度服务层102。

其中，集群104是将关注输出目录传输至调度服务层102，而不是直接传输至网站服务层101，如此，能够提高关注输出目录在数据传输过程中的安全性。

在本申请的一些实施例中，所述集群104将所述关注输出目录，复制至调度服务层102，以使得关注输出目录和关注输入目录均保存在集群104上，如此有利于在关注输出目录中的数据出现错误时，可以再基于保存在集群104上的关注输出目录和关注输入目录进行纠错，便于用户查找出错的原因。

所述调度服务层102在接收到集群104返回的关注输出目录后，将数据库层103中的关注记录条的任务状态更新为指示关注任务已返回至调度服务层102的第七状态。也就是说，在调度服务层102接收到集群104返回的关注输出目录后，对数据库层103中该关注记录条的任务状态进行更新，并更新为第七状态，用于表征第七状态的文字提示可以是已返回、已反馈、已输出等，对此不做限定。

在步骤S220，关注记录条的任务状态为第七状态，即在调度服务层102查询到关注记录条的任务状态为第七状态的情况下，执行步骤S221，调度服务层102将接收到的关注输出目录剪切至网站服务层101，即所述调度服务层102将接收到的所述关注输出目录剪切至网站服务层101，以使得用户基于所述网站服务层101能够获取到所述关注输出目录。具体地，在调度服务层102查询数据库层103中的各个记录条的过程中，如果查询到关注记录条的任务状态为第七状态，则说明该关注记录条对应的关注任务结束，并且关注输出目录已经被返回至调度服务层102，此时，调度服务层102将关注输出目录剪切至网站服务层101，即可将关注输出目录传输至网站服务层101。此时，用户能够方便地从网站服务层101获取到关注输出目录。

在本申请的一些实施例中，响应于用户基于交互界面执行的关注任务删除操作，数据库层103中的关注记录条的任务状态被更新为指示关注任务被删除的第八状态。比如，用户基于用户终端提供的交互界面，执行对关注任务的删除操作，则相应地，数据库层103中的与被删除的关注任务对应的关注记录条的任务状态被更新为第八状态。

在步骤S222，关注记录条的任务状态为第八状态，即在调度服务层102查询到关注记录条的任务状态为第八状态的情况下，执行步骤S223，所述调度服务层102向集群104传输删除与关注任务编号相关的数据的第四指令，所述第四指令中包含关注任务编号。也就是说，依然通过调度服务层102向集群104传输第四指令，来通知集群104删除与关注任务编号相关的数据，包括关注输入目录和关注输出目录。在步骤S224，集群104响应于所述第四指令，删除与所述关注任务编号关联的数据，并向所述调度服务层102反馈已删除关注任务关联数据的处理进展，调度服务层102在接收到已删除关注任务关联数据的处理进展的情况下，将已删除的关注任务关联数据转移至历史任务中，并同时删除网站服务层101中的关注任务关联数据。如此，实现在集群104、数据库层103和网站服务层101中相关数据的安全删除。

在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

此外，还需要说明的是，调度服务层102是对数据库层103中多条记录条或者其他相关联的任务信息同时进行监控和查询，调度服务层102可以根据不同记录条的任务状态进行各自对应的推进处理。例如，在调度服务层102发现第一记录条的任务状态是第三状态，第二记录体的任务状态是第五状态，则可以分别对第一记录条、第二记录条对应的关注任务进行推进处理。

在本申请的一些实施例中，所述云服务网络系统100还包括网络交换层105，所述网络交换层105用于将来自所述调度服务层102的指令发送到集群104。也就是说，调度服务层102通过网络交换层105实现与集群104之间的通信，如此，能够确保云服务网络系统100的安全性。此外，所述云服务网络系统100还包括API服务节点106，该API服务节点106具有向集群104中的计算服务器107投递任务和监控任务的功能。

本申请描述了各种操作或功能，其可以被实现为软件代码或指令或被定义为软件代码或指令。此类内容可以是可以直接执行的源代码或差分代码(“增量”或“补丁”代码)(“对象”或“可执行”形式)。软件代码或指令可以存储在计算机可读存储介质中，并且在被执行时，可以使机器执行所描述的功能或操作，并且包括以机器(例如，计算装置、电子系统等)可访问的形式存储信息的任何机制，例如可记录或不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存装置等)。

此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本申请的具有等同元件、修改、省略、组合(例如，各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本申请的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。

以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本申请。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本申请的主题可以少于特定的公开的实施例的全部特征。从而，权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本申请的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。

以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (14)

1.一种基于高性能计算集群的云服务网络系统，其特征在于，所述云服务网络系统与用户终端通信连接，至少用于接收用户上传的待处理数据并建立输入目录，以及提交的对所述输入目录进行任务处理和获取输出目录的请求，包括网站服务层、调度服务层、数据库层和集群，其中，

所述网站服务层，与调度服务层通信连接，用于存储所述输入目录以及接收调度服务层返回的输出目录，以使得用户能够基于所述用户终端获取到输出目录；

所述数据库层，响应于用户提交的对所述输入目录进行任务处理的请求，增加与请求内容相关联的记录条，所述记录条至少包括任务状态；

所述调度服务层，与数据库层通信连接，按照预设时间间隔查看所述数据库层中的各个记录条，并基于各个记录条的任务状态，调度网站服务层和集群中的对应方执行任务向下一个任务状态的推进处理；

基于对任务的推进处理情况，对各个记录条中的任务状态进行修改；所述集群，与调度服务层通信连接，用于对所述输入目录进行任务处理，并响应于所述调度服务层的指令，向所述调度服务层反馈任务处理状态或传输输出目录。

2.根据权利要求1所述的云服务网络系统，其特征在于，响应于用户提交的所述请求，与所述请求对应的记录条中的任务状态更新为指示任务开始建立且未处理的第一状态。

3.根据权利要求2所述的云服务网络系统，其特征在于，在调度服务层查询到关注记录条的任务状态为第一状态的情况下，

所述调度服务层从所述网站服务层中获取存储的关注输入目录，并将所述关注记录条的任务状态更新为指示关注任务建立完成且未处理的第二状态。

4.根据权利要求3所述的云服务网络系统，其特征在于，在调度服务层查询到关注记录条的任务状态为第二状态的情况下，

所述调度服务层向集群传输关注任务建立完成的第一指令；

所述集群响应于所述第一指令，从所述调度服务层获取所述关注输入目录，对所述关注输入目录进行任务处理，同时向所述调度服务层反馈关注任务的关注任务编号。

5.根据权利要求4所述的云服务网络系统，其特征在于，记录条还包括任务编号项，在集群向调度服务层反馈关注任务编号之前，所述任务编号项为空；

所述调度服务层在接收到集群反馈的关注任务编号之后，将所述关注任务编号更新到关注记录条中的任务编号项中，同时，将所述关注记录条的任务状态更新为指示正在处理关注任务的第三状态。

6.根据权利要求5所述的云服务网络系统，其特征在于，在调度服务层查询到关注记录条的任务状态为第三状态的情况下，

所述调度服务层向集群传输查看关注任务的处理进展的第二指令，该第二指令中包括关注任务编号；

集群响应于所述第二指令，向所述调度服务层反馈关注任务的处理进展；

所述调度服务层基于集群反馈的关注任务的处理进展，对数据库层中的关注记录条中的任务状态与所述处理进展进行匹配的更新。

7.根据权利要求6所述的云服务网络系统，其特征在于，对数据库层中的关注记录条中的任务状态与所述处理进展进行匹配的更新，具体包括：

在所述处理进展为指示正在对关注任务进行运算的情况下，关注记录条中的任务状态被更新为指示正在运算的第四状态；

在所述处理进展为指示关注任务处理出错的情况下，关注记录条中的任务状态被更新为指示关注任务出错的第五状态；

在所述处理进展为指示关注任务处理结束的情况下，关注记录条中的任务状态被更新为指示关注任务处理完成的第六状态。

8.根据权利要求7所述的云服务网络系统，其特征在于，在调度服务层查询到关注记录条的任务状态为第四状态的情况下，

调度服务层一直向集群传输第二指令，直到接收到的所述处理进展为指示关注任务处理出错或关注任务处理结束的情况下，不再向集群传输第二指令。

9.根据权利要求7所述的云服务网络系统，其特征在于，在调度服务层查询到关注记录条的任务状态为第五状态的情况下，结束整个任务。

10.根据权利要求7所述的云服务网络系统，其特征在于，在调度服务层查询到关注记录条的任务状态为第六状态的情况下，

所述调度服务层向所述集群传输获取关注输出目录的第三指令，该第三指令中包含关注任务编号；

所述集群响应于所述第三指令，将所述关注输出目录，传输至调度服务层。

11.根据权利要求10所述的云服务网络系统，其特征在于，所述集群将所述关注输出目录，复制至调度服务层，以使得关注输出目录和关注输入目录均保存在集群上；

所述调度服务层在接收到集群返回的关注输出目录后，将数据库层中的关注记录条的任务状态更新为指示关注任务已返回至调度服务层的第七状态。

12.根据权利要求11所述的云服务网络系统，其特征在于，在调度服务层查询到关注记录条的任务状态为第七状态的情况下，

所述调度服务层将接收到的所述关注输出目录剪切至网站服务层，以使得用户基于所述网站服务层能够获取到所述关注输出目录。

13.根据权利要求11所述的云服务网络系统，其特征在于，响应于用户基于交互界面执行的关注任务删除操作，数据库层中的关注记录条的任务状态被更新为指示关注任务被删除的第八状态；

在调度服务层查询到关注记录条的任务状态为第八状态的情况下，

所述调度服务层向集群传输删除与关注任务编号相关的数据的第四指令，所述第四指令中包含关注任务编号；

所述集群响应于所述第四指令，删除与所述关注任务编号关联的数据，并向所述调度服务层反馈已删除关注任务关联数据的处理进展；

调度服务层在接收到已删除关注任务关联数据的处理进展的情况下，将已删除的关注任务关联数据转移至历史任务中，并同时删除网站服务层中的关注任务关联数据。

14.根据权利要求1所述的云服务网络系统，其特征在于，所述云服务网络系统还包括网络交换层，所述网络交换层用于将来自所述调度服务层的指令发送到集群。