CN115543924A - 一种基于可信管理平台的任务处理方法及相关装置 - Google Patents
一种基于可信管理平台的任务处理方法及相关装置 Download PDFInfo
- Publication number
- CN115543924A CN115543924A CN202211508582.5A CN202211508582A CN115543924A CN 115543924 A CN115543924 A CN 115543924A CN 202211508582 A CN202211508582 A CN 202211508582A CN 115543924 A CN115543924 A CN 115543924A
- Authority
- CN
- China
- Prior art keywords
- management
- node
- data
- task
- trusted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 105
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000007726 management method Methods 0.000 claims description 415
- 238000013523 data management Methods 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 208000008918 voyeurism Diseases 0.000 abstract description 5
- 238000013475 authorization Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/45—Structures or tools for the administration of authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2107—File encryption
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种基于可信管理平台的任务处理方法及相关装置，方法应用于包括管理域的可信管理平台，管理域包括作为管理节点的机密计算协处理器和至少一个作为工作节点的机密计算协处理器；方法具体包括：管理节点将数据处理任务以及数据文件下发至目标工作节点，以使得目标工作节点基于数据文件执行数据处理任务以得到任务结果。本申请中的可信管理平台中的管理域间可以直接建立可信认证通道，并且各管理域中的管理节点与各工作节点建立可信认证通道，通过管理节点控制多个工作节点并行执行数据处理任务，这样在可以防止中心服务器篡改和偷窥硬件可信计算执行环境中的数据信息的同时，还可以满足大容量大规模低延迟的安全计算任务性能需求。
Description
技术领域
本申请涉及可信计算技术领域，特别涉及一种基于可信管理平台的任务处理方法及相关装置。
背景技术
硬件可信计算执行环境（TEE）可以保护应用和数据的安全，目前主流的TEE管理平台系统普遍采用中心化系统架构，例如，百度的mesa Tee、蚂蚁的摩斯安全计算平台以及洞见科技的Insight Box等。在中心化系统架构中需要由中心服务器作为认证节点，来协同各个工作节点完成安全计算任务，为了使得各中心化系统信任中心服务器，需增加认证节点与各工作节点之间的信任根，不仅会增加相应的成本，同时也降低可信计算的安全性。
因而现有技术还有待改进和提高。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种基于可信管理平台的任务处理方法及相关装置。
为了解决上述技术问题，本申请实施例第一方面提供了一种基于可信管理平台的任务处理方法，所述的方法应用于可信管理平台，所述可信管理平台包括至少一个管理域，管理域包括作为管理节点的机密计算协处理器和至少一个作为工作节点的机密计算协处理器；所述方法具体包括：
管理节点获取待处理的数据处理任务对应的目标工作节点，并将所述数据处理任务下发至所述目标工作节点；
管理节点接收所述目标工作节点发送的数据请求，其中，所述数据请求用于获取所述数据处理任务所需的数据文件；
管理节点获取所述数据文件，并将所述数据文件传输至所述目标工作节点，以使得所述目标工作节点基于所述数据文件执行所述数据处理任务以得到任务结果；
管理节点接收所述目标工作节点同步的任务结果。
在一个实现方式中，所述管理节点包括用户管理模块、数据管理模块、算法管理模块、任务管理模块、存证管理模块以及集群管理模块。
在一个实现方式中，所述用户管理模块用于对管理登录管理域的用户进行管理；所述数据管理模块用于接收数据文件，以及可信认证通道以及管理域之间的数据授权；所述算法管理模块用于接收算法文件；所述存证管理模块用于对可信管理平台中的管理域之间发生的数据信息在区块链上进行存证管理；所述务管理模块用于创建数据处理任务，并指定数据处理任务对应的工作节点以及数据文件；所述集群管理模块用于对其所处管理域中的工作节点进行管理。
在一个实现方式中，所述管理节点获取待处理的数据处理任务对应的目标工作节点，并将所述数据处理任务下发至所述目标工作节点具体包括：
管理节点接收数据处理任务，并基于所述数据处理任务所需的运算力以及各工作节点的节点运算力，将所述数据处理任务划分为若干子任务；
管理节点确定各子任务各自对应的目标工作节点，并将各子任务下发至各自对应的目标工作节点。
在一个实现方式中，所述管理节点获取所述数据文件具体包括：
管理节点搜索其所处的管理域是否存储所述数据请求对应的数据文件；
当未存储所述数据文件时，管理节点确定所述数据文件对应的目标管理域，与所述目标管理域建立可信认证通道，并通过所述可信认证通道从所述目标管理域获取所述数据文件，其中，所述目标管理域为所述可信管理平台中的一个管理域；
当存储有所述数据文件时，管理节点确定所述数据文件对应的数据工作节点，并从所述数据工作节点获取所述数据文件。
在一个实现方式中，所述从所述数据工作节点获取所述数据文件具体包括：
管理节点以加密通信方式从所述数据工作节点获取所述数据文件。
在一个实现方式中，所述管理节点与各工作节点间建立有可信认证通道。
在一个实现方式中，所述方法还包括：
管理节点接收管理操作，并获取所述管理操作对应的待管理工作节点，其中，所述管理操作包括删除操作、增加操作以及查看操作中的一种或者多种操作；
管理节点对所述待管理工作节点执行所述管理操作。
在一个实现方式中，所述管理节点对所述待管理工作节点执行所述管理操作具体包括：
当所述管理操作为删除操作时，管理节点将所述待管理工作节点移除所述管理域；
当所述管理操作为添加操作时，管理节点将所述待管理工作节点添加至所述管理域，并与所述待管理工作节点建立可信认证通道；
当所述管理操作为查看操作时，管理节点查看所述待管理工作节点。
在一个实现方式中，所述可信管理平台的部署过程具体包括：
部署若干机密计算协处理器，并在所述若干机密计算协处理器选取一机密计算协处理器作为管理节点，将未被选取的机密计算协处理器作为工作节点；
控制所述管理节点装载集群化框架，并基于所述集群化框架配置各工作节点以形成一管理域，以部署所述可信管理平台。
在一个实现方式中，所述工作节点存储有数据文件，所述管理节点存储有各数据文件对应的数据索引，其中，所述数据索引包括数据标识以及工作节点标识。
在一个实现方式中，所述管理节点获取待处理的数据处理任务对应的目标工作节点之前，所述方法还包括：
管理节点接收数据文件，并将所述数据文件划分为若干子数据文件；
管理节点确定各子数据文件对应的存储工作节点及数据索引；
管理节点将各子数据文件下发至各自对应的存储工作节点，并保存各子数据文件各自对应的数据索引。
本申请实施例第二方面提供了一种可信管理平台，所述可信管理平台包括至少一个管理域，管理域包括作为管理节点的机密计算协处理器和至少一个作为工作节点的机密计算协处理器；
所述管理节点用于确定待处理的数据处理任务对应的目标工作节点，并将所述数据处理任务下发至所述目标工作节点；接收所述目标工作节点发送的数据请求，获取所述数据文件，并将所述数据文件传输至所述目标工作节点，以使得所述目标工作节点基于所述数据文件执行所述数据处理任务以得到任务结果；接收所述目标工作节点同步的任务结果，其中，所述数据请求用于获取所述数据处理任务所需的数据文件。
本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的基于可信管理平台的任务处理方法的步骤。
本申请实施例第四方面提供了一种机密计算协处理器，所述机密计算协处理器用于执行如上所述的基于可信管理平台的任务处理方法的步骤。
有益效果：与现有技术相比，本申请提供了一种基于可信管理平台的任务处理方法及相关装置，方法应用于可信管理平台，所述可信管理平台包括至少一个管理域，所述管理域包括若干机密计算协处理器，若干机密计算协处理器中一机密计算协处理器为管理节点，其他机密计算协处理器为工作节点；所述方法具体包括：管理节点获取待处理的数据处理任务对应的目标工作节点，并将所述数据处理任务下发至所述目标工作节点；管理节点接收所述目标工作节点发送的数据请求；管理节点获取所述数据文件，并将所述数据文件传输至所述目标工作节点，以使得所述目标工作节点基于所述数据文件执行所述数据处理任务以得到任务结果；管理节点接收所述目标工作节点同步的任务结果。本申请中的可信管理平台中的管理域间可以直接建立可信认证通道，并且各管理域中的管理节点与各工作节点建立可信认证通道，通过管理节点控制多个工作节点并行执行数据处理任务，这样在可以防止中心服务器篡改和偷窥硬件可信计算执行环境中的数据信息的同时，还可以满足大容量大规模低延迟的安全计算任务性能需求。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的基于可信管理平台的结构原理图。
图2为本申请提供的基于可信管理平台中的管理域的部署示意图。
图3为本申请提供的基于可信管理平台的任务处理方法的流程图。
具体实施方式
本申请提供一种基于可信管理平台的任务处理方法及相关装置，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
经过研究发现，硬件可信计算执行环境（TEE）目前主流的应用平台普遍采用中心化系统架构，例如，百度的mesa Tee、蚂蚁的摩斯安全计算平台以及洞见科技的InsightBox等。在中心化系统架构中需要由中心服务器作为认证节点，来协同各个工作节点完成安全计算任务，为了使得各中心化系统信任中心服务器，需增加认证节点与各工作节点之间的信任根，不仅会增加相应的成本，同时也降低可信计算的安全性。
为了解决上述问题，在本申请实施例中，应用可信管理平台，所述可信管理平台包括至少一个管理域，管理域包括作为管理节点的机密计算协处理器和至少一个作为工作节点的机密计算协处理器；所述方法具体包括：管理节点获取待处理的数据处理任务对应的目标工作节点，并将所述数据处理任务下发至所述目标工作节点；管理节点接收所述目标工作节点发送的数据请求；管理节点获取所述数据文件，并将所述数据文件传输至所述目标工作节点，以使得所述目标工作节点基于所述数据文件执行所述数据处理任务以得到任务结果；管理节点接收所述目标工作节点同步的任务结果。本申请中的可信管理平台中的管理域间可以直接建立可信认证通道，并且各管理域中的管理节点与各工作节点建立可信认证通道，通过管理节点控制多个工作节点并行执行数据处理任务，这样在可以防止中心服务器篡改和偷窥硬件可信计算执行环境中的数据信息的同时，还可以满足大容量大规模低延迟的安全计算任务性能需求。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
实施例一
本实施例提供了一种基于可信管理平台，如图1所示，可信管理平台包括若干管理域，各管理域管理自身存储的内部资源（例如，数据文件、算法文件以及数据处理任务等），无需同步至中心服务器，保障了资源的安全性。各管理域间可以建立可信认证通道，并通过可信认证通道进行通讯，例如，可信管理平台包括管理域A和管理域B，管理域A和管理域B可以建立可信认证通道A-B，并管理域A可以通过可信认证通道A-B向管理域B发送信息，反之，管理域B也可以通过可信认证通道A-B向管理域A发送信息。由此可知，可信管理平台为去中心化的管理平台，在可信管理平台进行计算协作任务时，各管理域均可作为可信计算的一个参与方，与其他参与方进行可信通讯，实现管理域间的直接点对点通讯，不需要依赖于中心服务器去进行认证和协同服务，去除了中心服务器的信任根，防止服务器篡改和偷窥硬件可信计算执行环境中的计算资源，提高可信计算的安全性。
如图1和2所示，若干管理域中的每个管理域均包括若干机密计算协处理器（Secure Processing Unit, SPU），若干机密计算协处理器中一个机密计算协处理器作为管理节点，其余机密计算协处理器作为工作节点，各工作节点均与管理节点建立可信认证通道，并通过可信认证通道与管理节点进行通讯，也就是说，每个工作节点均可与管理节点进行通讯。这样在管理域接收到计算任务时，可以根据计算任务所需的运算力调配多个工作节点同时参与该计算任务，对计算任务进行并行处理，使得管理域可以执行大规模计算任务，提高了机密计算协处理器对大规模计算任务的支持性，保障计算任务的高可用性。
若干工作节点中的每个工作节点均可用于存储所属管理域的数据文件以及执行数据处理任务。同时，工作节点通过与管理节点之间的可信认证通道接收数据处理任务，并通过管理节点获取数据处理任务所需的数据文件，其中，数据文件可以为管理节点基于可信计算任务下发的，也可以是工作节点自身存储的；在数据处理任务执行完成后，会将执行得到的任务结果同步至管理节点，以使得管理节点获取到数据处理任务对应的任务结果。
所述管理节点用于确定数据处理任务对应的目标工作节点，并将所述数据处理任务下发至所述目标工作节点；接收所述目标工作节点发送的数据请求，获取所述数据文件，并将所述数据文件传输至所述目标工作节点，以使得所述目标工作节点基于所述数据文件执行所述数据处理任务以得到任务结果；接收所述目标工作节点同步的任务结果，其中，所述数据请求用于获取所述数据处理任务所需的数据文件。可以理解的是，管理节点可以对接收到的数据处理任务进行拆分，并将拆分得到各子数据处理任务下发至各工作节点，并整合各工作节点处理得到的任务结果，以得到数据处理任务的最终任务结果，其中，管理节点在为各工作节点分配子任务时，会根据各工作节点的节点运算力进行分配，并可以对已分配的子任务进行调度。此外，管理节点会根据各工作节点的数据文件存储情况，将接收到数据文件分发至各工作节点。
在一个实现方式中，如图2所示，管理节点可以配置管理系统，并通过其配置的管理系统对工作节点进行管理，工作节点可以存储有数据文件以及执行管理节点下发的数据处理任务。其中，管理系统包括用户管理模块、数据管理模块、算法管理模块、任务管理模块、存证管理模块以及集群管理模块。用户管理模块用于对管理登录管理域的用户进行管理，例如，创建用户账号，用户信息验证，用户信息存储等。
数据管理模块用于接收数据文件，其中，所述数据文件可以采用CSV本地文件、MySQL数据源以及Oracle数据源等形式上传。此外，数据管理模块还可以将数据文件划分为若干子数据文件下发至各工作节点，并存储各子数据文件对应的数据索引，其中，数据索引包括数据标识和节点标识，通过数据索引可以确定各自数据文件的存储位置，以及各工作节点所存储的数据文件。数据管理模块还用于可信认证通道以及管理域之间的数据授权。
算法管理模块用于接收需要保护的算法文件，其中，算法文件包括但不限于python算法格式文件、C++算法格式文件。任务管理模块用于接收数据处理任务，并将数据处理任务划分为若干子任务，然后将各子任务下发至工作节点。存证管理模块用于对可信管理平台中的管理域之间发生的发送、接收、计算、授权等信息在区块链上进行存证管理。
任务管理模块用于创建数据处理任务，并指定数据处理任务对应的所有参与管理域、使用的算法文件以及数据文件，同时，任务管理模块可以对其所处管理域所需执行的数据处理任务进行管理，例如，将数据处理任务划分为若干子任务，拒绝执行某个数据处理任务，优选执行某个数据处理任务等。集群管理模块用于所处管理域中的对工作节点进行管理，其中，管理包括删除、增加以及查看中的一种或者多种操作。
在一个实现方式中，所述可信管理平台的部署过程可以为：
部署若干机密计算协处理器，并在所述若干机密计算协处理器选取一机密计算协处理器作为管理节点，将未被选取的机密计算协处理器作为工作节点；
控制所述管理节点装载集群化框架，并基于所述集群化框架配置各工作节点以形成一管理域，以部署所述可信管理平台。
具体地，部署若干机密计算协处理器指的是将若干机密计算协处理器安装到管理域服务器上，并在若干机密计算协处理器中选取一个机密计算协处理器作为管理节点（Master节点），然后通过上传的部署指令将集群化框架（例如，spark框架）安装镜像包上传至管理节点，管理节点基于安装镜像包安装集群化管理框架，然后将若干机密计算协处理器中的其余机密计算协处理器配置于群化管理框架内，以形成一个管理域，然后重复上述步骤直至完成可信管理平台中所有管理域的部署，以得到可信管理平台。
在部署管理域后，管理域上的管理节点可以对管理域上的工作节点进行管理，其中，管理包括删除工作节点、增加工作节点以及查看工作节点中的一种或者多种操作。本实施例通过管理节点对工作节点管理根据管理域所需的运算力而灵活调整管理域中的工作节点，可以实大规模计算能力支撑和计算服务的高可用性和高容灭性。
在一个典型实现方式中，管理节点对工作节点的管理过程可以包括：
管理节点接收管理操作，并获取所述管理操作对应的待管理工作节点；
管理节点对所述待管理工作节点执行所述管理操作。
具体地，管理节点的集群管理模块对工作节点进行管理，也就是说，集群管理模块接收管理操作，其中，所述管理操作包括删除操作、增加操作以及查看操作中的一种或者多种操作。管理节点接收到管理操作后，确定管理操作对应的待管理工作节点，并对该待管理工作节点执行该管理操作，其中，当所述管理操作为删除操作时，管理节点将所述待管理工作节点移除所述管理域；当所述管理操作为添加操作时，管理节点将所述待管理工作节点添加至所述管理域，并与所述待管理工作节点建立认证通讯；当所述管理操作为查看操作时，管理节点查看所述待管理工作节点。
实施例二
本实施例提供了一种基于可信管理平台的任务处理方法，如图3所示，所述方法具体包括：
S10、管理节点获取待处理的数据处理任务对应的目标工作节点，并将所述数据处理任务下发至所述目标工作节点。
具体地，待处理的数据处理任务可以为管理节点的任务管理模块接收到的，也可以是管理节点的任务管理模块创建的，其中，数据处理任务可以为可信计算任务，计算协作任务等。在一个实现方式，数据处理任务为可信计算任务，并通过管理节点的任务管理模块新建的任务。
目标工作节点为用于执行数据处理任务的工作节点，其中，目标工作节点与管理节点部署于同一管理域。也就是说，管理节点在获取到待处理的数据处理任务后，可以通过任务管理模块在其所属的管理域中选取用于执行该数据处理任务的工作节点，以得到数据处理任务对应的目标工作节点。此外，由于每个工作节点的节点运算力为有限的，从而一个工作节点的节点运算力可能无法满足数据处理任务所需的运算力，而影响数据处理任务的处理速度。由此，用于执行数据处理任务的目标工作节点可以为多个，即管理节点可以通过任务管理模块获取到多个用于执行数据处理任务的目标工作节点。
基于此，在一个实现方式中，所述管理节点将所述数据处理任务下发至所述目标工作节点具体包括：
管理节点的任务管理模块接收数据处理任务，并基于所述数据处理任务所需的运算力以及各工作节点的节点运算力，将所述数据处理任务划分为若干子任务；
管理节点的任务管理模块确定各子任务各自对应的目标工作节点，并将各子任务下发至各自对应的目标工作节点。
具体地，各工作节点的节点运算力可以满足其对应的子任务所需的运算力，也就是说，在划分得到若干子任务后，每个子任务被分配至一个目标工作节点。其中，管理域中的各工作节点的节点运算力可以相同，也可以不同，在节点运算力相同时，直接基于节点运算力对数据处理任务进行划分；当节点运算力不同时，可以各工作节点中最小节点运算力进行任务划分，也可以基于各工作节点的节点运算力平均值进行划分等。本实施例管理节点的任务管理模块根据数据任务所需的运算力以及各工作节点的节点运算力将数据处理任务划分为若干子任务，每个子任务通过一个工作节点进行计算，这样可以通过多个工作节点并行执行数据处理任务，提高数据处理任务的执行速度，使得管理域可以适用于大规模计算任务。
管理节点的任务管理模块在确定各子任务各自对应的目标工作节点时，可以选取工作节点中处于空闲的空闲工作节点，然后为每个子任务选取一个空闲工作节点，以得到各子任务各自对应的目标工作节点。此外，值得说明的是，还可以采用其他方式确定各子任务各自对应的目标工作节点，例如，基于工作节点剩余运算力来为各子任务分配工作节点等，这里就不一一说明。
S20、管理节点接收所述目标工作节点发送的数据请求。
具体地，管理节点的数据管理模块存储有各工作节点中存储的数据文件的数据索引，数据文件存储于各工作节点内，也就是说，管理节点的数据管理模块存储有各数据文件对应的数据索引，工作节点存储有数据文件，管理节点的数据管理模块通过数据索引可以确定工作节点存储的数据文件。在一个典型实现方式中，数据索引包括数据标识和节点标识，数据标识用于标识数据文件，节点标识用于标识工作节点。
数据请求为目标工作节点基于其接收到数据处理任务所确定的，其中，所述数据请求用于获取所述数据处理任务所需的数据文件。也就是说，目标工作节点接收到数据处理任务后，确定所述数据处理任务所需的数据文件，并向管理节点发送数据请求，以便于通过数据请求获取数据处理任务对应的数据文件。此外，各工作节点存储的数据文件为管理节点的数据管理模块传输给各个工作节点的，也就是说，在管理节点的任务管理模块将数据处理任务下发至目标工作节点之前，管理节点的数据管理模块可以接收数据文件，并将数据文件下发至工作节点存储。
基于此，在一个实现方式中，所述管理节点接收所述目标工作节点发送的数据请求前，还包括：
管理节点的数据管理模块接收各工作节点上传的数据文件，并将所述数据文件划分为若干子数据文件；
管理节点的数据管理模块确定各子数据文件对应的存储工作节点及数据索引；
管理节点的数据管理模块将各子数据文件下发至各自对应的存储工作节点，并保存各子数据文件各自对应的数据索引。
具体地，在将数据文件划分为若干子数据文件时，可以通过等分方式将数据文件划分为若干子数据文件，也可以基于数据文件中所包含的数据对数据文件进行划分，以保证每个数据的完整性。管理节点的数据管理模块在划分得到若干子数据文件后，管理节点的数据管理模块确定用于存储各子数据文件的存储工作节点，然后基于存储工作节点的节点标识以及子数据文件的数据标识形成数据索引，管理节点的数据管理模块保存数据索引，将子数据文件通过可信认证通道发送至存储工作节点进行存储。此外，在管理节点的数据管理模块将子数据文件发送至存储工作节点时，为了保证数据传输的安全性，子数据文件可以采用加密通信方式进行传输，其中，加密通信方式指的是对可信认证通道进行加密，而子数据文件本身不进行加密。当然，在实际应用中，工作节点中的数据文件可以存储于存储工作节点的机密计算协处理器内，也可以存储于存储工作节点的机密计算协处理器对应的宿主机侧，其中，当子数据文件存储于存储工作节点的机密计算协处理器中时，子数据文件处于不加密状态，当子数据文件存储于宿主机侧时，子数据文件处于加密状态，这样可以进一步提高数据文件的安全性。
管理节点接收所述目标工作节点发送的数据请求时，从数据管理模块的数据索引库中查找数据处理任务所需的数据文件，并从存储所需数据文件的工作节点中获取所述数据文件。
S30、管理节点获取所述数据文件，并将所述数据文件传输至所述目标工作节点，以使得所述目标工作节点基于所述数据文件执行所述数据处理任务以得到任务结果。
具体地，所述数据文件存储于管理域中的工作节点中，管理节点的数据管理模块基于目标工作节点的数据请求从管理域中存储有该数据文件的工作节点中获取数据文件，这是由于管理节点的数据管理模块存储有数据索引，在接收到数据请求后，可以基于其存储的数据索引确定存储数据文件的工作节点。此外，数据文件还可以存储于工作管理平台的其他管理域中，从而管理节点的数据管理模块在获取数据文件时，可以搜索数据文件是否存储于其所处管理域的工作节点内，然后根据搜索结果进行相应获取操作。
基于此，在一个实现方式中，所述管理节点获取所述数据文件具体包括：
管理节点的数据管理模块搜索其所处的管理域是否存储所述数据请求对应的数据文件；
当未存储所述数据文件时，管理节点的数据管理模块确定所述数据文件对应的目标管理域，并与所述目标管理域建立可信认证通道，并通过所述可信认证通道从所述目标管理域获取所述数据文件；
当存储有所述数据文件时，管理节点的数据管理模块确定所述数据文件对应的数据工作节点，并从所述数据工作节点获取通过数据文件。
具体地，所述目标管理域为所述可信管理平台中的一个管理域，目标管理域内存储有数据请求对应的数据文件。管理域可以与目标管理域建立可信认证通道，并通过可信认证通道传输数据文件，其中，管理域可以与目标管理域建立可信认证通道指的是管理域中的管理节点与目标管理域中的目标管理节点建立可信认证通道，并且管理节点的数据管理模块会搜索是否获取目标管理域对于该数据文件的数据授权，若获取数据授权，则直接通过可信认证通道获取数据文件，若未获取数据授权，则向目标管理节点发送数据授权请求，在目标管理节点审批通过数据授权请求后，管理节点的数据管理模块通过管理节点与目标管理节点建立的可信认证通道获取数据文件，其中，目标管理节点的数据管理模块以加密通信方式将数据文件通过可信认证通道发送至管理节点的数据管理模块。此外，当管理域中的数据工作节点存储有所述数据文件时，管理节点的数据管理模块通过可信认证通道从数据工作节点获取数据文件，其中，管理节点的数据管理模块以加密通信方式从所述数据工作节点获取所述数据文件。此外，管理节点的存证管理模块可对管理域间管理域之间发生的数据授权、发送数据文件以及接收数据文件在区块链上进行存证管理。
S40、管理节点接收所述目标工作节点同步的任务结果。
具体地，目标工作节点执行数据处理任务以得到任务结果，并将任务结果同步至管理节点，以使得管理节点获取到任务结果。此外，当用于执行数据处理任务的目标工作节点为多个时，多个目标工作节点均将任务结果同步至管理节点，管理节点的任务管理模块对接收到的多个任务结果进行汇总，以得到数据处理任务的最终任务结果，完成数据处理任务。
综上所述，本实施例提供了一种基于可信管理平台的任务处理方法，应用可信管理平台，所述可信管理平台包括至少一个管理域，管理域包括作为管理节点的机密计算协处理器和至少一个作为工作节点的机密计算协处理器；所述方法具体包括：管理节点获取待处理的数据处理任务对应的目标工作节点，并将所述数据处理任务下发至所述目标工作节点；管理节点接收所述目标工作节点发送的数据请求；管理节点获取所述数据文件，并将所述数据文件传输至所述目标工作节点，以使得所述目标工作节点基于所述数据文件执行所述数据处理任务以得到任务结果；管理节点接收所述目标工作节点同步的任务结果。本申请中的可信管理平台中的管理域间可以直接建立可信认证通道，并且各管理域中的管理节点与各工作节点建立可信认证通道，通过管理节点控制多个工作节点并行执行数据处理任务，这样在可以防止中心服务器篡改和偷窥硬件可信计算执行环境中的数据信息的同时，还可以满足大容量大规模低延迟的安全计算任务性能需求。
基于上述基于可信管理平台的任务处理方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的基于可信管理平台的任务处理方法中的步骤。
基于上述基于可信管理平台的任务处理方法，本申请还提供了一种机密计算协处理器，所述机密计算协处理器用于执行如上述实施例所述的基于可信管理平台的任务处理方法中的步骤。
此外，上述存储介质以及机密计算协处理器中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (14)
1.一种基于可信管理平台的任务处理方法，其特征在于，所述的方法应用于可信管理平台，所述可信管理平台包括至少一个管理域，所述管理域包括作为管理节点的机密计算协处理器和至少一个作为工作节点的机密计算协处理器；所述方法具体包括：
管理节点获取待处理的数据处理任务对应的目标工作节点，并将所述数据处理任务下发至所述目标工作节点；
管理节点接收所述目标工作节点发送的数据请求，其中，所述数据请求用于获取所述数据处理任务所需的数据文件；
管理节点获取所述数据文件，并将所述数据文件传输至所述目标工作节点，以使得所述目标工作节点基于所述数据文件执行所述数据处理任务以得到任务结果；
管理节点接收所述目标工作节点同步的任务结果。
2.根据权利要求1所述基于可信管理平台的任务处理方法，其特征在于，所述管理节点包括用户管理模块、数据管理模块、算法管理模块、任务管理模块、存证管理模块以及集群管理模块。
3.根据权利要求1所述基于可信管理平台的任务处理方法，其特征在于，所述管理节点获取待处理的数据处理任务对应的目标工作节点，并将所述数据处理任务下发至所述目标工作节点具体包括：
管理节点接收数据处理任务，并基于所述数据处理任务所需的运算力以及各工作节点的节点运算力，将所述数据处理任务划分为若干子任务；
管理节点确定各子任务各自对应的目标工作节点，并将各子任务下发至各自对应的目标工作节点。
4.根据权利要求1所述基于可信管理平台的任务处理方法，其特征在于，所述管理节点获取所述数据文件具体包括：
管理节点搜索其所处的管理域是否存储所述数据请求对应的数据文件；
当未存储所述数据文件时，管理节点确定所述数据文件对应的目标管理域，与所述目标管理域建立可信认证通道，并通过所述可信认证通道从所述目标管理域获取所述数据文件，其中，所述目标管理域为所述可信管理平台中的一个管理域；
当存储有所述数据文件时，管理节点确定所述数据文件对应的数据工作节点，并从所述数据工作节点获取所述数据文件。
5.根据权利要求3所述基于可信管理平台的任务处理方法，其特征在于，所述从所述数据工作节点获取所述数据文件具体包括：
管理节点以加密通信方式从所述数据工作节点获取所述数据文件。
6.根据权利要求1-4任意一项所述基于可信管理平台的任务处理方法，其特征在于，所述管理节点与各工作节点间建立有可信认证通道。
7.根据权利要求1所述基于可信管理平台的任务处理方法，其特征在于，所述方法还包括：
管理节点接收管理操作，并获取所述管理操作对应的待管理工作节点，其中，所述管理操作包括删除操作、增加操作以及查看操作中的一种或者多种操作；
管理节点对所述待管理工作节点执行所述管理操作。
8.根据权利要求7所述基于可信管理平台的任务处理方法，其特征在于，所述管理节点对所述待管理工作节点执行所述管理操作具体包括：
当所述管理操作为删除操作时，管理节点将所述待管理工作节点移除所述管理域；
当所述管理操作为添加操作时，管理节点将所述待管理工作节点添加至所述管理域，并与所述待管理工作节点建立可信认证通道；
当所述管理操作为查看操作时，管理节点查看所述待管理工作节点。
9.根据权利要求1所述基于可信管理平台的任务处理方法，其特征在于，所述可信管理平台的部署过程具体包括：
部署若干机密计算协处理器，并在所述若干机密计算协处理器选取一机密计算协处理器作为管理节点，将未被选取的机密计算协处理器作为工作节点；
控制所述管理节点装载集群化框架，并基于所述集群化框架配置各工作节点以形成一管理域，以部署所述可信管理平台。
10.根据权利要求1所述基于可信管理平台的任务处理方法，其特征在于，所述工作节点存储有数据文件，所述管理节点存储有各数据文件对应的数据索引，其中，所述数据索引包括数据标识以及工作节点标识。
11.根据权利要求10所述基于可信管理平台的任务处理方法，其特征在于，所述管理节点获取待处理的数据处理任务对应的目标工作节点之前，所述方法还包括：
管理节点接收数据文件，并将所述数据文件划分为若干子数据文件；
管理节点确定各子数据文件对应的存储工作节点及数据索引；
管理节点将各子数据文件下发至各自对应的存储工作节点，并保存各子数据文件各自对应的数据索引。
12.一种可信管理平台，其特征在于，所述可信管理平台包括至少一个管理域，所述管理域包括作为管理节点的机密计算协处理器和至少一个作为工作节点的机密计算协处理器；
所述管理节点用于确定待处理的数据处理任务对应的目标工作节点，并将所述数据处理任务下发至所述目标工作节点；接收所述目标工作节点发送的数据请求，获取数据文件，并将所述数据文件传输至所述目标工作节点，以使得所述目标工作节点基于所述数据文件执行所述数据处理任务以得到任务结果；接收所述目标工作节点同步的任务结果，其中，所述数据请求用于获取所述数据处理任务所需的数据文件。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-11任意一项所述的基于可信管理平台的任务处理方法的步骤。
14.一种机密计算协处理器，其特征在于，所述机密计算协处理器用于执行如权利要求1-11任意一项所述的基于可信管理平台的任务处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211508582.5A CN115543924B (zh) | 2022-11-29 | 2022-11-29 | 一种基于可信管理平台的任务处理方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211508582.5A CN115543924B (zh) | 2022-11-29 | 2022-11-29 | 一种基于可信管理平台的任务处理方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115543924A true CN115543924A (zh) | 2022-12-30 |
| CN115543924B CN115543924B (zh) | 2023-08-15 |
Family
ID=84721604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211508582.5A Active CN115543924B (zh) | 2022-11-29 | 2022-11-29 | 一种基于可信管理平台的任务处理方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115543924B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116225723A (zh) * | 2023-05-09 | 2023-06-06 | 粤港澳大湾区数字经济研究院(福田) | 数据处理方法、装置及计算机可读存储介质 |
| CN117220902A (zh) * | 2023-07-24 | 2023-12-12 | 达州市斑马工业设计有限公司 | 应用于智慧云的数据攻击处理方法及服务器 |
| CN117811920A (zh) * | 2024-02-29 | 2024-04-02 | 粤港澳大湾区数字经济研究院(福田) | 一种基于区块链的智能合约管理方法、系统、终端及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050091402A1 (en) * | 2003-10-23 | 2005-04-28 | Microsoft Corporation | System and method for name resolution |
| CN102081841A (zh) * | 2011-01-18 | 2011-06-01 | 北京世纪高通科技有限公司 | 一种海量交通数据的处理方法及系统 |
| CN104536805A (zh) * | 2014-12-25 | 2015-04-22 | 曙光云计算技术有限公司 | 一种虚拟化平台的资源提供系统及方法 |
| CN108702527A (zh) * | 2015-12-15 | 2018-10-23 | 瑞典爱立信有限公司 | 用于使用通用夹层分发格式的媒体传送的系统和方法 |
| CN111262724A (zh) * | 2020-01-07 | 2020-06-09 | 中国联合网络通信集团有限公司 | 一种域间信任关系的确认方法和装置 |
| CN111460429A (zh) * | 2020-03-30 | 2020-07-28 | 北京百度网讯科技有限公司 | 基于可信执行环境的任务处理方法、装置、设备和介质 |
| CN111930523A (zh) * | 2020-09-28 | 2020-11-13 | 支付宝(杭州)信息技术有限公司 | 一种用于服务集群的负载均衡方法和系统 |
| CN112564958A (zh) * | 2020-11-30 | 2021-03-26 | 清华大学 | 域内信任度数据共享系统 |
-
2022
- 2022-11-29 CN CN202211508582.5A patent/CN115543924B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050091402A1 (en) * | 2003-10-23 | 2005-04-28 | Microsoft Corporation | System and method for name resolution |
| CN102081841A (zh) * | 2011-01-18 | 2011-06-01 | 北京世纪高通科技有限公司 | 一种海量交通数据的处理方法及系统 |
| CN104536805A (zh) * | 2014-12-25 | 2015-04-22 | 曙光云计算技术有限公司 | 一种虚拟化平台的资源提供系统及方法 |
| CN108702527A (zh) * | 2015-12-15 | 2018-10-23 | 瑞典爱立信有限公司 | 用于使用通用夹层分发格式的媒体传送的系统和方法 |
| CN111262724A (zh) * | 2020-01-07 | 2020-06-09 | 中国联合网络通信集团有限公司 | 一种域间信任关系的确认方法和装置 |
| CN111460429A (zh) * | 2020-03-30 | 2020-07-28 | 北京百度网讯科技有限公司 | 基于可信执行环境的任务处理方法、装置、设备和介质 |
| CN111930523A (zh) * | 2020-09-28 | 2020-11-13 | 支付宝(杭州)信息技术有限公司 | 一种用于服务集群的负载均衡方法和系统 |
| CN112564958A (zh) * | 2020-11-30 | 2021-03-26 | 清华大学 | 域内信任度数据共享系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116225723A (zh) * | 2023-05-09 | 2023-06-06 | 粤港澳大湾区数字经济研究院(福田) | 数据处理方法、装置及计算机可读存储介质 |
| CN116225723B (zh) * | 2023-05-09 | 2023-11-21 | 粤港澳大湾区数字经济研究院(福田) | 数据处理方法、装置及计算机可读存储介质 |
| CN117220902A (zh) * | 2023-07-24 | 2023-12-12 | 达州市斑马工业设计有限公司 | 应用于智慧云的数据攻击处理方法及服务器 |
| CN117811920A (zh) * | 2024-02-29 | 2024-04-02 | 粤港澳大湾区数字经济研究院(福田) | 一种基于区块链的智能合约管理方法、系统、终端及介质 |
| CN117811920B (zh) * | 2024-02-29 | 2024-06-11 | 粤港澳大湾区数字经济研究院(福田) | 一种基于区块链的智能合约管理方法、系统、终端及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115543924B (zh) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115543924B (zh) | 一种基于可信管理平台的任务处理方法及相关装置 | |
| CN102170440B (zh) | 适用于存储云间数据安全迁移的方法 | |
| CN109033855B (zh) | 一种基于区块链的数据传输方法、装置及存储介质 | |
| CN109246176B (zh) | 软件定义网络中基于区块链的多控制器同步方法及装置 | |
| CN112835977B (zh) | 一种基于区块链的数据库管理方法及系统 | |
| CN102710630A (zh) | 一种多线程分片的云上传下载方法及系统 | |
| US20160352779A1 (en) | Techniques for establishing a trusted cloud service | |
| US20210176328A1 (en) | Management Services for Distributed Computing Architectures Using Rolling Changes | |
| CN102427447A (zh) | 一种税务云计算系统之间共享身份认证信息的方法 | |
| CN113515364B (zh) | 一种数据迁移的方法及装置、计算机设备和存储介质 | |
| CN111654372B (zh) | 密钥管理方法及相关装置 | |
| CN112231755A (zh) | 一种基于区块链的数据授权方法、装置及系统 | |
| CN108521424A (zh) | 面向异构终端设备的分布式数据处理方法 | |
| CN115550070B (zh) | 一种多方协作方法及相关装置 | |
| CN105323295A (zh) | 内容分发方法、内容传输方法及服务器和端节点 | |
| CN114239044A (zh) | 一种去中心化的可追溯共享访问系统 | |
| CN113987475A (zh) | 分布式资源管理系统及方法、凭证信息的管理系统、介质 | |
| CN109951452B (zh) | 一种处理密码学任务的方法及装置 | |
| CN108616517A (zh) | 高可靠云平台服务提供方法 | |
| CN111083200B (zh) | 智能服务网络系统 | |
| CN114866334B (zh) | 一种数据融合处理方法及装置 | |
| CN117041249A (zh) | 计算设备组网方法、装置、计算设备及存储介质 | |
| CN108449358A (zh) | 基于云的低延时安全计算方法 | |
| CN113949432B (zh) | 面向飞行任务无人机区块链建立方法、系统、设备、终端 | |
| CN116302462A (zh) | 一种基于云的分布式地图切片方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20221230 Assignee: Shenzhen Qiangji Computing Technology Co.,Ltd. Assignor: Guangdong Hong Kong Macao Dawan District Digital Economy Research Institute (Futian) Contract record no.: X2023980045750 Denomination of invention: A Task Processing Method and Related Devices Based on Trusted Management Platform Granted publication date: 20230815 License type: Exclusive License Record date: 20231103 |
|
| EE01 | Entry into force of recordation of patent licensing contract |