CN211403427U - 一种分布式协同计算系统 - Google Patents
一种分布式协同计算系统 Download PDFInfo
- Publication number
- CN211403427U CN211403427U CN201921636933.4U CN201921636933U CN211403427U CN 211403427 U CN211403427 U CN 211403427U CN 201921636933 U CN201921636933 U CN 201921636933U CN 211403427 U CN211403427 U CN 211403427U
- Authority
- CN
- China
- Prior art keywords
- server
- resource
- computing
- distributed
- operation resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Computer And Data Communications (AREA)
Abstract
本实用新型公开了一种分布式协同计算系统,涉及计算机系统领域,包括协同管理服务器、路由器、多个VPN加密设备、多个服务器运算资源集群、多个分布式运算资源集群和多个超级计算机中心运算资源集群,所述协同管理服务器、路由器、多个VPN加密设备、多个服务器运算资源集群、多个分布式运算资源集群和多个超级计算机中心运算资源集群之间均通过网络接口连接。本实用新型综合计算资源的优点,提高系统运算效率和计算能力,解决了现有运算集群中的服务器都处于忙碌状态,新的数据处理任务需要长时间等待才能被执行时的效率低的问题;达到了无需增加计算资源服务器的数量,降低系统运维成本的效果。
Description
技术领域
本实用新型涉及计算机系统领域,具体为一种分布式协同计算系统。
背景技术
随着互联网的兴起,移动互联网,云计算,大数据,物联网应用达到了100多万种,互联网的汇聚作用使应用数量大幅度增加,而这些应用产生的高端应用需求更是千差万别,目前传统的计算型服务器系统单一的体系架构已经无法适应,无法满足目前大数据及高速数据处理的应用需求。
目前主流数据处理设备通常属于集中式运算集群,当数据处理任务较多且集中式运算集群中的计算设备都处于忙碌状态时,新的数据处理任务需要等待集中式运算集群中的计算设备空闲时才能够被处理,导致计算系统的运算效率不高。
实用新型内容
本实用新型的目的在于:为了解决计算系统的运算效率不高的问题,提供一种分布式协同计算系统。
为实现上述目的,本实用新型提供如下技术方案:一种分布式协同计算系统,包括协同管理服务器、路由器、多个VPN加密设备、多个服务器运算资源集群、多个分布式运算资源集群和多个超级计算机中心运算资源集群,其特征在于:所述协同管理服务器、路由器、多个VPN加密设备、多个服务器运算资源集群、多个分布式运算资源集群和多个超级计算机中心运算资源集群之间均通过网络接口连接。
优选地,所述服务器运算资源集群包括管理服务器、路由器、VPN加密设备与若干个节点服务器,所述节点服务器可分为单一资源服务器和拟态资源服务器,所述单一资源服务器包括一种计算资源,所述拟态资源服务器包括n种计算资源,n为大于等于2的整数,即每个拟态资源服务器至少2种计算资源。
优选地,所述分布式运算资源集群包括管理计算机、路由器、VPN加密设备与若干个普通计算机,每个所述普通计算机包括至少一种计算资源,所述分布式运算资源集群中包括n种计算资源,n为大于等于2的整数。
优选地,所述超级计算机中心运算资源集群包括主控服务器、路由器、VPN加密设备与若干个节点服务器,每个所述节点服务器包括至少一种计算资源,所述超级计算机中心运算资源集群包括n种计算资源,n为大于等于2的整数。
优选地,所述VPN加密设备是基于硬件的可靠以太网加密技术设备,可以在任何标准的公网以及私网网络环境中进行可靠的通信,VPN加密设备需成对出现,数据传输时,前端VPN加密设备进行数据加密,后端VPN加密设备接收到数据时,进行相应算法的解密,保证数据传输的安全性。
优选地,所述计算资源种类包括CPU、嵌入式CPU、DSP、GPU、嵌入式GPU、FPGA、CPLD和ASIC的至少一种。
优选地,所述拟态计算服务器系统包括机箱、电源、多个CPU、多内存、多风扇、多连接口、主板、光驱、硬盘、LED指示灯、按键与拟态计算板卡等。
一种分布式协同计算系统,包括下列步骤:
步骤一:对涉密文件使用脱密工具进行特征串提取操作;
步骤二:用户通过人机交互界面上传经过脱密后的业务;业务包括图形业务、计算业务、数据处理业务和通信业务;
步骤三:拟态协同解密软件平台创建业务,业务资源感知,决策计算资源。通过对业务进行能效评估、功能评估和优先级评估,生成最优资源配置,并生成最优执行策略;
步骤四:协同管理服务器按照最优执行策略,将各个计算任务下发至下级管理服务器;集群管理服务器将各个计算任务下发至确定出的最优计算资源设备,计算单元接收任务并穷举口令,开始计算;
步骤五:协同管理服务器得到最后数据处理任务对应的计算结果,反馈给用户端。
优选地,所述步骤一中的脱密是指当数据含有敏感数据时,使用脱密工具对数据文件执行脱密,完成脱密后,后续才能执行数据解析处理。脱密工具能根据各类业务算法的特点,依据相关数据脱密策略,保证每种不同算法数据的不可逆,确保数据文件安全性。
优选地,所述步骤四中的最优执行策略具体执行方式为:
第一步:先采用字典模式进行计算,即加载字典口令文件进行计算,针对任务文档负载变化,由协同管理平台决策,可感知各分区计算资源,分配参与计算的资源规模及配置计算单元的左右邻居节点;任务文档负载经由管理服务器,将任务分配到各个计算单元;计算单元接收任务,头节点计算单元通过字典库读取口令,开始计算,各计算单元将参与完成计算的字典转发给其右邻居节点;计算过程中,根据破解文档负载变化及计算单元负荷,由协同管理平台进行部署决策,动态调整参与计算的资源规模;当某个计算单元完成破解任务时,向协同管理平台提交正确结果,此时直接进入步骤五。若字典口令文件全部执行完毕,破解仍未完成时,向协同管理平台提交破解状态,进入第二步。
第二步:采用穷举模式进行计算,即按照穷举策略列表执行计算;针对任务文档负载变化,由协同管理平台决策,可感知各分区计算资源,分配参与计算的资源规模;任务文档负载经由管理服务器,将任务分配到各个计算单元;计算单元接收任务并穷举口令,开始计算;计算过程中,根据破解文档负载变化及计算单元负荷,由协同管理平台进行部署决策,动态调整参与计算的资源规模;当某个计算单元完成破解任务时,向协同管理平台提交正确结果,此时直接进入步骤五。若当前穷举策略列表内所有策略全部执行完毕,破解仍未完成时,向协同管理平台提交破解状态,进入第三步。
第三步:采用暴力破解模式进行计算,不同于第二步中穷举策略列表中的策略;由协同管理平台调用超级计算机集群中心分配的可参与计算的资源规模;平台将任务下发到超级计算机集群中心的主控服务器,主控服务器再将任务分配各个计算单元;计算单元接收任务并穷举口令,开始计算;当某个计算单元完成破解任务时,向协同管理平台提交正确结果,若在规定的时效内,破解仍未完成时,则协同管理平台停止计算。
与现有技术相比,本实用新型的有益效果是:本实用新型综合各计算资源的优点,提高系统的运算效率和计算能力,解决了当现有运算集群中的服务器都处于忙碌状态,新的数据处理任务需要长时间等待才能被执行时的效率低的问题;达到了无需增加计算资源服务器的数量,只需整合现有的各分布式运算资源类型,降低系统的运维成本的效果。
附图说明
图1为本实用新型的流程图;
图2为本实用新型拟态计算服务器系统的流程图;
图3为本实用新型分布式协同处理方法的流程图。
具体实施方式
下面将结合本实用新型实施例中的附图,对本实用新型实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本实用新型一部分实施例,而不是全部的实施例。基于本实用新型中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本实用新型保护的范围。
请参阅图1-3,一种分布式协同计算系统,包括协同管理服务器、路由器、多个VPN加密设备、多个服务器运算资源集群、多个分布式运算资源集群和多个超级计算机中心运算资源集群,协同管理服务器、路由器、多个VPN加密设备、多个服务器运算资源集群、多个分布式运算资源集群和多个超级计算机中心运算资源集群之间均通过网络接口连接。
实施例1
作为本实用新型的优选实施例:服务器运算资源集群包括管理服务器、路由器、VPN加密设备与若干个节点服务器,节点服务器可分为单一资源服务器和拟态资源服务器,单一资源服务器包括一种计算资源,拟态资源服务器包括n种计算资源,n为大于等于2的整数,即每个拟态资源服务器至少2种计算资源。
实施例2
作为本实用新型的优选实施例:分布式运算资源集群包括管理计算机、路由器、VPN加密设备与若干个普通计算机,每个普通计算机包括至少一种计算资源,分布式运算资源集群中包括n种计算资源,n为大于等于2的整数。
实施例3
作为本实用新型的优选实施例:超级计算机中心运算资源集群包括主控服务器、路由器、VPN加密设备与若干个节点服务器,每个节点服务器包括至少一种计算资源,超级计算机中心运算资源集群包括n种计算资源,n为大于等于2的整数。
实施例4
作为本实用新型的优选实施例:VPN加密设备是基于硬件的可靠以太网加密技术设备,可以在任何标准的公网以及私网网络环境中进行可靠的通信,VPN加密设备需成对出现,数据传输时,前端VPN加密设备进行数据加密,后端VPN加密设备接收到数据时,进行相应算法的解密,保证数据传输的安全性。
实施例5
作为本实用新型的优选实施例:计算资源种类包括CPU、嵌入式CPU、DSP、GPU、嵌入式GPU、FPGA、CPLD和ASIC的至少一种。
实施例6
作为本实用新型的优选实施例:拟态计算服务器系统包括机箱、电源、多个CPU、多内存、多风扇、多连接口、主板、光驱、硬盘、LED指示灯、按键与拟态计算板卡等。
一种分布式协同计算系统,包括下列步骤:
步骤一:对涉密文件使用脱密工具进行特征串提取操作;
步骤二:用户通过人机交互界面上传经过脱密后的业务;业务包括图形业务、计算业务、数据处理业务和通信业务;
步骤三:拟态协同解密软件平台创建业务,业务资源感知,决策计算资源。通过对业务进行能效评估、功能评估和优先级评估,生成最优资源配置,并生成最优执行策略;
步骤四:协同管理服务器按照最优执行策略,将各个计算任务下发至下级管理服务器;集群管理服务器将各个计算任务下发至确定出的最优计算资源设备,计算单元接收任务并穷举口令,开始计算;
步骤五:协同管理服务器得到最后数据处理任务对应的计算结果,反馈给用户端。
实施例1
作为本实用新型的优选实施例:步骤一中的脱密是指当数据含有敏感数据时,使用脱密工具对数据文件执行脱密,完成脱密后,后续才能执行数据解析处理。脱密工具能根据各类业务算法的特点,依据相关数据脱密策略,保证每种不同算法数据的不可逆,确保数据文件安全性。
实施例2
作为本实用新型的优选实施例:步骤四中的最优执行策略具体执行方式为:
第一步:先采用字典模式进行计算,即加载字典口令文件进行计算,针对任务文档负载变化,由协同管理平台决策,可感知各分区计算资源,分配参与计算的资源规模及配置计算单元的左右邻居节点;任务文档负载经由管理服务器,将任务分配到各个计算单元;计算单元接收任务,头节点计算单元通过字典库读取口令,开始计算,各计算单元将参与完成计算的字典转发给其右邻居节点;计算过程中,根据破解文档负载变化及计算单元负荷,由协同管理平台进行部署决策,动态调整参与计算的资源规模;当某个计算单元完成破解任务时,向协同管理平台提交正确结果,此时直接进入步骤五。若字典口令文件全部执行完毕,破解仍未完成时,向协同管理平台提交破解状态,进入第二步。
第二步:采用穷举模式进行计算,即按照穷举策略列表执行计算;针对任务文档负载变化,由协同管理平台决策,可感知各分区计算资源,分配参与计算的资源规模;任务文档负载经由管理服务器,将任务分配到各个计算单元;计算单元接收任务并穷举口令,开始计算;计算过程中,根据破解文档负载变化及计算单元负荷,由协同管理平台进行部署决策,动态调整参与计算的资源规模;当某个计算单元完成破解任务时,向协同管理平台提交正确结果,此时直接进入步骤五。若当前穷举策略列表内所有策略全部执行完毕,破解仍未完成时,向协同管理平台提交破解状态,进入第三步。
第三步:采用暴力破解模式进行计算,不同于第二步中穷举策略列表中的策略;由协同管理平台调用超级计算机集群中心分配的可参与计算的资源规模;平台将任务下发到超级计算机集群中心的主控服务器,主控服务器再将任务分配各个计算单元;计算单元接收任务并穷举口令,开始计算;当某个计算单元完成破解任务时,向协同管理平台提交正确结果,若在规定的时效内,破解仍未完成时,则协同管理平台停止计算.
对于本领域技术人员而言,显然本实用新型不限于上述示范性实施例的细节,而且在不背离本实用新型的精神或基本特征的情况下,能够以其他的具体形式实现本实用新型。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本实用新型的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本实用新型内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (6)
1.一种分布式协同计算系统,包括协同管理服务器、路由器、多个VPN加密设备、多个服务器运算资源集群、多个分布式运算资源集群和多个超级计算机中心运算资源集群,其特征在于:所述协同管理服务器、路由器、多个VPN加密设备、多个服务器运算资源集群、多个分布式运算资源集群和多个超级计算机中心运算资源集群之间均通过网络接口连接。
2.根据权利要求1所述的一种分布式协同计算系统,其特征在于:所述服务器运算资源集群包括管理服务器、路由器、VPN加密设备与若干个节点服务器,所述节点服务器可分为单一资源服务器和拟态资源服务器,所述单一资源服务器包括一种计算资源,所述拟态资源服务器包括n种计算资源,n为大于等于2的整数,即每个拟态资源服务器至少2种计算资源。
3.根据权利要求1所述的一种分布式协同计算系统,其特征在于:所述分布式运算资源集群包括管理计算机、路由器、VPN加密设备与若干个普通计算机,每个所述普通计算机包括至少一种计算资源,所述分布式运算资源集群中包括n种计算资源,n为大于等于2的整数。
4.根据权利要求1所述的一种分布式协同计算系统,其特征在于:所述超级计算机中心运算资源集群包括主控服务器、路由器、VPN加密设备与若干个节点服务器,每个所述节点服务器包括至少一种计算资源,所述超级计算机中心运算资源集群包括n种计算资源,n为大于等于2的整数。
5.根据权利要求1所述的一种分布式协同计算系统,其特征在于:所述VPN加密设备是基于硬件的可靠以太网加密技术设备,可以在任何标准的公网以及私网网络环境中进行可靠的通信,VPN加密设备需成对出现,数据传输时,前端VPN加密设备进行数据加密,后端VPN加密设备接收到数据时,进行相应算法的解密,保证数据传输的安全性。
6.根据权利要求2所述的一种分布式协同计算系统,其特征在于:所述拟态资源服务器系统包括机箱、电源、多个CPU、多内存、多风扇、多连接口、主板、光驱、硬盘、LED指示灯、按键与拟态计算板卡等。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201921636933.4U CN211403427U (zh) | 2019-09-29 | 2019-09-29 | 一种分布式协同计算系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201921636933.4U CN211403427U (zh) | 2019-09-29 | 2019-09-29 | 一种分布式协同计算系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN211403427U true CN211403427U (zh) | 2020-09-01 |
Family
ID=72209929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201921636933.4U Active CN211403427U (zh) | 2019-09-29 | 2019-09-29 | 一种分布式协同计算系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN211403427U (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112871808A (zh) * | 2021-03-08 | 2021-06-01 | 广州市晨力信息科技有限公司 | 一种分布式计算机管理系统 |
CN113612732A (zh) * | 2021-07-06 | 2021-11-05 | 华控清交信息科技(北京)有限公司 | 一种资源调用方法、装置和多方安全计算系统 |
-
2019
- 2019-09-29 CN CN201921636933.4U patent/CN211403427U/zh active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112871808A (zh) * | 2021-03-08 | 2021-06-01 | 广州市晨力信息科技有限公司 | 一种分布式计算机管理系统 |
CN112871808B (zh) * | 2021-03-08 | 2022-02-15 | 北京国联视讯信息技术股份有限公司 | 一种分布式计算机管理系统 |
CN113612732A (zh) * | 2021-07-06 | 2021-11-05 | 华控清交信息科技(北京)有限公司 | 一种资源调用方法、装置和多方安全计算系统 |
CN113612732B (zh) * | 2021-07-06 | 2023-12-26 | 华控清交信息科技(北京)有限公司 | 一种资源调用方法、装置和多方安全计算系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110727950A (zh) | 一种分布式协同计算系统和协同处理方法 | |
EP3574613B1 (en) | Unified resource management in a data center cloud architecture | |
KR102103596B1 (ko) | 계산 작업을 처리하기 위한 컴퓨터 클러스터 장치 및 이를 작동시키기 위한 방법 | |
US10996979B2 (en) | Job processing in quantum computing enabled cloud environments | |
JP3974913B2 (ja) | 待機リソースの使用を管理するための方法 | |
US9367359B2 (en) | Optimized resource management for map/reduce computing | |
KR20220006623A (ko) | 블록체인 합의 방법, 디바이스 및 시스템 | |
CN1870643A (zh) | 利用顺序号的数据通信协调 | |
CN211403427U (zh) | 一种分布式协同计算系统 | |
CN102917052A (zh) | 一种云计算系统中资源分配的方法 | |
US10333984B2 (en) | Optimizing data reduction, security and encryption requirements in a network environment | |
Thakkar et al. | Renda: resource and network aware data placement algorithm for periodic workloads in cloud | |
CN112035902A (zh) | 一种面向高速高并发应用的加密模组 | |
US9665401B2 (en) | Dynamic run time allocation of distributed jobs | |
JP2023046248A (ja) | プログラマブルネットワークデバイスを用いたメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリング並びに自動スケーリング | |
Saldanha et al. | Towards a hybrid federated cloud platform to efficiently execute bioinformatics workflows | |
Kim et al. | Creating a robust desktop grid using peer-to-peer services | |
CN112799851A (zh) | 多方安全计算中的数据处理方法和相关装置 | |
Wang et al. | Coupling GPU and MPTCP to improve Hadoop/MapReduce performance | |
CN110750798A (zh) | 一种协同计算管理平台和管理方法 | |
RU2459239C2 (ru) | Распределенная вычислительная система оптимальных решений | |
Chen et al. | Scheduling of job combination and dispatching strategy for grid and cloud system | |
Bai et al. | A hybrid ARM‐FPGA cluster for cryptographic algorithm acceleration | |
CN116527257B (zh) | 异构计算系统及基于异构计算系统的资源处理方法 | |
CN116166429B (zh) | 多安全芯片的通道属性确定方法及安全芯片装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant |