CN110290206A - 一种用于网吧环境的分布式计算系统及方法 - Google Patents

一种用于网吧环境的分布式计算系统及方法 Download PDF

Info

Publication number
CN110290206A
CN110290206A CN201910561097.6A CN201910561097A CN110290206A CN 110290206 A CN110290206 A CN 110290206A CN 201910561097 A CN201910561097 A CN 201910561097A CN 110290206 A CN110290206 A CN 110290206A
Authority
CN
China
Prior art keywords
task
computer
slice
calculating
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910561097.6A
Other languages
English (en)
Other versions
CN110290206B (zh
Inventor
谷瑞翔
黄一
邹泽东
张翼
苏春阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Science And Technology Co Ltd
Original Assignee
Chengdu Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Science And Technology Co Ltd filed Critical Chengdu Science And Technology Co Ltd
Priority to CN201910561097.6A priority Critical patent/CN110290206B/zh
Publication of CN110290206A publication Critical patent/CN110290206A/zh
Application granted granted Critical
Publication of CN110290206B publication Critical patent/CN110290206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/143—Termination or inactivation of sessions, e.g. event-controlled end of session
    • H04L67/145—Termination or inactivation of sessions, e.g. event-controlled end of session avoiding end of session, e.g. keep-alive, heartbeats, resumption message or wake-up for inactive or interrupted session

Abstract

本发明涉及一种用于网吧环境的分布式计算系统及方法，该系统包括由无盘服务器和若干计算机组成的计算机集群；所述无盘服务器的镜像部分部署有CoT Network‑CE文件传输系统和CoT Network‑CE客户端软件；所述CoT Network‑CE文件传输系统和CoT Network‑CE客户端软件均映射到网吧环境内的每台计算机。针对网吧环境对任务的下载采用分片技术及局域网P2P传输技术。本发明将所需计算的任务分为大量的任务切片，不同的计算机对任务的不同切片进行下载，最终保证每台计算机在最短的时间内拥有所需的完整任务信息，极大的提升了网吧环境中计算机对任务传输的效率，同时避免了大并发导致的上下行带宽拥塞问题。任务下载完成后，不同任务切片将在网吧环境内同时进行分布式并行化计算，极大提升任务计算的效率。

Description

一种用于网吧环境的分布式计算系统及方法
技术领域
本发明涉及计算机领域，并且更具体地，涉及一种用于网吧环境的分布式计算系统及方法。
背景技术
分布式计算是一种计算方法，在技术架构及实现方式上与集中式计算相对。随着计算技术的发展，有些计算任务需要非常巨大的计算力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将计算任务分解成许多小的部分，分配给多台计算机进行处理。这样可以加快整体计算时间，大大提高计算效率。
中国注册网吧十万家以上，拥有计算机数量超过800万台，属于非常优质的闲置计算资源池。由于网吧特殊的软硬件环境以及用户使用习惯，导致针对网吧环境的分布式计算具有相当大的技术难度。因此，目前国内外现有的分布式计算方法无一能够成功用于网吧环境。
发明内容
针对现有技术存在的问题，本发明实施例提供了一种用于网吧环境的分布式计算系统及方法，将分布式计算技术及边缘计算技术应用于网吧环境，通过部署在网吧无盘站环境镜像中的客户端实现对网吧计算机闲置时的计算资源的远程调用。
第一方面，本申请提供了一种用于网吧环境的分布式计算系统，包括网吧环境局域网内的无盘服务器和若干计算机组成的边缘计算机集群；
所述无盘服务器的镜像部分部署有CoT Network-CE文件传输系统和CoTNetwork-CE客户端软件；所述CoT Network-CE文件传输系统和CoT Network-CE客户端软件均映射到网吧环境局域网内的每台计算机；
所述CoT Network-CE文件传输系统包括连接的监控模块和数据下载模块；所述数据下载模块映射到网吧环境局域网内的每台计算机形成各子数据下载模块，所述监控模块与每台计算机的子数据下载模块连接；
所述监控模块，用于监控所有子数据下载模块已完成下载的任务切片信息,并根据所述任务切片信息向每台计算机的子数据下载模块发送P2P文件传输指令；
每个所述子数据下载模块，用于根据设定的分片策略从存储空间下载相应的任务切片；以及根据监控模块发送的P2P文件传输指令，从其他相应的子数据下载模块下载其对应的任务切片，使每台计算机上的所有任务切片形成完整的任务信息；其中，各子数据下载模块之间采用Peer-to-Peer点对点传输技术；
所述CoT Network-CE客户端软件包括工具下载模块和计算模块；
所述工具下载模块，用于根据每台计算机下载的任务切片下载相应的计算工具；
所述计算模块，用于根据每台计算机下载的计算工具和完整的任务信息进行分布式并行化计算不同的任务切片。
进一步，还包括通信模块，与外部设备进行通信以及上传各任务切片的计算结果。
进一步，还包括验证节点和整合节点，
所述验证节点，用于对每个任务切片的计算结果以及计算机上报的工作量进行验证，当所述任务的所有任务切片均验证通过后，将所有任务切片上传至整合节点；
所述整合节点，用于对接收到的所有任务切片进行整合，生成所述任务计算后的完整结果。
进一步，还包括文件调度服务器，用于接收需要执行计算的任务，并按照预设大小分成若干任务切片，基于机器学习算法将每个任务切片与计算机集群中可用的计算机进行匹配，并向匹配对应的计算机发送指令及任务基本信息，同时将每个任务切片及其计算工具上传至存储空间。
进一步，所述文件调度服务器在接收到执行计算任务切片的计算机中断计算时，重新匹配计算机并发送命令至匹配的计算机重新执行该任务切片的下载和计算。
进一步，所述调度服务器通过心跳连接与所述计算机集群中的每台计算机进行连接，用于实时掌握计算机的状态。
第二方面，提供了一种用于网吧环境的分布式计算方法，该方法应用于上述系统，包括以下步骤：
文件调度服务器通过心跳连接与网吧环境局域网内的边缘计算机集群中可用的计算机进行连接；
文件调度服务器按照预设大小将需要执行计算的任务分成若干任务切片，基于机器学习算法将每个任务切片与边缘计算机集群中可用的计算机进行匹配，并向匹配对应的计算机发送指令及任务基本信息，同时将每个任务切片及其计算工具上传至存储空间；
各匹配计算机接收到指令及任务基本信息后，各子数据下载模块从存储空间下载相应的任务切片信息，并将下载的任务切片信息反馈给监控模块；
监控模块根据所述任务切片信息向每台计算机的子数据下载模块发送P2P文件传输指令；
各子数据下载模块根据设定的分片策略从存储空间下载相应的任务切片；以及根据监控模块发送的P2P文件传输指令，从其他相应的子数据下载模块下载其对应的任务切片，使每台计算机上的所有任务切片形成完整的任务信息；其中，各子数据下载模块之间采用Peer-to-Peer点对点传输技术；
工具下载模块根据每台计算机下载的任务切片下载相应的计算工具；
计算模块根据每台计算机下载的计算工具和完整的任务信息进行分布式并行化计算不同的任务切片。
进一步，当计算机中断计算的任务切片时，文件调度服务器新匹配其他计算机重新对该任务切片进行下载和计算。
进一步，所述方法还包括:上传各任务切片的计算结果,并对每个任务切片的计算结果以及计算机上报的工作量进行验证，当所述任务的所有任务切片均验证通过后，将所有任务切片进行整合，生成所述任务计算后的完整结果。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本发明实施例提供了一种用于网吧环境的分布式计算系统及方法，针对网吧环境对任务的下载采用分片技术及局域网P2P传输技术。任务被分为大量256KB大小的任务切片(分片数量＝任务文件体积/256KB)，网吧内不同的计算机对任务的不同切片进行下载，同时在网吧局域网对已经下载完成的任务切片进行点对点传输，最终保证每台计算机在最短的时间内拥有所需的完整任务信息，极大的提升了网吧环境中计算机对任务传输的效率。同时避免了大并发导致的上下行带宽拥塞问题。
计算机完成任务文件及计算工具的下载之后，多台计算机基于各自持有的完整任务信息，对任务的不同部分进行分布式并行计算，极大的缩短了任务计算所需的时间。通过安装的客户端实现网吧环境内计算机与调度服务器的心跳连接，保证其计算状态实时更新。一旦计算机无法继续进行任务计算，比如由于网吧顾客使用、断电、死机等情况导致，调度服务器将立刻重新发送指令至可用计算机，其即刻重新启动相应任务切片的计算。
针对网吧无盘站环境的分布式不稳定计算节点(网吧计算机)的调度及管理技术的应用，极大的改善了网吧环境计算机在无人上网时产生的计算资源浪费问题。通过充分调用网吧无盘站环境中的大量计算机对特定任务进行分布式并行计算，可以提高一个数量级以上的计算速度。比如特定任务使用单台计算机需要耗时1000小时完成计算，如将该任务拆分为1000个任务单元，发送至1000个网吧环境计算机进行分布式并行计算，则计算最快可在1小时完成(不包括文件的传输时间)。
该方案具有巨大的应用价值，可将目前海量闲置的网吧环境计算机变为具有资源价值的边缘计算节点，为很多要求极大计算量的行业，如图形图像处理、大数据处理、基因序列比对、视频处理、工程计算、数值模拟等等提供更快速、更经济的计算服务。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的网吧环境拓扑示意图；
图2为本发明实施例一提供的CoT Network-CE文件传输系统架构图；
图3为本发明实施例一提供的工作流程图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
中国注册网吧十万家以上，拥有计算机数量超过800万台，属于非常优质的闲置计算资源池。由于网吧特殊的软硬件环境以及用户使用习惯，导致针对网吧环境的分布式计算有相当大的技术难度。针对现有技术存在的问题，本发明实施例提供了一种用于网吧环境的分布式计算系统及方法，包括网吧环境局域网内的无盘服务器和若干计算机组成的边缘计算机集群；
所述无盘服务器的镜像部分部署有CoT Network-CE文件传输系统和Co TNetwork-CE客户端软件；所述CoT Network-CE文件传输系统和CoT Net work-CE客户端软件均映射到网吧环境局域网内的每台计算机；
所述CoT Network-CE文件传输系统包括连接的监控模块和数据下载模块；所述数据下载模块映射到每台计算机形成各子数据下载模块，所述监控模块与每台计算机的子数据下载模块连接；
所述监控模块，用于监控所有子数据下载模块下载任务切片的信息,并根据所述任务切片信息向每台计算机的子数据下载模块发送指令；
每个子数据下载模块，首先用于根据设定的分片策略从存储空间下载相应的初始任务切片，当每台计算机都下载了同一任务的不同初始任务切片之后，监控模块发送指令至每台计算机，令其数据下载模块从其他计算机下载除该计算机拥有的初始任务切片之外的所有任务切片，最终使每台计算机上拥有完整的任务信息；其中，网吧环境局域网内各子数据下载模块之间对于任务切片的下载采用Peer-to-Peer点对点传输技术；
所述CoT Network-CE客户端软件包括工具下载模块和计算模块；
所述工具下载模块，用于根据每台计算机下载的任务切片下载相应的计算工具；
所述计算模块，用于根据每台计算机下载的计算工具和完整的任务信息进行分布式并行化计算不同的任务切片。
本发明充分调用网吧环境中大量电脑闲置时的计算资源，为各类任务提供新形态的计算服务。通过解决广域网分布式计算、多机并行计算、网吧无盘环境下任务接收及处理、网吧环境P2P文件传输、不稳定计算节点调用等技术问题，将闲时计算资源共享的功能赋予网吧环境中电脑节点，将分布式计算技术及边缘计算技术应用于网吧环境，通过部署在网吧无盘站环境镜像中的客户端实现对网吧计算机闲置时的计算资源的远程调用。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例一
本实施例提供一种用于网吧环境的分布式计算系统，如图1所示，为网吧环境拓扑图所示，包括互联网接入、路由器、主干交换机、无盘服务器(镜像及回写)、收银服务器、子交换机、以及若干计算机。所述无盘服务器的镜像部分部署有CoT Network-CE文件传输系统和CoT Network-CE客户端软件；所述CoT Network-CE文件传输系统和CoT Network-CE客户端软件均映射到每台计算机。
如图2所示，所述CoT Network-CE文件传输系统包括连接的监控模块和数据下载模块；所述数据下载模块映射到每台计算机形成各子数据下载模块，所述监控模块与每台计算机的子数据下载模块连接；
所述监控模块，用于监控所有子数据下载模块下载任务切片的信息,并根据所述任务切片信息向每台计算机的子数据下载模块发送指令；
每个子数据下载模块，首先用于根据设定的分片策略从存储空间下载相应的初始任务切片，当每台计算机都下载了同一任务的不同初始任务切片之后，监控模块发送指令至每台计算机，令其数据下载模块从其他计算机下载除该计算机拥有的初始任务切片之外的所有任务切片，最终使每台计算机上拥有完整的任务信息；其中，网吧环境局域网内各子数据下载模块之间对于任务切片的下载采用Peer-to-Peer点对点传输技术。
所述CoT Network-CE客户端软件包括工具下载模块和计算模块；
所述工具下载模块，用于根据每台计算机下载的任务切片下载相应的计算工具；
所述计算模块，用于根据每台计算机下载的计算工具和完整的任务信息进行分布式并行化计算不同的任务切片。
为了实现远程调用，还包括通信模块，与外部设备进行通信以及上传各任务切片的计算结果。
上述计算结果，为了使用户看到正确和完整的计算结果，还包括验证节点和整合节点，
所述验证节点，用对每个任务切片的计算结果以及计算机上报的工作量进行验证，当所述任务的所有任务切片均验证通过后，将所有任务切片上传至整合节点；
所述整合节点，用于对接收到的所有任务切片进行整合，生成所述任务计算后的结果。
本实施例中的计算任务是来自于外部计算机，即文件调度服务器，所述调度服务器通过心跳连接与所述计算机集群中的每台计算机进行连接，用于实时掌握计算机的状态。文件调度服务器用于接收需要执行计算的任务，并按照预设大小分成若干任务切片，基于机器学习算法将每个任务切片与计算机集群中可用的计算机进行匹配，并向匹配对应的计算机发送指令及任务基本信息，同时将每个任务切片及其计算工具上传至存储空间。
所述文件调度服务器在接收到执行计算任务切片的计算机中断计算时，重新匹配计算机并发送命令至匹配的计算机执行该任务切片的下载和计算。
如图3所示，为本实施例的工作流程图，其工作过程为：需要执行计算的任务被拆分后首先会被上传至存储空间，同时该任务的基本信息将上传至文件调度服务器。文件调度服务器通过心跳连接与网吧环境中每台计算机进行连接，实时掌握计算机的状态。文件调度服务器接收到待计算任务的信息后，基于特定的人工智能模型将任务的每个切片与可用的计算机进行最优化匹配。匹配完成后，文件调度服务器将发送命令至相应的计算机，使其通过存储空间下载指定的任务切片。下载完成后，计算机将调用本机CPU或GPU等计算资源对任务切片进行计算。对于中断计算的任务切片，文件调度服务器会重新匹配并命令其他计算机对该任务切片进行下载和计算。对于顺利完成的任务切片，计算机会将其上传至验证节点。验证节点会对任务块结果的正确性以及计算机上报的工作量这两个维度进行验证。验证通过的任务切片结果将被上传至整合节点。待该任务的其它任务切片全部完成计算后，整合节点会对任务切片进行整合，生成任务完成的计算结果。
基于同一发明构思，本申请提供了实施例一对应的方法，详见实施例二。
实施例二
相应于实施例一，本实施例提供了一种用于网吧环境的分布式计算方法，包括以下步骤：
文件调度服务器通过心跳连接与网吧环境局域网内的边缘计算机集群中可用的计算机进行连接；
文件调度服务器按照预设大小将需要执行计算的任务分成若干任务切片，基于机器学习算法将每个任务切片与边缘计算机集群中可用的计算机进行匹配，并向匹配对应的计算机发送指令及任务基本信息，同时将每个任务切片及其计算工具上传至存储空间；
各匹配计算机接收到指令及任务基本信息后，各子数据下载模块从存储空间下载相应的任务切片信息，并将下载的任务切片信息反馈给监控模块；
监控模块根据所述任务切片信息向每台计算机的子数据下载模块发送P2P文件传输指令；
各子数据下载模块根据设定的分片策略从存储空间下载相应的任务切片；以及根据监控模块发送的P2P文件传输指令，从其他相应的子数据下载模块下载其对应的任务切片，使每台计算机上的所有任务切片形成完整的任务信息；其中，各子数据下载模块之间采用Peer-to-Peer点对点传输技术；
工具下载模块根据每台计算机下载的任务切片下载相应的计算工具；
计算模块根据每台计算机下载的计算工具和完整的任务信息进行分布式并行化计算不同的任务切片。
所述方法还包括:上传各任务切片的计算结果,并对每个任务切片的计算结果以及计算机上报的工作量进行验证，当所述任务的所有任务切片均验证通过后，将所有任务切片进行整合，生成所述任务计算后的结果。
当计算机中断计算的任务切片时，文件调度服务器重新匹配其他计算机对该任务切片进行下载和计算。
由于本实施例所介绍的方法为实施本申请实施例一中一种用于网吧环境的分布式计算系统所采用的方法，故而基于本申请实施例一中所介绍的系统，本领域所属技术人员能够了解本实施例的方法的具体实施方式以及其各种变化形式，所以在此对于该方法如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的系统所采用的方法，都属于本申请所欲保护的范围。
本发明实施例提供的系统及方法在网吧环境进行部署和使用，具体的部署及使用方法如下：
1.网吧技术人员需确保网吧环境的计算机拥有intel i5以上CPU配置、20GB以上的无盘站映射系统盘空间、8GB以上的内存空间、以及GTX960以上的显卡配置；
2.网吧技术人员需确保网吧环境的计算机拥有Windows7，64位及以上版本的操作系统，VC运行库2013-2015；
3.网吧技术人员需在网吧环境的无盘服务器镜像中安装CoT Network-CE客户端软件(全套安装需耗时30分钟左右)以及CoT Network-CE文件传输系统(安装耗时5分钟以内)；
4.网吧技术人员需确保计算机主机保持开机状态。
本实施例针对网吧无盘站环境的分布式不稳定计算节点(网吧计算机)的调度及管理技术的应用，极大的改善了网吧环境计算机在无人上网时产生的计算资源浪费问题。通过充分调用网吧无盘站环境中的大量计算机对特定任务进行分布式并行计算，可以提高一个数量级以上的计算速度。比如特定任务使用单台计算机需要耗时1000小时完成计算，如将该任务拆分为1000个任务块，发送至1000个网吧环境计算机进行分布式并行计算，则计算最快可在1小时完成(不包括文件传输时间)。
针对网吧环境有限上下行带宽的任务文件分片技术及P2P传输技术的应用，极大的提升了网吧环境中计算机对任务传输的效率。同时避免了大并发导致的上下行带宽拥塞问题。任务下载完成后，多台计算机基于各自持有的完整任务信息，对任务的不同部分进行分布式并行计算，极大的缩短了任务计算所需的时间。
该方案具有巨大的应用价值，可将目前海量闲置的网吧环境计算机变为具有资源价值的边缘计算节点，为很多要求极大计算量的行业，如图形图像处理、大数据处理、基因序列比对、视频处理、工程计算、数值模拟等等。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种用于网吧环境的分布式计算系统，其特征在于，包括网吧环境局域网内的无盘服务器和若干计算机组成的边缘计算机集群；
所述无盘服务器的镜像部分部署有CoT Network-CE文件传输系统和Co T Network-CE客户端软件；所述CoT Network-CE文件传输系统和CoT Net work-CE客户端软件均映射到网吧环境局域网内的每台计算机；
所述CoT Network-CE文件传输系统包括连接的监控模块和数据下载模块；所述数据下载模块映射到网吧环境局域网内的每台计算机形成各子数据下载模块，所述监控模块与每台计算机的子数据下载模块连接；
所述监控模块，用于监控所有子数据下载模块已完成下载的任务切片信息,并根据所述任务切片信息向每台计算机的子数据下载模块发送P2P文件传输指令；
每个所述子数据下载模块，用于根据设定的分片策略从存储空间下载相应的任务切片；以及根据监控模块发送的P2P文件传输指令，从其他相应的子数据下载模块下载其对应的任务切片，使每台计算机上的所有任务切片形成完整的任务信息；其中，各子数据下载模块之间采用Peer-to-Peer点对点传输技术；
所述CoT Network-CE客户端软件包括工具下载模块和计算模块；
所述工具下载模块，用于根据每台计算机下载的任务切片下载相应的计算工具；
所述计算模块，用于根据每台计算机下载的计算工具和完整的任务信息进行分布式并行化计算不同的任务切片。
2.根据权利要求1所述的用于网吧环境的分布式计算系统，其特征在于，还包括通信模块，与外部设备进行通信以及上传各任务切片的计算结果。
3.根据权利要2所述的用于网吧环境的分布式计算系统，其特征在于，还包括验证节点和整合节点；
所述验证节点，用于对每个任务切片的计算结果以及计算机上报的工作量进行验证，当所述任务的所有任务切片均验证通过后，将所有任务切片上传至整合节点；
所述整合节点，用于对接收到的所有任务切片进行整合，生成所述任务计算后的完整结果。
4.根据权利要求2所述的用于网吧环境的分布式计算系统，其特征在于，还包括文件调度服务器，用于接收需要执行计算的任务，并按照预设大小分成若干任务切片，基于机器学习算法将每个任务切片与边缘计算机集群中可用的计算机进行匹配，并向匹配对应的计算机发送指令及任务基本信息，同时将每个任务切片及其计算工具上传至存储空间。
5.根据权利要求4所述的用于网吧环境的分布式计算系统，其特征在于，所述文件调度服务器在接收到执行计算任务切片的计算机中断计算时，重新匹配计算机并发送命令至匹配的计算机重新执行该任务切片的下载和计算。
6.根据权利要求6所述的用于网吧环境的分布式计算系统，其特征在于，所述文件调度服务器通过心跳连接与所述网吧环境局域网内的每台计算机进行连接，用于实时掌握计算机的状态。
7.一种用于网吧环境的分布式计算方法，其特征在于，该方法应用于权利要求1-6中任一项所述的系统，包括以下步骤：
文件调度服务器通过心跳连接与网吧环境局域网内的边缘计算机集群中可用的计算机进行连接；
文件调度服务器按照预设大小将需要执行计算的任务分成若干任务切片，基于机器学习算法将每个任务切片与边缘计算机集群中可用的计算机进行匹配，并向匹配对应的计算机发送指令及任务基本信息，同时将每个任务切片及其计算工具上传至存储空间；
各匹配计算机接收到指令及任务基本信息后，各子数据下载模块从存储空间下载相应的任务切片信息，并将下载的任务切片信息反馈给监控模块；
监控模块根据所述任务切片信息向每台计算机的子数据下载模块发送P2P文件传输指令；
各子数据下载模块根据设定的分片策略从存储空间下载相应的任务切片；以及根据监控模块发送的P2P文件传输指令，从其他相应的子数据下载模块下载其对应的任务切片，使每台计算机上的所有任务切片形成完整的任务信息；其中，各子数据下载模块之间采用Peer-to-Peer点对点传输技术；
工具下载模块根据每台计算机下载的任务切片下载相应的计算工具；
计算模块根据每台计算机下载的计算工具和完整的任务信息进行分布式并行化计算不同的任务切片。
8.根据权利要求7所述的用于网吧环境的分布式计算方法，其特征在于，当计算机中断计算的任务切片时，文件调度服务器重新匹配其他计算机对该任务切片进行下载和计算。
9.根据权利要求7所述的用于网吧环境的分布式计算方法，其特征在于，所述方法还包括:上传各任务切片的计算结果,并对每个任务切片的计算结果以及计算机上报的工作量进行验证，当所述任务的所有任务切片均验证通过后，将所有任务切片进行整合，生成所述任务计算后的完整结果。
CN201910561097.6A 2019-06-26 2019-06-26 一种用于网吧环境的分布式计算系统及方法 Active CN110290206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910561097.6A CN110290206B (zh) 2019-06-26 2019-06-26 一种用于网吧环境的分布式计算系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910561097.6A CN110290206B (zh) 2019-06-26 2019-06-26 一种用于网吧环境的分布式计算系统及方法

Publications (2)

Publication Number Publication Date
CN110290206A true CN110290206A (zh) 2019-09-27
CN110290206B CN110290206B (zh) 2021-12-03

Family

ID=68006174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910561097.6A Active CN110290206B (zh) 2019-06-26 2019-06-26 一种用于网吧环境的分布式计算系统及方法

Country Status (1)

Country Link
CN (1) CN110290206B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045826A (zh) * 2019-12-17 2020-04-21 四川省建筑设计研究院有限公司 一种针对局域网环境分布式并行渲染的计算方法及系统
CN114758555A (zh) * 2022-05-07 2022-07-15 杭州以诺行汽车科技股份有限公司 一种基于多传感器的汽车喷涂系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101094107A (zh) * 2006-06-21 2007-12-26 北京网视天元信息技术有限公司 视听节目p2p流媒体网络传播效果精确测量的系统及方法
CN101192946A (zh) * 2006-11-28 2008-06-04 欧阳炳宇 一种提高特定p2p嵌入式终端下载效率的方法和系统
CN101282281A (zh) * 2007-04-03 2008-10-08 华为技术有限公司 一种媒体分发系统、装置及流媒体播放方法
CN102970312A (zh) * 2011-09-01 2013-03-13 中兴通讯股份有限公司 基于p2p的无盘设备的网络启动方法及系统
CN104318402A (zh) * 2014-11-17 2015-01-28 国网上海市电力公司 基于电网gis平台的一体化规划设计信息系统
US20180139042A1 (en) * 2016-11-16 2018-05-17 StreamSpace, LLC Decentralized nodal network for providing security of files in distributed filesystems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101094107A (zh) * 2006-06-21 2007-12-26 北京网视天元信息技术有限公司 视听节目p2p流媒体网络传播效果精确测量的系统及方法
CN101192946A (zh) * 2006-11-28 2008-06-04 欧阳炳宇 一种提高特定p2p嵌入式终端下载效率的方法和系统
CN101282281A (zh) * 2007-04-03 2008-10-08 华为技术有限公司 一种媒体分发系统、装置及流媒体播放方法
CN102970312A (zh) * 2011-09-01 2013-03-13 中兴通讯股份有限公司 基于p2p的无盘设备的网络启动方法及系统
CN104318402A (zh) * 2014-11-17 2015-01-28 国网上海市电力公司 基于电网gis平台的一体化规划设计信息系统
US20180139042A1 (en) * 2016-11-16 2018-05-17 StreamSpace, LLC Decentralized nodal network for providing security of files in distributed filesystems

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
向锋: ""一种基于P2P的分布式文件共享系统的设计与实现"", 《中国优秀硕士论文全文数据库》 *
梦林文本的店: ""网维大师无盘解决方案"", 《HTTPS://WENKU.BAIDU.COM/VIEW/41F363B609A1284AC850AD02DE80D4D8D15A01C4.HTML》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045826A (zh) * 2019-12-17 2020-04-21 四川省建筑设计研究院有限公司 一种针对局域网环境分布式并行渲染的计算方法及系统
CN114758555A (zh) * 2022-05-07 2022-07-15 杭州以诺行汽车科技股份有限公司 一种基于多传感器的汽车喷涂系统及方法

Also Published As

Publication number Publication date
CN110290206B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
Zhang et al. Adaptive interference-aware VNF placement for service-customized 5G network slices
Cardellini et al. Optimal operator deployment and replication for elastic distributed data stream processing
US10884795B2 (en) Dynamic accelerator scheduling and grouping for deep learning jobs in a computing cluster
Dogan et al. Matching and scheduling algorithms for minimizing execution time and failure probability of applications in heterogeneous computing
Anagnostopoulos et al. Distributed run-time resource management for malleable applications on many-core platforms
CN106033476B (zh) 一种云计算环境中分布式计算模式下的增量式图计算方法
CN113708972B (zh) 一种服务功能链部署方法、装置、电子设备及存储介质
CN111444019B (zh) 云端协同的深度学习模型分布式训练方法及系统
CN108667657B (zh) 一种面向sdn的基于局部特征信息的虚拟网络映射方法
CN104428752A (zh) 将虚拟机流卸载至物理队列
CN107729138B (zh) 一种高性能分布式矢量空间数据的分析方法和装置
CN109117252B (zh) 基于容器的任务处理的方法、系统及容器集群管理系统
US11055139B2 (en) Smart accelerator allocation and reclamation for deep learning jobs in a computing cluster
Duong et al. A framework for dynamic resource provisioning and adaptation in iaas clouds
CN102281290A (zh) 一种PaaS云平台的仿真系统及方法
CN103812949A (zh) 一种面向实时云平台的任务调度与资源分配方法及系统
CN114610474A (zh) 一种异构超算环境下多策略的作业调度方法及系统
CN104331270A (zh) 一种流数据处理的方法、装置及系统
Jha et al. Multiobjective deployment of data analysis operations in heterogeneous IoT infrastructure
CN110290206A (zh) 一种用于网吧环境的分布式计算系统及方法
Yang et al. Reliable dynamic service chain scheduling in 5G networks
Luo et al. Efficient pipeline planning for expedited distributed dnn training
CN109976873B (zh) 容器化分布式计算框架的调度方案获取方法及调度方法
CN110532060A (zh) 一种混合网络环境数据采集方法及系统
Saravanan et al. Improving map reduce task scheduling and micro-partitioning mechanism for mobile cloud multimedia services

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant