CN114595051B - 一种增强云计算协作数据处理的方法、系统及电子设备 - Google Patents

一种增强云计算协作数据处理的方法、系统及电子设备 Download PDF

Info

Publication number
CN114595051B
CN114595051B CN202210500349.6A CN202210500349A CN114595051B CN 114595051 B CN114595051 B CN 114595051B CN 202210500349 A CN202210500349 A CN 202210500349A CN 114595051 B CN114595051 B CN 114595051B
Authority
CN
China
Prior art keywords
scheduling
data
cloud computing
task
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210500349.6A
Other languages
English (en)
Other versions
CN114595051A (zh
Inventor
王嘉诚
张少仲
张栩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongcheng Hualong Computer Technology Co Ltd
Original Assignee
Zhongcheng Hualong Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongcheng Hualong Computer Technology Co Ltd filed Critical Zhongcheng Hualong Computer Technology Co Ltd
Priority to CN202210500349.6A priority Critical patent/CN114595051B/zh
Publication of CN114595051A publication Critical patent/CN114595051A/zh
Application granted granted Critical
Publication of CN114595051B publication Critical patent/CN114595051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5072Grid computing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种增强云计算协作数据处理的方法、系统及电子设备,涉及云计算领域,现有的云计算方式仅支持独立地、完整的计算过程,而难以与本地计算协作支撑。本方案中,在本地设有至少一个云计算执行模块,与本地处理器交换数据,该执行模块为独立的协处理器芯片或本地处理器芯片中的多个计算核,对于核心处理器来说,属于本地设备,直接调度任务和数据交付云计算执行模块执行,不必关注计算的过程和等待结果。在芯片硬件中的云计算执行模块通过任务分配、算法选择、资源协调,生成包含动态调度、运行参数和算法组合的配置文件,作为数据处理应用的输入,使得资源利用率最大,提高与本地的计算协作配合效率及数据的传输可靠性。

Description

一种增强云计算协作数据处理的方法、系统及电子设备
技术领域
本发明涉及云计算领域,更具体的说:它涉及一种云计算数据处理方法、系统及电子设备,提高与本地的计算协作配合及数据的传输安全性。
背景技术
云计算是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期,简单地说,就是简单的分布式计算,解决任务分发,并进行计算结果的合并。因而,云计算又称为网格计算。通过这项技术,可以在很短的时间内完成对数以万计的数据的处理,从而达到强大的网络服务。
现有的云计算环境,存在以下问题:
(1)云计算方式仅支持独立地、完整的计算过程,而难以与本地计算协作支撑。
(2)云计算处理数据的精准度较差,云计算处理数据任务的质量下降。
(3)数据处理的复杂度很高,处理流程复杂,数据类型异构和数据算法繁多,需要通过一定的机制来协同完成特定的任务。
(4)数据对象的处理过程要求动态可扩展,需要根据应用需求动态地增减计算机资源。
因此亟需研发一种增强云计算协作数据处理的方法及装置、电子设备。
发明内容
为了克服上述现有技术的不足,本公开提供了一种增强云计算协作数据处理的方法及系统、电子设备,通过在本地设置至少一个云计算执行模块,通过协同模型与本地处理器共同执行任务调度与数据交换,将待执行的任务和数据通过网络接口对接到实际的云计算平台执行,并返回数据处理结果,提高与本地的计算协作配合效率及数据的传输安全性。
本申请实施例提供一种增强云计算协作数据处理的方法及系统、电子设备,能够高与本地的计算协作配合效率及数据的传输安全性。
本公开所采用的技术方案是:
本发明实施例的第一方面提出一种增强云计算协作数据处理的方法,包括:云计算平台、终端,其中终端通过移动通信网络与云计算平台进行通信;在终端本地设有至少一个云计算执行模块,所述云计算执行模块通过协作模型实现任务调度及与本地处理器交换数据,该执行模块为独立的协处理器芯片或本地处理器芯片中的多个计算核,通过任务分配、算法选择、资源协调,生成包含动态调度、运行参数和算法组合的配置文件,作为数据处理应用的输入,直接调度任务和将数据交付云计算执行模块执行,不必关注计算的过程和等待结果,而该执行模块可访问存储器的数据以及与核心处理器交换数据,将待执行的任务和数据通过网络接口对接到实际的云计算平台执行,并将计算结果反馈到本地存储器或交换给核心处理器;其中,所述云计算平台由控制中心和多个调度节点构成。
可选的,在本发明实施例第一方面的第一种实现方式中,所述协作模型包括:
应用接口层,设置在应用平台上,通过集成malink协议对外提供同步和异步的HTTP接口,通过应用平台和开发接口,同时与多个应用系统进行连接获取数据,将应用数据和参数传给分布式数据库,进行协同保存;基础管理层,用于对云计算平台的参数更新权限进行设置,确保使用云计算平台的安全性;数据管理层,用于数据的协同管理,包括多个分布式数据库,通过数据加密技术实现数据的分布式存储,通过应用平台和开发接口,将应用数据和参数传给分布式数据库,进行协同保存;调度执行层,根据需求条件与预设算法库中的算法进行匹配,实现不同应用的任务协同调度。
可选的,在本发明实施例第一方面的第一种实现方式中,所述云计算执行模块通过协作模型实现任务调度,包括:
S3.1、接收本地处理器发送的待调度任务资源需求,根据所述待调度任务资源需求从分布式数据库中提取多个维度的数据特征;
S3.2、根据所述数据特征从预设的算法库中匹配任务调度算法,并进行节点的调度能力进行综合评分,所述预设的算法库中设置有调度算法与多个维度的数据特征的一一对应的映射关系;
S3.3、根据所述综合评分确定云计算平台中的最优调度节点,将待调度任务调度到调度方案指定的最优调度节点进行执行。
可选的,在本发明实施例第一方面的第一种实现方式中,所述综合评分通过以下方式得到:
分别为每个维度的数据特征设置加权系数和基础分值,通过加权计算得到每个调度方案的综合评分:
其中,N为维度的个数,表示第i个维度的加权系数,表示第i个维度的基础分值。
可选的,在本发明实施例第一方面的第一种实现方式中,所述对云计算平台的参数更新权限进行设置包括:预先设置个人授权信息进行设置,其中包括用户的多项个人信息,当用户通过用户名对参数更新权限进行申请时,根据所述用户名随机提取该用户名对应下的两项个人信息提示用户进行输入,当输入成功时,开放参数更新权限。
可选的,在本发明实施例第一方面的第一种实现方式中,开放参数更新权限的过程还包括:
云计算平台具有对错误进行定位及纠错的功能,当用户要在云端上做出信息查看时,云端会产生与之相关的响应,从而判断数据有无具备安全性,当用户没有通过检验,说明文件已遭到损坏,云计算平台可以通过编码的冗余信息或副本冗余编码模式来进行重新复原。
本发明实施例的第二方面提供了增强云计算协作数据处理的系统,所述系统包括:
云计算平台、终端,其中终端通过移动通信网络与云计算平台进行通信;在终端本地设有至少一个云计算执行模块,所述云计算执行模块通过协作模型实现任务调度及与本地处理器交换数据,该执行模块为本地处理器的协处理器或多个计算核,通过任务分配、算法选择、资源协调,生成包含动态调度、运行参数和算法组合的配置文件,作为数据处理应用的输入,直接调度任务和将数据交付云计算执行模块执行,不必关注计算的过程和等待结果,而该执行模块可访问存储器的数据以及与核心处理器交换数据,将待执行的任务和数据通过网络接口对接到实际的云计算平台执行,并将计算结果反馈到本地存储器或交换给核心处理器;其中,所述云计算平台由控制中心和多个调度节点构成。
本发明实施例的第三方面提供了一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现任意一项所述的增强云计算协作数据处理的方法。
本发明实施例的第四方面提供了一种计算机可读存储介质,其特征在于,包括指令,当所述指令在计算机上运行时,使得计算机执行上述任一实施方式所述的增强云计算协作数据处理的方法。
本发明实施例提供的技术方案中,通过在终端本地设有至少一个云计算执行模块,所述云计算执行模块通过协作模型实现任务调度及与本地处理器交换数据,该执行模块为本地处理器的协处理器或多个计算核,通过任务分配、算法选择、资源协调,生成包含动态调度、运行参数和算法组合的配置文件,作为数据处理应用的输入,直接调度任务和将数据交付云计算执行模块执行,不必关注计算的过程和等待结果,而该执行模块可访问存储器的数据以及与核心处理器交换数据,将待执行的任务和数据通过网络接口对接到实际的云计算平台执行,并将计算结果反馈到本地存储器或交换给核心处理器。本发明实施例,提高与本地的计算协作配合效率及数据的传输可靠性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1表示通信网络的架构示意图;
图2表示云计算执行模块通过协作模型实现任务调度流程示意图。
图3表示协同任务调度机制和流程图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合;并且,基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
需要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说 明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明实施例提供一种增强云计算协作数据处理的方法及系统、电子设备,应用于如图1所示的通信网络的架构中;该网络结构包括:云计算平台、终端,其中终端通过移动通信网络与云计算平台进行通信。
可选地,移动通信网络模块可以为,但不限于无线保真(Wireless Fidelity,简称WIFI)通信模块、蓝牙通信 (Harold Bluetooth,简称BLE)模块、Zigbee通信模块等。
可选地,云计算平台由控制中心和多个调度节点构成。云中节点的设计需要采用某一种拓扑结构,对于数据存储服务来说,星形结构的设计有利于充分发挥云的可伸缩性特点.由于云中的节点是动态启动、分配和回收的,因而云设计是以一个中心控制服务器为中心的星形结构,中心控制服务器控制和管理周围各运行节点的运行,而各节点均与数据池保持通信。
在终端本地设有至少一个云计算执行模块,所述云计算执行模块通过协作模型实现任务调度及与本地处理器交换数据,该执行模块可以是一个独立的协处理器芯片,这样的设置下执行模块具有更好的独立性,数据吞吐和处理能力更大、性能更强,另一方面该执行模块也可以是本地处理器芯片中的多个计算核,这样的设置具有更优的经济性和灵活性,同时由于与本地处理器芯片中的其他控制核或运算核在同一芯片中,数据交互的开销更小,通过任务分配、算法选择、资源协调,生成包含动态调度、运行参数和算法组合的配置文件,作为数据处理应用的输入,直接调度任务和将数据交付云计算执行模块执行,不必关注计算的过程和等待结果,而该执行模块可访问存储器的数据以及与核心处理器交换数据,将待执行的任务和数据通过网络接口对接到实际的云计算平台执行,并将计算结果反馈到本地存储器或交换给核心处理器。
请参阅图2,本发明实施例提供的云计算执行模块通过协作模型实现任务调度流程示意图,具体包括:
S3.1、接收本地处理器发送的待调度任务资源需求,根据所述待调度任务资源需求从分布式数据库中提取多个维度的数据特征;
可选的,由本地处理器直接对用户输入的数据指令,如用户输入的需求进行处理,可以简化处理流程,在很大程度上提高处理效率,节约用户时间。
而由用户输入的需求信息,可以为多种方式,如文本、语音、图片等多种方式,在此不作限定。当用户进行语音输入时,处理器对语音信息进行识别,转化为文本数据;当用户进行文本输入时,处理器直接对文本信息进行提取处理;当用户进行图片输入时,处理器可以通过OCR技术对图片进行识别,提取图片上的文本信息。
可选的,处理器可以对根据所述待调度任务资源需求从分布式数据库中提取多个维度的数据特征,具体实现方式为:将待调度任务资源需求中的关键文本与分布式数据库中存储的需求列表进行比对,匹配成功的需求字段即为多个维度的数据特征。
S3.2、根据所述数据特征从预设的算法库中匹配任务调度算法,并进行节点的调度能力进行综合评分,所述预设的算法库中设置有调度算法与多个维度的数据特征的一一对应的映射关系;
不同的调度规则,具有不同的调度算法,都保存在预设的算法库中,以数据特征为索引,使用的时候可以根据所述数据特征从预设的算法库中匹配任务调度算法。
可选的,预设算法库具有一定的规模,每个算法都具有一个任务集合task={task1,task2,...,taskn},n个任务,设置有调度算法中task1,task2,...,taskn与多个维度的数据特征的一一对应的映射关系。通过数据特征与任务集合中的任务标识进行匹配,获得匹配数量最多的算法为匹配的任务调度算法。
可选的,数据特征与任务集合中的任务标识进行匹配,通过匹配数量的设定,如数量设置过小,可能获得多个待确定的任务调度算法,可以通过加权和的方式选择最优任务调度算法,或直接通过数量的最大值,来确定最优任务调度算法。
S3.3、根据所述综合评分确定云计算平台中的最优调度节点,将待调度任务调度到调度方案指定的最优调度节点进行执行。
不同的调度节点具有不同的节点属性信息,如可执行的业务任务类型、节点的性能等指标。如果不考虑节点的属性信息,一旦某个调度节点发生故障,系统仍旧将业务任务分配至该调度节点,从而将导致业务任务无法处理。
当接收到业务任务时,在键值存储系统ETCD中获取各调度节点的当前节点信息;获取所述各调度节点的指标信息;基于所述各调度节点的当前节点信息以及所述各调度节点的指标信息,在所述各调度节点中确定最优调度节点。在一种实施方式中,所述协作模型包括:
应用接口层,设置在应用平台上,通过集成malink协议对外提供同步和异步的HTTP接口,通过应用平台和开发接口,同时与多个应用系统进行连接获取数据,将应用数据和参数传给分布式数据库,进行协同保存;
基础管理层,用于对云计算平台的参数更新权限进行设置,确保使用云计算平台的安全性;
数据管理层,用于数据的协同管理,包括多个分布式数据库,通过数据加密技术实现数据的分布式存储,通过应用平台和开发接口,将应用数据和参数传给分布式数据库,进行协同保存;
调度执行层,根据需求条件与预设算法库中的算法进行匹配,实现不同应用的任务协同调度。
可选的,在本发明实施例第一方面的第一种实现方式中,所述综合评分通过以下方式得到:
分别为每个维度的数据特征设置加权系数和基础分值,通过加权计算得到每个调度方案的综合评分:
可选的,为了使综合评分更加准确,需要对数据特征进行更加精细的划分。可以通过聚类的方法,将数据特征进行聚类,得到多个聚类中心的维度特征,分别将每个聚类中心的数据特征划分为一个类型,每个类型的数据特征进行相同的数据处理标准。具体为:通过加权公式来计算综合评分:
通过聚类的方法,将数据特征进行聚类,得到多个聚类中心的维度特征,分别将每个聚类中心的数据特征划分为一个类型,每个类型的数据特征进行相同的数据处理标准,具体为:通过加权公式来计算综合评分:
Figure 354605DEST_PATH_IMAGE001
,其中,a、b…r分别代表每个聚类中心的加权系数为a、b…r,E代表平均加权系数,An、Bn…Rn分别代表每个聚类中心的数量,PXi、PYi…PZi分别代表每个聚类中心对应的评分;
其中,PXi、PYi…PZi通过以下计算方式得到:
Figure 170114DEST_PATH_IMAGE002
Figure 864532DEST_PATH_IMAGE003
Figure 626951DEST_PATH_IMAGE004
Figure 605272DEST_PATH_IMAGE006
;其中,R1、R2、R3分别为该聚类中心的不同维度出现的数量,
Figure 326103DEST_PATH_IMAGE007
Figure 960347DEST_PATH_IMAGE008
Figure 323195DEST_PATH_IMAGE009
分别为相应维度下的方差,
Figure 359284DEST_PATH_IMAGE010
Figure 500284DEST_PATH_IMAGE011
Figure 684141DEST_PATH_IMAGE012
别为相应维度下的期望值,Φ(x) 为标准正态分布函数。可选的,上述百分比的值可以根据实际应用领域经验进行合理设定。
可选的,在本发明实施例第一方面的第一种实现方式中,调度参数也不是固定不变的,需要根据实际处理情况进行更新,对云计算平台的更新调度参数的权限进行设置包括:
预先设置个人授权信息进行设置,其中包括用户的多项个人信息,当用户通过用户名对参数更新权限进行申请时,根据所述用户名随机提取该用户名对应下的两项个人信息提示用户进行输入,当输入成功时,开放更新权限。
个人信息可以根据实际应用场景或用户的个人属性进行设置,如:工作地点、年龄、工作性质、学历等,在此不作限定。由于个人信息设置的多样性,在对其进行抽取时采取随机抽取算法,任抽取其中的两项个人信息,提示用户进行回答,当匹配成功时,开放用户参数更新权限,可以在很大程度上提高更新调度参数的安全性。
可选的,在本发明实施例第一方面的第一种实现方式中,任务的协同调度机制如图3所示。
参照所述,对算法库、算法的选择进行了详细说明。而在任务的调度方法中,当将待调度任务调度到调度方案指定的最优调度节点进行执行时,如果存在多个调度任务,多个调度节点同时被调度时,此时,就要进行任务的协同调度。任务协同调度是对协同计算中协作活动和协作事件基本组成元素的管理,任务的协同调度机制以任务的协同管理为核心,通过任务分配、算法选择、资源协调,生成包含动态调度、运行参数和算法组合的配置文件,作为数据处理应用的输入。
在一个实施例中,用户通过提交的参数和基本数据由平台接口层接受,并提交给任务协同调度构件,任务分配模块负责接收这些参数,通过对请求数据的处理分析,形成系统需要执行的任务信息及算法参数,将算法参数交给算法选择模块进行算法选择,将任务信息交给任务协同调度管理模块进行综合调度排程。数据处理应用中执行的算法必须在任务协同调度管理组件中注册才能使用,算法选择模块接收到任务分配模块的参数后,将从算法库中进行匹配,并将算法的配置信息在任务协同调度管理模块中进行注册,并同步写入配置文件。配置文件中包含系统执行过程中得全局控制参数、系统任务的排程数据、任务执行过程中的算法信息、执行处理过程的计算节点信息等,配置文件通过共享白板的形式提供给各数据处理应用使用。
在另一个实施例中,可以根据提取的数据特征从预设的算法库中自动匹配任务调度算法,并进行节点的调度能力进行综合评分,所述预设的算法库中设置有调度算法与多个维度的数据特征的一一对应的映射关系;根据所述综合评分确定云计算平台中的最优调度节点,将待调度任务调度到调度方案指定的最优调度节点进行执行。该方法可以大大简化任务调度的难度,实现全程自动化管理。
本发明实施例还提供一种增强云计算协作数据处理的系统,应用于如图1所示的增强云计算协作数据处理的通信网络中;该网络结构包括:云计算平台、终端。
本发明实施例还提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的增强云计算协作数据处理的方法。
本发明实施例还提供一种计算机可读存储介质,包括指令,当所述指令在计算机上运行时,使得计算机执行所述的增强云计算协作数据处理的方法。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种增强云计算协作数据处理的方法,其特征在于,包括:云计算平台、终端,其中终端通过移动通信网络与云计算平台进行通信;
在终端本地设有至少一个云计算执行模块,所述云计算执行模块通过协作模型实现任务调度及与本地处理器交换数据,该执行模块为独立的协处理器芯片或本地处理器芯片中的多个计算核,通过任务分配、算法选择、资源协调,生成包含动态调度、运行参数和算法组合的配置文件,作为数据处理应用的输入,直接调度任务和将数据交付云计算执行模块执行,不必关注计算的过程和等待结果,而该执行模块访问存储器的数据以及与核心处理器交换数据,将待执行的任务和数据通过网络接口对接到实际的云计算平台执行,并将计算结果反馈到本地存储器或交换给核心处理器;其中,所述云计算平台由控制中心和多个调度节点构成;
所述协作模型包括:
应用接口层,设置在应用平台上,通过集成malink协议对外提供同步和异步的HTTP接口,通过应用平台和开发接口,同时与多个应用系统进行连接获取数据,将应用数据和参数传给分布式数据库,进行协同保存;
基础管理层,用于对云计算平台的参数更新权限进行设置,确保使用云计算平台的安全性;
数据管理层,用于数据的协同管理,包括多个分布式数据库,通过数据加密技术实现数据的分布式存储,通过应用平台和开发接口,将应用数据和参数传给分布式数据库,进行协同保存;
调度执行层,根据需求条件与预设算法库中的算法进行匹配,实现不同应用的任务协同调度;
所述云计算执行模块通过协作模型实现任务调度流程,包括:
S3.1、接收本地处理器发送的待调度任务资源需求,根据所述待调度任务资源需求从分布式数据库中提取多个维度的数据特征;
S3.2、根据所述数据特征从预设的算法库中匹配任务调度算法,并进行节点的调度能力进行综合评分,所述预设的算法库中设置有调度算法与多个维度的数据特征的一一对应的映射关系;
S3.3、根据所述综合评分确定云计算平台中的最优调度节点,将待调度任务调度到调度方案指定的最优调度节点进行执行;
所述综合评分通过以下方式得到:
通过聚类的方法,将数据特征进行聚类,得到多个聚类中心的维度特征,分别将每个聚类中心的数据特征划分为一个类型,每个类型的数据特征进行相同的数据处理标准,具体为:通过加权公式来计算综合评分:
Figure DEST_PATH_IMAGE001
,其中,a、b…r分别代表每个聚类中心的加权系数为a、b…r,E代表平均加权系数,An、Bn…Rn分别代表每个聚类中心的数量,PXi、PYi…PZi分别代表每个聚类中心对应的评分;
其中,PXi、PYi…PZi通过以下计算方式得到:
Figure 448782DEST_PATH_IMAGE002
Figure 996438DEST_PATH_IMAGE003
Figure 87891DEST_PATH_IMAGE004
Figure 62800DEST_PATH_IMAGE005
;其中,R1、R2、R3分别为该聚类中心的不同维度出现的数量,
Figure 13439DEST_PATH_IMAGE006
Figure 489419DEST_PATH_IMAGE007
Figure 310745DEST_PATH_IMAGE008
分别为相应维度下的方差,
Figure 846768DEST_PATH_IMAGE009
Figure 753545DEST_PATH_IMAGE010
Figure 33216DEST_PATH_IMAGE011
别为相应维度下的期望值,Φ(x)为标准正态分布函数。
2.根据权利要求1所述的增强云计算协作数据处理的方法,其特征在于,当需要对调度参数进行更新时,对云计算平台的更新调度参数的权限进行设置包括:
预先设置个人授权信息进行设置,其中包括用户的多项个人信息,当用户通过用户名对参数更新权限进行申请时,根据所述用户名随机提取该用户名对应下的两项个人信息提示用户进行输入,当输入成功时,开放参数更新权限。
3.根据权利要求2所述的增强云计算协作数据处理的方法,其特征在于,开放参数更新权限的过程还包括:
云计算平台具有对错误进行定位及纠错的功能,当用户要在云端上做出信息查看时,云端会产生与之相关的响应,从而判断数据有无具备安全性,当用户没有通过检验,说明文件已遭到损坏,云计算平台通过编码的冗余信息或副本冗余编码模式来进行重新复原。
4.根据权利要求1所述的增强云计算协作数据处理的方法,其特征在于,当将待调度任务调度到调度方案指定的最优调度节点进行执行时,如果存在多个调度任务,多个调度节点同时被调度时,需要进行任务的协同调度,以任务的协同管理为核心,通过任务分配、算法选择、资源协调,生成包含动态调度、运行参数和算法组合的配置文件,作为数据处理应用的输入。
5.根据权利要求4所述的增强云计算协作数据处理的方法,其特征在于,任务协同调度具体实现方式为:
S8.1,用户通过提交的参数和基本数据由平台接口层接受,并提交给任务协同调度构件,任务分配模块负责接收这些参数,
S8.2,通过对请求数据的处理分析,形成系统需要执行的任务信息及算法参数,将算法参数交给算法选择模块进行算法选择,将任务信息交给任务协同调度管理模块进行综合调度排程;
S8.3,数据处理应用中执行的算法必须在任务协同调度管理组件中注册才能使用,算法选择模块接收到任务分配模块的参数后,将从算法库中进行匹配,并将算法的配置信息在任务协同调度管理模块中进行注册,并同步写入配置文件;
S8.4,配置文件中包含系统执行过程中的全局控制参数、系统任务的排程数据、任务执行过程中的算法信息、执行处理过程的计算节点信息,配置文件通过共享白板的形式提供给各数据处理应用使用。
6.一种增强云计算协作数据处理的系统,所述系统包括:云计算平台、终端,其中终端通过移动通信网络与云计算平台进行通信;
在终端本地设有至少一个云计算执行模块,所述云计算执行模块通过协作模型实现任务调度及与本地处理器交换数据,该执行模块为独立的协处理器芯片或本地处理器芯片中的多个计算核,通过任务分配、算法选择、资源协调,生成包含动态调度、运行参数和算法组合的配置文件,作为数据处理应用的输入,直接调度任务和将数据交付云计算执行模块执行,不必关注计算的过程和等待结果,而该执行模块访问存储器的数据以及与核心处理器交换数据,将待执行的任务和数据通过网络接口对接到实际的云计算平台执行,并将计算结果反馈到本地存储器或交换给核心处理器;其中,所述云计算平台由控制中心和多个调度节点构成;
所述协作模型包括:
应用接口层,设置在应用平台上,通过集成malink协议对外提供同步和异步的HTTP接口,通过应用平台和开发接口,同时与多个应用系统进行连接获取数据,将应用数据和参数传给分布式数据库,进行协同保存;
基础管理层,用于对云计算平台的参数更新权限进行设置,确保使用云计算平台的安全性;
数据管理层,用于数据的协同管理,包括多个分布式数据库,通过数据加密技术实现数据的分布式存储,通过应用平台和开发接口,将应用数据和参数传给分布式数据库,进行协同保存;
调度执行层,根据需求条件与预设算法库中的算法进行匹配,实现不同应用的任务协同调度;
所述云计算执行模块通过协作模型实现任务调度流程,包括:
S3.1、接收本地处理器发送的待调度任务资源需求,根据所述待调度任务资源需求从分布式数据库中提取多个维度的数据特征;
S3.2、根据所述数据特征从预设的算法库中匹配任务调度算法,并进行节点的调度能力进行综合评分,所述预设的算法库中设置有调度算法与多个维度的数据特征的一一对应的映射关系;
S3.3、根据所述综合评分确定云计算平台中的最优调度节点,将待调度任务调度到调度方案指定的最优调度节点进行执行;
所述综合评分通过以下方式得到:
通过聚类的方法,将数据特征进行聚类,得到多个聚类中心的维度特征,分别将每个聚类中心的数据特征划分为一个类型,每个类型的数据特征进行相同的数据处理标准,具体为:通过加权公式来计算综合评分:
Figure 974627DEST_PATH_IMAGE012
,其中,a、b…r分别代表每个聚类中心的加权系数为a、b…r,E代表平均加权系数,An、Bn…Rn分别代表每个聚类中心的数量,PXi、PYi…PZi分别代表每个聚类中心对应的评分;
其中,PXi、PYi…PZi通过以下计算方式得到:
Figure 415973DEST_PATH_IMAGE013
Figure 810045DEST_PATH_IMAGE014
Figure 627829DEST_PATH_IMAGE015
Figure 423746DEST_PATH_IMAGE016
;其中,R1、 R2、R3分别为该聚类中心的不同维度出现的数量,
Figure 442518DEST_PATH_IMAGE017
Figure 448520DEST_PATH_IMAGE018
Figure 679781DEST_PATH_IMAGE019
分别为相应维度下的方差,
Figure 720418DEST_PATH_IMAGE020
Figure 644512DEST_PATH_IMAGE021
Figure 137810DEST_PATH_IMAGE022
别为相应维度下的期望值,Φ(x)为标准正态分布函数。
7.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-5中任意一项所述的增强云计算协作数据处理的方法。
CN202210500349.6A 2022-05-10 2022-05-10 一种增强云计算协作数据处理的方法、系统及电子设备 Active CN114595051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210500349.6A CN114595051B (zh) 2022-05-10 2022-05-10 一种增强云计算协作数据处理的方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210500349.6A CN114595051B (zh) 2022-05-10 2022-05-10 一种增强云计算协作数据处理的方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN114595051A CN114595051A (zh) 2022-06-07
CN114595051B true CN114595051B (zh) 2022-07-08

Family

ID=81811767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210500349.6A Active CN114595051B (zh) 2022-05-10 2022-05-10 一种增强云计算协作数据处理的方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN114595051B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115630769B (zh) * 2022-12-01 2023-03-14 北京华录高诚科技有限公司 用于综合交通运行监测的算法调度一体机及调度方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018130165A1 (zh) * 2017-01-11 2018-07-19 杨立群 云计算移动终端及其工作方法
CN112817761A (zh) * 2021-01-28 2021-05-18 广东浩云长盛网络股份有限公司 一种增强云计算环境节能方法
CN113411369A (zh) * 2020-03-26 2021-09-17 山东管理学院 一种云服务资源协同优化调度方法、系统、介质及设备
US11159449B1 (en) * 2020-07-09 2021-10-26 International Business Machines Corporation Dispatching tasks and data using multi-access edge computing

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10423449B2 (en) * 2017-11-20 2019-09-24 International Business Machines Corporation Allocating tasks in a computing environment
EP3588910A1 (en) * 2018-06-21 2020-01-01 Siemens Aktiengesellschaft System for data analytics using a local device and a cloud computing platform

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018130165A1 (zh) * 2017-01-11 2018-07-19 杨立群 云计算移动终端及其工作方法
CN113411369A (zh) * 2020-03-26 2021-09-17 山东管理学院 一种云服务资源协同优化调度方法、系统、介质及设备
US11159449B1 (en) * 2020-07-09 2021-10-26 International Business Machines Corporation Dispatching tasks and data using multi-access edge computing
CN112817761A (zh) * 2021-01-28 2021-05-18 广东浩云长盛网络股份有限公司 一种增强云计算环境节能方法

Also Published As

Publication number Publication date
CN114595051A (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
US11948023B2 (en) Automatic application program interface (API) selector for unsupervised natural language processing (NLP) intent classification
CN114595051B (zh) 一种增强云计算协作数据处理的方法、系统及电子设备
CN113590576A (zh) 数据库参数调整方法、装置、存储介质以及电子设备
CN113033082A (zh) 基于异构算力感知的去中心化联邦学习框架及建模方法
Huang et al. Enabling dnn acceleration with data and model parallelization over ubiquitous end devices
US20230259938A1 (en) Blockchain-based data processing method and apparatus, device, readable storage medium and computer program product
CN112597511A (zh) 一种政务服务远程协同方法及装置
CN115297008B (zh) 基于智算网络的协同训练方法、装置、终端及存储介质
CN110737425A (zh) 一种计费平台系统的应用程序的建立方法及装置
Wang et al. Performance analysis of media cloud-based multimedia systems with retrying fault-tolerance technique
CN109086976A (zh) 一种面向群智感知的任务分配方法
CN107769934A (zh) 资费处理方法及装置
CN110460987B (zh) 一种写卡方法、装置、服务器和存储介质
CN107451211A (zh) 一种基于RabbitMQ和MongoDB的下载系统
CN104735134B (zh) 一种用于提供计算服务的方法和装置
Fu et al. Configuring competing classifier chains in distributed stream mining systems
CN115688495A (zh) 分布式lvc仿真体系协同筹划方法、服务器及存储介质
CN111163237B (zh) 呼叫业务流程控制方法和相关装置
CN115481026A (zh) 测试案例的生成方法、装置、计算机设备、存储介质
CN109101329A (zh) 通过多个移动终端采集数据的细粒度任务分配方法及系统
CN115016911A (zh) 面向大规模联邦学习的任务编排方法、装置、设备和介质
Han et al. Opportunistic coded distributed computing: An evolutionary game approach
CN114996246A (zh) 一种基于NiFi组件的表多个字段校验的数据清洗方法
CN111667321A (zh) 一种数据处理方法、装置、计算机及可读存储介质
CN112738213A (zh) 基于区块链的任务需求响应方法、装置、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant