CN113391985A - 资源分配方法及装置 - Google Patents

资源分配方法及装置 Download PDF

Info

Publication number
CN113391985A
CN113391985A CN202110643831.0A CN202110643831A CN113391985A CN 113391985 A CN113391985 A CN 113391985A CN 202110643831 A CN202110643831 A CN 202110643831A CN 113391985 A CN113391985 A CN 113391985A
Authority
CN
China
Prior art keywords
data
target
bandwidth
processed
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110643831.0A
Other languages
English (en)
Inventor
申阳
贾承昆
王磊
雷冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ape Power Future Technology Co Ltd
Original Assignee
Beijing Ape Power Future Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ape Power Future Technology Co Ltd filed Critical Beijing Ape Power Future Technology Co Ltd
Priority to CN202110643831.0A priority Critical patent/CN113391985A/zh
Publication of CN113391985A publication Critical patent/CN113391985A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3414Workload generation, e.g. scripts, playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0896Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本说明书提供资源分配方法及装置,其中所述资源分配方法应用于数据处理端,包括:获取待处理数据,以及所述数据处理端与目标业务端的目标带宽资源;根据所述待处理数据的数据量确定计算资源;按照所述目标带宽资源对所述计算资源进行调整,并基于调整后的计算资源对所述待处理数据进行处理获得目标数据;利用所述目标带宽资源将所述目标数据发送至所述目标业务端。实现通过控制计算资源的方式充分利用带宽资源,有效的提高了资源利用率。

Description

资源分配方法及装置
技术领域
本说明书涉及计算机技术领域,特别涉及资源分配方法及装置。
背景技术
随着互联网技术的发展,线上业务模式成为了大多数业务方较为重要的维护对象。而为了能够支持业务的正常开展,则需要业务方提供稳定的业务处理集群以及处理链路,以实现在数据量稳定的情况下,支持前端业务的正常进行。然而,在一些业务场景下,可能会涉及到数据量突增的事件,此时如果依旧使用原有的计算资源,就会造成业务阻塞的问题,甚至会导致业务崩溃。因此大多数业务方为了能够支持数据量突增,都会采用混合云架构维持业务正常进行。而在混合云架构下,作为云服务器和本地服务器之间的专线带宽,是支持数据传输性能以及数据传输效率最重要的因素,而专线带宽的使用成本较高,如何提高专线带宽的利用率是目前亟需解决的问题。
发明内容
有鉴于此,本说明书实施例提供了一种资源分配方法。本说明书同时涉及一种资源分配装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种资源分配方法,应用于数据处理端,包括:
获取待处理数据,以及所述数据处理端与目标业务端的目标带宽资源;
根据所述待处理数据的数据量确定计算资源;
按照所述目标带宽资源对所述计算资源进行调整,并基于调整后的计算资源对所述待处理数据进行处理获得目标数据;
利用所述目标带宽资源将所述目标数据发送至所述目标业务端。
可选地,所述获取所述数据处理端与目标业务端的目标带宽资源,包括:
确定与所述数据处理端具有数据传输关系的所述目标业务端,并读取所述数据处理端与所述目标业务端的全局带宽资源;
根据所述全局带宽资源的使用率确定所述数据处理端与所述目标业务端的所述目标带宽资源。
可选地,所述全局带宽资源的使用率通过如下方式确定:
确定所述数据处理端和所述目标业务端之间的目标业务;
根据所述目标业务中的子目标业务的分配带宽资源确定所述全局带宽资源的使用率。
可选地,所述根据所述全局带宽资源的使用率确定所述数据处理端与所述目标业务端的所述目标带宽资源,包括:
根据所述使用率在所述全局带宽资源中确定待使用带宽资源,以及确定产生所述待处理数据的目标业务;
基于所述目标业务的带宽分配信息从所述待使用带宽资源中确定所述数据处理端与所述目标业务端之间的所述目标带宽资源。
可选地,所述基于调整后的计算资源对所述待处理数据进行处理获得目标数据,包括:
基于调整后的计算资源对所述待处理数据进行过滤,获得中间数据;
合并所述中间数据,并对合并后的中间数据进行压缩,获得所述目标数据。
可选地,所述利用所述目标带宽资源将所述目标数据发送至所述目标业务端步骤执行之前,还包括:
判断当前时间节点所述目标带宽资源是否大于预设带宽资源阈值;
若是,执行所述利用所述目标带宽资源将所述目标数据发送至所述目标业务端步骤;
若否,将所述目标数据添加至传输队列。
可选地,所述获取待处理数据,以及所述数据处理端与目标业务端的目标带宽资源步骤执行之前,还包括:
获取压力测试数据;
基于所述压力测试数据对所述数据处理端和所述目标业务端之间的传输性能进行检测;
根据检测结果确定可用带宽资源,并从所述可用带宽资源中确定所述目标带宽资源。
可选地,所述获取压力测试数据,包括:
确定产生所述待处理数据的目标业务对应的业务数据库;
根据所述目标业务的业务评估范围确定测试数据量,并从所述业务数据库中提取与所述测试数据量对应的历史业务数据,作为所述压力测试数据。
可选地,还包括:
获取待处理日志,以及日志采集端与目标业务端的专线带宽资源;
根据所述待处理日志的数据量确定计算资源;
按照所述专线带宽资源对所述计算资源进行调整,并基于调整后的计算资源对所述待处理日志进行处理获得目标日志;
利用所述专线带宽资源将所述目标日志发送至所述目标业务端。
根据本说明书实施例的第二方面,提供了一种资源分配装置,应用于数据处理端,包括:
获取模块,被配置为获取待处理数据,以及所述数据处理端与目标业务端的目标带宽资源;
确定模块,被配置为根据所述待处理数据的数据量确定计算资源;
调整模块,被配置为按照所述目标带宽资源对所述计算资源进行调整,并基于调整后的计算资源对所述待处理数据进行处理获得目标数据;
发送模块,被配置为利用所述目标带宽资源将所述目标数据发送至所述目标业务端。
根据本说明书实施例的第三方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
获取待处理数据,以及所述数据处理端与目标业务端的目标带宽资源;
根据所述待处理数据的数据量确定计算资源;
按照所述目标带宽资源对所述计算资源进行调整,并基于调整后的计算资源对所述待处理数据进行处理获得目标数据;
利用所述目标带宽资源将所述目标数据发送至所述目标业务端。
根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现所述资源分配方法的步骤。
本说明书提供一种资源分配方法,其应用于数据处理端,在获取到待处理数据的同时,可以获取数据处理端与目标业务端之间的目标带宽资源,之后根据待处理数据的数据量确定消耗数据处理端本地的计算资源,再按照目标带宽资源对计算资源进行调整,即可实现通过控制计算资源的方式控制数据的产生频率;最后基于调整后的计算资源将待处理数据处理为目标数据,并利用目标带宽资源发送至目标业务端,实现通过计算资源调整的方式置换带宽资源,以避免占用过多的带宽资源,达到限流以及提高带宽资源利用率的目的。
附图说明
图1是本说明书一实施例提供的一种资源分配方法的流程图;
图2是本说明书一实施例提供的一种资源分配方法中混合云架构的示意图;
图3是本说明书一实施例提供的一种应用于日志采集场景中的资源分配方法的处理流程图;
图4是本说明书一实施例提供的一种资源分配装置的结构示意图;
图5是本说明书一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
混合云:(Hybrid Cloud)融合了公有云和私有云;私有云主要是面向企业用户,出于安全考虑,企业更愿意将数据存放在私有云中,但是同时又希望可以获得公有云的计算资源,在这种情况下混合云被越来越多的采用,它将公有云和私有云进行混合和匹配,以获得最佳的效果。
日志:网络设备、系统及服务程序等,在运作时都会产生一个叫log的事件记录;每一行都记载着日期、时间、使用者及动作等相关操作的描述,这部分内容将组成日志。
公有云:(Public clouds)指第三方提供商为用户提供的能够使用的云,公有云一般可通过Internet使用,可能是免费或成本低廉的,公有云的核心属性是共享资源服务。这种云有许多实例,可在整个开放的公有网络中提供服务。
私有云:(Private Clouds)是为一个客户单独使用而构建的,因而提供对数据、安全性和服务质量的最有效控制。该公司拥有基础设施,并可以控制在此基础设施上部署应用程序的方式。私有云可部署在企业数据中心的防火墙内,也可以将它们部署在一个安全的主机托管场所,私有云的核心属性是专有资源。
IDC:(互联网数据中心,Internet Data Center)是指一种拥有完善的设备(包括高速互联网接入带宽、高性能局域网络、安全可靠的机房环境等)、专业化的管理、完善的应用的服务平台。在这个平台基础上,IDC服务商为客户提供互联网基础平台服务(服务器托管、虚拟主机、邮件缓存、虚拟邮件等)以及各种增值服务(场地的租用服务、域名系统服务、负载均衡系统、数据库系统、数据备份服务等)。
在本说明书中,提供了一种资源分配方法,本说明书同时涉及一种资源分配装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
实际应用中,专线带宽作为混合云架构下较为重要的传输资源,是决定云服务器与本地服务器之间能够顺利进行数据传输的根本,而专线带宽的成本又较高,通常是由提供云服务的平台所提供,如何提高专线带宽的使用率是业务方亟需解决的问题。现有技术中,大多数业务方都会采用限制专线带宽的方式控制数据量的传输,从而避免专线带宽被占用或负载过大。但是,这种处理方式会导致待传输的数据发生阻塞,全部拥塞在传输前的等待队列,很容易出现数据丢失或错乱的问题,因此亟需一种有效的方案以解决上述问题。
本说明书提供一种资源分配方法,在获取到待处理数据的同时,可以获取数据处理端与目标业务端之间的目标带宽资源,之后根据待处理数据的数据量确定消耗数据处理端本地的计算资源,再按照目标带宽资源对计算资源进行调整,即可实现通过控制计算资源的方式控制数据的产生频率;最后基于调整后的计算资源将待处理数据处理为目标数据,并利用目标带宽资源发送至目标业务端,实现通过计算资源调整的方式置换带宽资源,以避免占用过多的带宽资源,达到限流以及提高带宽资源利用率的目的;同时还可以避免目标数据拥塞,有效的保证了数据的完成性。
图1示出了根据本说明书一实施例提供的一种资源分配方法的流程图,具体包括以下步骤:
步骤S102,获取待处理数据,以及所述数据处理端与目标业务端的目标带宽资源。
具体的,数据处理端具体是指对待处理数据进行采集和处理的一端,且数据处理端需要将采集到的数据进行处理后发送至目标业务端进行汇总,以支持目标业务的下游对数据进行处理;相应的,目标业务端即为汇总各个数据处理端回传的数据,并对回传的数据进行汇总和审计的一端;待处理数据具体是指数据处理端采集到的数据,这部分数据需要由数据处理端进行处理,并在处理完成后发送至目标业务端进行汇总/存储/审计;进一步的,目标带宽资源即为数据处理端和目标业务端之间,专用于传输处理后的待处理数据所使用的传输资源,且当前获取到的带宽资源为传输处理后的待传输数据所能够使用的带宽资源,即数据处理端和目标业务端之间的全局带宽资源中的一部分。
需要说明的是,数据处理端部署在云服务器,目标业务端部署在本地服务器,而带宽资源由云服务器对应的云服务平台所提供。由于带宽资源支持着数据处理端和目标业务端之间的传输性能和传输效率,因此有效的利用带宽资源不仅可以降低成本,还能够提高产生待处理数据的目标业务的业务能力;本申请采用计算资源置换带宽资源的方式避免带宽资源被占用,有效的避免了带宽资源的浪费,达到低成本、高性能的效果。
实际应用中,待处理数据包括但不限于数据处理端采集到的日志、需要存储的数据、需要备份的数据等。数据处理端和目标业务端之间的目标带宽资源是由业务方申请后获得的,专用于两者之间的数据传输,且不会被其他业务方所调用。
进一步的,由于数据处理端和目标业务端之间传输的数据类型较多,而不同类型的数据将使用不同占比的带宽资源,当获取到待处理数据后,可以基于待处理数据的数据类型从未用的带宽资源中划分出目标带宽资源,以方便后续可以结合目标带宽资源对数据处理端的计算资源调整,避免造成带宽资源有效的情况下,处理后的数据拥塞的问题,本实施例中,具体实现方式如下:
确定与数据处理端具有数据传输关系的目标业务端,并读取数据处理端与目标业务端的全局带宽资源;
根据全局带宽资源的使用率确定数据处理端与目标业务端的目标带宽资源。
具体的,全局带宽资源具体是指数据处理端和目标业务端之间申请的全部带宽资源,相应的,全局带宽资源的使用率具体是指当前场景下申请的全部带宽资源中被使用的占比。
基于此,由于传输处理后的待处理数据的带宽资源占比是固定的,而全局带宽资源是被实时调用的,因此在获取到待处理数据后,可以根据待处理数据对应的固定占比的带宽资源从未被使用的带宽资源中进行目标带宽资源的划分;即首先确定与数据处理端具有数据传输关系的目标业务端,并读取数据处理端与目标业务端之间的全局带宽资源,其次确定当前阶段全局带宽资源的使用率,最后根据使用率即可从未使用的带宽资源中确定获取待处理数据时的目标带宽资源,以用于后续可以传输处理后的待处理数据。
具体实施时,由于数据处理端和目标业务端之间的全局带宽资源较为固定,并且二者之间的目标业务中包含不同的目标子业务,同时目标子业务消耗带宽资源的数量也不同,因此为了能够提高所述全局带宽资源的使用率,可以实时确定全局带宽资源的使用率的方式分配所述目标带宽资源,本实施例中,具体实现方式如下:
确定数据处理端和目标业务端之间的目标业务;
根据目标业务中的子目标业务的分配带宽资源确定全局带宽资源的使用率。
实际应用中,目标业务中各个子目标业务所占用的带宽资源可能会随着数据量的产生发生改变,如果将各个子目标业务所占用的带宽资源固定,就会发生带宽资源无法被充分利用或负载过大的问题,因此为了能够提高带宽资源的利用率,可以实时确定所述全局带宽资源的使用率。即首先确定数据处理端和目标业务端之间的目标业务,之后根据目标业务中的各个目标子业务的分配带宽资源确定当前全局带宽资源中可以使用的带宽资源,以此为基础确定当前周期中全局带宽资源的使用率,从而通过全局带宽资源的使用率实时确定目标带宽资源,以用于后续调整计算资源。
通过实时获取目标带宽资源,可以有效的避免过多的带宽资源被占用;通过动态划分带宽资源,保证传输各种类型的数据的带宽资源可以动态调配,从而进一步提高了全局带宽资源的利用率,以及降低成本消耗。
更进一步的,基于全局带宽资源的使用率确定当前阶段的目标带宽资源的过程中,由于传输不同的数据类型对应的带宽资源的使用占比固定,因此在确定当前阶段的全局带宽资源的使用率后,可以重新针对待处理数据的数据类型分配带宽资源,本实施例中,具体实现方式如下:
根据使用率在全局带宽资源中确定待使用带宽资源,以及确定产生待处理数据的目标业务;
基于目标业务的带宽分配信息从待使用带宽资源中确定数据处理端与目标业务端之间的目标带宽资源。
具体的,待使用带宽资源具体是指当前阶段全局带宽资源中还未被使用的带宽资源;相应的,目标业务具体是指产生待处理数据的业务,通过目标业务可以向用户或者企业提供业务功能,如看视频参与抽奖活动,则目标业务可以是本次抽奖活动,相应的,业务参与方即为观看视频并参与抽奖的用户;或者业务方提供多媒体资源供用户浏览,则目标业务可以是多媒体资源浏览业务,相应的,业务参与方即为浏览多媒体资源的浏览者;再或者业务方提供租借资源供企业或用户使用,则目标业务可以是租借业务,相应的,业务参与方即为租借资源的企业或者用户。实际应用中,目标业务即为业务方向用户/企业等所提供的业务服务,目标业务的具体业务服务内容可以根据实际应用场景设定,本实施例在此不作任何限定。
其中,带宽分配信息具体是指针对不同类型的数据分配带宽资源所使用的信息,由于目标业务能够产生的数据类型较多,而这部分数据大多数都会传输到目标业务端进行存储或汇总,因此为了能够有效的利用专线带宽,将预先针对不同的数据类型设定不同的带宽分配信息,以方便实时确定数据处理端和目标业务端能够传输处理后的待处理数据所对应的带宽资源。
基于此,在确定全局带宽资源的使用率后,可以根据全局带宽资源的使用情况,从全局带宽资源中确定未被使用的待使用带宽资源,同时确定产生待处理数据的目标业务,最后基于目标业务的带宽配置信息即可从待使用带宽资源中,划分出传输处理后的待处理数据的目标带宽资源,以用于后续对处理后的待处理数据进行传输。
以待处理数据为日志为例进行说明,数据处理端为采集目标业务产生的日志并对日志进行处理的一端,目标业务端为对目标业务产生的日志进行汇总和审计的一端;其中,数据处理端部署于云服务器,目标业务端部署于本地服务器,二者之间通过目标业务的业务方在云服务器上申请的200G专线带宽进行数据的传输。
基于此,当数据处理端采集到目标业务产生的业务日志后,为了能够充分的对200G专线带宽进行使用,将按照目标业务的带宽分配方式确定当前时间节点200G专线带宽中未被使用的待使用带宽资源,确定待使用带宽资源为100G专线带宽,而目标业务针对业务日志分配的带宽资源是10G专线带宽,即:当数据处理端采集到业务日志后,将从未使用的专线带宽中划分出10G专线带宽用于传输业务日志;则可以从待使用带宽资源100G中划分出10G带宽资源,用于后续传输处理后的业务日志;此时数据处理端和业务处理端之间还可以使用的带宽资源为90G。
需要说明的是,不同的数据类型所对应的带宽资源的占比是固定的,以避免动态针对不同类型的数据动态分配专线带宽产生额外的计算资源消耗,以及部分数据类型占用过多的带宽资源;后续只需要通过调整计算资源即可控制数据量的传输,从而提高带宽资源的利用率。
综上,通过采用带宽分配信息针对当前时间节点确定目标带宽资源,不仅可以避免其他数据类型进行数据传输时占用过多的带宽资源,还能够提高带宽资源的利用率,从而避免数据拥塞的问题发生。
此外,在确定目标带宽资源前,考虑到目标业务端与数据处理端之间传输性能的影响,确定目标带宽资源时还可以采用压力测试的方式动态确定,从而提高带宽资源的利用率,本实施例中,具体实现方式如下:
获取压力测试数据;
基于压力测试数据对数据处理端和目标业务端之间的传输性能进行检测;
根据检测结果确定可用带宽资源,并从可用带宽资源中确定目标带宽资源。
具体的,压力测试数据具体是指测试数据处理端和目标数据段之间的传输性能的数据,需要说明的是,压力测试数据与待处理数据的数据类型相同,以此保证测试出的传输性能与真实场景更加接近。相应的,可用带宽资源具体是指数据处理端与目标业务端可以动态分配的目标带宽资源。
具体实施时,由于业务方所申请的全局带宽资源固定,为了能够支持目标业务正常运行,全局带宽资源中可以划分出一定的带宽资源用于固定的数据传输,而剩余的带宽资源可以用于动态调配。基于此,为了能够针对当前时间节点合理分配出满足传输处理后的待处理数据的目标带宽资源,可以采用压力测试的方式动态确定;即获取与待处理数据的数据类型相同的压力测试数据,之后基于压力测试数据对目标业务端和数据处理端之间的传输性能进行检测,以根据检测结果确定二者之间能够随意调度的可用带宽资源,而为了避免对可用带宽资源过度的占用,可以根据需求从可用带宽资源中确定目标带宽资源,以用于后续的数据传输。
实际应用中,从可用带宽资源中确定目标带宽资源的方式可以采用上述实施例中相同的方式确定,即根据目标业务的带宽分配信息确定目标带宽资源,本实施在此不作过多赘述。
综上,通过采用压力测试的方式动态确定目标带宽资源,不仅可以保证确定的目标带宽资源能够支持处理后的待处理数据的传输,还能够避免目标带宽资源被过度占用,从而有效的提高了目标带宽资源的利用率,降低成本上的消耗。
进一步的,通过压力测试数据进行传输性能的测试,以此确定带宽资源是提高带宽资源利用率的基础,因此如果压力测试数据采用虚拟数据,可能会导致确定的带宽资源不准确,从而无法在实际应用中支持处理后的待处理数据正常被传输。为了避免压力测试数据无法反映真实情况的问题,在获取压力测试数据时,可以选择使用历史业务数据的方式作为压力测试数据,用于对传输性能进行检测,本实施例中,具体实现方式如下:
确定产生待处理数据的目标业务对应的业务数据库;
根据目标业务的业务评估范围确定测试数据量,并从业务数据库中提取与测试数据量对应的历史业务数据,作为压力测试数据。
具体的,业务数据库具体是指存储与待处理数据的数据类型相同数据的数据库,业务数据库配置在数据处理端,且数据库中存储的数据均为历史待处理数据,即数据处理端当采集或产生与待处理数据的数据类型相同的数据后,会优先写入到业务数据库,之后再进行后续的处理操作;相应的,业务评估范围具体是指针对目标业务进行承载能力评估所确定的范围,通过业务评估范围可以确定目标业务最大业务处理量,即最多能够向多少用户或者企业提供业务服务;测试数据量即为根据业务评估范围确定的最大业务处理量所能够处理的数据量;相应的,历史业务数据具体是指存储于业务数据库中的数据,且历史业务数据与待处理数据的数据类型相同。
基于此,当确定需要对数据处理端与目标业务端进行传输性能测试的情况下,为了能够保证测试结果更加真实,以此为基础确定二者之间的目标带宽资源,可以优先确定产生待处理数据的目标业务对应的业务数据库,同时根据目标业务的业务评估范围确定测试数据量,之后基于测试数据量从业务数据库中提取相同量级的历史业务数据,将其作为压力测试数据,以保证后续进行传输性能测试时,使用的数据更加真实,提高测试精准度。
实际应用中,在从业务数据库中提取与测试数据量对应的历史业务数据的过程中,由于业务数据库中包含的数据较多,且存储周期较长,筛选出能够作为压力测试数据的历史业务数据是决定后续准确确定目标带宽资源的重要因素,因此本实施例采用Flink作为数据提取算子,使用Flink的并发和分布式能力,从业务数据库中提取真实的历史业务数据,有效的保证了提取出的数据与当前场景更加贴合,从而提高确定目标带宽资源的准确性。Flink的核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flink的运行时本身也支持迭代算法的执行。
沿用上例,首先通过Flink从目标业务的业务数据库中提取出历史业务数据,之后利用历史业务数据对数据处理端和目标业务端之间的传输性能进行测试,根据测试结果确定200G专线带宽中将被固定使用100G专线带宽,而能够进行分配的可用带宽资源为100G专线带宽,此时再根据目标业务针对业务日志分配的带宽资源是10G专线带宽确定,可以从待使用带宽资源100G中划分出10G带宽资源,用于后续传输处理后的业务日志;此时数据处理端和业务处理端之间还可以使用的带宽资源为90G。
综上,通过使用历史业务数据作为压力测试数据,有效的提高了传输性能检测的精准度,从而进一步的保证了带宽资源确定的精准度,以避免带宽资源浪费。
步骤S104,根据所述待处理数据的数据量确定计算资源。
具体的,在上述获取到待处理数据以及数据处理端与目标业务端之间的目标带宽资源的基础上,进一步的,为了能够对目标带宽资源进行充分的利用,同时避免后续待处理数据占用目标带宽资源,可以基于待处理数据的数据量确定需要使用的本地计算资源,以用于后续可以对计算资源进行调整,避免处理后的待处理拥塞在传输前的等待列表。
基于此,数据量具体是指表征待处理数据占用存储空间的值,相应的,计算资源具体是指数据处理端的本地计算机资源,包括但不限于CPU资源,GPU资源,磁盘资源等,计算资源用于对待处理数据进行处理,使得待处理数据可以加工为满足业务传输需求的数据,再向目标业务端进行回传即可。
实际应用中,由于计算资源由数据处理端提供,且产生待处理数据后,都会通过数据处理端提供的计算资源对其进行处理,之后再将处理后的数据回传给目标业务端。而通常情况下,通过数据处理端的计算资源对待处理数据进行处理的过程都是发生在微秒、毫秒或者秒级别,如果目标业务端和数据处理端之间的目标带宽资源被其他需要传输的数据所占用,就会导致处理后的待处理数据需要在传输队列中进行等待,此时由于处理后的待处理数据并未持久化,很容易发生丢失或者损坏的问题。
有鉴于此,为了避免带宽资源被占用,以及处理后的待处理数据在传输队列中等待时间过程,本实施例提供的资源分配方法,通过调整计算资源的方式置换带宽资源,使得待处理数据可以通过调整后的计算资源进行加工处理,以使得处理后的待处理数据可以流畅的通过目标带宽资源传输到目标业务端,避免数据拥塞产生的影响。因此当获取到待处理数据和固定的目标带宽资源后,需要根据待处理数据的数据量确定计算资源,此时确定的计算资源是可以对全量的待处理数据进行处理的计算资源,后续即可对计算资源进行调整,以通过管控处理待处理数据速度的方式,限制传输所使用过多的带宽资源,达到节省目标带宽资源的目的。
步骤S106,按照所述目标带宽资源对所述计算资源进行调整,并基于调整后的计算资源对所述待处理数据进行处理获得目标数据。
具体的,在上述确定数据处理端处理待处理数据所需要消耗的计算资源的基础上,进一步的,为了避免占用过多的目标带宽资源,可以基于固定的目标带宽资源对计算资源进行调整,以使得调整后的目标带宽资源可以限制对待处理数据进行处理的速率,从而使得数据处理端的计算资源可以逐步完成对待处理数据的处理,实现逐步获得目标数据,当数据处理端发送目标数据时,也将按照逐步获得的目标数据进行发送。
基于此,对计算资源进行调整具体是指将计算资源降低,从而限制数据处理端对待处理数据进行处理的速率;相应的,目标数据具体是指对待处理数据进行处理后得到的数据,且目标数据的体积要小于待处理数据的体积,以减少对传输资源的使用。需要说明的是,在通过调整后的计算资源将待处理数据处理为目标数据的过程中,为了避免生成的目标数据同时被传输占用过多的带宽资源,将按批次进行目标数据的生成,也就是说,待处理数据被处理时,将按批次的方式进行处理,以生成多个子目标数据,多个子目标数据组成目标数据,在后续进行传输时,也将按照处理顺序逐次发送各个子目标数据,以达到流畅发送目标数据的目的,降低对目标带宽资源的占用。
进一步的,在通过调整后的计算资源对待处理数据进行处理的过程中,为了能够通过有限的目标带宽资源发送更多的数据,可以减小待处理数据的体积,本实施例中,具体实现方式如下:
基于调整后的计算资源对待处理数据进行过滤,获得中间数据;
合并中间数据,并对合并后的中间数据进行压缩,获得目标数据。
具体的,中间数据具体是指对待处理数据进行过滤后得到的数据。基于此,在得到待处理数据以及确定调整后的计算资源后,可以基于调整后的计算资源对待处理数据进行过滤,以从中间数据中删除重复的数据内容,获得中间数据;之后将中间数据进行合并,并对合并后的数据进行压缩,以减少数据的体积,最后根据压缩结果即可获得目标数据。
沿用上例,确定业务日志的体积为100G,而数据处理端和目标业务端之间的专线带宽为10G,此时为了能够充分的利用10G专线带宽,同时避免占用过多的专线带宽,将对数据处理端的CPU资源进行调整;根据业务日志的体积100G确定需要使用80%的CPU资源才能够同步完成处理,此时将降低可调用的CPU资源,只选择20%的CPU资源对100G的业务日志进行处理;
处理过程中,数据处理端将对100G的业务日志划分为n个子业务日志,其中n≥1,且n为正整数;之后同通过调用的20%的CPU资源对n个子业务日志逐步进行处理,即对每个子业务日志进行过滤和压缩,以达到减少子业务日志体积的目的;根据处理结果将获得n个子目标业务日志,n个子目标业务日志将组成40G的目标业务日志,目标业务日志的体积将远远小于业务日志的体积,从而方便后续通过有限的专线带宽对其进行传输。
综上,为了能够利用有限的目标带宽资源传输更多的数据,可以在对待处理数据进行处理时,通过调整后的计算资源对待处理数据进行过滤和压缩,以减少待处理数据的体积,从而提高目标带宽资源的利用率。
步骤S108,利用所述目标带宽资源将所述目标数据发送至所述目标业务端。
具体的,在上述获得目标数据后,即可利用目标带宽资源将目标数据发送至目标业务端;在此过程中,为了避免占用过多的带宽资源,可以采用批次发送的方式对目标数据进行发送,从而避免数据拥塞,导致数据丢失或者损坏的问题发生。
沿用上例,数据处理端在通过20%的CPU资源处理n个子业务日志的过程中,每完成一次处理将获得一个子目标业务日志,此时即可直接利用数据处理端和目标业务端之间的10G专线带宽对当前生成的子目标业务日志进行传输,即数据处理端的CPU资源将逐步完成对n个子业务日志的过滤和压缩,进而会按照处理顺序逐步生成n个子目标业务日志,此时为了充分利用10G的专线带宽,每生成一个子目标业务日志就将其传输目标业务端,直至40G的目标业务日志传输完成即可。
另一方面,还可以对生成的子目标业务日志进行汇总,当汇总后的子业务日志的体积达到设定阈值的情况下,将其封装为子业务日志集合,再利用10G的专线带宽进行发送;即当数据处理端对各个子业务日志进行处理后,生成的子目标业务日志的体积远远小于10G的情况下,可以将生成的子目标业务日志临时放入缓冲区,并等待下一个子目标业务日志;当缓冲区中的子目标业务日志的总体积达到10G时,此时可以将缓冲区中包含的子目标业务日志进行汇总,组成子目标业务日志集合,子目标业务日志集合中包含的子目标业务日志的数量大于等于1且小于n,之后利用10G的专线带宽将子目标业务日志集合发送至目标业务端,以此类推,直至将40G的目标业务日志全部发送完成即可,以实现目标业务端进行后续的业务处理。
此外,在一些数据量突增场景中,可能会导致目标带宽资源无法正常发送目标数据的可能,为了避免这一问题造成数据混乱,可以将待传输的数据临时存储到传输队列进行等待,本实施例中,具体实现方式如下:
判断当前时间节点目标带宽资源是否大于预设带宽资源阈值;若是,执行利用目标带宽资源将目标数据发送至目标业务端步骤;若否,将目标数据添加至传输队列。
具体的,预设带宽资源阈值具体是指衡量目标带宽资源是否可以被使用的标准,预设带宽资源阈值可以根据实际应用场景进行设定,本实施例在此不作任何限定;相应的,传输队列具体是指在数据处理端的内存中申请的存储空间,用于临时放置待传输的目标数据。
基于此,当获得目标数据后,可以判断当前时间节点目标带宽资源是否大于预设带宽资源阈值,若是,说明目标带宽资源在当前时间节点未被占用,则利用目标带宽资源进行目标数据的发送即可;若否,说明当前时间节点目标带宽资源被占用,如果直接使用目标带宽资源进行目标数据的发送,可能会造成数据拥塞,发生数据丢失的问题,因此可以将目标数据添加至传输队列等待,直至目标带宽资源可以被使用时,再进行目标数据的发送即可。
综上,通过将目标数据添加至传输队列进行等待,可以有效避免拥塞导致的数据错乱和丢失问题,从而进一步的提高了数据的完成性和安全性,方便后续利用目标带宽资源进行传输。
本实施例以数据处理端部署于云服务器1和云服务器2,目标业务端部署于业务方的本地服务器为例进行说明,参见图2所示的混合云架构的示意图,当部署于云服务器1和云服务器2的日志采集端(数据处理端)采集到目标业务产生的待处理日志后,同时会获取目标业务端与日志采集端之间的专线带宽资源,之后为了能够将待处理日志顺利回传给目标业务端的同时,提高专线带宽资源的利用率,将优选确定待处理日志的数据量的计算资源,之后按照专线带宽资源对计算资源进行调整,以达到通过限制计算资源的目的置换专线带宽资源。
进一步的,当日志采集端完成计算资源的调整后,会通过EMR模块对待处理日志进行合并/压缩/过滤,以减少待处理日志的体积,根据处理结果得到目标日志,最后再利用专线带宽资源将目标日志回传给目标业务端,以使得目标业务端可以将部署于云服务器1和云服务器2回传的目标日志进行汇总,以供下游业务使用处理。
本说明书提供一种资源分配方法,其应用于数据处理端,在获取到待处理数据的同时,可以获取数据处理端与目标业务端之间的目标带宽资源,之后根据待处理数据的数据量确定消耗数据处理端本地的计算资源,再按照目标带宽资源对计算资源进行调整,即可实现通过控制计算资源的方式控制数据的产生频率;最后基于调整后的计算资源将待处理数据处理为目标数据,并利用目标带宽资源发送至目标业务端,实现通过计算资源调整的方式置换带宽资源,以避免占用过多的带宽资源,达到限流以及提高带宽资源利用率的目的,
下述结合附图3,以本说明书提供的资源分配方法在日志采集场景中的应用为例,对资源分配方法进行进一步说明。其中,图3示出了本说明书一实施例提供的一种应用于日志采集场景中的资源分配方法的处理流程图,具体包括以下步骤:
步骤S302,确定与日志采集端具有数据传输关系的目标业务端,并读取日志采集端与目标业务端之间的全局专线带宽资源。
确定部署日志采集端的云服务器在地址B,而部署目标业务端的本地服务器在地址D,因此确定产生待处理日志的目标业务处于混合云架构下,且云上服务器和云下服务器将通过专线带宽资源进行数据的传输。
基于此,为了能够充分利用二者之间的专线带宽资源,此时将读取二者之间的全局专线带宽资源,以方便后续可以针对待处理日志进行专线带宽资源的分配。
步骤S304,根据全局专线带宽资源的使用率确定待使用专线带宽资源,以及产生待处理日志的目标业务。
根据全局专线带宽资源的使用率确定其中还有60%的专线带宽资源未被使用,则将这部分资源确定为待使用专线带宽资源,同时确定产生待处理日志的目标业务。
步骤S306,基于目标业务的带宽分配信息从待使用专线带宽资源中确定传输待处理日志的专线带宽资源。
根据目标业务预设的带宽分配信息,确定针对待处理日志对应的日志类型可以分配10%的专线带宽资,则此时可以从60%的专线带宽资源划分出10%的专线带宽资作为传输待处理日志的专线带宽资源。
步骤S308,根据待处理日志的数据量确定CPU资源。
步骤S310,按照专线带宽资源对CPU资源进行调整。
步骤S312,基于调整后的CPU资源对待处理日志进行过滤,获得中间日志。
步骤S314,合并中间日志,并对合并后的中间日志进行压缩,获得目标日志。
在确定专线带宽资源后,为了避免专线带宽资源在传输待处理日志时占用过多的时间,可以在传输前,利用日志采集端的CPU资源对待处理日志进行处理;同时为了避免传输拥塞,可以动态调整CPU资源的使用率,以通过限制CPU资源的方式限制对专线带宽资源的使用。即首先根据专线带宽资源降低CPU资源的使用量,之后利用调整后的CPU资源对待处理日志进行过滤和压缩,以减少待处理日志的体积,最后根据处理结果获得目标日志。
步骤S316,利用专线带宽资源将目标日志发送至目标业务端。
在上述获得目标日志后,即可利用日志采集端和目标业务端之间的专线带宽资源进行目标日志的传输,使得目标业务端可以进行后续的日志审计或分析处理。
本说明书提供一种资源分配方法,在获取到待处理数据的同时,可以获取数据处理端与目标业务端之间的目标带宽资源,之后根据待处理数据的数据量确定消耗数据处理端本地的计算资源,再按照目标带宽资源对计算资源进行调整,即可实现通过控制计算资源的方式控制数据的产生频率;最后基于调整后的计算资源将待处理数据处理为目标数据,并利用目标带宽资源发送至目标业务端,实现通过计算资源调整的方式置换带宽资源,以避免占用过多的带宽资源,达到限流以及提高带宽资源利用率的目的。
与上述方法实施例相对应,本说明书还提供了资源分配装置实施例,图4示出了本说明书一实施例提供的一种资源分配装置的结构示意图。如图4所示,该装置包括:
获取模块402,被配置为获取待处理数据,以及所述数据处理端与目标业务端的带宽资源;
确定模块404,被配置为根据所述待处理数据的数据量确定计算资源;
调整模块406,被配置为按照所述目标带宽资源对所述计算资源进行调整,并基于调整后的计算资源对所述待处理数据进行处理获得目标数据;
发送模块408,被配置为利用所述目标带宽资源将所述目标数据发送至所述目标业务端。
一个可选的实施例中,所述获取模块402进一步被配置为:
确定与所述数据处理端具有数据传输关系的所述目标业务端,并读取所述数据处理端与所述目标业务端的全局带宽资源;根据所述全局带宽资源的使用率确定所述数据处理端与所述目标业务端的所述目标带宽资源。
一个可选的实施例中,所述全局带宽资源的使用率通过如下方式确定:
确定所述数据处理端和所述目标业务端之间的目标业务;
根据所述目标业务中的子目标业务的分配带宽资源确定所述全局带宽资源的使用率。
一个可选的实施例中,所述获取模块402进一步被配置为:
根据所述使用率在所述全局带宽资源中确定待使用带宽资源,以及确定产生所述待处理数据的目标业务;基于所述目标业务的带宽分配信息从所述待使用带宽资源中确定所述数据处理端与所述目标业务端之间的所述目标带宽资源。
一个可选的实施例中,所述调整模块406进一步被配置为:
基于调整后的计算资源对所述待处理数据进行过滤,获得中间数据;合并所述中间数据,并对合并后的中间数据进行压缩,获得所述目标数据。
一个可选的实施例中,所述装置,还包括:
判断模块,被配置为判断当前时间节点所述目标带宽资源是否大于预设带宽资源阈值;若是,运行所述发送模块408;若否,将所述目标数据添加至传输队列。
一个可选的实施例中,所述装置,还包括:
检测模块,被配置为获取压力测试数据;基于所述压力测试数据对所述数据处理端和所述目标业务端之间的传输性能进行检测;根据检测结果确定可用带宽资源,并从所述可用带宽资源中确定所述目标带宽资源。
一个可选的实施例中,所述检测模块进一步被配置为:
确定产生所述待处理数据的目标业务对应的业务数据库;根据所述目标业务的业务评估范围确定测试数据量,并从所述业务数据库中提取与所述测试数据量对应的历史业务数据,作为所述压力测试数据。
一个可选的实施例中,所述装置,还包括:
日志处理模块,被配置为获取待处理日志,以及日志采集端与目标业务端的专线带宽资源;根据所述待处理日志的数据量确定计算资源;按照所述专线带宽资源对所述计算资源进行调整,并基于调整后的计算资源对所述待处理日志进行处理获得目标日志;利用所述专线带宽资源将所述目标日志发送至所述目标业务端。
本申请提供的资源分配装置,本在获取到待处理数据的同时,可以获取数据处理端与目标业务端之间的带宽资源,之后根据所述待处理数据的数据量确定消耗数据处理端本地的计算资源,再按照所述目标带宽资源对所述计算资源进行调整,即可实现通过控制计算资源的方式控制数据的产生频率;最后基于调整后的计算资源将待处理数据处理为目标数据,并利用带宽资源发送至目标业务端,实现通过计算资源调整的方式置换带宽资源,以避免占用过多的带宽资源,达到限流以及提高带宽资源利用率的目的。
上述为本实施例的一种资源分配装置的示意性方案。需要说明的是,该资源分配装置的技术方案与上述的资源分配方法的技术方案属于同一构思,资源分配装置的技术方案未详细描述的细节内容,均可以参见上述资源分配方法的技术方案的描述。
图5示出了根据本说明书一实施例提供的一种计算设备500的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过总线530相连接,数据库550用于保存数据。
计算设备500还包括接入设备540,接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备540可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备500的上述部件以及图5中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图5所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备500可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备500还可以是移动式或静止式的服务器。
其中,处理器520用于执行如下计算机可执行指令:
获取待处理数据,以及所述数据处理端与目标业务端的带宽资源;
根据所述待处理数据的数据量确定计算资源;
按照所述目标带宽资源对所述计算资源进行调整,并基于调整后的计算资源对所述待处理数据进行处理获得目标数据;
利用所述目标带宽资源将所述目标数据发送至所述目标业务端。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的资源分配方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述资源分配方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于:
获取待处理数据,以及所述数据处理端与目标业务端的带宽资源;
根据所述待处理数据的数据量确定计算资源;
按照所述目标带宽资源对所述计算资源进行调整,并基于调整后的计算资源对所述待处理数据进行处理获得目标数据;
利用所述目标带宽资源将所述目标数据发送至所述目标业务端。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的资源分配方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述资源分配方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书并不受所描述的动作顺序的限制,因为依据本说明书,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (12)

1.一种资源分配方法,其特征在于,应用于数据处理端,包括:
获取待处理数据,以及所述数据处理端与目标业务端的目标带宽资源;
根据所述待处理数据的数据量确定计算资源;
按照所述目标带宽资源对所述计算资源进行调整,并基于调整后的计算资源对所述待处理数据进行处理获得目标数据;
利用所述目标带宽资源将所述目标数据发送至所述目标业务端。
2.根据权利要求1所述的资源分配方法,其特征在于,所述获取所述数据处理端与目标业务端的目标带宽资源,包括:
确定与所述数据处理端具有数据传输关系的所述目标业务端,并读取所述数据处理端与所述目标业务端的全局带宽资源;
根据所述全局带宽资源的使用率确定所述数据处理端与所述目标业务端的所述目标带宽资源。
3.根据权利要求2所述的资源分配方法,其特征在于,所述全局带宽资源的使用率通过如下方式确定:
确定所述数据处理端和所述目标业务端之间的目标业务;
根据所述目标业务中的子目标业务的分配带宽资源确定所述全局带宽资源的使用率。
4.根据权利要求2所述的资源分配方法,其特征在于,所述根据所述全局带宽资源的使用率确定所述数据处理端与所述目标业务端的所述目标带宽资源,包括:
根据所述使用率在所述全局带宽资源中确定待使用带宽资源,以及确定产生所述待处理数据的目标业务;
基于所述目标业务的带宽分配信息从所述待使用带宽资源中确定所述数据处理端与所述目标业务端之间的所述目标带宽资源。
5.根据权利要求1所述的资源分配方法,其特征在于,所述基于调整后的计算资源对所述待处理数据进行处理获得目标数据,包括:
基于调整后的计算资源对所述待处理数据进行过滤,获得中间数据;
合并所述中间数据,并对合并后的中间数据进行压缩,获得所述目标数据。
6.根据权利要求1所述的资源分配方法,其特征在于,所述利用所述目标带宽资源将所述目标数据发送至所述目标业务端步骤执行之前,还包括:
判断当前时间节点所述目标带宽资源是否大于预设带宽资源阈值;
若是,执行所述利用所述目标带宽资源将所述目标数据发送至所述目标业务端步骤;
若否,将所述目标数据添加至传输队列。
7.根据权利要求1所述的资源分配方法,其特征在于,所述获取待处理数据,以及所述数据处理端与目标业务端的目标带宽资源步骤执行之前,还包括:
获取压力测试数据;
基于所述压力测试数据对所述数据处理端和所述目标业务端之间的传输性能进行检测;
根据检测结果确定可用带宽资源,并从所述可用带宽资源中确定所述目标带宽资源。
8.根据权利要求7所述的资源分配方法,其特征在于,所述获取压力测试数据,包括:
确定产生所述待处理数据的目标业务对应的业务数据库;
根据所述目标业务的业务评估范围确定测试数据量,并从所述业务数据库中提取与所述测试数据量对应的历史业务数据,作为所述压力测试数据。
9.根据权利要求1所述的资源分配方法,其特征在于,还包括:
获取待处理日志,以及日志采集端与目标业务端的专线带宽资源;
根据所述待处理日志的数据量确定计算资源;
按照所述专线带宽资源对所述计算资源进行调整,并基于调整后的计算资源对所述待处理日志进行处理获得目标日志;
利用所述专线带宽资源将所述目标日志发送至所述目标业务端。
10.一种资源分配装置,其特征在于,应用于数据处理端,包括:
获取模块,被配置为获取待处理数据,以及所述数据处理端与目标业务端的目标带宽资源;
确定模块,被配置为根据所述待处理数据的数据量确定计算资源;
调整模块,被配置为按照所述目标带宽资源对所述计算资源进行调整,并基于调整后的计算资源对所述待处理数据进行处理获得目标数据;
发送模块,被配置为利用所述目标带宽资源将所述目标数据发送至所述目标业务端。
11.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,以实现下述方法:
获取待处理数据,以及所述数据处理端与目标业务端的目标带宽资源;
根据所述待处理数据的数据量确定计算资源;
按照所述目标带宽资源对所述计算资源进行调整,并基于调整后的计算资源对所述待处理数据进行处理获得目标数据;
利用所述目标带宽资源将所述目标数据发送至所述目标业务端。
12.一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现权利要求1至9任意一项所述方法的步骤。
CN202110643831.0A 2021-06-09 2021-06-09 资源分配方法及装置 Pending CN113391985A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110643831.0A CN113391985A (zh) 2021-06-09 2021-06-09 资源分配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110643831.0A CN113391985A (zh) 2021-06-09 2021-06-09 资源分配方法及装置

Publications (1)

Publication Number Publication Date
CN113391985A true CN113391985A (zh) 2021-09-14

Family

ID=77620022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110643831.0A Pending CN113391985A (zh) 2021-06-09 2021-06-09 资源分配方法及装置

Country Status (1)

Country Link
CN (1) CN113391985A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745277A (zh) * 2022-03-30 2022-07-12 杭州博盾习言科技有限公司 公有云跨域专线的弹性伸缩方法、装置、电子设备及介质

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729430A (zh) * 2010-01-15 2010-06-09 西安电子科技大学 用于支持端到端时延保证的动态资源分配系统及分配方法
CN102932935A (zh) * 2011-08-12 2013-02-13 中国移动通信集团公司 一种数据传输方法及移动终端
US20150277979A1 (en) * 2014-03-26 2015-10-01 International Business Machines Corporation Allocating a global resource in a distributed grid environment
US20160072691A1 (en) * 2014-09-08 2016-03-10 Hughes Network Systems, Llc Bandwidth management across logical groupings of access points in a shared access broadband network
CN106034153A (zh) * 2015-03-16 2016-10-19 阿里巴巴集团控股有限公司 带宽资源分配方法、数据传输方法、装置及系统
CN107786371A (zh) * 2017-10-09 2018-03-09 咪咕视讯科技有限公司 一种数据的加速方法、装置及存储介质
WO2018095300A1 (zh) * 2016-11-23 2018-05-31 华为技术有限公司 网络控制方法、装置及系统、存储介质
CN108768877A (zh) * 2018-07-20 2018-11-06 网宿科技股份有限公司 一种突发流量的分配方法、装置及代理服务器
CN109314677A (zh) * 2016-07-22 2019-02-05 英特尔公司 用于利用阶段驻留数据管理资源分配的技术
EP3438819A1 (en) * 2017-08-03 2019-02-06 Akamai Technologies, Inc. Global usage tracking and quota enforcement in a distributed computing system
CN109639470A (zh) * 2018-11-30 2019-04-16 四川安迪科技实业有限公司 基于星型组网的vsat卫星通信系统带宽分配方法
CN110198344A (zh) * 2019-05-05 2019-09-03 网宿科技股份有限公司 一种资源调度方法及系统
CN110290077A (zh) * 2019-06-18 2019-09-27 西安交通大学 一种基于实时业务配置的工业sdn资源分配方法
US10452441B1 (en) * 2018-10-15 2019-10-22 Accenture Global Solutions Limited Determining an allocation of computing resources for a job
CN110661654A (zh) * 2019-09-19 2020-01-07 北京浪潮数据技术有限公司 一种网络带宽资源分配方法、装置、设备及可读存储介质
CN110677876A (zh) * 2019-10-08 2020-01-10 广东电网有限责任公司 一种流量种类预测的前传网络资源分配方法
WO2020024443A1 (zh) * 2018-08-01 2020-02-06 平安科技(深圳)有限公司 资源调度方法、装置、计算机设备及计算机可读存储介质
CN111082978A (zh) * 2019-12-05 2020-04-28 西安电子科技大学 面向sdn网络的效用带宽分配方法
US20200169464A1 (en) * 2018-11-27 2020-05-28 Citrix Systems, Inc. Activity-based resource allocation among virtual-computing sessions
CN112130994A (zh) * 2020-09-16 2020-12-25 北京达佳互联信息技术有限公司 资源分配方法、装置、电子设备和存储介质

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729430A (zh) * 2010-01-15 2010-06-09 西安电子科技大学 用于支持端到端时延保证的动态资源分配系统及分配方法
CN102932935A (zh) * 2011-08-12 2013-02-13 中国移动通信集团公司 一种数据传输方法及移动终端
US20150277979A1 (en) * 2014-03-26 2015-10-01 International Business Machines Corporation Allocating a global resource in a distributed grid environment
US20160072691A1 (en) * 2014-09-08 2016-03-10 Hughes Network Systems, Llc Bandwidth management across logical groupings of access points in a shared access broadband network
CN106034153A (zh) * 2015-03-16 2016-10-19 阿里巴巴集团控股有限公司 带宽资源分配方法、数据传输方法、装置及系统
CN109314677A (zh) * 2016-07-22 2019-02-05 英特尔公司 用于利用阶段驻留数据管理资源分配的技术
WO2018095300A1 (zh) * 2016-11-23 2018-05-31 华为技术有限公司 网络控制方法、装置及系统、存储介质
EP3438819A1 (en) * 2017-08-03 2019-02-06 Akamai Technologies, Inc. Global usage tracking and quota enforcement in a distributed computing system
CN107786371A (zh) * 2017-10-09 2018-03-09 咪咕视讯科技有限公司 一种数据的加速方法、装置及存储介质
CN108768877A (zh) * 2018-07-20 2018-11-06 网宿科技股份有限公司 一种突发流量的分配方法、装置及代理服务器
WO2020015154A1 (zh) * 2018-07-20 2020-01-23 网宿科技股份有限公司 一种突发流量的分配方法、装置及代理服务器
WO2020024443A1 (zh) * 2018-08-01 2020-02-06 平安科技(深圳)有限公司 资源调度方法、装置、计算机设备及计算机可读存储介质
US10452441B1 (en) * 2018-10-15 2019-10-22 Accenture Global Solutions Limited Determining an allocation of computing resources for a job
US20200169464A1 (en) * 2018-11-27 2020-05-28 Citrix Systems, Inc. Activity-based resource allocation among virtual-computing sessions
CN109639470A (zh) * 2018-11-30 2019-04-16 四川安迪科技实业有限公司 基于星型组网的vsat卫星通信系统带宽分配方法
CN110198344A (zh) * 2019-05-05 2019-09-03 网宿科技股份有限公司 一种资源调度方法及系统
WO2020224022A1 (zh) * 2019-05-05 2020-11-12 网宿科技股份有限公司 一种资源调度方法及系统
CN110290077A (zh) * 2019-06-18 2019-09-27 西安交通大学 一种基于实时业务配置的工业sdn资源分配方法
CN110661654A (zh) * 2019-09-19 2020-01-07 北京浪潮数据技术有限公司 一种网络带宽资源分配方法、装置、设备及可读存储介质
CN110677876A (zh) * 2019-10-08 2020-01-10 广东电网有限责任公司 一种流量种类预测的前传网络资源分配方法
CN111082978A (zh) * 2019-12-05 2020-04-28 西安电子科技大学 面向sdn网络的效用带宽分配方法
CN112130994A (zh) * 2020-09-16 2020-12-25 北京达佳互联信息技术有限公司 资源分配方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745277A (zh) * 2022-03-30 2022-07-12 杭州博盾习言科技有限公司 公有云跨域专线的弹性伸缩方法、装置、电子设备及介质
CN114745277B (zh) * 2022-03-30 2024-05-28 杭州博盾习言科技有限公司 公有云跨域专线的弹性伸缩方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
CN108776934B (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
US9270624B2 (en) Cloud messaging services optimization through adaptive message compression
CN110399213B (zh) 确定应用程序的资源需求的方法、装置、电子设备及介质
CN109981702B (zh) 一种文件存储方法及系统
CN106027595A (zh) 用于cdn节点的访问日志处理方法及系统
WO2014194704A1 (en) A grouping processing method and system
CN111200606A (zh) 深度学习模型任务处理方法、系统、服务器及存储介质
CN110677475A (zh) 一种微服务处理方法、装置、设备及存储介质
CN116700920A (zh) 云原生混合部署集群资源调度方法及装置
CN105610869B (zh) 一种流媒体的调度方法及装置
CN114363185B (zh) 虚拟资源处理方法以及装置
CN113794755B (zh) 基于微服务架构的共享服务推送方法及系统
CN113391985A (zh) 资源分配方法及装置
CN110347546B (zh) 监控任务动态调整方法、装置、介质及电子设备
CN113422808A (zh) 物联网平台http信息推送方法、系统、装置及介质
CN113852490A (zh) 一种分布式存储系统中samba用户QoS实现方法、装置及设备
CN113079062A (zh) 一种资源调整方法、装置、计算机设备和存储介质
CN112068965A (zh) 数据处理方法、装置、电子设备和可读存储介质
CN110855787A (zh) 基于Consul实现OpenResty动态负载均衡的方法
CN112965796B (zh) 一种任务调度系统、方法和装置
CN112769960B (zh) 一种基于Nginx服务器的主动流量控制方法及系统
CN113747506B (zh) 一种资源调度方法、装置和网络系统
CN114661563A (zh) 基于流处理框架的数据处理方法以及系统
CN114268799A (zh) 一种流媒体传输方法、装置、电子设备及介质
CN113297110A (zh) 数据采集系统、方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination