CN105224805A - 基于流式计算的资源管理方法及装置 - Google Patents

基于流式计算的资源管理方法及装置 Download PDF

Info

Publication number
CN105224805A
CN105224805A CN201510654492.0A CN201510654492A CN105224805A CN 105224805 A CN105224805 A CN 105224805A CN 201510654492 A CN201510654492 A CN 201510654492A CN 105224805 A CN105224805 A CN 105224805A
Authority
CN
China
Prior art keywords
calculating
stream
described
resource
according
Prior art date
Application number
CN201510654492.0A
Other languages
English (en)
Other versions
CN105224805B (zh
Inventor
熊云
Original Assignee
百度在线网络技术(北京)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 百度在线网络技术(北京)有限公司 filed Critical 百度在线网络技术(北京)有限公司
Priority to CN201510654492.0A priority Critical patent/CN105224805B/zh
Publication of CN105224805A publication Critical patent/CN105224805A/zh
Application granted granted Critical
Publication of CN105224805B publication Critical patent/CN105224805B/zh

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass

Abstract

本发明实施例提供了一种基于流式计算的资源管理方法及装置。其中,基于流式计算的资源管理方法包括:分别获取多条计算流的数据订阅流量以及所述计算流的延迟时间长度;根据所述多条计算流的数据订阅流量以及延迟时间长度对分配给所述计算流的资源进行调整。本发明实施例的基于流式计算的资源管理方法及装置,实现了在流式计算过程中,自动地对分配给计算流的既有资源进行调整以适应流量变化,使得流量高峰期和低峰期的资源使用率相对均衡,进而保证服务质量。

Description

基于流式计算的资源管理方法及装置

技术领域

[0001] 本发明设及互联网技术领域,尤其设及一种基于流式计算的资源管理方法及装 置。

背景技术

[0002] 在流式计算中,对于重要的计算往往会添加多份备份。W便于当一条计算流失效 时,其他的计算仍然可用,从而不影响整体的服务质量。当然,每一条计算流的资源都会受 到限制,仅保留可见的必要的余量,W保证峰值期间仍然可用。

[0003] 近年来,随着流式计算业务的发展,数据量也逐步增大,通常会发生一些突发状 况。例如高峰期流量超出预期。在此状况下,任何一条计算流都会因数据量暴增而处理不 及时,导致延时,进而无法满足可靠性要求。现有技术一般采用投入更多的计算资源的方式 来保证服务质量。然而,上述方式具有无限制地获取额外资源,流量低峰期造成资源闲置等 不足之处。

发明内容

[0004] 本发明实施例的目的在于,提供一种基于流式计算的资源管理方法及装置,W实 现在流式计算过程中,自动地调整分配给计算流的既有资源W适应数据量骤增等突发状 况,并保证服务质量。

[0005] 为实现上述发明目的,本发明的实施例提供了一种基于流式计算的资源管理方 法,包括:分别获取多条计算流的数据订阅流量W及所述计算流的延迟时间长度;根据所 述多条计算流的数据订阅流量W及延迟时间长度对分配给所述计算流的资源进行调整。

[0006] 优选地,所述根据所述多条计算流的数据订阅流量W及延迟时间长度对分配给所 述计算流的资源进行调整的处理包括:根据所述多条计算流的数据订阅流量分别对所述多 条计算流赋予权值,并且根据所述计算流的延迟时间长度分别计算在预定的时间间隔内所 述计算流的平均延迟时间长度;根据为所述多条计算流赋予的权值W及计算的平均延迟时 间长度分别计算所述多条计算流的价值评分;根据计算的所述多条计算流的价值评分对分 配给所述计算流的资源进行调整。

[0007] 优选地,所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源 进行调整的处理包括:增加为计算出的价值评分低于预定的第一价值阔值的计算流分配的 资源。

[0008] 优选地,所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源 进行调整的处理包括:根据为所述计算流计算出的价值评分计算所述多条计算流的总价值 评分,如果计算出的总价值评分低于预设的总价值阔值,则增加为计算出的价值评分低于 预定的第二价值阔值的计算流分配的资源。

[0009] 优选地,所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源 进行调整的处理包括:根据为所述计算流计算出的价值评分计算所述多条计算流的总价值 评分,如果计算出的总价值评分低于预设的总价值阔值,则选取权值最大的计算流,并计算 选取的计算流的价值评分,如果所述选取的计算流的价值评分低于预定的第=价值阔值, 则增加为选取的计算流分配的资源。

[0010] 优选地,所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源 进行调整的处理还包括:减少为计算出的价值评分高于预定的第四价值阔值的计算流分配 的资源。

[0011] 优选地,所述根据所述多条计算流的数据订阅流量分别对所述多条计算流赋予权 值的处理包括:根据计算流的数据订阅流量在全部计算流的数据订阅流量总和的百分比分 别对所述多条计算流赋予权值。

[0012] 优选地,所述分别获取多条计算流的延迟时间长度的处理包括:根据计算流的收 到确认时间和数据订阅时间分别计算所述计算流的延迟时间长度。

[0013] 本发明的实施例还提供了一种基于流式计算的资源管理装置,包括:数据获取模 块,用于分别获取多条计算流的数据订阅流量W及所述计算流的延迟时间长度;资源调整 模块,用于根据所述多条计算流的数据订阅流量W及延迟时间长度对分配给所述计算流的 资源进行调整。

[0014] 优选地,所述资源调整模块包括:权值及延迟时间计算单元,用于根据所述多条计 算流的数据订阅流量分别对所述多条计算流赋予权值,并且根据所述计算流的延迟时间长 度分别计算在预定的时间间隔内所述计算流的平均延迟时间长度;价值评分计算单元,用 于根据为所述多条计算流赋予的权值W及计算的平均延迟时间长度分别计算所述多条计 算流的价值评分;资源调整单元,用于根据计算的所述多条计算流的价值评分对分配给所 述计算流的资源进行调整。

[0015] 优选地,所述资源调整单元用于增加为计算出的价值评分低于预定的第一价值阔 值的计算流分配的资源。

[0016] 优选地,所述资源调整单元用于根据为所述计算流计算出的价值评分计算所述多 条计算流的总价值评分,如果计算出的总价值评分低于预设的总价值阔值,则增加为计算 出的价值评分低于预定的第二价值阔值的计算流分配的资源。

[0017] 优选地,所述资源调整单元用于根据为所述计算流计算出的价值评分计算所述多 条计算流的总价值评分,如果计算出的总价值评分低于预设的总价值阔值,则选取计算出 的价值评分最高的计算流,如果选取的计算流的价值评分低于预定的第S价值阔值,则增 加为选取的计算流分配的资源。

[0018] 优选地,所述资源调整单元还用于减少为计算出的价值评分高于预定的第四价值 阔值的计算流分配的资源。

[0019] 优选地,所述权值及延迟时间计算单元用于根据计算流的数据订阅流量在全部计 算流的数据订阅流量总和的百分比分别对所述多条计算流赋予权值。

[0020] 优选地,所述数据获取模块用于根据计算流的收到确认时间和数据订阅时间分别 计算所述计算流的延迟时间长度。

[0021] 本发明实施例提供的基于流式计算的资源管理方法及装置,在获取多条计算流的 数据订阅流量W及所述计算流的延迟时间长度后,进一步根据获取到的多条计算流的数据 订阅流量W及延迟时间长度,自动地对分配给所述计算流的资源进行调整,从而适应数据 量骤增等突发状况并保证服务质量。可见,本实施例所述方法充分利用既有资源,无论是在 流量高峰期还是低峰期对资源的使用情况都相对平衡。同时,无需获取额外资源来保证流 式计算服务质量,由此,减少了资源浪费。

附图说明

[0022] 图1是示出本发明实施例一的基于流式计算的资源管理方法的流程图;

[0023] 图2是示出本发明实施例二的基于流式计算的资源管理装置的逻辑框图。

具体实施方式

[0024] 本发明的基本构思是,提供一种基于流式计算的资源管理方式:分别获取多条计 算流的数据订阅流量W及所述计算流的延迟时间长度,由此,可基于获取到的所述多条计 算流的数据订阅流量W及延迟时间长度,自动地对分配给所述计算流的资源进行调整。

[00巧]与现有技术相比,本发明实施例所述的基于流式计算的资源管理方法能够充分利 用既有资源,无需获取额外资源。无论是在流量高峰期还是低峰期对资源的使用情况相对 平衡,减少资源浪费。并且,使得流式计算服务既满足常规的计算需求,又满足流量高峰期 的低延迟性需求。

[0026] 下面结合附图详细描述本发明实施例的基于流式计算的资源管理方法及装置。

[0027] 实施例一

[002引图1是示出本发明实施例一的基于流式计算的资源管理方法的流程图。可在如图 2所示的装置上执行该方法。

[0029] 参照图1,在步骤S110,分别获取多条计算流的数据订阅流量W及所述计算流的 延迟时间长度。

[0030] 根据本发明的示例性实施例,步骤S110中分别获取多条计算流的延迟时间长度 的处理包括:根据计算流的收到确认时间和数据订阅时间分别计算所述计算流的延迟时间 长度。具体地,在传输可靠的流式计算系统中,下游应用(AP巧一般在收到计算流传递的上 游数据之后,会向计算流发送确认信息。因此,可W根据计算流收到的确认信息的时间计算 传输延迟时间长度。

[0031] 在步骤S120,根据所述多条计算流的数据订阅流量W及延迟时间长度对分配给所 述计算流的资源进行调整。

[0032] 根据本发明的示例性实施例,步骤S120可包括:根据所述多条计算流的数据订阅 流量分别对所述多条计算流赋予权值,并且根据所述计算流的延迟时间长度分别计算在预 定的时间间隔内所述计算流的平均延迟时间长度;根据为所述多条计算流赋予的权值W及 计算的平均延迟时间长度分别计算所述多条计算流的价值评分;根据计算的所述多条计算 流的价值评分对分配给所述计算流的资源进行调整。

[0033] 在具体地实现方式中,首先,一方面可根据计算流的数据订阅流量在全部计算流 的数据订阅流量总和的百分比分别对所述多条计算流赋予权值。具体可利用下式(1)对多 条计算流分别赋予权值。 E〇034]

Figure CN105224805AD00061

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• 式(1)

[003引其中,Wi为第i条计算流的权值,Ti为第i条计算流的数据订阅流量,n为计算流 的个数,Tk为第k条计算流的数据订阅流量。

[0036] 此外,还可对每条计算流的权值进行更新。具体来说,在权值服务存储时处理每条 计算流的权值更新。例如,一种比较简单可靠的方式是利用apachezookeeper来进行存储, 需要说明的是,apachezooke巧er是一个开源文件应用程序接口(API),能使大型系统的分 布式进程相互同步,运样所有提出请求的客户端就可W得到一致的数据。每条计算流在预 定时间间隔(如5分钟)后根据数据订阅流量情况更新apachezookeeper,在更新的同时 根据每条计算流的当前数据订阅流量计算新的权值。

[0037] 另一方面,依据前述步骤S110获取到计算流的延迟时间长度计算平均延迟时间 长度。具体可通过下式(2)计算平均延迟时间长度:

[0038] Delayk=avgk (Tc-Tf)...............................................................式(2)

[0039] 其中,Delay,为第k条计算流的平均延迟时间长度,T。为第k条计算流的收到确 认时间,Tf为第k条计算流的数据订阅时间。

[0040] 其次,在获得多条计算流赋予的权值W及计算的平均延迟时间长度之后,具体可 通过下式(3)计算所述多条计算流的价值评分:

[0041]Vk=f值elayj...........................................................................式做

[004引其中,Vk为第k条计算流的价值评分,Delayk为第k条计算流的平均延迟时间长 度,f值elayj为预先建立的价值函数,用于表征第k条计算流的平均延迟时间长度与其价 值评分的对应关系。

[0043] 所述价值函数可根据具体的应用场景建立,一般来说,价值评分的取值范围为 0~1之间。例如,当第k条计算流的平均延迟时间长度大于0且小于等于5时,第k条计 算流的价值评分Vk为1,当第k条计算流的平均延迟时间长度大于5且小于等于10时,第 k条计算流的价值评分Vk为0. 5,当第k条计算流的平均延迟时间长度大于10时,第k条 计算流的价值评分Vk为0。

[0044] 根据本发明的可选实施例,根据计算的所述多条计算流的价值评分对分配给所述 计算流的资源进行调整的处理包括:增加为计算出的价值评分低于预定的第一价值阔值的 计算流分配的资源。

[0045] 根据本发明的另一可选实施例,所述根据计算的所述多条计算流的价值评分对分 配给所述计算流的资源进行调整的处理包括:根据为所述计算流计算出的价值评分计算所 述多条计算流的总价值评分,如果计算出的总价值评分低于预设的总价值阔值,则增加为 计算出的价值评分低于预定的第二价值阔值的计算流分配的资源。其中,具体可通过下式 (4)计算计算流的总价值评分:

[0046]

Figure CN105224805AD00071

..................................................................式(4)

[0047] 其中,V…为所述多条计算流的总价值评分,n为计算流的个数,Vk为第k条计算 流的价值评分,Wk为第k条计算流的权值。

[0048]根据本发明的另一可选实施例,所述根据计算的所述多条计算流的价值评分对分 配给所述计算流的资源进行调整的处理包括:根据为所述计算流计算出的价值评分计算所 述多条计算流的总价值评分,如果计算出的总价值评分低于预设的总价值阔值,则选取权 值最大的计算流,并计算选取的计算流的价值评分,如果所述选取的计算流的价值评分低 于预定的第S价值阔值,则增加为选取的计算流分配的资源。

[0049] 进一步地,所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资 源进行调整的处理还可W包括:减少为计算出的价值评分高于预定的第四价值阔值的计算 流分配的资源。

[0050] 在具体地实现方式中,假设有两条计算流,即计算流1和计算流2,对应的数据订 阅流量分别为T1、T2,权值分别为W1、W2, 一般根据数据订阅流量为计算流赋予权值,运用 前述式(1),则W1 =Tl/ai+T2),W2 =T2/灯1+啤。依据计算流的延迟时间长度在预定的 时间间隔内,分别计算得到计算流1的平均延迟时间长度Delay1,计算流2的平均延迟时间 长度Delay2。在实际应用中,计算计算流的价值评分就是建立表征平均延迟时间长度对价 值影响的函数。例如,在时效性要求高的流式计算系统中,可设定V=f值elay),即:

[0051]

Figure CN105224805AD00081

[0052]在计算出每条计算流的价值评分之后,假设计算流1的价值评分是VI,计算流2的 价值评分是V2,可计算出计算流1和计算流2的总价值评分,即V1+V2。预设的总价 值阔值是2,若V…小于2,则选取计算流i,使得W1=Max(W1,W2),计算选取出的计算流i 的价值评分Vi,预定的价值阔值为1,如果Vi小于1,则在运条计算流上增加资源,相应的对 其他的计算流减少资源;如果Vi等于1,则尝试减少运条计算流上的资源,W避免为其分配 过多资源,而使得其他计算流没有资源。若Vgii等于2,则表明当前运行已经在最佳状态,无 需调整。

[0053] 本发明实施例提供的基于流式计算的资源管理方法,根据获取到的多条计算流的 数据订阅流量W及延迟时间长度,自动地调整分配给所述计算流的资源,从而在数据量骤 增等突发状况下保证了服务质量。由于无需获取额外资源,使得本发明实施例所述方法仅 对既有资源进行自适应调整,最大化使用既有资源,能够在流量高峰期和低峰期时均衡使 用资源,减少了资源浪费。

[0054] 实施例二

[0055]图2是示出本发明实施例二的基于流式计算的资源管理装置的逻辑框图。可用于 执行如图1所示实施例的方法步骤。

[0056] 参照图2,基于流式计算的资源管理装置包括数据获取模块210和资源调整模块 220。

[0057] 数据获取模块210用于分别获取多条计算流的数据订阅流量W及所述计算流的 延迟时间长度。

[0058] 具体地,所述数据获取模块210可用于根据计算流的收到确认时间和数据订阅时 间分别计算所述计算流的延迟时间长度。

[0059] 资源调整模块220用于根据所述多条计算流的数据订阅流量W及延迟时间长度 对分配给所述计算流的资源进行调整。

[0060] 具体地,所述资源调整模块220可包括:

[0061] 权值及延迟时间计算单元(未示出)用于根据所述多条计算流的数据订阅流量分 别对所述多条计算流赋予权值,并且根据所述计算流的延迟时间长度分别计算在预定的时 间间隔内所述计算流的平均延迟时间长度。

[0062] 价值评分计算单元(未示出)用于根据为所述多条计算流赋予的权值W及计算的 平均延迟时间长度分别计算所述多条计算流的价值评分。

[0063]资源调整单元(未示出)用于根据计算的所述多条计算流的价值评分对分配给所 述计算流的资源进行调整。

[0064] 优选地,所述资源调整单元可用于增加为计算出的价值评分低于预定的第一价值 阔值的计算流分配的资源。

[0065] 进一步地,所述资源调整单元可用于根据为所述计算流计算出的价值评分计算所 述多条计算流的总价值评分,如果计算出的总价值评分低于预设的总价值阔值,则增加为 计算出的价值评分低于预定的第二价值阔值的计算流分配的资源。

[0066] 更进一步地,所述资源调整单元用于根据为所述计算流计算出的价值评分计算所 述多条计算流的总价值评分,如果计算出的总价值评分低于预设的总价值阔值,则选取权 值最大的计算流,并计算选取的计算流的价值评分,如果所述选取的计算流的价值评分低 于预定的第S价值阔值,则增加为选取的计算流分配的资源。

[0067] 优选地,所述资源调整单元还可用于减少为计算出的价值评分高于预定的第四价 值阔值的计算流分配的资源。

[0068] 可选地,所述权值及延迟时间计算单元用于根据计算流的数据订阅流量在全部计 算流的数据订阅流量总和的百分比分别对所述多条计算流赋予权值。

[0069] 本发明实施例提供的基于流式计算的资源管理装置,在分别获取多条计算流的数 据订阅流量W及所述计算流的延迟时间长度后,进一步根据所述多条计算流的数据订阅流 量W及延迟时间长度,自动地对分配给所述计算流的资源进行调整,从而使得在不投入额 外资源的前提下流量高峰期和低峰期的资源使用率相对均衡,进而保证了服务质量。

[0070] 在本发明所提供的几个实施例中,应该理解到,所公开的装置和方法,可W通过其 它的方式实现。例如,W上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅 仅为一种逻辑功能划分,实际实现时可W有另外的划分方式。

[0071] 另外,在本发明各个实施例中的各功能模块可W集成在一个处理模块中,也可W 是各个模块单独物理存在,也可W两个或两个W上模块集成在一个模块中。上述集成的模 块既可W采用硬件的形式实现,也可W采用硬件加软件功能模块的形式实现。

[0072] 上述W软件功能模块的形式实现的集成的模块,可W存储在一个计算机可读取存 储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用W使得一台计算 机设备(可W是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发 明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器 巧ead-OnlyMemoir,ROM)、随机存取存储器(RandomAccessMemoir,RAM)、磁碟或者光盘 等各种可W存储程序代码的介质。

[0073]W上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何 熟悉本技术领域的技术人员在本发明掲露的技术范围内,可轻易想到变化或替换,都应涵 盖在本发明的保护范围之内。因此,本发明的保护范围应W所述权利要求的保护范围为准。

Claims (16)

1. 一种基于流式计算的资源管理方法,其特征在于,所述方法包括: 分别获取多条计算流的数据订阅流量以及所述计算流的延迟时间长度; 根据所述多条计算流的数据订阅流量以及延迟时间长度对分配给所述计算流的资源 进行调整。
2. 根据权利要求1所述的方法,其特征在于,所述根据所述多条计算流的数据订阅流 量以及延迟时间长度对分配给所述计算流的资源进行调整的处理包括: 根据所述多条计算流的数据订阅流量分别对所述多条计算流赋予权值,并且根据所述 计算流的延迟时间长度分别计算在预定的时间间隔内所述计算流的平均延迟时间长度; 根据为所述多条计算流赋予的权值以及计算的平均延迟时间长度分别计算所述多条 计算流的价值评分; 根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整。
3. 根据权利要求2所述的方法,其特征在于,所述根据计算的所述多条计算流的价值 评分对分配给所述计算流的资源进行调整的处理包括: 增加为计算出的价值评分低于预定的第一价值阈值的计算流分配的资源。
4. 根据权利要求2所述的方法,其特征在于,所述根据计算的所述多条计算流的价值 评分对分配给所述计算流的资源进行调整的处理包括: 根据为所述计算流计算出的价值评分计算所述多条计算流的总价值评分, 如果计算出的总价值评分低于预设的总价值阈值,则增加为计算出的价值评分低于预 定的第二价值阈值的计算流分配的资源。
5. 根据权利要求2所述的方法,其特征在于,所述根据计算的所述多条计算流的价值 评分对分配给所述计算流的资源进行调整的处理包括: 根据为所述计算流计算出的价值评分计算所述多条计算流的总价值评分, 如果计算出的总价值评分低于预设的总价值阈值,则选取权值最大的计算流,并计算 选取的计算流的价值评分,如果所述选取的计算流的价值评分低于预定的第三价值阈值, 则增加为选取的计算流分配的资源。
6. 根据权利要求3~5中任一项所述的方法,其特征在于,所述根据计算的所述多条计 算流的价值评分对分配给所述计算流的资源进行调整的处理还包括: 减少为计算出的价值评分高于预定的第四价值阈值的计算流分配的资源。
7. 根据权利要求2~5中任一项所述的方法,其特征在于,所述根据所述多条计算流的 数据订阅流量分别对所述多条计算流赋予权值的处理包括: 根据计算流的数据订阅流量在全部计算流的数据订阅流量总和的百分比分别对所述 多条计算流赋予权值。
8. 根据权利要求6所述的方法,其特征在于,所述分别获取多条计算流的延迟时间长 度的处理包括: 根据计算流的收到确认时间和数据订阅时间分别计算所述计算流的延迟时间长度。
9. 一种基于流式计算的资源管理装置,其特征在于,所述装置包括: 数据获取模块,用于分别获取多条计算流的数据订阅流量以及所述计算流的延迟时间 长度; 资源调整模块,用于根据所述多条计算流的数据订阅流量以及延迟时间长度对分配给 所述计算流的资源进行调整。
10. 根据权利要求9所述的装置,其特征在于,所述资源调整模块包括: 权值及延迟时间计算单元,用于根据所述多条计算流的数据订阅流量分别对所述多条 计算流赋予权值,并且根据所述计算流的延迟时间长度分别计算在预定的时间间隔内所述 计算流的平均延迟时间长度; 价值评分计算单元,用于根据为所述多条计算流赋予的权值以及计算的平均延迟时间 长度分别计算所述多条计算流的价值评分; 资源调整单元,用于根据计算的所述多条计算流的价值评分对分配给所述计算流的资 源进行调整。
11. 根据权利要求10所述的装置,其特征在于,所述资源调整单元用于增加为计算出 的价值评分低于预定的第一价值阈值的计算流分配的资源。
12. 根据权利要求10所述的装置,其特征在于,所述资源调整单元用于根据为所述计 算流计算出的价值评分计算所述多条计算流的总价值评分,如果计算出的总价值评分低于 预设的总价值阈值,则增加为计算出的价值评分低于预定的第二价值阈值的计算流分配的 资源。
13. 根据权利要求10所述的装置,其特征在于,所述资源调整单元用于根据为所述计 算流计算出的价值评分计算所述多条计算流的总价值评分,如果计算出的总价值评分低于 预设的总价值阈值,则选取权值最大的计算流,并计算选取的计算流的价值评分,如果所述 选取的计算流的价值评分低于预定的第三价值阈值,则增加为选取的计算流分配的资源。
14. 根据权利要求11~13中任一项所述的装置,其特征在于,所述资源调整单元还用 于减少为计算出的价值评分高于预定的第四价值阈值的计算流分配的资源。
15. 根据权利要求10~13中任一项所述的装置,其特征在于,所述权值及延迟时间计 算单元用于根据计算流的数据订阅流量在全部计算流的数据订阅流量总和的百分比分别 对所述多条计算流赋予权值。
16. 根据权利要求14所述的装置,其特征在于,所述数据获取模块用于根据计算流的 收到确认时间和数据订阅时间分别计算所述计算流的延迟时间长度。
CN201510654492.0A 2015-10-10 2015-10-10 基于流式计算的资源管理方法及装置 CN105224805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510654492.0A CN105224805B (zh) 2015-10-10 2015-10-10 基于流式计算的资源管理方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510654492.0A CN105224805B (zh) 2015-10-10 2015-10-10 基于流式计算的资源管理方法及装置
PCT/CN2016/086406 WO2017059695A1 (zh) 2015-10-10 2016-06-20 基于流式计算的资源管理方法及装置

Publications (2)

Publication Number Publication Date
CN105224805A true CN105224805A (zh) 2016-01-06
CN105224805B CN105224805B (zh) 2018-03-16

Family

ID=54993771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510654492.0A CN105224805B (zh) 2015-10-10 2015-10-10 基于流式计算的资源管理方法及装置

Country Status (2)

Country Link
CN (1) CN105224805B (zh)
WO (1) WO2017059695A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105959233A (zh) * 2016-04-25 2016-09-21 深圳市威宇智通科技有限公司 基于流式计算的移动终端流量分发系统及方法
WO2017059695A1 (zh) * 2015-10-10 2017-04-13 百度在线网络技术(北京)有限公司 基于流式计算的资源管理方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087723A1 (en) * 2001-01-03 2002-07-04 Robert Williams Method and apparatus for performing priority-based flow control
CN102301664A (zh) * 2011-07-20 2011-12-28 华为技术有限公司 多核处理器的流分发方法及装置
US20130166618A1 (en) * 2011-12-22 2013-06-27 International Business Machines Corporation Predictive operator graph element processing
CN103412794A (zh) * 2013-08-08 2013-11-27 南京邮电大学 一种面向流计算的动态调度分配方法
CN103870340A (zh) * 2014-03-06 2014-06-18 华为技术有限公司 流计算系统中的数据处理方法、控制节点及流计算系统
CN104092619A (zh) * 2014-07-25 2014-10-08 华为技术有限公司 流量控制方法及装置
CN104951368A (zh) * 2014-03-28 2015-09-30 中国电信股份有限公司 资源动态分配装置和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224805B (zh) * 2015-10-10 2018-03-16 百度在线网络技术(北京)有限公司 基于流式计算的资源管理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087723A1 (en) * 2001-01-03 2002-07-04 Robert Williams Method and apparatus for performing priority-based flow control
CN102301664A (zh) * 2011-07-20 2011-12-28 华为技术有限公司 多核处理器的流分发方法及装置
US20130166618A1 (en) * 2011-12-22 2013-06-27 International Business Machines Corporation Predictive operator graph element processing
CN103412794A (zh) * 2013-08-08 2013-11-27 南京邮电大学 一种面向流计算的动态调度分配方法
CN103870340A (zh) * 2014-03-06 2014-06-18 华为技术有限公司 流计算系统中的数据处理方法、控制节点及流计算系统
CN104951368A (zh) * 2014-03-28 2015-09-30 中国电信股份有限公司 资源动态分配装置和方法
CN104092619A (zh) * 2014-07-25 2014-10-08 华为技术有限公司 流量控制方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017059695A1 (zh) * 2015-10-10 2017-04-13 百度在线网络技术(北京)有限公司 基于流式计算的资源管理方法及装置
CN105959233A (zh) * 2016-04-25 2016-09-21 深圳市威宇智通科技有限公司 基于流式计算的移动终端流量分发系统及方法
CN105959233B (zh) * 2016-04-25 2018-12-28 深圳市威宇智通科技有限公司 基于流式计算动态质量模型的手机流量分发方法

Also Published As

Publication number Publication date
CN105224805B (zh) 2018-03-16
WO2017059695A1 (zh) 2017-04-13

Similar Documents

Publication Publication Date Title
CN102415059B (zh) 总线控制装置
Ciucu et al. A network service curve approach for the stochastic analysis of networks
RU2636133C2 (ru) Способ и устройство для отображения прикладного программного обеспечения
CN103476123B (zh) LTE网络视频业务QoE保障资源分配方法
CN103024825B (zh) 终端多应用间网络资源分配方法及其设备
CN101621578B (zh) 一种设置闹钟的方法和终端
CN101794359B (zh) 用于启用用于遗留应用的经群体测试的安全特征的方法和系统
US10008211B2 (en) Method and apparatus for encoding stereo phase parameter
KR101749202B1 (ko) 타임스탬프를 생성하는 방법, 장치, 그리고 시스템
CN103309946B (zh) 多媒体文件处理方法、装置及系统
CN105165096A (zh) 缓冲-感知无线电资源管理
TWI323587B (en) Methods and apparatus for enhanced delivery of content over a data network
CN102857578B (zh) 一种网络硬盘的文件上传方法、系统及网盘客户端
EP2481173B1 (en) Method for multi-point cooperation considering delay in wireless communication system
CN106658049B (zh) 一种视频播放缓冲方法及系统
CN103595651B (zh) 基于分布式的数据流处理方法和系统
CN102681793A (zh) 一种基于纠删码集群存储系统的局部式数据更新方法
CN102571607B (zh) 一种网络流速分配系统
US20160150255A1 (en) System and method for enabling network based rate determination for adaptive video streaming
US20120233183A1 (en) Information processing apparatus, terminal apparatus, information presentation system, calculation method of evaluation scores, and program
EP2879333A1 (en) Available bandwidth estimating system, method, and program
CN104731636B (zh) 调度员训练模拟装置及其操作方法
WO2014206167A1 (zh) 反馈csi的方法、调度ue的方法、ue及基站
CN103078933B (zh) 一种确定数据迁移时机的方法和装置
CN102255685A (zh) 反馈和获取csi的方法、ue及基站

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant