CN105224805B - 基于流式计算的资源管理方法及装置 - Google Patents

基于流式计算的资源管理方法及装置 Download PDF

Info

Publication number
CN105224805B
CN105224805B CN201510654492.0A CN201510654492A CN105224805B CN 105224805 B CN105224805 B CN 105224805B CN 201510654492 A CN201510654492 A CN 201510654492A CN 105224805 B CN105224805 B CN 105224805B
Authority
CN
China
Prior art keywords
stream
calculating
resource
value
calculating stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510654492.0A
Other languages
English (en)
Other versions
CN105224805A (zh
Inventor
熊云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201510654492.0A priority Critical patent/CN105224805B/zh
Publication of CN105224805A publication Critical patent/CN105224805A/zh
Priority to PCT/CN2016/086406 priority patent/WO2017059695A1/zh
Application granted granted Critical
Publication of CN105224805B publication Critical patent/CN105224805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass

Landscapes

  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供了一种基于流式计算的资源管理方法及装置。其中，基于流式计算的资源管理方法包括：分别获取多条计算流的数据订阅流量以及所述计算流的延迟时间长度；根据所述多条计算流的数据订阅流量以及延迟时间长度对分配给所述计算流的资源进行调整。本发明实施例的基于流式计算的资源管理方法及装置，实现了在流式计算过程中，自动地对分配给计算流的既有资源进行调整以适应流量变化，使得流量高峰期和低峰期的资源使用率相对均衡，进而保证服务质量。

Description

基于流式计算的资源管理方法及装置
技术领域
本发明涉及互联网技术领域，尤其涉及一种基于流式计算的资源管理方法及装置。
背景技术
在流式计算中，对于重要的计算往往会添加多份备份。以便于当一条计算流失效时，其他的计算仍然可用，从而不影响整体的服务质量。当然，每一条计算流的资源都会受到限制，仅保留可见的必要的余量，以保证峰值期间仍然可用。
近年来，随着流式计算业务的发展，数据量也逐步增大，通常会发生一些突发状况。例如高峰期流量超出预期。在此状况下，任何一条计算流都会因数据量暴增而处理不及时，导致延时，进而无法满足可靠性要求。现有技术一般采用投入更多的计算资源的方式来保证服务质量。然而，上述方式具有无限制地获取额外资源，流量低峰期造成资源闲置等不足之处。
发明内容
本发明实施例的目的在于，提供一种基于流式计算的资源管理方法及装置，以实现在流式计算过程中，自动地调整分配给计算流的既有资源以适应数据量骤增等突发状况，并保证服务质量。
为实现上述发明目的，本发明的实施例提供了一种基于流式计算的资源管理方法，包括：分别获取多条计算流的数据订阅流量以及所述计算流的延迟时间长度；根据所述多条计算流的数据订阅流量以及延迟时间长度对分配给所述计算流的资源进行调整。
优选地，所述根据所述多条计算流的数据订阅流量以及延迟时间长度对分配给所述计算流的资源进行调整的处理包括：根据所述多条计算流的数据订阅流量分别对所述多条计算流赋予权值，并且根据所述计算流的延迟时间长度分别计算在预定的时间间隔内所述计算流的平均延迟时间长度；根据为所述多条计算流赋予的权值以及计算的平均延迟时间长度分别计算所述多条计算流的价值评分；根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整。
优选地，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整的处理包括：增加为计算出的价值评分低于预定的第一价值阈值的计算流分配的资源。
优选地，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整的处理包括：根据为所述计算流计算出的价值评分计算所述多条计算流的总价值评分，如果计算出的总价值评分低于预设的总价值阈值，则增加为计算出的价值评分低于预定的第二价值阈值的计算流分配的资源。
优选地，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整的处理包括：根据为所述计算流计算出的价值评分计算所述多条计算流的总价值评分，如果计算出的总价值评分低于预设的总价值阈值，则选取权值最大的计算流，并计算选取的计算流的价值评分，如果所述选取的计算流的价值评分低于预定的第三价值阈值，则增加为选取的计算流分配的资源。
优选地，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整的处理还包括：减少为计算出的价值评分高于预定的第四价值阈值的计算流分配的资源。
优选地，所述根据所述多条计算流的数据订阅流量分别对所述多条计算流赋予权值的处理包括：根据计算流的数据订阅流量在全部计算流的数据订阅流量总和的百分比分别对所述多条计算流赋予权值。
优选地，所述分别获取多条计算流的延迟时间长度的处理包括：根据计算流的收到确认时间和数据订阅时间分别计算所述计算流的延迟时间长度。
本发明的实施例还提供了一种基于流式计算的资源管理装置，包括：数据获取模块，用于分别获取多条计算流的数据订阅流量以及所述计算流的延迟时间长度；资源调整模块，用于根据所述多条计算流的数据订阅流量以及延迟时间长度对分配给所述计算流的资源进行调整。
优选地，所述资源调整模块包括：权值及延迟时间计算单元，用于根据所述多条计算流的数据订阅流量分别对所述多条计算流赋予权值，并且根据所述计算流的延迟时间长度分别计算在预定的时间间隔内所述计算流的平均延迟时间长度；价值评分计算单元，用于根据为所述多条计算流赋予的权值以及计算的平均延迟时间长度分别计算所述多条计算流的价值评分；资源调整单元，用于根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整。
优选地，所述资源调整单元用于增加为计算出的价值评分低于预定的第一价值阈值的计算流分配的资源。
优选地，所述资源调整单元用于根据为所述计算流计算出的价值评分计算所述多条计算流的总价值评分，如果计算出的总价值评分低于预设的总价值阈值，则增加为计算出的价值评分低于预定的第二价值阈值的计算流分配的资源。
优选地，所述资源调整单元用于根据为所述计算流计算出的价值评分计算所述多条计算流的总价值评分，如果计算出的总价值评分低于预设的总价值阈值，则选取计算出的价值评分最高的计算流，如果选取的计算流的价值评分低于预定的第三价值阈值，则增加为选取的计算流分配的资源。
优选地，所述资源调整单元还用于减少为计算出的价值评分高于预定的第四价值阈值的计算流分配的资源。
优选地，所述权值及延迟时间计算单元用于根据计算流的数据订阅流量在全部计算流的数据订阅流量总和的百分比分别对所述多条计算流赋予权值。
优选地，所述数据获取模块用于根据计算流的收到确认时间和数据订阅时间分别计算所述计算流的延迟时间长度。
本发明实施例提供的基于流式计算的资源管理方法及装置，在获取多条计算流的数据订阅流量以及所述计算流的延迟时间长度后，进一步根据获取到的多条计算流的数据订阅流量以及延迟时间长度，自动地对分配给所述计算流的资源进行调整，从而适应数据量骤增等突发状况并保证服务质量。可见，本实施例所述方法充分利用既有资源，无论是在流量高峰期还是低峰期对资源的使用情况都相对平衡。同时，无需获取额外资源来保证流式计算服务质量，由此，减少了资源浪费。
附图说明
图1是示出本发明实施例一的基于流式计算的资源管理方法的流程图；
图2是示出本发明实施例二的基于流式计算的资源管理装置的逻辑框图。
具体实施方式
本发明的基本构思是，提供一种基于流式计算的资源管理方式：分别获取多条计算流的数据订阅流量以及所述计算流的延迟时间长度，由此，可基于获取到的所述多条计算流的数据订阅流量以及延迟时间长度，自动地对分配给所述计算流的资源进行调整。
与现有技术相比，本发明实施例所述的基于流式计算的资源管理方法能够充分利用既有资源，无需获取额外资源。无论是在流量高峰期还是低峰期对资源的使用情况相对平衡，减少资源浪费。并且，使得流式计算服务既满足常规的计算需求，又满足流量高峰期的低延迟性需求。
下面结合附图详细描述本发明实施例的基于流式计算的资源管理方法及装置。
实施例一
图1是示出本发明实施例一的基于流式计算的资源管理方法的流程图。可在如图2所示的装置上执行该方法。
参照图1，在步骤S110，分别获取多条计算流的数据订阅流量以及所述计算流的延迟时间长度。
根据本发明的示例性实施例，步骤S110中分别获取多条计算流的延迟时间长度的处理包括：根据计算流的收到确认时间和数据订阅时间分别计算所述计算流的延迟时间长度。具体地，在传输可靠的流式计算系统中，下游应用(APP)一般在收到计算流传递的上游数据之后，会向计算流发送确认信息。因此，可以根据计算流收到的确认信息的时间计算传输延迟时间长度。
在步骤S120，根据所述多条计算流的数据订阅流量以及延迟时间长度对分配给所述计算流的资源进行调整。
根据本发明的示例性实施例，步骤S120可包括：根据所述多条计算流的数据订阅流量分别对所述多条计算流赋予权值，并且根据所述计算流的延迟时间长度分别计算在预定的时间间隔内所述计算流的平均延迟时间长度；根据为所述多条计算流赋予的权值以及计算的平均延迟时间长度分别计算所述多条计算流的价值评分；根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整。
在具体地实现方式中，首先，一方面可根据计算流的数据订阅流量在全部计算流的数据订阅流量总和的百分比分别对所述多条计算流赋予权值。具体可利用下式(1)对多条计算流分别赋予权值。
……………………………………………式(1)
其中，Wi为第i条计算流的权值，Ti为第i条计算流的数据订阅流量，n为计算流的个数，Tk为第k条计算流的数据订阅流量。
此外，还可对每条计算流的权值进行更新。具体来说，在权值服务存储时处理每条计算流的权值更新。例如，一种比较简单可靠的方式是利用apache zookeeper来进行存储，需要说明的是，apache zookeeper是一个开源文件应用程序接口(API)，能使大型系统的分布式进程相互同步，这样所有提出请求的客户端就可以得到一致的数据。每条计算流在预定时间间隔(如5分钟)后根据数据订阅流量情况更新apache zookeeper，在更新的同时根据每条计算流的当前数据订阅流量计算新的权值。
另一方面，依据前述步骤S110获取到计算流的延迟时间长度计算平均延迟时间长度。具体可通过下式(2)计算平均延迟时间长度：
Delayk＝avgk(Tc-Tr)………………………………………………………式(2)
其中，Delayk为第k条计算流的平均延迟时间长度，Tc为第k条计算流的收到确认时间，Tr为第k条计算流的数据订阅时间。
其次，在获得多条计算流赋予的权值以及计算的平均延迟时间长度之后，具体可通过下式(3)计算所述多条计算流的价值评分：
Vk＝f(Delayk)…………………………………………………………………式(3)
其中，Vk为第k条计算流的价值评分，Delayk为第k条计算流的平均延迟时间长度，f(Delayk)为预先建立的价值函数，用于表征第k条计算流的平均延迟时间长度与其价值评分的对应关系。
所述价值函数可根据具体的应用场景建立，一般来说，价值评分的取值范围为0～1之间。例如，当第k条计算流的平均延迟时间长度大于0且小于等于5时，第k条计算流的价值评分Vk为1，当第k条计算流的平均延迟时间长度大于5且小于等于10时，第k条计算流的价值评分Vk为0.5，当第k条计算流的平均延迟时间长度大于10时，第k条计算流的价值评分Vk为0。
根据本发明的可选实施例，根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整的处理包括：增加为计算出的价值评分低于预定的第一价值阈值的计算流分配的资源。
根据本发明的另一可选实施例，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整的处理包括：根据为所述计算流计算出的价值评分计算所述多条计算流的总价值评分，如果计算出的总价值评分低于预设的总价值阈值，则增加为计算出的价值评分低于预定的第二价值阈值的计算流分配的资源。其中，具体可通过下式(4)计算计算流的总价值评分：
…………………………………………式(4)
其中，Vall为所述多条计算流的总价值评分，n为计算流的个数，Vk为第k条计算流的价值评分，Wk为第k条计算流的权值。
根据本发明的另一可选实施例，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整的处理包括：根据为所述计算流计算出的价值评分计算所述多条计算流的总价值评分，如果计算出的总价值评分低于预设的总价值阈值，则选取权值最大的计算流，并计算选取的计算流的价值评分，如果所述选取的计算流的价值评分低于预定的第三价值阈值，则增加为选取的计算流分配的资源。
进一步地，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整的处理还可以包括：减少为计算出的价值评分高于预定的第四价值阈值的计算流分配的资源。
在具体地实现方式中，假设有两条计算流，即计算流1和计算流2，对应的数据订阅流量分别为T1、T2，权值分别为W1、W2，一般根据数据订阅流量为计算流赋予权值，运用前述式(1)，则W1＝T1/(T1+T2)，W2＝T2/(T1+T2)。依据计算流的延迟时间长度在预定的时间间隔内，分别计算得到计算流1的平均延迟时间长度Delay1，计算流2的平均延迟时间长度Delay2。在实际应用中，计算计算流的价值评分就是建立表征平均延迟时间长度对价值影响的函数。例如，在时效性要求高的流式计算系统中，可设定V＝f(Delay)，即：
在计算出每条计算流的价值评分之后，假设计算流1的价值评分是V1，计算流2的价值评分是V2，可计算出计算流1和计算流2的总价值评分，即Vall＝V1+V2。预设的总价值阈值是2，若Vall小于2，则选取计算流i，使得Wi＝Max(W1，W2)，计算选取出的计算流i的价值评分Vi，预定的价值阈值为1，如果Vi小于1，则在这条计算流上增加资源，相应的对其他的计算流减少资源；如果Vi等于1，则尝试减少这条计算流上的资源，以避免为其分配过多资源，而使得其他计算流没有资源。若Vall等于2，则表明当前运行已经在最佳状态，无需调整。
本发明实施例提供的基于流式计算的资源管理方法，根据获取到的多条计算流的数据订阅流量以及延迟时间长度，自动地调整分配给所述计算流的资源，从而在数据量骤增等突发状况下保证了服务质量。由于无需获取额外资源，使得本发明实施例所述方法仅对既有资源进行自适应调整，最大化使用既有资源，能够在流量高峰期和低峰期时均衡使用资源，减少了资源浪费。
实施例二
图2是示出本发明实施例二的基于流式计算的资源管理装置的逻辑框图。可用于执行如图1所示实施例的方法步骤。
参照图2，基于流式计算的资源管理装置包括数据获取模块210和资源调整模块220。
数据获取模块210用于分别获取多条计算流的数据订阅流量以及所述计算流的延迟时间长度。
具体地，所述数据获取模块210可用于根据计算流的收到确认时间和数据订阅时间分别计算所述计算流的延迟时间长度。
资源调整模块220用于根据所述多条计算流的数据订阅流量以及延迟时间长度对分配给所述计算流的资源进行调整。
具体地，所述资源调整模块220可包括：
权值及延迟时间计算单元(未示出)用于根据所述多条计算流的数据订阅流量分别对所述多条计算流赋予权值，并且根据所述计算流的延迟时间长度分别计算在预定的时间间隔内所述计算流的平均延迟时间长度。
价值评分计算单元(未示出)用于根据为所述多条计算流赋予的权值以及计算的平均延迟时间长度分别计算所述多条计算流的价值评分。
资源调整单元(未示出)用于根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整。
优选地，所述资源调整单元可用于增加为计算出的价值评分低于预定的第一价值阈值的计算流分配的资源。
进一步地，所述资源调整单元可用于根据为所述计算流计算出的价值评分计算所述多条计算流的总价值评分，如果计算出的总价值评分低于预设的总价值阈值，则增加为计算出的价值评分低于预定的第二价值阈值的计算流分配的资源。
更进一步地，所述资源调整单元用于根据为所述计算流计算出的价值评分计算所述多条计算流的总价值评分，如果计算出的总价值评分低于预设的总价值阈值，则选取权值最大的计算流，并计算选取的计算流的价值评分，如果所述选取的计算流的价值评分低于预定的第三价值阈值，则增加为选取的计算流分配的资源。
优选地，所述资源调整单元还可用于减少为计算出的价值评分高于预定的第四价值阈值的计算流分配的资源。
可选地，所述权值及延迟时间计算单元用于根据计算流的数据订阅流量在全部计算流的数据订阅流量总和的百分比分别对所述多条计算流赋予权值。
本发明实施例提供的基于流式计算的资源管理装置，在分别获取多条计算流的数据订阅流量以及所述计算流的延迟时间长度后，进一步根据所述多条计算流的数据订阅流量以及延迟时间长度，自动地对分配给所述计算流的资源进行调整，从而使得在不投入额外资源的前提下流量高峰期和低峰期的资源使用率相对均衡，进而保证了服务质量。
在本发明所提供的几个实施例中，应该理解到，所公开的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种基于流式计算的资源管理方法，其特征在于，所述方法包括：
分别获取多条计算流的数据订阅流量以及所述计算流的延迟时间长度；
根据所述多条计算流的数据订阅流量以及延迟时间长度对分配给所述计算流的资源进行调整。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多条计算流的数据订阅流量以及延迟时间长度对分配给所述计算流的资源进行调整，包括：
根据所述多条计算流的数据订阅流量分别对所述多条计算流赋予权值，并且根据所述计算流的延迟时间长度分别计算在预定的时间间隔内所述计算流的平均延迟时间长度；
根据为所述多条计算流赋予的权值以及计算的平均延迟时间长度分别计算所述多条计算流的价值评分；
根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整。
3.根据权利要求2所述的方法，其特征在于，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整，包括：
为计算出的价值评分低于预定的第一价值阈值的计算流增加分配的资源。
4.根据权利要求2所述的方法，其特征在于，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整，包括：
根据为所述计算流计算出的价值评分计算所述多条计算流的总价值评分，
如果计算出的总价值评分低于预设的总价值阈值，则为计算出的价值评分低于预定的第二价值阈值的计算流增加分配的资源。
5.根据权利要求2所述的方法，其特征在于，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整，包括：
根据为所述计算流计算出的价值评分计算所述多条计算流的总价值评分，
如果计算出的总价值评分低于预设的总价值阈值，则选取权值最大的计算流，并计算选取的计算流的价值评分，如果所述选取的计算流的价值评分低于预定的第三价值阈值，则为选取的计算流增加分配的资源。
6.根据权利要求3～5中任一项所述的方法，其特征在于，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整，还包括：
为计算出的价值评分高于预定的第四价值阈值的计算流减少分配的资源。
7.根据权利要求2～5中任一项所述的方法，其特征在于，所述根据所述多条计算流的数据订阅流量分别对所述多条计算流赋予权值，包括：
根据计算流的数据订阅流量在全部计算流的数据订阅流量总和的百分比分别对所述多条计算流赋予权值。
8.根据权利要求6所述的方法，其特征在于，所述分别获取多条计算流的延迟时间长度，包括：
根据计算流的收到确认时间和数据订阅时间分别计算所述计算流的延迟时间长度。
9.一种基于流式计算的资源管理装置，其特征在于，所述装置包括：
数据获取模块，用于分别获取多条计算流的数据订阅流量以及所述计算流的延迟时间长度；
资源调整模块，用于根据所述多条计算流的数据订阅流量以及延迟时间长度对分配给所述计算流的资源进行调整。
10.根据权利要求9所述的装置，其特征在于，所述资源调整模块包括：
权值及延迟时间计算单元，用于根据所述多条计算流的数据订阅流量分别对所述多条计算流赋予权值，并且根据所述计算流的延迟时间长度分别计算在预定的时间间隔内所述计算流的平均延迟时间长度；
价值评分计算单元，用于根据为所述多条计算流赋予的权值以及计算的平均延迟时间长度分别计算所述多条计算流的价值评分；
资源调整单元，用于根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整。
11.根据权利要求10所述的装置，其特征在于，所述资源调整单元用于为计算出的价值评分低于预定的第一价值阈值的计算流增加分配的资源。
12.根据权利要求10所述的装置，其特征在于，所述资源调整单元用于根据为所述计算流计算出的价值评分计算所述多条计算流的总价值评分，如果计算出的总价值评分低于预设的总价值阈值，则为计算出的价值评分低于预定的第二价值阈值的计算流增加分配的资源。
13.根据权利要求10所述的装置，其特征在于，所述资源调整单元用于根据为所述计算流计算出的价值评分计算所述多条计算流的总价值评分，如果计算出的总价值评分低于预设的总价值阈值，则选取权值最大的计算流，并计算选取的计算流的价值评分，如果所述选取的计算流的价值评分低于预定的第三价值阈值，则为选取的计算流增加分配的资源。
14.根据权利要求11～13中任一项所述的装置，其特征在于，所述资源调整单元还用于为计算出的价值评分高于预定的第四价值阈值的计算流减少分配的资源。
15.根据权利要求10～13中任一项所述的装置，其特征在于，所述权值及延迟时间计算单元用于根据计算流的数据订阅流量在全部计算流的数据订阅流量总和的百分比分别对所述多条计算流赋予权值。
16.根据权利要求14所述的装置，其特征在于，所述数据获取模块用于根据计算流的收到确认时间和数据订阅时间分别计算所述计算流的延迟时间长度。
CN201510654492.0A 2015-10-10 2015-10-10 基于流式计算的资源管理方法及装置 Active CN105224805B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510654492.0A CN105224805B (zh) 2015-10-10 2015-10-10 基于流式计算的资源管理方法及装置
PCT/CN2016/086406 WO2017059695A1 (zh) 2015-10-10 2016-06-20 基于流式计算的资源管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510654492.0A CN105224805B (zh) 2015-10-10 2015-10-10 基于流式计算的资源管理方法及装置

Publications (2)

Publication Number Publication Date
CN105224805A CN105224805A (zh) 2016-01-06
CN105224805B true CN105224805B (zh) 2018-03-16

Family

ID=54993771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510654492.0A Active CN105224805B (zh) 2015-10-10 2015-10-10 基于流式计算的资源管理方法及装置

Country Status (2)

Country Link
CN (1) CN105224805B (zh)
WO (1) WO2017059695A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224805B (zh) * 2015-10-10 2018-03-16 百度在线网络技术（北京）有限公司 基于流式计算的资源管理方法及装置
CN105959233B (zh) * 2016-04-25 2018-12-28 深圳市威宇智通科技有限公司 基于流式计算动态质量模型的手机流量分发方法
CN111258754A (zh) * 2020-01-09 2020-06-09 上海依图信息技术有限公司 一种基于时间窗口的资源处理方法、装置、介质以及系统
CN111506419B (zh) * 2020-03-11 2024-07-02 北京联创信安科技股份有限公司 一种gpu资源共享方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102301664A (zh) * 2011-07-20 2011-12-28 华为技术有限公司 多核处理器的流分发方法及装置
CN103412794A (zh) * 2013-08-08 2013-11-27 南京邮电大学 一种面向流计算的动态调度分配方法
CN103870340A (zh) * 2014-03-06 2014-06-18 华为技术有限公司 流计算系统中的数据处理方法、控制节点及流计算系统
CN104092619A (zh) * 2014-07-25 2014-10-08 华为技术有限公司 流量控制方法及装置
CN104951368A (zh) * 2014-03-28 2015-09-30 中国电信股份有限公司 资源动态分配装置和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6957269B2 (en) * 2001-01-03 2005-10-18 Advanced Micro Devices, Inc. Method and apparatus for performing priority-based flow control
US9069543B2 (en) * 2011-12-22 2015-06-30 International Business Machines Corporation Predictive operator graph element processing
CN105224805B (zh) * 2015-10-10 2018-03-16 百度在线网络技术（北京）有限公司 基于流式计算的资源管理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102301664A (zh) * 2011-07-20 2011-12-28 华为技术有限公司 多核处理器的流分发方法及装置
CN103412794A (zh) * 2013-08-08 2013-11-27 南京邮电大学 一种面向流计算的动态调度分配方法
CN103870340A (zh) * 2014-03-06 2014-06-18 华为技术有限公司 流计算系统中的数据处理方法、控制节点及流计算系统
CN104951368A (zh) * 2014-03-28 2015-09-30 中国电信股份有限公司 资源动态分配装置和方法
CN104092619A (zh) * 2014-07-25 2014-10-08 华为技术有限公司 流量控制方法及装置

Also Published As

Publication number Publication date
WO2017059695A1 (zh) 2017-04-13
CN105224805A (zh) 2016-01-06

Similar Documents

Publication Publication Date Title
CN105224805B (zh) 基于流式计算的资源管理方法及装置
CN104796449B (zh) 内容分发方法、装置及设备
CN105657449B (zh) 一种视频转码分配方法、装置及视频转码系统
US9893973B2 (en) Real-time, low memory estimation of unique client computers communicating with a server computer
TW200845687A (en) Methods and systems for resizing multimedia content based on quality and rate information
CA2798054A1 (en) Dynamic binding for use in content distribution
CN105376607A (zh) 一种网络抖动环境下的视频直播方法及装置
CN106550248B (zh) 一种音视频同步的方法和设备
US9729603B2 (en) Content stream delivery using variable cache replacement granularity
CN110798527B (zh) 一种节点数据部署方法、装置、系统及介质
CN107920108A (zh) 一种媒体资源的推送方法、客户端及服务器
CN104394440A (zh) 一种http视频流调度方法及装置
US20120243535A1 (en) Cache collaboration method, apparatus, and system
CN110012324A (zh) 一种嵌入式无线视频传输的码率自适应方法及系统
US10044833B2 (en) Data processing method and apparatus used for terminal application
CN112685169B (zh) 一种负载控制方法、装置、服务器及可读存储介质
US8725868B2 (en) Interactive service management
CN105430028B (zh) 服务调用方法、提供方法及节点
US20130311668A1 (en) Methods And Systems For Providing Fairness And Stability To Video Streams
CN106790368A (zh) 一种分布式系统中的资源调度方法和装置
Nguyen et al. Request adaptation for adaptive streaming over HTTP/2
CN109688171B (zh) 缓存空间调度方法、装置和系统
CN103530240B (zh) 数据块缓存方法和装置
CN106961398B (zh) 一种分布式文件系统的带宽控制方法及装置
CN110838989A (zh) 一种用于基于令牌进行网络限流的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant