CN110290009B - 一种数据调度方法、装置及计算机可读存储介质 - Google Patents

一种数据调度方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN110290009B
CN110290009B CN201910590318.2A CN201910590318A CN110290009B CN 110290009 B CN110290009 B CN 110290009B CN 201910590318 A CN201910590318 A CN 201910590318A CN 110290009 B CN110290009 B CN 110290009B
Authority
CN
China
Prior art keywords
data
terminal node
channel group
data channel
user side
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910590318.2A
Other languages
English (en)
Other versions
CN110290009A (zh
Inventor
庞晓楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Onething Technology Co Ltd
Original Assignee
Shenzhen Onething Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Onething Technology Co Ltd filed Critical Shenzhen Onething Technology Co Ltd
Priority to CN201910590318.2A priority Critical patent/CN110290009B/zh
Publication of CN110290009A publication Critical patent/CN110290009A/zh
Application granted granted Critical
Publication of CN110290009B publication Critical patent/CN110290009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0896Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/50Queue scheduling
    • H04L47/52Queue scheduling by attributing bandwidth to queues
    • H04L47/522Dynamic queue service slot or variable bandwidth allocation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/141Setup of application sessions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/143Termination or inactivation of sessions, e.g. event-controlled end of session

Abstract

本发明公开了一种数据调度方法,包括:接收用户端发起的包含目标数据信息的数据请求;为用户端分配至少一个数据通道组,以使数据通道组转发目标视频流数据至用户端;其中,数据通道组包括至少一个终端节点;将目标数据信息发送至数据通道组,以使数据通道组根据目标数据信息向目标数据信息对应的视频源站获取目标视频流数据。由于数据通道组包括至少一个具有闲置带宽的终端节点,部署成本相比于CDN有明显降低,因此即可较小程度的受到成本影响,部署大量的终端节点来降低源站的带宽压力。本申请还提供一种数据调度系统、装置及计算机可读存储介质,同样可以实现上述技术效果。

Description

一种数据调度方法、装置及计算机可读存储介质
技术领域
本发明涉及数据传输领域,尤其涉及一种数据调度方法、装置及计算机可读存储介质。
背景技术
随着互联网业务的发展,数据的传输的方式也不断增多。目前已经出现了由单个计算能力、网络带宽能力均有限的源站节点向大量其他节点传输数据的场景,如视频直播。
在此种场景下,为了减轻源站的带宽压力,通常会采用CDN(Content DeliveryNetwork,内容分发网络)技术对源站的数据进行分发。将少量的CDN服务器与源站建立连接,请求获取数据,而大量的由其他用户节点发起的数据获取请求不再直接与源站通信,而是接入CDN服务器,由CDN服务器来处理用户节点的请求,从而将带宽压力从源站转至CDN服务器,降低源站带宽压力。
但是由于CDN服务器部署的难度较大、成本较高,通常CDN节点的数量也十分有限,随着用户量的增大,利用CDN降低源站带宽压力的效果也逐渐降低。
因此,如何实现低成本降低源站带宽压力,是本领域技术人员亟待解决的问题。
发明内容
本发明的主要目的在于提供一种数据调度方法、装置及计算机可读存储介质,以低成本降低源站带宽压力。
为实现上述目的,本发明提供的一种数据调度方法,包括:
接收用户端发起的包含目标数据信息的数据请求;
为所述用户端分配至少一个数据通道组,所述数据通道组包括至少一个终端节点;
通知所述用户端与所述终端节点连接,以使得所述用户端通过所述数据通道组获取所述数据请求对应的目标数据。
可选地,还包括:
判断所述数据通道组内的终端节点数量是否满足第一预设要求;
若否,则调度处于所述数据通道组外的终端节点加入所述数据通道组。
可选地,调度处于所述数据通道组外的终端节点加入所述数据通道组,包括:
通知所述处于所述数据通道组外的第一终端节点与数据通道组内的第二终端节点连接,以使得所述第一终端节点与第二终端节点连接以获取目标数据;
通知所述用户端与第一终端节点连接,以从所述第一终端节点获取所述目标数据。
可选地,所述调度处于所述数据通道组外的终端节点加入所述数据通道组之后,还包括:
在所述数据通道组中确定当前负载超出预设范围的目标终端节点;
在与所述目标终端节点相连的用户端中确定待迁移用户端;
通知所述待迁移用户端建立与被调度于所述数据通道组内的新终端节点相连,并断开与所述目标终端节点的连接。
可选地,所述方法还包括:
判断所述数据通道组内的终端节点数量是否满足第二预设要求;
若是,则在所述数据通道组内确定待释放终端节点,调度所述待释放终端节点移除所述数据通道组。
可选地,所述调度所述待释放终端节点移除所述数据通道组包括:
通知与所述待释放终端节点连接的目标用户端与所述待释放终端节点断开连接;
通知所述待释放终端节点断开与所述待释放终端节点的上层节点之间的连接。
可选地,所述通知与所述待释放终端节点连接的目标用户端与所述待释放终端节点断开连接之后,还包括:
在所述数据通道组中确定符合预设条件的第三终端节点;
通知所述目标用户端与所述第三终端节点建立连接。
可选地,所述接收用户端发起的包含目标数据信息的数据请求之后,还包括:
为所述用户端分配服务器组,所述服务器组包括至少一个服务器,所述服务器用于向所述数据源站获取所述目标数据并转发至所述数据通道组;
相应地,所述为所述用户端分配至少一个数据通道组之后,还包括:
通知所述数据通道组与所述服务器组连接。
为实现上述目的,本申请还提供一种数据调度装置,所述装置包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的数据调度程序,所述数据调度程序被所述处理器执行时实现如任意一项所述的数据调度方法。
为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如任一项所述数据调度方法的步骤。
为实现上述目的,本发明进一步提供一种计算机程序产品,包括计算机指令,当所述计算机指令在计算机上运行时,使得所述计算机可以执行前述公开的数据调度方法。
由此可见,本申请在接收到用户端发起的数据请求后,为用户端分配数据通道组,由数据通道组与用户端相连,转发源站的目标数据。由于数据通道组包括至少一个具有闲置带宽的终端节点,部署成本相比于CDN有明显降低,因此即可较小程度的受到成本影响,部署大量的终端节点来降低源站的带宽压力。
本申请还提供一种数据调度装置及计算机可读存储介质,同样可以实现上述技术效果。
附图说明
图1为本发明提供的一种数据调度方法流程图;
图2为本发明提供的一种数据调度系统结构示意图;
图3为本发明提供的一种具体的数据调度方法流程图;
图4为本发明提供的一种数据调度系统结构示意图;
图5为本发明提供的一种具体的数据调度方法流程图;
图6为本发明提供的一种具体的数据调度方法流程图;
图7为本发明提供的一种数据调度系统结构示意图;
图8为本发明一实施例揭露的数据调度装置的内部结构示意图;
图9为本发明一实施例揭露的数据调度系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本申请提供一种数据调度方法、装置及计算机可读存储介质,以低成本降低源站带宽压力。
参照图1,图1为本发明一实施例的流程示意图。
在一实施例中,包括:
S101,接收用户端发起的包含目标数据信息的数据请求。
本方案应用于调度服务器,调度服务器可对用户端、数据通道组进行调度管理。
具体地,当用户端请求获取源站的目标数据时,首先向调度服务器发送包含目标数据信息的数据请求。目标数据信息中包括可以确定源站的信息,以及可以在源站中确定待获取的目标数据的信息,如,源站的IP地址和待获取数据的唯一标识。
在本方案中,目标数据的具体内容不做限定,例如,当用户端请求直播视频数据时,目标数据则为直播视频的视频流数据。
S102,为所述用户端分配至少一个数据通道组,所述数据通道组包括至少一个终端节点。
参见图2,在本方案中,使用数据通道组来替代成本高昂的CDN服务器,数据通道组包括至少一个终端节点,该终端节点相比CDN服务器来说,计算能力、带宽能力均相对较小,从而成本也较小。终端节点具体可以是具有闲置带宽的终端节点,玩客云、电视盒子、闲置手机等。
每个数据通道组均可连接多个用户端,避免大量用户端直接与源站相连,从而实现利用数据通道组来降低用户端对源站造成的带宽压力。
调度服务器在接收到用户端发起的数据请求后,为用户端确定至少一个数据通道组,以使用户端和对应的数据通道组建立连接。
需要说明的是,可以为一个用户端分配一个数据通道组,由这一个数据通道组转发这个用户端获取的所有数据,也可以为一个用户端分配多个数据通道组,多个数据通道组共同转发这个用户端获取的所有数据。
由于数据通道组实际上为终端节点,终端节点存在一定的不稳定性,例如断网、关机,从而与其连接的用户端将不会再收取到本应由该终端节点转发的目标数据。为了避免此种情况,本方案中,优选采用多个数据通道组共同转发相同数据,多个数据通道组互为备份。也可以在目标数据发送至数据通道组之前,先利用喷泉码技术对目标数据进行切片,将不同的切片分发至不同的数据通道组,由不同的数据通道组转发切片至用户端,根据喷泉码的获取到预设数量的切片即可恢复原文的特性,即便有的数据通道组发生掉线情况,一些切片未能转发至用户端,但是用户端在接收到一定数量的切片后,即可解析出完整的目标数据。
S103,通知所述用户端与所述终端节点连接,以使得所述用户端通过所述数据通道组获取所述数据请求对应的目标数据。
在为用户端分配数据通道组后,通知用户端和数据通道组中的终端节点连接。数据通道组根据目标数据信息确定数据源站,并向数据源站拉取目标数据,再将目标数据转发至用户端,从而完成用户端的数据请求。
由此可见,本申请在接收到用户端发起的数据请求后,为用户端分配数据通道组,由数据通道组与用户端相连,转发源站的目标数据。由于数据通道组包括至少一个终端节点,部署成本相比于CDN服务器有明显降低,因此即可较小程度的受到成本影响,部署大量的终端节点来降低源站的带宽压力。
本申请实施例对技术方案作出进一步的扩充与说明,参见图3,本申请实施例在上述实施例的基础上,还包括:
S201,判断所述数据通道组内的终端节点数量是否满足第一预设要求。
S202,若否,则调度处于所述数据通道组外的终端节点加入所述数据通道组。
参见图4,为了使数据通道组可以接入更多的用户端,数据通道组可以包括多个终端节点,多个终端节点以树的形式连接,形成多层节点,每个节点均可连接预设个数的终端节点或用户端,从而层数越多,每层的节点就越多,可连接的用户端就越多。从而可以保证每个数据通道组在连接大量用户端时,单个终端节点的负载不会过多。
在本方案中,需要判断数据通道组内的终端节点数量是否满足第一预设要求,如果不满足,还需要调度处于数据通道组外的终端节点加入数据通道组。
需要说明的是,第一预设要求可以根据实际情况设定,如,根据每个数据通道组需要接入的用户端的总量以及每个终端节点的最大接入量来确定。
还需要说明的是,本方案中S201、S202的具体执行位置不做具体限定,也就是说,判断操作以及调度新终端节点加入数据通道组的步骤在什么时候进行不做具体限定。
可以是在为所述用户端分配至少一个数据通道组之前,即S102之前;也可以是通知所述用户端与所述终端节点连接,且各个用户端和终端节点完成连接之后,监测各个终端节点的负载情况,当各个终端节点的负载均超过预设要求,则确定需要添加的新的终端节点的个数,根据该个数确定对应数据调度组中节点个数的第一预设要求,再执行S201、S202;还可以是完成用户端与终端节点的连接后,就判断当前数据通道组内是否还存在有能力连接新用户端的终端节点,或者确定当前还能连接的用户端的数量,即,确定数据通道组连接用户端的剩余能力,并确定还希望数据通道组能够接入多少用户端,即,确定期待能力,根据剩余能力和期待能力确定第一预设要求,再执行S201,S202,避免下一次为用户端分配数据通道组时,等待新终端节点的添加。
在一个具体的实施方式中,所述调度处于所述数据通道组外的终端节点加入所述数据通道组,包括:
通知所述处于所述数据通道组外的第一终端节点与数据通道组内的第二终端节点连接,以使得所述第一终端节点与第二终端节点连接以获取目标数据;通知所述用户端与第一终端节点连接,以从所述第一终端节点获取所述目标数据。
在本方案中,调度服务器在确定需要为数据通道组添加新的终端节点后,通知处于数据通道组外的第一终端节点与数据通道组内的第二终端节点连接,即,建立通信连接,再通知用户端和第一终端节点连接,从而使第一终端节点添加至数据通道组,并投入使用。
在一个具体的实施方式中,所述调度处于所述数据通道组外的终端节点加入所述数据通道组之后,还包括:
在所述数据通道组中确定当前负载超出预设范围的目标终端节点;在与所述目标终端节点相连的用户端中确定待迁移用户端;通知所述待迁移用户端建立与被调度于所述数据通道组内的新终端节点相连,并断开与所述目标终端节点的连接。
在本方案中,确定当前负载超出预设范围的目标终端节点,负载具体可以是反映带宽的被占用情况的数据,预设范围可以根据实际情况设定。
在目标终端节点连接的所有用户端中确定出一个或多个用户端,作为待迁移用户端,将待迁移用户端与新终端节点进行连接,并将待迁移用户端与目标终端节点的连接断开,从而减轻目标终端节点的带宽负载。
需要说明的是,为了避免用户端中数据传输的断开,可以先建立待迁移用户端与新终端节点的连接,再断开待迁移用户端与目标终端节点的连接。
可见,本方案可以根据实际情况通过调度服务器来增加数据通道组中的终端节点,从而可以灵活的调整终端节点的带宽负载情况,从而灵活调整每个数据通道组的带宽放大比。
本申请实施例对技术方案作出进一步的扩充与说明,参见图5,本申请实施例在上述实施例的基础上,还包括:
S301,判断所述数据通道组内的终端节点数量是否满足第二预设要求。
S302,若是,则在所述数据通道组内确定待释放终端节点,调度所述待释放终端节点移除所述数据通道组。
在本方案中,当判断数据通道组内的终端节点数量满足第二预设要求后,可根据实际情况在数据通道组内选择待释放节点。待释放节点具体如何选择在本方案中不做具体限定,可以是根据节点的负载情况确定,也可以根据用户发送的指令确定待释放节点。例如,确定数据通道组内连接用户端的个数小于预设阈值的节点作为待释放节点。
在一个具体的实施方式中,所述调度所述待释放终端节点移除所述数据通道组包括:
通知与所述待释放终端节点连接的目标用户端与所述待释放终端节点断开连接;通知所述待释放终端节点断开与所述待释放终端节点的上层节点之间的连接。
在本方案中,通知待释放终端节点的上层节点断开与待释放节点的连接,使待释放节点不再属于数据通道组。如果待释放终端节点的上层节点的子节点均是待释放节点,则完成断开操作后,上层节点将成为最后一层的节点,用户端将会直接与待释放终端节点的上层节点相连,从而在目标数据转发时,减少一层转发节点,目标数据的传输速度更快,延时更小。
在一个具体的实施方式中,所述通知与所述待释放终端节点连接的目标用户端与所述待释放终端节点断开连接之后,还包括:
在所述数据通道组中确定符合预设条件的第三终端节点;通知所述目标用户端与所述第三终端节点建立连接。
需要说明的是,如果上述待释放终端节点连接有目标用户端,则释放了待释放终端节点后,还需要为目标用户端分配新的终端节点,即第三终端节点,并通知用户端和第三终端节点相连,以继续进行数据传输的操作。
下面对本申请实施例提供的一种具体的数据调度方法进行介绍,下文描述的一种具体的数据调度方法与上述任一实施例可以相互参照。
参见图6,本申请实施例提供的一种具体的数据调度方法,具体包括:
S401,接收用户端发起的包含目标数据信息的数据请求。
S402,为所述用户端分配服务器组,所述服务器组包括至少一个服务器,所述服务器用于向所述数据源站获取所述目标数据并转发至所述数据通道组。
需要说明的是,当与源站相连的数据通道组的个数过多时,虽然相比于由用户端与源站直接相连来说,也能够降低对源站带宽的占用,但是,数据通道组过多,同样会导致数据通道组占用源站的大量带宽。因此,为了避免此种情况,在本方案中,在数据通道组与源站之间增加服务器,由服务器拉取视频数据,大量的数据通道组仅与服务器相连。
参见图7,源站可以连接多个服务器分组,每个服务器分组中包括至少一个服务器设备,服务器设备进行带宽的第一级放大,即,服务器设备可以连接多个数据通道组,从而服务器设备可以实现从源站拉取一次视频数据,即可转发多个数据通道组,而每个数据通道组又连接有多个用户端,进一步达到带宽放大的效果。
在本方案中,调度服务器接收到数据请求后,不但要为用户端分配数据通道组,还要为其分配服务器组,并向各个设备发送相应的连接通知,使用户端与数据通道组相连,数据通道组与服务器组相连,服务器组根据目标数据信息与源站相连并获取目标视频流数据。
S403,为所述用户端分配至少一个数据通道组,所述数据通道组包括至少一个终端节点。
S404,通知所述数据通道组与所述服务器组连接。
S405,通知所述用户端与所述终端节点连接,以使得所述用户端通过所述数据通道组获取所述数据请求对应的目标数据。
由此可见,本申请实施例通过服务器组可以对源站带宽进行第一级放大,从而使大量的数据通道组不直接与源站相连,而是与服务器组相连,进一步降低了对源站带宽的占用。
进一步的,参照图8,所述数据调度装置1还可以包括总线13,其中,所述存储器11和所述处理器12通过所述总线13连接。
参照图8,图8为本发明一实施例揭露的数据调度装置的内部结构示意图。图8中,数据调度装置1包括存储器11和处理器12,所述存储器11上存储有可在所述处理器12上运行的数据调度程序,所述数据调度程序被所述处理器12执行时实现如下方法:
接收用户端发起的包含目标数据信息的数据请求;
为所述用户端分配至少一个数据通道组,所述数据通道组包括至少一个终端节点;
通知所述用户端与所述终端节点连接,以使得所述用户端通过所述数据通道组获取所述数据请求对应的目标数据。
本申请在接收到用户端发起的数据请求后,为用户端分配数据通道组,由数据通道组与用户端相连,转发源站的目标数据。由于数据通道组包括至少一个具有闲置带宽的终端节点,部署成本相比于CDN有明显降低,因此即可较小程度的受到成本影响,部署大量的终端节点来降低源站的带宽压力。
所述数据调度程序被所述处理器12执行时,还可以实现:
判断所述数据通道组内的终端节点数量是否满足第一预设要求;
若否,则调度处于所述数据通道组外的终端节点加入所述数据通道组。
所述数据调度程序被所述处理器12执行时,具体可以实现:
通知所述处于所述数据通道组外的第一终端节点与数据通道组内的第二终端节点连接,以使得所述第一终端节点与第二终端节点连接以获取目标数据;
通知所述用户端与第一终端节点连接,以从所述第一终端节点获取所述目标数据。
所述数据调度程序被所述处理器12执行时,还可以实现:
在所述数据通道组中确定当前负载超出预设范围的目标终端节点;
在与所述目标终端节点相连的用户端中确定待迁移用户端;
通知所述待迁移用户端建立与被调度于所述数据通道组内的新终端节点相连,并断开与所述目标终端节点的连接。
所述数据调度程序被所述处理器12执行时,还可以实现:
判断所述数据通道组内的终端节点数量是否满足第二预设要求;
若是,则在所述数据通道组内确定待释放终端节点,调度所述待释放终端节点移除所述数据通道组。
所述数据调度程序被所述处理器12执行时,具体可以实现:
通知与所述待释放终端节点连接的目标用户端与所述待释放终端节点断开连接;
通知所述待释放终端节点断开与所述待释放终端节点的上层节点之间的连接。
所述数据调度程序被所述处理器12执行时,还可以实现:
在所述数据通道组中确定符合预设条件的第三终端节点;
通知所述目标用户端与所述第三终端节点建立连接。
所述数据调度程序被所述处理器12执行时,还可以实现:为所述用户端分配服务器组,所述服务器组包括至少一个服务器,所述服务器用于向所述数据源站获取所述目标数据并转发至所述数据通道组;
通知所述数据通道组与所述服务器组连接。
进一步的,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘等。存储器11在一些实施例中可以是数据调度装置1的内部存储单元,例如该数据调度装置1的硬盘。存储器11在另一些实施例中也可以是数据调度装置1的外部存储设备,例如数据调度装置1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器11还可以既包括数据调度装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于数据调度装置1的应用软件及各类数据,例如数据调度程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行数据调度程序等。
总线13可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
进一步地,数据调度装置1还可以包括网络接口14,网络接口14可选的可以包括无线接口(如WI-FI接口、蓝牙接口等),通常用于在该数据调度装置1与其他电子设备之间建立通信连接。
可选地,该数据调度装置1还可以包括用户接口15,用户接口15可以包括显示器(Display)、输入单元比如键盘(Keyboard)。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在数据调度装置1中处理的信息以及用于显示可视化的用户界面。
图8仅示出了具有组件11-15的数据调度装置1,本领域技术人员可以理解的是,图8示出的结构并不构成对数据调度装置1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
下面对本申请实施例提供的一种数据调度系统进行介绍,下文描述的一种数据调度系统与上述实施例可以相互参照。
参见图9,本申请实施例提供的一种数据调度系统,具体包括:
请求接收模块501,用于接收用户端发起的包含目标数据信息的数据请求。
分配模块502,用于为所述用户端分配至少一个数据通道组,所述数据通道组包括至少一个终端节点。
信息发送模块503,用于通知所述用户端与所述终端节点连接,以使得所述用户端通过所述数据通道组获取所述数据请求对应的目标数据。
可选地,所述系统还包括:
第一判断模块,用于判断所述数据通道组内的终端节点数量是否满足第一预设要求;
第一调度模块,用于当所述数据通道组内的终端节点数量不满足第一预设要求时,调度处于所述数据通道组外的终端节点加入所述数据通道组。
可选地,所述第一调度模块具体用于通知所述处于所述数据通道组外的第一终端节点与数据通道组内的第二终端节点连接,以使得所述第一终端节点与第二终端节点连接以获取目标数据;通知所述用户端与第一终端节点连接,以从所述第一终端节点获取所述目标数据。
可选地,所述系统还包括:
目标终端节点确定模块,用于在所述数据通道组中确定当前负载超出预设范围的目标终端节点;
待迁移用户端确定模块,用于在与所述目标终端节点相连的用户端中确定待迁移用户端;
断开通知发送模块,用于通知所述待迁移用户端建立与被调度于所述数据通道组内的新终端节点相连,并断开与所述目标终端节点的连接。
可选地,所述系统还包括:
第二判断模块,用于判断所述数据通道组内的终端节点数量是否满足第二预设要求;
第二调度模块,用于所述数据通道组内的终端节点数量满足第二预设要求时,在所述数据通道组内确定待释放终端节点,调度所述待释放终端节点移除所述数据通道组。
可选地,所述第二调度模块,包括:
第一通知单元,用于通知与所述待释放终端节点连接的目标用户端与所述待释放终端节点断开连接;
第二通知单元,用于通知所述待释放终端节点断开与所述待释放终端节点的上层节点之间的连接。
可选地,所述系统还包括:
第三终端节点确定模块,用于在所述数据通道组中确定符合预设条件的第三终端节点;
第一连接建立通知模块,用于通知所述目标用户端与所述第三终端节点建立连接。
可选地,所述系统还包括:
服务器组建立模块,用于为所述用户端分配服务器组,所述服务器组包括至少一个服务器,所述服务器用于向所述数据源站获取所述目标数据并转发至所述数据通道组;
第二连接建立通知模块,用于通知所述数据通道组与所述服务器组连接。
本实施例的一种数据调度系统用于实现前述的一种数据调度方法,因此一种数据调度系统中的具体实施方式可见前文中的一种数据调度方法的实施例部分,例如,请求接收模块501,分配模块502,信息发送模块503,分别用于实现上述数据调度方法中步骤S101,S102,S103,所以,其具体实施方式可以参照相应的各个部分实施例的描述,在此不再赘述。
本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时可以实现上述实施例所提供的步骤。该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种数据调度方法,其特征在于,包括:
接收用户端发起的包含目标数据信息的数据请求;
为所述用户端分配至少一个数据通道组,所述数据通道组包括至少一个终端节点;
通知所述用户端与所述终端节点连接,以使得所述用户端通过所述数据通道组获取所述数据请求对应的目标数据;
当所述数据通道组包括多个终端节点时,多个所述终端节点以树的形式连接,形成多层终端节点,每个所述终端节点都连接预设个数的终端节点或用户端;
所述目标数据为直播视频流数据;
所述用户端通过所述数据通道组获取所述数据请求对应的目标数据,包括:
所述数据通道组根据所述目标数据信息确定数据源站,并从所述数据源站拉取目标数据,再将所述目标数据转发至所述用户端;
所述数据调度方法,还包括:
判断所述数据通道组内的终端节点数量是否满足第一预设要求;
若否,则调度处于所述数据通道组外的终端节点加入所述数据通道组;
通知所述处于所述数据通道组外的第一终端节点与数据通道组内的第二终端节点连接,以使得所述第一终端节点与第二终端节点连接以获取目标数据;
通知所述用户端与第一终端节点连接,以从所述第一终端节点获取所述目标数据。
2.根据权利要求1所述的方法,其特征在于,所述调度处于所述数据通道组外的终端节点加入所述数据通道组之后,还包括:
在所述数据通道组中确定当前负载超出预设范围的目标终端节点;
在与所述目标终端节点相连的用户端中确定待迁移用户端;
通知所述待迁移用户端建立与被调度于所述数据通道组内的新终端节点相连,并断开与所述目标终端节点的连接。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
判断所述数据通道组内的终端节点数量是否满足第二预设要求;
若是,则在所述数据通道组内确定待释放终端节点,调度所述待释放终端节点移出所述数据通道组。
4.根据权利要求3所述的方法,其特征在于,所述调度所述待释放终端节点移出所述数据通道组包括:
通知与所述待释放终端节点连接的目标用户端与所述待释放终端节点断开连接;
通知所述待释放终端节点断开与所述待释放终端节点的上层节点之间的连接。
5.根据权利要求4所述的方法,其特征在于,所述通知与所述待释放终端节点连接的目标用户端与所述待释放终端节点断开连接之后,还包括:
在所述数据通道组中确定符合预设条件的第三终端节点;
通知所述目标用户端与所述第三终端节点建立连接。
6.根据权利要求1至5任意一项所述的方法,其特征在于,所述接收用户端发起的包含目标数据信息的数据请求之后,还包括:
为所述用户端分配服务器组,所述服务器组包括至少一个服务器,所述服务器用于向所述数据源站获取所述目标数据并转发至所述数据通道组;
相应地,所述为所述用户端分配至少一个数据通道组之后,还包括:
通知所述数据通道组与所述服务器组连接。
7.一种数据调度装置,其特征在于,所述装置包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的数据调度程序,所述数据调度程序被所述处理器执行时实现如权利要求1至6任意一项所述的数据调度方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据调度方法的步骤。
CN201910590318.2A 2019-07-02 2019-07-02 一种数据调度方法、装置及计算机可读存储介质 Active CN110290009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910590318.2A CN110290009B (zh) 2019-07-02 2019-07-02 一种数据调度方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910590318.2A CN110290009B (zh) 2019-07-02 2019-07-02 一种数据调度方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110290009A CN110290009A (zh) 2019-09-27
CN110290009B true CN110290009B (zh) 2023-02-28

Family

ID=68020261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910590318.2A Active CN110290009B (zh) 2019-07-02 2019-07-02 一种数据调度方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110290009B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112751772B (zh) * 2019-10-31 2023-01-24 上海哔哩哔哩科技有限公司 数据传输方法和系统
CN110769272A (zh) * 2019-11-19 2020-02-07 深圳市网心科技有限公司 节点调整方法及其相关设备
CN115102958A (zh) * 2022-06-17 2022-09-23 深圳市网心科技有限公司 一种服务器节点调度方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103634224A (zh) * 2012-08-22 2014-03-12 深圳市腾讯计算机系统有限公司 网络中数据传输的方法和系统
CN104202434A (zh) * 2014-09-28 2014-12-10 北京奇虎科技有限公司 节点访问方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5098886B2 (ja) * 2008-08-18 2012-12-12 富士通株式会社 ネットワークグループ管理方式
CN107528721B (zh) * 2017-06-05 2020-10-09 北京理工大学 一种Android移动终端中利用MAC地址自动组网及数据转发方法
CN107087038A (zh) * 2017-06-29 2017-08-22 珠海市魅族科技有限公司 一种数据同步的方法、同步设备、装置及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103634224A (zh) * 2012-08-22 2014-03-12 深圳市腾讯计算机系统有限公司 网络中数据传输的方法和系统
CN104202434A (zh) * 2014-09-28 2014-12-10 北京奇虎科技有限公司 节点访问方法和装置

Also Published As

Publication number Publication date
CN110290009A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN108055264B (zh) 推流服务器的调度装置、方法及计算机可读存储介质
CN106358245B (zh) 移动边缘计算应用负荷分担的方法和控制器
CN110290009B (zh) 一种数据调度方法、装置及计算机可读存储介质
CN105553870B (zh) 业务请求的分配方法和装置
CN102377686B (zh) 一种消息订阅系统、消息订阅方法及装置
CN103795569A (zh) 一种基于连接池的服务器连接方法和装置
EP3293969A1 (en) Method of terminal-based conference load-balancing, and device and system utilizing same
CN110290399B (zh) 一种数据分发方法、系统、装置及计算机可读存储介质
CN106648900B (zh) 基于智能电视的超算方法及系统
CN105407413A (zh) 一种分布式视频转码方法及相关设备、系统
CN111478781B (zh) 一种消息广播的方法和装置
CN106331749B (zh) 一种视频请求方法及系统
CN112579622A (zh) 业务数据的处理方法、装置及设备
CN113296976A (zh) 消息处理方法、装置、电子设备、存储介质及程序产品
CN110138753B (zh) 分布式消息服务系统、方法、设备及计算机可读存储介质
CN112866985B (zh) 流量控制方法、资源下载方法、装置、设备和存储介质
CN104092754A (zh) 文件存储系统和文件存储方法
CN101146107B (zh) 一种下载数据的方法及装置
KR20120128013A (ko) 망 부하 감소를 위한 푸시 서비스 제공 시스템 및 방법
CN107302551B (zh) 一种服务数据发布方法及装置
CN110266438B (zh) 一种数据传输方法、装置、系统及计算机可读存储介质
CN104602047A (zh) Epg数据的分享方法、服务器、终端及系统
CN111274017B (zh) 一种资源的处理方法、装置、电子设备及存储介质
US10237592B2 (en) Method and apparatus for video transmission
CN111093099B (zh) 一种流媒体服务调度方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant