CN103634224B - 网络中数据传输的方法和系统 - Google Patents
网络中数据传输的方法和系统 Download PDFInfo
- Publication number
- CN103634224B CN103634224B CN201210301062.7A CN201210301062A CN103634224B CN 103634224 B CN103634224 B CN 103634224B CN 201210301062 A CN201210301062 A CN 201210301062A CN 103634224 B CN103634224 B CN 103634224B
- Authority
- CN
- China
- Prior art keywords
- data
- intermediate node
- terminal
- task
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供一种网络中数据传输的方法和系统,方法包括:终端接收服务器分配的任务并存储,其中该任务包括有优先级标识;所述终端在存储的任务中按照任务的优先级标识顺序的获取任务,并为获取的任务生成一数据请求发送至中间节点;所述中间节点接收所述数据请求,判断该中间节点内是否存储有相应的数据,若存储有相应的数据,则将该数据发送至所述终端,若未存储有相应的数据,则将所述数据请求发送至所述服务器,以获取相应的数据,并将获取的数据转发至所述终端。本发明可通过中间节点分担服务器的负载,尤其是在大数据量的传输时,可以有效的避免传输网络出现异常;而且可以优先对一些重要的任务进行及时有效的处理。
Description
【技术领域】
本发明涉及通信领域,特别是涉及一种网络中数据传输的方法和系统。
【背景技术】
随着终端上各种应用程序的不断增多,终端与服务器之间数据传输的需求越来越大,由此对数据传输的性能提出了很高的要求。
请参阅图1,图1为现有技术中网络数据传输系统的结构示意图。
其中所述网络数据传输系统包括服务器11以及多个的终端12,终端12与服务器11进行数据传输的过程,一般是服务器11首先分配任务至各个终端12,各终端12将接收到的任务存储至预先建立的任务列表,在后续执行任务的过程中,依次从任务列表中取出任务,并根据任务生成一数据请求发送至服务器11,服务器11根据接收到的数据请求获取相应的数据返回至终端12。
当大量的终端12与服务器11之间建立通信关联,进行数据的传输时,很容易导致所述服务器11的负载过大,造成所述服务器11瘫痪,或者造成传输网络的拥塞,从而影响系统的性能。
而且现有技术在对任务进行处理时,往往是按照存储的先后顺序依次取出任务来执行,有些比较重要或紧急的任务无法得到及时快速的处理,而一旦所述服务器11瘫痪或者出现网络故障,重要的任务没有得到及时处理,则将给用户带来损失。
当然, 在所述终端12和服务器11进行数据传输过程中, 还有其他的应用程序来优化两者之间的数据传输的效率。譬如Unix系统下常用的数据备份镜像工具rsync。数据备份镜像工具rsync通过对终端12与服务器11中的数据分块进行扫描,然后进行32位滚动弱校验和128位md4强校验,检索出校验值相同的数据,所述服务器11在发送传输时,只发送校验值不同的数据,通过这种方式可以有效减少带宽的消耗,提高文件传输的效率。但是对于大规模的网络数据传输,数据备份镜像工具rsync则难以管理,性能也不够好,且其状态也很难跟踪。
综上,需要解决现有技术中在进行大数据量的传输时,导致服务器过载,传输网络出现异常,进而导致一些重要的任务不能得到及时处理的技术问题。
【发明内容】
本发明提供一种网络中数据传输的方法和系统,以解决现有技术中在进行大数据量的传输时,导致服务器过载,传输网络出现异常,进而导致一些重要的任务不能得到及时处理的技术问题。
本发明的一个目的在于提供一种网络中数据传输的方法,包括:
终端接收服务器分配的任务并存储,其中该任务包括有优先级标识;
所述终端在存储的任务中按照任务的优先级标识顺序的获取任务,并为获取的任务生成一数据请求发送至中间节点;
所述中间节点接收所述数据请求,判断该中间节点内是否存储有相应的数据,若存储有相应的数据,则将该数据发送至所述终端,若未存储有相应的数据,则将所述数据请求发送至所述服务器,以获取相应的数据,并将获取的数据转发至所述终端。
在本发明一实施例中:所述终端与所述服务器之间设置有多个中间节点;
其中一中间节点在接收到所述终端发送的数据请求后,判断该中间节点内是否存储有相应的数据,若是,则将该数据返回至所述终端;否则将所述数据请求发送至其它中间节点。
在本发明一实施例中:在其它中间节点或者服务器内存储有相应的数据、并将相应的数据返回至所述终端的过程中,还经由所述中间节点转发;
已转发数据的中间节点在将所述数据转发后,还将所转发的数据备份。
在本发明一实施例中:所述终端在接收到服务器分配的任务后,所述方法还包括以下步骤:
创建任务列表,其中所述任务列表包括多级队列,每级队列对应存储相应优先级标识的任务;
按照任务的优先级标识将接收到的任务存储至相应的队列中;以及
判断已存储的任务在其对应队列的存储时间是否超过预设的等待时间,若是,则将所述任务从当前存储的队列中取出,并添加到较当前存储的队列的级别更高的队列中。
在本发明一实施例中:所述中间节点接收所述数据请求的步骤之前,所述方法还包括以下步骤:
所述中间节点生成该中间节点的状态信息,并发送至其它中间节点或终端;
所述其它中间节点或终端在接收到所述状态信息后,根据所述状态信息生成一路由状态表,用来记录对应中间节点的状态;以及
所述其它中间节点或终端根据所述路由状态表选择相应的中间节点发送数据请求。
在本发明一实施例中:所述中间节点在将数据发送至所述终端的过程中,所述方法还包括以下步骤:
当所述终端与中间节点、或者中间节点之间传送数据过程中出现异常时,将该异常对应的中间节点进行标记;
在其它中间节点或者终端发送数据请求时,选择已标记为异常中间节点之外的其它中间节点进行发送。
在本发明一实施例中:所述中间节点在接收数据请求之前,所述方法还包括以下步骤:
所述中间节点判断当前待处理的数据请求的数量是否预设的第一阀值,若是,则生成所述中间节点的状态信息以标记该中间节点不再接收数据请求,并将所述状态信息发送至其它中间节点和终端。
在本发明一实施例中:所述中间节点在进行数据传输过程中,所述方法还包括以下步骤:
所述中间节点判断当前数据传输的容量是否超过预设的第二阀值,若是,则生成所述中间节点的状态信息以标记该中间节点不再接收数据请求,并将所述状态信息发送至其它中间节点和终端。
本发明的另一个目的在于提供一种网络中数据传输的系统,包括终端和服务器,所述终端和服务器之间设置有中间节点;
所述终端,用于接收所述服务器分配的任务,并按照任务的优先级标识将接收到的任务进行存储;以及在按照任务的优先级标识顺序的获取任务来执行时,生成一对应该任务的数据请求发送至所述中间节点;
所述中间节点,用于接收所述数据请求,并判断该中间节点内是否存储有相应的数据,若是则将该数据返回至所述终端,否则所述数据请求发送至所述服务器;
所述服务器,用于分配任务至所述终端,以及在接收到所述数据请求后,获取相应的数据通过所述中间节点返回至所述终端。
在本发明一实施例中:所述终端与所述服务器之间设置有多个中间节点;
所述中间节点,还用于在判定该中间节点未存储相应的数据后,将所述数据请求发送至其它中间节点。
在本发明一实施例中:所述中间节点,还用于在接收到所述服务器返回的数据并转发后,将转发的数据备份。
在本发明一实施例中:所述终端,还用于创建任务列表并将接收到的任务存储至所述任务列表,其中所述任务列表包括多级队列,每级队列对应存储相应优先级标识的任务;以及
用于判断已存储的任务在其对应队列的存储时间是否超过预设的等待时间,若是,则将所述任务从当前存储的队列中取出,并添加到较当前存储的队列的级别更高的队列中。
在本发明一实施例中:所述中间节点,还用于生成该中间节点的状态信息,并发送至其它中间节点和终端;
以及用于根据接收到的状态信息生成一路由状态表,用来记录对应中间节点的状态;并根据所述路由状态表选择相应的中间节点发送数据请求。
在本发明一实施例中:所述中间节点和终端,还用于数据传输出现异常时,将出现异常的中间节点进行标记,以及在其它中间节点或者终端发送数据请求时,选择已标记为异常中间节点之外的其它中间节点进行发送。
在本发明一实施例中:所述中间节点,还用于判断当前待处理的数据请求的数量是否预设的第一阀值,若是,则生成所述中间节点的状态信息以标记该中间节点不再接收数据请求,并将所述状态信息发送至其它中间节点和终端。
在本发明一实施例中:所述中间节点,还用于判断当前数据传输的容量是否超过预设的第二阀值,若是,则生成所述中间节点的状态信息以标记该中间节点不再接收数据请求,并将所述状态信息发送至其它中间节点和终端。
相对于现有技术,本发明通过为各任务设置优先级标识,终端在执行任务过程中,按照优先级标识顺序的获取任务执行,且在执行每一任务时,生成数据请求发送至终端和服务器之间的中间节点,若中间节点存储有相应的数据,则可直接从该中间节点获取数据,无需每次都连接服务器以获取数据,显然,本发明可通过中间节点分担服务器的负载,尤其是在大数据量的传输时,可以有效的避免传输网络出现异常;而且可以优先对一些重要的任务进行及时有效的处理,提高了处理效率。
为让本发明的上述内容能更明显易懂,下文特举优选实施例,并配合所附图式,作详细说明如下:
【附图说明】
图1为现有技术中网络数据传输系统的结构示意图;
图2为本发明提供的网络中数据传输的系统的较佳实施例结构示意图;
图3为图2的简化图;
图4为任务列表中各级别队列的结构示意图;
图5为本发明提供的网络中数据传输的方法的较佳实施例流程示意图。
【具体实施方式】
以下各实施例的说明是参考附加的图式,用以例示本发明可用以实施的特定实施例。本发明所提到的方向用语,例如「上」、「下」、「前」、「后」、「左」、「右」、「内」、「外」、「侧面」等,仅是参考附加图式的方向。因此,使用的方向用语是用以说明及理解本发明,而非用以限制本发明。在图中,结构相似的单元是以相同标号表示。
图2为本发明提供的网络中数据传输的系统的较佳实施例结构示意图。
其中所述系统包括服务器C10、多级的中点节点组B1、B2…Bn,以及多个终端A11…A1n。其中每级中间节点组包括有多个的中间节点,譬如中点节点组B1包括有中间节点B11、B12…B1n,中点节点组Bn包括有中间节点Bn1、Bn2…Bnn,其中n为自然数。所述中间节点譬如为具有唯一网络地址的网络设备等。
为便于说明,本发明仅以两组中间节点组(中间节点组B1和中间节点组B2)、且每组中间节点组仅包括三个中间节点为例进行说明,当然三组、四组或者更多组的实施例均在本发明保护范围之内,且每组中间节点组包括四个、五个或者更多个的中间节点的实施例也在本发明保护范围之内。
如此,在图3中,所述系统包括两级的中点节点组B1和B2,所述中点节点组B1包括中间节点B11、B12和B13,所述中点节点组B2包括中间节点B21、B22和B23。
在具体实施过程中,以终端A12执行一任务为例。所述终端A12首先从服务器C10接收任务。其中所述服务器C10在分配任务过程中,为各任务设置优先级标识,譬如优先级标识依次0、1、2…7。所述终端A12预先建立一任务列表,其中该任务列表中包括有多级队列,譬如请参阅图4,图4所示包括有0-7总共8级队列,每级队列存储相应优先级标识的任务。譬如0级队列存储优先级标识为0的任务。所述终端A12在接收到任务后,按照优先级标识将任务依次存储至相应队列的队尾。
所述终端A12从任务列表中获取任务来执行时,按照队列的级别依次获取任务,譬如首先从0级队列中获取任务,若0级队列为空,则从1级队列中获取任务,依次类推。
在具体实施过程中,所述终端A12预设一等待时间,譬如10秒(S),在获取任务并按照优先级标识将任务存储至任务列表相应的队列后,所述终端A12还判断所述任务在任务列表内的时间是否超过等待时间,如果超过等待时间,则将该任务添加至更高一级队列中,譬如优先级标识为2的任务在2级队列的时间超过10秒后,则将该任务添加至0级队列中,以使得该任务能够较快的得到执行。
所述终端A12从任务列表中获取任务后,生成一数据请求,并将该数据请求发送至中间节点组B2中的任一中间节点,譬如中间节点B22,所述中间节点B22接收所述数据请求,并判断该中间节点B22内是否存储有所述数据请求对应的数据,若存在,则直接将相应的数据返回至所述终端A12,若不存在,则所述中间节点B22将所述数据请求发送至上一级中间节点组B1中的任一中间节点,譬如中间节点B12。当然,所述中间节点B22还可将所述数据请求发送至中间节点组B2内的其它中间节点,譬如中间节点B23。
请继续参阅图3,所述中间节点B12接收所述中间节点B22发送来的数据请求,并判断该中间节点B12内是否存在相应的数据,若存在相应的数据,则将相应的数据返回至所述中间节点B22,所述中间节点B22进一步的将该数据返回至所述终端A12。其中所述中间节点B22在将所述数据返回给所述终端A12后,还将该数据进行备份,以备其它终端在获取该数据时,可直接将该数据发送至相应的终端。
若中间节点B12内不存在相应的数据,则所述中间节点B12将所述数据请求发送至所述服务器C10。所述服务器C10根据该数据请求获取相应的数据,并依次通过所述中间节点B12和中间节点B22返回至所述终端A12,在此过程中,所述中间节点B12和中间节点B22同样将该数据备份。
在具体实施过程中,所述终端A12在发送数据请求来获取相应的数据时,还可以直接将所述数据请求发送至中间节点组B1中的中间节点,譬如中间节点B11,若中间节点B11存在所述数据请求对应的数据,则直接将该数据发送至所述终端A12,若中间节点B11不存在所述数据请求对应的数据,则将上述数据请求发送至所述服务器C10。
显然,本发明中,终端向中间节点发送数据请求以获取相应的数据,若中间节点存储有相应的数据,则将该数据直接返回至所述终端;若没有存储相应的数据,则向其它的中间节点获取,当其它中间节点也不存储相应的数据时,直接从服务器获取。而且在将数据传递后,还对数据进行备份,方便后续终端对该数据的获取。
其中在所述终端A12与中间节点B22进行数据传输,或者中间节点B22和中间节点B12在数据传输过程中,若出现网络故障或中间节点B22出现异常(譬如负载过大、网络超时等),则所述终端A12记录所述中间节点B22出现异常,在发送其它数据请求时,并选择中间节点B21或者中间节点B23进行发送。若中间节点B12在数据传输过程中出现网络故障,则所述中间节点B22记录所述中间节点B12出现网络故障,在在发送其它数据请求时,并选择中间节点B11或者中间节点B13进行发送。
在具体实施过程中,每一中间节点按照预设的报告间隔(譬如15秒)生成一对应该中间节点的状态报告,并将该状态报告发送至其它中间节点,譬如发送至下一级中间节点组的中间节点,当然还发送至所述终端。中间节点或者终端在接收到状态报告后,根据接收到的状态报告生成一路由状态表,用来标记其他中间节点的状态。
譬如中间节点B12当前状态为“已存储满数据”,则中间节点B12生成一状态报告发送至中间节点B22,中间节点B22记录所述中间节点B12当前状态,在中间节点B22向中间节点组B12发送数据请求时,优先向中间节点B11和B13发送数据请求。
在具体实施过程中,本发明还使用其它的路由方法选择相应的中间节点。譬如基于取模函数哈希映射的方法,该方法中,首先通过数据请求中对应数据的信息(譬如文件名、数据长度等)计算生成该数据的md5(摘要算法)签名,然后以md5值对所述终端的路由表条目数ipnum取模以获取index(索引),最后选择路由表中的第index项作为接受数据请求的中间节点。当然若第index项对应的中间节点处于故障状态,则选择逐个尝试路由表中的其他项作为接受数据请求的中间节点。
本发明还优选使用最优中间节点的方法,即所述终端把中间节点的路由表按各中间节点反馈的状态进行排序,选择最优的中间节点作为接受数据请求的中间节点。
在具体实施过程中,本发明还判断中间节点或服务器C10接收到的数据请求的数量是否超过预设的第一阈值,譬如该第一阈值为20,若中间节点或服务器C10接收到的数据请求的数量超过20条,则该中间节点或服务器C10不再接收后续的数据请求,以保证对数据请求处理的效率。
而且本发明还判断中间节点或服务器C10传输的数据量是否超过预设的第二阀值,譬如200兆(M),若中间节点或服务器C10传输的数据量是否超过200兆,则上述中间节点或服务器C10不再接收后续的数据请求,以保证对数据请求处理的效率。
而且当中间节点或服务器C10接收到的数据请求的数量是否超过预设的第一阈值,或者中间节点或服务器C10传输的数据量是否超过预设的第二阀值时,任务的优先级标识将决定该任务对应的数据请求被处理的概率,其中任务的优先级标识越高,在出现上述两种情况中的一种时,该任务被优选处理的概率ratio越大,譬如请参阅以下公式(1):
ratio=M/priv; (1)
其中ratio为被优选处理的概率,M为常数,priv为任务优先级,显然优先级为0时一定被优选处理。本发明通过为各任务设置优先级,可以有效保证当网络系统繁忙时,优先级较高的任务会得到优先处理,而且还可以有效地控制数据请求数和数据传输的速度,保证在中间节点和服务器C10的运行效率。
显然,本发明通过对任务设置优先级标识,可使得高优先级的任务在服务器C10或中间节点中能得到及时的执行;而且本发明通过记载各中间节点的状态,灵活的选择中间节点,可提高各任务的执行效率。
请参阅图5,图5为本发明提供的网络中数据传输的方法的较佳实施例流程示意图。
在步骤S501中,终端接收服务器分配的任务并存储,其中该任务包括有优先级标识。
所述终端在接收到服务器分配的任务后,创建任务列表,其中所述任务列表包括多级队列,每级队列对应存储相应优先级标识的任务。之后,所述终端按照任务的优先级标识将接收到的任务存储至相应的队列中。
其中所述终端还判断已存储的任务在其对应队列的存储时间是否超过预设的等待时间,若是,则将所述任务从当前存储的队列中取出,并添加到较当前存储的队列的级别更高的队列中。
在步骤S502中,所述终端在存储的任务中按照任务的优先级标识顺序的获取任务,并为获取的任务生成一数据请求发送至中间节点。
在步骤S503中,所述中间节点接收所述数据请求,并判断所述中间节点内是否存储有相应的数据,若是,则进行步骤S504;否则进行S505。
在步骤S504中,将该数据发送至所述终端。
在步骤S505中,将所述数据请求发送至所述服务器。
在步骤S506中,所述服务器获取相应的数据,并将获取的数据通过所述中间节点转发至所述终端。
在具体实施过程中,所述终端与所述服务器之间设置有多个中间节点,其中一中间节点在接收到所述终端发送的数据请求后,判断该中间节点内是否存储有相应的数据,若是,则将该数据返回至所述终端;否则将所述数据请求发送至其它中间节点,直到将所述数据请求发送至所述服务器、所述服务器返回相应的数据为止。
其中,在其它中间节点或者服务器内存储有相应的数据、并将相应的数据返回至所述终端的过程中,还经由所述中间节点转发。而已转发数据的中间节点在将所述数据转发后,还将所转发的数据备份,以备其它中间节点或者终端获取。
在具体实施过程中,所述中间节点接收所述数据请求之前,所述中间节点定期(譬如每30秒)生成该中间节点的状态信息,并发送至其它中间节点或终端。所述其它中间节点或终端在接收到所述状态信息后,根据所述状态信息生成一路由状态表,用来记录对应中间节点的状态,且所述其它中间节点或终端根据所述路由状态表选择相应的中间节点发送数据请求。
而所述中间节点在将数据发送至所述终端的过程中,当所述终端与中间节点、或者中间节点之间传送数据过程中出现异常时,将该异常对应的中间节点进行标记。在其它中间节点或者终端发送数据请求时,选择已标记为异常中间节点之外的其它中间节点进行发送。
在具体实施过程中,所述中间节点在接收数据请求之前,还判断当前待处理的数据请求的数量是否预设的第一阀值,若是,则生成所述中间节点的状态信息以标记该中间节点不再接收数据请求,并将所述状态信息发送至其它中间节点和终端。
在具体实施过程中,所述中间节点在进行数据传输过程中,还判断当前数据传输的容量是否超过预设的第二阀值,若是,则生成所述中间节点的状态信息以标记该中间节点不再接收数据请求,并将所述状态信息发送至其它中间节点和终端。
关于所述网络中数据的传输方法的详细的过程请参阅上文针对数据的传输系统的较佳实施例的详细描述,此处不再赘述。
本发明通过为各任务设置优先级标识,终端在执行任务过程中,按照优先级标识顺序的获取任务执行,且在执行每一任务时,生成数据请求发送至终端和服务器之间的中间节点,若中间节点存储有相应的数据,则可直接从该中间节点获取数据,无需每次都连接服务器以获取数据,显然,本发明可通过中间节点分担服务器的负载,尤其是在大数据量的传输时,可以有效的避免传输网络出现异常;而且可以优先对一些重要的任务进行及时有效的处理,提高了处理效率。
综上所述,虽然本发明已以优选实施例揭露如上,但上述优选实施例并非用以限制本发明,本领域的普通技术人员,在不脱离本发明的精神和范围内,均可作各种更动与润饰,因此本发明的保护范围以权利要求界定的范围为准。
Claims (14)
1.一种网络中数据传输的方法,其特征在于:包括以下步骤:
终端接收服务器分配的任务并存储,其中该任务包括有优先级标识,具体包括:终端建立一任务列表,所述任务列表中包括有多级队列,每级队列存储相应优先级标识的任务,所述终端在接收到任务后,按照优先级标识将任务依次存储至相应队列的队尾;其中,所述终端和服务器之间设置有多级的中点节点组,每级中间节点组包括有多个的中间节点;
所述终端在存储的任务中按照任务的优先级标识顺序的获取任务,并为获取的任务生成一数据请求发送至中间节点,具体包括:通过数据请求中对应数据的信息计算生成所述数据的md5签名,以md5值对所述终端的路由表条目数取模以获取index,选择路由表中的第index项作为接受数据请求的中间节点;或者,所述终端把中间节点的路由表按各中间节点反馈的状态进行排序,选择最优的中间节点作为接受数据请求的中间节点;或者,当所述终端与中间节点、或者中间节点之间传送数据过程中出现异常时,将该异常对应的中间节点进行标记;在其它中间节点或者终端发送数据请求时,选择已标记为异常中间节点之外的其它中间节点进行发送;
所述中间节点接收所述数据请求,判断该中间节点内是否存储有相应的数据,若存储有相应的数据,则将该数据发送至所述终端,若未存储有相应的数据,则将所述数据请求发送至所述服务器,以获取相应的数据,并将获取的数据转发至所述终端。
2.根据权利要求1所述的网络中数据传输的方法,其特征在于:其中一中间节点在接收到所述终端发送的数据请求后,判断该中间节点内是否存储有相应的数据,若是,则将该数据返回至所述终端,否则将所述数据请求发送至其它中间节点。
3.根据权利要求2所述的网络中数据传输的方法,其特征在于:在其它中间节点或者服务器内存储有相应的数据、并将相应的数据返回至所述终端的过程中,还经由所述中间节点转发;
已转发数据的中间节点在将所述数据转发后,还将所转发的数据备份。
4.根据权利要求1所述的网络中数据传输的方法,其特征在于:所述终端在接收到服务器分配的任务后,所述方法还包括以下步骤:
判断已存储的任务在其对应队列的存储时间是否超过预设的等待时间,若是,则将所述任务从当前存储的队列中取出,并添加到较当前存储的队列的级别更高的队列中。
5.根据权利要求2所述的网络中数据传输的方法,其特征在于:所述中间节点接收所述数据请求的步骤之前,所述方法还包括以下步骤:
所述中间节点生成该中间节点的状态信息,并发送至其它中间节点或终端;
所述其它中间节点或终端在接收到所述状态信息后,根据所述状态信息生成一路由状态表,用来记录对应中间节点的状态;以及
所述其它中间节点或终端根据所述路由状态表选择相应的中间节点发送数据请求。
6.根据权利要求5所述的网络中数据传输的方法,其特征在于:所述中间节点在接收数据请求之前,所述方法还包括以下步骤:
所述中间节点判断当前待处理的数据请求的数量是否预设的第一阀值,若是,则生成所述中间节点的状态信息,以标记该中间节点不再接收数据请求,并将所述状态信息发送至其它中间节点和终端。
7.根据权利要求5所述的网络中数据传输的方法,其特征在于:所述中间节点在进行数据传输过程中,所述方法还包括以下步骤:
所述中间节点判断当前数据传输的容量是否超过预设的第二阀值,若是,则生成所述中间节点的状态信息,以标记该中间节点不再接收数据请求,并将所述状态信息发送至其它中间节点和终端。
8.一种网络中数据传输的系统,其特征在于:包括终端和服务器,所述终端和服务器之间设置有多级的中点节点组,每级中间节点组包括有多个的中间节点;
所述终端,用于接收所述服务器分配的任务,并按照任务的优先级标识将接收到的任务进行存储,具体包括:终端建立一任务列表,所述任务列表中包括有多级队列,每级队列存储相应优先级标识的任务,所述终端在接收到任务后,按照优先级标识将任务依次存储至相应队列的队尾;以及在按照任务的优先级标识顺序的获取任务来执行时,生成一对应该任务的数据请求发送至所述中间节点,具体包括:通过数据请求中对应数据的信息计算生成所述数据的md5签名,以md5值对所述终端的路由表条目数取模以获取index,选择路由表中的第index项作为接受数据请求的中间节点;或者,所述终端把中间节点的路由表按各中间节点反馈的状态进行排序,选择最优的中间节点作为接受数据请求的中间节点;或者,当所述终端与中间节点、或者中间节点之间传送数据过程中出现异常时,将该异常对应的中间节点进行标记;在其它中间节点或者终端发送数据请求时,选择已标记为异常中间节点之外的其它中间节点进行发送;
所述中间节点,用于接收所述数据请求,并判断该中间节点内是否存储有相应的数据,若是则将该数据返回至所述终端,否则所述数据请求发送至所述服务器;
所述服务器,用于分配任务至所述终端,以及在接收到所述数据请求后,获取相应的数据通过所述中间节点返回至所述终端。
9.根据权利要求8所述的网络中数据传输的系统,其特征在于:
所述中间节点,还用于在判定该中间节点未存储相应的数据后,将所述数据请求发送至其它中间节点。
10.根据权利要求9所述的网络中数据传输的系统,其特征在于:所述中间节点,还用于在接收到所述服务器返回的数据并转发后,将转发的数据备份。
11.根据权利要求8所述的网络中数据传输的系统,其特征在于:所述终端,还用于判断已存储的任务在其对应队列的存储时间是否超过预设的等待时间,若是,则将所述任务从当前存储的队列中取出,并添加到较当前存储的队列的级别更高的队列中。
12.根据权利要求9所述的网络中数据传输的系统,其特征在于:所述中间节点,还用于生成该中间节点的状态信息,并发送至其它中间节点和终端;
以及用于根据接收到的状态信息生成一路由状态表,用来记录对应中间节点的状态;并根据所述路由状态表选择相应的中间节点发送数据请求。
13.根据权利要求12所述的网络中数据传输的系统,其特征在于:所述中间节点,还用于判断当前待处理的数据请求的数量是否预设的第一阀值,若是,则生成所述中间节点的状态信息,以标记该中间节点不再接收数据请求,并将所述状态信息发送至其它中间节点和终端。
14.根据权利要求12所述的网络中数据传输的系统,其特征在于:所述中间节点,还用于判断当前数据传输的容量是否超过预设的第二阀值,若是,则生成所述中间节点的状态信息,以标记该中间节点不再接收数据请求,并将所述状态信息发送至其它中间节点和终端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210301062.7A CN103634224B (zh) | 2012-08-22 | 2012-08-22 | 网络中数据传输的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210301062.7A CN103634224B (zh) | 2012-08-22 | 2012-08-22 | 网络中数据传输的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103634224A CN103634224A (zh) | 2014-03-12 |
CN103634224B true CN103634224B (zh) | 2017-11-17 |
Family
ID=50214864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210301062.7A Active CN103634224B (zh) | 2012-08-22 | 2012-08-22 | 网络中数据传输的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103634224B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106330525A (zh) * | 2015-06-30 | 2017-01-11 | 阿里巴巴集团控股有限公司 | 数据传输方法及系统 |
CN105430057A (zh) * | 2015-11-03 | 2016-03-23 | 上海新储集成电路有限公司 | 一种物联网结构及其数据传输方法 |
CN105488982A (zh) * | 2015-12-14 | 2016-04-13 | 上海新储集成电路有限公司 | 基于物联网结构的远程抄表方法及系统 |
CN105721612B (zh) * | 2016-04-19 | 2019-05-07 | 北京百度网讯科技有限公司 | 数据传输方法和装置 |
CN105847437B (zh) * | 2016-05-26 | 2022-12-27 | 北京科技大学 | 一种数据传输方法 |
CN106412091A (zh) * | 2016-10-25 | 2017-02-15 | 广东欧珀移动通信有限公司 | 数据传输的控制方法、装置及系统 |
CN108735271A (zh) * | 2017-04-17 | 2018-11-02 | 中国科学院微电子研究所 | 一种心电检测数据管理系统 |
CN107491364A (zh) * | 2017-08-25 | 2017-12-19 | 长沙曙通信息科技有限公司 | 一种远程数据复制服务质量实现方法 |
CN110290009B (zh) * | 2019-07-02 | 2023-02-28 | 深圳市网心科技有限公司 | 一种数据调度方法、装置及计算机可读存储介质 |
CN112698927B (zh) * | 2019-10-23 | 2024-05-28 | 杭州海康威视数字技术股份有限公司 | 双向通信方法、装置、电子设备及机器可读存储介质 |
CN113271261A (zh) * | 2021-05-19 | 2021-08-17 | 深圳爱特天翔科技有限公司 | 数据分发方法、终端设备以及计算机可读存储介质 |
CN113329078B (zh) * | 2021-05-27 | 2023-02-21 | 北京达佳互联信息技术有限公司 | 数据存储的方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101635678A (zh) * | 2009-06-15 | 2010-01-27 | 中兴通讯股份有限公司 | 一种p2p终端流量控制的方法及系统 |
CN101764824A (zh) * | 2010-01-28 | 2010-06-30 | 深圳市同洲电子股份有限公司 | 一种分布式缓存控制方法、装置及系统 |
CN102143440A (zh) * | 2010-06-30 | 2011-08-03 | 华为技术有限公司 | 短消息业务处理的方法和装置 |
-
2012
- 2012-08-22 CN CN201210301062.7A patent/CN103634224B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101635678A (zh) * | 2009-06-15 | 2010-01-27 | 中兴通讯股份有限公司 | 一种p2p终端流量控制的方法及系统 |
CN101764824A (zh) * | 2010-01-28 | 2010-06-30 | 深圳市同洲电子股份有限公司 | 一种分布式缓存控制方法、装置及系统 |
CN102143440A (zh) * | 2010-06-30 | 2011-08-03 | 华为技术有限公司 | 短消息业务处理的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103634224A (zh) | 2014-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103634224B (zh) | 网络中数据传输的方法和系统 | |
CN101019385B (zh) | 在整个设备堆栈中的端口聚合 | |
CN104348740B (zh) | 数据包处理方法和系统 | |
CN105099906B (zh) | 降低链路聚合端口报文丢失的方法及硬件控制单元 | |
US7352762B2 (en) | Method and system for messaging to a cluster | |
US9185033B2 (en) | Communication path selection | |
US7400624B2 (en) | Hashing based messaging approach to a cluster | |
CN102025630A (zh) | 负载均衡方法及负载均衡系统 | |
CN102377640B (zh) | 一种报文处理装置和报文处理方法、及预处理器 | |
CN102404229A (zh) | 负载均衡系统、装置及方法 | |
CN102045253A (zh) | 链路聚合网络中发送视频监控业务报文的方法及设备 | |
CN108306824B (zh) | 报文发送方法及装置 | |
CN101127623A (zh) | 数据处理方法、装置及系统 | |
CN104461727A (zh) | 内存模组访问方法及装置 | |
US20130003748A1 (en) | Relay apparatus and relay control method | |
CN108123901A (zh) | 一种报文传输方法和装置 | |
CN103314552B (zh) | 使用非统一接收器的基于组的组播方法 | |
CN105376292A (zh) | 基于名称的转发中的显式策略反馈 | |
CN107579925A (zh) | 报文转发方法及装置 | |
CN101808037B (zh) | 交换网中流量管理的方法和装置 | |
CN106331106B (zh) | 信息发布方法和系统 | |
CN102870381A (zh) | 一种pcie交换系统、装置及交换方法 | |
CN110149411A (zh) | 一种会话保持方法、装置、存储介质和处理器 | |
CN108111567A (zh) | 实现服务器负载均匀的方法及系统 | |
CN116055426B (zh) | 用于多绑定模式下流量卸载转发的方法、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |