CN109600315A - 数据通道的流控方法和调整方法 - Google Patents

数据通道的流控方法和调整方法 Download PDF

Info

Publication number
CN109600315A
CN109600315A CN201710916226.XA CN201710916226A CN109600315A CN 109600315 A CN109600315 A CN 109600315A CN 201710916226 A CN201710916226 A CN 201710916226A CN 109600315 A CN109600315 A CN 109600315A
Authority
CN
China
Prior art keywords
data
channel
data channel
interval
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710916226.XA
Other languages
English (en)
Other versions
CN109600315B (zh
Inventor
董骁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710916226.XA priority Critical patent/CN109600315B/zh
Publication of CN109600315A publication Critical patent/CN109600315A/zh
Application granted granted Critical
Publication of CN109600315B publication Critical patent/CN109600315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0876Aspects of the degree of configuration automation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0896Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种数据通道的流控方法和调整方法。其中,流控方法包括:获取待写入数据通道的数据集合中各数据的标识,根据各数据的标识、将各数据写入对应的数据通道以进行数据传输;其中,各数据通道均对应的数据区间形成一个固定的区间范围,各数据中携带有标识,标识对应于一数据区间。本发明解决了由于现有技术无法自动调整通道数量而导致资源浪费的技术问题。

Description

数据通道的流控方法和调整方法
技术领域
本发明涉及计算机网络领域,具体而言,涉及一种数据通道的流控方法和调整方法。
背景技术
随着网络技术的快速发展,人们在日常生活中已离不开网络。在每天的各个时间段,人们使用网络所产生的数据流量是不相同的,而网络数据时通过网络通道来进行传输的,由此可见,在一天中的不同时间段,网络通道对数据的数量也是不同的,例如,在使用网络的高峰时段(例如,19:00至22:00),网络通道需要传输的数据流量比较大,此时需要对网络通道进行扩容处理;而在网络使用的低谷时段(如,22:00至次日7:00),网络通道需要传输的数据量比较少,此时需要对网络通道进行缩容处理。
在现有技术中,为实现为网络通道的扩容或缩容,通常是根据API接口来确定在某一业务场景下的网络流量或预先设定的网络流量可能会发生的变化来人工对网络通道进行调整。其中,常见的对网络通道进行调整的方式主要有以下两种:
(1)直接调整网络通道的数量,例如,增加网络通道的数量以及减少网络通道的数据,从而实现对网络通道的吞吐量的调整;
(2)通过对网络通道进行分裂或合并来达到调整网络通道的吞吐量的目的。
但上述两种调整方式需要外部干扰来触发服务器的扩容、缩容功能,即只有在被动接收外部请求的情况下,才能对数据通道的数量进行调整,并且不能主动根据网络通道内部的流量监控信息来对数据通道进行调整,因此,在数据流量突然增加的情况下,如果没有外部的干预或人工处理不及时,服务器可能会因为数据流量增加到最大值而产生故障或异常。
针对上述由于现有技术无法自动调整通道数量而导致资源浪费的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据通道的流控方法和调整方法,以至少解决由于现有技术无法自动调整通道数量而导致资源浪费的技术问题。
根据本发明实施例的一个方面,提供了一种数据通道的流控方法,包括:获取待写入数据通道的数据集合中各数据的标识;根据各数据的标识,将各数据写入对应的数据通道;其中,各数据通道均对应有数据区间,各数据通道对应的数据区间形成一个固定的区间范围;各数据中携带有标识,标识对应于一数据区间。
根据本发明实施例的另一方面,还提供了一种数据通道的调整方法,包括:获取数据通道的数据流量;基于数据流量,确定需要对数据通道进行调整时,获取数据通道对应的数据区间;基于数据区间扩充数据通道或减少数据通道;其中,各数据通道分别对应有数据区间,且各数据通道对应的数据区间形成一个固定的区间范围。
根据本发明实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行如下步骤:获取待写入数据通道的数据集合中各数据的标识;根据各数据的标识,将各数据写入对应的数据通道,以进行数据的传输;其中,各数据通道均对应有数据区间,各数据通道对应的数据区间形成一个固定的区间范围;各数据中携带有标识,标识对应于一数据区间;或者获取数据通道的数据流量;基于数据流量,确定需要对数据通道进行调整时,获取数据通道对应的数据区间;基于数据区间扩充数据通道或减少数据通道;其中,各数据通道分别对应有数据区间,且各数据通道对应的数据区间形成一个固定的区间范围。
根据本发明实施例的另一方面,还提供了一种处理器,该处理器用于运行程序,其中,程序运行时执行如下步骤:获取待写入数据通道的数据集合中各数据的标识;根据各数据的标识,将各数据写入对应的数据通道,以进行数据的传输;其中,各数据通道均对应有数据区间,各数据通道对应的数据区间形成一个固定的区间范围;各数据中携带有标识,标识对应于一数据区间;或者获取数据通道的数据流量;基于数据流量,确定需要对数据通道进行调整时,获取数据通道对应的数据区间;基于数据区间扩充数据通道或减少数据通道;其中,各数据通道分别对应有数据区间,且各数据通道对应的数据区间形成一个固定的区间范围。
在本发明实施例中,采用数据流量和/或标识信息关联度监控的方式,通过根据当前存在的多个数据通道分别对应的标识取值范围对待写入数据集合内包含的数据进行分流,因为对数据通道设置了数据区间,且所有的数据通道的数据区间是一个固定区间范围,因此,可以基于数据区间来进行通道的扩容或缩容的处理,达到了自动对通道进行扩容或缩容的目的,从而实现了提高通道传输数据的效率,并提高通道资源的利用率的技术效果,进而解决了由于现有技术无法自动调整通道数量而导致资源浪费的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种通道数量的流控方法流程图;
图2是根据本发明实施例的一种可选的数据通道的流控方法流程图;
图3是根据本发明实施例的一种可选的划分通道的哈希区间的结构示意图;
图4是根据本发明实施例的一种可选的分发数据后通道的结构示意图;
图5是根据本发明实施例的一种通道数量的调整方法流程图;
图6是根据本发明实施例的一种可选的通道数量的调整方法流程图;
图7是根据本发明实施例的一种可选的通道数量的调整方法流程图;
图8是根据本发明实施例的一种可选的通道数量的调整方法流程图;
图9是根据本发明实施例的一种可选的通道数量的调整方法流程图;
图10是根据本发明实施例的一种可选的分裂通道的方法流程图;
图11是根据本发明实施例的一种可选的分裂通道的示意图;
图12是根据本发明实施例的一种可选的合并通道的方法流程图;
图13是根据本发明实施例的一种可选的合并通道的示意图;
图14是根据本发明实施例的一种通道数量的流控装置的结构示意图;
图15是根据本发明实施例的一种通道数量的调整装置的结构示意图;以及
图16是根据本发明实施例的一种计算机终端的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,还提供了一种数据通道的流控方法实施例,需要说明的是,本实施例可以应用在分布式的数据通道服务中,通过本申请所提出的方案,可以实现自动调节通道数量的目的,能够实时监控通道内的数据流量,并在通道内的数据流量比较少的情况下,合并通道,进而提高了对通道的利用率,达到了节约资源的目的。
随着网络技术的普及,人们可以随时随地的通过网络获取到各种信息,而在每天的不同时刻,使用网络的用户的数量是不同的,由此,在不同的时间段,网络通道内所传输的数据流量也是不同的。例如,在使用网络的高峰期,网路通道内传输的数据流量比较大,而在使用网络的低谷期,网络通道内传输的数据流量比较少。为了使网络通道传输数据的效率达到最大,需要对网路通道的数量进行调整。
目前,对网络通道的数量进行调整主要是通过被动接收外部请求来对通道的数量进行调整,但不能主动根据通道内所传输的数据流量来自动对通道进行调整。
为解决上述问题,申请人经研究提出了一种数据通道的流控方法,在分布式数据通道服务上,通过通道内自动流量控制监测、通道合并、通道分裂等方式对网络通道进行自动扩容、缩容处理。其中,分布式的数据通道服务可以在横向上扩展通道数量。申请人在不同的通道中指定不同的哈希值区间(即HashKeyRange),并将所有通道的哈希值区间组成一个连续的十六进制的区间[0000,FFFF],具有不同主键值的数据将被写入到对应的通道中。每个通道内均存在流量监控与判定模块,该模块可对通道内的流量进行监控,如果通道内的流量超过预先设定的阈值,则通道数量的调整系统将该通道分裂为两个通道;如果通道内的流量低于某一阈值,则通道数量的调整系统将相邻的哈希值区间合并为一个哈希值区间。
通过上述方案,本申请可以在通道内的数据流量突然增大或突然减小的情况下,自动对通道进行扩容或缩容处理,而不需要外界人工的干扰。另外,在数据流量比较大的情况下,对通道进行扩容处理;而在数据流量比较小的情况下,对通道进行缩容处理,从而可以使通道传输数据的效率达到最大,进而达到了节约资源的目的。
在上述应用场景下,作为一种可选的实施例,图1示出了一种根据本申请实施例的一种通道数量的调整方法流程图,如图1所示,该方法具体包括如下步骤:
步骤S102,获取待写入数据通道的数据集合中各数据的标识;
步骤S104,根据各数据的标识,将各数据写入对应的数据通道,以进行数据的传输;其中,各数据通道均对应有数据区间,各数据通道对应的数据区间形成一个固定的区间范围;各数据中携带有标识,标识对应于一数据区间。
需要说明的是,数据通道为接收端和发送端之间的数据传输,可以将数据通道理解为传输数据的路径,在该传输数据的路径中具有最大的流量,即该数据通道的流量,例如,数据通道的最大流量为50M、100M等。另外,每个数据通道所对应的数据区间的取值范围可以为一个哈希值区间,即每个哈希值区间内包含多个数据。其中,每条待写入数据集合内的数据均带有一个哈希主键值(即HashKey),该哈希主键值即为上述标识。服务器根据哈希主键值的不同将带有哈希主键值的数据写入与哈希主键值相对应的通道中,例如,所有数据集合所组成的哈希区间为[0000,FFFF],每个通道对应一个哈希区间,将所有的通道合并一个通道之后,合并后的通道的哈希区间即为[0000,FFFF]。此外,上述数据为流式数据,流式数据指数据源不间断地提供的数据,即服务器不间断的以同一个方式获取到的数据。
在一种可选的实施例中,服务器为每个写入数据通道的数据集合中的数据进行标识,例如,可通过哈希算法得到每个数据所对应的哈希主键值,而每个数据通道所对应的数据区间也以哈希主键值的形式表示。将每个数据所对应的哈希主键值与每个数据通道所对应的哈希主键值进行比对,如果数据的哈希主键值在数据区间所对应的哈希主键值的范围内,则将该数据写入到该数据通道中,并传输该数据。例如,数据的哈希主键值为9FFF,而数据通道A的数据区间为[8FFFF,AFFFF),则将该数据写入到数据通道A中。
基于上述实施例中步骤S102至步骤S104所限定的方案,可以获知,通过获取待写入数据通道的数据集合中各数据的标识,并根据各数据的标识将各数据写入对应的数据通道以进行数据的传输,其中,各数据通道均对应有数据区间,各数据通道对应的数据区间形成一个固定的区间范围,各数据中携带有标识,标识对应于一数据区间。
容易注意到的是,通过对待写入数据通道的数据集合中的各数据进行标识,并根据数据的标识将数据分发至对应的数据通道中,由于在上述过程中无需人工干预,服务器可自动为数据进行标识,并根据数据的标识将其写入到对应的数据通道中,进而达到了对数据进行自动分发的技术效果。
在一种可选的实施例中,如图2所示的一种可选的数据通道的流控方法流程图,步骤S104,根据各数据的标识,将各数据写入对应的数据通道,以进行数据的传输,具体包括如下步骤:
步骤S202,根据数据集合中每个数据的标识分别查找对应的数据区间;
步骤S204,按照查找到的数据区间将每个数据分发至对应的数据通道。
需要说明的是,上述待写入数据的标识信息为待写入数据的哈希主键值。
在一种可选的实施例中,如图3所示的一种可选的划分数据通道的哈希区间的结构示意图,在图3中包含了五个流式数据,每个流式数据对应的哈希主键值分别为9888、5313、BBBB、0201和0716。图3中示出了四个数据通道,分别为通道[0000,4FFFF)、通道[4FFFF,8FFFF)、通道[8FFFF,AFFFF)以及通道[AFFFF,FFFFF)。由于哈希主键值9888在[8FFFF,AFFFF)的范围内,因此,将哈希主键值9888所对应的数据分发至通道[8FFFF,AFFFF)中;哈希主键值5313在[4FFFF,8FFFF)的范围内,因此,将哈希主键值5313所对应的数据分发至通道[4FFFF,8FFFF)中;哈希主键值0201和0716在[0000,4FFFF)的范围内,因此,将哈希主键值0201和0716所对应的数据分发至通道[0000,4FFFF)中;哈希主键值BBBB在[AFFFF,FFFFF)的范围内,因此,将哈希主键值BBBB所对应的数据分发至通道[AFFFF,FFFFF)中。将待写入数据分发至对应数据通道后的结果如图4所示。
需要说明的是,在将待写入数据分发至对应的数据通道后,可通过通道内的数据流量、数据通道内包含的多个数据之间的标识信息以及上述两种情况的结合来对通道的数量进行调整。
实施例2
根据本发明实施例,还提供了一种数据通道的调整方法实施例,其中,图5示出了一种根据本申请实施例的一种数据通道的调整方法流程图,如图5所示,该方法具体包括如下步骤:
步骤S502,获取数据通道的数据流量。
需要说明的是,每个数据通道具有一个流控模块,该流控模块可用来实时统计相应的数据通道内的数据流量。
步骤S504,基于数据流量,确定需要对数据通道进行调整时,获取数据通道对应的数据区间。
在一种可选的实施例中,如果数据通道A中的数据流量超过了数据通道A所能传输的数据流量,则获取数据通道A所对应的数据区间,并对数据通道A进行调整,其中,对数据通道A的调整可以为但不限于扩容和缩容。
步骤S506,基于数据区间扩充数据通道或减少数据通道;其中,各数据通道分别对应有数据区间,且各数据通道对应的数据区间形成一个固定的区间范围。
需要说明的是,上述扩充数据通道的过程即为对数据通道的扩容处理,而减少数据通道的过程即为对数据通道的缩容处理,其中,对数据通道进行扩容处理,即增加数据通道的数量,例如,扩容前存在2个数据通道,则执行扩容操作后,数据通道的数量增加至3个,由于每个数据通道具有50M的数据传输量,则扩容后,数据通道的数据传输量由原来的100M变为150M。对数据通道进行缩容处理,即减少数据通道的数量,缩容的过程是与扩容相反的过程,例如,缩容前存在4个数据通道,则执行缩容操作后,数据通道的数量减少至3个,即缩容后,数据通道的数据传输量由原来的200M变为150M。
需要说明的是,每个数据通道具有一个判定模块,判定模块用于判定数据通道内的数据流量是否大于或小于预设阈值。可以通过如下三个方案来对多个数据通道的数量进行调整:
①根据每个数据通道内的数据流量对多个数据通道的数量进行调整;
②根据每个数据通道内包含的多个数据之间的标识信息关联度对多个数据通道的数量进行调整;
③根据每个数据通道内的数据流量和每个数据通道内包含的多个数据之间的标识信息关联度对多个数据通道的数量进行调整。
在一种可选的实施例中,如图6所示的一种可选的通道数量的调整方法流程图,在图6中,服务器将流式数据分发至哈希区间为[AAAA,BBBB),位于该数据通道内的流控模块采用上述三种方案中的一种对该数据通道内的数据流量进行实时检测。判定模块根据流控模块实时检测到的数据来判断该数据通道内的数据流量是否处于一个合适的流量范围(即流控阈值)内,假设该流量范围为[A,B],其中,A为流控阈值的最小值,B为流控阈值的最大值。如果判定模块连读多次判断当前数据通道内的数据流量一直低于流控阈值的最小值,则服务器对数据通道进行缩容处理,并将本数据通道与该数据通道所对应的哈希区间的上一个哈希区间所对应的数据通道进行合并,或将本数据通道与该数据通道所对应的哈希区间的下一个哈希区间所对应的数据通道进行合并。如果判定模块检测到该数据通道内的数据流量大于流控阈值的最小值,并高于流控阈值的最大值,此时服务器对数据通道进行扩容处理,将该数据通道分裂为两个哈希区间连续的数据通道,例如,通道[AAAA,BBBB)可能分裂为[AAAA,AFFF)和[AFFF,BBBB)两个通道。此外,如果判定模块检测到该数据通道内的数据流量大于流控阈值的最小值,但小于流控阈值的最大值,此时,服务器不对通道进行任何处理。
此外,还需要说明的是,在对数据通道进行缩容处理时,只能将两个数据通道合并为一个通道,但可以进行多次合并。同理,在对数据通道进行扩容处理时,只能将一个数据通道分裂为两个通道,但可以进行多次分裂。另外,在数据通道分裂后,两个新的数据通道具有与分裂之前的数据通道相同的流控限制,即分裂后的两个新的数据通道的流控阈值的范围与分裂前的数据通道的流控阈值的范围是相同的,由于分裂后的数据通道数量增多了,因此,数据可以在多个数据通道内进行传输,进而提高了数据传输的速度。
在另一种可选的实施例中,还可以通过统计数据通道内的请求量或者存储量来确定是否对数据通道进行扩容或缩容。具体的,服务器统计每个数据通道内网络访问的请求数量,并判断请求数量是否在预设的请求数量的范围内,如果请求数量大于预设的请求数量的最大值,则数据通道进行扩容处理;如果请求数量小于预设的请求数量的最小值,则对数据通道进行缩容处理。此外,还可通过判断数据通道内已经存储的数据量是否达到数据通道所能存储的数据的最大值来调整通道的数量,其中,如果数据通道内已经存储的数据量已达到数据通道所能存储的数据的最大值,则对数据通道进行扩容处理。
需要说明的是,可通过服务器中的外部脚本程序或定时任务来对实时统计数据通道内的数据流量,用户可定时查看到相关数据通道内的数据传输情况。
基于上述实施例中步骤S502至步骤S506所限定的方案,可以获知,通过获取数据通道的数据流量,基于数据流量,确定需要对数据通道进行调整时,获取数据通道对应的数据区间,并基于数据区间扩充数据通道或减少数据通道,其中,各数据通道分别对应有数据区间,且各数据通道对应的数据区间形成一个固定的区间范围。
容易注意到的是,位于通道内的流控模块可实时对通道内的数据流量进行监控,以获取到通道内的数据流量,位于通道内的判定模块对数据流量进行判定,进而根据判定结果来确定是否对通道进行扩容处理或缩容处理,由于在整个过程中无需人为干预,服务器可根据判定结果自动对通道进行扩容处理或缩容处理,进而达到了对通道的数量进行自动调整的目的。
本申请实施例2的上述方案可以达到自动对通道进行扩容或缩容的目的,从而实现了提高通道传输数据的效率,并提高通道资源的利用率的技术效果,进而解决了由于现有技术无法自动调整通道数量而导致资源浪费的技术问题。
在第一种应用场景中,如图7所示的一种可选的通道数量的调整方法流程图,基于数据区间扩充数据通道或减少数据通道,具体包括如下步骤:
步骤S702,如果确定数据通道中的数据流量超过第一预设阈值,则对数据通道执行分裂操作,扩充数据通道;
步骤S704,如果确定数据通道中的数据流量低于第二预设阈值,则对数据通道执行合并操作,减少数据通道;
其中,第一预设阈值为各数据通道对应的最高流量阈值,第二预设阈值为各数据通道对应的最低流量阈值,基于最高流量阈值和最低流量阈值确定数据通道中每个数据通道对应的数据区间。
在一种可选的实施例中,将第一预设阈值作为流控阈值的最大值,例如,设置第一预设阈值为1MB/s,第二预设阈值为0.1MB/s,如果一个或多个通道中的数据流量在预设时间(例如,1小时)内一直低于0.1MB/s,则服务器将该通道与上一个通道或下一个通道进行合并。同样,如果一个或多个通道中的数据流量在预设时间内一直高于1MB/s(即第一预设阈值),则服务器将该通道分裂为两个通道。
需要说明的是,上述预设时间以及流控阈值的最大值和最小值可用研发人员自行设置。
在第二种应用场景中,如图8所示的一种可选的通道数量的调整方法流程图,基于数据区间扩充数据通道或减少数据通道包括:
步骤S802,如果确定数据通道中对应同一标识信息或者对应连续标识信息的数据量超过第三预设阈值,则对数据通道执行分裂操作,扩充数据通道;
步骤S804,如果确定数据通道中对应同一标识信息或者对应连续标识信息的数据量低于第四预设阈值,则对数据通道执行合并操作,减少数据通道。
需要说明的是,每个通道都有自己对应的哈希区间,但在该通道对应的哈希区间中,哈希主键值的分布可能是不均匀的,例如,在通道[8FFF,AFFF)中,哈希主键值为9888的数据的百分比可能为20%,而哈希主键值为9889的数据的百分比可能为10%。
在一种可选的实施例中,通道[8FFF,AFFF)的数据量为1500,对该通道进行分裂操作的数据量的阈值为第三预设阈值,设为1000,由于1500大于1000,此时服务器对通道[8FFF,AFFF)进行分裂处理,将该通道分裂为两个通道,其中,分裂后的两个通道中的数据量是相同的。如果分裂后的两个通道中的数据量仍大于第三预设阈值,则继续对分裂后的两个通道进行分裂处理。
在另一种可选的实施例中,通道[8FFF,AFFF)的数据量为100,对该通道进行合并操作的数据量的阈值为第四预设阈值,设为200,由于100小于200,此时服务器对通道[8FFF,AFFF)进行合并处理。如果合并后的通道的数据量仍小于第四预设阈值,则继续对合并后的通道进行合并处理。
可选地,由于每个通多对应的有一个区间,在数据分发时,给数据携带的标记也可以采用哈希处理,这样,基本可以平均将数据分发到不同的通道中;另外通道扩容时,由于是将一个通道对应的区间分裂成两个区间,并对应到扩容的两个通道上,因此,对应该区间的数据的分发,也会分发到扩容的两个通道上,且由于数据分发是基于标识来分发到对应的通道,这样,也避免扩容后,流量集中在一个通道;在通道缩容时,由于可以是将一个通道对应的两个区间合并为一个区间,并对应到缩容的一个通道上,因此,对应该区间的数据的分发,可以分发到缩容的一个通道上,从而减少数据通道。
在第三种应用场景中,如图9所示的一种可选的通道数量的调整方法流程图,基于数据区间扩充数据通道或减少数据通道包括:
步骤S902,如果确定数据通道中的数据流量超过第一预设阈值且数据通道中对应同一标识信息或者对应连续标识信息的数据量超过第三预设阈值,则对数据通道执行分裂操作,扩充数据通道;
步骤S904,如果确定数据通道中的数据流量低于第二预设阈值且数据通道中对应同一标识信息或者对应连续标识信息的数据量低于第四预设阈值,则对数据通道执行合并操作,减少数据通道;
其中,第一预设阈值为各数据通道对应的最高流量阈值,第二预设阈值为各数据通道对应的最低流量阈值。
需要说明的是,第三种应用场景中对通道进行分裂操作的条件是同时第一种应用场景和第二种应用场景下对通道进行分裂操作的条件,同样,在第三种应用场景中对通道进行合并操作的条件为同时满足在第一种应用场景下对通道进行合并操作的条件以及在第二种应用场景下对通道进行合并操作的条件。其中,对通道进行分裂处理和合并处理的方法与第一种应用场景和第二种应用场景中的操作相同,在此不再赘述。
在一种可选的实施例中,图10示出了一种可选的分裂通道的方法流程图,如图10所示,对数据通道执行分裂操作具体包括如下步骤:
步骤S1002,在各数据通道对应的标识取值范围内选取分裂标识;
步骤S1004,将各数据通道的工作状态设置为关闭状态,其中,关闭状态用于表示每个通道的数据操作被限定为只读操作;
步骤S1006,按照分裂标识将各数据通道分裂为两个新通道;
步骤S1008,将分裂得到的新通道的工作状态设置为激活状态,其中,激活状态用于表示新通道的数据操作被限定为读写操作。
具体的,如图11所示的一种可选的分裂通道的示意图,在图11中,对通道0进行分裂操作,其中,通道0的哈希区间为[0000,FFFF],在对通道0进行分裂操作前,通道0处于激活状态。在对通道0进行分裂前,获取到对通道0进行分裂的分裂主键值(即分裂标识)AAAA,基于分裂标识将通道0划分为哈希区间分别为[0000,AAAA)和[AAAA,FFFF)的通道1和通道2,同时将通道0的状态设置为关闭状态,即只读状态,并将通道1和通道2的状态设置为激活状态。
需要说明的是,在获取通道0所对应的哈希区间之后,可以选择通道0所对应的哈希区间的中间值作为分裂标识,例如,AAAA为[0000,FFFF]的中间值,因此,将AAAA作为分裂标识。另外,还可以根据通道0中数据量的分布状态来获取分裂标识,例如,通道0在哈希区间为[0000,5555)内的数据量与通道0在哈希区间为[5555,FFFF]内的数据量相同,则选取5555作为分裂标识。
在另一种可选的实施例中,图12示出了一种可选的合并通道的方法流程图,如图12所示,对数据通道执行分裂操作具体包括如下步骤:
步骤S1202,查找数据通道的相邻通道;
步骤S1204,将数据通道以及相邻通道的工作状态设置为关闭状态,其中,关闭状态用于表示每个通道以及相邻通道的数据操作被限定为只读操作;
步骤S1206,将数据通道以及相邻通道合并为一个新通道;
步骤S1208,将合并得到的新通道的工作状态设置为激活状态,其中,激活状态用于表示新通道的数据操作被限定为读写操作。
具体的,如图13所示的一种可选的合并通道的示意图,在图13中,将通道0和通道1进行合并,其中,通道0的哈希区间为[0000,AAAA),通道1的哈希区间为[AAAA,FFFF],两个通道的状态均为激活状态。服务器在接收到合并通道的触发指令后,如果该通道有两个相邻的通道,则从两个相邻的通道中选择一个通道流量较小的通道进行合并;如果该通道仅有一个相邻的通道,则将该通道与该通道相邻的通道进行合并。如图12所示,合并后的通道为通道2,通道2的哈希区间为[0000,FFFF],并设置通道2的状态为激活状态,通道0和通道1的状态为关闭状态(即只读状态)。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的通道数量的调整方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
实施例3
根据本发明实施例,还提供了一种用于实施上述实施例1通道数量的流控方法的调整装置,如图14所示的通道数量的流控装置的结构示意图,该装置包括:获取模块1401以及处理模块1403。
其中,获取模块1401,用于获取待写入数据通道的数据集合中各数据的标识;处理模块1403,用于根据各数据的标识,将各数据写入对应的数据通道,以进行数据的传输;其中,各数据通道均对应有数据区间,各数据通道对应的数据区间形成一个固定的区间范围;各数据中携带有标识,标识对应于一数据区间。
在一种可选的实施例中,处理模块包括:查找模块以及分发模块。其中,查找模块,用于根据数据集合中每个数据的标识分别查找对应的数据区间;分发模块,用于按照查找到的数据区间将每个数据分发至对应的数据通道。
此处需要说明的是,上述查找模块以及分发模块对应于实施例1中的步骤S202至步骤S204,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例一所公开的内容。
实施例4
根据本发明实施例,还提供了一种用于实施上述实施例2通道数量的调整方法的调整装置,如图15所示的通道数量的调整装置的结构示意图,该装置包括:第一获取模块1501、第一执行模块1503以及第二执行模块1505。
其中,第一获取模块1501,用于获取数据通道的数据流量;第一执行模块1503,用于基于数据流量,确定需要对数据通道进行调整时,获取数据通道对应的数据区间;第二执行模块1505,用于基于数据区间扩充数据通道或减少数据通道;其中,各数据通道分别对应有数据区间,且各数据通道对应的数据区间形成一个固定的区间范围。
此处需要说明的是,上述第一获取模块1501、第一执行模块1503以及第二执行模块1505对应于实施例2中的步骤S502至步骤S506,三个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例二所公开的内容。
在一种可选的实施例中,第二执行模块包括:第一分裂模块以及第一合并模块。其中,第一分裂模块,用于如果确定数据通道中的数据流量超过第一预设阈值,则对数据通道执行分裂操作,扩充数据通道;第一合并模块,用于如果确定数据通道中的数据流量低于第二预设阈值,则对数据通道执行合并操作,减少数据通道;其中,第一预设阈值为各数据通道对应的最高流量阈值,第二预设阈值为各数据通道对应的最低流量阈值,基于最高流量阈值和最低流量阈值确定数据通道中每个数据通道对应的数据区间。
此处需要说明的是,上述第一分裂模块以及第一合并模块对应于实施例2中的步骤S702至步骤S704,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例二所公开的内容。
在一种可选的实施例中,第二执行模块包括:第二分裂模块以及第二合并模块。其中,第二分裂模块,用于如果确定数据通道中对应同一标识信息或者对应连续标识信息的数据量超过第三预设阈值,则对数据通道执行分裂操作,扩充数据通道;第二合并模块,用于如果确定数据通道中对应同一标识信息或者对应连续标识信息的数据量低于第四预设阈值,则对数据通道执行合并操作,减少数据通道。
此处需要说明的是,上述第二分裂模块以及第二合并模块对应于实施例2中的步骤S802至步骤S804,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例二所公开的内容。
在一种可选的实施例中,第二执行模块包括:第三分裂模块以及第三合并模块。其中,第三分裂模块,用于如果确定数据通道中的数据流量超过第一预设阈值且数据通道中对应同一标识信息或者对应连续标识信息的数据量超过第三预设阈值,则对数据通道执行分裂操作,扩充数据通道;第三合并模块,用于如果确定数据通道中的数据流量低于第二预设阈值且数据通道中对应同一标识信息或者对应连续标识信息的数据量低于第四预设阈值,则对数据通道执行合并操作,减少数据通道;其中,第一预设阈值为数据通道对应的最高流量阈值,第二预设阈值为数据通道对应的最低流量阈值。
此处需要说明的是,上述第三分裂模块以及第三合并模块对应于实施例2中的步骤S902至步骤S904,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例二所公开的内容。
在一种可选的实施例中,第二执行模块包括:选取模块、第一设置模块、第四分裂模块以及第二设置模块。其中,选取模块,用于在数据通道对应的标识取值范围内选取分裂标识;第一设置模块,用于将数据通道的工作状态设置为关闭状态,其中,关闭状态用于表示每个通道的数据操作被限定为只读操作;第四分裂模块,用于按照分裂标识将数据通道分裂为两个新通道;第二设置模块,用于将分裂得到的新通道的工作状态设置为激活状态,其中,激活状态用于表示新通道的数据操作被限定为读写操作。
此处需要说明的是,上述选取模块、第一设置模块、第四分裂模块以及第二设置模块对应于实施例2中的步骤S1002至步骤S1008,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例二所公开的内容。
在一种可选的实施例中,第二执行模块包括:第二查找模块、第三设置模块、第四合并模块以及第四设置模块。其中,第二查找模块,用于查找数据通道的相邻通道;第三设置模块,用于将数据通道以及相邻通道的工作状态设置为关闭状态,其中,关闭状态用于表示每个通道以及相邻通道的数据操作被限定为只读操作;第四合并模块,用于将数据通道以及相邻通道合并为一个新通道;第四设置模块,用于将合并得到的新通道的工作状态设置为激活状态,其中,激活状态用于表示新通道的数据操作被限定为读写操作。
此处需要说明的是,上述第二查找模块、第三设置模块、第四合并模块以及第四设置模块对应于实施例2中的步骤S1202至步骤S1208,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例二所公开的内容。
实施例5
本发明的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的网络设备。
图16示出了一种计算机终端的硬件结构框图。如图16所示,计算机终端A可以包括一个或多个(图中采用142a、142b,……,142n来示出)处理器142(处理器142可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器144、以及用于通信功能的传输装置146。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图16所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端A还可包括比图16中所示更多或者更少的组件,或者具有与图16所示不同的配置。
应当注意到的是上述一个或多个处理器142和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端A中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
处理器142可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取数据通道的数据流量;基于数据流量,确定需要对数据通道进行调整时,获取数据通道对应的数据区间;基于数据区间扩充数据通道或减少数据通道;其中,各数据通道分别对应有数据区间,且各数据通道对应的数据区间形成一个固定的区间范围。
存储器144可用于存储应用软件的软件程序以及模块,如本申请实施例中的通道数量的调整方法对应的程序指令/数据存储装置,处理器142通过运行存储在存储器144内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的通道数量的调整方法。存储器144可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器144可进一步包括相对于处理器142远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置146用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端A的通信供应商提供的无线网络。在一个实例中,传输装置146包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置146可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端A的用户界面进行交互。
此处需要说明的是,在一些可选实施例中,上述图16所示的计算机终端A可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是,图16仅为特定具体实例的一个实例,并且旨在示出可存在于上述计算机终端A中的部件的类型。
在本实施例中,上述计算机终端A可以执行应用程序的获取验证码的方法中以下步骤的程序代码:获取数据通道的数据流量;基于数据流量,确定需要对数据通道进行调整时,获取数据通道对应的数据区间;基于数据区间扩充数据通道或减少数据通道;其中,各数据通道分别对应有数据区间,且各数据通道对应的数据区间形成一个固定的区间范围。
可选的,上述处理器还可以执行如下步骤的程序代码:如果确定数据通道中的数据流量超过第一预设阈值,则对数据通道执行分裂操作,扩充数据通道;如果确定数据通道中的数据流量低于第二预设阈值,则对数据通道执行合并操作,减少数据通道;其中,第一预设阈值为各数据通道对应的最高流量阈值,第二预设阈值为各数据通道对应的最低流量阈值,基于最高流量阈值和最低流量阈值确定数据通道中每个数据通道对应的数据区间。
可选的,上述处理器还可以执行如下步骤的程序代码:如果确定数据通道中对应同一标识信息或者对应连续标识信息的数据量超过第三预设阈值,则对数据通道执行分裂操作,扩充数据通道;如果确定数据通道中对应同一标识信息或者对应连续标识信息的数据量低于第四预设阈值,则对数据通道执行合并操作,减少数据通道。
可选的,上述处理器还可以执行如下步骤的程序代码:如果确定数据通道中的数据流量超过第一预设阈值且数据通道中对应同一标识信息或者对应连续标识信息的数据量超过第三预设阈值,则对数据通道执行分裂操作,扩充数据通道;如果确定数据通道中的数据流量低于第二预设阈值且数据通道中对应同一标识信息或者对应连续标识信息的数据量低于第四预设阈值,则对数据通道执行合并操作,减少数据通道;其中,第一预设阈值为至少一个数据通道对应的最高流量阈值,第二预设阈值为至少一个数据通道对应的最低流量阈值。
可选的,上述处理器还可以执行如下步骤的程序代码:在至少一个数据通道对应的标识取值范围内选取分裂标识;将至少一个数据通道的工作状态设置为关闭状态,其中,关闭状态用于表示每个通道的数据操作被限定为只读操作;按照分裂标识将至少一个数据通道分裂为两个新通道;将分裂得到的新通道的工作状态设置为激活状态,其中,激活状态用于表示新通道的数据操作被限定为读写操作。
可选的,上述处理器还可以执行如下步骤的程序代码:查找至少一个数据通道的相邻通道;将至少一个数据通道以及相邻通道的工作状态设置为关闭状态,其中,关闭状态用于表示每个通道以及相邻通道的数据操作被限定为只读操作;将至少一个数据通道以及相邻通道合并为一个新通道;将合并得到的新通道的工作状态设置为激活状态,其中,激活状态用于表示新通道的数据操作被限定为读写操作。
本领域普通技术人员可以理解,图16所示的结构仅为示意,计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等终端设备。图16其并不对上述电子装置的结构造成限定。例如,计算机终端A还可包括比图16中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图16所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
实施例6
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例所提供的数据通道的调整方法所执行的程序代码。
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取数据通道的数据流量;基于数据流量,确定需要对数据通道进行调整时,获取数据通道对应的数据区间;基于数据区间扩充数据通道或减少数据通道;其中,各数据通道分别对应有数据区间,且各数据通道对应的数据区间形成一个固定的区间范围。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:如果确定数据通道中的数据流量超过第一预设阈值,则对数据通道执行分裂操作,扩充数据通道;如果确定数据通道中的数据流量低于第二预设阈值,则对数据通道执行合并操作,减少数据通道;其中,第一预设阈值为数据通道对应的最高流量阈值,第二预设阈值为数据通道对应的最低流量阈值,基于最高流量阈值和最低流量阈值确定数据通道中每个数据通道对应的数据区间。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:如果确定数据通道中对应同一标识信息或者对应连续标识信息的数据量超过第三预设阈值,则对数据通道执行分裂操作,扩充数据通道;如果确定数据通道中对应同一标识信息或者对应连续标识信息的数据量低于第四预设阈值,则对数据通道执行合并操作,减少数据通道。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:如果确定数据通道中的数据流量超过第一预设阈值且数据通道中对应同一标识信息或者对应连续标识信息的数据量超过第三预设阈值,则对数据通道执行分裂操作,扩充数据通道;如果确定数据通道中的数据流量低于第二预设阈值且数据通道中对应同一标识信息或者对应连续标识信息的数据量低于第四预设阈值,则对数据通道执行合并操作,减少数据通道;其中,第一预设阈值为数据通道对应的最高流量阈值,第二预设阈值为数据通道对应的最低流量阈值。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:在数据通道对应的标识取值范围内选取分裂标识;将数据通道的工作状态设置为关闭状态,其中,关闭状态用于表示每个通道的数据操作被限定为只读操作;按照分裂标识将数据通道分裂为两个新通道;将分裂得到的新通道的工作状态设置为激活状态,其中,激活状态用于表示新通道的数据操作被限定为读写操作。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:查找数据通道的相邻通道;将数据通道以及相邻通道的工作状态设置为关闭状态,其中,关闭状态用于表示每个通道以及相邻通道的数据操作被限定为只读操作;将数据通道以及相邻通道合并为一个新通道;将合并得到的新通道的工作状态设置为激活状态,其中,激活状态用于表示新通道的数据操作被限定为读写操作。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据通道的流控方法,其特征在于,包括:
获取待写入数据通道的数据集合中各数据的标识;
根据所述各数据的标识,将所述各数据写入对应的数据通道,以进行数据的传输;
其中,所述各数据通道均对应有数据区间,所述各数据通道对应的数据区间形成一个固定的区间范围;所述各数据中携带有标识,标识对应于一数据区间。
2.根据权利要求1所述的方法,其特征在于,根据所述各数据的标识,将所述各数据写入对应的数据通道包括:
根据所述数据集合中每个数据的标识分别查找对应的数据区间;
按照查找到的数据区间将每个数据分发至对应的数据通道。
3.一种数据通道的调整方法,其特征在于,包括:
获取数据通道的数据流量;
基于所述数据流量,确定需要对所述数据通道进行调整时,获取所述数据通道对应的数据区间;
基于所述数据区间扩充所述数据通道或减少所述数据通道;
其中,各数据通道分别对应有数据区间,且所述各数据通道对应的数据区间形成一个固定的区间范围。
4.根据权利要求3所述的方法,其特征在于,基于所述数据区间扩充所述数据通道或减少所述数据通道包括:
如果确定所述数据通道中的数据流量超过第一预设阈值,则对所述数据通道执行分裂操作,扩充所述数据通道;
如果确定所述数据通道中的数据流量低于第二预设阈值,则对所述数据通道执行合并操作,减少所述数据通道;
其中,所述第一预设阈值为所述各数据通道对应的最高流量阈值,所述第二预设阈值为所述各数据通道对应的最低流量阈值,基于所述最高流量阈值和所述最低流量阈值确定所述数据通道中每个数据通道对应的数据区间。
5.根据权利要求3所述的方法,其特征在于,基于所述数据区间扩充所述数据通道或减少所述数据通道包括:
如果确定所述数据通道中对应同一标识信息或者对应连续标识信息的数据量超过第三预设阈值,则对所述数据通道执行分裂操作,扩充所述数据通道;
如果确定所述数据通道中对应同一标识信息或者对应连续标识信息的数据量低于第四预设阈值,则对所述数据通道执行合并操作,减少所述数据通道。
6.根据权利要求3所述的方法,其特征在于,基于所述数据区间扩充所述数据通道或减少所述数据通道包括:
如果确定所述数据通道中的数据流量超过第一预设阈值且所述数据通道中对应同一标识信息或者对应连续标识信息的数据量超过第三预设阈值,则对所述数据通道执行分裂操作,扩充所述数据通道;
如果确定所述数据通道中的数据流量低于第二预设阈值且所述数据通道中对应同一标识信息或者对应连续标识信息的数据量低于第四预设阈值,则对所述数据通道执行合并操作,减少所述数据通道;
其中,所述第一预设阈值为所述数据通道对应的最高流量阈值,所述第二预设阈值为所述数据通道对应的最低流量阈值。
7.根据权利要求4至6中任一项所述的方法,其特征在于,对所述数据通道执行分裂操作包括:
在所述数据通道对应的标识取值范围内选取分裂标识;
将所述数据通道的工作状态设置为关闭状态,其中,所述关闭状态用于表示每个通道的数据操作被限定为只读操作;
按照所述分裂标识将所述数据通道分裂为两个新通道;
将分裂得到的新通道的工作状态设置为激活状态,其中,所述激活状态用于表示所述新通道的数据操作被限定为读写操作。
8.根据权利要求4至6中任一项所述的方法,其特征在于,对所述数据通道执行分裂操作包括:
查找所述数据通道的相邻通道;
将所述数据通道以及相邻通道的工作状态设置为关闭状态,其中,所述关闭状态用于表示每个通道以及相邻通道的数据操作被限定为只读操作;
将所述数据通道以及相邻通道合并为一个新通道;
将合并得到的新通道的工作状态设置为激活状态,其中,所述激活状态用于表示所述新通道的数据操作被限定为读写操作。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行如下步骤:
获取待写入数据通道的数据集合中各数据的标识;根据所述各数据的标识,将所述各数据写入对应的数据通道,以进行数据的传输;其中,所述各数据通道均对应有数据区间,所述各数据通道对应的数据区间形成一个固定的区间范围;所述各数据中携带有标识,标识对应于一数据区间;或者
获取所述数据通道的数据流量;基于所述数据流量,确定需要对所述数据通道进行调整时,获取所述数据通道对应的数据区间;基于所述数据区间扩充所述数据通道或减少所述数据通道;其中,所述各数据通道分别对应有数据区间,且所述各数据通道对应的数据区间形成一个固定的区间范围。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行如下步骤:
获取待写入数据通道的数据集合中各数据的标识;根据所述各数据的标识,将所述各数据写入对应的数据通道,以进行数据的传输;其中,所述各数据通道均对应有数据区间,所述各数据通道对应的数据区间形成一个固定的区间范围;所述各数据中携带有标识,标识对应于一数据区间;或者
获取所述数据通道的数据流量;基于所述数据流量,确定需要对所述数据通道进行调整时,获取所述数据通道对应的数据区间;基于所述数据区间扩充所述数据通道或减少所述数据通道;其中,所述各数据通道分别对应有数据区间,且所述各数据通道对应的数据区间形成一个固定的区间范围。
CN201710916226.XA 2017-09-30 2017-09-30 数据通道的流控方法和调整方法 Active CN109600315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710916226.XA CN109600315B (zh) 2017-09-30 2017-09-30 数据通道的流控方法和调整方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710916226.XA CN109600315B (zh) 2017-09-30 2017-09-30 数据通道的流控方法和调整方法

Publications (2)

Publication Number Publication Date
CN109600315A true CN109600315A (zh) 2019-04-09
CN109600315B CN109600315B (zh) 2022-06-14

Family

ID=65955701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710916226.XA Active CN109600315B (zh) 2017-09-30 2017-09-30 数据通道的流控方法和调整方法

Country Status (1)

Country Link
CN (1) CN109600315B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110474722A (zh) * 2019-08-15 2019-11-19 中国平安财产保险股份有限公司 一种数据通道切换方法及装置
CN112092016A (zh) * 2020-07-11 2020-12-18 广东翼景信息科技有限公司 一种智能变电站巡检机器人多源数据联合诊断方法
CN113300976A (zh) * 2021-05-20 2021-08-24 北京字跳网络技术有限公司 一种数据的传输方法、装置、存储介质及电子设备
CN113886291A (zh) * 2021-08-29 2022-01-04 苏州浪潮智能科技有限公司 一种路径的禁用方法及系统
CN114519125A (zh) * 2020-11-19 2022-05-20 北京达佳互联信息技术有限公司 数据写入方法、装置及服务器
CN114553705A (zh) * 2022-02-18 2022-05-27 平安国际智慧城市科技股份有限公司 服务器动态扩容方法、装置、电子设备及存储介质
CN115687196A (zh) * 2022-12-30 2023-02-03 摩尔线程智能科技(北京)有限责任公司 用于对多通道存储器进行控制的方法和装置
CN117336300A (zh) * 2023-12-01 2024-01-02 山东街景智能制造科技股份有限公司 一种用于状态机的资源管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1499793A (zh) * 2002-11-08 2004-05-26 ��Ϊ�������޹�˾ 一种城域传输设备中虚容器映射通道的流量控制方法
CN101682910A (zh) * 2007-05-16 2010-03-24 佳能株式会社 在wlan802.11系统中配置辅带以扩展主带的容量
CN101835266A (zh) * 2009-12-25 2010-09-15 中国科学院声学研究所 一种在WiMax系统中动态分配数据通道标识号的方法
US20140254601A1 (en) * 2009-06-25 2014-09-11 Canon Kabushiki Kaisha Data processing apparatus, data processing method, and computer-readable storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1499793A (zh) * 2002-11-08 2004-05-26 ��Ϊ�������޹�˾ 一种城域传输设备中虚容器映射通道的流量控制方法
CN101682910A (zh) * 2007-05-16 2010-03-24 佳能株式会社 在wlan802.11系统中配置辅带以扩展主带的容量
US20140254601A1 (en) * 2009-06-25 2014-09-11 Canon Kabushiki Kaisha Data processing apparatus, data processing method, and computer-readable storage medium
CN101835266A (zh) * 2009-12-25 2010-09-15 中国科学院声学研究所 一种在WiMax系统中动态分配数据通道标识号的方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110474722A (zh) * 2019-08-15 2019-11-19 中国平安财产保险股份有限公司 一种数据通道切换方法及装置
CN112092016A (zh) * 2020-07-11 2020-12-18 广东翼景信息科技有限公司 一种智能变电站巡检机器人多源数据联合诊断方法
CN112092016B (zh) * 2020-07-11 2024-06-07 广东翼景信息科技有限公司 一种智能变电站巡检机器人多源数据联合诊断方法
CN114519125A (zh) * 2020-11-19 2022-05-20 北京达佳互联信息技术有限公司 数据写入方法、装置及服务器
CN113300976A (zh) * 2021-05-20 2021-08-24 北京字跳网络技术有限公司 一种数据的传输方法、装置、存储介质及电子设备
CN113886291A (zh) * 2021-08-29 2022-01-04 苏州浪潮智能科技有限公司 一种路径的禁用方法及系统
CN113886291B (zh) * 2021-08-29 2023-08-18 苏州浪潮智能科技有限公司 一种路径的禁用方法及系统
CN114553705A (zh) * 2022-02-18 2022-05-27 平安国际智慧城市科技股份有限公司 服务器动态扩容方法、装置、电子设备及存储介质
CN115687196A (zh) * 2022-12-30 2023-02-03 摩尔线程智能科技(北京)有限责任公司 用于对多通道存储器进行控制的方法和装置
CN117336300A (zh) * 2023-12-01 2024-01-02 山东街景智能制造科技股份有限公司 一种用于状态机的资源管理系统
CN117336300B (zh) * 2023-12-01 2024-01-30 山东街景智能制造科技股份有限公司 一种用于状态机的资源管理系统

Also Published As

Publication number Publication date
CN109600315B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN109600315A (zh) 数据通道的流控方法和调整方法
CN104932781B (zh) 应用图标在终端上的显示方法和装置
CN105468466B (zh) 处理器运行频率的处理方法、装置和系统
CN105930191B (zh) 系统服务的重载方法及装置
CN106961364A (zh) 心跳检测方法及应用服务器
CN108173894A (zh) 服务器负载均衡的方法、装置及服务器设备
CN109618190A (zh) 基于推广视频设置及获取奖励的方法、装置以及存储介质
CN110362398A (zh) 虚拟机的调度方法和系统
CN109842670A (zh) 运算装置、其资源分配方法及通信系统
CN108289246A (zh) 数据处理方法、装置、存储介质和电子装置
CN109801120A (zh) 线上业务的处理方法及装置
CN105404578B (zh) 用于显示应用程序所占用的内存的方法和装置
CN109525697A (zh) 联系人共享和显示的方法、装置和终端
CN109597735A (zh) 监控方法、系统以及存储介质
CN108737204A (zh) 一种网络性能信息的采集方法及通信终端
CN106610832A (zh) 页面异步渲染方法及装置
CN108984687A (zh) 基于用户行为的自动加群控制方法、装置及存储介质
CN109697249A (zh) 搜索目标对象以及发布对象的方法、系统以及存储介质
CN105653211A (zh) 清理存储空间的方法及装置
CN111092925A (zh) 一种区块链扩容处理方法、装置及设备
CN105739694B (zh) 一种穿戴式设备交互的方法、终端及穿戴式设备
CN106155978B (zh) 可重构系统的构建方法和装置
CN110410965A (zh) 用于控制音箱的方法、装置和空调室内机
CN104571502A (zh) 一种信息处理方法及穿戴式电子设备
CN108984147A (zh) 音量控制方法、电子装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant