CN111372277A - 数据分发方法、装置及存储介质 - Google Patents

数据分发方法、装置及存储介质 Download PDF

Info

Publication number
CN111372277A
CN111372277A CN201811606877.XA CN201811606877A CN111372277A CN 111372277 A CN111372277 A CN 111372277A CN 201811606877 A CN201811606877 A CN 201811606877A CN 111372277 A CN111372277 A CN 111372277A
Authority
CN
China
Prior art keywords
data
cache region
distribution key
distributed
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811606877.XA
Other languages
English (en)
Other versions
CN111372277B (zh
Inventor
黄小龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing ZTE New Software Co Ltd
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201811606877.XA priority Critical patent/CN111372277B/zh
Priority to PCT/CN2019/111799 priority patent/WO2020134392A1/zh
Publication of CN111372277A publication Critical patent/CN111372277A/zh
Application granted granted Critical
Publication of CN111372277B publication Critical patent/CN111372277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/10—Flow control between communication endpoints
    • H04W28/14—Flow control between communication endpoints using intermediate storage
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供一种数据分发方法、装置及存储介质，用以解决相关技术中无法根据线程的实际拥堵情况进行数据分发的问题。该方法包括：接收流量汇聚适配器SCA发送的数据；根据所述数据对应的基站标识ID以及协议类型信息确定第一分发关键值KEY；根据所述第一分发KEY将数据分发至各一级缓存区；根据一级缓存区中待分发数据对应的基站ID、协议类型信息以及各二级缓存区中待处理的数据的数据量确定第二分发KEY；根据所述第二分发KEY将所述一级缓存区中待分发数据分发至各二级缓存区。本发明实现了根据后端处理模块的数据积压情况动态调节分发至各后端处理模块的数据量的目的。

Description

数据分发方法、装置及存储介质
技术领域
本发明涉及通信技术领域，特别是涉及一种数据分发方法、装置及存储介质。
背景技术
无线软采集数据是指LTE(Long Term Evolution，长期演进)规范定义的用户终端，是基站以及基站控制器等设备之间传输用户数据时需要使用的控制规范协议数据。这些协议主要涉及LTE空口协议RRC(Radio Resource Control，无线资源控制)，X2AP协议(X2Application Protocol，应用协议)和基站测量报告数据(MR)。根据业务关联处理的规则，需要将同一个基站的数据分发到相同的设备或者模块。也即前端分发模块在对数据进行分发时，不仅需要使数据尽可能均衡的分发到每个模块，同时还要保证同一个基站的同一个协议的数据需要分到某个特定的模块，否则业务关联分析可能会出错。其中，可以从信令消息的头部获取到基站ID，每个基站唯一。协议类型信息也可以从信令消息头部获取到一个协议的TYPE(类型)字段。根据基站ID以及协议类型信息可组成一个数据分流(以下也称分发)的初始KEY值。使用这个KEY将同一个基站的相同协议的数据进过负载算法分发到同一个模块。通常可将上述KEY值通过取模或者进行哈希运算的方式把数据分到不同模块。但是由于不同基站的数据可能不均衡或者后端模块性能不一致等原因，可能会导致分流不均或者即使分流均匀但是某些后端模块性能较低，不能最大化使用各个模块的性能。
发明内容
本发明提供一种数据分发方法、装置及存储介质，用以解决相关技术中无法根据后端模块的实际拥堵情况进行数据分发的问题。
根据本发明的第一个方面，提供了一种数据分发方法，包括：接收流量汇聚适配器SCA发送的数据；根据所述数据对应的基站标识ID以及协议类型信息确定第一分发关键值KEY；根据所述第一分发KEY将所述数据分发至各一级缓存区；根据所述一级缓存区中的待分发数据对应的基站ID、协议类型信息以及各二级缓存区中待处理的数据的数据量确定第二分发KEY；根据所述第二分发KEY将所述一级缓存区中的待分发数据分发至各所述二级缓存区。
可选地，根据所述一级缓存区中的待分发数据对应的基站ID、协议类型信息以及各二级缓存区中待处理的数据的数据量确定第二分发KEY，包括：根据第一缓存区以及第二缓存区中待处理的数据的数据量确定调节因子的值，其中，所述第一缓存区以及所述第二缓存区为预先配置的与一个所述一级缓存区对应的一对二级缓存区；根据所述一级缓存区中的待分发数据对应的基站ID、协议类型信息确定待调节的第二分发KEY；使用所述调节因子对所述待调节的第二分发KEY的值进行调整，得到所述第二分发KEY。
可选地，根据第一缓存区以及第二缓存区中待处理的数据的数据量确定调节因子的值，包括：分别确定所述第一缓存区以及所述第二缓存区中待处理的数据包的个数是否大于第一阈值；在所述第一缓存区中待处理的数据包的个数大于所述第一阈值，所述第二缓存区中待处理的数据包的个数不大于所述第一阈值，且所述第一缓存区以及所述第二缓存区中待发的送数据包之差大于第二阈值时，调整所述调节因子的值，以使所述一级缓存区将待分发数据分发至所述第二缓存区。
可选地，根据所述第二分发KEY将所述一级缓存区中的待分发数据分发至各所述二级缓存区，包括：根据所述一级缓存区中的待分发数据对应的基站ID、协议类型字段以及所述调节因子确定所述第二分发KEY；判断上一次为与所述一级缓存区对应的一对二级缓存区分发数据时，所述调节因子的值是否发生更改，该一对二级缓存区包括第一缓存区以及第二缓存区；在所述调节因子的值发生更改时，根据所述第二分发KEY将所述一级缓存区中的待分发数据分发至所述第一缓存区或所述第二缓存区；在所述调节因子的值未发生更改，且根据所述第一缓存区以及所述第二缓存区中待处理的数据的数据量确定需调整所述调节因子的值时，根据所述第一缓存区以及所述第二缓存区中待处理的数据的数据量确定目标调节因子；使用所述目标调节因子对所述第二分发KEY进行调节，得到目标分发KEY；根据所述目标分发KEY将所述一级缓存区中的待分发数据分发至所述第一缓存区或所述第二缓存区。
根据本发明的第二个方面，提供了一种数据分发装置，包括：接收模块，用于接收流量汇聚适配器SCA发送的数据；第一确定模块，用于根据所述数据对应的基站标识ID以及协议类型信息确定第一分发关键值KEY；第一分发模块，用于根据所述第一分发KEY将所述数据分发至各一级缓存区；第二确定模块，用于根据所述一级缓存区中的待分发数据对应的基站ID、协议类型信息以及各二级缓存区中待处理的数据的数据量确定第二分发KEY；第二分发模块，用于根据所述第二分发KEY将所述一级缓存区中的待分发数据分发至各所述二级缓存区。
可选地，所述第二确定模块，包括：第一确定单元，用于根据第一缓存区以及第二缓存区中待处理的数据的数据量确定调节因子的值，其中，所述第一缓存区以及所述第二缓存区为预先配置的与一个所述一级缓存区对应的一对二级缓存区；计算单元，用于根据所述一级缓存区中的待分发数据对应的基站ID、协议类型信息确定得到待调节的第二分发KEY；第一调节单元，用于使用所述调节因子对所述待调节的第二分发KEY的值进行调整，得到所述第二分发KEY。
可选地，所述第一确定单元用于：分别确定所述第一缓存区以及所述第二缓存区中待处理的数据包的个数是否大于第一阈值；在所述第一缓存区中待处理的数据包的个数大于所述第一阈值，所述第二缓存区中待处理的数据包的个数不大于所述第一阈值，且所述第一缓存区以及所述第二缓存区中待发的送数据包之差大于第二阈值时，调整所述调节因子的值，以使所述一级缓存区将待分发数据分发至所述第二缓存区。
可选地，所述第二分发模块，包括：第二确定单元，用于根据所述一级缓存区中的待分发数据对应的基站ID、协议类型字段以及所述调节因子确定所述第二分发KEY；判断单元，用于判断上一次为与所述一级缓存区对应的一对二级缓存区分发数据时，所述调节因子的值是否发生更改，该一对二级缓存区包括第一缓存区以及第二缓存区；第一分发单元，用于在所述调节因子的值发生更改时，根据所述第二分发KEY将所述一级缓存区中的待分发数据分发至所述第一缓存区或所述第二缓存区；第三确定单元，用于在所述调节因子的值未发生更改，且根据所述第一缓存区以及所述第二缓存区中待处理的数据的数据量确定需调整所述调节因子的值时，根据所述第一缓存区以及所述第二缓存区中待处理的数据的数据量确定目标调节因子；第二调节单元，用于使用所述目标调节因子对所述第二分发KEY进行调节，得到目标分发KEY；第二分发单元，用于根据所述目标分发KEY将所述一级缓存区中的待分发数据分发至所述第一缓存区或所述第二缓存区。
根据本发明的第三个方面，提供了一种确定数据分发装置，包括：处理器；用于存储处理器可执行指令的存储器；当所述指令被处理器执行时，执行如下操作：接收流量汇聚适配器SCA发送的数据；根据所述数据对应的基站标识ID以及协议类型信息确定第一分发关键值KEY；根据所述第一分发KEY将所述数据分发至各一级缓存区；根据所述一级缓存区中的待分发数据对应的基站ID、协议类型信息以及各二级缓存区中待处理的数据的数据量确定第二分发KEY；根据所述第二分发KEY将所述一级缓存区中的待分发数据分发至各所述二级缓存区。
根据本发明的第四个方面，提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得处理器能够执行根据本公开第一个方面所述的数据分发方法。
本发明有益效果如下：
本发明实施例的数据分发方法，在根据待分发数据对应的基站ID以及协议类型信息得到第一分发KEY将数据分发至一级缓存区之后，再根据一级缓存区中待分发的数据对应的基站ID、协议类型信息以及二级缓存区中待处理的数据量确定出第二分发KEY，根据该第二分发KEY将一级缓存区中待分发的数据分发至二级缓存区，从而实现了根据后端处理模块的数据积压情况动态调节分发至各后端处理模块的数据量的目的，能够更好的进行负载均衡。
附图说明
图1是无线软系统的示意图；
图2是根据一示例性实施例示出的一种数据分发方法的流程图；
图3是根据一示例性实施例示出的一种数据分发方法的流程图；
图4是根据一示例性实施例示出的根据第二分发KEY将一级缓存区中待分发的数据分发至各二级缓存区的流程图；
图5是根据一示例性实施例示出的一种数据分发装置的框图；
图6是根据一示例性实施例示出的一种数据分发装置的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在对本发明的数据分发方法进行说明之前，首先对该方法的实施环境进行简要介绍，图1是无线软系统的示意图，如图1所示，该系统涉及SCA(流量汇聚适配器)、数据采集模块、数据处理模块、数据分发模块、数据库、文件以及第三方。其中，数据采集模块、数据处理模块以及数据分发模块构成软采协议机，本发明的数据分发方法可由该软采协议机执行。数据采集模块可通过SDTP(Serial Data Transport Protocol，串行数据传输协议)接收多个SCA设备的数据，对采集到的数据进行汇聚后将数据分发到数据处理模块中的各个线程进行处理，数据处理模块对数据进行处理完成后再根据配置将数据分发至数据分发模块，数据分发模块再将数据分发至写文件，存入数据库或送给第三方。
图2是根据一示例性实施例示出的一种数据分发方法的流程图，如图2所示，该方法包括如下步骤：
步骤201：接收SCA发送的数据；
例如，可通过SDTP协议多接口采集SCA设备的大量的业务信令数据。
步骤202：根据所述数据对应的基站ID以及协议类型信息确定第一分发关键值KEY；
例如，可对携带所述数据的信令的头部进行分析，提取出数据的协议类型。不同协议类型的数据可以提取不同关键值信息。例如，RRC(Radio Resource Control，无线资源控制)协议中的基站ID，MME_UE_S1AP_ID，X2AP中的S1APID，MR中的基站ID，CellID等等。可将数据对应的基站ID以及协议类型标识符作为哈希函数的两个输入量，从而得到该数据对应的第一分发KEY，在得到第一分发KEY后，根据后端第二缓存区的个数，对该第一KEY进行取模，从而将数据分发到不同的第二缓存区。
例如，RRC协议的数据对应的第一分发KEY可通过下式计算得到：
RRC_KEY＝Hash(ENBID,MME_UE_S1AP_ID)；
X2AP协议的数据对应的第一分发KEY可通过下式计算得到：
X2AP_KEY＝Hash(ENBID,CELLID)；
S1AP协议的数据对应的第一分发KEY可通过下式计算得到：
UU_EXTERN_KEY＝Hash(ENBID,MME_UE_S1AP_ID，MME_GROUP_ID)；
步骤203：根据所述第一分发KEY将数据分发至各一级缓存区；
其中，一级缓存区用于暂存数据以及分发数据，在确定出第一分发KEY后，可根据下式得出一级缓存区的ID，从而可将待分发的数据分发至该ID对应的一级缓存区：
DISTRIBUTE_ID＝KEY％MODULE_NUM；
上式中的DISTRIBUTE_ID表示一级缓存区的ID，KEY为一级分发KEY，MODULE_NUM表示取模运算。
步骤204：根据一级缓存区中的待分发数据对应的基站ID、协议类型信息以及各二级缓存区中待处理的数据的数据量确定第二分发KEY；
在步骤204中，可根据一级缓存区中的待分发数据对应的基站ID、协议类型信息先计算出一个分发KEY，然后再根据该一级缓存区对应的二级缓存区中待处理的数据量对该分发KEY的值进行调整，得到第二分发KEY。其中，与一级缓存区对应的二级缓存区为被该一级缓存区分发数据的至少两个二级缓存区。
步骤205：根据所述第二分发KEY将所述一级缓存区中待分发数据分发至各二级缓存区。
其中，一级缓存区以及二级缓存区可以是上述软采协议机中的数据采集模块中的缓存区，二级缓存区在接收到分发数据后，可将数据发送至数据处理模块中对应的线程进行处理，各二级缓存区可对应不同的线程。
本发明的数据分发方法，在根据待分发数据对应的基站ID以及协议类型信息得到第一分发KEY将数据分发至一级缓存区之后，再根据一级缓存区中待分发的数据对应的基站ID、协议类型信息以及二级缓存区中待处理的数据量确定出第二分发KEY，根据该第二分发KEY将一级缓存区中待分发的数据分发至二级缓存区，从而实现了根据后端处理模块的数据积压情况动态调节分发至各后端处理模块的数据量的目的，能够更好的进行负载均衡。
在一种可实现方式中，所述根据一级缓存区中待分发数据对应的基站ID、协议类型信息以及各二级缓存区中待处理的数据的数据量确定第二分发KEY，可包括：根据第一缓存区以及第二缓存区中待处理的数据的数据量确定调节因子的值；例如，可预先设置一个初始调节因子，通过调整该初始调节因子的值可决定当前一级缓存区将待分发数据分发给与该以及缓存区对应的第一缓存区或第二缓存区，可通过正向调节，即在原始调节因子的基础上增大预设数值，或负向调节，即在原始调节因子的基础上减小预设数值来确定数据将被分发至第一缓存区还是第二缓存区。使用调节因子对待调节的第二分发KEY进行调节例如可以是在计算得到的第二分发KEY的基础上加上或减去调节因子。根据一级缓存区中待分发数据对应的基站ID、协议类型信息计算得到待调节的第二分发KEY；其中，待调节的第二分发KEY的计算方式可同上述第一分发KEY的计算方式，此处不再赘述。使用所述调节因子对所述待调节的第二分发KEY进行调节，得到所述第二分发KEY。
其中，所述第一缓存区以及所述第二缓存区为预先配置的与一个一级缓存区对应的一对二级缓存区，如图3中所示，一级缓存区以一级缓冲模块为例，二级缓存区以二级缓冲模块为例，其中，图3中所示的31、32、33、34以及35为一级缓冲模块，与31对应的一对二级缓冲模块分别为311以及312，与32对应的一对二级缓冲模块分别为321以及322，与33对应的一对二级缓冲模块分别为331以及332，与34对应的一对二级缓冲模块分别为341以及342，与35对应的一对二级缓冲模块分别为351以及352。在图3所示的数据分发流程中，在通过SDTP传送协议接口程序，汇聚接收到的所有SCA的数据后，分析信令头部，提取分发KEY所需要的信息，生成一级分发KEY，根据后端一级缓冲模块的数量，根据上述计算一级缓存区的算式进行取模运算，根据运算结果将数据分发到不同的一级缓冲模块。一级缓冲模块接收到数据后，根据二级分发KEY再次把数据分发到二级缓冲模。二级缓冲模块再把数据传递给数据处理模块中对应的线程进行处理。
在一种可实现方式中，根据第一缓存区以及第二缓存区中待处理的数据的数据量确定调节因子的值可包括：分别确定所述第一缓存区以及所述第二缓存区中待处理的数据包的个数是否大于第一阈值；在所述第一缓存区中待处理的数据包的个数大于所述第一阈值，所述第二缓存区中待处理的数据包的个数不大于所述第一阈值，且所述第一缓存区以及所述第二缓存区中待发的送数据包之差大于第二阈值时，调整所述调节因子的值，以使由所述一级缓存区分发至所述第二缓存区的数据量大于分发至所述第一缓存区的数据量。以下通过一个例子对根据第一缓存区以及第二缓存区中待处理的数据的数据量确定调节因子的值的处理流程，在该例子中，判断根据第一分发KEY选择被分发到第一缓存区还未处理的数据包的数量是否达到设定的阀值M(为第一阈值的一个示例)。该阀值M可根据一级缓存区的大小以及第一缓存区接收数据的流量的大小进行确定，例如，该阈值可以与一级缓存区的大小呈正相关关系，该阈值的大小可以与接收数据的流量的大小呈负相关关系。如果第一缓存区中还未处理的数据包的数量不大于阈值M，说明该第一缓存区比较空闲，该第一缓存区可以正常处理数据，则后续分发数据时，可选择将数据包发送到该缓存区。如果第一缓存区中还未处理的数据包的数量大于阀值M，说明该缓存中数据包个数较多，则可进一步判断第二缓存区中未处理的数据包的个数是否超过阀值M。如果第二缓存区中未处理的数据包的个数不大于阀值M，说明第二缓存区比较空闲，则可改变调节因子的值，使数据被分发至第二缓存区，如果第二缓存区中未处理的数据包的个数大于阀值M，说明第二缓存区中的数据包的个数也较多。则可进一步计算两个第一缓存区中未处理的数据包数量与第二缓存区中未处理的数据包数量之间的差值。若二者未处理数据包之差大于阀值N(为上述第二阈值的一个示例)。则改变调节因子的值，从而使得本次待分发的数据被分发至待处理数量较少的二级缓存区。
在一种可实现方式中，根据所述第二分发KEY将所述一级缓存区中待分发的数据分发至各二级缓存区可包括：根据所述一级缓存区中待分发数据对应的基站ID、协议类型字段以及所述调节因子生成所述第二分发KEY；判断上一次为与所述一级缓存区对应的一对二级缓存区分发数据时，所述调节因子的值是否发生更改，该一对二级缓存区包括第一缓存区以及第二缓存区；在所述调节因子的值发生更改时，根据所述第二分发KEY将所述一级缓存区中的待分发数据分发至所述第一缓存区或所述第二缓存区；在所述调节因子的值发生更改时，根据所述第二分发KEY将所述一级缓存区中的待分发数据分发至所述第一缓存区以及所述第二缓存区；在所述调节因子的值未发生更改，且根据所述第一缓存区以及所述第二缓存区中待处理的数据量确定需调整所述调节因子的值时，根据所述第一缓存区以及所述第二缓存区中待处理的数据量确定目标调节因子；使用所述目标调节因子对所述第二分发KEY进行调节，得到目标分发KEY；根据所述目标分发KEY将所述一级缓存区的待分发数据分发至所述第一缓存区或所述第二缓存区。在根据第一缓存区以及第二缓存区中待处理的数据量确定无需调整调节因子的值时，则无需对第二分发KEY进行调节，可直接使用所述第二分发KEY对待分发数据进行分发。
以下结合图4通过一个例子对根据第二分发KEY将一级缓存区中待分发的数据分发至各二级缓存区的处理过程进行描述。如图4所示，从一级缓存区S读取一个数据包，根据数据包头部信息确定基站ID以及协议类型标识符，根据基站ID、协议类型标识符以及调节因子，生成第二分发KEY，根据第二分发KEY，选择与一级缓存区S对应的二级缓存区A或二级缓存区B，作为发送数据包的目标缓存区。判断调节因子的值是否修改过，如果调节因子修改过，则说明在之前为缓存区A或缓存区B分发数据时，已经基于缓存区A或缓存区B中待处理的数据量对调节因子的值进行调节过，故无需再对该调节因子进行调节，如果调节因子没有修改过，则根据缓存区A以及缓存区B中待处理的数据量判断是否需要调整调节因子的值，鉴于上文已经对根据第一缓存区以及第二缓存区中待处理的数据的数据量确定调节因子的值进行了详细的说明，故此处不再赘述。在图4所示的数据分发流程中，考虑到后端模块的处理能力不同，根据后端模块中数据的积压情况对第二分发KEY的值进行自动调整，实现了动态反馈调节，形成正向的反馈环，从而可保证分发数据的均衡性，同时也保证了业务数据的分发免租业务规则的需要，以及可充分利用后端模块的性能。
相关实验数据表明，在系统采用相同的后端模块的情况下，通过本发明实施例的数据分发方法对数据进行分发，可使后端的处理模块的性能提升大概五倍。且可在一定程度上提升接收数据的性能。
图5是根据一示例性实施例示出的一种数据分发装置的框图，如图5所示，该装置50包括如下组成部分：
接收模块51，用于接收流量汇聚适配器SCA发送的数据；
第一确定模块52，用于根据所述数据对应的基站标识ID以及协议类型信息确定第一分发关键值KEY；
第一分发模块53，用于根据所述第一分发KEY将数据分发至各一级缓存区；
第二确定模块54，用于根据一级缓存区中待分发数据对应的基站ID、协议类型信息以及各二级缓存区中待处理的数据的数据量确定第二分发KEY；
第二分发模块55，用于根据所述第二分发KEY将所述一级缓存区中待分发数据分发至各二级缓存区。
在一种可实现方式中，所述第二确定模块可包括：第一确定单元，用于根据第一缓存区以及第二缓存区中待处理的数据的数据量确定调节因子的值，其中，所述第一缓存区以及所述第二缓存区为预先配置的与一个一级缓存区对应的一对二级缓存区；计算单元，用于根据一级缓存区中待分发数据对应的基站ID、协议类型信息计算得到待调节的第二分发KEY；第一调节单元，用于使用所述调节因子对所述待调节的第二分发KEY进行调节，得到所述第二分发KEY。
在一种可实现方式中，所述第一确定单元用于：分别确定所述第一缓存区以及所述第二缓存区中待处理的数据包的个数是否大于第一阈值；在所述第一缓存区中待处理的数据包的个数大于所述第一阈值，所述第二缓存区中待处理的数据包的个数不大于所述第一阈值，且所述第一缓存区以及所述第二缓存区中待发的送数据包之差大于第二阈值时，调整所述调节因子的值，以使所述一级缓存区将待分发数据分发至所述第二缓存区。
在一种可实现方式中，所述第二分发模块，包括：第二确定单元，用于根据所述一级缓存区中待分发数据对应的基站ID、协议类型字段以及所述调节因子确定所述第二分发KEY；判断单元，用于判断上一次为与所述一级缓存区对应的一对二级缓存区分发数据时，所述调节因子的值是否发生更改，该一对二级缓存区包括第一缓存区以及第二缓存区；第一分发单元，用于在所述调节因子的值发生更改时，根据所述第二分发KEY将所述一级缓存区中的待分发数据分发至所述第一缓存区或所述第二缓存区；第三确定单元，用于在所述调节因子的值未发生更改，且根据所述第一缓存区以及所述第二缓存区中待处理的数据量确定需调整所述调节因子的值时，根据所述第一缓存区以及所述第二缓存区中待处理的数据量确定目标调节因子；第二调节单元，用于使用所述目标调节因子对所述第二分发KEY进行调节，得到目标分发KEY；第二分发单元，用于根据所述目标分发KEY将所述一级缓存区的待分发数据分发至所述第一缓存区或所述第二缓存区。
图6是根据一示例性实施例示出的一种确定数据分发的装置600的框图。例如，装置600可以被提供为一服务器。参照图6，装置600包括处理器622，其数量可以为一个或多个，以及存储器632，用于存储可由处理器622执行的计算机程序。存储器632中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器622可以被配置为执行该计算机程序，以执行上述的确定数据分发的方法。
另外，装置600还可以包括电源组件626和通信组件650，该电源组件626可以被配置为执行装置600的电源管理，该通信组件650可以被配置为实现装置600的通信，例如，有线或无线通信。此外，该装置600还可以包括输入/输出(I/O)接口658。装置600可以操作基于存储在存储器632的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的非临时性计算机可读存储介质，例如包括程序指令的存储器632，上述程序指令可由装置600的处理器622执行以完成上述的确定数据分发的方法。
尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。

Claims (10)

1.一种数据分发方法，其特征在于，包括：
接收流量汇聚适配器SCA发送的数据；
根据所述数据对应的基站标识ID以及协议类型信息确定第一分发关键值KEY；
根据所述第一分发KEY将所述数据分发至各一级缓存区；
根据所述一级缓存区中的待分发数据对应的基站ID、协议类型信息以及各二级缓存区中待处理的数据的数据量确定第二分发KEY；
根据所述第二分发KEY将所述一级缓存区中的待分发数据分发至各所述二级缓存区。
2.根据权利要求1所述的方法，其特征在于，根据所述一级缓存区中的待分发数据对应的基站ID、协议类型信息以及各二级缓存区中待处理的数据的数据量确定第二分发KEY，包括：
根据第一缓存区以及第二缓存区中待处理的数据的数据量确定调节因子的值，其中，所述第一缓存区以及所述第二缓存区为预先配置的与一个所述一级缓存区对应的一对二级缓存区；
根据所述一级缓存区中的待分发数据对应的基站ID、协议类型信息确定待调节的第二分发KEY；
使用所述调节因子对所述待调节的第二分发KEY的值进行调整，得到所述第二分发KEY。
3.根据权利要求2所述的方法，其特征在于，根据第一缓存区以及第二缓存区中待处理的数据的数据量确定调节因子的值，包括：
分别确定所述第一缓存区以及所述第二缓存区中待处理的数据包的个数是否大于第一阈值；
在所述第一缓存区中待处理的数据包的个数大于所述第一阈值，所述第二缓存区中待处理的数据包的个数不大于所述第一阈值，且所述第一缓存区以及所述第二缓存区中待发的送数据包之差大于第二阈值时，调整所述调节因子的值，以使所述一级缓存区将待分发数据分发至所述第二缓存区。
4.根据权利要求1至3任一项所述的方法，其特征在于，根据所述第二分发KEY将所述一级缓存区中的待分发数据分发至各所述二级缓存区，包括：
根据所述一级缓存区中的待分发数据对应的基站ID、协议类型字段以及所述调节因子确定所述第二分发KEY；
判断上一次为与所述一级缓存区对应的一对二级缓存区分发数据时，所述调节因子的值是否发生更改，该一对二级缓存区包括第一缓存区以及第二缓存区；
在所述调节因子的值发生更改时，根据所述第二分发KEY将所述一级缓存区中的待分发数据分发至所述第一缓存区或所述第二缓存区；
在所述调节因子的值未发生更改，且根据所述第一缓存区以及所述第二缓存区中待处理的数据的数据量确定需调整所述调节因子的值时，根据所述第一缓存区以及所述第二缓存区中待处理的数据的数据量确定目标调节因子；
使用所述目标调节因子对所述第二分发KEY进行调节，得到目标分发KEY；
根据所述目标分发KEY将所述一级缓存区中的待分发数据分发至所述第一缓存区或所述第二缓存区。
5.一种数据分发装置，其特征在于，包括：
接收模块，用于接收流量汇聚适配器SCA发送的数据；
第一确定模块，用于根据所述数据对应的基站标识ID以及协议类型信息确定第一分发关键值KEY；
第一分发模块，用于根据所述第一分发KEY将所述数据分发至各一级缓存区；
第二确定模块，用于根据所述一级缓存区中的待分发数据对应的基站ID、协议类型信息以及各二级缓存区中待处理的数据的数据量确定第二分发KEY；
第二分发模块，用于根据所述第二分发KEY将所述一级缓存区中的待分发数据分发至各所述二级缓存区。
6.根据权利要求5所述的装置，其特征在于，所述第二确定模块，包括：
第一确定单元，用于根据第一缓存区以及第二缓存区中待处理的数据的数据量确定调节因子的值，其中，所述第一缓存区以及所述第二缓存区为预先配置的与一个所述一级缓存区对应的一对二级缓存区；
计算单元，用于根据所述一级缓存区中的待分发数据对应的基站ID、协议类型信息确定得到待调节的第二分发KEY；
第一调节单元，用于使用所述调节因子对所述待调节的第二分发KEY的值进行调整，得到所述第二分发KEY。
7.根据权利要求6所述的装置，其特征在于，所述第一确定单元用于：
分别确定所述第一缓存区以及所述第二缓存区中待处理的数据包的个数是否大于第一阈值；
在所述第一缓存区中待处理的数据包的个数大于所述第一阈值，所述第二缓存区中待处理的数据包的个数不大于所述第一阈值，且所述第一缓存区以及所述第二缓存区中待发的送数据包之差大于第二阈值时，调整所述调节因子的值，以使所述一级缓存区将待分发数据分发至所述第二缓存区。
8.根据权利要求5至7任一项所述的装置，其特征在于，所述第二分发模块，包括：
第二确定单元，用于根据所述一级缓存区中的待分发数据对应的基站ID、协议类型字段以及所述调节因子确定所述第二分发KEY；
判断单元，用于判断上一次为与所述一级缓存区对应的一对二级缓存区分发数据时，所述调节因子的值是否发生更改，该一对二级缓存区包括第一缓存区以及第二缓存区；
第一分发单元，用于在所述调节因子的值发生更改时，根据所述第二分发KEY将所述一级缓存区中的待分发数据分发至所述第一缓存区或所述第二缓存区；
第三确定单元，用于在所述调节因子的值未发生更改，且根据所述第一缓存区以及所述第二缓存区中待处理的数据的数据量确定需调整所述调节因子的值时，根据所述第一缓存区以及所述第二缓存区中待处理的数据的数据量确定目标调节因子；
第二调节单元，用于使用所述目标调节因子对所述第二分发KEY进行调节，得到目标分发KEY；
第二分发单元，用于根据所述目标分发KEY将所述一级缓存区中的待分发数据分发至所述第一缓存区或所述第二缓存区。
9.一种数据分发装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
当所述指令被处理器执行时，执行如下操作：
接收流量汇聚适配器SCA发送的数据；
根据所述数据对应的基站标识ID以及协议类型信息确定第一分发关键值KEY；
根据所述第一分发KEY将所述数据分发至各一级缓存区；
根据所述一级缓存区中的待分发数据对应的基站ID、协议类型信息以及各二级缓存区中待处理的数据的数据量确定第二分发KEY；
根据所述第二分发KEY将所述一级缓存区中的待分发数据分发至各所述二级缓存区。
10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得处理器能够执行根据权利要求1至4任一项所述的方法。
CN201811606877.XA 2018-12-26 2018-12-26 数据分发方法、装置及存储介质 Active CN111372277B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811606877.XA CN111372277B (zh) 2018-12-26 2018-12-26 数据分发方法、装置及存储介质
PCT/CN2019/111799 WO2020134392A1 (zh) 2018-12-26 2019-10-18 数据分发方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811606877.XA CN111372277B (zh) 2018-12-26 2018-12-26 数据分发方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111372277A true CN111372277A (zh) 2020-07-03
CN111372277B CN111372277B (zh) 2023-07-14

Family

ID=71126834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811606877.XA Active CN111372277B (zh) 2018-12-26 2018-12-26 数据分发方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN111372277B (zh)
WO (1) WO2020134392A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363198A (zh) * 2022-01-14 2022-04-15 深圳市优网科技有限公司 数据采集方法及装置、存储介质及电子设备
CN115134767A (zh) * 2021-03-11 2022-09-30 上海大唐移动通信设备有限公司 提升信令软采集设备性能的方法、装置及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277477A (zh) * 2008-04-29 2008-10-01 华为技术有限公司 一种均衡流量的方法、装置及系统
CN101605123A (zh) * 2008-06-11 2009-12-16 中兴通讯股份有限公司 一种scsi分布式通信模型
CN103347075A (zh) * 2013-07-02 2013-10-09 北京金和软件股份有限公司 一种数据多级缓存处理方法
CN103365691A (zh) * 2013-07-12 2013-10-23 中国人民解放军总参谋部第六十三研究所 基于分布式存储的sca组件加载装置及加载方法
CN104427534A (zh) * 2013-09-06 2015-03-18 中国移动通信集团公司 长期演进软采的检测方法及可移动检测装置
CN104539475A (zh) * 2014-12-09 2015-04-22 上海大唐移动通信设备有限公司 一种确定sca采集数据正确性的方法及装置
WO2015156758A1 (en) * 2014-04-07 2015-10-15 Hitachi, Ltd. Method and apparatus of cache promotion between server and storage system
CN105183394A (zh) * 2015-09-21 2015-12-23 北京奇虎科技有限公司 一种数据存储处理方法和装置
CN105512216A (zh) * 2015-11-30 2016-04-20 青岛海尔智能家电科技有限公司 数据存储和读取方法、装置及系统
CN106598882A (zh) * 2016-12-09 2017-04-26 武汉斗鱼网络科技有限公司 一种安全的内存数据保护方法及装置
CN107622115A (zh) * 2017-09-19 2018-01-23 武大吉奥信息技术有限公司 一种面向wfs服务的空间查询结果缓存方法
CN108256088A (zh) * 2018-01-23 2018-07-06 清华大学 一种基于键值数据库的时序数据的存储方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101420462B (zh) * 2008-12-11 2013-03-20 中国移动通信集团北京有限公司 一种数据分发方法及系统
CN105095109B (zh) * 2014-05-21 2018-07-20 华为技术有限公司 缓存访问方法、缓存访问路由器和计算机系统
CN105681864B (zh) * 2015-12-31 2020-09-15 惠州市伟乐科技股份有限公司 一种基于ip的传输流抖动去除方法及装置
CN107193909A (zh) * 2017-05-08 2017-09-22 杭州东方通信软件技术有限公司 数据处理方法及系统
CN107526816B (zh) * 2017-08-28 2020-11-24 创新先进技术有限公司 一种流式分发记录的保存方法、装置及电子设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277477A (zh) * 2008-04-29 2008-10-01 华为技术有限公司 一种均衡流量的方法、装置及系统
CN101605123A (zh) * 2008-06-11 2009-12-16 中兴通讯股份有限公司 一种scsi分布式通信模型
CN103347075A (zh) * 2013-07-02 2013-10-09 北京金和软件股份有限公司 一种数据多级缓存处理方法
CN103365691A (zh) * 2013-07-12 2013-10-23 中国人民解放军总参谋部第六十三研究所 基于分布式存储的sca组件加载装置及加载方法
CN104427534A (zh) * 2013-09-06 2015-03-18 中国移动通信集团公司 长期演进软采的检测方法及可移动检测装置
WO2015156758A1 (en) * 2014-04-07 2015-10-15 Hitachi, Ltd. Method and apparatus of cache promotion between server and storage system
CN104539475A (zh) * 2014-12-09 2015-04-22 上海大唐移动通信设备有限公司 一种确定sca采集数据正确性的方法及装置
CN105183394A (zh) * 2015-09-21 2015-12-23 北京奇虎科技有限公司 一种数据存储处理方法和装置
CN105512216A (zh) * 2015-11-30 2016-04-20 青岛海尔智能家电科技有限公司 数据存储和读取方法、装置及系统
CN106598882A (zh) * 2016-12-09 2017-04-26 武汉斗鱼网络科技有限公司 一种安全的内存数据保护方法及装置
CN107622115A (zh) * 2017-09-19 2018-01-23 武大吉奥信息技术有限公司 一种面向wfs服务的空间查询结果缓存方法
CN108256088A (zh) * 2018-01-23 2018-07-06 清华大学 一种基于键值数据库的时序数据的存储方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈嘉等: "基于IXP1200入侵检测系统的流量分配器的研究", 《计算机工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134767A (zh) * 2021-03-11 2022-09-30 上海大唐移动通信设备有限公司 提升信令软采集设备性能的方法、装置及存储介质
CN115134767B (zh) * 2021-03-11 2024-02-09 上海大唐移动通信设备有限公司 提升信令软采集设备性能的方法、装置及存储介质
CN114363198A (zh) * 2022-01-14 2022-04-15 深圳市优网科技有限公司 数据采集方法及装置、存储介质及电子设备
CN114363198B (zh) * 2022-01-14 2023-07-21 深圳市优网科技有限公司 数据采集方法及装置、存储介质及电子设备

Also Published As

Publication number Publication date
WO2020134392A1 (zh) 2020-07-02
CN111372277B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
US11172399B2 (en) Default quality of service (QoS) control method and device
WO2015141337A1 (ja) 受信パケット分散方法、キュー選択器、パケット処理装置、および記録媒体
US11503496B2 (en) Data processing method and apparatus
EP3138319B1 (en) Insertion and use of application or radio information in network data packet headers
CN109218216B (zh) 链路聚合流量分配方法、装置、设备及存储介质
US20160057659A1 (en) Traffic management system and wireless network system
US20160212034A1 (en) Communication management apparatus, communication system and storage medium
CN106789700B (zh) 一种流量整形方法及网络设备
CN113873455A (zh) 流量统计方法及其系统、计算机可读存储介质
US10271218B2 (en) Enable access point availability prediction
CN111372277B (zh) 数据分发方法、装置及存储介质
US9935889B2 (en) Communication apparatus and method
JP2024026066A (ja) 通信端末、及びプログラム
CN112188553B (zh) 一种5g系统的数据传输方法及装置
US10582410B2 (en) Predicting downlink throughput
US10652159B2 (en) Mobile packet data rate control based on radio load and other measures
CN109558442B (zh) 一种数据实时汇聚方法及系统
WO2020134610A1 (zh) 数据调度方法及装置
WO2018018641A1 (zh) 数据业务的数据传输方法和装置
CN108293024B (zh) 业务数据的传输方法和装置
CN112911611B (zh) 一种小区优化方法、装置、存储介质和源基站
CN109618371B (zh) 一种数据按需汇聚方法及装置
KR102049044B1 (ko) 트랜스포트 네트워크에서 통신 경로 제어 방법 및 장치
CN117641423A (zh) 一种l2测量方法、装置、设备及介质
US20150156125A1 (en) Method for managing a queue based on a change rate parameter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230621

Address after: 210012 No. 68 Bauhinia Road, Yuhuatai District, Jiangsu, Nanjing

Applicant after: Nanjing Zhongxing New Software Co.,Ltd.

Address before: 518000 Zhongnan communication tower, South China Road, Nanshan District high tech Industrial Park, Shenzhen, Guangdong

Applicant before: ZTE Corp.

GR01 Patent grant
GR01 Patent grant