CN115150448B - 一种会话数据处理方法、系统、存储介质和电子设备 - Google Patents

一种会话数据处理方法、系统、存储介质和电子设备 Download PDF

Info

Publication number
CN115150448B
CN115150448B CN202210685166.6A CN202210685166A CN115150448B CN 115150448 B CN115150448 B CN 115150448B CN 202210685166 A CN202210685166 A CN 202210685166A CN 115150448 B CN115150448 B CN 115150448B
Authority
CN
China
Prior art keywords
processing unit
session data
processed
data
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210685166.6A
Other languages
English (en)
Other versions
CN115150448A (zh
Inventor
孙宁
宋娟
姜川
董航瑞
马梦丽
何赛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Chewang Technology Development Co ltd
Original Assignee
Beijing Chewang Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chewang Technology Development Co ltd filed Critical Beijing Chewang Technology Development Co ltd
Priority to CN202210685166.6A priority Critical patent/CN115150448B/zh
Publication of CN115150448A publication Critical patent/CN115150448A/zh
Application granted granted Critical
Publication of CN115150448B publication Critical patent/CN115150448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种会话数据处理方法、系统、存储介质和电子设备，包括：接收多个关联设备发送的待处理会话数据，并计算每个待处理会话数据的Hash值；基于预设路由分配模式，得到每个Hash值对应的处理单元索引位；根据每个待处理会话数据对应的处理单元索引位，将所有的待处理会话数据发送至对应的处理单元进行数据处理。本发明实现了实时会话数据处理过程中多并发间的无缝切换，在提升数据读取性能的同时，降低了对外部缓存的压力与数据处理的延时。

Description

一种会话数据处理方法、系统、存储介质和电子设备
技术领域
本发明涉及数据处理技术领域，尤其涉及一种会话数据处理方法、系统、存储介质和电子设备。
背景技术
当前对于会话数据的处理存在以下几种模式：
1)根据关键字进行分组，根据固定关键字进行分组受限于关键字均衡算法的限制，可能会导致数据划分的不均衡、且无法进行动态的均衡数据，导致不均衡的数据无法进行可控调节。2)随机分组，不能对某个关键字的会话信息进行连续计算更新，因为同一关键字的数据可能会负载均衡到不同的计算任务中，而计算会话信息在不同计算任务间不能共享，导致无法进行正常计算。3)分布式会话+随机分组,此种方式虽然可以解决如上问题，但加大了对分布式会话存储的性能依赖，而云控边缘系统存在数据量大、时延要求低的特点，而此种方式很难保证能达到要求。
针对边缘系统处理数据有单位时间内设备数量变化慢、但同一设备上报数据量频度高，持续性相对稳定，系统时延性要求高、稳定性要求高、计算任务并行化、单计算任务的计算数据量动态变化且不稳定的特点，如上的均衡策略难以满足现实需求。因此，亟需提供一种技术方案解决现有技术中性存在的问题。
发明内容
为解决上述技术问题，本发明提供了一种会话数据处理方法、系统、存储介质和电子设备。
本发明的一种会话数据处理方法的技术方案如下：
接收多个关联设备发送的待处理会话数据，并计算每个待处理会话数据的Hash值；
基于预设路由分配模式，得到每个Hash值对应的处理单元索引位；
根据每个待处理会话数据对应的处理单元索引位，将所有的待处理会话数据发送至对应的处理单元进行数据处理。
本发明的一种会话数据处理方法的有益效果如下：
本发明的方法实现了实时会话数据处理过程中多并发间的无缝切换，在提升数据读取性能的同时，降低了对外部缓存的压力与数据处理的延时。
在上述方案的基础上，本发明的一种会话数据处理方法还可以做如下改进。
进一步，
进一步，还包括：
每隔预设时间段，获取并根据每个处理单元的处理单元负载值，得到差值占比；其中，所述处理单元负载值为任一处理单元中的待处理会话数据的数量；
判断所述差值占比是否大于预设偏差值，得到判断结果；
若所述判断结果为是，则采用预设均衡计算公式，得到目标均衡负载值lbn；其中，所述预设均衡计算公式为：lbn＝min(maxv-(maxv+minv)/2，bul)；maxv为所有处理单元中的最大处理单元负载值，minv为所有处理单元中的最小处理单元负载值，bul为预设负载上限阈值；
根据所述目标均衡负载值lbn，得到每个处理单元中待转出的待处理会话数据，并将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理。
采用上述进一步方案的有益效果是：通过变更负载均衡相关阈值参数，控制不均衡程度容忍度，实现了并行处理单元的动态可控负载均衡处理。
进一步，所述根据每个处理单元的处理单元负载值，得到差值占比，包括：基于预设差值占比计算公式和每个处理单元的处理单元负载值，得到所述差值占比dr；其中，所述预设最大偏差计算公式为：dr＝(maxv-minv)/maxv。
进一步，所述将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理，包括：
根据所有待转出的待处理会话数据生成转移调度信息表；
根据所述转移调度信息表，将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理。
采用上述进一步方案的有益效果是：通过控制会话数据的暂时降级存储、数据路由切换、会话数据的升级载入，实现了会话数据在并行处理单元之间的无缝切换，提高了会话数据处理的效率。
进一步，还包括：当任一待处理会话数据转移成功时，更新所述转移调度信息表。
进一步，所述预设路由分配模式为：根据Hash值与处理单元的总数量确定处理单元索引位。
进一步，还包括：将每个待处理会话数据的数据处理结果返回至对应的关联设备。
本发明的一种会话数据处理系统的技术方案如下：
处理模块、计算模块和分配模块；
所述处理模块用于：接收多个关联设备发送的待处理会话数据，并计算每个待处理会话数据的Hash值；
所述计算模块用于：基于预设路由分配模式，得到每个Hash值对应的处理单元索引位；
所述分配模块用于：根据每个待处理会话数据对应的处理单元索引位，将所有的待处理会话数据发送至对应的处理单元进行数据处理。
本发明的一种会话数据处理系统的有益效果如下：
本发明的系统实现了实时会话数据处理过程中多并发间的无缝切换，在提升数据读取性能的同时，降低了对外部缓存的压力与数据处理的延时。
在上述方案的基础上，本发明的一种会话数据处理系统还可以做如下改进。
进一步，还包括：监控模块；所述监控模块用于：
每隔预设时间段，获取并根据每个处理单元的处理单元负载值，得到差值占比；其中，所述处理单元负载值为任一处理单元中的待处理会话数据的数量；
判断所述差值占比是否大于预设偏差值，得到判断结果；
若所述判断结果为是，则采用预设均衡计算公式，得到目标均衡负载值lbn；其中，所述预设均衡计算公式为：lbn＝min(maxv-(maxv+minv)/2，bul)；maxv为所有处理单元中的最大处理单元负载值，minv为所有处理单元中的最小处理单元负载值，bul为预设负载上限阈值；
根据所述目标均衡负载值lbn，得到每个处理单元中待转出的待处理会话数据，并将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理。
采用上述进一步方案的有益效果是：通过变更负载均衡相关阈值参数，控制不均衡程度容忍度，实现了并行处理单元的动态可控负载均衡处理。
进一步，所述根据每个处理单元的处理单元负载值，得到差值占比，包括：基于预设差值占比计算公式和每个处理单元的处理单元负载值，得到所述差值占比dr；其中，所述预设最大偏差计算公式为：dr＝(maxv-minv)/maxv。
进一步，所述将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理，包括：
根据所有待转出的待处理会话数据生成转移调度信息表；
根据所述转移调度信息表，将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理。
采用上述进一步方案的有益效果是：通过控制会话数据的暂时降级存储、数据路由切换、会话数据的升级载入，实现了会话数据在并行处理单元之间的无缝切换，提高了会话数据处理的效率。
进一步，还包括：更新模块；所述更新模块用于：当任一待处理会话数据转移成功时，更新所述转移调度信息表。
进一步，所述预设路由分配模式为：根据Hash值与处理单元的总数量确定处理单元索引位。
进一步，还包括：运行模块；所述运行模块用于：
将每个待处理会话数据的数据处理结果返回至对应的关联设备。
本发明的一种存储介质的技术方案如下：
存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如本发明的一种会话数据处理方法的步骤。
本发明的一种电子设备的技术方案如下：
包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使所述计算机执行如本发明的一种会话数据处理方法的步骤。
附图说明
图1为本发明实施例的一种会话数据处理方法的流程示意图；
图2为本发明实施例的一种会话数据处理方法中的整体流程图；
图3为本发明实施例的一种会话数据处理系统的结构示意图。
具体实施方式
如图1所示，本发明实施例的一种会话数据处理方法，包括如下步骤：
S1、接收多个关联设备发送的待处理会话数据，并计算每个待处理会话数据的Hash值。
其中，本实施例采用云控边缘系统对关联设备发送的会话数据进行处理。关联设备包括：某个区域或者某个街道的路侧设备和车辆。路侧设备的数量相对固定，车辆的数量相对不固定。每个关联设备所发送的待处理会话数据均对应一个唯一的设备ID，每个关联设备上传数据的频率比较高，一般在5～10HZ。本实施例中将设备ID作为Key值，相当于每个待处理会话数据均对应一个Key值。
其中，云控边缘系统是云端服务进行路侧端、车端数据接入的入口，其承载了实时性要求高的预警、决策算法，并建立下发通道，将相应预警处理、决策分析结果下发给车辆端和路侧端。
其中，待处理会话数据包括但不限于；接收交通参与者数据、判断交通异常事件、并将异常事件、决策信息下发给路侧设备或车辆等会话数据。
在本实施例中，云控边缘系统的处理单元分为上游处理单元和下游处理单元。上游处理单元主要接收根据Key值进行划分的待处理会话数据；下游处理单元主要是接收根据步骤S1-S3处理后的待处理会话数据进行处理，本实施例中所提到的处理单元为下游处理单元。
需要说明的是，计算每个待处理会话数据(Key值)的Hash值的过程为本领域的常规技术，在此不过多赘述。
S2、基于预设路由分配模式，得到每个Hash值对应的处理单元索引位。
其中，预设路由分配模式为：根据Hash值与处理单元的总数量确定处理单元索引位。
具体地，根据Hash值与处理单元的总数量之间的余数，计算得出Hash值对应的处理单元索引位。例如，某车Key值对应的Hash值为16，其下游的处理单元数量为15，用其Hash值16对15取余，得出处理单元索引位为1。
S3、根据每个待处理会话数据对应的处理单元索引位，将所有的待处理会话数据发送至对应的处理单元进行数据处理。
具体地，在上述例子中，得到处理单元索引位为1后，则将其路由至下游处理单元的处理单元1中进行数据处理，并且将路由信息定时性(it＝1s/次)更新至云控边缘系统的路由数据存储模块，路由信息包含：Key值、路由的处理单元索引，更新时间等关键字段。路由数据存储模块对每个Key值字段设置过期时间(expiretime＝2*it)，即2倍的刷新周期。
通过步骤S1-S3的技术方案，实现了对于会话数据处理过程中多并发间的无缝切换，在提升数据读取性能的同时，降低了对外部缓存的压力与数据处理的延时。
较优地，还包括：
每隔预设时间段，获取并根据每个处理单元的处理单元负载值，得到差值占比；其中，所述处理单元负载值为任一处理单元中的待处理会话数据的数量。
其中，云控边缘系统中还包括：数据均衡监控调度模块，用于周期性(如：30s/次)地对路由数据存储模块中的路由信息进行分析，得出当前各个处理单元的待处理会话数据的分布情况，即每个处理单元的处理单元负载值，图2示出了会话数据处理的整体流程。
其中，差值占比根据所有处理单元中的最大负载值和最小负载值计算得到。
判断所述差值占比是否大于预设偏差值，得到判断结果。
其中，预设偏差值为负载偏差容忍度阈值(默认为10％)，如果差值占比小于预设偏差值，即判断结果为否时，则认定当前所有的待处理会话数据的分布相对均衡，无需进行均衡处理，否则将进行均衡计算。
若所述判断结果为是，则采用预设均衡计算公式，得到目标均衡负载值lbn；其中，所述预设均衡计算公式为：lbn＝min(maxv-(maxv+minv)/2，bul)；maxv为所有处理单元中的最大处理单元负载值，minv为所有处理单元中的最小处理单元负载值，bul为预设负载上限阈值。
其中，目标均衡负载值lbn为当前所有处理单元中的均衡负载值，当任一处理单元的负载值超过目标均衡负载值时，需要转出一定数量的待处理会话数据；当任一处理单元的负载值小于目标均衡负载值时，可能需要转入一定数量的待处理会话数据。
根据所述目标均衡负载值lbn，得到每个处理单元中待转出的待处理会话数据，并将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理。
其中，最大处理单元负载值是指：在所有处理单元中，待处理会话数据最多的处理单元当前的待处理会话数据的数量。最小处理单元负载值是指：在所有处理单元中，待处理会话数据最少的处理单元当前的待处理会话数据的数量。
较优地，所述根据每个处理单元的处理单元负载值，得到差值占比，包括：基于预设差值占比计算公式和每个处理单元的处理单元负载值，得到所述差值占比dr；其中，所述预设最大偏差计算公式为：dr＝(maxv-minv)/maxv。
较优地，所述将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理，包括：
根据所有待转出的待处理会话数据生成转移调度信息表；
其中，每个待处理会话数据均对应一种存储级别；存储级别包括：内存缓存级别和高速缓存级别。
其中，待转移的待处理会话数据是通过随机选取产生的，例如，某一个处理单元中包括100个待处理会话数据，此时该处理单元中需要转出10个待处理会话数据，此时需要转出的10个待处理会话数据是从这100个待处理会话数据中随机选出的，将这10个待处理会话数据的相关信息和其余每一个处理单元中待转出的待处理会话数据的相关信息生成一个转移调度信息表，相关信息包括：包含对应的Key值，来源处理单元的索引位，目标处理单元的索引位，最新时间戳等信息。
根据所述转移调度信息表，将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理。
具体地，首先，根据转移调度信息表对每个待转出的待处理会话数据进行存储级别降级，即将该会话数据由内存缓存级别降级至高速缓存级别进行存储，并在处理单元卸载该会话数据的处理过程中执行。
其次，将所述高速缓存中的每个待处理会话数据转移至对应的处理单元，并将从高速缓存中转出的每个待处理会话数据的存储级别由高速缓存级别升为内存缓存级别，从而实现将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理。
其中，根据转移调度信息表进行存储级别升级，即在某处理单元在接入对应的Key值时，从会话数据的高速缓存中查看有无相关有效会话数据，若有对应的待处理会话数据，则将其载入对应的处理单元的内存缓存中进行处理。
较优地，还包括：当任一待处理会话数据转移成功时，更新所述转移调度信息表。
其中，云控边缘系统中的分布式数据路由控制模块能实现监听调度记录，对完成会话数据的存储级别降级的会话数据进行路由切换，切换完成，将其在转移调度信息表中的状态更新为完成状态。
较优地，所述预设路由分配模式为：根据Hash值与处理单元的总数量确定处理单元索引位。
需要说明的是，除本发明采用的预设路由分配模式外，还可采用其他的分配方式，在此不设限制。
较优地，还包括：将每个待处理会话数据的数据处理结果返回至对应的关联设备。
具体地，当任一待处理会话数据处理完成时，云控边缘系统会将数据处理结果返回值对应的关联设备中，实现对会话数据的实时并行处理。
采用本实施例的技术方案，在提升了数据读取性能的同时，降低了对外部缓存的压力，降低了数据处理的延时。
例如，在t0时刻至t1时刻时间范围内(假设t1-t0＝10s)共有1000辆车数据接入至云控边缘系统并进行应用计算，每辆车的会话数据的上传频率为10hz，则t0～t1时间范围内每秒会对高速缓存读写约为1000×10＝1w次/s，总共会产生1w(次/s)×10(s)＝10w次，若采用本实施例的动态均衡处理方式进行处理，则会产生1000次的初始化读取载入，假设有2个并行的处理单元处理，初始化负载分配为：一个负载900辆车数据，一个负载100辆车，则会导致400辆车的数据被均衡，若均衡时间持续2s，则会导致4000(次/s)×2(s)＝8000次，总共会产生1000(次)+8000(次)＝9000(次)的读写，不足10w次的十分之一，正常情况下初始化分配不会导致如此不均衡，且一般车联连入后的持续发送数据平均时长会远远大于10s钟，故正常情况下会降低10倍以上的对外部高速缓存的读写，因此，本实施例的技术方案在提升了数据读取性能的同时，降低了对外部缓存的压力和数据处理的延时。
如图3所示，本发明实施例的一种会话数据处理系统200，包括：处理模块210、计算模块220和分配模块230；
所述处理模块210用于：接收多个关联设备发送的待处理会话数据，并计算每个待处理会话数据的Hash值；
所述计算模块220用于：基于预设路由分配模式，得到每个Hash值对应的处理单元索引位；
所述分配模块230用于：根据每个待处理会话数据对应的处理单元索引位，将所有的待处理会话数据发送至对应的处理单元进行数据处理。
较优地，还包括：监控模块；所述监控模块用于：
每隔预设时间段，获取并根据每个处理单元的处理单元负载值，得到差值占比；其中，所述处理单元负载值为任一处理单元中的待处理会话数据的数量；
判断所述差值占比是否大于预设偏差值，得到判断结果；
若所述判断结果为是，则采用预设均衡计算公式，得到目标均衡负载值lbn；其中，所述预设均衡计算公式为：lbn＝min(maxv-(maxv+minv)/2，bul)；maxv为所有处理单元中的最大处理单元负载值，minv为所有处理单元中的最小处理单元负载值，bul为预设负载上限阈值；
根据所述目标均衡负载值lbn，得到每个处理单元中待转出的待处理会话数据，并将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理。
较优地，所述根据每个处理单元的处理单元负载值，得到差值占比，包括：基于预设差值占比计算公式和每个处理单元的处理单元负载值，得到所述差值占比dr；其中，所述预设最大偏差计算公式为：dr＝(maxv-minv)/maxv。
较优地，所述将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理，包括：
根据所有待转出的待处理会话数据生成转移调度信息表；
根据所述转移调度信息表，将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理。
较优地，还包括：更新模块；所述更新模块用于：当任一待处理会话数据转移成功时，更新所述转移调度信息表。
较优地，所述预设路由分配模式为：根据Hash值与处理单元的总数量确定处理单元索引位。
较优地，还包括：运行模块；所述运行模块用于：
将每个待处理会话数据的数据处理结果返回至对应的关联设备。
本发明的系统实现了实时会话数据处理过程中多并发间的无缝切换，在提升数据读取性能的同时，降低了对外部缓存的压力与数据处理的延时。
上述关于本发明的一种会话数据处理系统200中的各参数和各个模块实现相应功能的步骤，可参考上文中关于一种会话数据处理方法的实施例中的各参数和步骤，在此不做赘述。
本发明实施例提供的一种存储介质，包括：存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上文中的一种会话数据处理方法的步骤，具体可参考上文中一种会话数据处理方法的实施例中的各参数和步骤，在此不做赘述。
计算机存储介质例如：优盘、移动硬盘等。
本发明实施例提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使所述计算机执行如上文中的一种会话数据处理方法的步骤，具体可参考上文中的一种会话数据处理方法的实施例中的各参数和步骤，在此不做赘述。
所属技术领域的技术人员知道，本发明可以实现为方法、系统、存储介质和电子设备。
因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)，只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种会话数据处理方法，其特征在于，包括：
接收多个关联设备发送的待处理会话数据，并计算每个待处理会话数据的Hash值；
基于预设路由分配模式，得到每个Hash值对应的处理单元索引位；
根据每个待处理会话数据对应的处理单元索引位，将所有的待处理会话数据发送至对应的处理单元进行数据处理；
还包括：
每隔预设时间段，获取并根据每个处理单元的处理单元负载值，得到差值占比；其中，所述处理单元负载值为任一处理单元中的待处理会话数据的数量；
判断所述差值占比是否大于预设偏差值，得到判断结果；
若所述判断结果为是，则采用预设均衡计算公式，得到目标均衡负载值lbn；其中，所述预设均衡计算公式为：lbn = min(maxv-(maxv+minv)/2，bul)； maxv为所有处理单元中的最大处理单元负载值，minv为所有处理单元中的最小处理单元负载值，bul为预设负载上限阈值；
根据所述目标均衡负载值lbn，得到每个处理单元中待转出的待处理会话数据，并将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理；
所述根据每个处理单元的处理单元负载值，得到差值占比，包括：基于预设差值占比计算公式和每个处理单元的处理单元负载值，得到所述差值占比dr；其中，所述预设差值占比计算公式为：dr =（maxv-minv）/maxv；
所述将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理，包括：
根据所有待转出的待处理会话数据生成转移调度信息表；
根据所述转移调度信息表，将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理；
其中，每个待处理会话数据均对应一种存储级别；存储级别包括：内存缓存级别和高速缓存级别；
所述根据所述转移调度信息表，将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理，包括：
根据所述转移调度信息表对每个待转出的待处理会话数据进行存储级别降级，将每个会话数据由内存缓存级别降级至高速缓存级别进行存储，并在每个会话数据对应的处理单元卸载会话数据的处理过程中执行；
将高速缓存中的每个待处理会话数据转移至对应的处理单元，并将从所述高速缓存中转出的每个待处理会话数据的存储级别由高速缓存级别升为内存缓存级别，以实现将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理。
2.根据权利要求1所述的一种会话数据处理方法，其特征在于，还包括：当任一待处理会话数据转移成功时，更新所述转移调度信息表。
3.根据权利要求1所述的一种会话数据处理方法，其特征在于，所述预设路由分配模式为：根据Hash值与处理单元的总数量确定处理单元索引位。
4.根据权利要求1-3任一项所述的一种会话数据处理方法，其特征在于，还包括：将每个待处理会话数据的数据处理结果返回至对应的关联设备。
5.一种会话数据处理系统，其特征在于，包括：
处理模块、计算模块和分配模块；
所述处理模块用于：接收多个关联设备发送的待处理会话数据，并计算每个待处理会话数据的Hash值；
所述计算模块用于：基于预设路由分配模式，得到每个Hash值对应的处理单元索引位；
所述分配模块用于：根据每个待处理会话数据对应的处理单元索引位，将所有的待处理会话数据发送至对应的处理单元进行数据处理；
还包括：监控模块；所述监控模块用于：
每隔预设时间段，获取并根据每个处理单元的处理单元负载值，得到差值占比；其中，所述处理单元负载值为任一处理单元中的待处理会话数据的数量；
判断所述差值占比是否大于预设偏差值，得到判断结果；
若所述判断结果为是，则采用预设均衡计算公式，得到目标均衡负载值lbn；其中，所述预设均衡计算公式为：lbn = min(maxv-(maxv+minv)/2，bul)； maxv为所有处理单元中的最大处理单元负载值，minv为所有处理单元中的最小处理单元负载值，bul为预设负载上限阈值；
根据所述目标均衡负载值lbn，得到每个处理单元中待转出的待处理会话数据，并将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理；
所述根据每个处理单元的处理单元负载值，得到差值占比，包括：基于预设差值占比计算公式和每个处理单元的处理单元负载值，得到所述差值占比dr；其中，所述预设差值占比计算公式为：dr =（maxv-minv）/maxv；
所述将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理，包括：
根据所有待转出的待处理会话数据生成转移调度信息表；
根据所述转移调度信息表，将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理；
其中，每个待处理会话数据均对应一种存储级别；存储级别包括：内存缓存级别和高速缓存级别；
所述根据所述转移调度信息表，将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理，包括：
根据所述转移调度信息表对每个待转出的待处理会话数据进行存储级别降级，将每个会话数据由内存缓存级别降级至高速缓存级别进行存储，并在每个会话数据对应的处理单元卸载会话数据的处理过程中执行；
将高速缓存中的每个待处理会话数据转移至对应的处理单元，并将从所述高速缓存中转出的每个待处理会话数据的存储级别由高速缓存级别升为内存缓存级别，以实现将每个待转出的待处理会话数据转移至对应的处理单元进行数据处理。
6.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至4中任一项所述的一种会话数据处理方法。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使所述计算机执行如权利要求1至4中任一项所述的一种会话数据处理方法。
CN202210685166.6A 2022-06-14 2022-06-14 一种会话数据处理方法、系统、存储介质和电子设备 Active CN115150448B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210685166.6A CN115150448B (zh) 2022-06-14 2022-06-14 一种会话数据处理方法、系统、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210685166.6A CN115150448B (zh) 2022-06-14 2022-06-14 一种会话数据处理方法、系统、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN115150448A CN115150448A (zh) 2022-10-04
CN115150448B true CN115150448B (zh) 2023-08-25

Family

ID=83407457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210685166.6A Active CN115150448B (zh) 2022-06-14 2022-06-14 一种会话数据处理方法、系统、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN115150448B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544292A (zh) * 2013-10-29 2014-01-29 大唐移动通信设备有限公司 基于HASH表的Diameter消息处理方法和装置
CN106357726A (zh) * 2016-08-24 2017-01-25 东软集团股份有限公司 负载均衡方法及装置
CN108769196A (zh) * 2018-05-29 2018-11-06 新华三信息安全技术有限公司 一种会话创建方法及装置
CN109614228A (zh) * 2018-11-27 2019-04-12 南京轨道交通系统工程有限公司 基于动态负载均衡方式的综合监控前置系统及工作方法
WO2020073870A1 (zh) * 2018-10-12 2020-04-16 中兴通讯股份有限公司 移动网络自优化方法、系统、终端及计算机可读存储介质
CN111045823A (zh) * 2019-12-11 2020-04-21 上海智臻智能网络科技股份有限公司 上下文数据的负载分发方法、装置、设备及存储介质
CN111092942A (zh) * 2019-12-13 2020-05-01 中移（杭州）信息技术有限公司 报文处理方法、装置、电子设备及存储介质
CN111901401A (zh) * 2020-07-14 2020-11-06 广州爱浦路网络技术有限公司 一种会话管理功能smf负载均衡的方法及其设备
CN112217843A (zh) * 2019-07-09 2021-01-12 阿里巴巴集团控股有限公司 服务单元切换方法、系统及设备
WO2021107210A1 (ko) * 2019-11-25 2021-06-03 주식회사 리얼타임테크 다수의 스토리지를 갖는 데이터베이스 관리시스템에서 블룸필터를 이용한 벡터화 기반의 스토리지 탐색 방법
CN114327857A (zh) * 2021-11-02 2022-04-12 腾讯科技（深圳）有限公司 操作数据处理方法、装置、计算机设备和存储介质
CN114339135A (zh) * 2020-09-25 2022-04-12 浙江宇视科技有限公司 一种负载均衡方法、装置、电子设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544292A (zh) * 2013-10-29 2014-01-29 大唐移动通信设备有限公司 基于HASH表的Diameter消息处理方法和装置
CN106357726A (zh) * 2016-08-24 2017-01-25 东软集团股份有限公司 负载均衡方法及装置
CN108769196A (zh) * 2018-05-29 2018-11-06 新华三信息安全技术有限公司 一种会话创建方法及装置
WO2020073870A1 (zh) * 2018-10-12 2020-04-16 中兴通讯股份有限公司 移动网络自优化方法、系统、终端及计算机可读存储介质
CN109614228A (zh) * 2018-11-27 2019-04-12 南京轨道交通系统工程有限公司 基于动态负载均衡方式的综合监控前置系统及工作方法
CN112217843A (zh) * 2019-07-09 2021-01-12 阿里巴巴集团控股有限公司 服务单元切换方法、系统及设备
WO2021107210A1 (ko) * 2019-11-25 2021-06-03 주식회사 리얼타임테크 다수의 스토리지를 갖는 데이터베이스 관리시스템에서 블룸필터를 이용한 벡터화 기반의 스토리지 탐색 방법
CN111045823A (zh) * 2019-12-11 2020-04-21 上海智臻智能网络科技股份有限公司 上下文数据的负载分发方法、装置、设备及存储介质
CN111092942A (zh) * 2019-12-13 2020-05-01 中移（杭州）信息技术有限公司 报文处理方法、装置、电子设备及存储介质
CN111901401A (zh) * 2020-07-14 2020-11-06 广州爱浦路网络技术有限公司 一种会话管理功能smf负载均衡的方法及其设备
CN114339135A (zh) * 2020-09-25 2022-04-12 浙江宇视科技有限公司 一种负载均衡方法、装置、电子设备和存储介质
CN114327857A (zh) * 2021-11-02 2022-04-12 腾讯科技（深圳）有限公司 操作数据处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN115150448A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN111813513B (zh) 基于分布式的实时任务调度方法、装置、设备及介质
US10129332B2 (en) Load balancing of distributed services
US20220272242A1 (en) Cluster resource management in distributed computing systems
US8713334B2 (en) Demand based power allocation
CN103080907B (zh) 用于模糊步幅预取的方法和装置
KR20200120476A (ko) 자원 분배를 위한 방법 및 장치
US20160285906A1 (en) Virtual machine placement
CN104243405A (zh) 一种请求处理方法、装置及系统
CN109886693B (zh) 区块链系统的共识实现方法、装置、设备和介质
US20130166797A1 (en) Storage apparatus and method for controlling same
US10031844B2 (en) NVS thresholding for efficient data management
CN115150448B (zh) 一种会话数据处理方法、系统、存储介质和电子设备
CN113645150A (zh) 传输速率控制方法、装置、电子设备和可读存储介质
CN115150891A (zh) 一种基于移动边缘计算的中断概率辅助任务卸载优化方法
CN111756711A (zh) 一种流量控制方法、装置、系统及存储介质
RU2672726C1 (ru) Способ выполнения упреждающего чтения в системах хранения данных
US10097637B2 (en) Grid distributed cache
CN104850431A (zh) 基于fota升级的稳定处理方法和装置
CN107436795B (zh) 一种保障虚拟机在线迁移服务质量的方法
US10776260B1 (en) Co-operative memory management system
CN111538718B (zh) 分布式系统的实体id生成和定位方法、扩容方法及设备
CN111182011A (zh) 一种服务集分配方法及装置
CN110554916B (zh) 基于分布式集群的风险指标计算方法及装置
CN114298294A (zh) 一种基于硬件加速器的神经网络内存优化方法和装置
CN116599841B (zh) 一种大规模云存储系统扩容方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant