CN114996627A - 预取数据数量动态配置方法、装置、设备及存储介质 - Google Patents

Abstract

本申请涉及一种预取数据数量动态配置方法、装置、设备及存储介质，应用于数据预取技术领域，其方法包括：获取预设配置周期的网络延时、网络可用带宽、数据长度和数据处理速度；基于所述网络延时、所述网络可用带宽、所述数据长度和所述数据处理速度计算预取数据量。本申请具有实现预取数据数量的动态调整的效果。

Description

预取数据数量动态配置方法、装置、设备及存储介质

技术领域

本申请涉及数据预取的技术领域，尤其是涉及一种预取数据数量动态配置方法、装置、设备及存储介质。

背景技术

数据库是一个按数据结构来存储和管理数据的计算机软件系统。数据库服务器建立在数据库系统基础上，具有数据库系统的特性，如数据库管理功能、数据库的查询和操纵功能、数据库维护功能、数据库并行运行功能。由于在同一时间，访问数据库的用户不止一个，因此数据库服务器必须支持并行运行机制，处理多个事件的同时发生。

数据库服务器和应用服务器可能会部署在不同地区，如A市和B市。当A市的应用服务器在向B市的数据库请求获取数据时，存在地域距离传输上的延时。如果按条顺序传输数据，则效率较低。数据库服务器提供预取多条数据的功能，可从应用服务器设置预取条数，一次请求多条数据，将多条数据一次性打包传输，应用服务器将多条数据缓存到本地，依次处理。

目前，预取数据的数量是运维人员根据经验进行固定配置的，不能充分考虑网络延时、实时的带宽利用率等因素，设置太大会造成其他业务的带宽争用，设置太小影响业务处理速度，不便于根据实际情况动态调整预取数据的数量。

发明内容

为了实现预取数据数量的动态调整，本申请提供一种预取数据数量动态配置方法、装置、设备及存储介质。

第一方面，本申请提供一种预取数据数量动态配置方法，采用如下的技术方案：

一种预取数据数量动态配置方法，包括：

获取预设配置周期的网络延时、网络可用带宽、数据长度和数据处理速度；

基于所述网络延时、所述网络可用带宽、所述数据长度和所述数据处理速度计算预取数据量。

通过采用上述技术方案，根据需求设定配置周期，每个周期重新计算预取数据量，以适应不同的网络环境，实现预取数据数量的动态调整，从而使资源得到均衡利用并且减小对其他业务使用网络带宽的影响。

可选的，所述基于所述网络延时、所述网络可用带宽、所述数据长度和所述数据处理速度计算预取数据量包括：

获取第一方程式，将所述网络延时、所述网络可用带宽、所述数据长度带入所述第一方程式，求解获得第一最大值；

获取第二方程式，将所述网络时延、所述数据处理速度带入所述第二方程式，求解获得第二最大值；

比较所述第一最大值和所述第二最大值的大小，选取所述第一最大值和所述第二最大值中较小的数据数量作为所述预取数据量。

通过采用上述技术方案， 第一方程式基于网络环境建立，充分利用网络可用带宽，第二方程式基于应用服务器的数据处理能力，充分利用应用服务的数据处理能力，采用第一最大值和第二最大值中的最小值，使网络可用带宽和应用服务的数据处理能力达到均衡的状态，从而提高资源的利用效率。

可选的，所述第一方程式为：

PrefetchCnt<=(BandWidth*Delay)/(8*Reclength*1000)；

其中，PrefetchCnt为预取数据量，单位为条；BandWidth为网络可用带宽，单位为bps；Delay为网络延时，单位为ms；Reclength为数据长度，单位为Bytes；8和1000为单位统一用常数。

通过采用上述技术方案，利用网络可用带宽和与网络带宽相关的网络时延，以及待处理的预取数据的数据长度，计算当前状态下网络带宽允许的最大预取数据量，充分的利用网络可用带宽，提高数据处理速度。

可选的，所述第二方程式为：

PrefetchCnt<=(RecProcessRate*Delay)/1000；

其中，PrefetchCnt为预取数据量，单位为条；RecProcessRate为数据处理速度，单位为条/秒；Delay为网络延时，单位为ms；Reclength为数据长度，单位为Bytes；1000为单位统一用常数。

通过采用上述技术方案， 利用应用服务器对数据的处理速度以及处理数据时的网络时延和待处理的预取数据的数据长度，计算当前可以支持的最大预取数据量，充分的利用应用服务器的数据处理能力，提升数据处理速度。

可选的，所述网络可用带宽通过以下方式获取：

获取带宽使用规则和所述预设配置周期的网络空闲带宽，基于所述带宽使用规则和所述网络空闲带宽计算所述网络可用带宽。

通过采用上述技术方案，使用宽带使用规则计算当前空闲带宽中的最大网络可用带宽，选取当前空闲带宽的一部分作为本次预取数据所使用的的带宽，减小使用全部空闲带宽对其他网络活动的影响。

第二方面，本申请提供一种预取数据数量动态配置装置，采用如下的技术方案：

一种预取数据数量动态配置装置，包括：

数据获取模块，用于获取预设配置周期的网络延时、网络可用带宽、数据长度和数据处理速度；

数量计算模块，用于基于所述网络延时、所述网络可用带宽、所述数据长度和所述数据处理速度计算预取数据量。

通过采用上述技术方案，根据需求设定配置周期，每个周期重新计算预取数据量，以适应不同的网络环境，实现预取数据数量的动态调整，从而使资源得到均衡利用并且减小对其他业务使用网络带宽的影响。

第三方面，本申请提供一种电子设备，采用如下的技术方案：

一种电子设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行第一方面任一项所述的预取数据数量动态配置方法的计算机程序。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机可读存储介质，存储有能够被处理器加载并执行第一方面任一项所述的预取数据数量动态配置方法的计算机程序。

附图说明

图1是本申请实施例提供的一种预取数据数量动态配置方法的流程示意图。

图2是申请实施例提供的一种预取数据数量动态配置装置的结构框图。

图3是本申请实施例提供的电子设备的结构框图。

具体实施方式

以下结合附图对本申请作进一步详细说明。

图1为本申请实施例提供的一种预取数据数量动态配置方法的流程示意图。

如图1所示，该方法主要流程描述如下（步骤S101～S102）：

步骤S101，获取预设配置周期的网络延时、网络可用带宽、数据长度和数据处理速度；

步骤S102，基于网络延时、网络可用带宽、数据长度和数据处理速度计算预取数据量。

其中，获取带宽使用规则和预设配置周期的网络空闲带宽，基于带宽使用规则和网络空闲带宽计算网络可用带宽。

在本实施例中，带宽使用规则可以设置为固定的使用百分比，例如本次预设配置周期内的网络空闲带宽为10Mbps，使用百分比为80%，通过计算可得10Mbps*0.8=8Mbps，则本次预设配置周期内的网络可用带宽为8Mbps。带宽使用规则还可以设置为使用网络空闲带宽减去固定剩余带宽，例如本次配置周期内的网络空闲带宽为10Mbps，固定剩余带宽为3Mbps，通过计算可得10Mbps-3Mbps=7Mbps，则本次预设配置周期内的网络带宽为7Mbps。需要说明的是，带宽使用规则包括但不限于上述规则，具体的带宽使用规则在此不作具体限定。

针对步骤S102，获取第一方程式，将网络延时、网络可用带宽、数据长度带入第一方程式，求解获得第一最大值；获取第二方程式，将网络时延、数据处理速度带入第二方程式，求解获得第二最大值；比较第一最大值和第二最大值的大小，选取第一最大值和第二最大值中较小的数据数量作为预取数据量。

在本实施例中，第一方程式：

PrefetchCnt<=(BandWidth*Delay)/(8*Reclength*1000)；

其中，PrefetchCnt为预取数据量，单位为条；BandWidth为网络可用带宽，单位为bps；Delay为网络延时，单位为ms；Reclength为数据长度，单位为Bytes；8和1000为单位统一用常数。

在本实施例中，第二方程式为：

PrefetchCnt<=(RecProcessRate*Delay)/1000；

其中，PrefetchCnt为预取数据量，单位为条；RecProcessRate为数据处理速度，单位为条/秒；Delay为网络延时，单位为ms；Reclength为数据长度，单位为Bytes；1000为单位统一用常数。

在本实施例中，第一方程式和第二方程式适用于如Oracle数据库等具有预取功能的数据库，具体的数据库类型在此不作具体限定。

在本实施例中，针对步骤S101和步骤S102进行举例说明。

假设本次预设配置周期的数据处理速度为20000条/秒，网络延时为30ms，网络可用带宽为5Mbps，数据长度为300Bytes。

通过使用上述数据，根据第一方程式计算计算得到预取数据量为：PrefetchCnt<=5*1024*1024*30/(8*300*1000)<=65条，根据第二方程式计算得到预取数据量为：PrefetchCnt<=20000*30/1000<=600条，比较65条和600条的大小，得到65条小于600条，从而得到本次预设配置周期的预取数据量为65条。

需要说明的是，由于网络可用带宽、网络时延、数据处理速度和数据长度这四项因素的影响，在计算预取数据量时需要均衡上述四项元素，在充分利用网络可用带宽的同时，保证数据库的处理数据的速度可数据库的数据处理能力范围之内，因此需要选择两个结果中的最小值。

在本实施例中，8位为一个字节，第一方程式中数据长度的单位为字节，网络可用带宽的单位为bps，即位/每秒，每字节Byte为8位，1Byte=8bit，因此，8用于统一数据长度和网络可用带宽的单位。第一方程式和第二方程式中数据处理速度的单位为条/秒，网络延时的单位为ms，1s=1000ms，因此，1000用于统一数据处理速度和网络延时的单位。

需要说明的是，数据长度的单位、网络可用宽带的单位、数据处理速度的单位和网络延时的单位需要保持统一，单位统一用常数包括但不限于8和1000，还有用于统一Mbps和bps的1024等，在此不作具体限定。

在本实施例中，预设配置周期的周期值需要根据网络可用带宽的监控获取周期的周期值设定，预设获取周期的周期值可以设置为与网络可用带宽的监控获取周期的周期值一致，也可以设置为网络可用带宽获取周期的整数倍。预设配置周期的周期值需要根据实际需求进行调整，通常的网络带宽的监控获取周期为5分钟，即未设置预设配置周期时，预设配置周期默认为5分钟，且不可低于5分钟不可超过1小时。当处于业务处理高峰期时，预设配置周期的周期值需要设置为5分钟或者10分钟，当不处于业务处理高峰期时，可以根据需求实时调整，具体的预设配置周期的周期值在此不作具体限定。

在本实施例中，网络时延与进行预取活动的数据库服务器和应用服务器之间的距离有关，当在数据库服务器和应用服务器之间进行数据预取活动时，网络时延的时延值不发生变化，例如，A市与B市的网络时延为20ms，则在A市的数据库服务器和B市的数据库服务器中间进行数据预取是，网络时延保持在20ms，当数据预取转换为A市与C市时，则需要重新计算A市与C市之间的网络时延。

数据长度根据当前所处理的数据类型进行改变，例如当预取的数据为手机号时，数据的长度为11位，当预取的数据为电话号时，数据的长度为7位，其中，当一批待处理的预取数据的数据长度不一致时，计算所有待处理的预取数据的数据长度取均值，需要说明的是，当数据长度不一致时，数据长度的选取包括但不限于上述选取方式，在此不作具体限定。

图2为申请实施例提供的一种预取数据数量动态配置装置200的结构框图。

如图2所示，预取数据数量动态配置装置200主要包括：

数据获取模块201，用于获取预设配置周期的网络延时、网络可用带宽、数据长度和数据处理速度；

数量计算模块202，用于基于网络延时、网络可用带宽、数据长度和数据处理速度计算预取数据量。

作为本实施例的一种可选实施方式，数量计算模块202具体用于获取第一方程式，将网络延时、网络可用带宽、数据长度带入第一方程式，求解获得第一最大值；获取第二方程式，将网络时延、数据处理速度带入第二方程式，求解获得第二最大值；比较第一最大值和第二最大值的大小，选取第一最大值和第二最大值中较小的数据数量作为预取数据量。

在本可选实施例中，第一方程式为：

PrefetchCnt<=(BandWidth*Delay)/(8*Reclength*1000)；

其中，PrefetchCnt为预取数据量，单位为条；BandWidth为网络可用带宽，单位为bps；Delay为网络延时，单位为ms；Reclength为数据长度，单位为Bytes；8和1000为单位统一用常数。

在本可选实施例中，第二方程式为：

PrefetchCnt<=(RecProcessRate*Delay)/1000；

其中，PrefetchCnt为预取数据量，单位为条；RecProcessRate为数据处理速度，单位为条/秒；Delay为网络延时，单位为ms；Reclength为数据长度，单位为Bytes；1000为单位统一用常数。

作为本实施例的一种可选实施方式，数据获取模块201具体用于获取带宽使用规则和预设配置周期的网络空闲带宽，基于带宽使用规则和网络空闲带宽计算网络可用带宽。

在一个例子中，以上任一装置中的模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个专用集成电路(application specificintegratedcircuit，ASIC)，或，一个或多个数字信号处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)，或这些集成电路形式中至少两种的组合。

再如，当装置中的模块可以通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，CPU)或其它可以调用程序的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图3为本申请实施例提供的电子设备300的结构框图。

如图3所示，电子设备300包括处理器301和存储器302，还可以进一步包括信息输入/信息输出(I/O)接口303、通信组件304中的一种或多种以及通信总线305。

其中，处理器301用于控制电子设备300的整体操作，以完成上述的预取数据数量动态配置方法的全部或部分步骤；存储器302用于存储各种类型的数据以支持在电子设备300的操作，这些数据例如可以包括用于在该电子设备300上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器302可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，SRAM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory，EEPROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、只读存储器(Read-Only Memory，ROM)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。

I/O接口303为处理器301和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件304用于电子设备300与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(NearField Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件104可以包括：Wi-Fi部件，蓝牙部件，NFC部件。

电子设备300可以被一个或多个应用专用集成电路 (Application SpecificIntegrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例给出的预取数据数量动态配置方法。

通信总线305可包括一通路，在上述组件之间传送信息。通信总线305可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA (ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。通信总线305可以分为地址总线、数据总线、控制总线等。

电子设备300可以包括但不限于移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端，还可以为服务器等。

本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的预取数据数量动态配置方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器 (R ead-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种预取数据数量动态配置方法，其特征在于，包括：

获取预设配置周期的网络延时、网络可用带宽、数据长度和数据处理速度；

基于所述网络延时、所述网络可用带宽、所述数据长度和所述数据处理速度计算预取数据量。

2.根据权利要求1所述的方法，其特征在于，所述基于所述网络延时、所述网络可用带宽、所述数据长度和所述数据处理速度计算预取数据量包括：

获取第一方程式，将所述网络延时、所述网络可用带宽、所述数据长度带入所述第一方程式，求解获得第一最大值；

获取第二方程式，将所述网络时延、所述数据处理速度带入所述第二方程式，求解获得第二最大值；

比较所述第一最大值和所述第二最大值的大小，选取所述第一最大值和所述第二最大值中较小的数据数量作为所述预取数据量。

3.根据权利要求2所述的方法，其特征在于，所述第一方程式为：

PrefetchCnt<=(BandWidth*Delay)/(8*Reclength*1000)；

其中，PrefetchCnt为预取数据量，单位为条；BandWidth为网络可用带宽，单位为bps；Delay为网络延时，单位为ms；Reclength为数据长度，单位为Bytes；8和1000为单位统一用常数。

4.根据权利要求2所述的方法，其特征在于，所述第二方程式为：

PrefetchCnt<=(RecProcessRate*Delay)/1000；

其中，PrefetchCnt为预取数据量，单位为条；RecProcessRate为数据处理速度，单位为条/秒；Delay为网络延时，单位为ms；Reclength为数据长度，单位为Bytes；1000为单位统一用常数。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述网络可用带宽通过以下方式获取：

获取带宽使用规则和所述预设配置周期的网络空闲带宽，基于所述带宽使用规则和所述网络空闲带宽计算所述网络可用带宽。

6.一种预取数据数量动态配置装置，其特征在于，包括：

数据获取模块，用于获取预设配置周期的网络延时、网络可用带宽、数据长度和数据处理速度；

数量计算模块，用于基于所述网络延时、所述网络可用带宽、所述数据长度和所述数据处理速度计算预取数据量。

7.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被所述处理器加载并执行如权利要求1至5中任一种方法的计算机程序。

8.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至5中任一种方法的计算机程序。

Images