CN113282404A - 基于分布式调度的数据关联整合方法及系统 - Google Patents

基于分布式调度的数据关联整合方法及系统 Download PDF

Info

Publication number
CN113282404A
CN113282404A CN202110373856.3A CN202110373856A CN113282404A CN 113282404 A CN113282404 A CN 113282404A CN 202110373856 A CN202110373856 A CN 202110373856A CN 113282404 A CN113282404 A CN 113282404A
Authority
CN
China
Prior art keywords
data processing
processing speed
distributed computing
point
utilization rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110373856.3A
Other languages
English (en)
Inventor
李保平
杨建荣
龙磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huitong Guoxin Technology Co Ltd
Original Assignee
Guangzhou Huitong Guoxin Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huitong Guoxin Technology Co Ltd filed Critical Guangzhou Huitong Guoxin Technology Co Ltd
Priority to CN202110373856.3A priority Critical patent/CN113282404A/zh
Publication of CN113282404A publication Critical patent/CN113282404A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)

Abstract

本发明公开了基于分布式调度的数据关联整合方法及系统，通过设置阈值线能够避免分布式计算节点在运行时一直反复在CPU高负荷状态运行，这样会严重影响分布式计算节点的CPU的使用寿命，保证分布式计算节点一直以安全的数据处理速度运行，能够在分布式计算节点在可接受的范围内以较高速度进行数据处理。阈值线通过将低数据处理速度、中数据处理速度以及高数据处理速度情况下的CPU使用率以及数据处理流量在平面坐标系中对应的三个点作为低数据处理速度点、中数据处理速度点、高数据处理速度点；连接低数据处理速度点以及中数据处理速度点，连接中数据处理速度点以及高数据处理速度点，形成处理速度关联折线，对所述处理速度关联折线进行调整得到。

Description

基于分布式调度的数据关联整合方法及系统
技术领域
本公开涉及数据处理技术领域，具体涉及基于分布式调度的数据关联整合方法及系统。
背景技术
在进行分布式调度的数据关联整合时，往往需要很多的分布式计算节点进行大量的数据运算，最终进行分布式存储；
这一过程中对于分布式计算节点的CPU的使用强度是很高的，如果不对CPU进行负荷保护，分布式计算节点的CPU的使用寿命是不长的，这在一定程度上会带来损失。
发明内容
本公开提供基于分布式调度的数据关联整合方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
为了实现上述目的，根据本公开的一方面，提供基于分布式调度的数据关联整合方法，所述方法包括以下步骤：
S100，预定义低数据处理速度、中数据处理速度以及高数据处理速度，分别在以上3种处理速度的情况下采集分布式计算节点的CPU使用率以及数据处理流量；
S200，以低数据处理速度、中数据处理速度以及高数据处理速度情况下的分布式计算节点的CPU使用率以及数据处理流量，通过以CPU使用率为X轴，数据处理流量为Y轴建立平面坐标系；
S300，将低数据处理速度、中数据处理速度以及高数据处理速度情况下的CPU使用率以及数据处理流量在平面坐标系中对应的三个点作为低数据处理速度点、中数据处理速度点、高数据处理速度点；
S400，连接低数据处理速度点以及中数据处理速度点，连接中数据处理速度点以及高数据处理速度点，形成处理速度关联折线，对所述处理速度关联折线进行调整得到阈值线；
S500，获取分布式计算节点的实时运行CPU使用率以及数据处理流量，并在平面坐标系中形成对应的抽样点；
S600，当抽样点距离阈值线的最短距离小于第一阈值时，若分布式计算节点处于非低数据处理速度，则控制分布式计算节点降低一个档位的处理速度，若分布式计算节点处于低数据处理速度，则控制分布式计算节点停止运行。
进一步，在上述步骤S100中的低数据处理速度、中数据处理速度以及高数据处理速度通过大量实验论证进行人工划分，具体的数据处理速度能够通过分布式计算节点进行读取。
进一步，在上述步骤S400中，对关联折线进行调整得到阈值线的方法包括以下：
设阈值线上低数据处理速度、中数据处理速度以及高数据处理速度下分布式计算节点的CPU使用率以及数据处理流量在平面坐标系上对应的三个点的坐标为(x1,y1),(x2,y2),(x3,y3)，令(xi,yi)为分布式计算节点在3种不同处理速度下的CPU使用率以及数据处理流量，令x为CPU使用率，y为数据处理流量，在3种不同数据处理速度下坐标点(x,y)到阈值线的坐标(xi,yi)的距离分别为d1,d2,d3，则可建立以下坐标点(x,y)到阈值线的坐标(xi,yi)的距离关系:
Figure BDA0003010407850000021
将d1 2-d3 2,d2 2-d3 2，将拟进行微调的xi,yi作为未知量进行求解，则简化为矩阵形式为：Az＝b，其中：
Figure BDA0003010407850000022
Figure BDA0003010407850000023
得到校正矩阵Q(z)：Q(z)＝||b-Az||2；
对z进行求导得：
Figure BDA0003010407850000024
如果AAT为非奇异矩阵，则得到z＝(ATA)-1ATb，则求解z的方程组中微调后的(xi,yi)，将微调后的(xi,yi)记为(x′i,y′i)，连接坐标点(x′i,y′i)，i＝1…3，即由坐标点(x′2,y′2)向坐标点(x′1,y′1)和坐标点(x′3,y′3)的方向分别作2条射线，2条射线以坐标点(x′2,y′2)为连接点即得到关联折线；通过拟合关联折线，可以使得阈值线到抽样点的最短距离精度更高，能够避免分布式计算节点运行时一直反复运行在计算负荷的临界值。
进一步，在上述步骤S600中，第一阈值的具体为：低数据处理速度以及高数据处理速度下分布式计算节点的CPU使用率以及数据处理流量对应在平面坐标系上的两个坐标点之间距离的一半。
进一步，在上述步骤S600中，如果分布式计算节点处于处于低数据处理速度，且被控制停止运行，则经过第二阈值的时间后，所述分布式计算节点将被重新启动，并以高数据处理速度运行，且重新执行步骤S100至步骤S600。
本发明还提出基于分布式调度的数据关联整合系统，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：
分布式计算节点数据获取单元，用于分别获取在低数据处理速度、中数据处理速度以及高数据处理速度情况下的分布式计算节点的CPU使用率以及数据处理流量；
坐标系构建单元，用于通过低数据处理速度、中数据处理速度以及高数据处理速度情况下的分布式计算节点的CPU使用率以及数据处理流量构建以CPU使用率为X轴，数据处理流量为Y轴构建平面坐标系；
阈值线单元，用于将低数据处理速度、中数据处理速度以及高数据处理速度情况下分布式计算节点的CPU使用率以及数据处理流量在平面坐标系上对应的三个点分别为低数据处理速度点、中数据处理速度点以及高数据处理速度点；连接低数据处理速度点以及中数据处理速度点，连接中数据处理速度点以及高数据处理速度点得到关联折线；
微调单元，用于对关联折线进行微调得到阈值线；
抽样点采集单元，用于在分布式计算节点运行时，将当前数据处理速度下的CPU使用率以及数据处理流量在平面坐标系上对应的点作为抽样点；
判别控制单元，用于当抽样点距离阈值线的最短距离小于第一阈值时，若分布式计算节点处于非低数据处理速度，则控制分布式计算节点降低一个档位的处理速度，若分布式计算节点处于低数据处理速度，则控制分布式计算节点停止运行。
本公开的有益效果为：本发明提供基于分布式调度的数据关联整合方法及系统，通过设置阈值线能够避免分布式计算节点在运行时一直反复在CPU高负荷状态运行，这样会严重影响分布式计算节点的CPU的使用寿命，保证分布式计算节点一直以安全的数据处理速度运行，能够在分布式计算节点在可接受的范围内以较高速度进行数据处理。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为基于分布式调度的数据关联整合方法的流程图；
图2所示为基于分布式调度的数据关联整合过程的运行流程图。
具体实施方式
以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示为根据本公开的基于分布式调度的数据关联整合方法的流程图，图2则是对数据关联整合的运行过程进行了介绍，下面结合图1来阐述根据本公开的实施方式的基于分布式调度的数据关联整合方法。
本公开提出基于分布式调度的数据关联整合方法，所述方法包括以下步骤：
S100，预定义低数据处理速度、中数据处理速度以及高数据处理速度，分别在以上3种处理速度的情况下采集分布式计算节点的CPU使用率以及数据处理流量；
S200，以低数据处理速度、中数据处理速度以及高数据处理速度情况下的分布式计算节点的CPU使用率以及数据处理流量，通过以CPU使用率为X轴，数据处理流量为Y轴建立平面坐标系；
S300，将低数据处理速度、中数据处理速度以及高数据处理速度情况下的CPU使用率以及数据处理流量在平面坐标系中对应的三个点作为低数据处理速度点、中数据处理速度点、高数据处理速度点；
S400，连接低数据处理速度点以及中数据处理速度点，连接中数据处理速度点以及高数据处理速度点，形成处理速度关联折线，对所述处理速度关联折线进行调整得到阈值线；
S500，获取分布式计算节点的实时运行CPU使用率以及数据处理流量，并在平面坐标系中形成对应的抽样点；
S600，当抽样点距离阈值线的最短距离小于第一阈值时，若分布式计算节点处于非低数据处理速度，则控制分布式计算节点降低一个档位的处理速度，若分布式计算节点处于低数据处理速度，则控制分布式计算节点停止运行。
作为本发明的优选实施方式，在上述步骤S100中的低数据处理速度、中数据处理速度以及高数据处理速度通过大量实验论证进行人工划分，具体的数据处理速度能够通过分布式计算节点进行读取。
作为本发明的优选实施方式，在上述步骤S400中，对关联折线进行调整得到阈值线的方法包括以下：
设阈值线上低数据处理速度、中数据处理速度以及高数据处理速度下分布式计算节点的CPU使用率以及数据处理流量在平面坐标系上对应的三个点的坐标为(x1,y1),(x2,y2),(x3,y3)，令(xi,yi)为分布式计算节点在3种不同处理速度下的CPU使用率以及数据处理流量，令x为CPU使用率，y为数据处理流量，在3种不同数据处理速度下坐标点(x,y)到阈值线的坐标(xi,yi)的距离分别为d1,d2,d3，则可建立以下坐标点(x,y)到阈值线的坐标(xi,yi)的距离关系:
Figure BDA0003010407850000051
将d1 2-d3 2,d2 2-d3 2，将拟进行微调的xi,yi作为未知量进行求解，则简化为矩阵形式为：Az＝b，其中：
Figure BDA0003010407850000052
Figure BDA0003010407850000053
得到校正矩阵Q(z)：Q(z)＝||b-Az||2；
对z进行求导得：
Figure BDA0003010407850000054
如果AAT为非奇异矩阵，则得到z＝(ATA)-1ATb，则求解z的方程组中微调后的(xi,yi)，将微调后的(xi,yi)记为(x′i,y′i)，连接坐标点(x′i,y′i)，i＝1…3，即由坐标点(x′2,y′2)向坐标点(x′1,y′1)和坐标点(x′3,y′3)的方向分别作2条射线，2条射线以坐标点(x′2,y′2)为连接点即得到关联折线；通过拟合关联折线，可以使得阈值线到抽样点的最短距离精度更高，能够避免分布式计算节点运行时一直反复运行在计算负荷的临界值。
作为本发明的优选实施方式，在上述步骤S600中，第一阈值的具体为：低数据处理速度以及高数据处理速度下分布式计算节点的CPU使用率以及数据处理流量对应在平面坐标系上的两个坐标点之间距离的一半。
作为本发明的优选实施方式，在上述步骤S600中，如果分布式计算节点处于处于低数据处理速度，且被控制停止运行，则经过第二阈值的时间后，所述分布式计算节点将被重新启动，并以高数据处理速度运行，且重新执行步骤S100至步骤S600。
本发明还提出基于分布式调度的数据关联整合系统，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：
分布式计算节点数据获取单元，用于分别获取在低数据处理速度、中数据处理速度以及高数据处理速度情况下的分布式计算节点的CPU使用率以及数据处理流量；
坐标系构建单元，用于通过低数据处理速度、中数据处理速度以及高数据处理速度情况下的分布式计算节点的CPU使用率以及数据处理流量构建以CPU使用率为X轴，数据处理流量为Y轴构建平面坐标系；
阈值线单元，用于将低数据处理速度、中数据处理速度以及高数据处理速度情况下分布式计算节点的CPU使用率以及数据处理流量在平面坐标系上对应的三个点分别为低数据处理速度点、中数据处理速度点以及高数据处理速度点；连接低数据处理速度点以及中数据处理速度点，连接中数据处理速度点以及高数据处理速度点得到关联折线；
微调单元，用于对关联折线进行微调得到阈值线；
抽样点采集单元，用于在分布式计算节点运行时，将当前数据处理速度下的CPU使用率以及数据处理流量在平面坐标系上对应的点作为抽样点；
判别控制单元，用于当抽样点距离阈值线的最短距离小于第一阈值时，若分布式计算节点处于非低数据处理速度，则控制分布式计算节点降低一个档位的处理速度，若分布式计算节点处于低数据处理速度，则控制分布式计算节点停止运行。
所述基于分布式调度的数据关联整合系统可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述基于分布式调度的数据关联整合系统，可运行的系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是基于分布式调度的数据关联整合系统的示例，并不构成对基于分布式调度的数据关联整合系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于分布式调度的数据关联整合系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于分布式调度的数据关联整合系统运行系统的控制中心，利用各种接口和线路连接整个基于分布式调度的数据关联整合系统可运行系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于分布式调度的数据关联整合系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。

Claims (6)

1.基于分布式调度的数据关联整合方法，其特征在于，所述方法包括以下步骤：
S100，预定义低数据处理速度、中数据处理速度以及高数据处理速度，分别在以上3种处理速度的情况下采集分布式计算节点的CPU使用率以及数据处理流量；
S200，以低数据处理速度、中数据处理速度以及高数据处理速度情况下的分布式计算节点的CPU使用率以及数据处理流量，通过以CPU使用率为X轴，数据处理流量为Y轴建立平面坐标系；
S300，将低数据处理速度、中数据处理速度以及高数据处理速度情况下的CPU使用率以及数据处理流量在平面坐标系中对应的三个点作为低数据处理速度点、中数据处理速度点、高数据处理速度点；
S400，连接低数据处理速度点以及中数据处理速度点，连接中数据处理速度点以及高数据处理速度点，形成处理速度的关联折线，对所述处理速度关联折线进行调整得到阈值线；
S500，获取分布式计算节点的实时运行CPU使用率以及数据处理流量，并在平面坐标系中形成对应的抽样点；
S600，当抽样点距离阈值线的最短距离小于第一阈值时，若分布式计算节点处于非低数据处理速度，则控制分布式计算节点降低一个档位的处理速度，若分布式计算节点处于低数据处理速度，则控制分布式计算节点停止运行。
2.根据权利要求1所述的基于分布式调度的数据关联整合方法，其特征在于，在上述步骤S100中的低数据处理速度、中数据处理速度以及高数据处理速度通过大量实验论证进行人工划分，具体的数据处理速度能够通过分布式计算节点进行读取。
3.根据权利要求1所述的基于分布式调度的数据关联整合方法，其特征在于，在上述步骤S400中，对关联折线进行调整得到阈值线的方法包括以下：
设阈值线上低数据处理速度、中数据处理速度以及高数据处理速度下分布式计算节点的CPU使用率以及数据处理流量在平面坐标系上对应的三个点的坐标为(x1,y1),(x2,y2),(x3,y3)，令(xi,yi)为分布式计算节点在3种不同处理速度下的CPU使用率以及数据处理流量，令x为CPU使用率，y为数据处理流量，在3种不同数据处理速度下坐标点(x,y)到阈值线的坐标(xi,yi)的距离分别为d1,d2,d3，则可建立以下坐标点(x,y)到阈值线的坐标(xi,yi)的距离关系:
Figure FDA0003010407840000021
将d1 2-d3 2,d2 2-d3 2，将拟进行微调的xi,yi作为未知量进行求解，则简化为矩阵形式为：Az＝b，
其中：
Figure FDA0003010407840000022
Figure FDA0003010407840000023
得到校正矩阵Q(z)：Q(z)＝||b-Az||2；
对z进行求导得：
Figure FDA0003010407840000024
如果AAT为非奇异矩阵，则得到z＝(ATA)- 1ATb，则求解z的方程组中微调后的(xi,yi)，将微调后的(xi,yi)记为(x′i,y′i)，连接坐标点(x′i,y′i)，i＝1…3，即由坐标点(x′2,y′2)向坐标点(x′1,y′1)和坐标点(x′3,y′3)的方向分别作2条射线，2条射线以坐标点(x′2,y′2)为连接点即得到关联折线；通过拟合关联折线，可以使得阈值线到抽样点的最短距离精度更高，能够避免分布式计算节点运行时一直反复运行在计算负荷的临界值。
4.根据权利要求1所述的基于分布式调度的数据关联整合方法，其特征在于，在上述步骤S600中，第一阈值的具体为：低数据处理速度以及高数据处理速度下分布式计算节点的CPU使用率以及数据处理流量对应在平面坐标系上的两个坐标点之间距离的一半。
5.根据权利要求1所述的基于分布式调度的数据关联整合方法，其特征在于，在上述步骤S600中，如果分布式计算节点处于处于低数据处理速度，且被控制停止运行，则经过第二阈值的时间后，所述分布式计算节点将被重新启动，并以高数据处理速度运行，且重新执行步骤S100至步骤S600。
6.基于分布式调度的数据关联整合系统，其特征在于，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：
分布式计算节点数据获取单元，用于分别获取在低数据处理速度、中数据处理速度以及高数据处理速度情况下的分布式计算节点的CPU使用率以及数据处理流量；
坐标系构建单元，用于通过低数据处理速度、中数据处理速度以及高数据处理速度情况下的分布式计算节点的CPU使用率以及数据处理流量构建以CPU使用率为X轴，数据处理流量为Y轴构建平面坐标系；
阈值线单元，用于将低数据处理速度、中数据处理速度以及高数据处理速度情况下分布式计算节点的CPU使用率以及数据处理流量在平面坐标系上对应的三个点分别为低数据处理速度点、中数据处理速度点以及高数据处理速度点；连接低数据处理速度点以及中数据处理速度点，连接中数据处理速度点以及高数据处理速度点得到关联折线；
微调单元，用于对关联折线进行微调得到阈值线；
抽样点采集单元，用于在分布式计算节点运行时，将当前数据处理速度下的CPU使用率以及数据处理流量在平面坐标系上对应的点作为抽样点；
判别控制单元，用于当抽样点距离阈值线的最短距离小于第一阈值时，若分布式计算节点处于非低数据处理速度，则控制分布式计算节点降低一个档位的处理速度，若分布式计算节点处于低数据处理速度，则控制分布式计算节点停止运行。
CN202110373856.3A 2021-04-07 2021-04-07 基于分布式调度的数据关联整合方法及系统 Pending CN113282404A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110373856.3A CN113282404A (zh) 2021-04-07 2021-04-07 基于分布式调度的数据关联整合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110373856.3A CN113282404A (zh) 2021-04-07 2021-04-07 基于分布式调度的数据关联整合方法及系统

Publications (1)

Publication Number Publication Date
CN113282404A true CN113282404A (zh) 2021-08-20

Family

ID=77276428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110373856.3A Pending CN113282404A (zh) 2021-04-07 2021-04-07 基于分布式调度的数据关联整合方法及系统

Country Status (1)

Country Link
CN (1) CN113282404A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073988A1 (ko) * 2015-10-26 2017-05-04 동국대학교산학협력단 Gpu를 이용한 파일의 분산 저장 시스템 및 방법
CN109145055A (zh) * 2018-09-07 2019-01-04 杭州玳数科技有限公司 一种基于Flink的数据同步方法和系统
WO2020125767A1 (zh) * 2018-12-21 2020-06-25 中兴通讯股份有限公司 一种流数据处理方法及装置
CN111946543A (zh) * 2020-07-14 2020-11-17 国家电投集团广西长洲水电开发有限公司 一种基于物联网的灯泡式贯流机组安全预警方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073988A1 (ko) * 2015-10-26 2017-05-04 동국대학교산학협력단 Gpu를 이용한 파일의 분산 저장 시스템 및 방법
CN109145055A (zh) * 2018-09-07 2019-01-04 杭州玳数科技有限公司 一种基于Flink的数据同步方法和系统
WO2020125767A1 (zh) * 2018-12-21 2020-06-25 中兴通讯股份有限公司 一种流数据处理方法及装置
CN111946543A (zh) * 2020-07-14 2020-11-17 国家电投集团广西长洲水电开发有限公司 一种基于物联网的灯泡式贯流机组安全预警方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
段婕: "集群负载均衡技术在电力视频监控中的研究", 《电力信息与通信技术》 *
段婕: "集群负载均衡技术在电力视频监控中的研究", 《电力信息与通信技术》, no. 04, 15 April 2016 (2016-04-15), pages 1 - 5 *
段婕;: "集群负载均衡技术在电力视频监控中的研究", 电力信息与通信技术, no. 04, pages 1 - 5 *

Similar Documents

Publication Publication Date Title
CN110674053B (zh) Ssd数据存储节点管理方法、装置、计算机设备及存储介质
CN109598250B (zh) 特征提取方法、装置、电子设备和计算机可读介质
WO2021042748A1 (zh) 一种基于概率分布的轴承工况稳定性评估方法及装置
CN111144511A (zh) 基于神经网络的图像处理方法、系统、介质及电子终端
TWI807299B (zh) 圖像深度擴增方法、裝置及電子設備
US20220351490A1 (en) Convolution calculation method, convolution calculation apparatus, and terminal device
US11036797B2 (en) Efficient storage and utilization of a hierarchical data set
CN111160242A (zh) 图像目标检测方法、系统、电子终端及存储介质
WO2022041188A1 (zh) 用于神经网络的加速器、方法、装置及计算机存储介质
WO2020248499A1 (zh) 基于卷积神经网络的显存处理方法、装置及存储介质
WO2019033634A1 (zh) 节点处理
CN109656946B (zh) 一种多表关联查询方法、装置及设备
CN110263010B (zh) 一种缓存文件自动更新方法及装置
CN113282404A (zh) 基于分布式调度的数据关联整合方法及系统
CN112711051A (zh) 一种飞控系统定位方法、装置、设备及存储介质
CN109272567B (zh) 三维模型优化方法和装置
US10108466B2 (en) Optimizing the initialization of a queue via a batch operation
CN116467896A (zh) 一种口腔正畸疗效模拟系统及方法
CN108648136B (zh) 对二维查找表进行压缩的方法及装置
CN116384505A (zh) 一种数据处理的方法、装置、存储介质及电子设备
CN113282535B (zh) 量化处理方法和装置、量化处理芯片
CN111966472B (zh) 一种工业实时操作系统的进程调度方法及系统
CN108804533B (zh) 一种异构大数据信息的过滤方法及装置
CN111241099A (zh) 一种工业大数据存储方法及装置
CN109324797B (zh) 一种桌面图标生成方法、计算机可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210820