CN116962299A - 一种数据中心算力调度方法、系统、设备及可读存储介质 - Google Patents
一种数据中心算力调度方法、系统、设备及可读存储介质 Download PDFInfo
- Publication number
- CN116962299A CN116962299A CN202311218708.XA CN202311218708A CN116962299A CN 116962299 A CN116962299 A CN 116962299A CN 202311218708 A CN202311218708 A CN 202311218708A CN 116962299 A CN116962299 A CN 116962299A
- Authority
- CN
- China
- Prior art keywords
- remote monitoring
- frequency domain
- matrix
- bit
- domain feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims abstract description 124
- 238000012544 monitoring process Methods 0.000 claims abstract description 73
- 230000009466 transformation Effects 0.000 claims abstract description 72
- 238000013139 quantization Methods 0.000 claims abstract description 23
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 238000007667 floating Methods 0.000 claims abstract description 10
- 238000012806 monitoring device Methods 0.000 claims description 76
- 230000007613 environmental effect Effects 0.000 claims description 57
- 238000001514 detection method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 230000007704 transition Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013618 particulate matter Substances 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本申请提供了一种数据中心算力调度方法、系统、设备及可读存储介质，首先通过远程监测设备获取环境数据的二维矩阵，对环境数据的二维矩阵进行频域特征变换后量化编码得到压缩数据块，再获取压缩数据块在传输时对应的比特数，得到比特特征值，记录上一调度周期中远程监测设备的历史比特特征值序列，并根据历史比特特征值序列确定各个远程监测设备对应的算力信息熵，得到算力信息熵集合，对算力信息熵集合进行权重标准化，得到算力调度权重矩阵，最后根据算力调度权重矩阵调整下一调度周期中各个远程监测设备对应区域占用的浮点数，实现了一种能够根据远程监测设备在上一调度周期传输的数据情况，实时调度各区域占用的计算资源的算力调度方法。
Description
技术领域
本申请涉及数据中心技术领域，并且更具体地，涉及一种数据中心算力调度方法、系统、设备及可读存储介质。
背景技术
随着 5G与人工智能等新平台的蓬勃兴起，自动驾驶、人脸识别、智能制造等各类新兴业务对算力提出了灵活便捷、按需匹配的新要求，数据中心的算力调度也因此迎来更大挑战；算力调度是一种通过智能分配策略，实现数据中心算力的灵活流动，能够针对用户或设备需求，合理的完成数据中心的计算资源再分配的一种前沿技术。
现有技术中往往通过远程客户端或设备向数据中心发送计算请求完成算力调度，但在远程用户或设备传输的数据快速变化时存在通信延迟和任务调度周期较长的问题，导致重要任务可能需要在优先级队列中等待较长时间才能得到执行，算力调度的实时性不高，因此，如何实现一种能够适应不同任务和应用场景的特殊需求的算力调度方法成为亟需要解决的问题。
发明内容
本申请提供一种数据中心算力调度方法、系统设备及可读存储介质，以解决现有的算力调度方法中面对远程监测设备传输的数据快速变化时，算力调度的实时性不高的技术问题。
本申请采用如下技术方案解决上述技术问题：
第一方面，本申请提供一种数据中心算力调度方法，该方法可以由网络设备执行，或者，也可以由配置于网络设备中的芯片执行，本申请对此不作限定。
具体的，该方法包括：
通过与数据中心连接的远程监测设备获取环境数据，得到环境数据的二维矩阵；
对所述环境数据的二维矩阵进行频域特征变换，得到频域特征变换矩阵，进而对所述频域特征变换矩阵进行量化编码得到压缩数据块；
所述远程监测设备向数据中心发送压缩数据块，获取所述压缩数据块在传输时对应的比特数，得到比特特征值；
记录上一调度周期中所述远程监测设备发送的各个压缩数据块的比特特征值，得到所述远程监测设备的历史比特特征值序列；
获取与所述数据中心连接的各个远程监测设备的历史比特特征值序列，并根据所述各个远程监测设备的历史比特特征值序列确定各个远程监测设备对应的算力信息熵，得到算力信息熵集合；
对所述算力信息熵集合进行权重标准化，得到算力调度权重矩阵，根据所述算力调度权重矩阵调整各个远程监测设备的对应检测区域占用的浮点数。
结合第一方面，在第一方面的某些实现方式中，对所述环境数据的二维矩阵进行频域特征变换，得到频域特征变换矩阵包括：
对所述环境数据的二维矩阵进行均值平移，得到零均值二维矩阵；
对所述零均值二维矩阵中的每一行元素进行频域特征变换，得到频域特征过渡矩阵；
对所述频域特征过渡矩阵中的每一列元素进行频域特征变换，得到最终的频域特征变换矩阵。
结合第一方面，在第一方面的某些实现方式中，对所述零均值二维矩阵中的一行元素进行频域特征变换的过程中，其中任意一行在频域特征变换后的矩阵元素由下式确定：
其中，为该行中变换后的的第/>个元素值，/>为该行第/>个元素值的变换系数，/>为该行中元素个数，/>为变换前该行的第/>个元素，/>为自然圆周率，/>为余弦函数，/>为平方根函数。
结合第一方面，在第一方面的某些实现方式中，对所述频域特征变换矩阵进行量化编码得到压缩数据块具体包括：
将所述频域特征变换矩阵中的元素与预设的量化表中的元素相除并舍去小数项，得到量化后的频域特征变换矩阵；
将量化后的频域特征变换矩阵中的元素编码成二进制数据，并按照行优先的方式排列，得到由二进制数据组成的压缩数据块。
结合第一方面，在第一方面的某些实现方式中，采用哈夫曼编码将量化后的频域特征变换矩阵中的元素编码成二进制数据。
结合第一方面，在第一方面的某些实现方式中，所述算力信息熵为远程监测设备的历史比特特征值序列的信息熵，具体来说，可以通过下式确定各个远程监测设备对应的算力信息熵：
其中，为远程监测设备对应的算力信息熵，/>为该远程监测设备对应的历史比特特征值序列中出现过的第/>类相同的历史比特特征值，/>为所述历史比特特征值序列中第/>类相同的历史比特特征值出现的概率，/>为将所述历史比特特征值序列中相同的历史比特特征值归为一类后，所述历史比特特征值序列中相同的历史比特特征值的类数，log为对数函数。
结合第一方面，在第一方面的某些实现方式中，所述比特特征值为所述压缩数据块在传输时对应的比特数与标准比特数的比值。
第二方面，本申请提供一种数据中心算力调度系统，所述数据中心算力调度系统包括：
环境数据监测模块，用于通过与数据中心连接的远程监测设备获取环境数据，得到环境数据的二维矩阵；
压缩数据块确定模块，用于对所述环境数据的二维矩阵进行频域特征变换，得到频域特征变换矩阵，进而对所述频域特征变换矩阵进行量化编码得到压缩数据块；
比特特征值确定模块，用于所述远程监测设备向数据中心发送压缩数据块，获取所述压缩数据块在传输时对应的比特数，得到比特特征值；
历史比特特征值序列记录模块，用于记录上一调度周期中所述远程监测设备发送的各个压缩数据块的比特特征值，得到所述远程监测设备的历史比特特征值序列；
算力信息熵确定模块，用于获取与所述数据中心连接的各个远程监测设备的历史比特特征值序列，并根据所述各个远程监测设备的历史比特特征值序列确定各个远程监测设备对应的算力信息熵，得到算力信息熵集合；
算力调度模块，用于对所述算力信息熵集合进行权重标准化，得到算力调度权重矩阵，根据所述算力调度权重矩阵调整各个远程监测设备的对应检测区域占用的浮点数。
第三方面，本申请提供一种计算机终端设备，所述计算机终端设备包括存储器和处理器，所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行上述的数据中心算力调度方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现上述数据中心算力调度方法所执行的操作。
本申请公开的实施例提供的技术方案具有以下有益效果：
本申请提供的一种数据中心算力调度方法、系统设备及可读存储介质中，首先通过与数据中心连接的远程监测设备获取环境数据，得到环境数据的二维矩阵，对环境数据的二维矩阵进行频域特征变换，得到频域特征变换矩阵，进而对频域特征变换矩阵进行量化编码得到压缩数据块，远程监测设备向数据中心发送压缩数据块，获取压缩数据块在传输时对应的比特数，得到比特特征值，记录上一调度周期中远程监测设备发送的各个压缩数据块的比特特征值，得到远程监测设备的历史比特特征值序列，获取与数据中心连接的各个远程监测设备的历史比特特征值序列，并根据各个远程监测设备的历史比特特征值序列确定各个远程监测设备对应的算力信息熵，得到算力信息熵集合，对算力信息熵集合进行权重标准化，得到算力调度权重矩阵，根据算力调度权重矩阵调整下一调度周期中各个远程监测设备对应区域占用的浮点数，实现了一种能够根据远程监测设备在上一调度周期传输的数据情况，实时调度各区域占用的计算资源的算力调度方法，增加了数据中心算力调度的实时性。
附图说明
图1是根据本申请一些实施例所示的一种数据中心算力调度方法的示例性流程图；
图2是根据本申请一些实施例所示的数据中心算力调度方法系统的示例性硬件和/或软件的示意图；
图3是根据本申请一些实施例所示的应用数据中心算力调度方法的计算机终端设备的结构示意图。
具体实施方式
本申请通过与数据中心连接的远程监测设备获取环境数据，得到环境数据的二维矩阵，对环境数据的二维矩阵进行频域特征变换，得到频域特征变换矩阵，进而对频域特征变换矩阵进行量化编码得到压缩数据块，远程监测设备向数据中心发送压缩数据块，获取压缩数据块在传输时对应的比特数，得到比特特征值，记录上一调度周期中远程监测设备发送的各个压缩数据块的比特特征值，得到远程监测设备的历史比特特征值序列，获取与数据中心连接的各个远程监测设备的历史比特特征值序列，并根据各个远程监测设备的历史比特特征值序列确定各个远程监测设备对应的算力信息熵，得到算力信息熵集合，对算力信息熵集合进行权重标准化，得到算力调度权重矩阵，根据算力调度权重矩阵调整下一调度周期中各个远程监测设备对应区域占用的浮点数，实现了一种能够根据远程监测设备在上一调度周期传输的数据情况，实时调度各区域占用的计算资源的算力调度方法，增加了数据中心算力调度的实时性。
为了更好的理解本申请中的技术方案，下面将结合说明书附图以及具体的实施方式，对本申请中的技术方案进行描述，参考图1，该图是根据本申请一些实施例所示的数据中心算力调度方法的示例性流程图，该数据中心算力调度方法100主要包括如下步骤：
在步骤101，通过与数据中心连接的远程监测设备获取环境数据，得到环境数据的二维矩阵；
可选的，在一些实施例中，所述环境数据包括：空气温度值、空气湿度值、气压值，风速值，在其他一些实施例中，所述环境数据也可以是其他通过远程监测设备采集得到的大气数据，如颗粒物浓度等，这里不做限定。
具体实现时，所述远程监测设备可以是能够监测环境数据的多功能环境监测传感器，也可以是其他可以获取环境数据的装置或设备，这里同样不做限定。
可选的，在一些实施例中，所述远程监测设备在一天中存在多个监测时段，各个监测时段中存在多个时隙，即远程监测设备两次监测之间的监测间隔，从而实现等间隔的对环境数据进行监测；具体实现时，例如，每个监测时段中存在m个监测间隔，即每个监测时段中存在m个环境数据，预设所述远程监测设备每次向数据中心发送n个监测时段的环境数据时，每个监测时段的环境数据在所述环境数据的二维矩阵中占据一行，从而得到所述环境数据的m×n的环境数据的二维矩阵。
在步骤102，对所述环境数据的二维矩阵进行频域特征变换，得到频域特征变换矩阵，进而对所述频域特征变换矩阵进行量化编码得到压缩数据块；
在一些实施例中，对所述环境数据的二维矩阵进行频域特征变换，得到频域特征变换矩阵包括：
对所述环境数据的二维矩阵进行均值平移，得到零均值二维矩阵；
对所述零均值二维矩阵中的每一行元素进行频域特征变换，得到频域特征过渡矩阵；
对所述频域特征过渡矩阵中的每一列元素进行频域特征变换，得到最终的频域特征变换矩阵；
需要说明的，通过均值平移将所述环境数据的二维矩阵均值移动到原点，可以消除环境数据中的整体偏移或偏置，有助于减少由于数据偏移引起的误差，增强环境数据的鲁棒性，在一些实施例中，对所述环境数据的二维矩阵进行均值平移具体包括：将所述环境数据的二维矩阵中所有元素减去所有元素的平均值，从而将所述环境数据的二维矩阵重元素的均值置零，得到零均值二维矩阵。
优选的，在一些实施例中，对所述零均值二维矩阵中的一行元素进行频域特征变换的过程中，其中一行在频域特征变换后的矩阵元素可由下式确定：
其中，为该行中变换后的的第/>个元素值，/>为该行第/>个元素值的变换系数，/>为该行中元素个数，/>为变换前该行的第/>个元素，/>为自然圆周率，/>为余弦函数，/>为平方根函数。
需要说明的，可采用相同的方式确定对所述频域特征过渡矩阵中的每一列元素进行频域特征变换，得到最终的频域特征变换矩阵，采用上述方式对所述环境数据的二维矩阵做频域特征变换，可以通过将所述环境数据的二维矩阵中每一个元素与不同的余弦函数相乘，并对结果进行加权求和的方式，得到所述环境数据的二维矩阵中每一个元素在频域中的频率分量，从而能够将所述环境数据从时域中的值转化至频域，降低了所述环境数据的存储空间，便于后续的量化编码。
优选的，在一些实施例中，对所述频域特征变换矩阵进行量化编码得到压缩数据块具体包括：
将所述频域特征变换矩阵中的元素与预设的量化表中的元素相除并舍去小数项，得到量化后的频域特征变换矩阵；
将量化后的频域特征变换矩阵中的元素编码成二进制数据，并按照行优先的方式排列，得到由二进制数据组成的压缩数据块。
需要说明的，所述量化表是一个矩阵，量化表中的元素表示量化步长的大小，在对所述频域特征变换矩阵进行量化编码的过程中，将频域特征变换矩阵中的每个元素与量化表中对应位置的元素相除，并舍去小数项，可以使得所述频域特征变换矩阵中的元素绝对值降低，从而在后续的编码过程中减小了数据占有的存储容量，在一些实施例中，可以采用哈夫曼编码将量化后的频域特征变换矩阵中的元素编码成二进制数据。
在步骤103，所述远程监测设备向数据中心发送压缩数据块，获取所述压缩数据块在传输时对应的比特数，得到比特特征值；
在一些实施例中，可以在数据中心的网络设备（如交换机、路由器）中，通过解析网络层级的包头信息来获取数据块在传输时对应的比特数，需要说明的，包头中通常包含数据包的长度字段，该字段可以用于确定传输时压缩数据块对应的比特数，该比特数大小即为该压缩数据包的数据大小。
优选的，在一些实施例中，所述比特特征值为所述压缩数据块在传输时对应的比特数与标准比特数的比值，所述标准比特数预设为远程监测设备向数据中心发送环境数据的二维矩阵的数据比特数，需要说明的，当所述环境数据的波动性越弱时，对所述环境数据的二维矩阵进行频域特征变换，得到频域特征变换矩阵中的频率分量越小，因此其后续进行的量化编码可以获得更好的压缩率，压缩后的压缩数据块在传输时对应的比特数也相应减小，即，远程监测设备采集的环境信息波动性越弱，其对应的比特特征值越小，数据中心需要针对环境信息变化做出的决策调动也更加简单，因此，可以根据各个远程监测设备的比特特征值确定对应的算力调度权重，并组成算力调度权重矩阵，进而根据所述算力调度权重矩阵完成对各个远程监测设备所占用的浮点数的调度，实现数据中心的算力调度。
在步骤104，记录上一调度周期中所述远程监测设备发送的各个压缩数据块的比特特征值，得到所述远程监测设备的历史比特特征值序列；
需要说明的，所述调度周期中包含多个监测时段，所述监测时段中包含多个监测间隔；其中，所述调度周期为所述数据中心进行算力调度的最小时间周期，每经过一个调度周期，数据中心根据与其连接的环境监测设备传输的数据调整其算力分配，即进行一次算力调度，因此，需要对上一调度周期中所述远程监测设备发送的各个压缩数据块的比特特征值进行综合分析，例如，求取远程监测设备的历史比特特征值序列的平均值，并根据所述历史比特特征值序列的平均值确定远程监测设备对应的算力调度权重。
可选的，在一些实施例中，可以通过数据中心记录上一调度周期中所述远程监测设备发送的各个压缩数据块的比特特征值，并基于比特特征值获取时的时序进行排序，得到所述远程监测设备的历史比特特征值序列。
在步骤105，获取与所述数据中心连接的各个远程监测设备的历史比特特征值序列，并根据所述各个远程监测设备的历史比特特征值序列确定各个远程监测设备对应的算力信息熵，得到算力信息熵集合；
在一些实施例中，所述算力信息熵为远程监测设备的历史比特特征值序列的信息熵，具体来说，可以通过下式确定各个远程监测设备对应的算力信息熵：
其中，为远程监测设备对应的算力信息熵，/>为该远程监测设备对应的历史比特特征值序列中出现过的第/>类相同的历史比特特征值，/>为所述历史比特特征值序列中第/>类相同的历史比特特征值出现的概率，/>为将所述历史比特特征值序列中相同的历史比特特征值归为一类后，所述历史比特特征值序列中相同的历史比特特征值的类数，log为对数函数。
确定各个远程监测设备对应的算力信息熵后组成算力信息熵集合，所述算力信息上集合中的任一算力信息熵用于对其对应的远程监测设备进行算力调度，需要说明的，本申请中所述算力信息熵为所述数据中心进行算力调度的参考特征，对于与数据中心连接的单个远程监测设备来说，其算力信息熵越大，表明其向数据中心传输的环境数据信息波动性越强，其对应要求占用的数据中心浮点数越大。
在步骤106，对所述算力信息熵集合进行权重标准化，得到算力调度权重矩阵，根据所述算力调度权重矩阵调整各个远程监测设备的对应检测区域占用的浮点数。
需要说明的，与所述数据中心连接的每个远程监测设备存在与其对应的监测区域，通过所述远程监测设备采集该监测区域的环境数据并传输至数据中心后，数据中心需要根据环境数据计算该监测区域的远程执行设备的控制律，所述远程执行设备例如可以是空气调节装置，数据中心通过向所述远程执行设备下达指定，从而通过远程执行设备对指定区域的环境情况进行调节，当数据中心连接的远程监测设备过多时，往往容易出现数据中心算力不足的情况，因此需要根据各个远程监测设备在上一调度传输的环境数据确定其对应的算力调度权重，根据所述算力调度权重对各个远程监测设备对应的监测区域可以调取的浮点数提前进行调整，增加算力调度的实时性。
需要说明的，在所述算力调度权重矩阵中，所述远程监测设备对应的算力调度权重基于所述远程监测设备上在一调度周期的比特特征值序列的平均值与其对应的算力信息熵确定，其中，权重标准化是指将不同范围或数值分布的算力信息熵映射到一个统一的范围内，并与所述算力信息熵对应的平均比特特征值相乘，得到各个远程监测设备对应的算力调度权重，从而使得该算力调度权重在数值上具有一致性或可比性，可选的，在一些实施例中，可采用下式对所述算力信息熵集合进行权重标准化：
其中，为所述算力信息熵集合中第/>个算力信息熵，/>为第/>个算力信息熵对应的比特特征值序列的平均值，/>第/>个算力信息熵权重标准化后的算力调度权重，/>为所述算力信息熵集合中算力信息熵的最小值，/>为所述算力信息熵集合中算力信息熵的最大值。
需要说明的，所述算力调度权重为所述数据中心进行算力调度时，确定远程监测设备的算力需求时的参考权重，当所述远程监测设备的算力调度权重越大，表示其环境数据传输时的波动性越强，数据中心需要调取更多的计算资源用于对所述远程监测设备对应的监测区域的环境变换进行分析计算，进而根据分析结果向该远程监测设备对应监测区域中的执行设备传输控制律，通过所述执行设备对该监测区域的环境情况进行远程控制，从而保证在下一调度周期中通过执行设备的远程调控，稳定该监测区域的环境情况，实现了根据上一调度周期的环境数据，对下一调度周期的计算资源的再分配，保证了算力调动的实时性。
可选的，在一些实施例中，一个调度周期结束后，数据中心可以根据所述算力调度权重矩阵中各个远程监测设备对应的检测区域的算力调度权重，动态分配自身计算资源，例如，当某一远程监测设备对应的算力调度权重较大时，可以增加该远程监测设备对应的检测区域中可用的计算资源，如增加该检测区域可以调用的中央处理器核心数，以增加该检测区域在数据中心的计算资源中占据的浮点数，从而对该检测区域中较为剧烈的环境数据变化情况进行调节，避免出现算力需求与自身算力资源不等，导致该监测区域的环境情况恶化。
另外，本申请的另一方面，在一些实施例中，本申请提供一种数据中心算力调度系统，参考图2，该图是根据本申请一些实施例所示的数据中心算力调度系统的示例性硬件和/或软件的示意图，该数据中心算力调度系统200包括：环境数据监测模块201、压缩数据块确定模块202、比特特征值确定模块203、历史比特特征值序列记录模块204、算力信息熵确定模块205和算力调度模块206，分别说明如下：
环境数据监测模块201，在本申请的一些具体的实施例中环境数据监测模块201主要用于通过与数据中心连接的远程监测设备获取环境数据，得到环境数据的二维矩阵；
压缩数据块确定模块202，在本申请的一些具体的实施例中压缩数据块确定模块202主要用于对所述环境数据的二维矩阵进行频域特征变换，得到频域特征变换矩阵，进而对所述频域特征变换矩阵进行量化编码得到压缩数据块；
比特特征值确定模块203，在本申请的一些具体的实施例中比特特征值确定模块203主要用于所述远程监测设备向数据中心发送压缩数据块，获取所述压缩数据块在传输时对应的比特数，得到比特特征值；
历史比特特征值序列记录模块204，在本申请的一些具体的实施例中历史比特特征值序列记录模块204主要用于记录上一调度周期中所述远程监测设备发送的各个压缩数据块的比特特征值，得到所述远程监测设备的历史比特特征值序列；
算力信息熵确定模块205，在本申请的一些具体的实施例中算力信息熵确定模块205主要用于获取与所述数据中心连接的各个远程监测设备的历史比特特征值序列，并根据所述各个远程监测设备的历史比特特征值序列确定各个远程监测设备对应的算力信息熵，得到算力信息熵集合；
算力调度模块206，在本申请的一些具体的实施例中算力调度模块206主要用于对所述算力信息熵集合进行权重标准化，得到算力调度权重矩阵，根据所述算力调度权重矩阵调整各个远程监测设备的对应检测区域占用的浮点数。
另外，本申请还提供一种计算机终端设备，所述计算机终端设备包括存储器和处理器，所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行上述的数据中心算力调度方法。
在一些实施例中，参考图3，该图是根据本申请一些实施例所示的应用数据中心算力调度方法的计算机终端设备的结构示意图。上述实施例中的数据中心算力调度方法可以通过图3所示的计算机终端设备来实现，该计算机终端设备包括至少一个通信总线301、通信接口302、处理器303以及存储器304。
处理器303可以是一个通用中央处理器(central processing unit，CPU)、特定应用集成电路(application-specific integrated circuit，ASIC)或一个或多个用于控制本申请中的数据中心算力调度方法的执行。
通信总线301可包括一通路，在上述组件之间传送信息。
存储器304可以是只读存储器（read-only memory，ROM）或可存储静态信息和指令的其它类型的静态存储设备，随机存取存储器（random access memory，RAM）或者可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器（electricallyerasable programmable read-only memory，EEPROM）、只读光盘（compact disc read-only Memory，CD-ROM）或其它光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘或者其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。存储器304可以是独立存在，通过通信总线301与处理器303相连接。存储器304也可以和处理器303集成在一起。
其中，存储器304用于存储执行本申请方案的程序代码，并由处理器303来控制执行。处理器303用于执行存储器304中存储的程序代码。程序代码中可以包括一个或多个软件模块。上述实施例中比特特征值的确定可以通过处理器303以及存储器304中的程序代码中的一个或多个软件模块实现。
通信接口302，使用任何收发器一类的装置，用于与其它设备或通信网络通信，如以太网，无线接入网（radio access network，RAN），无线局域网（wireless local areanetworks，WLAN）等。
可选地，上述计算机终端设备300还可以包括电源305，用于给计算机终端设备中的各种器件或电路提供电源。
在具体实现中，作为一种实施例，计算机终端设备可以包括多个处理器，这些处理器中的每一个可以是一个单核（single-CPU）处理器，也可以是一个多核（multi-CPU）处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据（例如计算机程序指令）的处理核。
上述的计算机终端设备可以是一个通用计算机终端设备或者是一个专用计算机终端设备。在具体实现中，计算机终端设备可以是台式机、便携式电脑、网络服务器、掌上电脑（personal digital assistant，PDA）、移动手机、平板电脑、无线终端设备、通信设备或者嵌入式设备。本申请实施例不限定计算机终端设备的类型。
另外，在本申请的其他方面还提供一种计算机可读存储介质，所述计算机可读存储介质存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现上述数据中心算力调度方法所执行的操作。
综上，本申请实施例公开的一种数据中心算力调度方法、系统、设备及可读存储介质中，首先通过与数据中心连接的远程监测设备获取环境数据，得到环境数据的二维矩阵，对环境数据的二维矩阵进行频域特征变换，得到频域特征变换矩阵，进而对频域特征变换矩阵进行量化编码得到压缩数据块，远程监测设备向数据中心发送压缩数据块，获取压缩数据块在传输时对应的比特数，得到比特特征值，记录上一调度周期中远程监测设备发送的各个压缩数据块的比特特征值，得到远程监测设备的历史比特特征值序列，获取与数据中心连接的各个远程监测设备的历史比特特征值序列，并根据各个远程监测设备的历史比特特征值序列确定各个远程监测设备对应的算力信息熵，得到算力信息熵集合，对算力信息熵集合进行权重标准化，得到算力调度权重矩阵，根据算力调度权重矩阵调整下一调度周期中各个远程监测设备对应区域占用的浮点数，实现了一种能够根据远程监测设备在上一调度周期传输的数据情况，实时调度各区域占用的计算资源的算力调度方法，增加了数据中心算力调度的实时性。
以上所述的仅是本申请的实施例，方案中公知的具体技术方案或特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本申请技术方案的前提下，还可以作出若干变形和改进，这些也应该视为本申请的保护范围，这些都不会影响本申请实施的效果和专利的实用性。
本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容，显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种数据中心算力调度方法，其特征在于，包括：
通过与数据中心连接的远程监测设备获取环境数据，得到环境数据的二维矩阵；
对所述环境数据的二维矩阵进行频域特征变换，得到频域特征变换矩阵，进而对所述频域特征变换矩阵进行量化编码得到压缩数据块；
所述远程监测设备向数据中心发送压缩数据块，获取所述压缩数据块在传输时对应的比特数，得到比特特征值；
记录上一调度周期中所述远程监测设备发送的各个压缩数据块的比特特征值，得到所述远程监测设备的历史比特特征值序列；
获取与所述数据中心连接的各个远程监测设备的历史比特特征值序列，并根据所述各个远程监测设备的历史比特特征值序列确定各个远程监测设备对应的算力信息熵，得到算力信息熵集合；
对所述算力信息熵集合进行权重标准化，得到算力调度权重矩阵，根据所述算力调度权重矩阵调整各个远程监测设备的对应检测区域占用的浮点数。
2.如权利要求1所述的方法，其特征在于，对所述环境数据的二维矩阵进行频域特征变换，得到频域特征变换矩阵具体包括：
对所述环境数据的二维矩阵进行均值平移，得到零均值二维矩阵；
对所述零均值二维矩阵中的每一行元素进行频域特征变换，得到频域特征过渡矩阵；
对所述频域特征过渡矩阵中的每一列元素进行频域特征变换，得到最终的频域特征变换矩阵。
3.如权利要求2所述的方法，其特征在于，对所述零均值二维矩阵中的一行元素进行频域特征变换的过程中，其中任意一行在频域特征变换后的矩阵元素由下式确定：
其中，为该行中变换后的的第/>个元素值，/>为该行第/>个元素值的变换系数，/>为该行中元素个数，/>为变换前该行的第/>个元素，/>为自然圆周率，/>为余弦函数，为平方根函数。
4.如权利要求1所述的方法，其特征在于，对所述频域特征变换矩阵进行量化编码得到压缩数据块具体包括：
将所述频域特征变换矩阵中的元素与预设的量化表中的元素相除并舍去小数项，得到量化后的频域特征变换矩阵；
将量化后的频域特征变换矩阵中的元素编码成二进制数据，并按照行优先的方式排列，得到由二进制数据组成的压缩数据块。
5.如权利要求4所述的方法，其特征在于，采用哈夫曼编码将量化后的频域特征变换矩阵中的元素编码成二进制数据。
6.如权利要求1所述的方法，其特征在于，所述算力信息熵为远程监测设备的历史比特特征值序列的信息熵，通过下式确定各个远程监测设备对应的算力信息熵：
其中，为远程监测设备对应的算力信息熵，/>为该远程监测设备对应的历史比特特征值序列中出现过的第/>类相同的历史比特特征值，/>为所述历史比特特征值序列中第类相同的历史比特特征值出现的概率，/>为将所述历史比特特征值序列中相同的历史比特特征值归为一类后，所述历史比特特征值序列中相同的历史比特特征值的类数，log为对数函数。
7.如权利要求1所述的方法，其特征在于，所述比特特征值为所述压缩数据块在传输时对应的比特数与标准比特数的比值。
8.一种数据中心算力调度系统，其特征在于，包括有：
环境数据监测模块，用于通过与数据中心连接的远程监测设备获取环境数据，得到环境数据的二维矩阵；
压缩数据块确定模块，用于对所述环境数据的二维矩阵进行频域特征变换，得到频域特征变换矩阵，进而对所述频域特征变换矩阵进行量化编码得到压缩数据块；
比特特征值确定模块，用于所述远程监测设备向数据中心发送压缩数据块，获取所述压缩数据块在传输时对应的比特数，得到比特特征值；
历史比特特征值序列记录模块，用于记录上一调度周期中所述远程监测设备发送的各个压缩数据块的比特特征值，得到所述远程监测设备的历史比特特征值序列；
算力信息熵确定模块，用于获取与所述数据中心连接的各个远程监测设备的历史比特特征值序列，并根据所述各个远程监测设备的历史比特特征值序列确定各个远程监测设备对应的算力信息熵，得到算力信息熵集合；
算力调度模块，用于对所述算力信息熵集合进行权重标准化，得到算力调度权重矩阵，根据所述算力调度权重矩阵调整各个远程监测设备的对应检测区域占用的浮点数。
9.一种计算机终端设备，其特征在于，所述计算机终端设备包括存储器和处理器，所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行如权利要求1至7任一项所述的数据中心算力调度方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有至少一条计算机程序，其特征在于，所述计算机程序由处理器加载并执行以实现如权利要求1至7任一项所述的数据中心算力调度方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311218708.XA CN116962299B (zh) | 2023-09-21 | 2023-09-21 | 一种数据中心算力调度方法、系统、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311218708.XA CN116962299B (zh) | 2023-09-21 | 2023-09-21 | 一种数据中心算力调度方法、系统、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116962299A true CN116962299A (zh) | 2023-10-27 |
| CN116962299B CN116962299B (zh) | 2024-01-19 |
Family
ID=88453298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311218708.XA Active CN116962299B (zh) | 2023-09-21 | 2023-09-21 | 一种数据中心算力调度方法、系统、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116962299B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020168501A1 (zh) * | 2019-02-21 | 2020-08-27 | 上海极清慧视科技有限公司 | 图像的编码方法、解码方法及所适用的设备、系统 |
| WO2020221117A1 (zh) * | 2019-04-30 | 2020-11-05 | 华为技术有限公司 | 一种用于构建预编码矩阵的系数指示方法和通信装置 |
| CN113393358A (zh) * | 2020-03-12 | 2021-09-14 | 阿里巴巴集团控股有限公司 | 图像处理方法和系统、存储介质、计算设备 |
| CN114969060A (zh) * | 2022-08-01 | 2022-08-30 | 浙江木链物联网科技有限公司 | 一种工业设备时序数据压缩存储方法、装置 |
| CN116193130A (zh) * | 2023-03-09 | 2023-05-30 | 苏州亿铸智能科技有限公司 | 一种提高图像数据在网络中传输效率的方法及系统 |
-
2023
- 2023-09-21 CN CN202311218708.XA patent/CN116962299B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020168501A1 (zh) * | 2019-02-21 | 2020-08-27 | 上海极清慧视科技有限公司 | 图像的编码方法、解码方法及所适用的设备、系统 |
| WO2020221117A1 (zh) * | 2019-04-30 | 2020-11-05 | 华为技术有限公司 | 一种用于构建预编码矩阵的系数指示方法和通信装置 |
| CN113393358A (zh) * | 2020-03-12 | 2021-09-14 | 阿里巴巴集团控股有限公司 | 图像处理方法和系统、存储介质、计算设备 |
| CN114969060A (zh) * | 2022-08-01 | 2022-08-30 | 浙江木链物联网科技有限公司 | 一种工业设备时序数据压缩存储方法、装置 |
| CN116193130A (zh) * | 2023-03-09 | 2023-05-30 | 苏州亿铸智能科技有限公司 | 一种提高图像数据在网络中传输效率的方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 宋鸿梅;王岩飞;潘志刚;: "基于FFT-BAQ的SAR原始数据压缩新算法", 系统工程与电子技术, vol. 7, no. 11, pages 8 - 9 * |
| 杨云志;黄顺吉;王建国;: "SAR原始数据的频域量化编码方法研究", 系统工程与电子技术, no. 12 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116962299B (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7895012B2 (en) | Systems and methods for organizing and storing data | |
| CN110928654A (zh) | 一种边缘计算系统中分布式的在线任务卸载调度方法 | |
| CN109981744B (zh) | 数据的分发方法、装置、存储介质及电子设备 | |
| JP7009611B2 (ja) | 伝送ブロックサイズ特定方法、装置および機器 | |
| CN111506390A (zh) | 一种基于容器化部署的视频转码调度方法及系统 | |
| FI3739780T3 (fi) | Tiedonsiirron käsittelymenetelmä ja laite | |
| KR102562732B1 (ko) | Mec 기반 무선 네트워크의 태스크 오프로딩 장치 및 방법 | |
| CN114064261A (zh) | 基于工业边缘计算系统的多维异构资源量化方法及装置 | |
| CN116962299B (zh) | 一种数据中心算力调度方法、系统、设备及可读存储介质 | |
| CN106372649B (zh) | 基于量化的集值卡尔曼滤波方法 | |
| Vestergaard et al. | Titchy: Online time-series compression with random access for the internet of things | |
| Liu et al. | Optimizing scientific data transfer on globus with error-bounded lossy compression | |
| WO2020202313A1 (ja) | ニューラルネットワークのデータ圧縮装置およびデータ圧縮方法 | |
| KR20210147240A (ko) | 모바일 엣지 컴퓨팅을 활용하는 모바일 증강현실 서비스의 모바일 단말 에너지 최적화 방법 및 시스템 | |
| CN116647507A (zh) | 基于负载自适应的物联网数据处理方法及系统 | |
| JP2017162046A (ja) | センサーデータ処理装置、センサーデータ処理システム、センサーデータ処理方法、及び、センサーデータ処理プログラム | |
| CN114253688A (zh) | 在云环境下应用负载重调度的方法及应用 | |
| CN111510715A (zh) | 视频处理方法、系统、计算机设备及存储介质 | |
| CN117527708B (zh) | 基于数据流向的企业级数据链路的优化传输方法及系统 | |
| CN113537447A (zh) | 多层神经网络的生成方法、装置、应用方法及存储介质 | |
| CN116341689B (zh) | 机器学习模型的训练方法、装置、电子设备及存储介质 | |
| CN117472589B (zh) | 一种园区网络服务管理方法及系统 | |
| CN112507358B (zh) | 一种基于场景需求的轻量化加密算法的选择方法 | |
| CN117651081A (zh) | 一种数据传输方法、装置、设备及存储介质 | |
| CN117171399B (zh) | 基于云平台的新能源数据优化存储方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |