CN120819886A - 一种基于深度强化学习的风冷空调系统节能优化控制方法 - Google Patents

Abstract

本发明公开了一种基于深度强化学习的风冷空调系统节能优化控制方法，涉及空调节能优化控制技术领域，该方法的步骤包括：采集风冷空调系统的运行状态数据并进行预处理；分析动作空间参数变化引起状态空间参数变化的敏感程度构建状态‑动作敏感度；基于状态‑动作敏感度分析敏感区域的密度分布特征构建粗区域分区和粗区域敏感密度；基于粗区域敏感密度分析Q值表中的分割粒度，并构建自适应分割粒度；基于自适应分割粒度对Q‑Learning强化学习算法中的状态空间与动作空间进行离散化处理。本发明解决了在风冷空调化控制过程中，通过强化学习算法离散化处理时，容易导致控制精度不足，无法实现对空调系统的精确调控的问题。

Description

一种基于深度强化学习的风冷空调系统节能优化控制方法

技术领域

本发明涉及空调节能优化控制技术领域，具体为一种基于深度强化学习的风冷空调系统节能优化控制方法。

背景技术

风冷空调系统，是一种通过空气作为冷却介质，利用制冷剂在蒸发器中吸收室内空气的热量，再通过冷凝器将热量散发到室外空气中，从而实现对室内温度调节的空调系统。风冷空调系统是建筑中的主要耗能设备之一，其能耗通常占建筑总能耗的比重较大。在实际运行中，由于室内外环境、人员负荷等因素的动态变化，空调系统常处于偏离最优工况的运行状态，导致严重的能源浪费，因此，需要对风冷空调系统进行节能优化控制，在保证室内环境舒适度的前提下，最大限度地降低其运行能耗。

在现有算法中，Q-Learning是一种无模型的强化学习算法，通过构建Q值表，计算每一个“状态-动作”对的价值，根据Q值选择最优动作，实现控制。而在风冷空调系统的节能优化控制过程中，系统的运行状态和执行的控制动作均为连续变化的多维变量，若直接使用原始的Q-Learning强化学习算法，则需要对这些连续的变量进行离散化处理。而离散化处理时，若离散的粒度过粗，则会导致控制精度不足，无法实现对空调系统的精确调控，节能效果不佳；若为了保证精度而采用精细的离散化粒度，则会引发维度灾难，即状态和动作空间将呈指数级增长，使得Q值表异常庞大，导致算法的学习和收敛速度极慢，计算效率低下，无法满足空调系统实时控制的要求。

为此，本发明提供一种基于深度强化学习的风冷空调系统节能优化控制方法。

发明内容

本发明的目的在于提供一种基于深度强化学习的风冷空调系统节能优化控制方法，以解决上述背景技术中提出的现有的问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度强化学习的风冷空调系统节能优化控制方法，包括以下步骤：

S1、采集风冷空调系统的运行状态数据并进行预处理；

S2、分析动作空间参数变化引起状态空间参数变化的敏感程度构建状态-动作敏感度；

S3、基于所述状态-动作敏感度分析敏感区域的密度分布特征构建粗区域分区，并计算粗区域分区的粗区域敏感密度；

S4、基于所述粗区域敏感密度分析Q值表中的分割粒度，并构建自适应分割粒度；

S5、基于所述自适应分割粒度对Q-Learning强化学习算法中的状态空间与动作空间进行离散化处理，并构建Q值表，实现对风冷空调的节能优化控制。

本发明进一步改进在于，步骤S1中，所述运行状态数据包括状态空间参数和动作空间参数；所述状态空间参数的数据包括：室内温度数据、室外温度数据、室内相对湿度数据、室内二氧化碳浓度数据和系统总耗电功率数据；所述动作空间参数的数据包括：空调主机压缩机的运行频率和室内风机转速；

根据拉依达准则剔除传感器异常值；采用基于相邻时刻数据的线性插值法对缺失值进行填充处理；并采用最大最小归一化方法将所有运行状态数据中的数据进行归一化处理，形成标准化的时间序列数据集。

本发明进一步改进在于，所述状态-动作敏感度的构建过程包括：

以t时刻为例，取最近邻N个时刻构成一个时间窗，分别将一个时刻的状态空间参数、动作空间参数所构成的向量分别记为状态向量、动作向量；通过相邻时刻状态向量的变化来评估动作向量的敏感程度，则状态-动作敏感度计算公式为：

其中，表示t时刻的状态-动作敏感度，N表示时间窗内的时刻数量，和分别表示t时刻所对应的时间窗内第个和第个状态向量，表示t时刻所对应的时间窗内第个动作向量，表示向量取模函数，表示超参数。

本发明进一步改进在于，所述基于所述状态-动作敏感度分析敏感区域的密度分布特征构建粗区域分区的具体过程包括：

将t时刻与时刻状态向量的差记为时刻的状态差向量，将时刻的状态差向量与动作向量进行合并，构成一个状态-动作参数向量，将采集到的历史时刻的状态-动作参数向量作为K-means聚类算法的输入，通过手肘法确定最佳聚类数K，输出为聚类后的状态空间参数数据所构成的K个聚类簇，将一个聚类簇内状态空间参数数据所构成的区域记为一个粗区域分区，在该聚类簇内状态-动作参数向量所对应的时刻中，将聚类簇内所有时刻状态-动作敏感度的均值记为该聚类簇的中心特征值。

本发明进一步改进在于，所述粗区域敏感密度的计算公式为：

其中表示第k个粗区域的粗区域敏感密度，表示第k个聚类簇内所包含状态-动作参数向量的数量，表示第k个聚类簇内第j个状态-动作参数向量所对应时刻的状态-动作敏感度，表示高斯核函数，用于评估聚类簇内状态-动作敏感度在聚类簇内的密度分布特征。

本发明进一步改进在于，所述基于粗区域敏感密度构建自适应分割粒度包括在敏感密度极低的粗区域，采取最粗的离散化粒度，而在敏感密度极高的粗区域，采取最精细的离散化粒度，则自适应分割粒度的计算公式为：

其中表示第k个粗区域的自适应分割粒度，和分别表示对粗区域进行分割时的分割数量区间的最小值和最大值，表示对第k个粗区域的归一化粗区域敏感密度，通过最大最小归一化处理后得到，表示向下取整函数，用于对粗区域进行分割时为整数。

本发明进一步改进在于，所述基于所述自适应分割粒度对Q-Learning强化学习算法中的状态空间与动作空间进行离散化处理的具体步骤包括：

对于第k个粗区域，将第k个粗区域得到的所述自适应分割粒度的值作为DBSCAN聚类算法中的聚类数，将第k个粗区域内所有的状态空间参数数据作为DBSCAN聚类算法的输入，输出聚类后的状态空间参数所形成的聚类簇，实现对第k个粗区域的状态空间参数的离散化处理；按照上述步骤对第k个粗区域内的动作空间参数进行相同处理，对第k个粗区域的动作空间参数进行离散化处理。

本发明进一步改进在于，所述Q值表通过对所有粗区域进行自适应划分，形成非均匀分布的动作空间与状态空间得到，构成非均匀分布的Q值表，并通过贝尔曼方程迭代更新Q值表。

本发明进一步改进在于，所述基于所述自适应分割粒度对Q-Learning强化学习算法中的状态空间与动作空间进行离散化处理过程还包括：

在Q-Learning强化学习算法的训练完成后，将实时采集风冷空调的状态空间参数数据映射到Q值表中离散化处理后的状态空间位置，在该状态行中选取Q值最大的动作执行，完成一次控制对风冷空调系统节能优化的控制。

与现有技术相比，本发明的有益效果是：

1、本发明首先通过分析动作空间参数引起状态空间参数变化的敏感程度构建状态-动作敏感度，用于评估控制动作对系统状态变化的即时影响程度；通过对状态-动作参数向量进行聚类，分析聚类簇内状态-动作敏感度的密度特征构建粗区域敏感密度，评估一个粗区域内的敏感密度；基于粗区域敏感密度对粗区域进行自适应的网格划分，构建非均匀分布的Q值表，在敏感度低的粗区域采取较粗的划分粒度，降低整体状态空间和动作空间的维度，从而减少计算量，提高运算效率，而在敏感度高的粗区域采取较细的划分粒度，提高对风冷空调系统的控制准确程度，使得在保证室内环境舒适度的前提下，实现对风冷空调系统更加高效、稳定且精准的节能优化控制。

附图说明

图1为本发明一种基于深度强化学习的风冷空调系统节能优化控制方法流程图。

具体实施方式

下面通过附图以及具体实施例对本发明技术方案做详细地说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。

术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

实施例1

图1展示了本实施例公开的一种基于深度强化学习的风冷空调系统节能优化控制方法流程图，步骤如下：

步骤S1、采集风冷空调系统的运行状态数据并进行预处理；

使用Q-Learning强化学习算法对风冷空调系统进行节能优化控制时，需要通过建筑楼宇控制系统分别采集状态空间的参数数据与动作空间的参数数据。其中状态空间的参数数据包括：室内温度数据、室外温度数据、室内相对湿度数据、室内二氧化碳浓度数据和系统总耗电功率数据，动作空间的参数数据包括：空调主机压缩机的运行频率和室内风机转速。上述数据的采集间隔为15秒，实施者可根据实际情况选取。

按照上述步骤采集数据的过程中，可能环境干扰、传感器误差等因素导致采集到的数据存在缺失值或严重异常值，需要对采集到的原始数据进行预处理，具体包括：根据拉依达准则剔除由传感器故障或通信干扰导致的明显异常值；采用基于相邻时刻数据的线性插值法对缺失值进行填充处理；为消除不同物理量纲对后续计算过程的影响，提高计算结果的可解释性，采用最大最小归一化方法将所有状态和动作空间中的数据进行归一化处理，形成标准化的时间序列数据集。其中拉依达准则、线性插值法和最大最小归一化方法为公知技术，此处不再赘述。

至此，得到预处理后的风冷空调系统的运行状态数据。

步骤S2、分析动作空间参数变化引起状态空间参数变化的敏感程度构建状态-动作敏感度；

在风冷空调系统的控制中，状态空间的参数和动作空间的参数之间具有显著的非线性关系，即在某些运行时刻，一个微小的控制动作可能会引起系统状态的剧烈变化。如室内温度与设定的目标温度差异较大时，轻微提升压缩机的频率，可能会引起室内部分区域温度的剧烈变化；同时还存在一个较大的控制动作可能仅会引起轻微的、平缓的状态改变，如室内温度接近于设定的目标温度时，此时较大的调整压缩机的频率，温度则不会发生较大的变化。

基于上述分析，本申请构建状态-动作敏感度，用于反映动作空间参数引起状态空间参数变化的敏感程度，状态-动作敏感度的构建过程如下：

以t时刻为例，取最近邻N个时刻构成一个时间窗，分别将一个时刻的状态空间参数、动作空间参数所构成的向量分别记为状态向量、动作向量。在Q-Learning强化学习算法中，核心思想为根据一个时刻的状态向量，在Q值表中寻找合适的控制动作，执行完控制动作后，状态参数发生变化，得到下一时刻的状态向量，因此可以通过相邻时刻状态向量的变化来评估动作向量的敏感程度。

基于上述处理过程，本申请中状态-动作敏感度的计算方法如下：

其中表示t时刻的状态-动作敏感度，N表示时间窗内的时刻数量，本申请中取值为60，实施者可根据实际情况选取，和分别表示t时刻所对应的时间窗内第a个和第个状态向量，表示t时刻所对应的时间窗内第个动作向量，表示向量取模函数，表示超参数，用于避免分母为零导致无法计算。

在t时刻的时间窗内，若状态空间参数的变化比较敏感，即动作空间参数的微小变化会引起状态空间参数的剧烈变化，则相邻两个时刻状态向量之差的模会较大，且动作向量的模会较小，因此计算出的状态-动作敏感度较大；当状态空间参数的变化比较迟钝时，即动作空间参数的较大变化不会使状态空间参数的发生显著变化，则相邻两个时刻状态向量之差的模较小，且动作向量的模较大，因此计算出的状态-动作敏感度较小。

步骤S3、基于所述状态-动作敏感度分析敏感区域的密度分布特征构建粗区域分区，并计算粗区域分区的粗区域敏感密度；

对风冷空调系统进行控制的过程中，根据热力学定律，制冷剂在饱和区内，即气液共存状态下，温度和压力是强相关的，在此区域内，对压缩机频率的微小调整，会引起温度的显著变化，进而对系统状态产生较大的影响；当制冷剂进入过冷区或过热区时，即制冷剂在纯液态或纯气态时，温度和压力的相关关系会变弱，此时对压缩机频率进行调整，则不会引起温度的显著变化。因此动作空间参数与状态空间参数的敏感程度在整个空间中并非均匀分布，而是会呈现出聚集性的特征，即高敏感度的点往往会集中出现在某些特定的区域，形成一个高度敏感的区域。

基于上述分析，通过上述步骤识别出动作空间参数与状态空间参数之间的敏感程度后，本申请基于状态-动作敏感度构建粗区域敏感密度，反映一个粗区域内动作空间参数对状态空间参数的敏感密度，粗区域敏感密度的构建过程如下：

将t时刻与(t-1)时刻状态向量的差记为(t-1)时刻的状态差向量，将(t-1)时刻的状态差向量与动作向量进行合并，构成一个状态-动作参数向量，将采集到的历史时刻的状态-动作参数向量作为K-means聚类算法的输入，通过手肘法确定最佳聚类数K，输出为聚类后的状态空间参数数据所构成的K个聚类簇，将一个聚类簇内状态空间参数数据所构成的区域记为一个粗区域分区，在该聚类簇内状态-动作参数向量所对应的时刻中，将聚类簇内所有时刻状态-动作敏感度的均值记为该聚类簇的中心特征值。其中K-means聚类算法为公知技术，此处不再赘述。

基于上述处理过程，本申请中粗区域敏感密度的计算方法如下：

其中表示第k个粗区域的粗区域敏感密度，表示第k个聚类簇内所包含状态-动作参数向量的数量，表示第k个聚类簇内第j个状态-动作参数向量所对应时刻的状态-动作敏感度，RBF()表示高斯核函数，用于评估聚类簇内状态-动作敏感度在聚类簇内的密度分布特征；

在第k个聚类簇中，若聚类簇内状态-动作参数向量的状态-动作敏感度越大，表明在该聚类簇内状态-动作参数向量所对应的时刻中，动作空间参数引起状态空间参数变化的敏感程度越显著，同时聚类簇内所有时刻的状态-动作敏感度与聚类簇的中心特征值距离越近，表明该聚类簇内敏感程度越集中于中心点，即中心密度越大，敏感密度特征越显著，因此计算出的粗区域敏感密度越大。

步骤S4、基于所述粗区域敏感密度分析Q值表中的分割粒度，并构建自适应分割粒度；

按照上述步骤相同处理，得到各粗区域的粗区域敏感密度，反映各粗区域的敏感密度，在Q-Learning强化学习算法中，对连续的状态空间参数和动作空间参数进行离散化处理时，离散化的粒度应当与粗区域的敏感密度具有正相关关系。即在敏感密度极低的粗区域，动作空间参数调整后对状态空间参数的影响极小，此时应当采取最粗的离散化粒度，以降低Q值表的维度；随着敏感密度的增加，动作空间参数调整后对状态空间参数的影响逐渐增大，此时应当使离散化的粒度逐渐变细，以提高控制精度；在敏感密度极高的粗区域，此时动作空间参数的微调可能会引起状态空间参数发生较大变化，因此离散化粒度需要达到最精细的程度。

基于上述分析过程，本申请基于粗区域敏感密度构建自适应分割粒度，实现对各粗区域的自适应精细分割，自适应分割粒度的计算方法如下：

其中表示第k个粗区域的自适应分割粒度，和分别表示对粗区域进行分割时的分割数量区间的最小值和最大值，本申请中分别取值为2和8，实施者可根据实际情况选取，表示对第k个粗区域的归一化粗区域敏感密度，通过最大最小归一化处理后得到，int()表示向下取整函数，用于对粗区域进行分割时为整数。

使用Q-Learning强化学习算法对粗区域进行分割时，对于敏感密度较高的区域采取较细的分割粒度，对应粗区域的粗区域敏感密度较大，因此计算出的自适应分割粒度越大，即分割越细密；对于敏感密度较低的区域采取较粗的分割粒度，对应粗区域的粗区域敏感密度较小，因此计算出的自适应分割粒度越小，即分割越粗糙。

步骤S5、基于所述自适应分割粒度对Q-Learning强化学习算法中的状态空间与动作空间进行离散化处理，并构建Q值表，实现对风冷空调的节能优化控制。

按照上述步骤相同处理，得到各粗区域的自适应分割粒度，则可以对Q-Learning强化学习算法中的状态空间参数和动作空间参数进行划分，具体过程如下：

对于第k个粗区域，将第k个粗区域所得自适应分割粒度的值作为DBSCAN聚类算法中的聚类数，将第k个粗区域内所有的状态空间参数数据作为DBSCAN聚类算法的输入，输出聚类后的状态空间参数所形成的聚类簇，实现对第k个粗区域的状态空间参数的离散化处理。按照上述步骤对第k个粗区域内的动作空间参数进行相同处理，对第k个粗区域的动作空间参数进行离散化处理。其中DBSCAN聚类算法为公知技术，此处不再赘述。

按照上述步骤对所有粗区域进行自适应划分，使得敏感密度高的粗区域具有较精细的粒度，敏感密度低的粗区域具有较宽泛的粒度，形成非均匀分布的动作空间与状态空间，构成非均匀分布的Q值表。

在Q-Learning强化学习算法的训练过程中，使用贝尔曼方程迭代更新Q值表。训练完成后，将实时采集风冷空调的状态空间参数数据映射到Q值表中离散化处理后的状态空间位置，在该状态行中选取Q值最大的动作执行，完成一次控制对风冷空调系统节能优化的控制。通过不断重复此过程，系统能够在满足室内舒适度要求的前提下，始终执行长期累积能耗最低的控制动作序列，从而实现对风冷空调系统高效、精确的节能优化控制。

所述阈值及权重等设定值可以根据本发明默认设置，也可由本领域技术人员自行设置。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (9)

1.一种基于深度强化学习的风冷空调系统节能优化控制方法，其特征在于：包括以下步骤：

S1、采集风冷空调系统的运行状态数据并进行预处理；

S2、分析动作空间参数变化引起状态空间参数变化的敏感程度构建状态-动作敏感度；

S3、基于所述状态-动作敏感度分析敏感区域的密度分布特征构建粗区域分区，并计算粗区域分区的粗区域敏感密度；

S4、基于所述粗区域敏感密度分析Q值表中的分割粒度，并构建自适应分割粒度；

S5、基于所述自适应分割粒度对Q-Learning强化学习算法中的状态空间与动作空间进行离散化处理，并构建Q值表，实现对风冷空调的节能优化控制。

2.根据权利要求1所述的一种基于深度强化学习的风冷空调系统节能优化控制方法，其特征在于：步骤S1中，所述运行状态数据包括状态空间参数和动作空间参数；所述状态空间参数的数据包括：室内温度数据、室外温度数据、室内相对湿度数据、室内二氧化碳浓度数据和系统总耗电功率数据；所述动作空间参数的数据包括：空调主机压缩机的运行频率和室内风机转速；

根据拉依达准则剔除传感器异常值；采用基于相邻时刻数据的线性插值法对缺失值进行填充处理；并采用最大最小归一化方法将所有运行状态数据中的数据进行归一化处理，形成标准化的时间序列数据集。

3.根据权利要求2所述的一种基于深度强化学习的风冷空调系统节能优化控制方法，其特征在于：所述状态-动作敏感度的构建过程包括：

以t时刻为例，取最近邻N个时刻构成一个时间窗，分别将一个时刻的状态空间参数、动作空间参数所构成的向量分别记为状态向量、动作向量；通过相邻时刻状态向量的变化来评估动作向量的敏感程度，则状态-动作敏感度计算公式为：

其中，表示t时刻的状态-动作敏感度，N表示时间窗内的时刻数量，和分别表示t时刻所对应的时间窗内第个和第个状态向量，表示t时刻所对应的时间窗内第个动作向量，表示向量取模函数，表示超参数。

4.根据权利要求3所述的一种基于深度强化学习的风冷空调系统节能优化控制方法，其特征在于：所述基于所述状态-动作敏感度分析敏感区域的密度分布特征构建粗区域分区的具体过程包括：

将t时刻与时刻状态向量的差记为时刻的状态差向量，将时刻的状态差向量与动作向量进行合并，构成一个状态-动作参数向量，将采集到的历史时刻的状态-动作参数向量作为K-means聚类算法的输入，通过手肘法确定最佳聚类数K，输出为聚类后的状态空间参数数据所构成的K个聚类簇，将一个聚类簇内状态空间参数数据所构成的区域记为一个粗区域分区，在该聚类簇内状态-动作参数向量所对应的时刻中，将聚类簇内所有时刻状态-动作敏感度的均值记为该聚类簇的中心特征值。

5.根据权利要求4所述的一种基于深度强化学习的风冷空调系统节能优化控制方法，其特征在于：所述粗区域敏感密度的计算公式为：

其中表示第k个粗区域的粗区域敏感密度，表示第k个聚类簇内所包含状态-动作参数向量的数量，表示第k个聚类簇内第j个状态-动作参数向量所对应时刻的状态-动作敏感度，表示高斯核函数，用于评估聚类簇内状态-动作敏感度在聚类簇内的密度分布特征。

6.根据权利要求5所述的一种基于深度强化学习的风冷空调系统节能优化控制方法，其特征在于：基于所述粗区域敏感密度分析Q值表中的分割粒度，并构建自适应分割粒度的过程包括在敏感密度极低的粗区域，采取最粗的离散化粒度，而在敏感密度极高的粗区域，采取最精细的离散化粒度，则自适应分割粒度的计算公式为：

其中表示第k个粗区域的自适应分割粒度，和分别表示对粗区域进行分割时的分割数量区间的最小值和最大值，表示对第k个粗区域的归一化粗区域敏感密度，通过最大最小归一化处理后得到，表示向下取整函数，用于对粗区域进行分割时为整数。

7.根据权利要求6所述的一种基于深度强化学习的风冷空调系统节能优化控制方法，其特征在于：所述基于所述自适应分割粒度对Q-Learning强化学习算法中的状态空间与动作空间进行离散化处理的具体步骤包括：

对于第k个粗区域，将第k个粗区域得到的所述自适应分割粒度的值作为DBSCAN聚类算法中的聚类数，将第k个粗区域内所有的状态空间参数数据作为DBSCAN聚类算法的输入，输出聚类后的状态空间参数所形成的聚类簇，实现对第k个粗区域的状态空间参数的离散化处理；按照上述步骤对第k个粗区域内的动作空间参数进行相同处理，对第k个粗区域的动作空间参数进行离散化处理。

8.根据权利要求7所述的一种基于深度强化学习的风冷空调系统节能优化控制方法，其特征在于：所述Q值表通过对所有粗区域进行自适应划分，形成非均匀分布的动作空间与状态空间得到，构成非均匀分布的Q值表，并通过贝尔曼方程迭代更新Q值表。

9.根据权利要求7所述的一种基于深度强化学习的风冷空调系统节能优化控制方法，其特征在于：所述基于所述自适应分割粒度对Q-Learning强化学习算法中的状态空间与动作空间进行离散化处理过程还包括：

在Q-Learning强化学习算法的训练完成后，将实时采集风冷空调的状态空间参数数据映射到Q值表中离散化处理后的状态空间位置，在该状态行中选取Q值最大的动作执行，完成一次控制对风冷空调系统节能优化的控制。