CN112543429B - 一种具备自主决策功能的可配置边缘计算网关 - Google Patents

Abstract

本发明公开了一种具备自主决策功能的可配置边缘计算网关，包括：通信模块，用于根据网络边缘设备的类型配置相应的通信方式，对所述网络边缘设备进行数据采集，并将处理后的数据传输至云计算中心；核心控制模块，用于对采集的数据进行预处理；强化学习模块，用于对预处理后的数据进行强化学习，获得最优控制策略并下发给所述网络边缘设备；存储模块，用于进行数据存储；电源模块，用于为所述可配置边缘计算网关供电。本发明提供的可配置边缘计算网关，可根据网络边缘设备的实时状态信息，通过强化学习算法获得最优控制策略，对网络边缘设备的运行状态进行协同优化，实现各类设备的自动控制，提高了系统的智能化程度，提升了用户体验。

Description

一种具备自主决策功能的可配置边缘计算网关

技术领域

本发明涉及通信技术领域、自动控制领域和物联网IoT(Internet ofThings)领域技术领域，特别涉及一种具备自主决策功能的可配置边缘计算网关，应用于智能建筑及智慧社区等业务场景，功能包括网络边缘设备的数据采集、传输、状态监测和自主决策。

背景技术

当代科学技术的发展不断推动着社会的进步，人们对生产、生活环境品质的追求也越来越高，促使现代建筑不断朝着信息化、智能化方向发展。随着物联网技术的不断更新和无线传输技术的持续迭代，越来越多的用电设备可以作为智能网络边缘设备，逐渐在居住/公共建筑中普及。边缘设备的数量日益增加，随之而来的数据量的爆炸式增长，传统的智能建筑领域中，入网设备的主要联网方式以集中式网关为中心节点，以云计算模型为核心的大数据处理方式已经不再能高效地处理如此庞大的信息量。主要表现在以下几个方面：(1)集中式云计算能力的增长速度无法匹配边缘设备数据量的增长速度；(2)从网络边缘设备传输巨量数据到运中心会产生较长的网络延迟；(3)网络边缘的部分数据涉及个人隐私，需要对隐私数据进行保护；(4)数据从网络边缘设备传输至云计算中心需要消耗较大电能；(5)在智能建筑中，管理人员在管理不同楼宇时，对网络边缘设备数据的处理方式不同，集中式数据处理方式对巨量数据进行不同处理时需要花费大量的时间。

基于上述问题，一种基于分散式架构的计算模式出现，即边缘计算。以边缘计算为核心的数据处理方式应运而生。边缘计算将处理数据和信息分析的功能从中心节点分解并下放到边缘节点上来，以此减轻中心节点的运算压力，快速高效的实现大信息量的处理。

此外，边缘计算方式还能够缓解数据传输过程中的带宽压力，减少资源消耗。更重要的是，在较为私密的个人居住环境中，减少敏感数据的传输过程，保障个人隐私数据的安全性；与此同时，边缘计算方式还能有效削弱传输过程带来的延迟，针对需要即时数据分析结果反馈的智能边缘设备，能够及时的返回所需数据信息，提高时效性。

伴随着传感器技术、物联网技术和嵌入式系统的不断发展，越来越多的检测和控制设备应用到智能建筑系统中，为更加精确的监测建筑内用电设备工作情况并且实现智能控制提供了硬件基础。

物联网设备的增加，促使网关设备不断升级，网关设备又称网间连接器、协议转换器。网关在网络层实现入网设备的复杂网络连接，是一种充当数据转换任务的设备，在不同的通信协议、数据格式甚至是不同的体系结构之间实现数据互通。现有的智慧物联设备都需要接入核心数据网关，进行数据分析，并进一步生成微调决策，再通过数据网络实现对智慧边缘设备的控制，以达到期望的智慧决策系统整体的运行性能。

目前市面上比较常见的物联网网关设备的通信以WiFi和以太网为主，常见的边缘设备通信方式包括以上两种之外，还有电力线载波、Zigbee技术、RS485协议、LoRa技术以及4G/5G蜂窝数据等通信方式，以应对不同距离、不同监测信号以及不同业务场景的技术需求。为了能够将不同的边缘物联设备融合组网，需要网关设备兼容市面常见的多种通信协议，简化组网的复杂程度，提高网关设备的兼容性和适配性。

然而，对于智能建筑领域，由于不同的物联设备要匹配不同的场景需求，且实际装配位置距离远近不一，并且不同的设备根据其数据类型可能有多种通信方式，这就使得集中式中央处理结构的物联系统装配成本骤增，适配性大打折扣。另外，随着设备增加，控制量成倍增长，导致集中式决策的调控响应速度不及时、控制精度欠缺且控制效果不佳，影响最初的智能化设计目的的实现。

综上分析，目前的智慧物联系统中网关设备接口单一，可配置扩展性不足，智能控制策略下放不及时，智能化程度欠缺，因此需要一种扩展性强，可配置程度高且具有高时效性、高智能化的新型智慧网关。

现有的传统边缘计算网关只关注于数据采集、数据处理和数据上传的功能，仅用于分担云计算中心的计算压力和减少网络传输过程中的数据量。而对于边缘设备的控制量还是由核心计算机系统生成，之后下发到各个边缘设备控制器输入中，实现对联网设备的调节。这种控制方式十分依赖网络传输通道的可靠性，对中心节点的算力以及传输通道的带宽需求也较为苛刻，并且不适用于实时且短周期性的数据分析和本地决策场景。

目前，市场上还没有一种具有自主决策功能的可配置边缘计算网关。因此，需要以边缘计算的架构方式组网，以边缘计算网关内嵌智能控制算法的新型控制方式，结合当前先进的人工智能技术，实现边缘控制设备的自主智能决策，使得控制策略能够自适应现场数据的变化，减轻中心节点的决策压力，规避控制信号传输过程中的丢包以及意外故障，提高整套边缘计算物联网系统的智慧程度。

发明内容

本发明针对现有的物联网网关，结合边缘计算技术，以边缘计算网关代替传统的物联网网关、以分布式边缘计算架构代替集中式核心计算架构，提供一种具备自主决策功能的可配置边缘计算网关，不仅能够减少设备组网的复杂程度、降低数据传输成本和设备运行能耗、提高网络通道可靠性，还能提高控制系统的时效性、提升智能化程度。

为解决上述技术问题，本发明的实施例提供如下方案：

一种具备自主决策功能的可配置边缘计算网关，包括：

通信模块，用于根据网络边缘设备的类型配置相应的通信方式，对所述网络边缘设备进行数据采集，并将处理后的数据传输至云计算中心；

核心控制模块，用于对采集的数据进行预处理；

强化学习模块，用于对预处理后的数据进行强化学习，获得最优控制策略并下发给所述网络边缘设备；

存储模块，用于进行数据存储；

电源模块，用于为所述可配置边缘计算网关供电。

优选地，智慧建筑内包括监测节点和控制节点；所述监测节点包括：电能计量节点、开关窗检测节点、人流量采集节点、壁温采集节点、照明采集节点、吊扇采集节点、空调末端采集节点和中央空调系统采集节点；所述控制节点包括：照明控制节点、吊扇控制节点、空调末端控制节点和中央空调系统控制节点；

所述通信模块包括对通用接口进行配置的：

第一配置单元，采用窄带载波通信方式或RS485总线通信方式连接智慧建筑内的电能计量节点，用于采集不同区域或不同用电设备所消耗的电能数据；

第二配置单元，采用Lora无线通信方式连接智慧建筑内的开关窗检测节点，用于采集楼宇内窗户的开关状态数据；

第三配置单元，采用以太网通信方式连接智慧建筑内的人流量采集节点，用于采集人流量数据及进行办公人员和居住人员管理；

第四配置单元，采用窄带载波通信方式或RS485总线通信方式连接智慧建筑内的壁温采集节点，用于采集楼宇墙壁温度数据；

第五配置单元，采用WIFI通信方式或窄带载波通信方式连接智慧建筑内的照明采集节点及照明控制节点，用于采集照明设备的运行状态数据；

第六配置单元，采用RS485总线通信方式或CAN总线通信方式连接智慧建筑内的吊扇采集节点及吊扇控制节点，用于采集吊扇的运行状态数据；

第七配置单元，采用宽带载波通信方式或CAN总线通信方式连接智慧建筑内的空调末端采集节点及空调末端控制节点，用于采集空调的运行状态数据；

第八配置单元，采用宽带载波通信方式或WIFI通信方式连接智慧建筑内的中央空调系统采集节点及中央空调系统控制节点，用于采集中央空调机组的运行状态数据。

优选地，所述通信模块包括无线通讯单元，所述无线通讯单元通过4G模式的SIM卡进行数据的采集和传输。

优选地，所述核心控制模块包括：

预处理单元，用于对采集的数据进行去除噪声预处理；

规范化处理单元，用于对不同网络边缘设备上传的各类数据格式进行规范化处理；

补充处理单元，用于采用插值方法补充丢失的数据，将采集的数据补充完整；

加密处理单元，用于对涉及用户隐私的数据进行加密处理；

优化处理单元，用于根据内置的优化算法对采集的数据进行优化处理。

优选地，所述强化学习模块包括：

预设单元，用于将运行模式进行分类，并预设部分运行模式以供配置；

分析单元，用于从采集的数据中选择贡献率较高的有用数据作为分析对象，利用强化学习算法进行探索和自学习，在已选定运行模式下获得最优控制策略；

传送单元，用于将获得的最优控制策略下传至网络边缘设备的控制器中执行，以优化网络边缘设备的运行状态。

优选地，所述分析单元具体用于：

结合卷积神经网络方法，建立Actor动作选取网络和Critic动作评价网络，组成Actor-Critic结构；

计算当前状态所选动作执行后的累计奖励值，以此判断动作选择是否合理；

根据判断结果不断更新动作选取策略，最终获得最优控制策略。

优选地，在可配置的不同运行模式中，强化学习算法选择不同的动作评价函数作为奖励函数，根据对评价指标的关注程度不同，对不同评价指标赋予不同权值，以区分不同的运行模式。

优选地，所述评价指标包括：舒适度和能耗，所述奖励函数表示为：

R＝α·W_能耗+β·F_舒适度；

其中R代表奖励，W_能耗代表系统运行的能耗，F_舒适度代表人员的舒适度，α和β分别代表能耗和舒适度所占的权重，α+β＝1。

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明实施例提供的可配置边缘计算网关除了具备数据采集、处理和传输功能之外，还能够实现通信接口的可配置化和控制策略的可配置化。在本发明的实施例中，所述可配置边缘计算网关可结合不同业务场景的技术或非技术需求，利用多种通信方式适配不同的边缘智能设备；此外，所述可配置边缘计算网关具备自主决策功能，可根据网络边缘设备的实时状态信息，通过强化学习算法获得最优控制策略，对网络边缘设备的运行状态进行协同优化，实现各类设备的自动控制，同时可以使智能建筑中的设备在运行过程中兼顾系统能耗与用户舒适度，提高了系统的智能化程度，提升了建筑内用户体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种具备自主决策功能的可配置边缘计算网关的结构示意图；

图2是本发明实施例提供的边缘计算网关通信可配置示意图；

图3是本发明实施例提供的可配置边缘计算网关自主决策过程示意图；

图4是本发明实施例提供的应用边缘计算网关的中央空调系统自动控制示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明的实施例提供了一种具备自主决策功能的可配置边缘计算网关，如图1所示，所述可配置边缘计算网关包括：

通信模块，用于根据网络边缘设备的类型配置相应的通信方式，对所述网络边缘设备进行数据采集，并将后续处理后的数据传输至云计算中心；

核心控制模块，用于对采集的数据进行预处理；

强化学习模块，用于对预处理后的数据进行强化学习，获得最优控制策略并下发给所述网络边缘设备；

存储模块，用于进行数据存储；

电源模块，用于为所述可配置边缘计算网关供电。

本发明实施例提供的可配置边缘计算网关除了具备数据采集、处理和传输功能之外，还能够实现通信接口的可配置化和控制策略的可配置化。在本发明的实施例中，所述边缘计算网关可结合不同业务场景的技术或非技术需求，利用多种通信方式适配不同的边缘智能设备；此外，所述边缘计算网关具备自主决策功能，可根据网络边缘设备的实时状态信息，通过强化学习算法获得最优控制策略，对网络边缘设备的运行状态进行协同优化，实现各类设备的自动控制，提高系统的智能化程度，提升了建筑内用户体验。

进一步地，智慧建筑内包括监测节点和控制节点；所述监测节点包括：电能计量节点、开关窗检测节点、人流量采集节点、壁温采集节点、照明采集节点、吊扇采集节点、空调末端采集节点和中央空调系统采集节点；所述控制节点包括：照明控制节点、吊扇控制节点、空调末端控制节点和中央空调系统控制节点；

所述通信模块包括对通用接口进行配置的：

第一配置单元，采用窄带载波通信方式或RS485总线通信方式连接智慧建筑内的电能计量节点，用于采集不同区域或不同用电设备所消耗的电能数据；

第二配置单元，采用Lora无线通信方式连接智慧建筑内的开关窗检测节点，用于采集楼宇内窗户的开关状态数据；

第三配置单元，采用以太网通信方式连接智慧建筑内的人流量采集节点，用于采集人流量数据及进行办公人员和居住人员管理；

第四配置单元，采用窄带载波通信方式或RS485总线通信方式连接智慧建筑内的壁温采集节点，用于采集楼宇墙壁温度数据；

第五配置单元，采用WIFI通信方式或窄带载波通信方式连接智慧建筑内的照明采集节点及照明控制节点，用于采集照明设备的运行状态数据；

第六配置单元，采用RS485总线通信方式或CAN总线通信方式连接智慧建筑内的吊扇采集节点及吊扇控制节点，用于采集吊扇的运行状态数据；

第七配置单元，采用宽带载波通信方式或CAN总线通信方式连接智慧建筑内的空调末端采集节点及空调末端控制节点，用于采集空调的运行状态数据

第八配置单元，采用宽带载波通信方式或WIFI通信方式连接智慧建筑内的中央空调系统采集节点及中央空调系统控制节点，用于采集中央空调机组的运行状态数据。

此外，所述通信模块还包括无线通讯单元，所述无线通讯单元通过4G模式的SIM卡进行数据的采集和传输。

具体地，如图2所示，所述可配置边缘计算网关支持多种通信方式：低压电力线载波通信、RS485总线通信、CAN总线通信、以太网通信、Zigbee通信、LoRa通信、WIFI通信和4G通信等。所述可配置边缘计算网关支持多种通信方式，可兼容不同的业务场景和不同的网络边缘设备。

对于有线通信的接口，所述可配置边缘计算网关提供通用接口，将总线连接至该边缘网关通用接口，用户可通过内部操作系统对接口支持的通信方式进行配置，可将接口配置为所需的通信方式，该接口则会以所配置的通信方式进行通信，如此便提高了该边缘计算网关的兼容性，可降低组网难度。

楼宇内常设有电能计量节点，所述电能计量节点是用于采集不同区域或不同用电设备所消耗的电能，电能计量本身需要连接220V电力线，然后对电力线中的电流和电压进行采集从而计算能耗。电能计量节点常采用窄带载波通信方式或RS485通信方式，窄带通信基于电力线传输信号，可以省去布线的成本；也可以使用RS485总线进行传输，RS485通信使用广泛，成本低，也作为电能计量节点的通信方式。

楼宇内常设有开关窗检测节点，所述开关窗检测节点用于检测楼宇内窗户的开关状态信息，开关窗检测节点将信息传输给边缘计算网关，边缘计算网关将数据上传至服务器，最终在显示端显示，可以帮助公共建筑管理人员提高工作效率效率。一栋楼内的窗户间距较远，而且窗户状态改变不频繁，开关窗检测节点只需要在窗户状态改变时将数据进行上传。因此需要一种低功耗且覆盖范围较大的通信方式，Lora无线通信特别适合用于开关窗检测节点。

楼宇内常设用人流量采集节点，用来监控人流量信息及进行办公/居住人员管理，常用以太网进行通信。由于人流量视频信息数据量大，以太网通信速度较快，可用作传输视频数据。

楼宇内常设有壁温采集节点用来采集楼宇墙壁温度，通过房间墙壁温度来判断建筑储能情况，为空调调控提供信息，提高建筑能量利用率，实现绿色节能目的。壁温采集节点可以使用窄带载波通信或RS485总线通信。

楼宇内的照明采集节点，用来对照明设备的状态进行采集和上传，并能通过照明控制节点对照明设备的状态进行控制。照明采集或控制集节点通常使用WIFI通信或窄带载波通信。WIFI通信作为无线通信方式，覆盖范围广，可对楼宇内分布分散的照明设备进行大范围的控制；窄带载波基于电力线传输信号亦可省去布线的成本，实现大范围的照明设备的控制。

楼宇内的吊扇采集节点，用来对吊扇运行状态进行采集和上传，并通过吊扇控制节点对吊扇的运行状态进行控制。吊扇采集或控制节点常采用RS485通信和CAN总线通信。RS485总线通信成本低，适用范围广；CAN总线通信抗干扰能力强，传输距离远。

楼宇内的空调末端采集节点，用来对空调运行状态进行采集，并通过空调末端控制节点对空调运行状态进行控制，空调运行状态包括开关状态、设定温度和风速。空调末端采集或控制节点常采用宽带载波通信或CAN总线通信。空调末端采集或控制节点传输数据较多，宽带载波通信通信和CAN总线通信数据传输速率较快。

对于中央空调系统(含新风)的采集或控制节点，中央空调机组包括冷却塔，冷却水泵，冷水机组，冷冻水泵和风机盘管等多个设备，数据量大，常使用宽带载波通信或WIFI通信，以便实现对中央空调系统的实时控制。

本发明的实施例中采用4G通信作为无线通信方式。4G通信仅需一张SIM卡即可完成数据的采集和传输。4G通信方式传输速度快，无需布设信号线，方便使用。4G通信通常作为边缘计算网关和云计算中心之间传输数据的通信方式，也可作为边缘计算网关与下行各节点之间数据传输的通信方式。该边缘计算网关对于有线通信方式，使用可配置的通信接口与网络边缘设备进行连接，对于无线通信设备可在使用时直接配置与不同节点之间的通信方式，使用方便，支持多种通信方式也提高了该边缘计算网关的兼容性，降低了智能建筑的开发成本。

用户在使用本发明所述网关时，可根据不同节点所支持通信方式的情况，以及楼宇内围护结构改造的成本情况，对该边缘计算网关与楼宇内节点的连接情况进行配置。所述边缘计算网关支持多种通信方式，用户可在调试界面对边缘计算网关的通信方式进行配置，将所连接的节点地址写入边缘计算网关的内存中，然后对通信方式进行选择，便可实现该边缘计算网关与该节点之间通信方式的配置。对于边缘计算网关与云计算中心的数据传输方式，用户也可以根据实际应用场景和需求对所述边缘计算网关进行配置。

进一步地，所述核心控制模块包括：

预处理单元，用于对采集的数据进行去除噪声预处理；

巨量的网络边缘设备如果直接向云计算中心发送数据，会导致网络延时较长，数据量巨大势必导致通信成本提高，网络阻塞严重，且数据容易丢失。所以需要边缘计算网关对数据进行预处理，去除噪声数据，将处理好的部分数据进行上传，减轻传输网络负担，降低通信成本，提高传输效率。

规范化处理单元，用于对不同网络边缘设备上传的各类数据格式进行规范化处理；

网络边缘设备常为异构设备，且不同节点支持的通信方式有所不同，不同通信方式支持的通信协议可能有所差别，导致传输的数据格式不统一，如果将数据直接发送给云计算中心，势必会增加云计算中心的运算负担，云计算中心运算量过大，使得运算成本提高，所以需要先对不同网络边缘设备上传上来的数据进行规范化处理，将数据处理成统一格式后再上传至云计算中心。

补充处理单元，用于采用插值方法补充丢失的数据，将采集的数据补充完整；

在数据的传输过程中，可能受到外界的干扰，导致一部分数据在传输过程中丢失，或者其他原因导致边缘计算网关没有接收到完整的数据，而只接收到了数据的一部分。此时边缘计算网关需要对数据进行补充处理，运用一些插值方法补上丢失的数据，将数据补充完整后进而上传至云计算中心。

加密处理单元，用于对涉及用户隐私的数据进行加密处理；

对于涉及用户隐私的数据，如果直接上传至云计算中心，会有数据被盗的风险，导致泄露用户隐私，产生不好的影响。所以对于这部分数据，边缘计算网关需要进行加密处理，然后再进行上传或存储到本地存储单元。本地存储单元的访问则需要用户身份验证，如此便可提高数据的安全性，防止数据泄露。

优化处理单元，用于根据内置的优化算法对采集的数据进行优化处理；

对于智能建筑楼宇中的各个节点数据，边缘计算网关根据楼宇内的数据和内置的算法对数据进行优化运算，得到优化的结果，将结果发送给节点去执行，对相应设备进行控制，并将计算好的结果上传至云计算中心，进行数据存储，方便以后用来进行数据分析，也方便后台对楼宇内各个设备的运行情况进行全局监控。

综上，对于不同的数据，边缘计算网关需要进行不同的处理方式。例如建筑内的能耗信息，需要上传至云端服务器中，在云端进行数据存储，方便物业管理人员调用；对于建筑内的环境信息，需要上传至上位机，在物业管理人员的监控屏幕中进行显示，便于物业管理人员进行管理；对于涉及用户隐私的信息，需要存储在本地的存储单元中，防止用户隐私泄露。边缘计算网关的数据在传输过程中都进行加密处理，对于存储在本地存储单元的涉及用户隐私的信息，也是加密后存入到本地存储单元，在访问时需要进行身份验证。之后边缘计算网关将处理好的数据，通过配置好的通信方式，上传至云计算服务器，云计算服务器将数据存入数据库以便后续对数据进行分析。

进一步地，所述强化学习模块包括：

预设单元，用于将运行模式进行分类，并预设部分运行模式以供配置；

分析单元，用于从采集的数据中选择贡献率较高的有用数据作为分析对象，利用强化学习算法进行探索和自学习，在已选定运行模式下获得最优控制策略；

传送单元，用于将获得的最优控制策略下传至网络边缘设备的控制器中执行，以优化网络边缘设备的运行状态。

对于智能建筑场景，室内人员出于对环境舒适度的需求，会对室内智能设备进行微调，而设备/物业管理人员出于节能降耗的目的，会根据需求情况调整设备运行状态。针对此现状，所述边缘计算网关将运行模式进行分类，并预设部分模式使之可配置。进一步，利用与该边缘计算网关互联的网络边缘设备采集数据，以贡献率较高的有用数据作为分析对象，依靠强化学习算法的探索性和自学习特性，在已选定模式下获得最优控制策略，并下传至网络边缘设备的控制器执行，以优化运行状态。

所述边缘计算网关可配置模式的自主决策过程示意图如图3所示。首先，当前边缘计算网关所连接的网络边缘设备会产生运行数据，与其他边缘计算网关的云端数据共同组成过程信息数据。然后，经过可配置的硬件接口和软件通讯协议的传输，决策用的相关数据将回传至该边缘计算网关。之后，有效的环境数据将送入强化学习算法，基于实时运行数据，强化学习算法通过与环境交互实现最优控制策略选择。最后，经过强化学习自主学习并选择的最优控制策略通过边缘计算网关的输出端送入网络边缘设备的控制器中，实现选定模式下的最佳状态运行。

进一步地，所述分析单元具体用于：

结合卷积神经网络方法，建立Actor动作选取网络和Critic动作评价网络，组成Actor-Critic结构；

计算当前状态所选动作执行后的累计奖励值，以此判断动作选择是否合理；

根据判断结果不断更新动作选取策略，最终获得最优控制策略。

强化学习是一种不断与环境交互的自学习方法，通过计算当前状态所选动作执行后的累计奖励值来判断动作选择是否合理，从而更新动作选取策略。结合神经网络的方法，强化学习算法能够通过建立Actor动作选取网络和Critic动作评价网络组成Actor-Critic结构，实现对更高维的决策环境的最优策略选取。该方法的探索性和自学习能力是强化学习的自主特性优势，并且基于实时过程数据的控制策略选取能够提高控制策略时效性，及时优化运行状态。

在可配置的不同运行模式中，强化学习算法选择不同的动作评价函数作为奖励函数，根据对评价指标(如舒适度、能耗等)的关注程度不同，对不同评价指标赋予不同权值，以区分不同的运行模式。

作为本发明的一种具体实现方式，所述评价指标包括：舒适度和能耗，所述奖励函数表示为：

R＝α·W_能耗+β·F_舒适度；

其中R代表奖励，W_能耗代表系统运行的能耗，F_舒适度代表人员的舒适度，α和β分别代表能耗和舒适度所占的权重，α+β＝1。

两种控制方法的奖励函数中，α和β的值是不同的。舒适优先的控制方法会优先考虑舒适度，所以将α和β进行如下设置：α＝0.2，β＝0.8，强化学习控制器在训练过程中会使控制结果更加满足人们对舒适度的要求，而较少考虑系统所产生的能耗。而节能优先的控制方法会优先考虑能耗，所以将α和β进行如下设置：α＝0.8，β＝0.2，强化学习控制器在训练过程中会使控制结果更加满足于系统低能耗的要求，而较少考虑室内人员的舒适度需求。

在本发明的实施例中，根据不同的奖励函数，训练Critic网络作为自主决策中控制动作的评价网络，即可实现可配置模式的自主决策智能算法。

在此，以中央空调系统为例(其结构参考图4)，简述边缘计算网关的自主决策过程。整个中央空调系统各个子系统是相互协同的，如果控制单元不能考虑其他设备的运行状态，只对某个设备进行控制，会导致控制效果的下降和控制成本的增加。而边缘计算网关通过对网络边缘设备的数据和状态信息进行数据采集和处理，了解各设备的运行状态，如果在此基础上对各设备进行协同控制，可对中央空调系统运行状态进行优化，从而实现中央空调系统的节能。在网关控制模块的设计中，引入机器学习算法，采用强化学习理论设计智能自主决策算法，充分利用边缘计算网关近数据源的优势，利用大量的现场数据训练强化学习算法中的评估网络，并以此评价机制不断更新动作网络的输出，进而获得最优化控制策略，满足人为设定的综合性能指标函数，按照对应的需求模式高效运行，实现自主决策，提高整个物联系统的智慧程度。

具体地，除了当前边缘计算网关所连接的边缘监测设备获取的信息，在自主决策过程中还需要其他边缘计算网关中的部分运行数据，该数据要取对控制效果由决定影响的相关过程数据，在中央空调系统中，建筑围护参数、室内和室外的环境数据、人员流动情况以及人为热扰等均可作为对控制策略有贡献的有效数据。作为连接中央空调系统不同组成部分的边缘计算网关，需要来自云端的、连接环境监测边缘设备的边缘计算网关数据。所有环境信息在强化学习算法的经验池中，Actor网络将根据现有环境的状态选取一组控制策略经边缘计算网关送入环境，并同时送入经验池，Critic网络将通过状态数据和所配置模式下的奖励函数，评价该动作策略的价值。根据实时数据和经验池数据训练Critic网络的评价能力，使其结果更加符合该动作在相应奖励函数下的期望值。经过训练后的Critic会在进一步的训练中指导Actor选取动作的策略，使得后续做出的动作能够实现积累奖励最大化，进而获得最优化控制决策。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种具备自主决策功能的可配置边缘计算网关，其特征在于，包括：

通信模块，用于根据网络边缘设备的类型配置相应的通信方式，对所述网络边缘设备进行数据采集，并将处理后的数据传输至云计算中心；

智慧建筑内包括监测节点和控制节点；所述监测节点包括：电能计量节点、开关窗检测节点、人流量采集节点、壁温采集节点、照明采集节点、吊扇采集节点、空调末端采集节点和中央空调系统采集节点；所述控制节点包括：照明控制节点、吊扇控制节点、空调末端控制节点和中央空调系统控制节点；

所述通信模块包括对通用接口进行配置的：

第一配置单元，采用窄带载波通信方式或RS485总线通信方式连接智慧建筑内的电能计量节点，用于采集不同区域或不同用电设备所消耗的电能数据；

第二配置单元，采用Lora无线通信方式连接智慧建筑内的开关窗检测节点，用于采集楼宇内窗户的开关状态数据；

第三配置单元，采用以太网通信方式连接智慧建筑内的人流量采集节点，用于采集人流量数据及进行办公人员和居住人员管理；

第四配置单元，采用窄带载波通信方式或RS485总线通信方式连接智慧建筑内的壁温采集节点，用于采集楼宇墙壁温度数据；

第五配置单元，采用WIFI通信方式或窄带载波通信方式连接智慧建筑内的照明采集节点及照明控制节点，用于采集照明设备的运行状态数据；

第六配置单元，采用RS485总线通信方式或CAN总线通信方式连接智慧建筑内的吊扇采集节点及吊扇控制节点，用于采集吊扇的运行状态数据；

第七配置单元，采用宽带载波通信方式或CAN总线通信方式连接智慧建筑内的空调末端采集节点及空调末端控制节点，用于采集空调的运行状态数据；

第八配置单元，采用宽带载波通信方式或WIFI通信方式连接智慧建筑内的中央空调系统采集节点及中央空调系统控制节点，用于采集中央空调机组的运行状态数据；

所述通信模块包括无线通讯单元，所述无线通讯单元通过4G模式的SIM卡进行数据的采集和传输；

对于有线通信的接口，所述可配置边缘计算网关提供通用接口，将总线连接至所述通用接口，用户通过内部操作系统对接口支持的通信方式进行配置，将接口配置为所需的通信方式，所述通用接口则会以所配置的通信方式进行通信；

用户在使用所述可配置边缘计算网关时，根据不同节点所支持通信方式的情况，以及楼宇内围护结构改造的成本情况，对所述可配置边缘计算网关与楼宇内节点的连接情况进行配置；

所述可配置边缘计算网关支持多种通信方式，用户在调试界面对所述可配置边缘计算网关的通信方式进行配置，将所连接的节点地址写入所述可配置边缘计算网关的内存中，然后对通信方式进行选择，以实现所述可配置边缘计算网关与该节点之间通信方式的配置；对于所述可配置边缘计算网关与云计算中心的数据传输方式，用户根据实际应用场景和需求进行配置；

核心控制模块，用于对采集的数据进行预处理；

所述核心控制模块包括：

预处理单元，用于对采集的数据进行去除噪声预处理；

规范化处理单元，用于对不同网络边缘设备上传的各类数据格式进行规范化处理；

补充处理单元，用于采用插值方法补充丢失的数据，将采集的数据补充完整；

加密处理单元，用于对涉及用户隐私的数据进行加密处理；

优化处理单元，用于根据内置的优化算法对采集的数据进行优化处理；

强化学习模块，用于对预处理后的数据进行强化学习，获得最优控制策略并下发给所述网络边缘设备；

所述强化学习模块包括：

预设单元，用于将运行模式进行分类，并预设部分运行模式以供配置；

分析单元，用于从采集的数据中选择贡献率较高的有用数据作为分析对象，利用强化学习算法进行探索和自学习，在已选定运行模式下获得最优控制策略；

传送单元，用于将获得的最优控制策略下传至网络边缘设备的控制器中执行，以优化网络边缘设备的运行状态；

存储模块，用于进行数据存储；

电源模块，用于为所述可配置边缘计算网关供电；

所述分析单元具体用于：

将有效的环境数据送入分析单元，基于实时运行数据，采用强化学习算法，通过与环境交互实现最优控制策略选择；

结合卷积神经网络方法，建立Actor动作选取网络和Critic动作评价网络，组成Actor-Critic结构；

结合卷积神经网络方法，实现对更高维的决策环境的最优策略选取；

计算当前状态所选动作执行后的累计奖励值，以此判断动作选择是否合理；

根据判断结果不断更新动作选取策略，最终获得最优控制策略；

在可配置的不同运行模式中，强化学习算法选择不同的动作评价函数作为奖励函数，根据对评价指标的关注程度不同，对不同评价指标赋予不同权值，以区分不同的运行模式；

所述评价指标包括：舒适度和能耗，所述奖励函数表示为：

R＝α·W_能耗+β·F_舒适度；

其中R代表奖励，W_能耗代表系统运行的能耗，F_舒适度代表人员的舒适度，α和β分别代表能耗和舒适度所占的权重，α+β＝1。

Images