CN111338262A

CN111338262A - 基于arm的家用电器运行状态非侵入式检测装置及方法

Info

Publication number: CN111338262A
Application number: CN202010200369.2A
Authority: CN
Inventors: 王俊年; 王扬华; 于文新; 廖璟; 刘俊
Original assignee: Hunan University of Science and Technology
Current assignee: Hunan University of Science and Technology
Priority date: 2020-03-20
Filing date: 2020-03-20
Publication date: 2020-06-26
Anticipated expiration: 2040-03-20
Also published as: CN111338262B

Abstract

本发明公开了一种基于ARM的家用电器运行状态非侵入式检测方法，包括以下步骤：采集预测电器的消耗功率，然后根据消耗功率对电器运行状态进行标注；将标注过的数据进行归一化处理；搭建LSTM神经网络模型，对LSTM神经网络模型进行训练和优化、测试；搭建嵌入式开发交叉编译环境，进行嵌入式Linux系统的移植；读取用户家庭的用电总功率；量化LSTM神经网络模型，预测家用电器运行状态并将结果显示。本发明对家用电器的运行状态识别具有良好的效果，并且利用了tensorflow lite量化工具降低了在ARM上执行深度学习推理的硬件需求，经过量化后的模型具有更小的二进制可执行文件，可以实现在低成本的情况下实时地对家用电器的运行状态进行监测。

Description

基于ARM的家用电器运行状态非侵入式检测装置及方法

技术领域

本发明涉及家庭用电监测领域，特别涉及一种基于ARM的家用电器运行状态非侵入式检测装置及方法。

背景技术

随着人民生活水平的不断提高，城乡居民用电量快速增长，已成为电网高峰负荷乃至尖峰负荷的重要组成，给电网安全运行带来了挑战。随着国家电网公司号召建立泛在电力物联网，经数十年的研发投入与建设，国家电网在网侧已基本达到了泛在物联网的要求，但在电网的用户终端，近四亿台智能电表产生的数据，没有得到充分有效的利用。利用智能电表采集的家庭用电功率数据对居民用电行为进行精细化分析，可得到家庭主要用电器的运行状态及详细的功率消耗情况，能够为电力系统进行需求侧管理和分析提供依据，如可以提供详细的电费清单，帮助用户节约用电和检测故障电器，监测居民行为来照看容易发生危险的人群，以及帮助电网公司提高电力负荷分配的决策准确性等，为实现更有效的电力能源管理及价值服务提供保障。

非侵入式电力负荷监测(Non-intrusive load monitoring，NILM)是指在用户主电路上安装智能电表获取总功率和总电流等数据，根据这些信息识别用户各类用电设备的工作状态。NILM具有安全经济，易于推广等优点，近年来，NILM成为电力负荷分解方向的主流研究方向。随着深度学习的崛起，多种深度学习算法都被用于NILM领域，长短期记忆网络(LSTM)作为一种改进后的循环神经网络，他可以解决长距离的依赖的问题，对时序输入的数据具有良好的识别效果。为了应对深度学习算法在硬件上运行算力不足的缺点，谷歌公司推出了基于Tensorflow框架的量化工具tensorflow lite，tensorflow lite是针对移动设备和嵌入式设备进行深度学习推理的轻量化解决方案，经tensorflow lite量化后的模型具有占用空间小，低延迟等优点。为了应对深度学习在移动端部署的问题，采用tensorflow lite工具将深度学习模型量化，可以实现在低成本的基础下实现高效率和高准确率的深度学习模型的推理预测。

发明内容

为了解决上述技术问题，本发明提供一种结构简单的基于ARM的家用电器运行状态非侵入式检测装置，并提供一种算法检测、检测精度高的基于ARM的家用电器运行状态非侵入式检测方法。

本发明解决上述问题的技术方案是：一种基于ARM的家用电器运行状态非侵入式检测装置，包括PC上位机和嵌有Linux的ARM微处理器目标板，所述PC上位机用于将操作系统、驱动程序以及交叉编译后的检测程序移植到ARM微处理器目标板上；所述ARM微处理器目标板用于运行家用电器运行状态检测程序；ARM微处理器目标板包括核心板和扩展底板；核心板上搭载4个ARMCortex-A9内核、4片512M的64位双通道DDR3内存芯片K4B2G1646F-BYMA、1片8G eMMC芯片KLM8G1GETF、1片电源管理芯片S5M8767A；扩展底板上设有通信模块、数据采集模块、RGB-LCD显示模块、TF卡模块、电源模块。

一种基于ARM的家用电器运行状态非侵入式检测装置的检测方法，包括以下步骤：

步骤一、数据采集及标注：采集预测电器的消耗功率，然后根据电器的消耗功率对电器运行状态进行标注；

步骤二、数据预处理：将标注过的数据进行归一化处理；

步骤三、搭建深度学习网络模型：搭建LSTM深度学习网络，调整LSTM深度学习网络的输入参数、网络层数得到最优的LSTM神经网络模型，使用步骤二处理好的数据对LSTM神经网络模型进行训练，得到训练好的LSTM神经网络模型并对LSTM神经网络模型进行测试；

步骤四、系统移植：在PC上位机上搭建嵌入式系统开发环境，然后通过通信模块建立PC上位机和目标板之间的通信，在目标板上进行嵌入式Linux系统的移植；

步骤五、数据读取：通过数据采集模块获得用户家庭的总功率；

步骤六、使用tensorflow lite将搭建好的LSTM神经网络模型量化，并将tensorflow lite库文件交叉编译至目标板，然后利用tensorfow lite解释器读取模型并进行预测，最后将预测结果经RGB-LCD显示模块在LCD屏幕上显示。

上述基于ARM的家用电器运行状态非侵入式检测方法，所述步骤一中，使用家庭智能电表采集用户家庭用电总功率数据，对电表1s采样一次；在家用电器上安装智能插座，对预测电器的消耗功率6s采样一次；根据电器的消耗功率对电器运行状态进行标注，由预测电器的额定功率为预测电器设置功率阈值，超过阈值的消耗功率标注为‘1’，低于阈值的消耗功率标注为‘0’。

上述基于ARM的家用电器运行状态非侵入式检测方法，所述步骤二中，将标注过的数据进行预处理；根据预测电器使用时间的不同确定一条数据的长度；按照深度学习领域的划分规则，将数据划分为训练集和测试集，划分比例为6：4，然后将训练集和测试集的数据进行归一化处理；

归一化处理采用线性函数归一化方法处理总功率数据，具体公式为：

其中X_i为某条总功率数据的第i个值，n为总功率数据的数量，X_min为所有总功率的最小值，X_max为所有总功率的最大值，X'_i为归一化后的数据。

上述基于ARM的家用电器运行状态非侵入式检测方法，所述步骤三中，首先导入处理过的总功率数据和标注数据，设置网络超参数；然后搭建LSTM神经网络模型，LSTM神经网络模型具有具有2层LSTM层和一层全连接层，每层LSTM设有128个神经元，全连接层具有64个神经元，最后经softmax分类器输出；损失函数采用交叉熵损失函数，优化器选择自适应学习率优化算法Adam算法；然后对LSTM神经网络模型进行训练。

上述基于ARM的家用电器运行状态非侵入式检测方法，所述步骤四中，PC上位机通过通信模块和目标板进行串口通信，建立交叉编译环境，然后进行启动引导U-boot的移植、Linux内核的移植以及Ubuntu系统文件的移植。

上述基于ARM的家用电器运行状态非侵入式检测方法，所述步骤五中，在DL645-2007多功能电能表通信协议中规定了手持单元与多功能电能表的数据交换的物理连接、通信链路及应用技术规范，通过数据采集模块与多功能电能表进行物理连接，使手持单元向多功能电能表发送信息帧，然后接收反馈回的数据标识，解码得到所需数据。

上述基于ARM的家用电器运行状态非侵入式检测方法，所述步骤六中，利用tensorflow lite工具将LSTM神经网络模型量化并保存为TFlite文件格式，编写自定义的bazel交叉编译工具链将tensorflow lite库交叉编译，利用交叉编译后的tensorflowlite库文件，使用tensorflow lite解释器读取LSTM神经网络模型，并将步骤五读取的数据作为LSTM神经网络模型的输入得到预测结果，然后通过RGB-LCD显示模块在LCD屏幕上显示。

本发明的有益效果在于：

1、本发明所用算法为深度学习算法中的长短期记忆网络，能处理长距离的依赖问题，因此相比传统算法如贝叶斯算法、隐马尔可夫模型等，在NILM领域能取得更好的效果。

2、本发明提供了一种方法用于在ARM平台运行和推理深度学习模型，而不需要安装深度学习框架。因为深度学习模型中参数量过于庞大，一般都需要较为高的配置来运行和推理，本发明利用Tensorflow量化工具将模型量化，量化后的模型为TFlite格式，它具有更小的占用内存和更低的推理延迟，并且模型准确率的降低几乎可以忽略不计，经量化后的模型的推理对处理器的要求得到了降低，因此所需的ARM芯片成本很低。

附图说明

图1为本发明的家用电器运行状态检测的系统架构图。

图2为本发明的LSTM神经网络模型的结构示意图。

图3为本发明的DL645-2007多功能电能表通信协议的信息帧格式图。

图4为本发明的检测装置功能模块图。

图5为图4的核心板连接器①的示意图。

图6为图4的核心板连接器②的示意图。

图7为图4的核心板连接器③的示意图。

图8为图4的核心板连接器④的示意图。

图9为本发明的通信模块的电路图。

图10为本发明的数据采集模块的电路图。

图11为本发明的RGB-LCD显示模块的电路图。

图12为本发明的TF卡模块的电路图。

图13为本发明的电源模块的电路图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

一种基于ARM的家用电器运行状态非侵入式检测装置，如图1所示，包含PC上位机和嵌有Linux的ARM微处理器目标板，所述PC上位机用于将操作系统和驱动程序以及交叉编译后的检测程序移植到目标板上；所述目标板用于运行家用电器运行状态检测程序。具体的，在PC上位机上编写程序读取家用电器运行状态检测深度学习算法，将程序交叉编译至目标板，然后分析来自多功能电能表的总功率并将预测结果显示；设计硬件部分，目标板包含讯为三星四核S5P4418处理器核心板及扩展底板、其中扩展底板包含数据采集模块、通信模块、RGB-LCD显示模块、TF卡模块、电源模块。

一种基于ARM的家用电器运行状态非侵入式检测方法，包括以下步骤：

步骤一、采集数据：采集一个用户家庭在一段时间内的用电总功率数据和预测电器的消耗功率数据，对电表的总功率1s采样一次；在家用电器上安装智能插座，采集预测电器的消耗功率数据，对消耗功率6s采样一次；对几个常用的家用电器进行数据收集，包括：洗衣机、洗碗机、微波炉、热水壶。本次采样时间共一个月，包含数据4000000条，采用CSV格式将数据保存。对于不同电器的额定功率分别设置功率阈值，分别取40W、10W、200W、2000W，然后按照阈值标准对数据进行标注，超过阈值设定为‘1’，低于阈值设定为‘0’。

步骤二、数据预处理：对电表的总功率数据进行降频处理，调整至6s一采样，使用滑动窗口然后抽取总功率和电器消耗功率数据，使数据集中电器使用情况的比例为1：1，共抽取10万条数据，每条数据包含100个总功率的采样点和100个预测电器的运行状态采样点，若出现3个‘1’，则将本段数据标识为运行状态用‘1’表示，否则标识为未运行状态用‘0’表示，然后生成由‘0’或‘1’表示的标识数据，其总条数与总功率数据条数相同，每条采样数据代表10分钟；然后按照6：4的比例将抽取出来的数据集划分为训练集和测试集，并对采集的功率数据进行归一化处理，归一化处理采用线性函数归一化方法处理总功率数据，具体公式为：

其中X_i为某条总功率数据的第i个值，n为总功率数据的数量，X_min为所有总功率的最小值，X_max为所有总功率的最大值，X'_i为归一化后的数据。将处理过后的总功率数据和标识数据集保存至CSV文件中。

步骤三、搭建深度学习网络模型：首先导入处理过的总功率数据和标注数据，然后设置网络的超参数，每100条数据为一个批次，每条数据输入100个总功率值，输出一个预测值；然后搭建LSTM神经网络模型，模型具有具有2层LSTM层和一层全连接层，每层LSTM设有100个神经元，全连接层具有64个神经元，最后经softmax分类器输出；损失函数采用分类问题中常用的交叉熵损失函数，优化器选择自适应学习率优化算法Adam算法，搭建好的LSTM神经网络模型的结构示意图如图2所示；然后利用步骤二中产生的训练集对LSTM神经网络进行训练，使网络的性能达到最优，最后利用步骤二中产生的测试集对网络进行测试，保证对单个的家用电器的预测准确率高于90％。

步骤四、系统移植：通过通信模块，建立PC上位机与目标板之间的通信。在PC上位机上建立交叉编译环境，下载交叉编译器arm-2009q3压缩包，解压至根目录usr/ARM/toolchain，将此目录加入环境变量配置文件，修改环境变量如下：

vim.bashrc

export PATH＝$PATH:/usr/ARM/toolchain/arm-2009q3/bin

source.bashrc

系统移植分为U-boot移植、Linux内核移植、Ubuntu文件系统移植；U-boot移植如下：

1)下载解压U-boot源码；

2)在解压后根目录下运行configure文件配置平台；

3)使用make命令编译U-boot，并将生成的u-boot.bin文件传输至TF卡根文件系统中，从TF卡启动系统即完成U-boot的移植。

Linux内核移植的步骤如下：

1)下载4412处理器的内核版本Linux-3.0；

2)解压并修改config_for_ubuntu.config，配置好平台；

3)使用命令make zImage生成镜像文件，并将生成的zImage传输至目标板，reboot即可启动写入系统，Linux内核移植成功。

Ubuntu文件系统移植的步骤如下：

1)下载Ubuntu-12.04源码；

2)将其源码传输至目标板，解压源码；

3)使用reset命令重启开发板，即可启动Ubuntu系统。

步骤五、数据读取：根据DL645-2007多功能电能表通信协议，手持单元或其他数据终端为主站，多功能电能表为从站，每个多功能电能表均有各自的地址编码，通信链路的建立与解除均由主站发出的信息帧来控制。信息帧每帧由帧起始符、从站地址域、控制码、数据域长度、数据域、帧信息纵向校验码及帧结束符7个域组成，每部分由若干个字节组成，每字节含8位二进制码。

信息格式如图3所示，图中帧起始符为68H，其值等于01101000B；帧地址域由6个字节组成，每个字节2位BCD码，每块表具有唯一的通信地址，可由多功能电能表上获取；控制码为功能请求；数据域长度为数据域的字节数；数据标识用来确定读取的数据类型；校验码CS为从第一个帧起始符开始到校验码之前的所有各字节的二进制算术和；结束符为16H，其值等于00010110B。编写代码通过硬件部分的数据采集模块向多功能电能表发送请求帧，得到从站正常应答帧后解码出所需的数据。

步骤六、深度学习模型运行时所需配置较高，为了降低模型的大小而不损耗模型的精准度，本发明采用深度学习框架Tensorflow中的量化工具tensorflow lite将步骤三中训练好的模型量化。然后使用tensorflow lite的C++API将模型读取出来，步骤如下：

1)下载Tensorflow源码并解压；

2)在Tensorflow源码的根目录下运行代码./configure进行编译配置，选择-march＝armv7-a；

3)bazel是google开源编译构建工具，本发明自定义了bazel的交叉编译工具链用于构建适合目标板平台的tensorflow lite动态库。配置bazel的自定义交叉编译工具链需要在Tensorflow源码的根目录下修改WORKSPACE文件，添加如下配置文件：

然后在根目录下编写以下四个文件build_tflite_armv7.sh、CROSSTOOL、BUILD、cross_toolchain_target_armv7.BUILD，其中cross_toolchain_target_armv7.BUILD用于确定交叉编译器所需的二进制可运行程序的位置，build_tflite_armv7.sh用于运行交叉编译命令，CROSSTOOL文件用于确定交叉编译器和本地编译器的配置文件，BUILD用于将需要编译的文件集中，方便编译成库文件；

4)因为tensorflow lite目前仅支持有限Tensorflow的ops量化，步骤三中搭建的LSTM深度学习网络使用的LSTM不受tensorflow lite的量化支持。为了重新编译tensorflow lite的动态库使其支持LSTM，在编译tensorfow lite的动态库时应修改bazel的编译包含目录，在tensorflow/lite目录下的BUILD文件中添加命令：

//tensorflow/lite/delegats/flex:delegate

然后再回到Tensorflow源码根目录下运行命令：

./build_tflite_armv7.sh

这样就可以生成支持所有Tensorflow的ops的tensorflow lite动态库；

5)基于上述生成的tensorflow lite动态库编写程序，使用tensorflow lite解释器读取步骤三中训练好的模型，然后预测步骤五中读取的数据，再将预测结果经硬件部分的RGB-LCD显示模块在LCD屏幕上显示；

6)编写Makefile文件，将在PC上位机上编写的程序交叉编译成可在目标板上运行的二进制文件，然后将tensorflow lite动态库经硬件部分的通信模块传输至目标板的/lib目录下；

7)通过硬件部分的数据采集模块连接多功能电能表，然后通过硬件部分的通信模块，在PC上位机上向目标板发送指令运行检测程序。

本发明主控制器采用讯为三星四核S5P4418处理器核心板，然后设计了带有不同功能模块的扩展底板，硬件系统功能模块图如图4所示；核心板搭载四个ARMCortex-A9内核，4片512M的64位双通道DDR3内存芯片K4B2G1646F-BYMA，1片8G eMMC芯片KLM8G1GETF，1片电源管理芯片S5M8767A，通过板对板连接器引出引脚，如图5-8所示；扩展底板共有5个模块，分别是通信模块、数据采集模块、RGB-LCD显示模块、TF卡模块、电源模块。通信模块采用了MAX3232CSE芯片，MAX3232CSE芯片上11和12号引脚接板对板连接器③上的54和56号引脚，接口类型为标准的串行通信接口RS-232，该模块用于PC上位机和目标板之间的通信，如图9所示；根据DL645-2007多功能电能表通信协议，数据采集模块使用了一个双排20pin的连接器，连接器的17和18号引脚接板对板连接器①上的47和46号引脚，然后再接出3.3v电源和接地，该模块用于向多功能电能表发送指令，如图10所示；RGB-LCD显示模块使用了单排40pin的0.5mm翻盖式fpc座子，大部分引脚对应接在板对板连接器③上的LCD引脚上，该模块用于显示检测结果，如图11所示；TF卡模块采用了MS110-C10B-C16 TF卡座，连接在板对板连接器①上，该模块用于在目标板上安装系统，如图12所示；电源模块用于将交流电转化为直流电来向目标板供电，该模块还包括系统的电源开关和复位按键以及一个电源指示灯，电路图如图13所示。

Claims

1.一种基于ARM的家用电器运行状态非侵入式检测装置，其特征在于，包括PC上位机和嵌有Linux的ARM微处理器目标板，所述PC上位机用于将操作系统、驱动程序以及交叉编译后的检测程序移植到ARM微处理器目标板上；所述ARM微处理器目标板用于运行家用电器运行状态检测程序；ARM微处理器目标板包括核心板和扩展底板；核心板上搭载4个ARMCortex-A9内核、4片512M的64位双通道DDR3内存芯片K4B2G1646F-BYMA、1片8G eMMC芯片KLM8G1GETF、1片电源管理芯片S5M8767A；扩展底板上设有通信模块、数据采集模块、RGB-LCD显示模块、TF卡模块、电源模块。

2.一种根据权利要求1所述的基于ARM的家用电器运行状态非侵入式检测装置的检测方法，其特征在于，包括以下步骤：

步骤二、数据预处理：将标注过的数据进行归一化处理；

步骤六、使用tensorflow lite将搭建好的LSTM神经网络模型量化，并将tensorflowlite库文件交叉编译至目标板，然后利用tensorfow lite解释器读取模型并进行预测，最后将预测结果经RGB-LCD显示模块在LCD屏幕上显示。

3.根据权利要求2所述的基于ARM的家用电器运行状态非侵入式检测方法，其特征在于，所述步骤一中，使用家庭智能电表采集用户家庭用电总功率数据，对电表1s采样一次；在家用电器上安装智能插座，对预测电器的消耗功率6s采样一次；根据电器的消耗功率对电器运行状态进行标注，由预测电器的额定功率为预测电器设置功率阈值，超过阈值的消耗功率标注为‘1’，低于阈值的消耗功率标注为‘0’。

4.根据权利要求2所述的基于ARM的家用电器运行状态非侵入式检测方法，其特征在于，所述步骤二中，将标注过的数据进行预处理；根据预测电器使用时间的不同确定一条数据的长度；按照深度学习领域的划分规则，将数据划分为训练集和测试集，划分比例为6：4，然后将训练集和测试集的数据进行归一化处理；

5.根据权利要求2所述的基于ARM的家用电器运行状态非侵入式检测方法，其特征在于，所述步骤三中，首先导入处理过的总功率数据和标注数据，设置网络超参数；然后搭建LSTM神经网络模型，LSTM神经网络模型具有具有2层LSTM层和一层全连接层，每层LSTM设有128个神经元，全连接层具有64个神经元，最后经softmax分类器输出；损失函数采用交叉熵损失函数，优化器选择自适应学习率优化算法Adam算法；然后对LSTM神经网络模型进行训练。

6.根据权利要求2所述的基于ARM的家用电器运行状态非侵入式检测方法，其特征在于，所述步骤四中，PC上位机通过通信模块和目标板进行串口通信，建立交叉编译环境，然后进行启动引导U-boot的移植、Linux内核的移植以及Ubuntu系统文件的移植。

7.根据权利要求2所述的基于ARM的家用电器运行状态非侵入式检测方法，其特征在于，所述步骤五中，在DL645-2007多功能电能表通信协议中规定了手持单元与多功能电能表的数据交换的物理连接、通信链路及应用技术规范，通过数据采集模块与多功能电能表进行物理连接，使手持单元向多功能电能表发送信息帧，然后接收反馈回的数据标识，解码得到所需数据。

8.根据权利要求2所述的基于ARM的家用电器运行状态非侵入式检测方法，其特征在于，所述步骤六中，利用tensorflow lite工具将LSTM神经网络模型量化并保存为TFlite文件格式，编写自定义的bazel交叉编译工具链将tensorflow lite库交叉编译，利用交叉编译后的tensorflow lite库文件，使用tensorflow lite解释器读取LSTM神经网络模型，并将步骤五读取的数据作为LSTM神经网络模型的输入得到预测结果，然后通过RGB-LCD显示模块在LCD屏幕上显示。