CN112637835B - 一种基于ota的嵌入式行为识别模型的及时更新方法 - Google Patents

Abstract

本发明公开了一种基于OTA的嵌入式行为识别模型的及时更新方法。本发明针对嵌入式设备中行为识别模型热更新难，识别不准确的痛点，设计了联合模型训练和预测模块以及OTA及时更新模块的方法。本发明收集了传感器数据，根据数据量的大小，设计了三种不同的模型训练方式，以及对应的在嵌入式设备中更新模型的三种方式。分别将训练完成的模型打包成文件，利用OTA服务器，将模型下载到嵌入式设备中。在嵌入式设备中通过分析模型所采用的训练方式，分别对模型所在的存储区域进行部分更新，或者替换模型的执行逻辑。更进一步的是，本发明还采用了备份存储的方式，保证设备在运行过程时，能够及时切换存储块，获得热更新，并进行行为识别。

Description

一种基于OTA的嵌入式行为识别模型的及时更新方法

一、技术领域

本发明涉及到网络模型更新研究领域，尤其涉及到在嵌入式行为识别中，模型的训练和更新问题，具体是一种基于OTA的嵌入式行为识别模型的及时更新方法。

二、背景技术

近年来，实验室安全事故频发，给实验室财产安全、人员生命安全造成了很大的影响。因此利用传感器技术对实验室人员的活动行为进行检测，通过行为识别模型分类出造成实验室用电、用火等有隐患的错误行为是一项新的研究课题。

所谓行为识别就是利用计算机技术对采集的相关数据进行行为活动的识别分类。同时，随着传感器技术的发展，小体积、高性能的各类型传感器层出不穷，基于传感器收集的数据对活动识别的研究已取得较好的研究成果。在最新的研究中，使用神经网络的深度学习模型来建模的方式变得更受欢迎。

同时，在嵌入式开发人员和神经网络研究人员的共同努力下，在嵌入式设备上运行神经网络的愿望得以实现。在对训练完成的模型代码优化压缩之后，能够将保存的神经网络模型很好地嵌入到嵌入式设备之中。在嵌入式设备上运行模型，意味着处理速度更快，能够直接反应计算结果。但是由于传感器采集到的数据会经常变化，不更新的模型预测容易出现偏差，所以当新增数据量达到一定规模后，通常需要更新模型来使得分类准确率更高。

因此，通过使用OTA技术，就可以对嵌入式设备应用进行更新。OTA技术是一种通过无线通信对移动设备进行更新升级的技术，利用OTA可以将文件打包进行差分升级或者完整升级。同时，采用A/B备份存储的方式，能够在某些应用场景下进行热更新，拥有更好的鲁棒性和稳定性。

本发明主要基于以上背景技术，设计实现利用OTA技术对运行在嵌入式设备上的行为识别模型的更新技术。

三、发明内容

本发明的目的是解决在嵌入式应用中，获取的数据经常变化，而设备运行的模型却可能经常不更新，导致运行一段时间后模型对数据预测分类不准确的问题，所以提出了一种基于OTA的嵌入式行为识别模型的及时更新方法。

本发明的技术主要由云端训练部分和嵌入式应用部分组成。在云端部分中，包含了数据预处理模块、模型训练模块、模型参数分析模块和云端OTA管理模块；在嵌入式应用部分中，包含了设备OTA升级模块、模型更新模块和行为识别模块。在数据预处理模块中，将采用各类传感器收集的不同行为动作数据编码为时间序列数据，然后进行标准化；在模型训练模块中，使用基于注意力机制的Encoder-Decoder这种编码-解码器的监督学习模型来建模，预测所作出的行为；在模型参数分析模块中，主要是将保存的模型的参数分离出来，分别用多维数组来保存Encoder和Decoder部分的参数；在云端OTA管理模块中，在服务器中建立OTA管理工具，对保存的模型进行版本管理，根据不同的训练方式，选择不同的打包方式进行打包，然后通过网络将数据包发送到嵌入式设备中。在设备OTA升级模块中，接收云端的包数据，分析其中采用的打包方式。在模型更新模块中，根据不同的打包方式，替换存储块中的相应部分，采用A/B备份存储的方式，在适当的时候将模型应用切换到新的存储块。最后，在行为识别模块中，嵌入式设备根据新的模型结构和参数对行为进行分类识别。

具体内容是：

在训练模型时，根据Encoder-Decoder这种模型，训练方式分为了三种。第一种完整训练方式，首次训练时使用预先获取的行为数据集，或者使用应用模型一年以上的应用数据，完整训练整个模型，达到预定精度即保存完整模型。第二种半参数训练方式，在应用模型后，为提高对当前应用数据预测分类的精度，每隔一个月的时间间隔，使用获取的应用数据，固定Encoder模型网络结构和参数，保持Decoder模型网络结构不变，训练Decoder模型的参数，训练完成后保存Decoder参数即可。第三种Decoder训练方式，每隔一季度的时间间隔，使用获取的应用数据，固定Encoder模型网络结构和参数，可以改变Decoder的模型结构，训练Decoder模型，训练完成后保存Decoder模型结构和参数。

在进行升级时，根据这三种训练方式有对应的三种升级方式。第一种完整升级方式，将完整训练的模型打包，标志上完整升级标志，OTA下发给设备端，设备端解包分析得出为完整升级方式，则将其中的模型参数存储在分配的完整存储区域中，同时替换掉完整模型的执行逻辑。第二种半参数升级方式，将半参数训练获得的参数打包，标志上半参数升级标志，OTA下发给设备端，设备端根据标志解析出为半参数升级，则将参数存储在分配给Decoder参数的存储块区域中。第三种Decoder升级方式，将Decoder训练后的模型和参数打包，标志上Decoder升级标志，OTA下发给设备后，设备端解析出此次升级为Decoder升级，则将参数存储在分配给Decoder的参数存储区域，在设备空闲时，替换Decoder的执行逻辑。

在存储上，采用了A/B备份的存储方式。考虑到嵌入式设备的存储空间有限，因此没有对整个存储器做A/B区域划分，只设置了两个相同大小的存储区域来存储模型的参数。运行中的模型的参数保存在其中一个存储区域中，该存储区域设置为“运行”。升级时，将参数保存在另一个相同大小的存储区域中，该存储区域设置为“升级”。当设备处于空闲或者模型不工作的时候可以将升级的存储区域设置为“运行”，原“运行”存储区域设置为“空闲”。从而使用新的模型进行行为识别工作。

本发明的积极效果是：

1、模型采用了应用中的数据，且模型可更新，意味着可及时提高应用中的数据分类识别的精度。

2、针对数据量的大小，采用了三种训练升级方式，可满足更多元化的更新要求。

3、在半参数升级和Decoder升级方式上，能够减少OTA传输数据大小，节省网络带宽。

4、对于半参数升级方式，因为只替换了Decoder参数的存储区域，没有修改执行逻辑，所以可以实现热更新。

四、附图说明

图1是本发明的一个整体系统框图。

图2是本发明涉及的程序流程图。

图3是本发明的行为识别模型图。

图4是本发明模型参数在Flash中逻辑存储图。

五、具体实施方式

本发明主要结合了模型的不同训练方式和利用OTA进行对应的升级方式，以此及时提高在嵌入式设备中使用的预测模型的精度。下面结合附图对本发明作进一步的说明。

如图1至图4所示，本发明提供了一种基于OTA的嵌入式行为识别模型的及时更新方法，主要包含了云端训练部分和嵌入式应用部分。其中云端训练部分(8)包括了数据预处理模块(1)、模型训练模块(2)、模型参数分析模块(3)以及云端OTA管理模块(4)；嵌入式应用部分(9)包括了设备OTA升级模块(5)、模型更新模块(6)和行为识别模块(7)。

主要步骤是：

第一步：将从多模传感器预先获取的数据进行预处理，把每个传感器收集的数据作为一个维度，再按照获取的时间顺序生成时间序列、而后使用embedding嵌入向量的方式进行编码，最后对整个数据集按照维度方向进行标准化。将数据集的输入部分作为编码解码器模型Encoder的输入，将数据集的输出部分作为模型的预测输出，使用随机梯度下降训练模型。在首次训练时，或者应用模型一年以上后，需要对模型进行完整训练，所以使用预先获取的数据或者一年中的应用数据可对模型进行训练，达到精度要求保存模型；在每隔一季度的时间间隔内，选择进行Decoder训练方式，使用获取的应用数据，预处理数据，固定Encoder部分的参数和结构，可以选择改变Decoder部分的结构，训练Decoder部分的结构和参数，达到精度要求保存模型；在每隔一个月的时间间隔内，使用半参数训练方式，使用获取的应用数据，输入数据，固定Encoder部分模型结构和参数，固定Decoder部分模型结构，只训练Decoder部分的参数，达到精度要求保存模型。

第二步：分析保存的模型，预先将神经网络的库文件烧录进设备中，将模型的Encoder和Decoder参数分别以两个多维数组形式存储。对于使用完整训练的方式，即将模型结构和参数完整打包成BIN文件；使用半参数训练方式的，只需要将Decoder模型的参数打包成BIN文件；使用Decoder训练方式的，需要将Decoder模型的执行逻辑和参数打包成BIN文件。

第三步：在云端OTA管理模块中，使用版本号来表示不同升级方式的标志。本发明选择了三级版本号的方式，格式为：V一级版本号.二级版本号.三级版本号(如V3.2.1)。对于完整训练模型的升级，修改一级版本号，作为完整升级标志；对于Decoder训练模型的升级，修改二级版本号，作为Decoder升级标志；对于半参数训练模型的升级，修改三级版本号，作为半参数升级表示。使用版本号对BIN文件进行命名，然后将文件包发送到设备端。

第四步：设备接收到文件包，解包，将此次升级的版本号与之前存储的版本号对比，可得出此次升级的升级方式。对于半参数升级方式，因为只改变了Decoder的模型参数，所以将Decoder参数数组写入“空闲”的存储区域的Decoder部分，将“空闲”设为“升级”，在模型运行之间的间隙，可以设为“运行”，将模型使用的参数切换到此存储区域，则实现不停机热更新。对于Decoder升级和完整升级方式，因为修改了模型结构，编写的模型代码改变了，说明在设备上的执行逻辑也改变了，并且还需要将模型的完整参数数组存储在“空闲”的存储区域，所以在设备停机时可以实现模型更新。更新完毕，根据多模态传感器数据进行行为识别分类。

本发明的用户使用场景举例：

实验室中有特别多需要使用的设备仪器，涉及到用电安全，用火安全，化学用品安全等场景。实验室人员对仪器的不当操作可能会造成严重后果；此外，在实验室中，仪器的更换、增添比较频繁，也容易造成安全影响。因此在影响实验室安全的行为上，需要对人员的不同行为进行识别分类。更进一步地是因为获取了应用的数据，所以需要训练模型和更新模型，使模型对该场景下人的危险行为识别更准确。因此在嵌入式设备上更新模型有必要性，可以使用本发明的更新技术。

Claims (1)

1.一种基于OTA的嵌入式行为识别模型的及时更新方法，其特征在于：

主要包含了云端训练部分和嵌入式应用部分，其中云端训练部分(8)包括了数据预处理模块(1)、模型训练模块(2)、模型参数分析模块(3)以及云端OTA管理模块(4)；嵌入式应用部分(9)包括了设备OTA升级模块(5)、模型更新模块(6)和行为识别模块(7)，在模型训练时，采集了时序数据，选择了基于Encoder-Decoder编码解码器的监督学习模型，在云端训练时，根据数据量大小，能够灵活选择参数更新方式进行参数更新，更新参数训练方式具体分为了完整训练方式、Decoder训练方式和半参数训练方式，通过OTA下载数据包到嵌入式设备上可以在嵌入式设备上分析数据包的标志，根据标志中表明的此次更新方式能够将升级方式与前述模型训练方式一一对应分为了完整升级、Decoder升级和半参数升级方式，能够满足多种更新需求；

具体做法为，第一步：将从多模传感器预先获取的数据进行预处理，把每个传感器收集的数据作为一个维度，再按照获取的时间顺序生成时间序列，而后使用embedding嵌入向量的方式进行编码，最后对整个数据集按照维度方向进行标准化，将数据集的输入部分作为编码解码器模型Encoder的输入，将数据集的输出部分作为模型的预测输出，使用随机梯度下降训练模型——在首次训练时，或者应用模型一年以上后，需要对模型进行完整训练，所以使用预先获取的数据或者一年中的应用数据可对模型进行训练，达到精度要求保存模型；在每隔一季度的时间间隔内，选择进行Decoder训练方式，使用获取的应用数据，预处理数据，固定Encoder部分的参数和结构，可以选择改变Decoder部分的结构，训练Decoder部分的结构和参数，达到精度要求保存模型；在每隔一个月的时间间隔内，使用半参数训练方式，使用获取的应用数据，输入数据，固定Encoder部分模型结构和参数，固定Decoder部分模型结构，只训练Decoder部分的参数，达到精度要求保存模型；

第二步：分析保存的模型，预先将神经网络的库文件经编译处理后加载到嵌入式设备中，将模型的Encoder和Decoder参数分别以两个多维数组形式存储，对于使用完整训练的方式，即将模型结构和参数完整打包成BIN文件；使用半参数训练方式的，只需要将Decoder模型的参数打包成BIN文件；使用Decoder训练方式的，需要将Decoder模型的执行逻辑和参数打包成BIN文件；

第三步：在云端OTA管理模块中，使用版本号来表示不同升级方式的标志，共选择了三级版本号的方式，格式为：V一级版本号.二级版本号.三级版本号，如V3.2.1，对于完整训练模型的升级，修改一级版本号，作为完整升级标志；对于Decoder训练模型的升级，修改二级版本号，作为Decoder升级标志；对于半参数训练模型的升级，修改三级版本号，作为半参数升级表示，使用版本号对BIN文件进行命名，然后将文件包发送到设备端；

第四步：设备接收到文件包，解包，将此次升级的版本号与之前存储的版本号对比，可得出此次升级的升级方式，对于半参数升级方式，因为只改变了Decoder的模型参数，所以将Decoder参数数组写入“空闲”的存储区域的Decoder部分，将“空闲”设为“升级”，在模型运行之间的间隙，可以设为“运行”，将模型使用的参数切换到此存储区域，则实现不停机热更新；对于Decoder升级和完整升级方式，因为修改了模型结构，编写的模型代码改变了，说明在设备上的执行逻辑也改变了，并且还需要将模型的完整参数数组存储在“空闲”的存储区域，所以在设备停机时可以实现模型更新，更新完毕，根据多模态传感器数据进行行为识别分类；

对于每个月时间间隔的半参数训练和更新方式，因为只采取了参数更新，改变参数存储区的值，能够在设备运行时进行热更新，以达到及时更新的目的。