CN110135561B - 一种实时在线飞行器ai神经网络系统 - Google Patents

Abstract

一种实时在线飞行器AI神经网络系统，包括卷积定点滑动IP核、池化压缩量化IP核以及全连接压缩融合IP核。共i+1层，每个卷积定点滑动窗口IP核和池化压缩量化核结构相同。其中，传感器信号1为对于飞行器优先级最高的主惯导数据，它单独输入一个单元网络层在第二次卷积时需控制1至i+1层的输入。飞行器异构传感器数据，作为系统的输入；辨识结果作为系统的输出。卷积滑动窗口IP核，通过排除冗余数据的滑动窗快速实现数据特征的提取；池化压缩量化IP核，使用压缩量化技术，提高系统执行效率；全连接压缩融合IP核，经删减量化后压缩融合，输出满足飞行器实时飞行过程中对大量异构输入数据的高可靠性、低功耗智能集成处理需求。

Description

一种实时在线飞行器AI神经网络系统

技术领域

本发明涉及一种实时在线飞行器AI神经网络系统。

背景技术

随着人工智能技术的不断发展，基于人工智能技术的飞行器控制成为研究的热点问题。其具有强大的处理非线性和自学习以及并行运算的能力，在复杂非线性系统的控制方面有很大的优势。其中，神经网络技术代表了一种新的方法体系，其以分布式的方式存储信息，利用网络的拓扑结构和权值分布实现非线性映射，并利用全局并行处理实现从输入空间到输出空间的非线性变换，从而实现对飞行器复杂系统的智能控制。

现有神经网络系统难以突破飞行器的实时在线需求。飞行器飞行速度快，要求在毫秒级时间内实现辨识输出，在完成大数据吞吐同时，要求系统运算的功耗低。现有技术通过较大的网络规模，使用复杂代码完成卷积、池化和全连接层连接结构，未能对输入优先级最高的主惯导数据有效处理，无法满足时在线飞行器AI神经网络系统的需求。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供了一种实时在线飞行器AI神经网络系统。该系统是一种智能实时处理系统，有效的解决了实时飞行过程中对大量异构输入数据的高可靠性、低功耗智能集成处理需求。

本发明的技术解决方案是：

一种实时在线飞行器AI神经网络系统，包括i+1层神经网络单元，每层神经网络单元均包括若干交替进行的卷积定点滑动IP核和池化压缩量化IP核，卷积定点滑动IP核对输入的数据进行卷积处理，池化压缩量化IP核进行降低数据率处理以及特征提取；外部输入的第一路传感器信号对应飞行器优先级最高的主惯导数据，单独输入一层神经网络单元中，经过该层神经网络单元中第一个卷积定点滑动IP核处理和第一个池化压缩量化IP核处理后的输出，作为控制所有i+1层神经网络单元中第二次卷积定点滑动IP核的输入；

所有i+1层神经网络单元的最终处理结果均输入到全连接压缩融合IP核进行处理，实现目标识别，所述全连接压缩融合IP核的输出即为AI神经网络系统的输出。

神经网络单元的层数具体为：

当只有1个传感器输入时，层数＝1；

当有2个以上传感器输入时，层数＝i+1，i是传感器数量的一半向下取整。

外部输入的第一路传感器信号，输入到第一层神经网络单元中；第二路和第三路传感器信号均送入第二层神经网络单元中，第四路和第五路传感器信号均送入第三层神经网络单元中，以此类推，当传感器数量为奇数时，第2i路和第2i+1路传感器信号均送入第i+1层神经网络单元中；当传感器数量为偶数时，第2i路传感器信号送入第i+1层神经网络单元中。

卷积定点滑动IP核对数据进行卷积运算，卷积定点滑动IP核中包括2条缓存器，1条为权值缓存器，用于存储权值，1条为数据缓存器，用于存储传感器输入处理后的数据；

将权值缓存器存储量化为2的指数次幂的固定权值，数据缓存器按时钟周期移位缓存输入数据；权值缓存器大小为CC乘以CR，数据缓存器大小为(CR-1)×IC+CC，其中，CC为卷积核列数，CR为卷积核行数，IC为输入特征数列数；

权值缓存器对应一组移位乘操作，每组移位乘操作个数同权值缓存器的深度；按时钟完成数据缓存器移动，然后将数据缓存器和权值缓存器的对应单元进行移位乘操作。

卷积定点滑动IP核中包括加法器，用于累加移位乘操作结果和预设偏移参数；加法器个数＝移位乘操作个数+1，加法器中包括与移位乘操作一一对应的部分，额外的1个加法器用于累加偏移参数。

卷积定点滑动IP核中包括一个多路选择器，用于模拟激活函数，输入为所有加法器累加计算后的结果，输出为卷积定点滑动IP核的结果。

池化压缩量化IP核对输入数据进行降低数据率处理以及特征提取，包括缓存器，具体为：

将卷积定点滑动IP核处理输出的特征图数据读入池化压缩量化IP核缓存器中，池化压缩量化IP核的缓存器为移位缓存器。

池化压缩量化IP核包括比较器，具体为：

将缓存器中存储的数据输入到比较器中进行数值比较，比较器的输出为数据压缩后的结果，该结果即为池化压缩量化IP核的处理结果，比较器的处理在一个时钟周期内完成。

当输入特征图数据持续流入缓存器时，实现了池化压缩量化IP核的滑动平移池化，池化压缩量化IP核的第一个输出结果为有效数据，下CC-1个结果为无效数据，第CC个输出结果为有效数据，下2CC-1个结果为无效数据，以此类推，并且将最终得到的所有有效数据进行2的指数次幂定点缩减量化更新。

全连接压缩融合IP核对提取结果进行处理，把提取到的特征综合起来，进行参数和输入特征图数据的运算，并将运算结果通过端口输出，结果为辨识输出；全连接压缩融合IP核包括缓存器，缓存器又包括存储预设参数的全连接权值缓存器、存储输入数据的全连接数据缓存器以及存储预设梯度的偏移量缓存器，具体为：

对全连接权值缓存器中预存的n×n个预设参数数据进行预压缩，量化为n类，用每类量化值代表每类的权值，得到量化后的具有n×n个索引的权值矩阵；

偏移量缓存器同样量化为n类，对每类的梯度求和得到每类偏置，和量化值一起更新得到新权值，存储到全连接权值缓存器中；

将全连接权值缓存器存储量化为2的指数次幂的固定权值，全连接数据缓存器按时钟周期移位缓存输入数据；

全连接权值缓存器对应一组移位乘操作，每组移位乘操作个数与全连接权值缓存器的深度相同；按时钟完成数据缓存器移动，然后将全连接数据缓存器和全连接权值缓存器的对应单元进行移位乘操作。

全连接压缩融合IP核中包括加法器，用于累加移位乘操作结果和预设梯度的偏移量缓存器参数；加法器个数＝移位乘操作个数+1，加法器中包括与移位乘操作一一对应的部分，额外的1个加法器用于累加偏移参数。

本发明与现有技术相比的有益效果是：

(1)系统构建优点：本系统解决了飞行器实时飞行过程中对大量异构输入数据的并行处理。通过本方法中的卷积核，将多维不同传感器产生异构数据，分别对应图象及参数存储模块中的压缩量化数据。经过并行2i或2i+1个目标传感器处理，训练后的低功耗实时系统，可准确的完成信息识别和定位。其中，传感器信号1为对于飞行器优先级最高的主惯导数据，它单独输入一个单元网络层在第二次卷积时需控制后续1至i+1层的输入。

(2)压缩量化优点：本系统解决了庞大复杂的神经网络在实时飞行过程中的应用，使用了数据的定点压缩和压缩量化技术，降低模型参数及计算复杂度，提高系统稳定性。同时使用的共享权值技术，有效减少了参数的数量。该系统降低了数据存储要求并减少了计算过程。同时通过将相关数据量化为2的指数次幂，乘法运算通过移位运算来解决。因为存储器和乘法器决定了神经网络的优先运算加速能力，本方法将这些IP核构建一个完整的低存储无乘法器实时在线AI网络。仅通过使用与、或、非、异或门，使在不损失精度的前提下，本方法的乘法等效运算提升了10倍，除法等效运算提升了40倍，例如，本方法的移位乘操作，仅消耗1个单位，而若使用其对应的32位乘法将损耗200个单位。

(3)本方法设计了适用于不同层的卷积定点滑动IP核、池化压缩量化IP核以及全连接压缩融合IP核，避免多余的输入数据操作。该IP核在相同的神经网络结构下，运用了压缩处理后得到的是非归零压缩编码，有效降低功耗，且其计算能力和延迟时间与其他方法对比提升计算能力和延迟时间的指标性能，实现了不同输入数据并行处理。

附图说明

图1为飞行器实时在线AI神经网络系统框图。

图2为主惯导对后续模块的数据流硬件图；

图3为n＝5时非结构化剪枝量化图a；

图4为n＝5时非结构化剪枝量化图b；

图5为n＝5时非结构化剪枝量化图c；

图6为非结构化权值量化的5×5索引权值矩阵更新图。

具体实施方式

本发明涉及一种实时在线飞行器AI神经网络系统，包括卷积定点滑动IP核、池化压缩量化IP核以及全连接压缩融合IP核。共i+1层，每个子模块的卷积定点滑动IP核和池化压缩量化核结构相同。其中，传感器信号1为对于飞行器优先级最高的主惯导数据，它单独输入一个单元网络层在第二次卷积时需控制后续2至i层的输入。经过上述处理的飞行器异构传感器数据，作为实时在线飞行器AI神经网络系统的输入；辨识结果作为实时在线飞行器AI神经网络系统的输出。飞行器将实时采集的数据输入卷积定点滑动IP核，通过排除冗余数据的滑动窗快速实现数据特征的提取；随后将卷积滑动窗口IP核输出的结果发送给池化压缩量化IP核，使用数据采样和量化技术，完成数据高效压缩，提高系统执行效率；最后将池化压缩量化IP核的输出结果发送给全连接压缩融合IP核，将经过冗余删减和采样量化后的所有支路数据加以压缩融合处理，其输出结果可满足飞行器实时飞行过程中对大量异构输入数据的高可靠性、低功耗智能集成处理需求。

具体的，如图1所示，本发明提出的实时在线飞行器AI神经网络系统，包括i+1层神经网络单元，每层神经网络单元均包括若干交替进行的卷积定点滑动IP核和池化压缩量化IP核，卷积定点滑动IP核对输入的数据进行卷积处理，池化压缩量化IP核进行降低数据率处理以及特征提取；外部输入的第一路传感器信号对应飞行器优先级最高的主惯导数据，单独输入一层神经网络单元中，经过该层神经网络单元中第一个卷积定点滑动IP核处理和第一个池化压缩量化IP核处理后的输出，作为控制所有i+1层神经网络单元中第二次卷积定点滑动IP核的输入；

所有i+1层神经网络单元的最终处理结果均输入到全连接压缩融合IP核进行处理，实现目标识别，所述全连接压缩融合IP核的输出即为AI神经网络系统的输出。

飞行器飞行最主要的传感器信息是主惯导数据，传统的方法是将主惯导数据与其它辅助的传感器信息进行卡尔曼滤波，预估计等方法完成信息融合，而本方法是基于输入数据驱动的，人工智能在线学习策略，将第一路主惯导数据，对其余所有路信息进行修正，大幅提升输出结果的准确性。如图2所示，详细描述了主惯导对后续模块的数据流，实现了充分融合对飞行器最重要的主惯导数据利用的基础上，完成了对大量异构输入数据的并行处理。

因为经过同样的卷积定点滑动窗口IP核和池化压缩量化IP核，基于相同的数字变换，可以确保在第二次卷积定点滑动IP核第一层神经网络处理过的主惯导数据与本层神经网络处理过的数据。输入信息数据具有相同的维数，确保IP核的兼容性。

神经网络单元的层数具体为：

当只有1个传感器输入时，层数＝1；

当有2个以上传感器输入时，层数＝i+1，i是传感器数量的一半向下取整。

外部输入的第一路传感器信号，输入到第一层神经网络单元中；第二路和第三路传感器信号均送入第二层神经网络单元中，第四路和第五路传感器信号均送入第三层神经网络单元中，以此类推，当传感器数量为奇数时，第2i路和第2i+1路传感器信号均送入第i+1层神经网络单元中；当传感器数量为偶数时，第2i路传感器信号送入第i+1层神经网络单元中。

如图1所示，卷积定点滑动IP核对数据进行卷积运算，卷积定点滑动IP核中包括2条缓存器，1条为权值缓存器，用于存储权值，1条为数据缓存器，用于存储传感器输入处理后的数据；

将权值缓存器存储量化为2的指数次幂的固定权值，数据缓存器按时钟周期移位缓存输入数据；权值缓存器大小为CC乘以CR，数据缓存器大小为(CR-1)×IC+CC，其中，CC为卷积核列数，CR为卷积核行数，IC为输入特征数列数；

权值缓存器对应一组移位乘操作，每组移位乘操作个数同权值缓存器的深度；按时钟完成数据缓存器移动，然后将数据缓存器和权值缓存器的对应单元进行移位乘操作。

卷积定点滑动IP核中包括加法器，用于累加移位乘操作结果和预设偏移参数；加法器个数＝移位乘操作个数+1，加法器中包括与移位乘操作一一对应的部分，额外的1个加法器用于累加偏移参数。

卷积定点滑动IP核中包括一个多路选择器，用于模拟激活函数，输入为所有加法器累加计算后的结果，输出为卷积定点滑动IP核的结果。

如图1所示，池化压缩量化IP核对输入数据进行降低数据率处理以及特征提取，包括缓存器，具体为：

将卷积定点滑动IP核处理输出的特征图数据读入池化压缩量化IP核缓存器中，池化压缩量化IP核的缓存器为移位缓存器。

池化压缩量化IP核包括比较器，具体为：

将缓存器中存储的数据输入到比较器中进行数值比较，比较器的输出为数据压缩后的结果，该结果即为池化压缩量化IP核的处理结果，比较器的处理在一个时钟周期内完成。

当输入特征图数据持续流入缓存器时，实现了池化压缩量化IP核的滑动平移池化，池化压缩量化IP核的第一个输出结果为有效数据，下CC-1个结果为无效数据，第CC个输出结果为有效数据，下2CC-1个结果为无效数据，以此类推，并且将最终得到的所有有效数据进行2的指数次幂定点缩减量化更新。

定点量化是将大型矩阵乘法操作，转换为同或门进行真实的位操作。

举例说明1：若量化为+1，-1，按如下可快速执行的简化公式

X＝+1，X的概率分布为σ(x)

-1，X的概率分布为1-σ(x)

其中，σ(x)为预设的分布函数。

举例说明2：若量化为+1，0，-1，按如下可快速执行的简化公式

其中，

为预设的尺度因子。

如图1所示，全连接压缩融合IP核对提取结果进行处理，把提取到的特征综合起来，进行参数和输入特征图数据的运算，并将运算结果通过端口输出，结果为辨识输出；全连接压缩融合IP核包括缓存器，缓存器又包括存储预设参数的全连接权值缓存器、存储输入数据的全连接数据缓存器以及存储预设为定点量化的梯度的偏移量缓存器，具体为：

对全连接权值缓存器中预存的n×n个预设参数数据进行预压缩，量化为n类，用每类量化值代表每类的权值，得到量化后的具有n×n个索引的权值矩阵；

偏移量缓存器同样量化为n类，对每类的梯度求和得到每类偏置，和量化值一起更新得到新权值，存储到全连接权值缓存器中；

将全连接权值缓存器存储量化为2的指数次幂的固定权值，全连接数据缓存器按时钟周期移位缓存输入数据；

本方案考虑最大限度的使用数据的相关性，对输出产生最优结果，故此使用的是非结构化剪枝量化，使剪枝的网络连接在分布上不具有任何连续性，不依赖于任何专门的运算库和硬件。n＝5时非结构化剪枝量化图如图3、图4和图5所示，即在n＝5时举例，其对应于一个5×5的网络，阴影部分为被处理的0的值，产生的结果为压缩后的非归零码。

全连接层是涉及神经网设计中最多的参数和运算，在全连接层的并行运算过程中，对数据缓存器中的数据进行分块，实现n×n权值索引矩阵并行计算。在n＝5时，如图6所示以稀疏矩阵A为例处理过程如下：

A＝

4.0 1.0 0.0 0.0 2.0

0.0 4.0 1.0 0.0 0.0

0.0 1.0 4.0 0.0 1.0

0.0 0.0 1.0 4.0 0.0

2.0 0.0 0.0 1.0 4.0

图6中A阵中对应的所有非零值记录为AA，然后将每一行第一个非零元素对应在AA中的位置记录为JA，再将AA中每一个元素在原始矩阵中的列存为JC。将上述值更新在权值缓存器中，通过指针查表完成一一映射。其中，

AA＝4.0 1.0 2.0 4.0 1.0 1.0 4.0 1.0 1.0 4.0 2.0 1.0 4.0

JA＝1 4 6 9 11 14

JC＝1 2 5 2 3 2 3 5 3 4 1 4 5

全连接权值缓存器对应一组移位乘操作，每组移位乘操作个数与全连接权值缓存器的深度相同；按时钟完成数据缓存器移动，然后将全连接数据缓存器和全连接权值缓存器的对应单元进行移位乘操作。

全连接压缩融合IP核中包括加法器，用于累加移位乘操作结果和预设梯度的偏移量缓存器参数；加法器个数＝移位乘操作个数+1，加法器中包括与移位乘操作一一对应的部分，额外的1个加法器用于累加偏移参数。

该系统运行在FPGA K7上，实际运行模型可实现77.8％的压缩率，识别性能提升了至少20多倍，速度最多提升了40倍，可获得9.8GOPS/s的计算性能和5.8GOP/s/W的效率。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (11)

1.一种实时在线飞行器AI神经网络系统，其特征在于包括i+1层神经网络单元，每层神经网络单元均包括若干交替进行的卷积定点滑动IP核和池化压缩量化IP核，卷积定点滑动IP核对输入的数据进行卷积处理，池化压缩量化IP核进行降低数据率处理以及特征提取；外部输入的第一路传感器信号对应飞行器优先级最高的主惯导数据，单独输入一层神经网络单元中，经过该层神经网络单元中第一个卷积定点滑动IP核处理和第一个池化压缩量化IP核处理后的输出，作为控制所有i+1层神经网络单元中第二次卷积定点滑动IP核的输入；

所有i+1层神经网络单元的最终处理结果均输入到全连接压缩融合IP核进行处理，实现目标识别，所述全连接压缩融合IP核的输出即为AI神经网络系统的输出；i是传感器数量的一半向下取整。

2.根据权利要求1所述的一种实时在线飞行器AI神经网络系统，其特征在于：神经网络单元的层数具体为：

当只有1个传感器输入时，层数＝1；

当有2个以上传感器输入时，层数＝i+1。

3.根据权利要求1所述的一种实时在线飞行器AI神经网络系统，其特征在于：外部输入的第一路传感器信号，输入到第一层神经网络单元中；第二路和第三路传感器信号均送入第二层神经网络单元中，第四路和第五路传感器信号均送入第三层神经网络单元中，以此类推，当传感器数量为奇数时，第2i路和第2i+1路传感器信号均送入第i+1层神经网络单元中；当传感器数量为偶数时，第2i路传感器信号送入第i+1层神经网络单元中。

4.根据权利要求1所述的一种实时在线飞行器AI神经网络系统，其特征在于：卷积定点滑动IP核对数据进行卷积运算，卷积定点滑动IP核中包括2条缓存器，1条为权值缓存器，用于存储权值，1条为数据缓存器，用于存储传感器输入处理后的数据；

将权值缓存器存储量化为2的指数次幂的固定权值，数据缓存器按时钟周期移位缓存输入数据；权值缓存器大小为CC乘以CR，数据缓存器大小为(CR-1)×IC+CC，其中，CC为卷积核列数，CR为卷积核行数，IC为输入特征数列数；

权值缓存器对应一组移位乘操作，每组移位乘操作个数同权值缓存器的深度；按时钟完成数据缓存器移动，然后将数据缓存器和权值缓存器的对应单元进行移位乘操作。

5.根据权利要求4所述的一种实时在线飞行器AI神经网络系统，其特征在于：卷积定点滑动IP核中包括加法器，用于累加移位乘操作结果和预设偏移参数；加法器个数＝移位乘操作个数+1，加法器中包括与移位乘操作一一对应的部分，额外的1个加法器用于累加偏移参数。

6.根据权利要求5所述的一种实时在线飞行器AI神经网络系统，其特征在于：卷积定点滑动IP核中包括一个多路选择器，用于模拟激活函数，输入为所有加法器累加计算后的结果，输出为卷积定点滑动IP核的结果。

7.根据权利要求1所述的一种实时在线飞行器AI神经网络系统，其特征在于：池化压缩量化IP核对输入数据进行降低数据率处理以及特征提取，包括缓存器，具体为：

将卷积定点滑动IP核处理输出的特征图数据读入池化压缩量化IP核缓存器中，池化压缩量化IP核的缓存器为移位缓存器。

8.根据权利要求7所述的一种实时在线飞行器AI神经网络系统，其特征在于：池化压缩量化IP核包括比较器，具体为：

将缓存器中存储的数据输入到比较器中进行数值比较，比较器的输出为数据压缩后的结果，该结果即为池化压缩量化IP核的处理结果，比较器的处理在一个时钟周期内完成。

9.根据权利要求8所述的一种实时在线飞行器AI神经网络系统，其特征在于：当输入特征图数据持续流入缓存器时，实现了池化压缩量化IP核的滑动平移池化，池化压缩量化IP核的第一个输出结果为有效数据，下CC-1个结果为无效数据，第CC个输出结果为有效数据，下2CC-1个结果为无效数据，以此类推，并且将最终得到的所有有效数据进行2的指数次幂定点缩减量化更新。

10.根据权利要求1所述的一种实时在线飞行器AI神经网络系统，其特征在于：全连接压缩融合IP核对提取结果进行处理，把提取到的特征综合起来，进行参数和输入特征图数据的运算，并将运算结果通过端口输出，结果为辨识输出；全连接压缩融合IP核包括缓存器，缓存器又包括存储预设参数的全连接权值缓存器、存储输入数据的全连接数据缓存器以及存储预设梯度的偏移量缓存器，具体为：

对全连接权值缓存器中预存的n×n个预设参数数据进行预压缩，量化为n类，用每类量化值代表每类的权值，得到量化后的具有n×n个索引的权值矩阵；

偏移量缓存器同样量化为n类，对每类的梯度求和得到每类偏置，和量化值一起更新得到新权值，存储到全连接权值缓存器中；

将全连接权值缓存器存储量化为2的指数次幂的固定权值，全连接数据缓存器按时钟周期移位缓存输入数据；

全连接权值缓存器对应一组移位乘操作，每组移位乘操作个数与全连接权值缓存器的深度相同；按时钟完成数据缓存器移动，然后将全连接数据缓存器和全连接权值缓存器的对应单元进行移位乘操作。

11.根据权利要求10所述的一种实时在线飞行器AI神经网络系统，其特征在于：全连接压缩融合IP核中包括加法器，用于累加移位乘操作结果和预设梯度的偏移量缓存器参数；加法器个数＝移位乘操作个数+1，加法器中包括与移位乘操作一一对应的部分，额外的1个加法器用于累加偏移参数。

Images