CN109389043B - 一种无人机航拍图片的人群密度估计方法 - Google Patents

Abstract

本发明公开了一种无人机航拍图片的人群密度估计方法。包括卷积神经网络模块，为具有跨层连接结构的卷积神经网络，用于对航拍图像中的微小行人目标进行感知，并回归人群密度图，从而得到能够回归人群密度图的原始网络；剪枝模块，用于基于AP聚类算法的网络剪枝方法对原始网络进行剪枝，同时压缩网络参数并减少卷积运算，得到便于部署的轻量化网络；估算模块，用于FPGA编程在无人机上实现轻量化网络的人群密度估计算法。本发明可以部署在无人机上准确高效地对地进行人群密度估计。

Description

一种无人机航拍图片的人群密度估计方法

技术领域

本发明涉及一种计算机视觉与智能监控技术，具体来说是一种基于卷积神经网络与网络剪枝的无人机航拍图像人群密度估计系统。

背景技术

人群密度过高已成为现代城市面临的重大安全威胁。通过技术手段对人群密度进行管控，对高密度人群进行预警，已成为智能安防领域的研究热点。

目前已有方案对监控摄像头拍摄的视频帧进行人群密度估计，借助深度学习中的卷积神经网络模型，取得了较高的准确度。但只利用摄像头进行人群密度估计存在以下几点问题：首先，摄像头位置固定，难免存在监控死角；其次，摄像头为倾斜视角，高密度人群中行人中遮挡严重，密度估计误差往往较大，最后对于临时的大规模集会等情境下，监控摄像头难以临时部署。

近年来无人机在计算机视觉和智能监控领域的很多应用中，例如：目标跟踪、车流量统计和轨迹分析等，都取得了较好的效果。在人群管控领域，相比于固定的监控摄像头，无人机具有灵活机动、便于部署、垂直拍摄，不易发生遮挡等优势。因此，无人机航拍图片的人群密度估计具有广阔应用空间。

但与监控摄像头相比，无人机平台具有图片中行人目标极小以及无人机上存储空间、运算能力、续航电量十分有限的特点。

针对感知航拍图片中的小目标问题，需要在卷积网络结构的设计上进行改进。针对运算能力、存储空间有限的问题，需要通过对模型进行剪枝，减去冗余的卷积核，同时减小网络参数量和卷积操作数目。

发明内容

1、发明目的。

针对现有技术的不足，本发明基于卷积神经网络和网络剪枝的无人机航拍图像的人群计数方法，从而提供一种能够部署于无人机平台的人群密度估计系统。

2、本发明所采用的技术方案。

本发明公开了一种无人机航拍图片的人群密度估计方法，包括：

卷积神经网络模块，为具有跨层连接结构的卷积神经网络，用于对航拍图像中的微小行人目标进行感知，并回归人群密度图，从而得到能够回归人群密度图的原始网络；

剪枝模块，用于基于AP聚类算法的网络剪枝方法对原始网络进行剪枝，同时压缩网络参数并减少卷积运算，得到便于部署的轻量化网络；

估算模块，用于FPGA编程在无人机上实现轻量化网络的人群密度估计算法。

更进一步具体实施方式中，卷积神经网络模块中密度图回归网络由三个子网络构成，每个子网络包含三列具有不同大小、数量卷积核的卷积网络。

为加强对小目标的感知效果，所述的卷积网络还具有跨层连接结构，底层特征图倾向感知图片细节信息，高层特征图倾向感知高层语义信息，将底层特征图与高层特征图进行融合，使底层细节特征得以保留和加强。

更进一步具体实施方式中，所述的剪枝模块中，对基于卷积核的AP聚类算法结果对原始网络各层的卷积核进行剪枝，其对每一个卷积层剪枝具体为：

判断荣誉模块，通过AP聚类算法判断冗余卷积核；

删除冗余模块，删去冗余卷积核及其对应参数，保留聚类中心对应的卷积核；

训练收敛模块，将删去卷积核后的整体网络训练至收敛。

更进一步具体实施方式中，还包括预处理模块，对无人机航拍数据集 (UAV_17)进行预处理；

(1)划分训练集与测试集；

(2)数据增强：通过左右对称与上下对称的方式进行数据扩张；

(3)根据标注的位置信息生成密度图估计网络的监督信号，标注信息为图片中所有人人头的坐标位置(x，y)，监督信号为根据人头坐标位置生成的人群密度图，

其中(x_i,y_i)为坐标位置，σ为高斯函数的参数，在航拍图像中高斯核扩散参数取σ＝2，D为计算得到的真实密度图；

(4)由于在网络中存在两个下采样层，网络预测的密度图长度、宽度都是原图像的四分之一；

在计算作为监督信号的密度图矩阵时，首先，根据步骤(3)计算出原图像的密度图D(T)；其次，对密度图D(T)进行下采样，得到D_down；最后，由于密度图上所有点数数值之和与图片中人头数目相等，因此对下采样后的矩阵每一点处的数值乘以系数sum(D(T))/sum(D_down)，得到D，即：

其中sum(A)表示对矩阵A中所有元素求和。

更进一步具体实施方式中，所述的卷积神经网络模块：通过具有跨层连接的网络结构对航拍图像人群密度图进行回归：

(1)网络结构通过跨层连接，使浅层的包含大量细节特征的特征图保留到高层，与高层语义特征进行融合，融合采用拼接特征图的方式，用K_p表示第p 个子网络对应的非线性映射，用R_q代表第q个子网络的输出特征图，F为最后一层密度图回归卷积层对应的非线性映射，O为输出的人群密度图，则有：

(2)采用欧式损失作为密度图回归的损失函数，其定义如下：

其中，W为整个网络的参数，X_i为输入图片，D为计算出的作为网络回归目标的人头密度图，n是训练数据个数，F(X_i；W)代表网络对输入图片人头密度的估计结果，

是整个网络的误差损失；

(3)采用梯度下降算法和误差反传算法来优化训练网络，得到原始稠密网络。

AP聚类算法与其他聚类算法相比，具有不需人工指定而是通过对数据的分析自动学习cluster数目的特点，避免了人工统一制定剪枝比率可能造成的过度删减或是删减不足的问题。利用基于AP聚类的剪枝算法对原始稠密网络进行压缩，得到轻量化的网络；

针对原始稠密网络的每一个卷积层：

(1)判断冗余的卷积核；

1.1对卷积核进行AP聚类，使卷积核

聚类为卷积核组 {G₁，…，G_p}；

1.2对每组卷积核G_m中的卷积核，选取AP算法的聚类中心作为保留的卷积核，其他卷积作为冗余卷积核；

(2)删去冗余卷积核及其对应参数，保留聚类中心对应的卷积核；

(3)将删去卷积核后的整体网络训练至收敛；

按照从后到前的顺序(conv4_1->conv4_2->conv4_3->conv3_1->conv3_2->conv3_3-> conv2_1->conv2_2->conv2_3->conv1_1->conv1_2->conv1_3)，对每一个卷积层进行网络剪枝，得到轻量化后的人群密度估计网。

更进一步具体实施方式中，估算模块，对压缩后的深度网络的FPGA硬件化设计：

(1)建立FPGA的优化计算模型，即建立计算模型将计算性能与分块系数建立联系，并通过优化得到最佳的计算引擎；

(2)使用数据重用技术减少外部存储器的访问，建立了计算-访存比和分块系数的联系；

(3)计算模型对FPGA的设计空间进行定义，在FPGA平台上找到最优解决方案。

3、本发明所产生的技术效果。

(1)本发明针对无人机航拍图片，提出了一种具有跨层连接的卷积神经网络结构，感知航拍图像中小目标效果更好。

(2)本发明针对无人机平台计算能力、存储空间有限的问题，提出一种基于AP聚类的网络剪枝方法，对原始的稠密网络进行剪枝，得到轻量化的网络。

(3)本发明针对无人机航程远，数据回传的代价大，回传信号不稳等问题，提出通过FPGA编程的方式将轻量化的深度网络部署在无人机平台上，便于在无人机端系统实时进行密度估计，只返回密度估计的结果，使整个系统保持分布式结构。

附图说明

图1基于跨层连接的航拍图像人群密度估计卷积网络。

图2网络剪枝原理示意图。

图3基于AP聚类的网络剪枝流程图。

图4整体框架训练阶段流程示意图。

图5整体框架实际部署阶段流程示意图。

图6无人机平台监控视频帧进行人群密度图估计效果图。

图7进行剪枝的卷积层数目与估计准确率性和模型大小的关系图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

实施例

步骤一、对无人机航拍数据集(UAV_17)进行预处理

(1)划分训练集与测试集：按照7:3的比例划分训练集与测试集；

(2)数据增强：通过左右对称与上下对称的方式进行数据扩张；

(3)根据标注的位置信息生成密度图估计网络的监督信号，标注信息为图片中所有人人头的坐标位置(x，y)，监督信号为根据人头坐标位置生成的人群密度图，

其中(x_i,y_i)为坐标位置，σ为高斯函数的参数，在航拍图像中高斯核扩散参数取σ＝2，D为计算得到的真实密度图；

(4)由于在网络中存在两个下采样层，因此，网络预测的密度图长度、宽度都是原图像的四分之一。因此，在计算作为监督信号的密度图矩阵时，首先，根据公式(3)计算出原图像的密度图D(T)；其次，对密度图D(T)进行下采样，得到D_down；最后，由于密度图上所有点数数值之和与图片中人头数目相等，因此对下采样后的矩阵每一点处的数值乘以系数sum(D(T))/sum(D_down)，得到D，即：

其中sum(A)表示对矩阵A中所有元素求和。

步骤二：通过具有跨层连接的网络结构对航拍图像人群密度图进行回归

(1)网络结构的设计如图1，通过跨层连接，使浅层的包含大量细节特征的特征图保留到高层，与高层语义特征进行融合。融合采用拼接特征图的方式，用K_p表示第p个子网络对应的非线性映射，用R_q代表第q个子网络的输出特征图，F为最后一层密度图回归卷积层对应的非线性映射，O为输出的人群密度图，则有：

(2)采用欧式损失作为密度图回归的损失函数，其定义如下：

其中，W为整个网络的参数，X_i为输入图片，D为通过公式(2)计算出的作为网络回归目标的人头密度图，n是训练数据个数，F(X_i；W)代表网络对输入图片人头密度的估计结果，

是整个网络的误差损失；

(3)采用梯度下降算法和误差反传算法来优化训练网络，得到原始稠密网络。

步骤三：利用基于AP聚类的剪枝算法对原始稠密网络进行压缩，得到轻量化的网络。网络剪枝原理详见图2，剪枝过程详见图3。

AP聚类算法与其他聚类算法相比，具有不需人工指定而是通过对数据的分析自动学习cluster数目的特点，避免了人工统一制定剪枝比率可能造成的过度删减或是删减不足的问题。

针对原始稠密网络的每一个卷积层：

(1)判断冗余的卷积核；

1.1对卷积核进行AP聚类，使卷积核

聚类为卷积核组{G₁,…G_p}；

1.2对每组卷积核G_m中的卷积核，选取AP算法的聚类中心作为保留的卷积核，其他卷积作为冗余卷积核；AP聚类算法基于数据点之间的的具体方法为：

Step1利用卷积核样本之间的欧式距离计算刻画样本之间的相似度的矩阵S， S有性质：

s(i,j)＞s(i,k)当且仅当f_i与f_j之间的相似度大于其与f_k之间的相似度；Step2将吸引信息矩阵和归属信息矩阵R和A初始化为0，

吸引信息矩阵R：r(i,j)描述了数据对象k适合作为数据对象i的聚类中心的程度，表示的是从i到k的消息；

归属信息矩阵A；a(i,j)描述了数据对象i选择数据对象k作为其据聚类中心的适合程度，表示从k到i的消息；

Step3交替进行两个信息传递的步骤，以更新吸引信息矩阵和归属信息矩阵，分别按照以下方法更新矩阵R和A

其中，s为相似度的矩阵，r_t a_t分别为t时刻的吸引信息矩阵和归属信息矩阵的值，i、i′、k为矩阵中的索引；

Step4对以上步骤进行迭代，如果这些决策经过若干次迭代之后保持不变或者算法执行超过设定的迭代次数，又或者一个小区域内的关于样本点的决策经过数次迭代后保持不变，则算法结束。

(2)删去冗余卷积核及其对应参数，保留聚类中心对应的卷积核；

(3)将删去卷积核后的整体网络训练至收敛。

按照从后到前的顺序(conv4_1->conv4_2->conv4_3->conv3_1->conv3_2->conv3_3-> conv2_1->conv2_2->conv2_3->conv1_1->conv1_2->conv1_3)，对每一个卷积层进行网络剪枝，得到轻量化后的人群密度估计网。

步骤四：对压缩后的深度网络的FPGA硬件化设计

(1)建立FPGA的优化计算模型，即建立计算模型将计算性能与分块系数建立联系，并通过优化得到最佳的计算引擎。

(2)使用数据重用技术减少外部存储器的访问，建立了计算-访存比和分块系数的联系。

(3)计算模型对FPGA的设计空间进行定义了，从而在FPGA平台上找到最优解决方案。

下面根据系统的工作模式来阐述此系统的工作流程。

一、训练模式

训练模式的整体流程见图4。

(1)训练数据准备：

1.1通过每个人头的位置坐标通过叠加高斯核函数的形式进行扩散，得到真实的人群密度图，并对其进行下采样，

1.2进行数据增强

(2)原始稠密的人群密度估计网络模块：用监控视频帧作为人群密度估计网络的输入，真实人群密度图作为监督信号训练整体人群密度估计网络，采用具有跨层连接的网络结构，并用梯度下降算法训练网络至收敛；

(3)网络剪枝模块：对网络的每一个卷积层按照从后往前的顺序：利用AP 聚类算法对卷积核聚类，将聚类中心对应的卷积核保留，删去其余卷积核，进行微调至网络收敛。最终得到轻量化的人群密度估计网络。

二、部署模式

部署模式的整体流程详见图5。

(1)对经过剪枝的轻量化的人群密度估计网络进行FPGA编程部署于无人机平台；

(2)输入为无人机摄像头拍摄的视频帧，输出为人群密度图像。

综上所述，本发明通过具有跨层连接的人群密度图回归模块、基于AP聚类的网络剪枝模块、FPGA编程模块构建了部署于无人机平台的人群密度估计系统，能够准确有效估计无人机航拍图像中的人群密度。

验证试验

UAV_17数据集包括1235张标注图片，共包含224710个行人目标，平均每张图片包含182个人。图片分辨率为1024*576。采用3:7的比例划分测试集与训练集。视频采集自南京中山陵，其中，每张图片行人目标的标注为行人头部正中位置的坐标。

为验证卷积神经网络模块(具有跨层连接的卷积密度图回归网络)的有效性，在UAV_17数据集上分别采用具有跨层连接的网络和普通不具备跨层连接的网络进行人群密度估计，并比较效果。采用平均绝对误差(Mae)、平均相对误差(Mre)、均方根误差(Mse)作为模型的评价指标。

其中，n为测试集中图片数目，k_i为第i张图片上的人数，

为模型预测出的第i 张图片人数。

表1各策略在UAV_17数据集上准确性指标对比表

通过观察表1可以发现，跨层连接的网络结构分别使Mae，Mse和Mre指标有了明显降低。究其原因在于，在卷积神经网络中，一方面随着网络层数的增加，特征逐渐抽象，不断作非线性变换，趋向于高层语义特征；另一方面，由于 pooling层的作用，使特征在具有一定平移不变性的同时，损失了细节与底层特征，因此不利于对细小目标的感知，而跨层连接则可以将底层细节信息较好保留，并与高层语义信息融合，提高了感知效果。但由于跨层连接造成了特征图的拼接，因此会造成参数量的增加。

对无人机平台监控视频帧进行人群密度图估计效果如图6所示。

通过观察上图可以明显发现密度图回归网络有效感知了人群。

为验证剪枝模块的模型压缩效果，按照从后向前的剪枝顺序对具有两个跨层连接的Skip Multi-scale CNN进行网络剪枝，即：conv4_1->conv4_2->conv4_3-> conv3_1->conv3_2->conv3_3->conv2_1->conv2_2->conv2_3->conv1_1-> conv1_2->conv1_3，一共12层卷积层，其中进行剪枝的卷积层数目与估计准确率性和模型大小的关系如图7，其中估计准确性η由Mre指标根据如下公式计算得到。

η＝100-Mre

图7表明对所有层进行剪枝仍然可以使模型的估计准确性达到90％以上，此时网络模型大小为0.5M，将模型压缩了3.6倍。

若需要使估计准确率达到94％以上，则可以将剪枝的卷积层数目设为6层，如表2所示，此时网络压缩了约1.6倍，准确率则只降低了0.35％。因此网络剪枝方法可以有效地在保证模型准确性的情况下压缩网络。

表2网络剪枝效果对比

实现本发明目的的技术解决方案为：首先设计一种具有跨层连接结构的卷积神经网络，对航拍图像中的微小行人目标进行感知，从而得到能够回归人群密度图的原始网络；其次通过基于AP聚类算法的网络剪枝方法对原始网络进行剪枝，同时压缩网络参数并减少卷积运算，得到便于部署的轻量化网络；最后通过FPGA 编程在无人机上实现轻量化网络的人群密度估计算法。包括以下模块：

卷积神经网络模块：利用具有跨层连接的卷积神经网络对航拍图片中的极小行人目标进行感知，并回归人群密度图，从而得到航拍图片人群密度回归的原始网络；

剪枝模块：利用AP聚类算法自动卷积网络中每个卷积层中的各个卷积核进行无监督聚类，保留聚类中心对应的卷积核，删去其他冗余卷积核，逐层对原始网络进行剪枝得到轻量化网络

FPGA模块：基于人群密度估计的轻量化卷积网络的FPGA硬件化设计。

进一步，卷积神经网络模块中密度图回归网络由三个子网络构成，每个子网络包含三列具有不同大小、数量卷积核的卷积网络。为加强对小目标的感知效果，网络还具有跨层连接结构，底层特征图倾向感知图片细节信息，高层特征图倾向感知高层语义信息，将底层特征图与高层特征图进行融合，使底层细节特征得以保留和加强。

剪枝模块中，对基于卷积核的AP聚类算法结果对原始网络各层的卷积核进行剪枝，其对每一个卷积层剪枝的步骤如下：

Step1通过AP聚类算法判断冗余卷积核；

Step2删去冗余卷积核及其对应参数，保留聚类中心对应的卷积核；

Step3将删去卷积核后的整体网络训练至收敛。

在FPGA模块中，将深度神经网络进行FPGA编程，使其能够部署于无人机硬件平台上。

现有的对卷积神经网络的轻量化方法，可以大致分为稀疏、量化、编码、剪枝几种。其中稀疏方法主要适用于具有全连接层的网络，量化和编码主要针对降低网络模型大小，减少网络参数，而并不能减少卷积操作的数量，因此应用于基于无人机平台的人群密度估计问题难以降低对无人机平台计算能力的需求。只有剪枝方法通过删除冗余的卷积核，能够针对全卷积网络(只含有卷积层的神经网络)在压缩模型大小的同时减少卷积操作数量，不但降低了对平台计算、存储能力的需求，且提高了实时性，更加符合基于无人机平台人群密度估计问题的需求。

现有的大多基于卷积神经网络的剪枝方法，都需要人工对卷积核的重要程度进行定义，例如采用卷积核中参数绝对值的大小或是对应特征图的信息熵，同时需要人工设定剪枝比率，从而确定重要程度阈值。而本发明所提基于AP聚类的卷积神经网络剪枝算法，从卷积核数量的人工设定时存在冗余因此需要剪枝剪去冗余的卷积核这一剪枝问题的根源出发，通过AP聚类算法自适应的对卷积核进行聚类，利用了AP聚类算法不需要人工设定聚类数目并能自动找到其中样本作为聚类中心的优势。不需人工定义判断卷积核优劣的方式，也不需要人工定义剪枝比率，而是认为聚类中心对应的卷积核能够有效代表处于此类的卷积核，因此对其进行保留，其他非聚类中心的卷积核则作为冗余卷积核删去，更加合理。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种无人机航拍图片人群密度估计系统，其特征在于包括：

卷积神经网络模块，为具有跨层连接结构的卷积神经网络，用于对航拍图像中的微小行人目标进行感知，并回归人群密度图，从而得到能够回归人群密度图的原始网络；

剪枝模块，用于基于AP聚类算法的网络剪枝方法对原始网络进行剪枝，同时压缩网络参数并减少卷积运算，得到便于部署的轻量化网络；

估算模块，用于FPGA编程在无人机上实现轻量化网络的人群密度估计算法；

还包括预处理模块，对无人机航拍数据集进行预处理；

(1)划分训练集与测试集；

(2)数据增强：通过左右对称与上下对称的方式进行数据扩张；

(3)根据标注的位置信息生成密度图估计网络的监督信号，标注信息为图片中所有人人头的坐标位置(x，y)，监督信号为根据人头坐标位置生成的人群密度图，

其中(x_i,y_i)为坐标位置，σ为高斯函数的参数，在航拍图像中高斯核扩散参数取σ＝2，D为计算得到的真实密度图；

(4)由于在网络中存在两个下采样层，网络预测的密度图长度、宽度都是原图像的四分之一；

在计算作为监督信号的密度图矩阵时，首先，根据步骤(3)计算出原图像的密度图D(T)；其次，对密度图D(T)进行下采样，得到D_down；最后，由于密度图上所有点数数值之和与图片中人头数目相等，因此对下采样后的矩阵每一点处的数值乘以系数sum(D(T))/sum(D_down)，得到D，即：

其中sum(A)表示对矩阵A中所有元素求和。

2.根据权利要求1所述的无人机航拍图片人群密度估计系统，其特征在于：卷积神经网络模块中密度图回归网络由三个子网络构成，每个子网络包含三列具有不同大小、数量卷积核的卷积网络。

3.根据权利要求2所述的无人机航拍图片人群密度估计系统，其特征在于：所述的卷积网络还具有跨层连接结构，底层特征图倾向感知图片细节信息，高层特征图倾向感知高层语义信息，将底层特征图与高层特征图进行融合，使底层细节特征得以保留和加强。

4.根据权利要求1所述的无人机航拍图片人群密度估计系统，其特征在于：所述的剪枝模块中，对基于卷积核的AP聚类算法结果对原始网络各层的卷积核进行剪枝，其对每一个卷积层剪枝具体为：

判断荣誉模块，通过AP聚类算法判断冗余卷积核；

删除冗余模块，删去冗余卷积核及其对应参数，保留聚类中心对应的卷积核；

训练收敛模块，将删去卷积核后的整体网络训练至收敛。

5.根据权利要求1所述的无人机航拍图片人群密度估计系统，其特征在于所述的卷积神经网络模块，通过具有跨层连接的网络结构对航拍图像人群密度图进行回归：

(1)网络结构通过跨层连接，使浅层的包含大量细节特征的特征图保留到高层，与高层语义特征进行融合，融合采用拼接特征图的方式，用K_p表示第p个子网络对应的非线性映射，用R_q代表第q个子网络的输出特征图，F为最后一层密度图回归卷积层对应的非线性映射，O为输出的人群密度图，则有：

(2)采用欧式损失作为密度图回归的损失函数，其定义如下：

其中，W为整个网络的参数，X_i为输入图片，D为计算出的作为网络回归目标的人头密度图，n是训练数据个数，F(X_i；W)代表网络对输入图片人头密度的估计结果，

是整个网络的误差损失；

(3)采用梯度下降算法和误差反传算法来优化训练网络，得到原始稠密网络。

6.根据权利要求1所述的无人机航拍图片人群密度估计系统，其特征在于所述的剪枝模块：利用基于AP聚类的剪枝算法对原始稠密网络进行压缩，得到轻量化的网络；

针对原始稠密网络的每一个卷积层：

(1)判断冗余的卷积核；

1.1对卷积核进行AP聚类，使卷积核

聚类为卷积核组{G₁，…，G_p}；

1.2对每组卷积核G_m中的卷积核，选取AP算法的聚类中心作为保留的卷积核，其他卷积作为冗余卷积核；

(2)删去冗余卷积核及其对应参数，保留聚类中心对应的卷积核；

(3)将删去卷积核后的整体网络训练至收敛；

按照从后到前的顺序，对每一个卷积层进行网络剪枝，得到轻量化后的人群密度估计网。

7.根据权利要求1所述的无人机航拍图片人群密度估计系统，其特征在于估算模块，对压缩后的深度网络的FPGA硬件化设计：

(1)建立FPGA的优化计算模型，即建立计算模型将计算性能与分块系数建立联系，并通过优化得到最佳的计算引擎；

(2)使用数据重用技术减少外部存储器的访问，建立了计算-访存比和分块系数的联系；

(3)计算模型对FPGA的设计空间进行定义，在FPGA平台上找到最优解决方案。

Images