CN208922294U - Fpga实现的特征提取图像传感器 - Google Patents

Abstract

本实用新型公开一种FPGA实现的特征提取图像传感器，由通用CCD/CMOS图像传感器、ARM控制器、FPGA卷积神经网络、图像缓存单元、无线数据传输模组和网络传输模组组成。一个完整的卷积神经网络被分为两部分，一部分部署在所述的FPGA实现的特征提取图像传感器上，另一部分部署在云前端，与所述特征提取图像传感器上部署的卷积神经网络一起构成完整的卷积神经网络。该完整的卷积神经网络可以被训练，用于图像监控、检测物体及目标追踪，具有功耗低，处理速度快的优点。在用于特定场景监控时，可以降低对传输带宽的需求，还可以避免直接传输图像所带来的隐私或泄密问题。

Description

FPGA实现的特征提取图像传感器

技术领域

本实用新型涉及图像处理、卷积神经网络领域，特别是涉及FPGA实现的特征提取图像传感器。

背景技术

图像特征提取，一方面可以减少所要传输图像的数据量，另一方面能解决直接监控图像，导致的隐私暴露和泄密的问题。特别是在居家养老，对老人活动的监控，对病人的呼吸监控、情绪监控等，直接监控图像特征，而不是直接监控清晰图像，其应用更加简便。

FPGA（Field－Programmable Gate Array）作为专用可编程电路，在许多领域都得到了广泛应用，特别是在数字信号处理和图像处理方面更具有优势和巨大的前景。

现有基于CPU或GPU的卷积神经网络方案提取特征图像,无法兼顾实时性、功耗以及便携性的要求，而FPGA具有强大的并行处理能力和超低功耗优点，可以将部分或整个卷积神经网络部署在FPGA上。

发明内容

本实用新型公开一种FPGA特征提取图像传感器，由通用CCD/CMOS图像传感器、ARM控制器、FPGA卷积神经网络、图像缓存单元、无线数据传输模组和网络传输模组组成。在所述的FPGA卷积神经网络上部署一层卷积层、一层ReLU激励层和一层池化层构建部分卷积神经网络，卷积层用于提取图像特征，池化层用于特征图像的降维处理。一个完整的卷积神经网络被分为两部分，其另一部分部署在云前端，与所述FPGA部署的卷积神经网络一起构成完整的卷积神经网络。该完整的卷积神经网络可以被训练，用于图像监控、检测物体及目标追踪。这种FPGA实现的特征提取图像传感器，具有功耗低，处理速度快的优点，在用于特定场景监控时，可以降低对传输带宽的需求，还可以避免直接传输图像所带来的隐私或泄密问题。

作为优选方案之一，所述的特征提取图像传感器由通用CCD/CMOS图像传感器、ARM控制器、FPGA卷积神经网络、图像缓存单元、无线数据传输模块和网络传输模块组成。

优选地，所述的通用图像传感器是目前市面上普遍使用的CCD和CMOS图像传感器，其图像清晰度决定图像的大小，由具体应用需求所确定，例如，在采集视频信号时，其大小为，D1：720x576；CIF：352x240；HDTV：1920x1080等。

优选地，所述的ARM控制器控制数据在输入、缓存、FPGA和输出的无线数据模组或网络模组中以数据流的形式流动，将数据以数据流的形式由DDR传输到FPGA kernel，控制数据流穿梭与每一个CNN层，应用其并行结构及高性能流水线，高速完成整个特征提取图像传感器的处理流程。

优选地，所述的FPGA卷积神经网络单元是一个图像特征提取卷积神经网络，该卷积神经网络只是完整卷积神经网络的一部分。我们把一个完整的CNN分为两部分，一部分部署在所述的FPGA卷积神经网络单元，另外一部分部署在云前端，该两部分组成的CNN可以通过大数据训练，完成图像特定特征提取，满足特定图像监控需求。

优选地，所述的完整CNN可以训练完后，再将该CNN分成两部分，将前端输入、卷积处理部分直接部署到FPGA卷积神经网络单元上，不需要再训练。

优选地，所述的图像缓存单元用来缓存中间图像和特征图像数据。

优选地，所述的无线数据传输模块，用来将卷积神经网络处理好的特征图像数据通过无线网络传输给前端卷积神经网络再作进一步处理。所述的无线数据传输模组，可以是4G/5G移动数据传输模组，特征图像数据将通过移动数据网络传输；也可以是WiFi数据传输模组，特征图像数据将通过WiFi网络传输。

优选地，所述的网络传输模块，可以是以太网传输模块，用来将卷积神经网络处理好的特征图像数据通过网络传输给前端卷积神经网络再作进一步处理。

作为优选方案之二，所述的FPGA卷积神经网络至少有一个卷积层、一个ReLU激励层，和至少有一个最大池化层。

优选地，所述的卷积层用来处理由所述的通用图像传感器采集的图像信号，通过卷积处理提取其特征图像。

进一步，所述的激励层将对所述卷积层处理后的特征图像做非线性处理，并增加被激活的神经元数。

进一步，所述的最大池化层，通常采用2×2的卷积核处理，取其最大值表示卷积结果，达到将出来后的特征图像维度降低一半的目的。

作为优选方案之三，所述的完整卷积神经网络在具体应用时可以选择已有的经典卷积神经网络，如，Alex-Net、Googl-Net、ResNet、DenseNet及其这些典型卷积神经网络架构的延申和互补构建的卷积神经网络。

优选地，在物体识别与目标追踪任务处理时，可以采用诸如，R-CNN（卷积特征）、SPP-NET/Fast R-CNN（卷积特征）、Faster R-CNN（卷积特征）、YOLO (v1 & v2)（卷积特征）、SSD（卷积特征）等复杂的卷积神经网络。

优选地，所述的完整卷积神经网络被分为两部分，前端处理部分，即简单部分，部署在所述FPGA特征提取图像传感器的FPGA卷积神经网络单元，另一部分部署在前端，由于前端采用的是具备超级计算能力的卷积神经网络处理系统，可以处理复杂的图像分类和物体检测与追踪任务。

进一步，由于所述完整地卷积神经网络之复杂部分部署在前端，可以将其视为云服务系统，可供所有在FPGA卷积神经网络单元部署了同样的部分卷积神经网络的特征提取图像传感器，共同使用云部分卷积神经网络，完成对图像的分类监控、对物体的检测和追踪任务。数据的传输通过网络实现。

本实用新型的有益效果是：

在FPGA实现部分卷积神经网络，如，一层卷积网络作特征提取，一层激励层，和一层池化层做降维处理。将另外一部分卷积神经网络则部署在云端，两部分卷积神经网络构成完整的卷积神经网络。大大降低了实时处理难度，既满足了特征提取图像传感器简单化，易实现的要求，还具备功耗低，处理速度快，实时性好的优点。同时，通过在云端部署复杂的卷积神经网络的那一部分与特征提取图像传感器端部署的那一部分构成完整卷积神经网络，可以应用典型的卷积神经网络处理监控图像分类，物体识别和目标追踪精度任务，还可以创新更为复杂的综合处理架构，提供处理效率和精度。

从通用图像传感器的原始图像采集信号中提取特定的图像特征，从而减少了传输、存储整幅图像的带宽和存储空间。对于不愿意暴露隐私，或不愿意被看到清晰图像的特殊监控需求，提供了一种特殊的图像特征监控方式。

附图说明

图1是本实用新型优选实施例的FPGA特征提取图像传感器结构；

图2是本实用新型优选实施例在FPGA卷积神经网络单元部署的卷积神经网络；

图3是本实用新型优选实施例的Alex-Net卷积神经网络分为两部分部署例；

图4是本实用新型优选实施例的特征提取图像传感器的处理流程。

具体实施方式

现在结合附图和优选实施例对本实用新型作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本实用新型的基本结构，因此其仅显示与本实用新型有关的构成。

图1是本实用新型优选实施例的FPGA特征提取图像传感器结构，包括：101通用CCD/CMOS图像采集单元，在此，优选CMOS图像采集单元；102是ARM控制器，在此作为数据流流向控制，存储控制，输出控制等，将各步骤编程处理；106是FPGA卷积神经网络特征提取单元，完成一个完整卷积神经网络的一部分卷积神经网络功能，例如，用一层卷积层做图像特征提取，用一层ReLU激励层作图像非线性处理，用一层最大池化层作图像降维处理；105是图像缓存单元，输入图像或中间特征图像数据在该单元缓存；104是以太网接口单元，处理后的特征图像数据通过该网口连接的网络送给前端；103是无线传输模块，处理后的特征图像数据通过该无线传输模块送给前端，该无线传输模块可以是4G/5G移动数据模块，也可以是WiFi无线传输模块，前者通过移动数据网络将数据送往前端，后者通过WiFi网络将数据送往前端。

图2是本实用新型优选实施例在FPGA卷积神经网络单元部署的卷积神经网络，201是第一层卷积层，在该实施列中，取输入图像大小为227ⅹ227，用卷积核11ⅹ11，步长S=4，的卷积核进行卷积处理，输出特征图大小为55ⅹ55；202是激励层，将输入的特征图大小为55ⅹ55的信号进行非线性处理，实现稀疏后的模型能够更好地挖掘相关特征，拟合训练数据；203是最大池化层，在该实施列中，池化层采用3ⅹ3卷积核，步长S=2的滤波器，处理后的输出特征图大小为27ⅹ27，有效地降低了输出特征图的维度。

图3是本实用新型优选实施例的将Alex-Net卷积神经网络分两部分部署实例，我们从310点将一个典型的Alex-Net卷积神经网络分为两部分，左边部分，301、302部署在所述的特征提取图像传感器上，右边部分，303、304、305、306、307、308、309部署在云前端。301是输入尺寸大小为227ⅹ227ⅹ3输入图像；用11ⅹ11，步长为4，96个滤波器做卷积处理后，输出为55ⅹ55ⅹ96个特征图像；再用核大小为3ⅹ3，步长为2，的滤波器做池化处理，将输出特征图降为27ⅹ27ⅹ96个特征图，如302所示，将所述的301、302部分卷积神经网络部署在所述的特征提取图像传感器上。

所述图3的Alex-Net卷积神经网络的另外一部分包含了，303是第2卷积层，包括作5ⅹ5，步长为1的卷积处理，接relu2，再用3ⅹ3，步长为2的池化处理，最后输出13ⅹ13ⅹ256个特征图；304是第3卷积层，3ⅹ3，步长为1的卷积处理，输出13ⅹ13ⅹ384个特征图；305为第4卷积层，3ⅹ3，步长为1的卷积处理，输出13ⅹ13ⅹ384个新的特征图；306是第5卷积层，3ⅹ3，步长为1的卷积处理，输出13ⅹ13ⅹ384个特征图，再经过池化层处理，降维至6ⅹ6ⅹ256个特征图输出；307是全连接层FC6，先用4096个神经元连接6ⅹ6ⅹ256个特征图输出，再Dropout随机丢掉一些节点信息，得到新的4096个神经元；308是FC7，是与FC6类似的全连接层，有4096个神经元；309也是全连接层，用1000个神经元完成分类任务，所述的1000个神经元与FC7的4096个神经元连接，然后经过高斯滤波器，得到1000个float型的值，即预测的可能性。

图4是本实用新型优选实施例的特征提取图像传感器的处理流程；首先进入流程S401采集图像，再进入流程S402将所采集的图像缓存；然后再进入流程S403，将缓存的图像送给FPGA单元做卷积处理，该处理是对原始图像作特征提取；然后再进入流程S404，对做完特征提取后的特征图进行非线性处理，ReLU激励层处理；再进入流程S405，对激励层处理后的特征图进行最大池化处理；进入流程S406将处理好的数据缓存到缓存单元；最后再进入数据传输流程S407，可选择无线数据传输或有线数据传输，将经过特征提取的特征图传送给前端部署的另外一部分卷积神经网络进行进一步图像分类、物体识别或目标追踪处理。

以上述依据本实用新型的实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (8)

1.特征提取图像传感器，其特征在于，其由通用图像传感器、AMR控制器、FPGA图像特征提取单元、图像缓存单元、无线传输模块、网络传输模块等组成：

所述通用图像传感器是CCD或CMOS图像传感器，推荐采用CMOS图像传感器便于集成一体化和减小体积；

所述AMR控制器用于控制图像和特征图像数据流，在输入、缓冲器、FPGA和输出直接的流动，通过运行软件控制整个处理流程；

所述FPGA图像特征提取单元用来运行卷积神经网络，提取图像特征；

所述图像缓存单元用来暂存数字图像和特征图像信号；

所述无线传输模块用来传输特征图像数据和控制信号；

所述网络传输模块用来传输特征图像数据和控制信号。

2.如权利要求1所述的特征提取图像传感器，其特征在于，用FPGA作为图像特征提取单元硬件，运行所述卷积神经网络提取图像特征。

3.如权利要求1所述的特征提取图像传感器，其特征在于，所述的卷积神经网络是一个完整深度学习卷积神经网络的一部分，所述的部分包括，但不仅限于，一层卷积层，一层ReLU激励层，一层最大池化层。

4.如权利要求1所述的特征提取图像传感器，其特征在于，所述的卷积神经网络被分为两部分，一部分部署在所述的特征提取图像传感器的FPGA上，另一部分部署在云前端运算平台上。

5.如权利要求1所述的特征提取图像传感器，其特征在于，所述的卷积神经网络是典型的深度学习卷积神经网络，或者其变形和融合的卷积神经网络，用于图像分类、物体识别、或目标追踪。

6.如权利要求1所述的特征提取图像传感器，其特征在于，所述的卷积神经网络根据任务和数据训练后，才分为两部份分别部署。

7.如权利要求1所述的特征提取图像传感器，其特征在于，所述的卷积神经网络分别部署完成后，可以作为一个整体进行训练。

8.如权利要求1所述的特征提取图像传感器，其特征在于，所述的卷积神经网络的一部分可部署为云系统，可以给多个在其图像特征提取单元部署有相同部分卷积神经网络的特征提取图像传感器共同使用。