CN108898191A - 卷积神经网络特征提取图像传感器 - Google Patents

Abstract

卷积神经网络特征提取图像传感器是在普通图像传感器之后增加基于深度学习的卷积神经网络用于提取图像特征。一个完整的卷积神经网络可以在卷积神经网络特征提取图像传感器上部署，也可以部分在卷积神经网络特征提取图像传感器上部署。该卷积神经网络可以针对特定图像监控需求训练，通过分类对场景及其变化给出监控结果，通过回归对场景特定目标实现追踪。这种卷积神经网络特征提取图像传感器在用于特定场景监控时，可以降低对传输带宽的需求，还可以避免直接传输图像所带来的隐私或泄密问题。

Description

卷积神经网络特征提取图像传感器

技术领域

本发明涉及图像处理、深度学习、卷积神经网络领域，特别是明涉及卷积神经网络特征提取图像传感器。

背景技术

图像监控通过图像来监控目标，在视频安防监控、电力、交通、金融、电信等行业实施大范围、远距离的集中监控服务方面已经得到了广泛的应用。但是，在某些应用场合，直接监控图像，涉及到隐私暴露和泄密的问题。例如，对居家养老老人活动的监控，对病人的呼吸监控、情绪监控等，都不希望看到清晰图像。而对于这些应用，只需要监控图像的特征变化就可以起到特定的监控效果。

另一方面，直接传输图像原始数据，文件太大，收到数据网络传输带宽的限制。如果不需要原始图像，只需要图像特征的场合，可以之传输图像特征，从而节省大量的带宽。

为解决以上问题，本发明提出了卷积神经网络特征提取图像传感器，经过卷积神经网络处理的信号，是图像特征而不是原始图像，可以用这些图像特征完成监控任务。

发明内容

本发明公开一种特征提取图像传感器。所述卷积神经网络特征提取图像传感器是在普通图像传感器之后增加基于深度学习的卷积神经网络用于提取图像特征。一个完整的卷积神经网络可以在卷积神经网络特征提取图像传感器上部署，也可以部分在卷积神经网络特征提取图像传感器上部署。该卷积神经网络可以针对特定图像监控需求训练，通过分类对场景及其变化给出监控结果，通过回归对场景特定目标实现追踪。这种卷积神经网络特征提取图像传感器在用于特定场景监控时，可以降低对传输带宽的需求，还可以避免直接传输图像所带来的隐私或泄密问题。

作为优选方案之一，所述的特征提取图像传感器由通用图像传感器、深度学习特征提取单元和输出单元组成。

优选地，所述的通用图像传感器是目前市面上普遍使用的CCD和CMOS图像传感器。

优选地，所述的深度学习特征提取单元是一个卷积神经网络（CNN），该CNN可以通过大数据训练，完成图像特定特征提取，满足特定图像监控需求。

作为优选方案之二，所述的卷积神经网络（CNN）至少有一个图像输入层、一个隐藏层和一个输出层组成。

优选地，所述的图像输入层用来接受由通用图像传感器采集的原始图像，其数字图像是一个二维矩阵。数字图像数据用矩阵来表示，例如，灰度图像的像素数据就是一个矩阵，矩阵的行对应图像的高（单位为像素），矩阵的列对应图像的宽（单位为像素），矩阵的元素对应图像的像素，矩阵元素的值就是像素的灰度值。

优选地，输出可以是隐藏层输出的图像特征值，也可以是分类结果。

作为优选方案之三，所述神经网络的隐藏层为深度层卷积层，包括至少一个(convolution,conv)，包括至少一个池化层(pooling,pool)。

优选地，多个卷积层与池化层配合，组成多个卷积组，逐层提取特征，CNN通过卷积来模拟特征区分，池化层主要是用于降低数据维度。

优选地，所述神经网络的隐藏层还可以包括激活层和全连接层等，分类问题最后通过输出层softmax完成分类等任务。

优选地，所述卷积神经网络的隐藏层可以采用其它的各种卷积神经网络结构，便于适应各种应用场景下的特征提取和分类。

作为优选方案之四，所述的卷积神经网络图像特征提取单元，可以是一个完整的深度学习卷积神经网络，也可以是一个深度学习卷积神经网络的一部分，而另一部分则放在云前端完成。

优选地，在所述的卷积神经网络图像特征提取单元上仅部署完整深度学习卷积神经网络的一部分时，所述的这一部分至少要包括一层卷积层和至少有一层池化层，前者用来提取图像特征，后者用来降低输出数据维数。而部署在前端的另一部分，可以是一个复杂的卷积神经网络的另一部分，用于处理复杂的目标分类和目标跟踪任务。由于其部署在前端，可以视为云服务系统，供所有在卷积神经网络特征提取图像传感器上部署了同样一部分卷积神经网络的设备共同使用，数据的传输通过网络实现。

优选地，在所述的卷积神经网络图像特征提取单元上仅部署完整的深度学习卷积神经网络的一部分时，输出的是图像特征值。

优选地，所述输出的图像特征值，作为整个卷积神经网络的图像特征值提取中间结果，将通过网络送给前端的另一部分卷积神经网络，作为其输入特征，做进一步处理，完成图像分类和目标跟踪任务。

本发明的有益效果是：

提供一种卷积神经网络特征提取图像传感器，通过训练的卷积神经网络，从原始图像采集信号中提取特定的图像特征，从而减少传输、存储整幅图像的带宽和存储空间。对于不愿意暴露隐私，或不愿意被看到清晰图像的特殊监控需求，提供了一种特殊的图像特征监控方式。满足了特定图像监控的特殊需求。

提出了将一个完整复杂的深度学习卷积神经网络分为两个部分，一部分部署在卷积神经网络特征提取图像传感器上，另一部分部署在云端，为所有部署了所述卷积神经网络一部分的卷积神经网络特征提取图像传感器提供公共处理服务，大大简化了卷积神经网络特征提取图像传感器的实施难度。

附图说明

图1是本发明优选实施例的特征提取图像传感器结构；

图2是本发明优选实施例的部署的简单卷积神经网络；

图3是本发明优选实施例的将Alex-Net卷积神经网络分两部分部署；

图4是本发明优选实施例的将复杂卷积神经网络后处理部分部署在云端。

具体实施方式

现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

图1是本发明优选实施例的卷积神经网络特征提取图像传感器结构，所述的图像传感器有101通用图像采集单元模组，102图像特征提取单元和103输出接口组成。101可以选通用图像传感器中的CCD传感器或CMOS传感器，在本发明优选实施例中，我们优选CMOS传感器，被采集的图像经过11处理成为MxN维数字图像，

数字图像被送入102卷积神经网络图像特征提取单元做图像的特征提取。在本发明优选实施例中，103是输出接口，可以采用原通用图像传感器已有的输出接口，也可以根据需要定制专门的数据接口，比如，特征滤波器串行输出接口。

图2是本发明优选实施例的部署的简单卷积神经网络（CNN），卷积神经网络由信息共享的人工互联“神经元”构成，每个互联神经元的数字权重都通过反复训练而得到持续优化。一个简单的卷积神经网络至少包括输入层201，至少一层卷积层和一层池化层202，输出是一个特征层203。由MⅹN个像素单元表示的图像201，

例如，202作一个卷积核大小为kⅹk的（滤波器），步长为S的卷积处理（在这里取卷积核大小k=11，S=4是为了表述方便），在202中，紧接着卷积层之后有一个池化层，用来减少特征提取后的图像维数。假设201的图像大小是M=N=227，即227ⅹ227，k=11， S=4，经过96个大小为11ⅹ11的滤波器作卷积层处理后获得96个，特征大小为55ⅹ55的特征图；再假设池化层采用3ⅹ3，步长S=2的滤波器，得到96个，大小为27ⅹ27的特征图输出，实现了特征图降维输出的目的。该特征图通过输出单元203输出。

图3是本发明优选实施例的将Alex-Net卷积神经网络分两部分部署实例，我们从310点将一个典型的Alex-Net卷积神经网络分为两部分，左边部分，301、302部署在所述的特征提取图像传感器上，右边部分，303、304、305、306、307、308、309部署在云前端。301是输入尺寸大小为227ⅹ227ⅹ3输入图像；用11ⅹ11，步长为4，96个滤波器做卷积处理后，输出为55ⅹ55ⅹ96个特征图像；再用核大小为3ⅹ3，步长为2，的滤波器做池化处理，将输出特征图降为27ⅹ27ⅹ96个特征图，如302所示，将所述的301、302部分卷积神经网络部署在所述的特征提取图像传感器上。

所述图3的Alex-Net卷积神经网络的另外一部分包含了，303是第2卷积层，包括作5ⅹ5，步长为1的卷积处理，接relu2，再用3ⅹ3，步长为2的池化处理，最后输出13ⅹ13ⅹ256个特征图；304是第3卷积层，3ⅹ3，步长为1的卷积处理，输出13ⅹ13ⅹ384个特征图；305为第4卷积层，3ⅹ3，步长为1的卷积处理，输出13ⅹ13ⅹ384个新的特征图；306是第5卷积层，3ⅹ3，步长为1的卷积处理，输出13ⅹ13ⅹ384个特征图，再经过池化层处理，降维至6ⅹ6ⅹ256个特征图输出；307是全连接层FC6，先用4096个神经元连接6ⅹ6ⅹ256个特征图输出，再Dropout随机丢掉一些节点信息，得到新的4096个神经元；308是FC7，是与FC6类似的全连接层，有4096个神经元；309也是全连接层，用1000个神经元完成分类任务，所述的1000个神经元与FC7的4096个神经元连接，然后经过高斯滤波器，得到1000个float型的值，即预测的可能性。

图4是本发明优选实施例的将复杂卷积神经网络后处理部分部署在云端的例子，将401、402和403部分部署在所述的卷积神经网络特征提取图像传感器上，所处理后的图像特征由403分别输出给云前端的404和405。云前端分别由404和405组成，处理不同的图像识分类和物体检测与追踪需求。404是完成图像分类处理功能的卷积神经网络后处理部分，405是完成物体检测与追踪功能的卷积神经网络后处理部分。在所述的部署在卷积神经网络特征提取图像传感器上的部分，可以参照图3中的Alex-Net卷积神经网络网络的第1卷积层301和池化层302，例如，输入尺寸大小为227ⅹ227ⅹ3图像；用11ⅹ11，步长为4，96个滤波器做卷积处理后，输出为55ⅹ55ⅹ96个特征图像；再用核大小为3ⅹ3，步长为2，的滤波器做池化处理，将输出特征图降为27ⅹ27ⅹ96个特征图。所述的经过降维处理的特征图，再经过403输出给404和405作分类（观测被监控图像的变化）或目标跟踪。所述的404可以是各种复杂结构的卷积神经网络，例如典型的Alex-Net、GoogLeNet、ResNet、DenseNet及其这些典型卷积神经网络架构的延申和互补构建的卷积神经网络。405也可以由复杂结构的卷积神经网络加上复杂的目标识别与追踪技术组成，例如，R-CNN（卷积特征）、SPP-NET/Fast R-CNN（卷积特征）、Faster R-CNN（卷积特征）、YOLO (v1 & v2)（卷积特征）、SSD（卷积特征）。

以上述依据本发明的实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (10)

1.一种卷积神经网络特征提取图像传感器，其特征在于，在通用图像传感器之后增加了图像特征提取单元，被提取的图像特征替代原始图像输出。

2.如权利要求1所述的图像特征提取单元，其特征在于，用卷积神经网络作为图像特征提取方法，所述的卷积神经网络可以通过大数据按照所监测图像或检测目标进行训练。

3.如权利要求2所述的卷积神经网络，其特征在于，可以全部或部分部署在所述的特征提取图像传感器的特征提取单元内。

4.如权利要求3所述的部分部署，其特征在于，在图像特征提取单元内只部署所述卷积神经网络的一部分，而另一部分部署在前端，所述的两部分构成完整的深度学习卷积神经网络。

5.如权利要求4所述的两部分卷积神经网络，其特征在于，部署完成后，可以作为一个整体进行训练。

6.如权利要求4所述的两部分卷积神经网络，其特征在于，可以作为一个整体进行训练完成后，再分别分开部署。

7.如权利要求4所述的部署部署，其特征在于，可以将一个复杂的卷积神经网络分成简单的部分和复杂两部分，所述的简单部分部署在所述的征提取图像传感器上，而复杂部分则部署在前端。

8.如权利要求7所述的部署在前端的复杂部分，其特征在于，可以用复杂的卷积神经网络架构处理被监测图像的分类和目标检测与追踪任务。

9.如权利要求7所述的部署在前端的复杂部分，其特征在于，是一个云系统，可以给多个在其图像特征提取单元部署有相同部分卷积神经网络的卷积神经网络特征提取图像传感器共同使用。

10.如权利要求7所述的简单卷积神经网络部分，其特征在于，至少有一层卷积层用于提取特征图像，至少有一层池化层用于降低特征图像维度。