CN109348086B - 智能无线摄影机图像同步识别与压缩方法 - Google Patents

Abstract

本发明涉及一种智能无线摄影机高效能图像同步识别与压缩方法，属于图像处理技术领域。该方法包括：S1：构建改进型压缩卷积神经网络模型；所述改进型压缩卷积层使用卷积算子来实现压缩感知中的信号采样；S2：采用分步训练策略来训练步骤S1构建的改进型压缩卷积神经网络模型，实现在保持目标检测准确性的前提下提升压缩感知性能。本发明在目标检测CNN算法的基础上提出了一种提升压缩感知能力的深度学习模型，利用数据驱动的训练方式提升网络压缩感知能力，使数据可以在摄像头端处同步进行实时目标识别与压缩，识别的结果与压缩图像通过无线传输。压缩和识别一体化的计算提高了摄像头端处的处理速度和能效，也极大减小了无线传输的功耗。

Description

智能无线摄影机图像同步识别与压缩方法

技术领域

本发明属于图像处理技术领域，涉及一种智能无线摄影机高效能图像同步识别与压缩方法。

背景技术

在无线网络监控摄像头中，由于无线传输带宽和能耗的限制，需要对信号进行压缩来进行传输。现代的压缩感知理论证明了由于图片信号是稀疏的，因此可以通过解决一个待定的线性系统问题，来从一个压缩到极高比率的信号重建原始信号。Candes最早在2006年发表在TIT上的论文证明，压缩感知的理论要求压缩矩阵拥有足够的不相关性，因此在经典的压缩感知理论中，常采用高斯矩阵、伯努利矩阵、随机稀疏矩阵等来进行压缩采样，在33％的压缩率下可以达到22-23dB的PSNR重建效果，其中Blasiok 2016年提出的Adagio矩阵可以达到 23.89dB的PSNR。但是经典的压缩矩阵不是由数据驱动的，通常是预先设定的矩阵，性能存在限制。

在目标检测领域，基于卷积神经网络(CNN)的深度学习模型是性能最好的。由于CNN 与压缩感知理论都是基于图片稀疏秩的表达，目前已经有很多开始使用CNN的方式来进行图片的压缩和重建。目前多数基于CNN的压缩重建模型是构造一个神经网络进行压缩图片信号的重建，虽然取得了良好的重建性能结果，但是无法和目标检测的功能相结合。

随着现代技术的发展与城市化的进行，在无人机、安防监控、无人驾驶等领域，具备目标识别能力智能摄像设备的需求不断持续增长。智能的摄像设备可以在面临海量的视频信息时，可以迅速做出反应，降低主机计算量。

在智能摄像设备中的目标识别领域，目前是以CNN为基础的深度神经网络模型代表了最好的性能。其中Shaoqing Ren在2015年的论文Faster R-CNN:Towards Real-TimeObject Detection with Region Proposal Networks，Redmon在2017年发表的论文YOLO9000:Better, Faster,Stronger，Wei Liu在2016年发表的论文Ssd:Single shotmultibox detector，代表了各种主流的兼顾精确度和速度的CNN目标识别模型。

另一方面，对于智能摄像设备，无线传输的带宽与功耗是一个主要的限制，在摄像侧上运行的目标识别模型，同时无线传输图片和视频结果需要耗费大量的功耗和带宽。因此存在了对图片信号进行压缩的需求。传统的做法中，如图3、4所示，目标识别与压缩是采用并行或串行的方式独立的完成，图3、4两种方案采用独立模块或器件实现压缩与识别，这两种方案会显著提高应用的成本、功耗以及延时，降低物联网无线摄像应用的适用范围。

如图1所示，在多摄像头无线智能监控系统中，由于摄像设备的巨大数目，由于无线网络带宽的限制，并不能有效进行传输。如图2所示，在无人机摄像中，由于无线传输距离过长，无线网络传输带宽和功耗均受到限制。因此，亟需一种在不增加额外计算复杂度和开销的前提下，实现高速同步目标识别与图像压缩的方法。

发明内容

有鉴于此，本发明的目的在于提供一种智能无线摄影机高效能图像同步识别与压缩方法，利用基于深度卷积神经网络(CNN)的压缩感知技术，实现目标检测同时具有良好的图像压缩性能。

为达到上述目的，本发明提供如下技术方案：

一种智能无线摄影机高效能图像同步识别与压缩方法，包括以下具体步骤：

S1：构建改进型压缩卷积神经网络模型，包括1个改进型压缩卷积层、22个常规卷积层、 5个最大池化层、1个随机池化层和1个全连接层；

所述改进型压缩卷积层使用卷积算子来实现压缩感知中的信号采样；

S2：采用分步训练策略来训练步骤S1构建的改进型压缩卷积神经网络模型，实现在保持目标检测准确性的前提下提升压缩感知性能。

进一步，步骤S1中，所述改进型压缩卷积层具体包括：

S11：假设x∈R^N是一个N维向量，则采用压缩矩阵φ∈R^M×N来进行采样：

y＝φx

其中，M为压缩比率；x＝ψs，字典矩阵ψ∈R^N，稀疏向量s∈R^N；则：

y＝φψs＝Θs

其中，Θ＝φψ是一个M*N的测量矩阵，M<<N；

S12：通过以下公式改进稀疏向量s的稀疏性：

min_s||s||₁，s.t.||yΘs||₂＜ξ。

进一步，所述步骤S11具体包括：卷积与乘法转换，具体为：

改进型压缩卷积层使用3*3的卷积核，即核矩阵W，对于输入的图像为X∈R^P×Q，把图像由二维转换为一维的向量x∈R^N，其中N＝P×Q，则

其中，vec表示卷积转向量化的操作，Φ∈R^N×N是由核矩阵W转换为的压缩变换矩阵， y∈R^M是由最终输出的卷积结果变化成的向量；

对于核矩阵W，定义其行向量为：

W＝[w₁,w₂,w₃,0,w₄,w₅,w₆,0,w₇,w₈,w₉]

其中，w₁,…,w₉为W的九个值，则压缩卷积层中的压缩变换矩阵为：

为了将一个N维的图像信号压缩为M维，使用一个随机池化层将Φ由N×N抽取为 M×N的φ，M＜＜N。

进一步，所述步骤S12具体包括：不相关性正则化，具体为：

使用数据驱动的方式来实现压缩矩阵φ与字典矩阵ψ的不相关性；设

为压缩矩阵φ的第i行，ψ_j为字典矩阵ψ的第j列，则φ与ψ的相关性定义为：

在压缩感知架构中，越低的相关性从越低的维度恢复原信号；根据以下公式计算相关性的度量：

重建算法中，字典矩阵ψ通常为预定的矩阵，例如离散小波变换(DWT)矩阵，因此R_W可以看作W的一加权L1系数。R_W对于W是可微的，在网络架构中，将R_W放入梯度下降法中进行训练，从而减小R_W的值。

进一步，步骤S2中，所述分步训练策略具体包括以下步骤：

S21：将正则化项放入第一层卷积层中所有核进行训练；

S22：在性能提升达到最优点后，选取三个性能最好的卷积核进行固化；

S23：去除正则化项后，进行正常训练。分步训练策略极大减少了精度的损失。

本发明的有益效果在于：

(1)本发明提出了一种将数据重建功能嵌入的高效压缩卷积神经网络(Compressive Convolutional Network)，优化和重用了前端数据的的卷积操作，使卷积核具有良好的相关性，提高了算法的图片压缩能力。

(2)本发明在目标检测CNN算法的基础上提出了一种提升压缩感知能力的深度学习模型，利用数据驱动的训练方式提升网络压缩感知能力，使数据可以在摄像头端处进行处理并压缩传输，极大减小了无线传输的功耗和带宽。

(3)本发明所述方法相比于传统的压缩感知方法有了显著的性能提升，且可以更好的应用在物联网嵌入式设备上。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明所述方法在多摄像头无线智能监控系统中应用的示意图；

图2为本发明所述方法在无人机中应用的示意图；

图3为传统图像并行识别与压缩方法示意图；

图4为传统图像串行识别与压缩方法示意图；

图5为本发明所述图像同步识别与压缩方法示意图；

图6为统一目标检测和图像压缩功能的压缩卷积模型；

图7为本发明所述方法的系统框图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

如图5～6所示，本发明提供一种智能无线摄影机高效能图像同步识别与压缩方法，包括以下具体步骤：

步骤S1：构建改进型压缩卷积神经网络模型，如表1所示，包括1个改进型压缩卷积层、 22个常规卷积层、5个最大池化层、1个随机池化层和1个全连接层；

表1改进型压缩卷积神经网络模型中各层数据

所述改进型压缩卷积层使用卷积算子来实现压缩感知中的信号采样；具体包括：

步骤S11：假设x∈R^N是一个N维向量，则采用压缩矩阵φ∈R^M×N来进行采样：

y＝φx

其中，M为压缩比率；x＝ψs，字典矩阵ψ∈R^N，稀疏向量s∈R^N，则：

y＝φψs＝Θs

其中，Θ＝φψ是一个M*N的测量矩阵，M<<N；

其中卷积与乘法转换，具体为：改进型压缩卷积层使用3*3的卷积核，即核矩阵W，对于输入的图像为X∈R^P×Q，把图像由二维转换为一维的向量x∈R^N，其中N＝P×Q，则

其中，vec表示卷积转向量化的操作，Φ∈R^N×N是由核矩阵W转换为的压缩变换矩阵， y∈R^M是由最终输出的卷积结果变化成的向量；

对于核矩阵W，定义其行向量为：

W＝[w₁,w₂,w₃,0,w₄,w₅,w₆,0,w₇,w₈,w₉]

其中，w₁,…,w₉为W的九个值，则压缩卷积层中的压缩变换矩阵为：

为了将一个N维的图像信号压缩为M维，使用一个随机池化层将Φ由N×N抽取为 M×N的φ，M＜＜N。

步骤S12：通过以下公式改进稀疏向量s的稀疏性：

min_s||s||₁，s.t.||yΘs||₂＜ξ。

其中，不相关性正则化，具体为：

使用数据驱动的方式来实现压缩矩阵φ与字典矩阵ψ的不相关性；设

为压缩矩阵φ的第i行，ψ_j为字典矩阵ψ的第j列，则φ与ψ的相关性定义为：

在压缩感知架构中，越低的相关性从越低的维度恢复原信号；根据以下公式计算相关性的度量：

重建算法中，字典矩阵ψ通常为预定的矩阵，例如离散小波变换(DWT)矩阵，因此R_W可以看作W的一加权L1系数。R_W对于W是可微的，在网络架构中，将R_W放入梯度下降法中进行训练，从而减小R_W的值。

步骤S2：采用分步训练策略来训练步骤S1构建的改进型压缩卷积神经网络模型，实现在保持目标检测准确性的前提下提升压缩感知性能。

所述分步训练策略具体包括以下步骤：

步骤S21：将正则化项放入第一层卷积层中所有核进行训练；

步骤S22：在性能提升达到最优点后，选取三个性能最好的卷积核进行固化；

步骤S23：去除正则化项后，进行正常训练。分步训练策略极大减少了精度的损失。

本发明在目标检测CNN算法的基础上提出了一种提升压缩感知能力的深度学习模型，利用数据驱动的训练方式提升网络压缩感知能力，使数据可以在摄像头端处进行处理并压缩传输，极大减小了无线传输的功耗和带宽。

1)表2为采用本发明所述方法与其他经典图像识别与压缩方法所获取的数据表，表示重建性能，其中PSNR、SSIM均是重建指标，数值越高越好，从表2中可以看出，本发明所述方法CCN的压缩感知性能较其他方法明显上升，重建效果更好。

表2采用本发明所述方法与经典图像识别与压缩方法所获取的数据表

2)表3为采用本发明所述方法CCN与其他图像识别与压缩方法对不同图片大小的图片重建速度表，第一行block size是图片块大小，数值越小越好(代表时间)，从表3中可看出，对于不同大小的图片信号，本发明所述模型结构重建速度更快。

表3对不同图片大小的图片重建速度表

3)表4为本发明所述方法与其他图像识别与压缩方法的性能对比表，mAP表示准确率， FPS代表检测速度，数值越高越好。从表4中可看出，在主流的CNN目标识别网络中，性能几乎不损失，速度不变，因此本发明所述方法在目标检测中处于较高水准，但是加上了压缩感知重建的性能。

表4本发明所述方法与经典图像识别与压缩方法的性能对比表

综上，本发明采用的统一目标检测和图像压缩功能的压缩卷积网络模型，与YOLOv2相比，优化了第一层卷积层和池化层。

如图7所示，本发明根据所述图像同步识别与压缩方法提供出一种智能无线摄影机的高效能图像同步识别与压缩系统，包括摄像头、压缩卷积层、识别层、无线传输模块和显示终端；所述压缩卷积层与识别层位于智能无线摄像设备的芯片中。因为压缩卷积层与识别层同属于一个目标识别模型中，在模型识别出结果之后，直接输出模型的识别结果和压缩卷积层产生的压缩图片数据，然后在无线终端中重建出原图片数据与识别结果。该方法不仅节省了带宽与功耗，同时在将压缩与目标识别相融合，使整个过程更加高效。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (4)

1.智能无线摄影机高效能图像同步识别与压缩方法，其特征在于，该方法包括以下具体步骤：

S1：构建改进型压缩卷积神经网络模型，包括1个改进型压缩卷积层、22个常规卷积层、5个最大池化层、1个随机池化层和1个全连接层；

所述改进型压缩卷积层使用卷积算子来实现压缩感知中的信号采样，具体包括：

S11：假设x∈R^N是一个N维向量，则采用压缩矩阵φ∈R^M×N来进行采样：

y＝φx

其中，M为压缩比率；x＝ψs，字典矩阵ψ∈R^N，稀疏向量s∈R^N；则：

y＝φψs＝Θs

其中，Θ＝φψ是一个M*N的测量矩阵，M<<N；

S12：通过以下公式改进稀疏向量s的稀疏性：

min_s||s||₁，s.t.||y-Θs||₂＜ξ；

S2：采用分步训练策略来训练步骤S1构建的改进型压缩卷积神经网络模型，实现在保持目标检测准确性的前提下提升压缩感知性能。

2.根据权利要求1所述的智能无线摄影机高效能图像同步识别与压缩方法，其特征在于，所述步骤S11具体包括：卷积与乘法转换，具体为：

改进型压缩卷积层使用3*3的卷积核，即核矩阵W，对于输入的图像为X∈R^P×Q，把图像由二维转换为一维的向量x∈R^N，其中N＝P×Q，则

其中，vec表示卷积转向量化的操作，Φ∈R^N×N是由核矩阵W转换为的压缩变换矩阵，y∈R^M是由最终输出的卷积结果变化成的向量；

对于核矩阵W，定义其行向量为：

W＝[w₁,w₂,w₃,0,w₄,w₅,w₆,0,w₇,w₈,w₉]

其中，w₁,L,w₉为W的九个值，则压缩卷积层中的压缩变换矩阵为：

使用一个随机池化层将Φ由N×N抽取为M×N的φ，M＜＜N。

3.根据权利要求2所述的智能无线摄影机高效能图像同步识别与压缩方法，其特征在于，所述步骤S12具体包括：不相关性正则化，具体为：

设

为压缩矩阵φ的第i行，ψ_j为字典矩阵ψ的第j列，则φ与ψ的相关性定义为：

根据以下公式计算相关性的度量：

将R_W放入梯度下降法中进行训练，从而减小R_W的值。

4.根据权利要求1所述的智能无线摄影机高效能图像同步识别与压缩方法，其特征在于，步骤S2中，所述分步训练策略具体包括以下步骤：

S21：将正则化项放入第一层卷积层中所有核进行训练；

S22：在性能提升达到最优点后，选取三个性能最好的卷积核进行固化；

S23：去除正则化项后，进行正常训练。

Images