CN109190633A - 一种基于深度学习的智能物体识别系统及控制方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的智能物体识别系统及控制方法，其特征在于，该系统包括：DSP控制器、FPGA控制器、RAM存储器、DDR3存储器、图像采集模块、红外偏振光成像模块、数据通信接口模块、WIFI控制器、超声波发射接收器、扬声器和电源，本发明采用深度学习算法实现物体检测与目标识别，并将算法在嵌入式硬件上快速实现，能够较好地解决物体检测与识别中一些技术瓶颈，为自动驾驶、行人检测、个人安全防护、智能监控提供更好的技术支撑。

Description

一种基于深度学习的智能物体识别系统及控制方法

技术领域

本发明属于模式识别技术领域领域，特别涉及基于一种基于深度学习的智能物体识别系统及控制方法。

背景技术

深度学习对图像中的物体检测带来了巨大提升，物体检测是比物体识别更难的任务，一副图像中可能包含属于不同类别的多个物体，物体检测需要确定每个物体的位置和类别，然而，深度学习在视频分类中的应用还远未成熟。从 ImageNet训练得到的图像特征，可以直接有效地应用到各种与图像相关的识别任务(例如图像分类、图像检索、物体检测和图像分割等等)，和其它不同的图像测试集，具有良好的泛化性能。需要建立大规模的训练数据集(最新建立了包含一百万YouTube视频的数据库)，还需要研究适用于视频分析的新的深度模型。此外，训练用于视频分析的深度模型的计算量会大大增加。

总之，现行物体检测与识别技术深度学习算法有较多发展，但基于嵌入式硬件实现的物体检测应用系统较少见。对于物件检测过程中，基于常规可见光摄像头的设计对于隐蔽物体检测效果差，同时在光线照度暗的夜晚环境中与有遮挡的情况下就会失效。因此，视频物体检测技术存在着较多的技术瓶颈。

发明内容

为了解决上述技术问题，本发明提出以下技术方案：

一种基于深度学习的智能物体识别系统，该系统包括： DSP控制器、FPGA控制器、RAM存储器、DDR3存储器、图像采集模块、红外偏振光成像模块、数据通信接口模块、WIFI 控制器、超声波发射接收器、扬声器和电源，

其中图像采集模块和红外偏振光成像模块分别与RAM存储器和DSP控制器连接，RAM存储器分别与DSP控制器和FPGA 控制器连接，FPGA控制器再分别与DSP控制器和DDR3存储器连接，并且DSP控制器和DDR3存储器电连接，DSP控制器还分别与数据通信接口模块、WIFI控制器、超声波发射接收器和扬声器连接，电源为整个系统提供电能。

优选的，其中RAM存储器为双口RAM存储器，图像采集模块为高清数字摄像头，红外偏振光成像模块由红外偏振镜头和CCD图像传感器组成。

高清数字摄像头用于采集可见光彩色图像；

红外偏振镜头与CCD图像传感器用于对隐秘的红外目标进行偏振光成像；

双口RAM用于保存图像数据，供DSP和FPGA读取以便完成相关图像算法处理；

DSP处理器，用于从摄像头采集图像，保存到双口RAM 中，并完成图像的预处理；

FPGA控制器完成多层神经网络参数学习结果的计算，输出识别结果；

WIFI控制器无线接收多层神经网络训练的参数，进行神经网络参数的无线更新升级；

USB接口完成图像数据的串行通信，可外接USB摄像头，并通过该接口为电源充电；

DDR3存储器用于存储系统运行程序和数据；

超声波发射/接收器用于探测前方物体的距离；

扬声器用于声音报警提示。

进一步方案，

数据通信接口模块包括USB接口、SD卡和Gige千兆网口。

基于深度学习的智能物体识别系统及控制方法，包括以下步骤：

(1)在DSP控制器的控制下，分别利用图像采集模块和红外偏振光成像模块采集可见光图像和红外偏振图像，并保存至RAM存储器的相应位置中，并且对红外偏振图像进行预处理；

(2)在DSP控制器的控制下，将采集到的可见光图像与预处理后的红外偏振图像结果进行直方图规定化；

(3)在DSP控制器的控制下，将采集到的可见光图像与预处理后的红外偏振图像结果进行图像匹配；

(4)在DSP控制器的控制下，将配准后的图像进行像素级融合，并保存到双口RAM中；

(5)FPGA控制器读取融合后的图像，完成多层CNN神经网络学习，完成图像检测和识别。

采用上述技术方案的有益效果是：

本发明系统采用RGB成像与红外偏振成像相融合，提高成像的质量，并采用深度学习算法实现物体检测与目标识别，并将算法在嵌入式硬件上快速实现，能够较好地解决物体检测与识别中一些技术瓶颈，为自动驾驶、行人检测、个人安全防护、智能监控提供更好的技术支撑。

附图说明

图1.为本发明的系统结构示意图；

图2.为本发明控制方法流程图；

具体实施方式

具体实施例

如图1所示，本发明系统由DSP控制器、FPGA控制器、双口RAM存储器、DDR3存储器、高清数字摄像头、红外偏振镜头、CCD图像传感器、数据通信接口模块、WIFI控制器、超声波发射接收器、扬声器和电源组成，其中高清数字摄像头和红外偏振镜头、CCD图像传感器分别与双口RAM存储器和DSP控制器连接，双口RAM存储器分别与DSP控制器和FPGA 控制器连接，FPGA控制器再分别与DSP控制器和DDR3存储器连接，并且DSP控制器和DDR3存储器电连接，DSP控制器还分别与数据通信接口模块、WIFI控制器、超声波发射接收器和扬声器连接，电源为可充电电池，为整个系统提供电能。

如图2所示，基于本系统的控制方法具体如下步骤所示：

系统初始化：对摄像机系统进行标定，得到可见光图像和红外镜头图像像素校正偏差ddx和ddy，保存于双口RAM 中；对于M×N个像素图像；给定一个梯度阈值Ta，产生一个3×3的矩阵g，标准差为0.5，作为高斯卷积核函数，保存于双口RAM中；给定拉普拉斯算子模板La＝[-1-1-1；-18 -1；-1-1-1]，保存于双口RAM中；初始化摄像头，并在双口RAM中开辟空间3×M×N字节存储空间；初始化红外偏振成像系统，并在双口RAM中开辟空间M×N字节存储空间；

步骤1：DSP处理器控制下，读取常规高清数字摄像头数据，获得一帧可见光彩色图像Y0，保存到双口RAM相应位置；

步骤2：DSP处理器控制下，读取红外偏振光成像图像传感器数据，获得一帧红外图像，保存到双口RAM相应位置；

步骤3：DSP程序读取双口RAM中红外偏振图像X0，进行以下三个环节的常规处理：

[1]在3×3的局部像素范围内，对红外图像进行中值滤波，去除环境噪声得到X1；

[2]从双口RAM中读出算子La，对X1作卷积运算进行锐化，得到边缘和细节增强的图像X2；

[3]将细节增强后的图像X2与中值滤波结果X1按比例叠加，得到X4。

步骤4：DSP程序读取双口RAM中的可见光图像，与步骤4处理后的红外图像增强结果进行直方图规定化，包括以下处理步骤：

[1]统计原始可见光图像Y0的RGB三个通道所有像素值在[0，255]范围内的概率分布，得到可见光图像的直方图分布hy；

[2]计算hy直方图函数的均值ay0及标准差dy；

[3]统计原始红外偏振图像X4像素值在[0，255]范围内的概率分布，得到可见红外图像的直方图分布hx；

[4]计算hx直方图函数的均值ax0及标准差dx；

[5]对X4中的每个像素v做线性映射(v+ay0-ax0)× dy/dx,如果映射结果大于255，则等于255；最终得到直方图变换后的红外图像X5。

步骤5：DSP程序读取双口RAM中可见光图像，与步骤4 处理后的红外偏振图像增强结果进行图像匹配；

[1]读出相机系统成像像素偏差参数ddm；

[2]抽取可见光图像Y0过中心像素的一行元素fy(i)，并对该行RGB像素利用公式Gray＝0.299×R+0.587×G+ 0.114×B变换为灰度像素fyg(i)；

[3]抽取可见光图像X5使用ddx、ddy校正过中心像素的一行元素fx(i)；

[4]对fyg(i)进行不同比例ky的线性插值模拟不同数码变焦，并计算不同插值结果与fx(i)的相关系数，并记录插值比例ky与最大相关系数Maxy；

[5]对fx(i)进行不同比例kx的线性插值模拟不同数码变焦，并计算不同插值结果与fgy(i)的相关系数，并记录插值比例kx与最大相关系数Maxx；

[6]如果Maxy大于Maxx，则将Y0进行系数ky的插值，并抽取经过相机参数ddx,ddy校正过的像素；反之，如果 Maxy小于Maxx，则将X5进行系数kx的插值，并抽取经过相机参数ddx,ddy校正过的像素；

步骤6：DSP程序将配准后的图像进行像素级融合，并保存到双口RAM中；

[1]将配准后的可见光图像进行IHS变换，并采用db2 小波，进行5层小波分解得到5个频率分量；

[2]将配准后的红外光图像，采用db2小波，进行5层小波分解得到5个频率分量；

[3]将最高频率的两个分解系数，采用取绝对值最大方法融合；

[4]将最低频率的分解系数，采用可见光图像分解系数；

[5]将其余两个频率的分解系数，采用加权平均方法进行融合；

[6]将融合后的图像进行IHS反变换；

[7]将融合后的图像进行缩放为224×224×3像素，保存到双口RAM；

步骤7：FPGA读取融合后的图像，完成多层CNN神经网络学习，完成图像检测和识别；

[1]读取224×224×3图像，采用3×3×3的卷积核，卷积获得224×224×64个特征元素；并采用3×3×64卷积核，卷积获得224×224×64个特征元素；然后进行最大池化操作，得到112×112×64个特征元素；

[2]对于112×112×64图像，采用3×3×64的卷积核，卷积获得112×112×128个特征元素；并采用3×3×128卷积核，卷积获得112×112×128个特征元素；然后进行最大池化操作，得到56×56×128个特征元素；

[3]对于56×56×128图像，采用3×3×128的卷积核，卷积获得56×56×128个特征元素；并采用3×3×256卷积核，卷积获得56×56×256个特征元素；并重复此卷积过程 1次；然后进行最大池化操作，得到28×28×256个特征元素；

[4]对于28×28×256图像，采用3×3×256的卷积核，卷积获得28×28×256个特征元素；并采用3×3×512卷积核，卷积获得28×28×512个特征元素；并重复此卷积过程 2次；然后进行最大池化操作，得到14×14×512个特征元素；

[5]对于14×14×512图像，采用3×3×512的卷积核，卷积获得14×14×512个特征元素；并重复此卷积过程2次；然后进行最大池化操作，得到7×7×512个特征元素；

[6]对于7×7×512图像，采用全连接层的卷积核，卷积获得1×1×4096个特征元素；并重复此卷积过程1次；再用全连接层的卷积核，卷积获得1×1×1000特征元素；然后进行最大池化操作，得到1000个特征元素；最后采用 softmax激活函数进行分类获得物体检测的概率。

虽然在上文中已经参考了一些实施例对本发明进行描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效无替换其中的技术点，尤其是，只要不存在技术冲突，本发明所纰漏的各种实施例中的各项特征均可通过任一方式结合起来使用，在本发明中未对这些组合的情况进行穷举行的描述仅仅是处于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施例，而且包括落入权利要求。

Claims (6)

1.一种基于深度学习的智能物体识别系统，其特征在于，该系统包括：DSP控制器、FPGA控制器、RAM存储器、DDR3存储器、图像采集模块、红外偏振光成像模块、数据通信接口模块、WIFI控制器、超声波发射接收器、扬声器和电源，

其中所述图像采集模块和红外偏振光成像模块分别与所述RAM存储器和DSP控制器连接，所述RAM存储器分别与DSP控制器和FPGA控制器连接，所述FPGA控制器再分别与DSP控制器和DDR3存储器连接，并且所述DSP控制器和DDR3存储器电连接，所述DSP控制器还分别与数据通信接口模块、WIFI控制器、超声波发射接收器和扬声器连接，所述电源为整个系统提供电能。

2.根据权利要求1所述的智能物体识别系统，其特征在于，其中所述RAM存储器为双口RAM存储器。

3.根据权利要求1所述的智能物体识别系统，其特征在于，图像采集模块为高清数字摄像头。

4.根据权利要求1所述的智能物体识别系统，其特征在于，所述红外偏振光成像模块由红外偏振镜头和CCD图像传感器组成。

5.根据权利要求1所述的智能物体识别系统，其特征在于，所述数据通信接口模块包括USB接口、SD卡和Gige千兆网口。

6.一种根据权利要求1至5任一所述系统的控制方法，其特征在于，包括以下步骤：

(1)在DSP控制器的控制下，分别利用图像采集模块和红外偏振光成像模块采集可见光图像和红外偏振图像，并保存至RAM存储器的相应位置中，并且对红外偏振图像进行预处理；

(2)在DSP控制器的控制下，将采集到的可见光彩色图像与预处理后的红外偏振图像结果进行直方图规定化；

(3)在DSP控制器的控制下，将采集到的可见光彩色图像与预处理后的红外偏振图像结果进行图像匹配；

(4)在DSP控制器的控制下，将配准后的图像进行像素级融合，并保存到双口RAM中；

(5)FPGA控制器读取融合后的图像，完成多层CNN神经网络学习，完成图像检测和识别。