CN109753878A - 一种恶劣天气下的成像识别方法及系统 - Google Patents

Abstract

本发明提供一种恶劣天气下的成像识别方法及系统，将图像增强算法与深度学习网络部署在同一系统下的不同的处理器中，能够降低成本和功耗。所述方法包括：通过DSP模块对采集的视频进行图像增强处理，其中，DSP为数字信号处理；在GPU模块，搭建与电脑端相同的深度学习网络，获取电脑端已训练好的所述深度学习网络的参数，其中，GPU为图像处理单元；GPU模块中的深度学习网络根据电脑端已训练好的所述深度学习网络的参数，提取经过增强处理后的图像的特征，基于提取的特征进行图像的识别与分类。本发明涉及目标分类与识别领域。

Description

一种恶劣天气下的成像识别方法及系统

技术领域

本发明涉及目标分类与识别领域，特别是指一种恶劣天气下的成像识别方法及系统。

背景技术

自然界中所有的图像都是连续变化的模拟图像，在日常生活中的有些场景下，目标的种类和数量往往不止一种，如：十字路口的行人、机动车、非机动车。目标分类和识别是一直是计算机视觉和数字图像处理的一个热门研究方向，广泛应用于智能交通、智能视频监控、军事打击、航空航天等诸多领域。它的目的就是如何实时、准确地检测出待检测视频或图像中的目标，并得出目标所属的类别以及在图像中具体的位置。

现有的用于目标识别的深度学习网络结构复杂，网络模型大，大多数是在电脑(Personal Computer，PC)端实现并应用。但PC端的成本较高，功耗大，不能满足实际场景中小型化的应用需求。深度学习网络从PC端移植到低功耗的嵌入式端一直是一个瓶颈性的问题，平台的选择也是一个考量的因素。

发明内容

本发明要解决的技术问题是提供一种恶劣天气下的成像识别方法及系统，以解决现有技术所存在的在PC端进行目标识别，所需的成本较高、功耗大的问题。

为解决上述技术问题，本发明实施例提供一种恶劣天气下的成像识别方法，包括：

通过DSP模块对采集的视频进行图像增强处理，其中，DSP为数字信号处理；

在GPU模块，搭建与电脑端相同的深度学习网络，获取电脑端已训练好的所述深度学习网络的参数，其中，GPU为图像处理单元，所述参数包括：权重值和偏置值；

GPU模块中的深度学习网络根据电脑端已训练好的所述深度学习网络的参数，提取经过增强处理后的图像的特征，基于提取的特征进行图像的识别与分类。

进一步地，所述通过DSP模块对采集的视频进行图像增强处理包括：

在DSP模块中，利用电子稳像算法和/或自适应图像去雾算法对采集的视频进行图像增强处理。

进一步地，所述在DSP模块中，利用电子稳像算法对采集的视频进行图像增强处理包括：

通过图像的局部运动估计和全局运动估计，得到全局特征点在图像序列帧间的运动矢量；

通过运动滤波将帧间的运动矢量分离成有意运动矢量和无意运动矢量，其中，有意运动矢量为相机载体的运动，无意运动矢量为相机抖动；

通过基于图像线性存储空间的快速图像修补算法补偿图像帧间的无意运动矢量，使图像序列以稳定的有意运动轨迹显示出来。

进一步地，所述在DSP模块中，利用自适应图像去雾算法对采集的视频进行图像增强处理包括：

将经过稳像处理后的二维图像的颜色分布在三维空间中，建立色彩空间模型；

基于建立的色彩空间模型，利用修正三维模型下多尺度同态滤波算法的去雾权值，确定最优去雾环绕尺度，根据确定的最优去雾环绕尺度，对图像进行预处理；

对去雾预处理后的图像，通过边缘检测、四维投影变换和形态学方法实现自适应阈值设置图像中的感兴趣的区域并标记；

对感兴趣区域进行自适应图像增强处理，对非感兴趣区域进行信息保留；

将图像的感兴趣区域的处理结果和非感兴趣区域的处理结果进行融合。

进一步地，所述基于提取的特征进行图像的识别与分类包括：

将深度学习网络自动提取的特征和预先设置的特征提取策略提取的特征同时送入分类器中，实现多模态特征融合；

利用融合后的多模态特征对增强处理后的图像进行识别与分类。

进一步地，预先设置的特征提取策略包括：边缘特征提取策略、不变矩特征提取策略、灰度变换特征提取策略中的一种或多种。

进一步地，边缘特征的提取步骤包括：

计算图像每个像素点的梯度幅值和方向；

将检测窗口划分成大小相同的单元格；

统计每个单元格分布在不同方向的梯度幅值，得到每个单元格的方向梯度直方图；

将相邻的单元格组合成无重叠的块，统计整个块的方向梯度直方图特征，并对每个块内的方向梯度直方图进行归一化；

连接所有块的方向梯度直方图，得到表示整个图像的方向梯度直方图特征，利用整个图像的方向梯度直方图特征构成边缘特征。

进一步地，所述不变矩特征包括：不变矩与仿射不变矩；其中，将提取的不变矩与仿射不变矩的特征进行组合作为目标形状特征。

进一步地，灰度变换特征包括：边缘灰度特征、线性特征和中心环绕特征；

每一种灰度变换特征的特征值为白色填充区域的像素之和与黑色填充区域的像素之和的差值。

本发明实施例还提供一种恶劣天气下的成像识别系统，包括：

DSP模块，用于对采集的视频进行图像增强处理，其中，DSP为数字信号处理；

GPU模块，用于搭建与电脑端相同的深度学习网络，获取电脑端已训练好的所述深度学习网络的参数，GPU模块中的深度学习网络根据电脑端已训练好的所述深度学习网络的参数，提取经过增强处理后的图像的特征，基于提取的特征进行图像的识别与分类，其中，GPU为图像处理单元，所述参数包括：权重值和偏置值。

本发明的上述技术方案的有益效果如下：

上述方案中，通过DSP模块对采集的视频进行图像增强处理；在GPU模块，搭建与电脑端相同的深度学习网络，获取电脑端已训练好的所述深度学习网络的参数；GPU模块中的深度学习网络根据电脑端已训练好的所述深度学习网络的参数，提取经过增强处理后的图像的特征，基于提取的特征进行图像的识别与分类；这样，将图像增强算法与深度学习网络部署在同一系统下的不同的处理器中，分工明确，紧密协调，能够降低成本和功耗。

附图说明

图1为本发明实施例提供的恶劣天气下的成像识别方法的流程示意图；

图2为本发明实施例提供的DSP模块和GPU模块的结构示意图；

图3为本发明实施例提供的DSP模块的结构示意图；

图4为本发明实施例提供的GPU模块的结构示意图；

图5为本发明实施例提供的电子稳像算法的原理示意图；

图6为本发明实施例提供的自适应图像去雾算法的工作流程示意图；

图7为本发明实施例提供的基于卷积神经网络的成像识别系统的结构示意图；

图8为本发明实施例提供的深度学习网络的结构示意图；

图9为本发明实施例提供的恶劣天气下的成像识别系统的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的在PC端进行目标识别，所需的成本较高、功耗大的问题，提供一种恶劣天气下的成像识别方法。

实施例一

如图1所示，本发明实施例提供的恶劣天气下的成像识别方法，包括：

S101，通过DSP(Digital Signal Processor)模块对采集的视频进行图像增强处理，其中，DSP为数字信号处理；

S102，在GPU(Graphics Processing Unit)模块，搭建与电脑端相同的深度学习网络，获取电脑端已训练好的所述深度学习网络的参数，其中，GPU为图像处理单元，所述参数包括：权重值和偏置值；

S103，GPU模块中的深度学习网络根据电脑端已训练好的所述深度学习网络的参数，提取经过增强处理后的图像的特征，基于提取的特征进行图像的识别与分类。

本发明实施例所述的恶劣天气下的成像识别方法，通过DSP模块对采集的视频进行图像增强处理；在GPU模块，搭建与电脑端相同的深度学习网络，获取电脑端已训练好的所述深度学习网络的参数；GPU模块中的深度学习网络根据电脑端已训练好的所述深度学习网络的参数，提取经过增强处理后的图像的特征，基于提取的特征进行图像的识别与分类；这样，将图像增强算法与深度学习网络部署在同一系统下的不同的处理器中，分工明确，紧密协调，能够降低成本和功耗。

本实施例中，在PC端和GPU端搭建相同的深度学习网络，PC负责对海量图片进行训练，GPU端负责在实际应用场景的测试。在实际应用场景测试时，将PC端训练好的深度学习网络的参数(例如，权重值和偏置值)传输到GPU中，供GPU端测试使用，具体的：由GPU模块中的深度学习网络根据电脑端已训练好的所述深度学习网络的参数，提取经过增强处理后的图像的特征。深度学习网络自动提取特征的过程属于黑盒操作，提取出的特征不经过输出，直接传入分类器中进行图像的分类和识别。本发明实施例所述的恶劣天气下的成像识别方法在军事、交通、商业领域以及工业领域具有广泛的应用前景，可以根据实际的用途，区分不同的物体，例如，在交通领域，可以识别视频中的人、机动车、非机动车等，将三者进行分类，并确定其位置。

本实施例中，为了寻求计算能力的最优搭配，在低功耗、体积小的嵌入式领域，由于DSP本身的硬核计算浮点数的乘加运算具有高效性，GPU内置的统一计算设备架构(Compute Unified Device Architecture，CUDA)也是专门用来计算大规模矩阵运算。同时DSP内置灵活的视频接口、脉宽调变(Pulse-Width Modulation，PWM)控制接口、模数/数模转换接口等便于执行计算之外的一些功能操作，如接入模拟/数字视频、视频的的多种方式的显示等。且在实际的应用场景中，硬件的资源不再是判断系统好坏的唯一标准，在满足功能性的要求外，往往还需要结合算法的迁移、迭代是否容易等因素综合去考虑。DSP的开发环境与GPU的开发环境都属于向上兼容，可以将软件工程师的算法快速部署到硬件系统中，算法精度损失低、代码移植成本低；在工程中，软件的更新速度往往比硬件更快，开发出适用于多种场景、支持多种算法的硬件平台，这样可以减少硬件迭代周期，可以将更多的精力在算法上的优化创新。随着大规模集成电路的技术的蓬勃发展，片上的逻辑门阵列日趋复杂，软硬件协同设计一体化，构建良好的开发生态，这是系统开发的一个必然趋势。因此，DSP和GPU的组合是最优搭配。

本实施例中，所述成像识别方法对应的硬件系统主要包括：DSP模块和GPU模块；其中，DSP模块作为客户端，可以采用TI(美国德州仪器)公司的视频/图像处理专用芯片，例如：单核处理器TMS320DM6437。GPU模块作为服务器，可以采用NVIDIA(美国英伟达)公司的嵌入式版GPU，例如，TX1/TX2、Xvaier系列等。DSP模块主要进行图像的增强，GPU模块主要完成搭建深度学习网络进行分类与识别。DSP模块和GPU模块是通过网络传输进行数据交互的，传输协议为TCP/IP协议，由客户端(DSP)应答服务器(GPU)的指令并传输数据。

如图2所示，DSP模块和GPU模块采用上中下层叠式结构，GPU模块包括：GPU核心模块与扩展模块(例如，图1中的GPU接口模块)，GPU核心模块与扩展模块通过400-PIN的高速连接器进行连接和固定，同时外加4个铜柱进行加固，保证其连接的稳定性，便于数据交互与电源的供电稳定。GPU扩展模块与DSP模块在设计尺寸上完全一致，采用4根铜柱进行加固。两部分的不存在电源信号的传输，主要是通过两部分的网络接口，利用外部的网线进行连接，实现数据的交互。

如图3所示，整个DSP模块采用独立电源供电。通过DSP模块的视频输入卡扣配合型连接器(Bayonet Nut Connector，BNC)接口输入模拟摄像头采集到的视频信号，作为数据的来源；通过视频解码器进行视频的解码，解码后的视频信息通过DSP模块内置的视频处理前端(Video Processing Front-End，VPFE)接口读入，读入的视频逐帧缓存至第2代双数据速率(Double Data Rate 2，DDR2)的地址1中，经过图像增强处理后，输出处理结果至DDR2的地址2中，以供后续网口的调用输出。为了便于调试，可以加入4个LED(状态指示灯)，用于判断程序在DSP内部的运行状态。JTAG下载接口主要将代码开发调试套件(Code ComposerStudio，CCS)开发好的算法程序加载到DSP模块中。在DSP模块中，加入外挂的16Mbyte的8bit闪存(Flash Memory，FLASH)中，方便程序固化，在掉电后重新上电，程序无需重新下载，自动执行。

如图4所示，GPU部分主要分为GPU核心模块和扩展模块。GPU核心模块由NVIDIA公司开发的Jetpack TX1/TX2处理器组成。内部机构未进行开源，但将相应的接口独立出来供开发者使用。GPU核心模块的供电是6V-19V，由于处理的数据量较大，功耗在满载的情况下达到15W，所以需要在增加风扇装置进行扇热。常用的视觉处理场景中，需要用到USB接口进行输入设备的接入，以及外置大容量储存设备的接入。GPU核心模块内置Ubuntu16.04系统，通过高清多媒体界面(High Definition Multimedia Interface，HDMI)显示接口用来实现分类与识别结果的显示。为了方便调试，同样预留了40PIN的通用输入/输出(GeneralPurpose Input Output，GPIO)口以备不时之需。

在前述恶劣天气下的成像识别方法的具体实施方式中，进一步地，所述通过DSP模块对采集的视频进行图像增强处理包括：

在DSP模块中，利用电子稳像算法和/或自适应图像去雾算法对采集的视频进行图像增强处理。

在实际的拍摄场景中，往往存在相机抖动的情况，导致图像出现运动模糊的现象。因此，本实施例提出电子稳像算法来估计图像的运动轨迹，从而减小图像的模糊程度，提升图像的质量。

在实际的拍摄场景中，往往会遇到云烟雾干扰的情况，导致拍摄的图像不清晰，使得待识别物体信息不明确。因此，本实施例提出自适应图像去雾算法，寻找感兴趣区域，并对感兴趣区域进行图像增强，从而实现图像的去雾效果。

本实施例中，进行图像增强处理时，若不涉及云烟雾干扰，可以只采用电子稳像算法进行图像增强处理，若涉及云烟雾干扰，可以在采用电子稳像算法进行图像增强处理后，进一步采用自适应图像去雾算法去除图像的去雾，然后，将处理后的图像通过百兆以太网的方式传入到GPU模块中，为后续识别和分类提供良好的数据源。

在前述恶劣天气下的成像识别方法的具体实施方式中，进一步地，所述在DSP模块中，利用电子稳像算法对采集的视频进行图像增强处理包括：

通过图像的局部运动估计和全局运动估计，得到全局特征点在图像序列帧间的运动矢量；

通过运动滤波将帧间的运动矢量分离成有意运动矢量和无意运动矢量，其中，有意运动矢量为相机载体的运动，无意运动矢量为相机抖动；

通过基于图像线性存储空间的快速图像修补算法补偿图像帧间的无意运动矢量，使图像序列以稳定的有意运动轨迹显示出来。

如图5所示，所述电子稳像算法的实质是一种基于特征点匹配稳像算法，采集图像用的模拟摄像头往往内嵌了进行伽马校正、去噪滤波的预处理功能。所述电子稳像算法是将模拟摄像头采集的图像和静止情况下拍摄的参考图像来检测出图像序列帧间的运动矢量，并进行运动滤波和适当补偿的方法，所述电子稳像算法主要是由运动估计(局部运动估计和全局运动估计)、运动滤波和运动补偿三个部分组成，其中，

A1，运动估计

利用Harris角点检测提取采集的图像帧中的特征点(此时的特征点可以称为局部特征点)，并以提取的特征点为中心构造特征块，对所述特征块在静止情况下拍摄的参考图像帧中进行块匹配，得到(局部)特征点的运动矢量，这样就可以实现图像的局部运动估计。为了提高局部运动估计的精度，可以采用距离约束准则对提取的特征点进行验证。全局运动估计是将局部特征点的运动矢量代入最小二乘方程提取图像的全局运动参数，得到精确的全局特征点在图像序列帧间的运动矢量。

A2，运动滤波

通过运动滤波将帧间的运动矢量分离成理论上有意运动矢量和无意运动矢量，其中，有意运动矢量为相机载体的运动，无意运动矢量为相机抖动；其中，运动滤波采用改进的卡尔曼(Kalman)滤波器，改进的Kalman滤波器可以将图像序列的运动视作包含着噪声(主要由相机抖动体现)的一阶线性运动，将噪声视作图像的运动分量。

A3，运动补偿

运动补偿采用基于图像线性存储空间的快速图像修补算法，实现图像的行、列序重组以及旋转缩放等变换，补偿图像帧间存在的无意运动矢量，使图像序列以稳定的有意运动轨迹显示出来，从而达到图像序列整体稳定的目的，进而输出稳定的视频序列。

在前述恶劣天气下的成像识别方法的具体实施方式中，进一步地，所述在DSP模块中，利用自适应图像去雾算法对采集的视频进行图像增强处理包括：

将经过稳像处理后的二维图像的颜色分布在三维空间中，建立色彩空间模型；

基于建立的色彩空间模型，利用修正三维模型下多尺度同态滤波算法的去雾权值，确定最优去雾环绕尺度，根据确定的最优去雾环绕尺度，对图像进行预处理；

对去雾预处理后的图像，通过边缘检测、四维投影变换和形态学方法实现自适应阈值设置图像中的感兴趣的区域并标记；

对感兴趣区域进行自适应图像增强处理，对非感兴趣区域进行信息保留；

将图像的感兴趣区域的处理结果和非感兴趣区域的处理结果进行融合。

在大雾或雾霾天气下图像的降质主要是由于空气中粒子对于采集设备光线的散射作用，导致图像色彩降低。本实施例通分析云烟雾干扰下图像降质的机理，利用自适应图像去雾算法去进行去雾处理从而恢复图像，这样，无需根据实际的背景，例如，天空、房屋、道路等，去手动调整参数，自适应调整能力强。

如图6所示，所述自适应图像去雾算法的工作流程包括：

B1，将经过稳像处理后的二维图像的颜色分布在三维空间中，建立色彩空间模型，使得颜色信息在三维空间内离散化，便于后续利用色彩偏移度实现颜色分割；

B2，基于建立的色彩空间模型，将红、绿、蓝三原色分别作为色彩空间的X、Y、Z轴，在色彩空间中，最亮的点为RGB(255,255,255)。建立原点与最亮点的连线，通过计算图像中每一个像素点到这条线的距离(叫作色彩偏移度)，由于雾多为白色，属于亮的像素，所以雾这类像素的色彩偏移度比较小，通过色彩偏移度实现颜色分割。同时人眼中看到的图像往往是由原图和反射图融合得到的图像。通过修正三维模型下多尺度同态滤波(Multi-ScaleRetinex，MSR)算法，将分割后的图像变换到对数空间，将原始图像与反射图像进行分离，对反射图像通过计算像素点与周围区域的加权平均值，即去雾权值，通过对去雾权值进行拟合，得出去雾权值下降最快的斜率，即最优去雾环绕尺度；利用最优去雾环绕尺度与反射图像做卷积实现反射图像的快速减小，再将原始图像和反射图像通过反对数变换，实现图像的去雾预处理效果；

B3，对去雾预处理后的图像，利用改进的边缘检测方法实现图像的边缘检测。边缘检测这一过程包括：利用平滑滤波器消除噪声，利用双轮廓模板提高边缘检测精度。将边缘检测后的图像进行四维投影变换，再利用形态学方法(如：边界提取、形态滤波、腐蚀膨胀)实现自适应阈值的设置(其中，阈值本身是一个变量，因此，所述阈值称为自适应阈值，通过计算每个像素点周围的b*b区域的灰度加权平均值，再减去一个预设的常数，得到所述自适应阈值)，通过自适应阈值设置感兴趣区域(Region Of Interest，ROI)并且标记。

B4，将图像转为频域进行频域滤波增强处理，提取图像背景，消除初步处理的照度不均，利用指数变换提高色彩保真度；对图像的感兴趣区域使用自适应线性分段增强方法进行自适应图像增强处理，突出图像的感兴趣区域，并且改善该区域的色彩适应度；对非感兴趣区域进行信息保留；

B5，将图像的感兴趣区域的处理结果和非感兴趣区域的处理结果进行融合(例如，加权线性相加)，得到最终处理结果，实现图像去雾的效果。

在前述恶劣天气下的成像识别方法的具体实施方式中，进一步地，所述基于提取的特征进行图像的识别与分类包括：

将深度学习网络自动提取的特征和预先设置的特征提取策略提取的特征同时送入分类器中，实现多模态特征融合；

利用融合后的多模态特征对增强处理后的图像进行识别与分类。

本实施例中，在对特定目标进行识别、分类时，单独使用一个特征提取策略，会导致提取的特征信息不够全面、准确；为了获得更加准确的特征信息，本实施例在使用深度学习网络(例如，卷积神经网络，如图7所示)提取特征的基础上，额外选取了几种不同的特征提取策略提取的特征，并对其进行融合，从而丰富提取的特征信息，达到提升识别与分类的性能。

本实施例中，深度学习网络中卷积神经网络(Convolutional Neural Network，CNN)常常被用作特征提取进而实现分类和识别。卷积神经网络的出现是为了解决多层感知器(Multi-Layer Perceptron，MLP)全连接和梯度发散的问题。卷积神经网络的三大特点为：局部感知(local field)、权值共享(Shared Weights)、下采样(subsampling)，极大地提升了计算速度，减少了连接数量。

本实施例中，为了获得更多的图像特征结果，卷积神经网络采用多个卷积核对输入图像进行卷积运算，目的是获得更多有效的特征映射结果。一些卷积核卷积的结果对图像边缘敏感，而一些经过卷积后的特征对图像的色彩敏感，而另一些卷积的特征则对图像的纹理敏感。因此，每个卷积核代表了一种图像模式，如果某个图像块与此卷积核卷积出的值大，则认为此图像块十分接近于此卷积核。卷积神经网络很好地利用了数据本身的局部关联性。卷积网络以特征图的形式，保留了输入图像像素点之间的局部关联性，因此在各种分类问题中取得了较好的效果。

本实施例中，卷积神经网络沿用了普通的神经元网络即多层感知结构，是一个前馈网络。卷积神经网络通过前向传播来进行分类识别，通过反向传播来进行样本训练。卷积神经网络可以分为4大层：

1)图像输入(Image Input)：为了减小后续反向传播(Back Propagation，BP)算法处理的复杂度，一般建议使用灰度图像。也可以使用RGB彩色图像，此处输入的原始图像的RGB三通道。

2)卷积层(Convolution Layer)：特征提取层(C层)-特征映射层(S层)。将上一层的输出图像与本层多个卷积核(权重参数)进行卷积运算，将运算结果加上偏置，偏置是一个常数偏移量，再通过一个Sigmoid激活函数将卷积后的结果转换后，得到多个C层，然后下采样subsampling得到多个S层；其中，C层和S层的输出称为Feature Map(特征图)。

3)光栅化(Rasterization)：为了与传统的多层感知器MLP全连接，把上一层的所有Feature Map的每个像素依次展开，排成一列。

4)多层感知器(MLP)：最后一层为分类器，一般使用Softmax分类器，如果是二分类，也可以使用线性回归Logistic Regression、SVM或RBM分类器。

如图8所示，显示了一个深度学习网络从输入到输出，网络模型大小的变化情况。起始的输入图像的尺寸是224×224，图像是彩色图像，所以通道数为RGB三通道。所以网络模型表示为224×224×3。中间由于卷积核数目的不同，网络模型也发生了变化，在最后输出端网络模型为1×1×1000，代表网络最终输出1000个数，这1000个数代表1000类目标在一幅图像中的概率值，概率最大值所属的类别即为这幅图像的分类识别的结果。

本实施例中，GPU本身的硬件结构可以很好的支持卷积神经网络。单一的CPU是利用多核多线程来加速执行效率，带来是CPU的占用率高，无法执行其他操作。特有的DSP+GPU模块将控制与计算部分分开，控制部分利用DSP本身的灵活性，计算部分利用成百上千的CUDA核心计算单元，将深度学习网络自动提取的特征和预先设置的特征提取策略提取的特征同时送入分类器中，实现多模态特征融合；利用融合后的多模态特征对增强处理后的图像进行识别与分类，并将识别与分类结果送入HDMI模块进行显示输出；这样，从数据的获取到网络间的传递以及并行计算到最终的输出，以流水线的方式得出最终的分类和识别的结果。

在前述恶劣天气下的成像识别方法的具体实施方式中，进一步地，预先设置的特征提取策略包括：边缘特征提取策略、不变矩特征提取策略、灰度变换特征提取策略中的一种或多种。

本实施例中，不同的特征提取策略提取不同的特征，边缘特征提取策略提取边缘特征，不变矩特征提取策略提取不变矩特征与仿射不变矩特征，灰度变换特征提取策略提取灰度变换特征。

在前述恶劣天气下的成像识别方法的具体实施方式中，进一步地，边缘特征的提取步骤包括：

计算图像每个像素点的梯度幅值和方向；

将检测窗口划分成大小相同的单元格；

统计每个单元格分布在不同方向的梯度幅值，得到每个单元格的方向梯度直方图；

将相邻的单元格组合成无重叠的块，统计整个块的方向梯度直方图特征，并对每个块内的方向梯度直方图进行归一化；

连接所有块的方向梯度直方图，得到表示整个图像的方向梯度直方图特征，利用整个图像的方向梯度直方图特征构成边缘特征。

本实施例中，边缘特征提取策略是基于图像形状边缘特征的提取算法，其基本思想是即使没有图像相关梯度和边缘位置的精确信息，也能通过局部梯度大小和边缘信息将图像局部外观和形状特征化。边缘特征提取策略是通过计算图像的梯度，并统计分布在不同方向的梯度幅值，得到方向梯度直方图(Histogram of Oriented Gradient，HOG)来构成边缘特征。

本实施例中，边缘特征的提取步骤主要包括：

C1，计算图像每个像素点的梯度幅值和方向，弱化光照的干扰；

C2，将检测窗口划分成大小相同的单元格(cell)；

C3，统计每个单元格分布在不同方向的梯度幅值，得到每个单元格的方向梯度直方图；

C4，将相邻的单元格组合成无重叠的块(block)，统计整个块的方向梯度直方图特征，并对每个块内的方向梯度直方图进行归一化，减少背景颜色和噪声的影响；

C5，连接所有块的方向梯度直方图，得到表示整个图像的方向梯度直方图特征，利用整个图像的方向梯度直方图特征构成边缘特征。

在前述恶劣天气下的成像识别方法的具体实施方式中，进一步地，所述不变矩特征包括：不变矩与仿射不变矩；其中，将提取的不变矩与仿射不变矩的特征进行组合作为目标形状特征。

本实施例中，由于成像系统在实际应用中本身处于运动状态，这造成所获图像发生平移、缩放及旋转等变换；成像过程中由于受天气、噪声、距离、视角及成像设备等因素的影响，图像同时产生仿射变换，从而大大增加了识别的难度，解决问题的关键是找到有效的特征不变量。根据上述成像时图像的变换特点，选取不变矩与仿射不变矩的特征组合进行目标形状特征的描述。[15]

由于在实际应用场景中，成像系统本身处于运动状态，这造成所获得的图像目标发生平移、缩放及旋转等变换。

本实施例中，图像的不变矩是一种具有平移、旋转和尺度不变性的图像特征。各阶不变矩的物理意义如下：

0阶矩(m00)：目标区域的质量；

1阶矩(m01,m10)：目标区域的质心；

2阶矩(m02,m11,m20)：目标区域的旋转半径；

3阶矩(m03,m12,m21,m30)：目标区域的方位和斜度，反应目标的扭曲。

在前述恶劣天气下的成像识别方法的具体实施方式中，进一步地，灰度变换特征包括：边缘灰度特征、线性特征和中心环绕特征；

每一种灰度变换特征的特征值为白色填充区域的像素之和与黑色填充区域的像素之和的差值。

本实施例中，灰度变换特征用于反应图像的灰度变化情况。所述灰度变换特征分为三类：边缘灰度特征、线性特征、中心环绕特征。由这三类特征组合成特征模板；特征模板内有白色(灰度值为255)和黑色(灰度值为0)两种矩形，每一种灰度变换特征的特征值为白色填充区域的像素之和与黑色填充区域的像素之和的差值。

本实施例中，边缘特征忽略了光照颜色对图像造成的影响，使得图像所需要的表征数据的维度降低，大大减少计算量。不变矩特征具有很好的平移、旋转、仿射不变性，对运动目标下的特征提取适应性较强。灰度变换特征的描述与侦测可以帮助辨识物体，是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关，对于光线、噪声等微视角改变的容忍度也相当高。本实施例中，采用预先设置的特征提取策略与深度学习自动提取特征相结合的方式，这样，在保留一些典型特征的同时，针对不同角度下的图像，基于深度学习网络自动、高效的提取出多层次信息，能够提高图像分类和识别的精度和效率。

综上，本发明实施例所述的恶劣天气下基于DSP+GPU的成像识别方法。在方法上紧密结合硬件性能。DSP模块利用图像增强算法提升图像质量，如提出电子稳像算法消除图像的运动模糊，提出自适应图像去雾算法消除图像的云烟雾干扰。GPU模块负责搭建深度学习网络，将深度学习自动提取的特征和预先设置的特征提取策略提取的边缘特征、不变矩特征、灰度变换特征进行多模态特征融合，利用融合后的多模态特征对增强后的图像从多个角度进行识别，最终实现图像分类和识别的目的。

实施例二

本发明还提供一种恶劣天气下的成像识别系统的具体实施方式，由于本发明提供的恶劣天气下的成像识别系统与前述恶劣天气下的成像识别方法的具体实施方式相对应，该恶劣天气下的成像识别系统可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述恶劣天气下的成像识别方法具体实施方式中的解释说明，也适用于本发明提供的恶劣天气下的成像识别系统的具体实施方式，在本发明以下的具体实施方式中将不再赘述。

如图9所示，本发明实施例还提供一种恶劣天气下的成像识别系统，包括：

DSP模块11，用于对采集的视频进行图像增强处理，其中，DSP为数字信号处理；

GPU模块12，用于搭建与电脑端相同的深度学习网络，获取电脑端已训练好的所述深度学习网络的参数，GPU模块中的深度学习网络根据电脑端已训练好的所述深度学习网络的参数，提取经过增强处理后的图像的特征，基于提取的特征进行图像的识别与分类，其中，GPU为图像处理单元，所述参数包括：权重值和偏置值。

本发明实施例所述的恶劣天气下的成像识别系统，通过DSP模块对采集的视频进行图像增强处理；在GPU模块，搭建与电脑端相同的深度学习网络，获取电脑端已训练好的所述深度学习网络的参数；GPU模块中的深度学习网络根据电脑端已训练好的所述深度学习网络的参数，提取经过增强处理后的图像的特征，基于提取的特征进行图像的识别与分类；这样，将图像增强算法与深度学习网络部署在同一系统下的不同的处理器中，分工明确，紧密协调，能够降低成本和功耗。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种恶劣天气下的成像识别方法，其特征在于，包括：

通过DSP模块对采集的视频进行图像增强处理，其中，DSP为数字信号处理；

在GPU模块，搭建与电脑端相同的深度学习网络，获取电脑端已训练好的所述深度学习网络的参数，其中，GPU为图像处理单元，所述参数包括：权重值和偏置值；

GPU模块中的深度学习网络根据电脑端已训练好的所述深度学习网络的参数，提取经过增强处理后的图像的特征，基于提取的特征进行图像的识别与分类。

2.根据权利要求1所述的恶劣天气下的成像识别方法，其特征在于，所述通过DSP模块对采集的视频进行图像增强处理包括：

在DSP模块中，利用电子稳像算法和/或自适应图像去雾算法对采集的视频进行图像增强处理。

3.根据权利要求2所述的恶劣天气下的成像识别方法，其特征在于，所述在DSP模块中，利用电子稳像算法对采集的视频进行图像增强处理包括：

通过图像的局部运动估计和全局运动估计，得到全局特征点在图像序列帧间的运动矢量；

通过运动滤波将帧间的运动矢量分离成有意运动矢量和无意运动矢量，其中，有意运动矢量为相机载体的运动，无意运动矢量为相机抖动；

通过基于图像线性存储空间的快速图像修补算法补偿图像帧间的无意运动矢量，使图像序列以稳定的有意运动轨迹显示出来。

4.根据权利要求2所述的恶劣天气下的成像识别方法，其特征在于，所述在DSP模块中，利用自适应图像去雾算法对采集的视频进行图像增强处理包括：

将经过稳像处理后的二维图像的颜色分布在三维空间中，建立色彩空间模型；

基于建立的色彩空间模型，利用修正三维模型下多尺度同态滤波算法的去雾权值，确定最优去雾环绕尺度，根据确定的最优去雾环绕尺度，对图像进行预处理；

对去雾预处理后的图像，通过边缘检测、四维投影变换和形态学方法实现自适应阈值设置图像中的感兴趣的区域并标记；

对感兴趣区域进行自适应图像增强处理，对非感兴趣区域进行信息保留；

将图像的感兴趣区域的处理结果和非感兴趣区域的处理结果进行融合。

5.根据权利要求1所述的恶劣天气下的成像识别方法，其特征在于，所述基于提取的特征进行图像的识别与分类包括：

将深度学习网络自动提取的特征和预先设置的特征提取策略提取的特征同时送入分类器中，实现多模态特征融合；

利用融合后的多模态特征对增强处理后的图像进行识别与分类。

6.根据权利要求5所述的恶劣天气下的成像识别方法，其特征在于，预先设置的特征提取策略包括：边缘特征提取策略、不变矩特征提取策略、灰度变换特征提取策略中的一种或多种。

7.根据权利要求6所述的恶劣天气下的成像识别方法，其特征在于，边缘特征的提取步骤包括：

计算图像每个像素点的梯度幅值和方向；

将检测窗口划分成大小相同的单元格；

统计每个单元格分布在不同方向的梯度幅值，得到每个单元格的方向梯度直方图；

将相邻的单元格组合成无重叠的块，统计整个块的方向梯度直方图特征，并对每个块内的方向梯度直方图进行归一化；

连接所有块的方向梯度直方图，得到表示整个图像的方向梯度直方图特征，利用整个图像的方向梯度直方图特征构成边缘特征。

8.根据权利要求6所述的恶劣天气下的成像识别方法，其特征在于，所述不变矩特征包括：不变矩与仿射不变矩；其中，将提取的不变矩与仿射不变矩的特征进行组合作为目标形状特征。

9.根据权利要求6所述的恶劣天气下的成像识别方法，其特征在于，灰度变换特征包括：边缘灰度特征、线性特征和中心环绕特征；

每一种灰度变换特征的特征值为白色填充区域的像素之和与黑色填充区域的像素之和的差值。

10.一种恶劣天气下的成像识别系统，其特征在于，包括：

DSP模块，用于对采集的视频进行图像增强处理，其中，DSP为数字信号处理；

GPU模块，用于搭建与电脑端相同的深度学习网络，获取电脑端已训练好的所述深度学习网络的参数，GPU模块中的深度学习网络根据电脑端已训练好的所述深度学习网络的参数，提取经过增强处理后的图像的特征，基于提取的特征进行图像的识别与分类，其中，GPU为图像处理单元，所述参数包括：权重值和偏置值。