CN108154118A - 一种基于自适应组合滤波与多级检测的目标探测系统及方法 - Google Patents

Abstract

本发明涉及一种基于自适应组合滤波与多级检测的目标探测方法及系统，包括结合运动目标检测单元与显著目标检测单元的目标检测模块、基于卷积神经网络的目标识别模块、基于组合决策与多通道图像特征的目标跟踪模块；目标检测模块、目标识别模块与目标跟踪模块紧密配合，共同组成稳定可靠的目标探测系统。系统输出为检测出的候选目标位置信息、目标类别信息和目标跟踪得到的选定目标的位置信息。目标探测系统在高性能多核DSP芯片上实现，并针对多核DSP芯片进行了针对性的优化，实现了实时目标检测与目标跟踪，以及快速的目标识别功能。本发明实用性强、可行性高，能够方便的集成到各类有目标探测需求的解决方案中，实现智能的目标检出、识别与跟踪。

Description

一种基于自适应组合滤波与多级检测的目标探测系统及方法

技术领域

本发明涉及模式识别与机器学习领域，具体涉及的是一种基于自适应组合滤波与多 级检测的目标探测系统及方法。

背景技术

人类在利用视觉对场景进行观察时，首先会从场景中找到一些感兴趣的目标，然后 感知判断出其类别，之后会对最感兴趣的目标进行持续观察。在模式识别与机器学习领域，为模仿人类行为实现计算机视觉，这些任务被抽象成目标检测、目标识别与目标跟 踪。

目标检测是目标探测的第一步工作，即从场景中检测出需要进一步处理的目标，常 用的目标检测方法有帧间差分、背景建模以及基于深度神经网络的方法。其中帧间差分法与背景建模法运算效率高，但模型过于简单，只能够处理背景固定不变的场景，且误 检漏检率较高。基于深度神经网络的方法检测准确度高，但模型又过于复杂，难以在计 算能力有限的硬件平台上实时实现。

目标检测完毕后，对检测出的目标进行分类和识别，可以得到目标更高层的类别信 息。传统的目标识别方法通过提取一些手工设计的图像特征，如人脸识别采用常哈尔特征，行人检测常采用梯度统计直方图特征。提取特征后，训练一个分类模型，如支撑向 量机分类模型、逻辑回归分类模型。传统浅层方法通常识别率较低，不能满足实际工程 需求。近年来，学者们提出了许多基于深度神经网络的目标识别方法，准确度高，能够 识别特定类别的目标，在许多场景中已经有一些应用，但他们同样有模型复杂度高，运 行依赖高性能硬件等缺点。

目标探测的最后一步，是对选定的某一目标进行持续跟踪，使其始终处于视场的中 心位置。最初一些基于运动预测与概率估计的方法被应用于目标跟踪，如基于卡尔曼滤波预测的目标跟踪，基于粒子滤波的目标跟踪。此类方法因其计算量小、易于实现等优 点，在视频分辨率较低的时代被广泛的应用，但基于预测与估计的方法启发性较小，跟 踪稳定性和精确度较低。随着图像采集技术的进步，现在视频图像的分辨率越来越高， 图像能够很好的体现目标的轮廓、纹理等细节，学者们开始提出一些基于图像特征的目 标跟踪方法，包括基于具有尺度旋转不变性的关键点特征的方法，基于颜色特征的方法， 与基于梯度统计直方图的方法。这些特征有各自的优点和缺点。具有尺度旋转不变性的 特征能够精细的表示图像中的局部区域，但是图像中其它区域包含的信息没有被很好的 利用起来。梯度统计直方图采用密集表示，能够准确提取图像的梯度细节信息，但不能 很好的分辨具有相似纹理的图像。颜色特征能够区分不同颜色的图像，而不能很好的表 示图像的形状信息。上述特征的表示形式差别较大，现有方法中只能同时用到其中的一 到两种特征，且特征并非有机结合，使得算法不能发挥综合特征的最大性能，得出的目 标跟踪方法稳定性不够高，目标跟踪结果不够准确。且目标跟踪中存在着许多具有挑战 的场景，现有的通过单一跟踪器进行目标跟踪的方法在运行过程中容易发生跟踪失败。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种基于自适应组合滤波与多 级检测的目标探测系统及方法，系统在高性能多核DSP芯片上实现，能够方便的集成到各种目标探测解决方案中，提供实时目标检测、目标跟踪与快速目标识别功能。

本发明所采用的技术解决方案是：一种基于自适应组合滤波与多级检测的目标探测 系统，包括目标检测模块、目标识别模块、目标跟踪模块；系统输入为图像数据和控制指令，图像数据和控制指令同时输入各个模块；

所述目标检测模块有两个功能，首先是根据输入的图像数据以及控制指令，检测图 像中存在的目标，其次是当目标跟踪模块发生跟踪失败时，根据目标跟踪模块反馈的精确目标位置信息，在图像中局部区域进行更精确的目标检测，检出候选目标，协助目标 跟踪模块完成选定目标的重新找回；所述目标检测模块包括：运动目标检测单元与显著 目标检测单元；运动目标检测单元通过光流法对相邻帧间图像中背景运动进行估计和配 准，检测出图像中的运动目标；运动目标检测单元只能检出图像中的运动目标，显著目 标检测单元能够检出图像中静止的显著目标；显著目标检测单元采用一组自适应的滤波 器，首先将图像数据变倍到特定尺寸，转换为浮点图像数据，然后使用组合滤波器滤除 背景区域的波段，留下显著目标的波段，然后对结果进行分割和形态学处理，之后进行 筛选，然后检测出图像中静止的显著目标；最终目标检测模块将上述运动目标检测单元 与显著目标检测单元得到的目标检测结果进行合并，降低误检、漏检率，得到最终目标 检测结果即目标位置信息，输出至目标识别模块；

所述目标识别模块有两个功能，首先是根据输入的图像数据以及目标检测模块输出 的目标位置信息，分类判别图像中检出的目标的类别，其次是当目标跟踪模块发生跟踪失败时，根据目标跟踪模块反馈的目标类别信息，判断目标检测模块检出的候选目标类 别是否与选定目标类别一致，协助目标跟踪模块完成选定目标的重新找回；所述目标识 别模块采用基于卷积神经网络的多类目标识别算法，首先使用通用数据集并采集待识别 的特定目标的数据集，按照类别进行标注，将数据集分为训练集、验证集和测试集，然 后构建目标识别卷积神经网络模型，对神经网络进行训练，直到模型识别准确率满足工 程需要为止，训练好的模型能够实现多个类别的特定目标的识别；目标识别模块接收来 自外部的图像数据、控制指令与目标检测模块输出的目标检测结果，利用卷积神经网络 对目标检测模块检测出的目标进行分类识别，输出目标的类别信息和从目标检测模块得 到的目标位置信息至目标跟踪模块；

所述目标跟踪模块包括：多通道目标跟踪单元与组合决策单元；多通道目标跟踪单 元的输入是图像数据、目标检测模块的检测结果，目标识别模块的识别结果，以及选定要跟踪的目标的控制指令；接收到开始跟踪选定目标的指令后，多通道目标跟踪单元使 用初始帧的图像数据，以及初始帧中选定目标的位置，构建三个基于多通道图像特征的 目标跟踪算法的基本跟踪器，每个基本跟踪器采用不同的参数进行设置，以分别应对不 同的场景达到最佳目标跟踪效果，三个基本跟踪器同时发生跟踪失败的概率极低；基本 跟踪器中采用HOG特征、CN特征和角点特征3个通道加权融合构建目标特征模型，每种 特征通过傅里叶变换转换到频域计算相关度，将卷积运算转化为点乘运算，从而减小计 算量，加快计算速度；采用最大峰值比(MPR)判断目标特征模型权值系数是否需要更 新，利用在线学习，选用固定学习因子对权值系数进行更新，完成目标模型更新过程； 组合决策单元的输入为多通道目标跟踪单元的三个基本跟踪器输出的三个目标跟踪结 果，组合决策单元根据每个目标跟踪结果的累积损失函数，进行判断，选择其中的最优 结果，作为最终目标跟踪结果输出；同时，利用最优结果来更新得出最优结果的跟踪器， 并对其他两个跟踪器进行校正，以保持稳定可靠的目标跟踪；同时目标跟踪模块会将选 定目标的精确位置信息和类别信息反馈至目标检测模块与目标识别模块，以便在发生跟 踪失败时，目标检测单元与目标识别单元协助目标跟踪单元，完成选定目标重新找回的 工作，找回选定目标后，继续对其进行稳定跟踪。

所述目标探测方法的运行步骤如下：

(1)图像数据和控制指令首先输入目标检测模块，目标检测模块中的运动目标检测单元和显著目标检测单元分别在图像中进行目标检测，得到一组检测结果，之后目标 检测模块对运动目标检测单元和显著目标检测单元得出的结果进行合并聚类，得出最终 目标检测结果，即检出的目标位置信息，输出至目标识别模块。

(2)目标识别模块接收到目标位置信息后，从图像中截取目标图像块，利用训练好的卷积神经网络对检出的目标进行分类识别，得到目标的类别信息，与目标位置信息 一同输出至目标跟踪模块。

(3)目标跟踪模块接收来自目标检测模块和目标识别模块的目标位置信息与类别信息，接收到跟踪选定目标的指令后，开始对选定的目标进行精确跟踪。首先，多通道 目标跟踪单元使用不同参数建立三个基本跟踪器，进行基本目标跟踪，每一帧中可计算 得到三个目标跟踪结果，随后，组合决策单元对三个目标跟踪结果进行判别，得到其中 的最优跟踪结果，最后，使用最优目标跟踪结果对得出最优结果的基本跟踪器进行更新， 对其他两个跟踪器进行校正，保持稳定的目标跟踪。

(4)当选定的目标在跟踪过程中丢失时，目标检测模块根据目标跟踪模块反馈的选定目标精确位置，在图像中进行检测，检出候选目标，之后由目标识别模块对各候选 目标的类别进行验证，确定其是否是丢失的目标，若验证成功，则输出结果至目标跟踪 模块，继续对选定的目标进行稳定跟踪；

所述目标检测模块包括运动目标检测单元与显著目标检测单元，其中运动目标检测 单元负责检出图像中的运动目标，显著目标检测单元能够检出图像中的显著目标，包含运动的目标和静止的目标。

运动目标检测单元进行目标检测的步骤如下：

(1)对输入的相邻两帧图像进行预处理；

(2)粗校准两帧图像，计算得到整体环境偏移分量；

(3)计算所述两帧图像的光流场；

(4)利用光流场减去整体环境偏移分量，得到光流场运动幅度；

(5)利用设定阈值将光流场运动幅度阈值化，得到去除整体环境偏移分量的运动目标区域和非运动区域；

(6)精配准两帧图像，并计算前一帧图像到后一帧图像的透视变换矩阵；

(7)利用透视变换矩阵将前一帧图像变换到后一帧图像的坐标系下；

(8)对步骤(7)处理得到的两帧图像进行差分，对差分得到的结果进行阈值分 割，并使用形态学运算滤除噪声，得到多个连续运动目标区域；

(9)对多个连续运动目标区域聚类，得到区域的中心坐标；

(10)将中心坐标之间距离小于设定阈值的连续运动目标区域合并输出，得到检测

到的运动目标。

在步骤(1)中所述两帧图像若为彩色图像，进行灰度化处理。

在步骤(2)中使用相位相关法粗校准所述两帧图像，得到整体的环境偏移分量，包括以下步骤：

(1)对两幅图像进行傅里叶变换；

(2)计算两幅图像傅里叶变换的互功率谱；

(3)对互功率谱计算傅里叶反变换；

(4)找到傅里叶反变换尖峰，得到两幅图像间粗匹配的结果，作为整体的环境偏移分量。

在步骤(3)中使用Farneback稠密光流算法计算所述两帧图像的光流场，或光流算法根据任务需要进行更换。

在步骤(5)中，得到所述运动目标区域和非运动区域的实现为：将运动幅度大于设定阈值的点作为运动目标区域，小于设定阈值的作为非运动区域。

在步骤(6)中精配准两帧图像，并计算前一帧图像到后一帧图像的透视变换矩阵的实现，包括以下过程：

(1)对所述两帧图像进行改良自FAST算法的ORB特征点的提取，各个计算特征点的特征值，利用所述运动目标区域与非运动区域，滤除所述图像运动目标区域的特征点，保留所述图像非运动区域的特征点，对特征点的特征值使用欧氏距离进行特征匹配，选 取欧式距离最小的点作为匹配点对，进而实现精匹配，ORB特征可根据需要更换为其他 特征点检测算法；

(2)使用RANSAC算法筛匹配点对，进而得到前一帧到后一帧背景部分的透视变换矩阵。

在步骤(9)中利用广度优先区域生长算法对多个连续运动目标区域聚类。

显著目标检测单元进行目标检测的步骤如下：

(1)对原始图像进行预处理，将所述原始图像变倍到设定尺寸，并进行浮点转换，得到浮点图像；

(2)对浮点图像使用IIR滤波器进行两次带通滤波；

(3)对带通滤波结果进行分割，得到分割结果；

(4)对所述分割结果进行形态学处理，剔除噪声影响点；

(5)对形态学处理后的结果进行聚类，得到聚类结果；

(6)对聚类结果依据目标先验知识进行筛选，在筛选处理中，依据已知的特性进行筛选，并得到最终的检测结果。

(7)根据每一帧中检测出的显著目标的数量、尺寸、与图像的灰度分布信息，对 滤波器参数进行自适应调整，学习率为0.01。

所述步骤(1)中，如果所述图像为彩色图像，先进行灰度化，得到灰度图像，再 将图像变倍到设定尺寸，并进行浮点转换，得到浮点图像。

所述步骤(2)中，使用数字IIR滤波器进行带通滤波，带通滤波器由两个低通滤 波器差分得到，数字IIR低通滤波器由正反两次滤波操作构成，并分别对水平方向及竖 直方向进行，低通滤波器的正向滤波递推公式如下：

x′_n＝(1-a)×x′_n-1+a×x_n

式中x_n是第n点像素灰度值，x′_n是第n点的正向滤波结果，a为滤波参数；

反向滤波递推公式如下：

x″_n＝(1-a)x″_n+1+a×x′_n

构建两个自适应的带通滤波器，根据不同场景调整滤波参数，对浮点图像进行两级 带通滤波，得到滤除背景频段信息，得到滤波结果。

初始一级带通滤波参数a的值分别为0.6与0.2，初始二级带通滤波参数a的值分别为0.3与0.1，可根据实际应用场景进行自适应调整。所述步骤(3)中使用固定阈值 进行二值分割。

所述固定阈值为1.0，可根据实际应用场景进行调整。

所述步骤(5)，使用广度优先算法进行聚类，逐行扫描图像，将未被分类的且分 割结果为1的点作为种子点，使用4邻域区域生长法进行广度优先搜索聚类，将聚类点 标记为已分类点，并继续扫描，最终得到聚类结果。

所述步骤(6)中，已知的特性包括：目标大小、目标长宽比，所述已知的特性可 根据实际应用场景进行调整。

当所述运动目标检测单元与显著目标检测单元检出的目标数之和小于15时，两者目标检测结果取并集，作为最终目标检测结果，当两者检出的目标数之和大于15时， 两者目标检测结果取交集，作为最终目标检测结果。

所述目标识别模块：采用基于卷积神经网络多类目标识别算法，能够实现多个类别 的特定目标的识别，基于卷积神经网络的多类目标识别算法在线下使用大量数据进行预 训练，能够准确识别多类特定目标，在线运行时，加载训练好的模型，完成目标识别工作。目标识别模块的实现包括以下步骤：

(1)使用现有通用数据集，并采集想要识别的特定目标图像数据集，按照类别进行标注，并按照已标注的数据集分成训练集、验证集、测试集，最后处理成卷积神经网 络模型能够识别的数据类型；

(2)构建识别卷积神经网络模型，设置最大迭代次数、学习率、测试频率，选择 反向传播方法，根据上述设置和选择开始训练，然后根据训练损失函数变化情况，得到 此卷积神经网络模型的识别准确率；

(3)在卷积神经网络模型的结构上，增加或者减少卷积层数，重新开始步骤(2) 的训练，当训练卷积神经网络模型的识别的准确率达到最高时，说明此训练的卷积神经 网络模型适应目前的数据集大小，保留此时的训练得到卷积神经网络模型的结构及参数；

(4)利用(3)获得的卷积神经网络模型，对测试集进行测试，得到识别准确率， 对识别准确率进行判断，如果识别准确率能够满足实际工程需要，则所述的卷积神经网 络模型能够应用到实际的目标识别的任务中；若不满足，则说明训练集不能满足实际工 程需要，需要扩大训练集，重新开始步骤(1)(2)(3)，直至满足实际工程需要为 止；

所述步骤(2)中，得到参数最优解的卷积神经网络模型的方法为：当训练集的损失函 数Loss下降幅度不超过0.001时，而验证集的损失函数Loss趋于上升的临界点时，即获得 参数最优解的卷积神经网络模型。

所述步骤(2)中，设置最大迭代次数、学习率、测试频率，选择反向传播方法具体如下：

最大迭代次数：20万次；

初始学习率：0.001；

测试频率：1000次迭代/1次；

反向传播方法：随机梯度下降算法。

所述步骤(2)中卷积神经网络模型为5个卷积层，加上3个全连接层。

所述步骤(3)中增加或减少层数不超过两层。

所述目标跟踪模块包括多通道目标跟踪单元和组合决策单元。多通道目标跟踪单元包括 三个基于多通道图像特征的目标跟踪算法构建的基本跟踪器，每个基本跟踪器采用不同的参 数进行设置，以分别应对不同的场景达到最佳效果，产生跟踪失败的概率大幅降低。组合决 策单元对多通道目标跟踪单元的三个基本跟踪器输出的三个目标跟踪结果进行分析和聚类， 得到最优目标跟踪结果，同时，利用最优结果来更新得出最优结果的跟踪器，并对其他两个 跟踪器进行校正，以保持稳定可靠的目标跟踪。

所述多通道目标跟踪单元构建基本跟踪器的步骤如下：

(1)在开始跟踪的第一帧图像，提取选定目标所在区域，并初始化最大峰值比MPR(Maximum Peak Ratio，最大峰值比)的阈值，同时初始化整个目标模型中三个特征融合 的权值系数，根据初始化的三个特征量融合权值系数，线性求和融合成目标初始模型，完 成构建目标多通道特征融合模型的过程；多通道特征就是三个不同的特征作为三个不同通道同时作为输入进行计算；HOG、CN和角点特征这三个通道的特征融合，故叫做多通道特征；

(2)在下一帧图像中，以步骤(1)中所确定目标所在区域的位置中心周围，以固定系 数扩展目标区域，密集采样得到20至30个图像块；

(3)在步骤(2)采集的图像块中提取HOG、CN和角点特征，分别进行高速相关滤波计算，高速相关滤波具体操作是将时域下两个矩阵相关度的计算过程，通过快速傅里叶变换 到频域后，由之前的卷积运算变为点积运算，可以有效降低计算量，实现高速计算的效果。 在得到HOG、CN和角点特征的滤波响应图后，统计每个滤波响应图中的响应峰值，并对3个特征量的响应峰值进行归一化处理；再使用步骤(1)中初始化的权值系数对HOG、CN 和角点特征的响应图加权融合为最终响应图，找到融合后的最大峰值处即可确定目标最终所在位置；然后在所得的最终响应图中以最大峰值为基数，计算各特征量的响应峰值与最大峰 值的比值，用初始化MPR阈值对所述的比值进行比较，若大于初始化MPR阈值，则对目标多通道特征融合模型进行更新，反之则不更新；实施更新过程，则利用所得到的比值，在固定的学习因子系数下重新分配各特征量所对应的归一化系数，完成三个特征量的权值系数的 自适应更新过程，并将更新后的目标多通道特征融合模型和三个特征量的权值系数传递给下 一帧继续目标跟踪，最终完成当前帧中的目标跟踪任务。

所述步骤(1)构建目标多通道特征融合模型，由实验经验初始化MPR阈值为0.7，初始化三个特征的权值系数分别为按照此系数将三个特征融合，即构建整个目标多通道特征融合模型的形式为：

M₀＝λ₁H_hog+λ₂H_cn+λ₃H_con

其中M₀表示初始目标模型，H_hog，H_cn，H_con分别表示HOG、CN和角点特征。

所述步骤(2)的图像块采集方法为循环移位采样，循环移位采样公式表示为：

T_(i,j)＝PⁱTP^j

其中T_(i,j)表示图像块T右移i次后再下移j次得到的循环图像块，P表示循环单位阵；

所述步骤(3)中，具体实现为：

(31)对图像块分别提取HOG、CN和角点特征，并转换到频域中，计算与初始图像各特征的相关度，得到三个特征的响应图，统计三个特征的响应图中的响应峰值Peak_hog，Peak_cn， Peak_con，并对每个特征响应图中的所有响应峰值进行归一化：

其中Peak_i为若干个响应峰值，Peak_i'为归一化后的响应峰值大小，Tanh()为双曲正切函 数，μ为平移因子，取值为0.5；

(32)将所得的三个特征响应图加权融合为一张最终响应图，在最终响应图中找到最大 峰值为Peak_max，则确定当前帧中最大峰值处即为目标出现的位置中心；

(33)使用所得的Peak_max计算MPR值，决定是否对目标区域进行更新：

然后对所得的MPR值进行判断，若大于初始化MPR阈值，则对目标多通道特征融合模型和特征量的权值系数进行更新，若小于初始化MPR阈值，则不更新；

(34)若步骤(33)判断结果需要对目标多通道特征融合模型和特征量的权值系数进行 更新，更新的策略采用自适应加权融合，这是一种基于MPR实时调整各特征量融合系数 的策略，首先由步骤(33)统计各特征量响应的峰值并计算MPR值进行比较，某个特 征量所得的MPR值最大，则说明该特征量在确定目标位置的过程中占主导地位，当超 过固定阈值0.5时，则按各个特征的MPR值的比例修改目标模型中的三个特征权值系数， 则利用固定的学习因子系数重新更新每个特征量的权值系数，具体计算过程首先得到各特征 量前后两帧的权值系数误差；

Diff表示各特征的权值误差，λ_pre表示前一帧的权值系数；

然后结合权值系数误差与前一帧的权值系数，计算更新后的权值系数：

其中λ_new表示当前帧中更新后的权值系数。

再利用更新后的权值系数对目标多通道特征融合模型进行更新：

M_new＝λ_{new_hog}H_hog+λ_{new_cn}H_cn+λ_{new_con}H_con

其中M_new为更新后的模型，H_hog、H_cn、H_con为当前帧中提取的特征。

所述学习因子系数α＝0.2。

所述组合决策单元对各基本跟踪器的输出进行决策和判别，根据累积损失函数确定 最优决策结果，每个决策结果在每一帧中可以计算得到一个损失函数表示在第n帧中基本跟踪器D的目标跟踪结果的损失函数，本发明采用累积损失函数法提升决策判断 的准确性，判断最优决策结果：

其中，D^*为得出最优结果的基本跟踪器，Δn为累积损失函数的时间窗长度。

本发明的目标探测系统与现有技术相比的优点有：

(1)本发明目标探测系统中的目标检测模块集成了运动目标检测单元与显著目标检 测单元。其中运动目标检测基于光流与帧间匹配的方法，有效结合了运动分割及先匹配后差 分的方法，结合高精度的特征点匹配方法，解决了传统帧间差分方法无法应对动态背景的问 题。同时与运动分割方法相比，其不直接利用光流进行处理，不受到其背景噪声的影响。与 先匹配后差分的方法相比，其匹配精度高，且在处理点时排除了前景上的特征点，使得计算 得到的变换模型是真实可靠的背景变换模型；显著目标检测与现有的分类器学习算法相比， 其能够适应于多种不同的目标，实现非常高效，仅对图像进行4次遍历即可完成滤波计算， 相对惯有的显著性算法，计算效率明显提升。能够在背景运动的复杂场景中同时检测出图像 中的运动目标和静止目标，误检漏检率低。

(2)本发明中目标识别模块采用基于卷积神经网络的多类目标识别算法，相比于传统 方法，人工设计的特征很难完全表达出目标信息，利用卷积神经网络进行反馈学习，能够学 习到更加具有鲁棒性的特征表达，从而保证识别准确率要求；本发明提出的卷积神经网络模 型训练方法，通过训练损失函数变化与测试损失函数变化情况，来得到全局最优解，对比于 一般的基于卷积神经网络的目标识别方法，通过先验信息来设置固定迭代次数，本发明能够 提高训练效率，同时也能提高卷积神经网络模型的识别准确率。同时，在实现过程中，我们 通过目标检测模块获取待识别目标的准确位置，而非在图像中遍历，从而大幅提升了目标识 别效率。

(3)目标跟踪模块包括多通道目标跟踪单元与组合决策单元。多通道目标跟踪单元同 时构建三个基本跟踪器，降低跟踪失败的概率。在构建基本跟踪器时，利用多通道特征融合 建立目标跟踪模型，利用各个特征量对应不同场景条件的鲁棒性，从而解决在现有技术中单 一特征量无法克服多种环境因素对目标跟踪过程的干扰问题。本发明所采用的多通道特征包 括CN特征、HOG特征和角点特征。CN特征可以有效应对目标外观发生改变的影响，例如形 变和尺寸变化等；HOG特征可以解决环境光照变化对目标带来的干扰；角点特征主要应用在 目标被部分遮挡后的场景下，可以对残留目标区域继续检测角点并进行跟踪。组合决策模块 对三个基本跟踪的结果进行判别，选出最优跟踪结果，保证在至少有一个跟踪器正常跟踪的 情况下，就能给出可靠的目标跟踪结果，同时利用最优跟踪结果对基本跟踪器进行更新和校 正，实现了稳定的目标跟踪。

(4)目标探测系统集成度高，结构简单，所有功能模块均在单片DSP芯片上实现，整个系统能够方便的应用于各种目标探测解决方案。

(5)目标探测系统在计算能力有限的条件下，通过高效的算法和针对性优化的实现方 式，实现了实时的目标检测和目标精确跟踪功能，同时能够快速进行目标识别。

附图说明

图1为本发明的系统结构框图；

图2为本发明中运动目标检测单元的流程框图；

图3为本发明中显著目标检测单元的流程框图；

图4为本发明中目标识别模块的流程；

图5为本发明中目标识别模块的卷积神经网络模型结构图；

图6为本发明中多通道目标跟踪单元的流程框图；

图7为本发明中多通道目标跟踪单元的具体实施示意图；

图8为本发明中运动目标检测单元的检测结果图；

图9为本发明中显著目标检测单元的检测结果图；

图10为本发明中目标识别模块的识别结果图；

图11为本发明中目标跟踪模块的跟踪结果图。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

如图1所示，本发明的目标探测系统主要包括目标检测模块、目标识别模块与目标跟踪模块，运行步骤如下：

(1)图像数据和控制指令首先输入目标检测模块，目标检测模块中的运动目标检测单元和显著目标检测单元分别在图像中进行目标检测，得到一组检测结果，之后目标 检测模块对运动目标检测单元和显著目标检测单元得出的结果进行合并聚类，得出最终 目标检测结果，即检出的目标位置信息，输出至目标识别模块。

(2)目标识别模块接收到目标位置信息后，从图像中截取目标图像块，利用训练好的卷积神经网络对检出的目标进行分类识别，得到目标的类别信息，与目标位置信息 一同输出至目标跟踪模块。

(3)目标跟踪模块接收来自目标检测模块和目标识别模块的目标位置信息与类别信息，接收到跟踪选定目标的指令后，开始对选定的目标进行精确跟踪。首先，多通道 目标跟踪单元使用不同参数建立三个基本跟踪器，进行基本目标跟踪，每一帧中可计算 得到三个目标跟踪结果，随后，组合决策单元对三个目标跟踪结果进行判别，得到其中 的最优跟踪结果，最后，使用最优目标跟踪结果对得出最优结果的基本跟踪器进行更新， 对其他两个跟踪器进行校正，保持稳定的目标跟踪。

(4)当选定的目标在跟踪过程中丢失时，目标检测模块根据目标跟踪模块反馈的选定目标精确位置，在图像中进行检测，检出候选目标，之后由目标识别模块对各候选 目标的类别进行验证，确定其是否是丢失的目标，若验证成功，则输出结果至目标跟踪 模块，继续对选定的目标进行稳定跟踪；

目标检测模块、目标识别模块与目标跟踪模块紧密配合，共同组成稳定可靠的目标 探测系统。

所述目标检测模块包括运动目标检测单元与显著目标检测单元。其中，运动目标检 测单元负责检出图像中的运动目标，显著目标检测单元负责检出图像中的显著目标，两者检出结果共同组成最终目标检测结果。

如图2所示，运动目标检测单元具体实现如下：

(1)输入两帧图像，两帧图像间隔2帧，对两帧图像进行预处理。对图像进行灰度化，得到灰度图像，记为f_n与f_n+2。

(2)对两幅图像进行第一次粗配准。使用相位相关法进行第一次粗配准，对全局运动状况进行估计，得到整体的偏移分量。

假设f_n+2是f_n平移(x₀,y₀)得到的，即f_n+2(x,y)＝f_n(x+x₀,y+y₀)，根据傅里叶变 换的平移特性，f_n与f_n+2的傅里叶变换结果可表示为：

F_n+2(u,v)＝exp(-2jπ(u×x₀+v×y₀))F_n(u,v)

式中F_n(u,v)为f_n的傅里叶变换结果，F_n+2(u,v)为f_n+2的傅里叶变换结果，j为虚数单位，(u,v)是傅里叶变换后坐标系中的坐标。

其中exp(-2jπ(u×x₀+v×y₀))可表示为两幅图像的互功率谱：

式中F_n+2 ^*(u,v)是F_n+2(u,v)的共轭。

因此对互功率谱进行傅里叶反变换即可在(x₀,y₀)点得到一个尖峰。只需找到这个尖 峰，即可得到两幅图像间粗匹配的结果。将此作为图像整体的偏移分量。整个过程步骤如下：

1)对两幅图像进行傅里叶变换；

2)计算两幅图像傅里叶变换的互功率谱；

3)对互功率谱计算傅里叶反变换；

4)找到傅里叶反变换的尖峰位置，得到两幅图像间粗匹配的结果，作为整体的环境偏移分量。

对两幅图像进行Farneback稠密光流计算，得到图像的光流场d(x)。

对于图像在某个邻域内可以进行多项式展开：

式中x是相对该邻域原点的坐标，A₁,A₂,b₁,b₂,c₁,c₂为多项式展开得到的常数,d为该点的光流矢量。

可以得到：

A₁＝A₂

b₂＝b₁-2A₁d

c₂＝c₁

由此可解得：

可进行以下简化：

A，Δb为计算中间变量，可得到方程：

Ad＝Δb

结合光流在邻域内应稳定的先验知识，得到以下结果：

d(x)＝(∑ωA^TA)^-1∑ωA^TΔb

ω为邻域内的权重因子，d(x)为x位置的光流场。

(4)使用光流场减去粗配准计算得到的偏移分量。

d′(x)＝(v_x(x),v_y(x))＝d(x)-(x₀,y₀)

d′(x)为在x位置减去全局运动向量后的光流,v_x(x)为x位置水平位移，v_y(x)为x位置 垂直位移。

(5)对光流场运动幅度使用一个阈值进行阈值化，得到去除环境偏移的运动目标区域和非运动区域。

每点的运动幅度v(x)定义如下：

将运动幅度大于5像素的点作为前景，小于5像素的作为背景。

(6)进行精配准，对两幅图像进行ORB特征点的提取，各个计算特征点的特征值。ORB特征改良自FAST算法，引入了特征点的方向，是一种极为高效的特征点及特征值 提取算法。

在该步骤中，利用步骤(5)得到的运动区域与非运动区域，滤除运动目标区域的特征点，仅保留背景区域的特征点，对特征点的特征值使用欧氏距离进行特征匹配，选 取欧式距离最小的点作为匹配点对。

在完成匹配后，使用RANSAC算法对匹配点对进行筛选，在RANSAC算法过程中得 到前一帧到后一帧背景部分的透视变换矩阵。

(7)使用得到的透视变换矩阵将前一帧变换到后一帧的坐标系下

u＝x×w

v＝y×w

式中[x,y]为旧坐标系下的坐标，w为固定值1，[x′,y′]为新坐标系下的坐标。 [u,y,w],[u′,y′,w′]为中间参量，表示齐次坐标系下的点坐标。矩阵为透视变换矩阵，过程中使用双线性插值法得到差值结果。

(8)将配准后的两帧图像进行差分。对差分结果进行阈值分割，并使用形态学开运算滤除噪声，得到检测到的二值运动区域。

(9)将二值运动区域结果进行聚类，使用广度优先区域生长算法进行聚类。逐行扫描图像，将未被分类的且分割结果为1的点作为种子点，使用4邻域区域生长法进行广 度优先搜索聚类，将聚类点标记为已分类点，并继续扫描。同时计算每个连续区域的中 心位置。

(10)将中心距离小于60的运动区域合并，并输出最终的结果。

如图3所示，显著目标检测单元的具体实现如下：

(1)对图像进行预处理。对彩色进行灰度化，得到灰度图像，降采样至320x180， 并将灰度图像进行浮点转换。

(2)对浮点图像使用IIR滤波器进行多次带通滤波。使用IIR滤波器进行带通滤波。该带通滤波器由两个低通滤波器差分得到。

数字IIR低通滤波器由正反两次滤波操作构成，并分别对水平方向及竖直方向进行， 正向滤波递推公式如下：

x′_n＝(1-a)×x′_n-1+a×x_n

式中x_n是第n点像素灰度值，x′_n是第n点的正向滤波结果，a为滤波参数。

反向滤波递推公式如下：

x″_n＝(1-a)x″_n+1+a×x′_n

式中x″_n是第n点水平滤波结果输出，其滤波参数a与正向滤波相同。

逐行进行水平方向低通滤波操作后，逐列进行竖直方向低通滤波操作。

两个滤波器具有不同的滤波参数，使两个滤波器低通滤波的截止频率不同，在分别 对图像滤波后作差，得到带通滤波结果。

F_BP＝|b×(F_H-F_L)|

式中，F_H是截止频率较高的低通滤波器滤波结果，F_L是截止频率较低的低通滤波器滤波结果，这里较高指的是相对F_L较高，这里较低指的是相对F_L较高，F_BP是带通滤波器 输出，b为放大因子。

在本发明中，对原始图像进行一次带通滤波，再对滤波结果进一步进行带通滤波得 到最终视觉显著性图。

第一次带通滤波过程中，两个低通滤波器的参数a分别为0.6与0.2，放大因子b为50，得到结果后对结果再进行一次带通滤波，滤波参数分别为0.3与0.1，放大因子b为 1，得到显著性分布。

(3)对带通滤波结果进行分割，使用固定阈值进行二值分割，得到分割结果：

式中t为阈值，阈值通过实验及经验被定为1.0，可根据实际需求调整。

(4)对使用的图像使用开运算操作，用于滤除尺度较小的噪声影响。经过滤波的结果如图3所示。

(5)对分割结果进行聚类，使用广度优先算法进行聚类。逐行扫描图像，将未被分类的且分割结果为1的点作为种子点，使用4邻域区域生长法进行广度优先搜索聚类， 将聚类点标记为已分类点，并继续扫描，得到各目标的中心坐标与外边框。

(6)对步骤(5)得到的各目标依据目标先验知识进行筛选。在筛选处理中，依据 已知的特性，例如：目标大小、目标长宽比等进行筛选，并输出最终的检测结果。本发 明实施例中，使用了如下先验知识：

(1)目标尺寸大于5x5

(2)目标尺寸小于60x60

(3)目标长度大于20时，长宽比应小于4。

依据这三条对结果进行筛选分析，将不符合条件的目标筛除，得到最终的检测结果， 先验信息可根据实际需求调整。

当所述运动目标检测单元与显著目标检测单元检出的目标数之和小于15时，两者目 标检测结果取并集，作为最终目标检测结果，当两者检出的目标数之和大于15时，两者目标检测结果取交集，作为最终目标检测结果。

如图4所示，目标识别模块采用基于卷积神经网络多类目标识别算法，能够实现多个类别的特定目标的识别。在线下使用大量数据进行预训练，能够准确识别多类特定目标，在线运行时，加载训练好的模型，完成目标识别工作。目标识别模块的具体实现如 下：

(1)训练算法：对于卷积神经网络有监督的识别任务，由于事先知道所有图像样本的类别，需要根据其相同图像样本在空间的分布，使得不相同类别的样本分布在不同 的空间区域上。经过长时间训练图像数据集，不断更新卷积神经网络的中参数，得到用 以划分样本空间分类的边界位置来对图像进行分类。卷积神经网络在实质上是一种输入 到输出的映射，根据特定的原则学习出函数映射，该函数将一个输入图像映射到一个维 的特征向量。只要对卷积网络训练，得到网络之间的连接权值，通过激活函数，网络就 会学习到输入输出对之间的映射能力。

训练算法主要分为前向传播阶段和反向传播阶段：

第一阶段，向前传播阶段：将样本集输入到网络，其中表示样本数据，表示样 本标签。通过网络的层次计算，即输入与每层的权值矩阵相点乘，逐层运算后得到相应 的输出值。前向传播阶段时，网络随机初始化网络连接的权值。

第二阶段，反向传播阶段：计算实际输出与相应的理想输出之间的误差，即代价函数值。通过极小化误差的方法反向传播调整权值矩阵。

(2)代价函数：对于网络输出信号h_θ(x)和目标期望信号y，是一个维度为k的向量。神经网络输出和实际值的误差,即损失函数，利用欧式距离进行计算，神经网络的代价函数可表示为：

采用正向传播算法从第一层开始正向一层一层计算，求出每层经过激活函数得到的结果， 直到最后一层。但是为了使整个网络的损失函数值最小，需要不断迭代来更新神经元前面的 参数和偏差。这里用反向传播算法，即通过首先计算最后一层的误差，然后再逐层反向求出 各层的误差，利用得到的残差来对权值和偏置进行更新，从而计算出网络模型的最小损失函 数。

(3)反向传播算法：大部分神经网络模型，都可以使用基于梯度下降法来求解网络的 参数，且在网络训练样本对参数进行更新时，需要使用反向传播算法。第一步,先将网络的 权重参数初始化为一组随机值；第二步，再使用训练数据进行迭代训练。计算神经网络模型 的输出和期望输出之间的误差，即损失函数值，将误差从最后一层向前一层一层传播至输入， 并根据梯度算法更新各层网络的权值，直到满足条件或者超过最大迭代次数而停止。

在反向传播算法应用到卷积神经网络时，算法步骤如下：假设激活函数为sigmoid函数， 神经网络一共有m层，第k层有s^k个神经元，对于第k层的第i个神经元，W_ij表示与之相连的权重系数，则上一层存在s^k-1个权重系数W_i1,W_i2,…,W_ij,…,与之相连，b_i表示偏置。

反向传播算法的执行的步骤如下：

(3.1)对权重系数W_ij随机置初值，输入一个样本(x，y)，其中x表示样本，y表示期望输出；

(3.2)计算每层的输出，对于k层的第i个神经元的输出有：

(激活函数)

(3.3)求各层学习的误差

对于输出层有k＝m，

对其他各层，有

(3.4)根据误差修正权系数W_ij和偏置b_i

其中，表示第k-1层的第_j个输出，t表示迭代次数，η表示学习率，α表示随机梯度动量。

(3.5)当求出了卷积神经网络各层的权值之后，按条件判断是否满足。如果需求满足， 则算法结束；如果未满足，则返回(3.2)执行。

(4)解决方案：目标识别模块的方法流程图如图4所示，具体步骤如下：

(4.1)将所采集到的特定目标的数据集按照类别进行标注，将所有已标注的图像数据集 按照一定比例，即3:1:1分成训练集、验证集、测试集，然后将图像数据集处理为卷积神经 网络模型能够识别的数据类型。

(4.2)构建卷积神经网络模型，如图5所示，前面五层是卷积层，后面两层是全连接层， 最后一层是分类输出层,其中输入层与第一个卷积层之间有4倍降采样，第二个卷积层与第 三个卷积层之间有2倍降采样，第五个卷积层与第一个全连接层之间有2倍降采样。设置训 练参数、训练方法，例如：最大迭代次数、学习率、测试频率，反向传播方法等,开始训练 此模型。根据训练损失函数变化情况，得到此时的最优解。当训练集的损失函数(Loss)下 降缓慢(变化幅度小于0.001)，而验证集的损失函数(Loss)趋于上升的临界点时，网络参 数达到全局最优，保存此时训练得到的卷积神经网络模型参数。

(4.3)在卷积神经网络模型的结构上，适当增加或者减少卷积神经网络模型的卷积层数 (增加或减少层数不超过两层)，重新开始训练，当卷积神经网络模型识别的准确率达到最 高时，说明此卷积神经网络模型比较适应目前的数据集大小，保留此时的卷积神经网络模型 结构及参数。

(4.4)利用(3)获得的卷积神经网络模型，对测试集进行测试，得到识别准确率，当识别准确率满足实际工程需要，此卷积神经网络模型可应用到实际识别任务当中，若不满足， 则说明训练数据集不能满足实际工程需要，则需要扩大数据集，重新开始(1)(2)(3)步骤。

所述目标跟踪模块包括多通道目标跟踪单元和组合决策单元。多通道目标跟踪单元包括 三个基于多通道图像特征的目标跟踪算法构建的基本跟踪器，每个基本跟踪器采用不同的参 数进行设置，以分别应对不同的场景达到最佳效果，产生跟踪失败的概率大幅降低。组合决 策单元对多通道目标跟踪单元的三个基本跟踪器输出的三个目标跟踪结果进行分析和聚类， 得到最优目标跟踪结果，同时，利用最优结果来更新得出最优结果的跟踪器，并对其他两个 跟踪器进行校正，以保持稳定可靠的目标跟踪。

所述基于多通道图像特征的基本跟踪器的构建过程如下：

利用相关滤波的基本概念，计算各特征量在前后两帧图像中目标区域的相关性。其 中对于二维连续信号和离散信号相关性计算分别为：

其中f(τ,σ)和g(τ,σ)是一般二维连续信号，f(a,b)和g(a,b)是一般二维离散信号。

相关滤波则是找出相关性响应值最大的地方，但是在时域范围下进行卷积计算所耗 费的时间较长，所以需要转换到频域下进行快速计算，通过快速傅里叶变化后卷积计算转化为点乘运算，从很大程度上降低了计算量，二维连续信号在傅里叶变化下计算形式为：

H(τ,σ)＝F(t,s)*G(t+τ,s+σ)

其中F(t,s)和G(t+τ,s+σ)为二维连续信号通过傅里叶变换后的结果，H(τ,σ)为两个二维连续信号卷积计算的结果。

采用三种特征量描述目标跟踪过程，各特征量利用上式的原理，在频域下计算前后 两帧图像中目标可能所在位置的相关度，可以节省计算量，从而加快计算速度。

如图6、7所示，本发明多通道目标跟踪单元具体实现步骤如下：

(1)初始化各系数和目标特征模型

在第一帧图像中首先初始化选定目标区域，设目标区域矩阵为T：

其中a_ij为目标区域的图像各个像素值。

根据经验初始化设定MPR阈值为U＝0.8，初始化三种特征向量的权值系数分别为：HOG特征权值：CN特征权值：角点特征权值：

设第一帧中目标特征模型初始化为：

M₀＝λ₁H_hog+λ₂H_cn+λ₃H_con

(2)扩展目标区域，利用循环矩阵密集采样

一般在目标区域附近采集与目标相同大小的样本都是随机采样，这样会导致样本之 间很大概率存在大面积重叠，导致之后的计算量巨大。根据相关滤波的计算原理，可以采用循环矩阵对目标区域循环移位采样，从而可以得到大量的图像块，这个过程可以用 置换矩阵P来实现，P矩阵如下所示：

对于步骤(1)中初始化的目标区域T而言，左乘一次置换矩阵P即PT表示整体 像素值循环右移一次，而右乘一次置换矩阵P即TP表示整体像素值循环下移一次。所以 PⁱTP^j表示对目标区域右移i次后再下移j次得到的采样结果，因此可以通过循环移位得 到大量的图像块区域。通过循环移位所得的图像块具有循环矩阵的特性，对各特征量做 卷积计算在傅里叶变换后可以变为点乘计算，这能够大大降低计算量，快速得到各图像 块的相关度。

(3)计算各特征量的响应值，归一化响应峰值

本发明采用HOG特征、CN特征和角点特征三种通道融合的机制。

提取HOG特征的主要步骤是：第一步对图像归一化，极大限度上克服光照的影响；第二步是利用一阶微分计算灰度梯度，一般是由8×8个像素为一个胞组，3×3个胞组为 一个快，对每个胞组统计其梯度方向，并在9个方向上加权投影即可得到一个权值向量， 将9个胞组向量串联，对于若干个块而言则可得到若干个这样的向量，形成的就是HOG 特征H_hog。

提取CN特征的过程主要是将颜色域作为描述子，将图像RGB值与语义标签进行 对应，赋给某块图像区域z₁的颜色标签的概率，形成一个1×n维向量：

z₁＝{P₁,P₂,…,P_n}

其中n为描述颜色的语义标签数，P_i代表该图像区域对应每一块标签的概率值。对于整 个图像块T而言可以分解为m个图像区域z_i，则对于整个T的CN特征H_cn表示为：

H_cn＝[z₁z₂…z_m]^T

对于角点特征本发明采用的是Harri角点，它是由图像中一些几何结构的关节点构 成，基本上都是线条之间产生的交点，它的基本原理是计算图像中每点与周围点变化率的平均值R：

R＝∑(I(x+u,y+v)-I(x,y))²

其中I(x+u,y+v)代表了点(x,y)邻域点的灰度值，通过变化可以将上式变化为一

个协方差矩阵求角点特征值H_con的问题：

H_con＝dst(x,y)＝detM^(x,y)-k*(trM^(x,y))²

通过以上步骤就可以分别从图像块中提取三种特征量，并与上一帧图像中建立的目 标特征模型进行相关度计算，得到每种特征量的响应图，因为在图像块上存在许多干扰项，所以一般的特征响应图存在一个最大峰值与若干个局部小峰值，为了尽可能减少其 他峰值的影响，需要对响应图进行归一化处理：

其中Peak_i表示特征响应图中的峰值，Peak_i′为归一化后的峰值，Tanh()函数为双曲正 切函数，通过映射可以拉伸极大值与其他值之间的距离，从而突出响应的最大峰值，抑 制其他若干个小峰值的干扰。

然后统计三种特征量分别对应的最大响应分别为：

{Peak_hog,Peak_cn,Peak_con}

(4)融合各特征量响应图，找到最大响应峰值

利用(1)中初始化的权值系数或(6)中更新的权值系数，对(3)中三个通道的 特征响应图进行线性加权融合，在最终的响应图中找到最大响应峰值为Peak_max，则可以 确定当前帧中最大响应峰值处即为目标出现的位置中心，因此就可以利用多通道融合的 办法完成目标跟踪。

(5)计算MPR值，决定是否对目标区域进行更新

通过(4)中所得的最大响应峰值Peak_max和(3)中所得的三种特征量分别对应的最大响应值进行比值计算，得到新的MPR值：

然后对所得的MPR值进行判断，若大于初始阈值则对模型进行更新，若小于阈值则不 更新：

其中M_new为当前帧更新后的目标模型，M_pre为上一帧的目标模型，M为最终选取 的目标模型。

(6)更新权值系数

若(5)中的目标特征模型已经完成更新，则利用固定的学习因子系数α＝0.2重新更 新每个特征量的权值系数。具体计算过程首先得到各特征量前后两帧的权值系数误差：

其中Diff_hog、Diff_cn、Diff_con为各个特征量的MPR值与权值系数的差值，λ_{pre_hog}、λ_{pre_cn}、 λ_{pre_con}为上一帧中各个特征量对应的权值系数。

然后结合权值系数误差与前一帧的权值系数λ_pre，计算更新后的权值系数：

λ_{new_hog}、λ_{new_cn}、λ_{new_con}为当前帧中更新后的权值系数。

至此就完成了基于多通道图像特征的基本跟踪器的构建。完成了在当前帧中确定目 标所在位置和更新模型及参数的所有操作。

所述组合决策单元对各基本跟踪器的输出进行决策和判别，根据累积损失函数确定 最优决策结果，每个决策结果在每一帧中可以计算得到一个损失函数表示在第n帧中基本跟踪器D的目标跟踪结果的损失函数，本发明采用累积损失函数法提升决策判断 的准确性，判断最优决策结果：

其中为基本跟踪器D的损失函数，这里D∈D₀～D₂，D^*为得出最优结果的基本跟踪器，Δn为累积损失函数的时间窗长度。在目标跟踪过程中，组合三个基本跟踪器的目 标跟踪结果，选择其中最优结果作为输出，并利用最优结果，修正更新产生次优结果的 基本跟踪器，纠正其运行过程中引入的错误信息，使其后续能够得出更精确的目标跟踪 结果，实现稳定准确的目标跟踪。

图8、图9、图10、图11分别是本发明中目标检测模块、目标识别模块与目标跟踪 模块的实验效果图，检测结果显示，目标检测模块能够准确地用检测框将各个物体框出， 很少有误检区域；目标识别模块能够准确的识别出特定目标的类别；目标跟踪模块能够 能够很好的应对目标被局部遮挡和目标外形发生严重变化的场景，目标被完全遮挡又重 新出现后，系统各个模块可以协作找回目标，保持对目标的稳定跟踪。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的 范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应 涵盖在本发明的范围之内。

Claims (18)

1.一种基于自适应组合滤波与多级检测的目标探测系统，其特征在于：包括目标检测模块、目标识别模块、目标跟踪模块；输入为图像数据和控制指令，图像数据和控制指令同时输入各个模块；

所述目标检测模块有两个功能，首先是根据输入的图像数据以及控制指令，检测图像中存在的目标，其次是当目标跟踪模块发生跟踪失败时，根据目标跟踪模块反馈的精确目标位置信息，在图像中局部区域进行更精确的目标检测，检出候选目标，协助目标跟踪模块完成选定目标的重新找回；所述目标检测模块包括：运动目标检测单元与显著目标检测单元；运动目标检测单元通过光流法对相邻帧间图像中背景运动进行估计和配准，检测出图像中的运动目标；运动目标检测单元只能检出图像中的运动目标，显著目标检测单元能够检出图像中静止的显著目标；显著目标检测单元采用一组自适应的滤波器，首先将图像数据变倍到特定尺寸，转换为浮点图像数据，然后使用组合滤波器滤除背景区域的波段，留下显著目标的波段，然后对结果进行分割和形态学处理，之后进行筛选，检测出图像中静止的显著目标；最终目标检测模块将上述运动目标检测单元与显著目标检测单元得到的目标检测结果进行合并，降低误检、漏检率，得到最终目标检测结果即目标位置信息，输出至目标识别模块；

所述目标识别模块有两个功能，首先是根据输入的图像数据以及目标检测模块输出的目标位置信息，分类判别图像中检出的目标的类别，其次是当目标跟踪模块发生跟踪失败时，根据目标跟踪模块反馈的目标类别信息，判断目标检测模块检出的候选目标类别是否与选定目标类别一致，协助目标跟踪模块完成选定目标的重新找回；所述目标识别模块采用基于卷积神经网络的多类目标识别算法，首先使用通用数据集并采集待识别的特定目标的数据集，按照类别进行标注，将数据集分为训练集、验证集和测试集，然后构建目标识别卷积神经网络模型，对神经网络进行训练，直到模型识别准确率满足工程需要为止，训练好的模型能够实现多个类别的特定目标的识别；目标识别模块接收来自外部的图像数据、控制指令与目标检测模块输出的目标检测结果，利用卷积神经网络对目标检测模块检测出的目标进行分类识别，输出目标的类别信息和从目标检测模块得到的目标位置信息至目标跟踪模块；

所述目标跟踪模块包括：多通道目标跟踪单元与组合决策单元；多通道目标跟踪单元的输入是图像数据、目标检测模块的检测结果，目标识别模块的识别结果，以及选定要跟踪的目标的控制指令；接收到开始跟踪选定目标的指令后，多通道目标跟踪单元使用初始帧的图像数据，以及初始帧中选定目标的位置，构建三个基于多通道图像特征的目标跟踪算法的基本跟踪器，每个基本跟踪器采用不同的参数进行设置，以分别应对不同的场景达到最佳目标跟踪效果，三个基本跟踪器同时发生跟踪失败的概率极低；基本跟踪器中采用HOG特征、CN特征和角点特征3个通道加权融合构建目标特征模型，每种特征通过傅里叶变换转换到频域计算相关度，将卷积运算转化为点乘运算，从而减小计算量，加快计算速度；采用最大峰值比(MPR)判断目标特征模型权值系数是否需要更新，利用在线学习，选用固定学习因子对权值系数进行更新，完成目标模型更新过程；组合决策单元的输入为多通道目标跟踪单元的三个基本跟踪器输出的三个目标跟踪结果，组合决策单元根据每个目标跟踪结果的累积损失函数，进行判断，选择其中的最优结果，作为最终目标跟踪结果输出；同时，利用最优结果来更新得出最优结果的跟踪器，并对其他两个跟踪器进行校正，以保持稳定可靠的目标跟踪；同时目标跟踪模块会将选定目标的精确位置信息和类别信息反馈至目标检测模块与目标识别模块，以便在发生跟踪失败时，目标检测单元与目标识别单元协助目标跟踪单元，完成选定目标重新找回的工作，找回选定目标后，继续对其进行稳定跟踪。

2.根据权利要求1所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：所述目标检测模块中，运动目标检测单元基于光流法对相邻帧间图像中背景运动进行估计和配准，来检测图像中的运动目标，包括以下步骤：

(1)对输入的相邻两帧图像进行预处理；

(2)粗校准两帧图像，计算得到整体环境偏移分量；

(3)计算所述两帧图像的光流场；

(4)利用光流场减去整体环境偏移分量，得到光流场运动幅度；

(5)利用设定阈值将光流场运动幅度阈值化，得到去除整体环境偏移分量的运动目标区域和非运动区域；

(6)精配准两帧图像，并计算前一帧图像到后一帧图像的透视变换矩阵；

(7)利用透视变换矩阵将前一帧图像变换到后一帧图像的坐标系下；

(8)对步骤(7)处理得到的两帧图像进行差分，对差分得到的结果进行阈值分割，并使用形态学运算滤除噪声，得到多个连续运动目标区域；

(9)对多个连续运动目标区域聚类，得到区域的中心坐标；

(10)将中心坐标之间距离小于设定阈值的连续运动目标区域合并输出，得到检测到的运动目标。

3.根据权利要求2所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：在步骤(2)中，使用相位相关法粗校准所述两帧图像，得到整体的环境偏移分量，首先对两幅图像进行傅里叶变换，计算两幅图像傅里叶变换的互功率谱，然后计算互功率谱的傅里叶反变换，找到傅里叶反变换尖峰，得到两幅图像间粗匹配的结果，作为整体的环境偏移分量。

4.根据权利要求2所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：在步骤(3)中，使用Farneback稠密光流算法计算所述两帧图像的光流场，或光流算法根据任务需要进行更换。

5.根据权利要求2所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：在步骤(6)中精配准两帧图像，并计算前一帧图像到后一帧图像的透视变换矩阵的实现过程为：首先对所述两帧图像进行改良自FAST算法的ORB特征点的提取，各个计算特征点的特征值，利用所述运动目标区域与非运动区域，滤除所述图像运动目标区域的特征点，保留所述图像非运动区域的特征点，对特征点的特征值使用欧氏距离进行特征匹配，选取欧式距离最小的点作为匹配点对，进而实现精匹配，ORB特征可根据需要更换为其他特征点检测算法；然后使用RANSAC算法筛选匹配点对，进而得到前一帧到后一帧背景部分的透视变换矩阵。

6.根据权利要求1所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：所述目标检测模块中，显著目标检测单元利用自适应的组合滤波器对图像中的显著目标进行检测，包括以下步骤：

(1)对原始图像进行预处理，将所述原始图像变倍到设定尺寸，并进行浮点转换，得到浮点图像；

(2)对浮点图像使用IIR滤波器进行两级带通滤波；

(3)对带通滤波结果进行分割，得到分割结果；

(4)对所述分割结果进行形态学处理，剔除噪声影响点；

(5)对形态学处理后的结果进行聚类，得到聚类结果；

(6)对聚类结果依据目标先验知识进行筛选，在筛选处理中，依据已知的特性进行筛选，并得到最终的检测结果；

(7)根据每一帧中检测出的显著目标的数量、尺寸、与图像的灰度分布信息，对滤波器参数进行自适应调整。

7.根据权利要求6所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：所述步骤(2)中，使用两级数字IIR滤波器进行带通滤波，带通滤波器由两个低通滤波器差分得到，数字IIR低通滤波器由正反两次滤波操作构成，并分别对水平方向及竖直方向进行，低通滤波器的正向滤波递推公式如下：

x′_n＝(1-a)×x′_n-1+a×x_n

式中x_n是第n点像素灰度值，x′_n是第n点的正向滤波结果，a为滤波参数；

反向滤波递推公式如下：

x″_n＝(1-a)x″_n+1+a×x′_n

构建两个自适应的带通滤波器，根据不同场景调整滤波参数，对浮点图像进行两级带通滤波，得到滤除背景频段信息，得到滤波结果。

8.根据权利要求7所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：初始一级带通滤波参数a的值分别为0.6与0.2，初始二级带通滤波参数a的值分别为0.3与0.1，可根据实际应用场景进行自适应调整，学习率为0.01。

9.根据权利要求1所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：所述目标识别模块中，基于卷积神经网络多类目标识别算法，包括以下步骤：

(1)使用现有通用数据集，并采集想要识别的特定目标图像数据集作为补充，按照类别进行标注，并按照已标注的数据集分成训练集、验证集、测试集，最后处理成卷积神经网络模型能够识别的数据类型；

(2)构建识别卷积神经网络模型，设置最大迭代次数、学习率、测试频率，选择反向传播方法，根据上述设置和选择开始训练，然后根据训练损失函数变化情况，得到得到参数最优解的卷积神经网络模型,此卷积神经网络模型的识别准确率高；

(3)在卷积神经网络模型的结构上，增加或者减少卷积层数，重新开始步骤(2)的训练，当训练卷积神经网络模型的识别的准确率达到最高时，说明此训练的卷积神经网络模型适应目前的数据集大小，保留此时的训练得到卷积神经网络模型的结构及参数；

(4)利用(3)获得的卷积神经网络模型，对测试集进行测试，得到识别准确率，对识别准确率进行判断，如果识别准确率能够满足实际工程需要，则所述的卷积神经网络模型能够应用到实际的目标识别的任务中；若不满足，则说明训练集不能满足实际工程需要，需要扩大训练集，重新开始步骤(1)(2)(3)，直至满足实际工程需要为止。

10.根据权利要求9所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：步骤(2)中，得到参数最优解的卷积神经网络模型的方法为：当训练集的损失函数Loss下降幅度不超过设定值0.001时，而验证集的损失函数Loss趋于上升的临界点时，即获得参数最优解的卷积神经网络模型。

11.根据权利要求9所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：步骤(2)中，识别卷积神经网络模型为5个卷积层，加上三个全连接层。

12.根据权利要求9所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：步骤(3)中增加或减少层数不超过两层。

13.根据权利要求1所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：所述多通道目标跟踪单元采用基于多通道图像特征的目标跟踪算法，构建每一个基本跟踪器，包括以下步骤：

(1)在开始跟踪的第一帧图像，提取选定目标所在区域，并初始化最大峰值比MPR的阈值，同时初始化三个特征融合的权值系数，并根据初始化的三个特征融合权值系数，线性求和融合成目标初始模型，完成构建目标多通道特征融合模型的过程；所述三个特征分别为HOG特征、CN特征和角点特征；

(2)在下一帧图像中，以步骤(1)中所确定目标所在区域的位置中心周围，以固定系数扩展目标区域，密集采样得到20至30个图像块；

(3)在步骤(2)采集的图像块中提取HOG、CN和角点特征，分别进行高速相关滤波计算，所述高速相关滤波具体操作是将时域下两个矩阵相关度的计算过程，通过快速傅里叶变换到频域后，进行点积运算快速得到结果；统计三个特征的计算结果，形成各自对应的滤波响应图，统计每个滤波响应图中的响应峰值，并对三个特征的响应峰值进行归一化处理；再使用步骤(1)中初始化的权值系数对HOG、CN和角点特征的响应图加权融合为最终响应图，找到融合后的最大峰值处即可确定目标最终所在位置；然后在所得的最终响应图中以最大峰值为基数，计算各特征量的响应峰值与最大峰值的比值，用初始化MPR阈值对所述的比值进行比较，若大于初始化MPR阈值，则对目标多通道特征融合模型进行更新，反之则不更新；实施更新过程，则利用所得到的比值，在固定的学习因子系数下重新分配各特征量所对应的归一化系数，完成三个特征的权值系数的自适应更新过程，并将更新后的目标多通道特征融合模型和三个特征的权值系数传递给再下一帧图像继续目标跟踪，最终完成目标跟踪任务。

14.根据权利要求13所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：所述步骤(1)中，构建目标多通道特征融合模型的过程具体为：初始化三个特征量的权值系数分别为按照此系数将三个特征融合，即构建整个目标多通道特征融合模型为M₀＝λ₁H_hog+λ₂H_cn+λ₃H_con

其中M₀表示初始目标模型，H_hog，H_cn，H_con分别表示HOG、CN和角点特征。

15.根据权利要求13所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：所述步骤(2)中，采样得到图像块采集方法为循环移位采样，所述循环移位采样公式为：

T_(i,j)＝PⁱTP^j

其中T_(i,j)表示图像块T右移i次后再下移j次得到的循环图像块，P表示循环单位。

16.根据权利要求13所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：所述步骤(3)中，具体实现为：

(31)对图像块分别提取HOG、CN和角点特征，并转换到频域中，计算与初始图像各特征的相关度，得到三个特征的响应图，统计三个特征的响应图中的响应峰值Peak_hog，Peak_cn，Peak_con，并对每个特征响应图中的所有响应峰值进行归一化：

其中Peak_i为若干个响应峰值，Peak′_i为归一化后的响应峰值大小，Tanh()为双曲正切函数，μ为平移因子，取值为0.5；

(32)将所得的三个特征响应图加权融合为一张最终响应图，在最终响应图中找到最大峰值为Peak_max，则确定当前帧中最大峰值处即为目标出现的位置中心；

(33)使用所得的Peak_max计算MPR值，决定是否对目标区域进行更新：

然后对所得的MPR值进行判断，若大于初始化MPR阈值，则对目标多通道特征融合模型和特征的权值系数进行更新，若小于初始化MPR阈值，则不更新；

(34)若步骤(33)判断结果需要对目标多通道特征融合模型和特征的权值系数进行更新，更新的策略采用自适应加权融合，是一种基于MPR实时调整各特征融合系数的策略，首先由步骤(33)统计各特征响应的峰值并计算MPR值进行比较，某个特征所得的MPR值最大，则说明该某个特征在确定目标位置的过程中占主导地位，当超过固定阈值0.5时，则按各个特征的MPR值的比例修改目标模型中的三个权值系数，则利用固定的学习因子系数重新更新每个特征量的权值系数，具体计算过程首先得到各特征前后两帧的权值系数误差；

Diff表示各特征的权值误差，λ_pre表示前一帧的权值系数；

然后结合权值系数误差与前一帧的权值系数，计算更新后的权值系数：

其中λ_new表示当前帧中更新后的权值系数；

再利用更新后的权值系数对目标多通道特征融合模型进行更新：

M_new＝λ_{new_hog}H_hog+λ_{new_cn}H_cn+λ_{new_con}H_con

其中M_new为更新后的模型，H_hog、H_cn、H_con为当前帧中提取的特征。

17.根据权利要求1所述的基于自适应组合滤波与多级检测的目标探测系统，其特征在于：所述组合决策单元对输入的三个基本跟踪器的目标跟踪结果，组合决策单元根据每个目标跟踪结果的累积损失函数，进行判断，选择其中的最优结果，作为最终目标跟踪结果输出；同时利用最优结果来更新得出最优结果的跟踪器，并对其他两个跟踪器进行校正，以保持稳定可靠的目标跟踪；计算累积损失函数的过程如下：每个目标跟踪结果在每一帧中计算得到一个损失函数表示在第n帧中基本跟踪器D的目标跟踪结果的损失函数，采用累积损失函数法提升决策判断的准确性，判断最优目标跟踪结果：

其中，D^*为得出最优结果的基本跟踪器，Δn为累积损失函数的时间窗长度。

18.一种基于自适应组合滤波与多级检测的目标探测方法，其特征在于：步骤如下：

(1)图像数据和控制指令首先输入目标检测模块，目标检测模块中的运动目标检测单元和显著目标检测单元分别在图像中进行目标检测，得到一组检测结果，之后目标检测模块对运动目标检测单元和显著目标检测单元得出的结果进行合并聚类，得出最终目标检测结果，即检出的目标位置信息，输出至目标识别模块；

(2)目标识别模块接收到目标位置信息后，从图像中截取目标图像块，利用训练好的卷积神经网络对检出的目标进行分类识别，得到目标的类别信息，与目标位置信息一同输出至目标跟踪模块；

(3)目标跟踪模块接收来自目标检测模块和目标识别模块的目标位置信息与类别信息，接收到跟踪选定目标的指令后，开始对选定的目标进行精确跟踪，首先，多通道目标跟踪单元使用不同参数建立三个基本跟踪器，进行基本目标跟踪，每一帧中可计算得到三个目标跟踪结果，随后，组合决策单元对三个目标跟踪结果进行判别，得到其中的最优跟踪结果，最后，使用最优目标跟踪结果对得出最优结果的基本跟踪器进行更新，对其他两个跟踪器进行校正，保持稳定的目标跟踪；

(4)当选定的目标在跟踪过程中丢失时，目标检测模块根据目标跟踪模块反馈的选定目标精确位置，在图像中进行检测，检出候选目标，之后由目标识别模块对各候选目标的类别进行验证，确定其是否是丢失的目标，若验证成功，则输出结果至目标跟踪模块，继续对选定的目标进行稳定跟踪；

目标检测模块、目标识别模块与目标跟踪模块紧密配合，共同组成稳定可靠的目标探测系统。