CN108664935A - 基于cuda的深度时空信息融合的目标跟踪方法及系统 - Google Patents

Abstract

本发明公开了基于CUDA的深度时空信息融合的目标跟踪方法，包括以下步骤：通过图像采集装置获取图像帧，以相邻的两个图像帧中前一图像帧为匹配模板并传送至控制平台；通过基于CUDA的控制平台对匹配模板和后一帧图像进行检测，获取移动目标；控制平台对移动目标采用深度时空信息融合进行识别跟踪。本发明还公开了基于CUDA的深度时空信息融合的目标跟踪系统。本发明利用距离均值和匹配模板来重新定义移动事件，过滤噪声和其他干扰元素；利用图像帧间信息相关性特征，以及目标与周围环境存在的时空联系，得到精确的跟踪效果；本发明采用了GPU资源对系统进行加速处理，提高跟踪系统的运算速度。

Description

基于CUDA的深度时空信息融合的目标跟踪方法及系统

技术领域

本发明涉及移动目标跟踪技术领域，具体涉及到基于CUDA的深度时空信息融合的目标跟踪方法及系统。

背景技术

移动目标跟踪是计算机视觉领域上的一个研究热点，目标跟踪技术在无人机，制导导弹，视频监控，无人驾驶等诸多领域都具有重要应用。由于目标跟踪系统具有应用性较强的特点，许多应用场景对目标跟踪系统的准确性和稳定性具有较高要求。在一些复杂条件下，例如场景中出现障碍物遮挡，光照变化，雨雾天气等情况，会极大地影响目标跟踪系统的性能，例如基于颜色直方图粒子滤波的移动目标跟踪系统对光照变化非常敏感，当光照强度明显变化时会降低该系统的目标跟踪精度。例如基于高斯匹配模型的跟踪系统需要在跟踪过程中不断更新模型，当出现目标出现遮挡及姿态变化时，容易导致跟踪中断。

在移动目标跟踪系统的设计上，为了减少系统的复杂性并降低跟踪误差，需要先进行移动目标检测，即将移动目标从场景中提取出来。当提取出移动目标后，只需从移动目标中识别出目标并进行跟踪，不再需要对背景和其他静态对象进行处理，减少了系统的运算工作量和复杂度。传统的差分和阈值方法在检测移动目标时，是通过监控图像当前帧与前一帧进行匹配，这两帧图像不同的地方会在当前帧图像产生白色像素，并且预先指定了一个阈值，当白色像素的数量大于阈值时，会把它指示为一个移动事件。该方法具有较低的复杂度，并且通过前后帧匹配过滤静态背景的方式可以忽略光照影响，有效地进行移动目标检测。然而，如果存在图像噪声和一些干扰的移动元素，例如落叶等移动物体，采用传统的差分阈值法会将它们检测为移动目标，会对后续的目标跟踪处理带来更多的困难。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供基于CUDA的深度时空信息融合的目标跟踪方法及系统。

本发明解决其技术问题所采用的技术方案是：

基于CUDA的深度时空信息融合的目标跟踪方法，其特征在于，包括以下步骤：

通过图像采集装置获取图像帧，以相邻的两个图像帧中前一图像帧为匹配模板并传送至控制平台；

通过基于CUDA的控制平台对匹配模板和后一帧图像进行检测，获取移动目标；

控制平台对移动目标采用深度时空信息融合进行识别跟踪。

进一步的，通过基于CUDA的控制平台对匹配模板和后一帧图像进行检测，获取移动目标，具体包括：对匹配模板和后一帧图像上的移动目标构成的像素进行检测并分簇，计算每个簇中心点位置及每个簇中各像素点到簇中心点的距离均值；对每个簇进行标识。

进一步的，所述计算每个簇中心点位置及每个簇中各像素点得到簇中心点的距离均值，具体为：

设簇j(j∈N)有m个像素点，像素点x_i(i＝1,…m)的重量为g(x_i)，建立有关x_i的函数w(c_j|x_i)，w(c_j|x_i)表示x_i以c_j作为簇中心所构成的像素点集群；

计算该簇中心点c_j的位置：

计算簇j的像素点与中心像素点c_j的距离均值

进一步的，所述对移动目标采用深度时空信息融合进行识别跟踪，具体为：

通过CUDA对匹配模板采用反卷积系统建立时空信息模型，对后一帧图像采用卷积计算置信图，实现对移动目标的识别跟踪。

进一步的，通过CUDA所述对匹配模板采用反卷积系统建立时空信息模型，对后一帧图像采用卷积计算置信图；具体为：

首先，定义目标的特征信息集Ω，主要采用目标的外形及位置信息，得到：

Ω＝{l(x,y)＝(I(x,y),(x,y))|(x,y)∈Ψ}；

(x,y)表示该目标对象在图像中的位置信息，I(x,y)表示目标灰度值，Ψ表示目标与周围环境相关的上下文区域；

其次，根据特征信息集，采用贝叶斯概率的方法进行目标定位，估计置信图函数：

P(l(x,y))＝∑_l(x,y)∈ΩH((x,y)-(x,y)^*)P(l(x,y)|o)；

通过置信图函数建立起帧间的相关性联系；

其中，P(l(x,y)|o)表示上下文先验概率，H((x,y)-(x,y)^*)表示帧间目标位置之间的相对距离与方向函数；

置信图函数结合当前帧目标的特征信息，得到时空信息模型:

再利用傅里叶变换进行卷积运算，求得：

而下一帧的目标位置通过置信图的极大值进行确定:

最后采用比例更新方案来对当前帧目标的尺寸进行修正：

m表示用于修正的帧数。

进一步的，所述控制平台采用基于GPU+ARM架构的Jetson人工智能计算模块，所述图像采集装置采用型号为RER-1MP2CAM002-V90的双目摄像头。

基于CUDA的深度时空信息融合的目标跟踪系统，其特征在于，包括：

摄像头、红外传感器模块、数传模块、控制平台、PWM驱动模块、九轴传感器、底盘驱动电机和供电模块；

所述红外传感器模块和摄像头的输出端与控制平台连接，所述控制平台的输出端连接九轴传感器、数传模块和PWM驱动模块，所述PWM驱动模块的输出端连接底盘驱动电机；

所述供电模块为红外传感器、摄像头、数传模块、控制平台、PWM驱动模块、九轴传感器和底盘驱动电机供电。

进一步的，控制平台采用基于GPU+ARM架构的Jetson人工智能计算模块。

进一步的，所述摄像头采用型号为RER-1MP2CAM002-V90的双目摄像头。

进一步的，所述人体红外感应模块的型号为HC-SR501，九轴传感器的型号为MPU9250，数传模块采用ESP8266WIFI芯片，底盘驱动电机采用L298P两路大功率电机芯片。

本发明的有益效果：

本发明提出了一种基于CUDA库的深度时空信息融合的移动目标跟踪方法，主要包括对移动目标检测和目标跟踪，在移动目标检测上采用分簇差分阈值与匹配模型结合的方法，通过将差分阈值法检测后的移动事件划分为簇，利用距离均值和匹配模板来重新定义移动事件，过滤噪声和其他干扰元素；利用图像帧间信息相关性特征，以及目标与周围环境存在的时空联系，采用反卷积系统建立一个时空信息模型，下一帧通过卷积计算出置信图，基于估计的置信图提出合适的比例更新方案在当前帧进行目标尺寸修正，得到精确的跟踪效果；本发明采用了GPU资源对系统进行加速处理，跟踪系统的GPU加速基于CUDA框架来实现，提高跟踪系统的运算速度。

附图说明

图1为本发明提出的基于CUDA的深度时空信息融合的目标跟踪方法流程图；

图2为本发明提出的基于CUDA的深度时空信息融合的目标跟踪系统结构图。

图3为本发明提出的基于CUDA的GPU加速流程图。

具体实施方式

下面结合附图及实施例描述本发明具体实施方式：

参见图1，为本发明提出的基于CUDA的深度时空信息融合的目标跟踪方法流程图。

如图1所示，基于CUDA的深度时空信息融合的目标跟踪方法，其特征在于，包括以下步骤：

通过图像采集装置获取图像帧，以相邻的两个图像帧中前一图像帧为匹配模板并传送至控制平台；

通过基于CUDA的控制平台对匹配模板和后一帧图像进行检测，获取移动目标；

控制平台对移动目标采用深度时空信息融合进行识别跟踪。

进一步的，通过基于CUDA的控制平台对匹配模板和后一帧图像进行检测，获取移动目标，具体包括：对匹配模板和后一帧图像上的移动目标构成的像素进行检测并分簇，计算每个簇中心点位置及每个簇中各像素点到簇中心点的距离均值；对每个簇进行标识。

本发明实施例中，通过采用分簇检测的方法，使得在检测移动目标(移动车辆)的过程中，有效过滤噪声及其他干扰的移动元素。考虑到每一帧上的图像噪声都具有随机分布性，即前后帧的噪声像素点的分布基本无规律可寻。而车辆在移动过程中形状不会发生变化，即前后帧的移动车辆上的像素点与中心像素点的距离均值相同。

具体检测过程为：以前一帧图像为匹配模板，通过差分阈值法在后一帧图像中得到了白色像素，假设这些白色像素组成了N个簇，设簇j(j∈N)有m个像素点，像素点x_i(i＝1,…m)的重量为g(x_i)，建立有关x_i的函数w(c_j|x_i)，w(c_j|x_i)表示x_i以c_j作为簇中心所构成的像素点集群；

计算该簇中心点c_j的位置：

计算簇j的像素点与中心像素点c_j的距离均值

由于移动车辆在前后帧图像上的位置不相同，因此在进行匹配时该车辆区域所形成的白色像素点会得到两个簇，这两个簇的距离均值非常相近，可以示为一个移动事件。而噪声在前后帧所形成的白色像素点并不规律，簇的距离均值不相同，因此可以从移动事件中排出，对于白色像素点较少的噪声，在不利于距离均值计算的条件下，可以采用设定阈值的方法直接排除，当簇的白色像素点少于阈值T，则忽略这些簇，通过对阈值T的合理设定，还可以过滤掉例如落叶等较小的移动干扰元素。

当系统提取帧图像中的移动目标后，接下来对移动目标进行识别跟踪。采用深度时空信息融合的目标跟踪方法可以解决由于单独从移动目标身上获取信息来实现识别追踪存在的难度，当目标存在遮挡现象时也不容易造成跟踪中断。利用图像帧间信息相关性特征，以及目标与周围环境存在的时空联系，采用反卷积系统建立一个时空信息模型，下一帧通过卷积计算出置信图，基于估计的置信图提出合适的比例更新方案在当前帧进行目标尺寸修正，得到较为精确的跟踪效果。

本发明实施例采用深度时空信息融合对移动目标进行识别跟踪，具体为：通过CUDA对匹配模板采用反卷积系统建立时空信息模型，对后一帧图像采用卷积计算置信图，实现对移动目标的识别跟踪。

其中，通过CUDA所述对匹配模板采用反卷积系统建立时空信息模型，对后一帧图像采用卷积计算置信图；具体为：

首先定义目标的特征信息集Ω，主要采用目标的外形及位置信息，得到：

Ω＝{l(x,y)＝(I(x,y),(x,y))|(x,y)∈Ψ}；

(x,y)表示该目标对象在图像中的位置信息，I(x,y)表示目标灰度值，Ψ表示目标与周围环境相关的上下文区域；

接着根据特征信息集，采用贝叶斯概率的方法进行目标定位，估计置信图函数：

P(l(x,y))＝∑_l(x,y)∈ΩH((x,y)-(x,y)^*)P(l(x,y)|o)；

通过该函数建立起帧间的相关性联系，来改善跟踪过程的图像模糊问题，其中，P(l(x,y)|o)表示上下文先验概率，H((x,y)-(x,y)^*)表示帧间目标位置之间的相对距离与方向函数；

置信图函数结合当前帧目标的特征信息，得到时空信息模型:

再利用傅里叶变换进行卷积运算，求得：

而下一帧的目标位置可以通过置信图的极大值进行确定:

接着采用比例更新方案来对当前帧目标的尺寸进行修正，提高对当前目标的捕捉效果的精确性:

m表示用于修正的帧数。

本发明实施例中，控制平台采用基于GPU+ARM架构的Jetson人工智能计算模块，图像采集装置采用型号为RER-1MP2CAM002-V90的双目摄像头，利用目标特征信息建立起模型，并通过傅里叶变换对模型进行更新，进一步使用比例更新方案对目标尺寸进行修正，提升了目标追踪的精确性。

参见图2，为本发明提出的基于CUDA的深度时空信息融合的目标跟踪系统结构图。

如图2所示，一种基于CUDA的深度时空信息融合的目标跟踪系统，其特征在于，包括：

摄像头、红外传感器模块、数传模块、控制平台、PWM驱动模块、九轴传感器、底盘驱动电机和供电模块；

所述红外传感器模块和摄像头的输出端与控制平台连接，所述控制平台的输出端连接九轴传感器、数传模块和PWM驱动模块，所述PWM驱动模块的输出端连接底盘驱动电机；

所述供电模块为红外传感器、摄像头、数传模块、控制平台、PWM驱动模块、九轴传感器和底盘驱动电机供电。

进一步的，控制平台采用基于GPU+ARM架构的Jetson人工智能计算模块。

图3为本发明提出的基于CUDA的GPU加速流程图。

为了提高跟踪系统的运算速度，采用了GPU资源对系统进行加速处理，跟踪系统的GPU加速基于CUDA框架来实现，在跟踪程序加速处理过程中，通过SSH建立宿主机与嵌入式平台的联系，并通过交叉编译调用GPU资源及OpenCV和CUDA等库函数，与应用程序进行远程编译链接，使得生成的可执行文件在嵌入式平台上运行，最终得到加速运算后的系统跟踪效果。

在跟踪系统的GPU加速实现过程中，用到的CUDA加速库包括cuFFT、cuBLAS等，用于加速的部分主要有分簇的距离均值运算，傅里叶变换以及相关的函数运算等。对此针对性地选用了上述的cuFFT、cuBLAS等加速库，通过调用加速函数对数据进行了高速运算，提高了系统的处理能力。

PWM驱动模块、九轴传感器，数传模块均与控制平台连接，控制平台通过数传模块可以向终端发送信息，或者接收终端的信息；PWM驱动模块和九轴传感器的运作模式由控制平台发送的控制指令决定。驱动电机与PWM驱动模块连接；九轴传感器用于检测目标移动信号发送至控制平台；控制平台发送第一控制信号、以及根据移动信号发送第二控制信号至PWM驱动模块和电机，控制机器人跟踪目标。红外模块与控制平台连接，可以在控制平台的指令下使得机器人在跟踪目标的过程中实现避障功能。

在跟踪系统中，摄像头采用型号为RER-1MP2CAM002-V90的双目摄像头，人体红外感应模块的型号为HC-SR501，九轴传感器的型号为MPU9250，数传模块采用ESP8266WIFI芯片，底盘驱动电机采用L298P两路大功率电机芯片。

上面结合附图对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。

Claims (10)

1.基于CUDA的深度时空信息融合的目标跟踪方法，其特征在于，包括以下步骤：

通过图像采集装置获取图像帧，以相邻的两个图像帧中前一图像帧为匹配模板并传送至控制平台；

通过基于CUDA的控制平台对匹配模板和后一帧图像进行检测，获取移动目标；

控制平台对移动目标采用深度时空信息融合进行识别跟踪。

2.根据权利要求1所述的基于CUDA的深度时空信息融合的目标跟踪方法，其特征在于，所述基于CUDA的控制平台对匹配模板和后一帧图像进行检测，获取移动目标，具体包括：对匹配模板和后一帧图像上的移动目标构成的像素进行检测并分簇，计算每个簇中心点位置及每个簇中各像素点到簇中心点的距离均值；对每个簇进行标识。

3.根据权利要求2所述的基于CUDA的深度时空信息融合的目标跟踪方法，其特征在于，所述计算每个簇中心点位置及每个簇中各像素点得到簇中心点的距离均值，具体为：

设簇j(j∈N)有m个像素点，像素点x_i(i＝1,…m)的重量为g(x_i)，建立有关x_i的函数w(c_j|x_i)，w(c_j|x_i)表示x_i以c_j作为簇中心所构成的像素点集群；

计算该簇中心点c_j的位置：

计算簇j的像素点与中心像素点c_j的距离均值

4.根据权利要求1所述的基于CUDA的深度时空信息融合的目标跟踪方法，其特征在于，所述控制平台对移动目标采用深度时空信息融合进行识别跟踪，具体为：

通过CUDA对匹配模板采用反卷积系统建立时空信息模型，对后一帧图像采用卷积计算置信图，实现对移动目标的识别跟踪。

5.根据权利要求4所述的基于CUDA的深度时空信息融合的目标跟踪方法，其特征在于，所述通过CUDA所述对匹配模板采用反卷积系统建立时空信息模型，对后一帧图像采用卷积计算置信图；具体为：

首先，定义目标的特征信息集Ω，主要采用目标的外形及位置信息，得到：

Ω＝{l(x,y)＝(I(x,y),(x,y))|(x,y)∈Ψ}；

(x,y)表示该目标对象在图像中的位置信息，I(x,y)表示目标灰度值，Ψ表示目标与周围环境相关的上下文区域；

其次，根据特征信息集，采用贝叶斯概率的方法进行目标定位，估计置信图函数：

P(l(x,y))＝∑_l(x,y)∈ΩH((x,y)-(x,y)^*)P(l(x,y)|o)；

通过置信图函数建立起帧间的相关性联系；

其中，P(l(x,y)|o)表示上下文先验概率，H((x,y)-(x,y)^*)表示帧间目标位置之间的相对距离与方向函数；

置信图函数结合当前帧目标的特征信息，得到时空信息模型:

再利用傅里叶变换进行卷积运算，求得：

而下一帧的目标位置通过置信图的极大值进行确定:

最后采用比例更新方案来对当前帧目标的尺寸进行修正：

m表示用于修正的帧数。

6.根据权利要求1所述的基于CUDA的深度时空信息融合的目标跟踪方法，其特征在于，所述控制平台采用基于GPU+ARM架构的Jetson人工智能计算模块，所述图像采集装置采用型号为RER-1MP2CAM002-V90的双目摄像头。

7.基于CUDA的深度时空信息融合的目标跟踪系统，其特征在于，包括：

摄像头、红外传感器模块、数传模块、控制平台、PWM驱动模块、九轴传感器、底盘驱动电机和供电模块；

所述红外传感器模块和摄像头的输出端与控制平台连接，所述控制平台的输出端连接九轴传感器、数传模块和PWM驱动模块，所述PWM驱动模块的输出端连接底盘驱动电机；

所述供电模块为红外传感器、摄像头、数传模块、控制平台、PWM驱动模块、九轴传感器和底盘驱动电机供电。

8.根据权利要求7所述的基于CUDA的深度时空信息融合的目标跟踪系统，其特征在于，控制平台采用基于GPU+ARM架构的Jetson人工智能计算模块。

9.根据权利要求7所述的基于CUDA的深度时空信息融合的目标跟踪系统，其特征在于，所述摄像头采用型号为RER-1MP2CAM002-V90的双目摄像头。

10.根据权利要求7所述的基于CUDA的深度时空信息融合的目标跟踪系统，其特征在于，所述人体红外感应模块的型号为HC-SR501，九轴传感器的型号为MPU9250，数传模块采用ESP8266WIFI芯片，底盘驱动电机采用L298P两路大功率电机芯片。