CN113470063B

CN113470063B - 一种基于特征集的多目标追踪方法、装置及介质

Info

Publication number: CN113470063B
Application number: CN202110740129.6A
Authority: CN
Inventors: 邓宏贵; 张泽宇; 刘阳; 徐齐国
Original assignee: Central South University
Current assignee: Central South University
Priority date: 2021-06-30
Filing date: 2021-06-30
Publication date: 2022-05-10
Anticipated expiration: 2041-06-30
Also published as: CN113470063A

Abstract

本发明公开了一种基于特征集的多目标追踪方法、装置及介质，该方法包括如下步骤：步骤1，对目标图像灰度化处理；步骤2，以灰度化图像为目标，进行改进的Moravec角点检测；步骤3，筛选检测到的角点，基于筛选的角点，对稳像后的图像做区域分割，把一副多目标图像分割成多副单目标图像；步骤4，对分割后的区域依次做边缘提取；步骤5，以提取到的边缘为目标，采取C‑HOG算子描述特征；步骤6，预测目标可能出现的区域并根据特征跟踪。采用本发明所述的基于特征集的多目标追踪方法，无需预训练模型也能实现对实时图像中的多目标追踪，降低了方法的时间复杂度，减小了由动态滞后引起的目标追踪误差。

Description

一种基于特征集的多目标追踪方法、装置及介质

技术领域

本发明涉及机器视觉领域，尤其涉及一种基于特征集的多目标追踪方法、装置及介质。

背景技术

目标跟踪是机器视觉应用领域的一个热点，被广泛地应用于智能交通、军事监控、医疗诊断、智能家居、人机交互等领域。目标追踪的本质是确定目标在图像帧中的位置，然后将前帧和后帧相关联，得到目标轨迹。

根据追踪目标的种类可分为单目标追踪和多目标追踪；根据传感器的位移特性可分为静态目标追踪和动态目标追踪。常见的多目标追踪算法多针对具有特定特征集的静态或动态目标且算法时间复杂度高，动态滞后效果明显，目标追踪误差较大；针对上述问题，有必要提供一种基于特征集针对静态多目标的追踪算法，利用目标特征集的唯一性作为跟踪依据，实现对多目标的锁定和追踪。

发明内容

本发明的目的是公开一种基于特征集的多目标追踪方法、装置及介质，通过把多目标图像分割成单目标图像后，利用C-HOG算子描述目标特征集，完成对多目标的锁定，再通过对目标空间偏移量的预测，实现多目标追踪。

本发明提供的技术方案如下：

一方面，一种基于特征集的多目标追踪方法，包括如下步骤：

步骤1：获取包含目标的图像并对图像做灰度化处理；

步骤2：对灰度化图像，基于改进的Moravec角点检测方法进行角点检测；

步骤3：基于方向特征进行角点筛选，并利用筛选后的角点对灰度图像进行区域分割；

当角点在目标内时或者角点的位置影响后续分割时，需要对角点做筛选，基于筛选的角点对目标灰度化图像做区域分割，把多目标追踪问题简化成单目标追踪问题，且不破坏目标的独立完整性，获得若干个分割后图像；

步骤4：对分割后的区域做Sobel边缘提取；

步骤5：以提取到的边缘为目标，采用C-HOG算子描述目标特征，对所有分割图像描述，获得每帧图像的目标特征集；

步骤6：根据传感器得到目标的位移变化，计算目标在帧间的像素偏移量，结合前一帧图像目标特征集中目标所在区域的边界坐标，得到当前帧目标预测位置并进行分割，重复步骤1、步骤4、步骤5，预测当前帧图像的目标特征集；

步骤7：将当前帧预测得到的目标特征集与前一帧目标特征集进行比较，若两者比值大于设定跟踪阈值上限或小于设定跟踪阈值下限，则返回步骤1重新追踪，反之，选下一帧图像重复步骤6，持续预测。

若对每一帧图像都去做目标检测而后跟踪，算法的时间成本提高，从而导致跟踪滞后，增大跟踪误差。为此提出了跟踪预测。进一步地，灰度化处理按以下公式进行：

Gary(i,j)＝0.299*R(i,j)+0.587*G(i,j)+0.113*B(i,j)

期中，R(i,j)，G(i,j)，B(i,j)分别代表原始图像中像素点(i,j)处的RGB色彩分量。

进一步地，所述改进的Moravec角点检测方法是指，以灰度图像边缘任意点为起点，遍历灰度图像中与所述起点纵坐标相同的点和横坐标相同的点并记录，分别得到水平边界像素集与垂直边界像素集；

将水平边界像素集和垂直边界像素内点的灰度值均与灰度阈值Gary_threshold比较，再将水平边界像素集和垂直边界像素中灰度值大于Gary_threshold的的像素点数目Num_V_a和Num_H_b与角点数量判断值N_set比较，保留数目大于N_set的水平边界像素集和垂直边界像素，以及对应的边缘点：

依次以保留的边缘点为起点，分别将对应的水平边界像素集和垂直边界像素集中的所有像素点连成一条水平直线和垂直直线，将所有水平直线与垂直直线的交点作为角点。

将检测的角点特征方向从八个(纵横以及斜对角)简化为两个(纵横)，降低误检率，提升效率。

以灰度图像为目标，取图像图幅边缘任意处为起点，沿顺时针方向依次遍历图像边缘像素点，得像素集Edge{Edge₁,Edge₂,…,Edge_n}。后以Edge中各点为起点(i_m,j_n)，做竖直方向像素集合Point_V_m和水平方向像素集合Point_H_n。

其中，i_max和j_max表示图像的水平和竖直图幅，Num_V_a表示竖直方向像素集合Point_V_n中灰度大于阈值Gary_threshold的数目，Num_H_b表示水平方向像素集合Point_H_n中灰度大于阈值Gary_threshold的数目。则角点集Corner{Corner₁,Corner₂,…,Corner_n}有:

Point_V_m表示点(i_m,1)竖直方向的像素集，Num_V_a为像素集中灰度大于设定阈值Gary_threshold的数目；Point_H_n表示点(1,j_n)水平方向的像素集，Num_H_b为像素集中灰度大于设定阈值Gary_threshold的数目。Corner_n为角点集合。N_set为设定的角点判断阈值。检测后对Corner_n中的点按坐标顺序排列。

即在记录的像素集中，按水平像素集与竖直像素集分类，并以对应的边缘像素点为起点，做记录方向的直线，这些水平和竖直方向的交点，就是角点集合。

改进的Moravec角点检测方法，不需要做图像窗口的移动，简化运算方法，同时尽可能地保存了只有一个方向特征的角点。

进一步地，基于角点对多帧连续灰度图像做角点匹配的电子稳像，具体过程如下：

基于相邻帧中各角点位置，计算前一帧图像映射到当前帧图像的仿射变换矩阵；

累计相邻帧图像之间运动，得到仿射变换矩阵随时间变化的曲线，将曲线进行平滑滤波，得到平滑滤波后的仿射变换矩阵，并利用平滑滤波后的仿射变换矩阵对多帧连续图像进行变换，实现电子稳像。

稳相的目的是便于之后的分割和特征描述。

进一步地，为对稳相后的灰度图做基于角点的分割，要对角点筛选。依次判断相邻角点在同一方向的距离，若大于距离设定值，则两点都属于保留角点，并利用排序靠后的角点继续判断，否则，将排序靠后的角点剔除，继续选取下一个角点进行判断，遍历角点内所有的点，得到筛选后的角点集。

为减少分割次数，对角点筛选，得到筛选后的角点集Mark_M。即：

(i_m,j_n),(i_m,j_n-1)表示两个水平相邻的角点，(i_m,j_n),(i_m-1,j_n)表示两个竖直相邻的角点。L_set为距离设定值。

将角点Corner{}中的点分为垂直角点Corner_V{}和水平角点Corner_H{}。若Corner_V中相邻两点的水平距离为1像素，则判断两点相接，若相邻两点的水平距离大于3像素，则认定两点为垂直标记角点Mark_V{}并记录；若Corner_H中相邻两点的竖直距离为1像素，则判断两点相接，若相邻两点的竖直距离大于3像素，则认定两点为水平标记角点Mark_H{}并记录。在得到Mark_V{}和Mark_H{}后，取Mark_V中的横坐标和Mark_H中的纵坐标组合得到角点集Mark_M:

将原灰度图像按照Mark_M(i_m,j_n),Mark_M(i_m+1,j_n),Mark_M(i_m+1,j_n+1),Mark_M(i_m,j_n+1)的顺序区域分割，共分割为Mark_Vm*Mark_Hn份。

进一步地，在筛选后的角点集中，以四个相邻角点做顶点对目标做区域分割，确保分割最大化。

进一步地，所述以提取到的边缘为目标，采用C-HOG算子描述目标特征是指：

对分割后的区域做Sobel边缘检测，依次以边缘像素为中心，取3*3的像素矩阵，用C-HOG算子描述各像素矩阵的梯度幅值g和角度θ，以各像素矩阵的角度区间为横轴，区间内平均幅值为纵轴做方向梯度直方图，将所有的梯度分布直方图累加并归一化，得到目标的C-HOG特征向量，并以C-HOG特征向量的模作为归一化后的特征向量，表示目标特征。

得到所有二值化图像中G＝255点的梯度直方图(C-HOG)，数目为G_edge，将这些直方图拼接成长度为6*G_edge的向量

后为降低噪声、抖动对C-HOG的影响，对C-HOG归一化得到

就是区域目标中的特征描述符，长度为6*G_edge。

为降低噪声等干扰对预测效果判断的影响；

进一步地，用ω判断跟踪效果，

当ω小于设定跟踪阈值下限或大于设定跟踪阈值上限，则表示跟踪效果不好；

λ’表示预测得到的目标特征向量的模，预测得到的目标的像素偏移量按以下公式计算：

其中，Δx,Δy为预测的像素偏移量；X，Y为传感器获得的位移变化量，S为传感器到被测目标的平均距离，P为每个像素的实际距离。

另一方面，一种基于特征集的多目标追踪装置，包括：

图像采集与预处理单元：获取包含目标的图像并对图像做灰度化处理；

角点检测单元：对灰度化图像，基于改进的Moravec角点检测方法进行角点检测；

区域分割单元：基于方向特征进行角点筛选，并利用筛选后的角点对灰度图像进行区域分割；

边缘提取单元：对分割后的区域进行边缘提取；

目标特征描述单元：以提取到的边缘为目标，采用C-HOG算子描述目标特征，获得每帧图像的目标特征集；

目标特征预测单元：根据传感器得到目标的位移变化，计算目标在帧间的像素偏移量，结合前一帧图像目标特征集中目标所在区域的边界坐标，得到当前帧目标预测位置并进行分割，重复调用边缘提取单元和目标特征描述单元，预测当前帧图像的目标特征集；

目标跟踪单元：将当前帧预测得到的目标特征集与前一帧目标特征集进行比较，若两者比值大于设定跟踪阈值，则重新采集图像进行追踪，否则，表示当前目标追踪准确。

再一方面，一种可读存储介质，包括计算机程序指令，所述计算机程序指令被处理终端执行时使所述处理终端执行上述一种基于特征集的多目标追踪方法。

有益效果

本发明技术方案提供一种基于特征集的多目标追踪方法、装置及介质，该方法包括如下步骤：步骤1、对目标图像灰度化处理；步骤2、以灰度化图像为目标，进行改进的Moravec角点检测；步骤3、筛选检测到的角点，基于筛选的角点，对稳像后的图像做区域分割，把一副多目标图像分割成多副单目标图像；步骤4、对分割后的区域依次做边缘提取；步骤5、对所有存在边缘的区域以边缘为目标，采取C-HOG算子描述特征；步骤6、预测目标可能出现的区域并根据特征跟踪。采用本发明所述的基于特征集的多目标追踪方法，无需预训练模型也能实现对实时图像中的多目标追踪，降低了方法的时间复杂度，减小了由动态滞后引起的目标追踪误差。

附图说明

图1为本发明的基于特征集的多目标追踪方法的流程图；

图2为灰度化示意图；

图3为改进的Moravec检测到的角点图；

图4为图像区域分割示意图；

图5为C-HOG算子描述目标特征图；

图6为目标追踪效果示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

参见图1，本实施例提供的一种基于特征集的多目标追踪方法，包括如下步骤：

步骤1：获目标图像，对其进行灰度化处理，如图2所示；

Gary(i,j)＝0.299*R(i,j)+0.587*G(i,j)+0.113*B(i,j)

Gary(i,j)为灰度值，R(i,j)、G(i,j)、B(i,j)为该点RGB值，如图2。

步骤2：角点检测，如图3所示，取灰度图最左上角点为起点，坐标设(1，1)，灰度图图幅X*Y，取图像中横坐标为1的点集和纵坐标为1的点集，得到点(1，1)的水平像素集和垂直像素集。对水平像素集预设灰度阈值100，角点数目判断值X/3，垂直像素集预设灰度阈值100，角点数目判断值Y/3，分别判断两个像素集内灰度大于100的数目，将此数目与角点数目判断值比较，数目大于判断值的保留对应像素集，并记录点(1，1)。如此按顺时针遍历灰度图像中的所有边缘点，得到像素集和边缘点集。

步骤3：依次以保留的边缘点为起点，分别将对应的水平边界像素集和垂直边界像素集中的所有像素点连成一条水平直线和垂直直线，将所有水平直线与垂直直线的交点作为角点。

步骤3.1：为了便于目标的分割和特征描述，要将连续的图像做基于角点的电子稳像，此过程需要5帧图像。基于图像中的角点，取当前图像与前一帧图像，计算仿射映射矩阵，累计前五帧图像间的运动，得到仿射映射矩阵随时间变换的离散曲线，将曲线平滑滤波，得到平滑滤波后的仿射变化矩阵，利用平滑滤波后的仿射变化矩阵对选出的五帧图像进行变换，得到稳像后的当前帧。

步骤4：对稳相后的灰度图像做基于角点的分割，如图4所示。为减少分割次数，要对角点筛选。设定水平距离判断值X/10，垂直距离判断值Y/10，从左至右、从上至下，依次判断相邻角点在同一方向的距离，与该方向的距离判断值比较，大于设定值则两点属于保留角点，并利用排序靠后的点继续做判断，反之，则将排序靠后的角点剔除，继续选下一个角点做判断，对所有的角点都作此判断，得到筛选后的角点集。在筛选的角点集中，以四个相邻角点做顶点对稳相后的灰度图做区域分割。

步骤5：对分割后的灰度图做Sobel边缘检测，得到目标边缘。选边缘一点为中心，取3*3的像素矩阵，对边缘处的每一个点执行此操作，用C-HOG算子对每个3*3矩阵的梯度幅值和角度做描述，如图5所示。以角度区间做横轴，幅值做纵轴构建矩阵的方向梯度直方图，并将所有矩阵的方向梯度直方图累加、归一化，得到目标的C-HOG特征向量，并将C-HOG特征向量的模作为归一化后的特征向量，表示目标特征。计算所有分割灰度图的特征向量与对应的分割范围，得到目标特征集。

步骤6：对要预测的目标，选择其目标特征λ，利用传感器得到目标的位移变化X、Y，计算目标在帧间的像素偏移量Δx、Δy

S为传感器到被测目标的平均距离，P为每个像素的实际距离。得到目标的像素偏移量，并以此偏移量预测新的分割范围，在下一帧图像上，重复步骤1、步骤5，计算新分割范围内的目标特征λ’，设定跟踪阈值下限0.8，上限1.2，当

小于0.8或大于1.2时，追踪效果不理想，返回步骤1重新追踪，若满足条件，读取下一帧图像重复步骤6。跟踪效果如图6所示。

本发明实施例还提供一种基于特征集的多目标追踪装置，包括：

边缘提取单元：对分割后的区域进行边缘提取；

目标跟踪单元：将当前帧预测得到的目标特征集与前一帧目标特征集进行比较，若两者比值大于设定跟踪阈值上限或小于设定阈值下限，则重新采集图像进行追踪，否则，表示当前目标追踪准确。

本发明实施例还提供一种可读存储介质，包括计算机程序指令，所述计算机程序指令被处理终端执行时使所述处理终端执行上述的一种基于特征集的多目标追踪方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims

1.一种基于特征集的多目标追踪方法，其特征在于，包括如下步骤：

步骤1：获取包含目标的图像并对图像做灰度化处理；

所述改进的Moravec角点检测方法是指，以灰度图像边缘任意点为起点，遍历灰度图像中与起点纵坐标相同的点和横坐标相同的点并记录，分别得到水平边界像素集与垂直边界像素集；

将水平边界像素集和垂直边界像素内点的灰度值均与灰度阈值Gary_threshold比较，再将水平边界像素集和垂直边界像素中灰度值大于Gary_threshold的像素点数目Num_V_a和Num_H_b与角点数量判断值N_set比较，保留数目大于N_set的水平边界像素集和垂直边界像素，以及对应的边缘点：

依次以保留的边缘点为起点，分别将对应的水平边界像素集和垂直边界像素集中的所有像素点连成一条水平直线和垂直直线，将所有水平直线与垂直直线的交点作为角点；

步骤4：对分割后的区域进行边缘提取；

步骤5：以提取到的边缘为目标，采用C-HOG算子描述目标特征，获得每帧图像的目标特征集；

所述以提取到的边缘为目标，采用C-HOG算子描述目标特征是指：

对分割后的区域做Sobel边缘检测，依次以边缘像素为中心，取3*3的像素矩阵，用C-HOG算子描述各像素矩阵的梯度幅值g和角度θ，以各像素矩阵的角度区间为横轴，区间内平均幅值为纵轴做方向梯度直方图，将所有的梯度分布直方图累加并归一化，得到目标的C-HOG特征向量，并以C-HOG特征向量的模作为归一化后的特征向量，表示目标特征；

步骤7：将当前帧预测得到的目标特征集与前一帧目标特征集进行比较，若两者比值大于设定跟踪阈值，则返回步骤1重新追踪，反之，选下一帧图像重复步骤6，持续预测。

2.根据权利要求1所述的方法，其特征在于，灰度化处理按以下公式进行：

Gary(i，j)＝0.299*R(i，j)+0.587*G(i，j)+0.113*B(i，j)

其中，R(i，j)，G(i，j)，B(i，j)分别代表原始图像中像素点(i，j)处的RGB色彩分量。

3.根据权利要求1所述的方法，其特征在于，基于角点对多帧连续灰度图像做角点匹配的电子稳像，具体过程如下：

累计相邻帧图像之间运动，得到仿射变换矩阵随时间变化的曲线，将曲线平滑滤波，得到平滑滤波后的仿射变换矩阵，并利用平滑滤波后的仿射变换矩阵对多帧连续图像进行逆变换，从而实现电子稳像。

4.根据权利要求1所述的方法，其特征在于，为对稳相后的灰度图做基于角点的分割，要对角点筛选：依次判断相邻角点在同一方向的距离，若大于距离设定值，则两点都属于保留角点，并利用排序靠后的角点继续判断，否则，将排序靠后的角点剔除，继续选取下一个角点进行判断，遍历角点内所有的点，得到筛选后的角点集。

5.根据权利要求4所述的方法，其特征在于，在筛选后的角点集中，以四个相邻角点做顶点对目标做分割。

6.根据权利要求1所述的方法，其特征在于，用ω判断跟踪效果，

λ′表示预测得到的目标特征向量的模，λ表示要预测的目标特征，预测得到的目标的像素偏移量按以下公式计算：

其中，Δx，Δy为预测的像素偏移量；X，Y为传感器获得的位移变化量，S为传感器到被测目标的平均距离，P为每个像素的实际距离。

7.一种基于特征集的多目标追踪装置，其特征在于，包括：

边缘提取单元：对分割后的区域进行边缘提取；

目标跟踪单元：将当前帧预测得到的目标特征集与前一帧目标特征集进行比较，若两者比值大于设定跟踪阈值上限或小于设定跟踪阈值下限，则重新采集图像进行追踪，反之，选下一帧图像重复目标特征预测单元。

8.一种可读存储介质，包括计算机程序指令，其特征在于：所述计算机程序指令被处理终端执行时使所述处理终端执行权利要求1至6任一项所述的方法。