CN113344963B - 一种基于图像分割的种子点自适应目标跟踪系统 - Google Patents

Abstract

本发明提出一种基于图像分割的种子点自适应目标自主跟踪系统，该系统在监控区域架设视频采集设备，对采集到的视频数据逐帧处理，首先对图像进行预处理，提取区域极小值和极大值点，然后依极小值和极大值点集进行图像分割，进而依帧间区域双向匹配规则，构建连续多帧种子点短时轨迹，以被跟踪目标的高鲁棒种子点为参考，构建各种子点短时轨迹映射图，通过计算高鲁棒种子点附近区域种子点短时轨迹与高鲁棒种子点轨迹的匹配度，将匹配度高的种子点加入目标种子点集，以实现种子点自适应更新，避免因区域帧间跳变造成种子点匹配失败，进而导致跟踪失败的问题。

Description

一种基于图像分割的种子点自适应目标跟踪系统

技术领域

本发明属于视频数据处理领域，特别是一种基于图像分割的种子点自适应目标跟踪系统。

背景技术

在目标跟踪领域，分水岭图像分割方法是一种经典高效的分割方法。分水岭图像分割方法将图像看作拓扑地貌，每个像素点强度对应于该点的海拔，通过模拟浸入过程，从区域极小值点开始形成集水盆，集水盆边界即为分水岭，也就是图像各个分割区域的边界。通过对视频各帧图像进行分水岭分割，以极小值点为观测对象，依区域双向匹配构建短时极小值点序列，相应的高鲁棒动区域检测算法被提出；为提升目标跟踪鲁棒性，分水岭区域帧间分裂、合并及特征池策略被提出，但该方法假定目标初始仅包含一个动区域，缺乏跟踪兴趣点自适应机制，使得算法适用场景受到很大限制。

发明内容：

本发明要解决的技术问题是现有算法适用场景受限。

本发明提出一种基于图像分割的种子点自适应目标跟踪系统，包括以下步骤：

S1，读取视频帧，对图像进行处理后提取区域极小值和极大值点集，建立极小值点栈和极大值点栈，将极小值点和极大值点分别压入对应栈，分别以极小值点和极大值点为出发点，对图像进行分水岭分割，得到图像子区域，进入步骤S2；

S2，依双向匹配规则确定前帧极小值点和极大值点与当前帧极小值点和极大值点的双向匹配关系：

将双向匹配成功的极小值点和极大值点加入对应的轨迹点池，存储每个极小值点和极大值点的连续帧轨迹点，构建极小值点和极大值点的短时轨迹，

将双向匹配失败的极小值点和极大值点的短时轨迹清除，进入步骤S3；

S3，查看所述系统是否处于跟踪状态：

若是，进入步骤S4，

若否，依运动点检测方法检测是否有处于运动状态的极小值点和极大值点：若有，将其压入目标种子点堆栈，将栈顶极值点作为初始种子点，对该点设为跟踪目标进行持续跟踪，将系统设为跟踪状态，若无，回到步骤S1；

S4，查看种子点堆栈：

若栈为空，将系统设为检测状态，跟踪结束，回到步骤S3，

若不为空，查看跟踪目标是否处于运动状态：若是，以种子点堆栈栈顶种子点为基准种子点，构建基准种子点、兴趣极小值点和兴趣极大值点的短时轨迹映射图，进入步骤S5，若不是，则依双向匹配规则更新目标种子点坐标；

S5，查看系统是否处于跟踪状态：

若否，回到步骤S4，

若是，查看是否允许系统更新种子点：若否，回到步骤S1，若是，根据轨迹映射图匹配量测模型计算各兴趣极小值点和兴趣极大值点轨迹和基准种子点轨迹的匹配度，将匹配度符合要求的兴趣极小值点和兴趣极大值点压入目标种子点堆栈，回到步骤S1。

进一步的，所述步骤S1中，区域极小值点的判定方法为：当像素点强度值均小于8邻域像素点强度值时，该像素点被认定为区域极小值；区域极大值点的判定方法为：首先根据如下公式对原图像取反，I'(x)＝255-I(x)，其中I(x)为视频帧经灰度变换后的图像在坐标x处的灰度值，为取反图像在坐标x处的灰度值，对取反图像进行高斯模糊处理，依区域极小值点判定方法获取区域极大值点。

进一步的，所述步骤S1中，分水岭分割的方法是：对经模糊后的灰度图像和经模糊后的取反灰度图像，分别以区域极小值点和极大值点为出发点，采取浸没方式完成区域划分。

进一步的，所述步骤S2中，双向匹配关系判断方法为：A0为前一帧的一个极小或极大值点，对应图像坐标为X0，A1点为当前帧的一个极小或极大值点，对应图像坐标为X1，以S1获取的图像子区域为参考，当X0坐标所处的当前帧图像子区域同A1点所在的当前帧图像子区域为同一区域，X1坐标所处的前一帧图像子区域同A0点所在的前一帧图像子区域为同一区域，则A0和A1为双向匹配关系。

进一步的，所述步骤S4中，当基准种子点在当前帧和此前N帧时的轨迹坐标点的L1范数大于阈值时，被跟踪目标被认为处于运动状态，其计算公式为||s^N-1-s⁰||₁＞S，其中s0和sN-1分别为基准种子点在当前帧和此前N帧时的轨迹坐标点，||·||₁运算符号为计算L1范数，S为阈值，N为正整数。

进一步的，所述步骤S4中，兴趣极小或极大值点的条件为：

满足公式

且极小或极大值点对应的轨迹点个数大于1，其中M为当前目标种子点堆栈中的种子点总数，si为第i个种子点坐标，x为极小或极大值点的坐标，||·||₂运算符号为计算L2范数，t为阈值。

进一步的，所述步骤S4中，兴趣极小或极大值点的条件为：

满足公式

且极小或极大值点对应的轨迹点个数大于1，其中M为当前目标种子点堆栈中的种子点总数，si为第i个种子点坐标，x为极小或极大值点的坐标，||·||₂运算符号为计算L2范数，t为阈值，i为正整数。

进一步的，所述步骤S4中，短时轨迹映射图的构建方法为：

首先，以基准种子点为参考，构建空轨迹映射图，空轨迹映射图的宽和高分别为基准种子点对应N帧轨迹点的最大横坐标maxx与最小横坐标minx之差，最大纵坐标maxy与最小纵坐标miny之差；

其次，构建基准种子点的轨迹映射图和兴趣极小或极大值点轨迹映射图：

基准种子点的轨迹映射图的构建方法为：根据公式计算轨迹映射图锚点坐标，计算公式为p＝{s⁰(x)-minx,s⁰(y)-miny}，其中s0(x)、s0(y)分别为基准种子点在当前帧的横、纵坐标；然后根据公式sⁱ'＝{sⁱ(x)-s⁰(x)+p(x),sⁱ(y)-s⁰(y)+p(y)}将基准种子点N帧轨迹点坐标转换至轨迹映射图坐标，其中si(x)、si(y)分别为基准种子点在此前i帧的轨迹点横、纵坐标，i、N为正整数；映射完成后，在空轨迹映射图上将相邻帧映射轨迹点直线连线上的像素点值设为1，同时将映射轨迹点处的像素点值设为1；

兴趣极小或极大值点轨迹映射图的构建方法为：将兴趣极小或极大值点所有轨迹点坐标根据公式xⁱ'＝{xⁱ(x)-x⁰(x)+p(x),xⁱ(y)-x⁰(y)+p(y)}转换至轨迹映射图坐标，其中xi(x)、xi(y)分别为极小或极大值点在此前i帧的轨迹点横、纵坐标，x0(x)、x0(y)分别为极小或极大值点在当前帧的轨迹点横、纵坐标，i为正整数；映射完成后，在空轨迹映射图上将落在该图范围内的时域相邻的映射轨迹点直线连线上的像素点值设为1，同时将相应映射轨迹点处的像素点值设为1；

最后，分别对基准种子点和兴趣极小或极大值点的轨迹映射图做图像膨胀操作，膨胀区域填1。

进一步的，所述步骤S5中，匹配度的计算公式为：

其中Mai和Mas分别为第i个兴趣极小或极大值点和基准种子点的轨迹映射图，||运算符号为计算图像矩阵中所有元素值之和，·运算符号为矩阵点乘运算，i为正整数；匹配度条件为匹配度大于等于一定值。

进一步的，所述步骤S1中的图像处理为灰度变换和高斯模糊。

本发明同现有技术相比具有以下优点及效果：

本发明实现简单，计算复杂度低，支持并行计算，能够有效克服跟踪目标尺度、光照变化、图像模糊等挑战，完成目标跟踪任务。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1：

步骤1：连接USB接口摄像头，将采集到的视频数据实时传输至计算机终端。

步骤2.1：读取视频帧，对图像进行灰度变换，并根据公式I'(x)＝255-I(x)对原图像取反，I(x)为视频帧经灰度变换后的图像在坐标x处的灰度值，I'(x)为取反图像在坐标x处的灰度值。分别对原灰度图和取反灰度图进行高斯模糊操作，高斯标准差设为3.0。

步骤2.2:分别对原灰度图和取反灰度图取8邻域极小值以获取极小值点和极大值点集合，将极小值点和极大值点分别压入对应栈。

步骤2.3:分别以区域极小值点和极大值点为出发点，采取浸没方式完成区域划分，得到相应的经分割后的图像子区域。

步骤3.1：依如下双向匹配规则确定前帧极小值点和极大值点与当前帧极小值点和极大值点的关联关系：(1)假定A0为前一帧的一个极小值点，对应图像坐标为x0，A1点为当前帧的某一极小值点，对应图像坐标为x1，以从区域极小值点出发的分水岭分割获取的图像子区域为参考，当x0坐标所处的当前帧图像子区域同A1点所在的当前帧图像子区域为同一区域，x1坐标所处的前一帧图像子区域同A0点所在的前一帧图像子区域为同一区域，则称A0和A1为双向匹配关系。(2)假定B0为前一帧的一个极大值点，对应图像坐标为x0，B1点为当前帧的某一极大值点，对应图像坐标为x1，以从区域极大值点出发的分水岭分割获取的图像子区域为参考，当x0坐标所处的当前帧图像子区域同B1点所在的当前帧图像子区域为同一区域，x1坐标所处的前一帧图像子区域同B0点所在的前一帧图像子区域为同一区域，则称B0和B1为双向匹配关系。

步骤3.2:将满足双向匹配关系的极小值点和极大值点加入对应极值点的轨迹点池，逐步构建极小(大)值的短时轨迹，最多存储每个极小值点和极大值点的连续15帧最新轨迹点。双向匹配失败的短时轨迹被清除，若系统处于跟踪状态，删除双向匹配失败的目标种子点。

步骤4.1：查看系统是否处于跟踪状态，

若是，转至步骤5.1；

若否，依照现有运动点检测方法检测是否有处于运动状态的极小值点和极大值点，例如专利号为CN201310032167.1，名称为一种基于分水岭分割的静态背景下运动目标检测方法的发明专利中提出的运动点检测方法，若有，将运动综合评价得分最高的极小值点和极大值点压入目标种子点堆栈，将栈顶极值点作为兴趣目标初始种子点，对该点进行持续跟踪，将系统设为跟踪状态，若无，执行步骤2.1。

步骤5：查看种子点堆栈，

(5.1)若栈为空，则跟踪结束，将系统设为检测状态，执行步骤4.1；

(5.2)若不为空，判断跟踪目标是否处于运动状态，

(5.2.1)满足如下关系时被认为处于运动状态：

||s^N-1-s⁰||₁＞S，

其中s0和sN-1分别为基准种子点在当前帧和此前15帧时的轨迹坐标点，||·||₁为L1范数，S为阈值，此处S设置为20。

当被跟踪目标处于运动状态时，允许系统更新种子点。以种子点堆栈栈顶种子点为基准种子点，构建空轨迹映射图：空轨迹映射图的宽和高分别为基准种子点对应N帧轨迹点的最大横坐标maxx与最小横坐标minx之差，最大纵坐标maxy与最小纵坐标miny之差。空轨迹映射图本质上为灰度值全为0的图像。

接着构建基准种子点的轨迹映射图，首先根据如下公式计算轨迹映射图锚点坐标：

p＝{s⁰(x)-minx,s⁰(y)-miny}

其中s0(x)、s0(y)分别为基准种子点在当前帧的横、纵坐标。

然后根据如下公式将基准种子点N帧轨迹点坐标转换至轨迹映射图坐标：

sⁱ'＝{sⁱ(x)-s⁰(x)+p(x),sⁱ(y)-s⁰(y)+p(y)}

其中si(x)、si(y)分别为基准种子点在此前i帧的轨迹点横、纵坐标。

映射完成后，在空轨迹映射图上将相邻帧映射轨迹点直线连线上的像素点值设为1，同时将映射轨迹点处的像素点值设为1。

紧接着确定兴趣极小值点和极大值点，纳入规则含以下两个条件：

(1)极小值点和极大值点须满足如下关系

其中M为当前目标种子点堆栈中的种子点总数，si为第i个种子点坐标，x为极小值点和极大值点的坐标，||·||₂为L2范数，t为阈值，此处t设置为70。

(2)极小值点和极大值点对应的轨迹点个数至少有K个，此处K设置为10。

然后构建兴趣极小值点和极大值点轨迹映射图，首先将兴趣极小值点和极大值点所有轨迹点坐标转换至轨迹映射图坐标：

xⁱ'＝{xⁱ(x)-x⁰(x)+p(x),xⁱ(y)-x⁰(y)+p(y)}

其中xi(x)、xi(y)分别为极小值点和极大值点在此前i帧的轨迹点横、纵坐标，其中x0(x)、x0(y)分别为极小值点和极大值点在当前帧的轨迹点横、纵坐标。

映射完成后，在空轨迹映射图上将落在该图范围内的时域相邻的映射轨迹点直线连线上的像素点值设为1，同时将相应映射轨迹点处的像素点值设为1。

最后，分别对基准种子点和兴趣极小值点和极大值点的轨迹映射图做图像膨胀操作，膨胀结构元素为正方形，边长为3，膨胀区域填1。

步骤六：

查看系统是否处于跟踪状态，若否，执行步骤二，若是，查看是否允许系统更新种子点，若是，基于如下公式计算各兴趣极小值点和极大值点轨迹和基准种子点轨迹的匹配度：

其中Mai和Mas分别为第i个兴趣极小值点和极大值点和基准种子点的轨迹映射图，||运算用来计算图像矩阵中所有元素值之和，·为矩阵点乘运算，即对应坐标位置相乘。

将匹配度高于0.6的极小值点和极大值点压入目标种子点堆栈作为新的目标种子点，执行步骤二。。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于图像分割的种子点自适应目标跟踪系统，其特征在于，所述系统包括以下步骤：

S1，读取视频帧，对图像进行处理后提取区域极小值和极大值点集，建立极小值点栈和极大值点栈，将极小值点和极大值点分别压入对应栈，分别以极小值点和极大值点为出发点，对图像进行分水岭分割，得到图像子区域，进入步骤S2；

S2，依双向匹配规则确定前帧极小值点和极大值点与当前帧极小值点和极大值点的双向匹配关系：

将双向匹配成功的极小值点和极大值点加入对应的轨迹点池，存储每个极小值点和极大值点的连续帧轨迹点，构建极小值点和极大值点的短时轨迹，

将双向匹配失败的极小值点和极大值点的短时轨迹清除，进入步骤S3；

S3，查看所述系统是否处于跟踪状态：

若是，进入步骤S4，

若否，依运动点检测方法检测是否有处于运动状态的极小值点和极大值点：若有，将其压入目标种子点堆栈，将栈顶极值点作为初始种子点，对该点设为跟踪目标进行持续跟踪，将系统设为跟踪状态，若无，回到步骤S1；

S4，查看目标种子点堆栈：

若栈为空，将系统设为检测状态，跟踪结束，回到步骤S3，

若不为空，查看跟踪目标是否处于运动状态：若是，以目标种子点堆栈栈顶种子点为基准种子点，构建基准种子点、兴趣极小值点和兴趣极大值点的短时轨迹映射图，其中，兴趣极小值点的条件为：满足公式

且极小值点对应的轨迹点个数大于1，其中M为当前目标种子点堆栈中的种子点总数，si为第i个种子点坐标，x为极小值点的坐标，||.||₂运算符号为计算L2范数，t为阈值，i为正整数；兴趣极大值点的条件为：满足公式

且极大值点对应的轨迹点个数大于1，其中M为当前目标种子点堆栈中的种子点总数，si为第i个种子点坐标，x为极大值点的坐标，||.||₂运算符号为计算L2范数，t为阈值，i为正整数；其中，短时轨迹映射图的构建方法为：

首先，以基准种子点为参考，构建空轨迹映射图，空轨迹映射图的宽和高分别为基准种子点对应N帧轨迹点的最大横坐标maxx与最小横坐标minx之差，最大纵坐标maxy与最小纵坐标miny之差；其次，构建基准种子点的轨迹映射图和兴趣极小值点和兴趣极大值点轨迹映射图：

基准种子点的轨迹映射图的构建方法为：根据公式计算轨迹映射图锚点坐标，计算公式为p＝{s⁰(x)-minx,s⁰(y)-miny}，其中s⁰(x)、s⁰(y)分别为基准种子点在当前帧的横、纵坐标；然后根据公式sⁱ'＝{sⁱ(x)-s⁰(x)+p(x),sⁱ(y)-s⁰(y)+p(y)}将基准种子点N帧轨迹点坐标转换至轨迹映射图坐标，其中si(x)、si(y)分别为基准种子点在此前i帧的轨迹点横、纵坐标，i、N为正整数，p(x)、p(y)分别为轨迹映射图锚点横、纵坐标；映射完成后，在空轨迹映射图上将相邻帧映射轨迹点直线连线上的像素点值设为1，同时将映射轨迹点处的像素点值设为1；

兴趣极小值点和兴趣极大值点轨迹映射图的构建方法为：将兴趣极小值点和兴趣极大值点所有轨迹点坐标根据公式转换至轨迹映射图坐标，计算公式为xⁱ'＝{xⁱ(x)-x⁰(x)+p(x),xⁱ(y)-x⁰(y)+p(y)}，其中，若计算兴趣极小值点所有轨迹点坐标转换至轨迹映射图的坐标,则式中的xi(x)、xi(y)分别为兴趣极小值点在此前i帧的轨迹点横、纵坐标，x0(x)、x0(y)分别为兴趣极小值点在当前帧的轨迹点横、纵坐标，若计算兴趣极大值点所有轨迹点坐标转换至轨迹映射图的坐标,则式中的xi(x)、xi(y)分别为兴趣极大值点在此前i帧的轨迹点横、纵坐标，x0(x)、x0(y)分别为兴趣极大值点在当前帧的轨迹点横、纵坐标，i为正整数；映射完成后，在空轨迹映射图上将落在该图范围内的时域相邻的映射轨迹点直线连线上的像素点值设为1，同时将相应映射轨迹点处的像素点值设为1；最后，分别对基准种子点和兴趣极小值点和兴趣极大值点的轨迹映射图做图像膨胀操作，膨胀区域填1；构建完成后，进入步骤S5，若不是，则依双向匹配规则更新目标种子点坐标；

S5，查看系统是否处于跟踪状态：

若否，回到步骤S4，

若是，查看是否允许系统更新目标种子点：若否，回到步骤S1，若是，根据轨迹映射图匹配量测模型计算各兴趣极小值点和兴趣极大值点轨迹和基准种子点轨迹的匹配度，轨迹映射图匹配量测模型的计算公式为：

其中Mai和Mas分别为第i个兴趣极小或极大值点和基准种子点的轨迹映射图，| |运算符号为计算图像矩阵中所有元素值之和，·运算符号为矩阵点乘运算，i为正整数，将满足匹配度条件的兴趣极小值点和兴趣极大值点压入目标种子点堆栈，回到步骤S1。

2.根据权利要求1所述的基于图像分割的种子点自适应目标跟踪系统，其特征在于，所述步骤S1中，区域极小值点的判定方法为：当像素点强度值均小于8邻域像素点强度值时，该像素点被认定为区域极小值；区域极大值点的判定方法为：首先根据如下公式对原图像取反，I'(x)＝255-I(x)，其中I(x)为视频帧经灰度变换后的图像在坐标x处的灰度值，I'(x)为取反图像在坐标x处的灰度值，对取反图像进行高斯模糊处理，依区域极小值点判定方法获取区域极大值点。

3.根据权利要求1所述的基于图像分割的种子点自适应目标跟踪系统，其特征在于，所述步骤S1中，分水岭分割的方法是：对经模糊后的灰度图像和经模糊后的取反灰度图像，分别以区域极小值点和极大值点为出发点，采取浸没方式完成区域划分。

4.根据权利要求1所述的基于图像分割的种子点自适应目标跟踪系统，其特征在于，所述步骤S2中，双向匹配关系判断方法为：假定A0为前一帧的一个极小值点，对应图像坐标为x0，A1点为当前帧的某一极小值点，对应图像坐标为x1，以从区域极小值点出发的分水岭分割获取的图像子区域为参考，当x0坐标所处的当前帧图像子区域同A1点所在的当前帧图像子区域为同一区域，x1坐标所处的前一帧图像子区域同A0点所在的前一帧图像子区域为同一区域，则称A0和A1为双向匹配关系；假定B0为前一帧的一个极大值点，对应图像坐标为x0，B1点为当前帧的某一极大值点，对应图像坐标为x1，以从区域极大值点出发的分水岭分割获取的图像子区域为参考，当x0坐标所处的当前帧图像子区域同B1点所在的当前帧图像子区域为同一区域，x1坐标所处的前一帧图像子区域同B0点所在的前一帧图像子区域为同一区域，则称B0和B1为双向匹配关系。

5.根据权利要求1所述的基于图像分割的种子点自适应目标跟踪系统，其特征在于，所述步骤S1中的图像处理为灰度变换和高斯模糊。

Images