CN105405152A - 基于结构化支持向量机的自适应尺度目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于结构化支持向量机的自适应尺度目标跟踪方法，主要解决现有基于结构化支持向量机的视频目标跟踪中自适应尺度和跟踪时计算量大的问题。其实现步骤是：首先建立结构化输出支持向量机模型，在模型的输出中添加尺度变量；然后利用已经确定目标的图像帧更新判定函数；最后将目标跟踪分解为粗跟踪和精跟踪，通过粗跟踪从少量候选样本中估计目标位置进而缩小目标搜索范围，通过精跟踪在粗跟踪基础上再进行目标的位置和尺度的确定。本发明实现了自适应尺度目标跟踪，减小了跟踪过程中的计算量，提高了实时性效果，可用于视频监控中确定目标的精确位置和实时尺度。

Description

基于结构化支持向量机的自适应尺度目标跟踪方法

技术领域

本发明属于图像处理技术领域，具体涉及视频目标跟踪方法，可用于实现目标的精确跟踪。

背景技术

基于图像视频序列的目标自动跟踪是图像处理、模式识别领域的重要内容，在工业，交通等领域有着广泛的应用，目前国内外对目标的跟踪进行了大量的研究，但是在实际的图像视频序列跟踪中建立的跟踪模型还是不能完全克服光照强度改变，背景变化，遮挡，鲁棒性等问题。

SamHare等人在论文“Struck:StructuredOutputTrackingwithKernels”(IEEEInternationalConferenceonComputerVision,2011,263-270)中提出采样结构化输出支持向量机进行视频序列目标跟踪。该方法首先利用第一帧图像初始化分类器，然后直接利用分类器预测目标位置的相对平移，最后用更新的分类器为下一次预测目标位置做准备。该方法在有遮挡时及鲁棒性方面取得了较好的效果；但是该方法仍存在以下不足：一是视频跟踪时无法做到自适应尺度跟踪，即当目标远离镜头和靠近镜头时跟踪框不能自适应调整；二是在进行目标位置预测时没有进行粗略位置估计，导致搜索范围过大，从而对存储和计算带来较大影响，影响实时性效果。

发明内容

本发明的目的在于提出一种基于结构化支持向量机的自适应尺度目标跟踪方法，以克服上述现有技术的不足，提高跟踪的实时性效果。

实现本发明的基本思路是：通过建立结构化支持向量机模型，将结构化支持向量机模型的输出修改为目标的平移变换和尺度变换的组合；通过采用确定的目标视频帧更新分类器，把目标跟踪分为粗跟踪和精跟踪，并通过粗跟踪确定目标大致位置，通过精跟踪在粗跟踪的基础上进一步确定目标的尺度和精确位置。

根据上述思路，本发明的实现方案如下：

(1)建立结构化支持向量机模型:其中(Y,S)表示y和s组成的输出变量的组合，x表示目标的位置，y表示目标的平移，s表述目标的尺度变化，F(x,y,s)代表判定函数；

(2)将视频序列V中所有图像帧裁剪为统一大小，得到视频序列V°，将该视频序列V°中的第i帧图像表示为F_i，1≤i≤N，N为V°中图像的总帧数；

(3)令i＝1，读入V°的第一帧图像F₁及其目标的位置x₁，得到第一帧图像目标的特征向量Φ(x₁,y,s)，初始化结构化支持向量机和向量集合SV；

(4)更新结构化支持向量机：

(4a)假设第i帧图像的目标位置为x_i，以目标位置x_i为中心对F_i进行采样，得到一个采样集合S_1i；

(4b)对S_1i中所有采样样本分别进行样本特征提取，得到样本特征向量集合F_1i；

(4c)定义度量函数g＝-Δ(y,s；y_i,s_i)-F(x,y,s)，将F_1i中特征向量分别带入g中，选择使g最小的特征向量作为负支持向量svn_i，选择x_i位置处的样本为正的支持样本svp_i，将svn_i和svp_i添加到支持向量集合SV，其中Δ(y,s；y_i,s_i)表示损失函数；

(4d)定义判定函数为:F(x,y,s)＝<w,Φ(x,y,s)>，其中Φ(x,y,s)表示目标的特征向量，其中w为判定函数的参数向量，<,>表示内积运算；

(4e)将判定函数F(x,y,s)＝<w,Φ(x,y,s)>转化为以下形式，

$\begin{array}{cc}\underset{w}{\min }& \frac{1}{2}\left|\right|w|{|}^2+\frac{C}{n}\underset{i=1}{\overset{n}{\&Sigma;}}{\mathrm{\&epsiv;}}_i\\ s.t.& \&ForAll;i:{\mathrm{\&epsiv;}}_i>0\\ & \&ForAll;i,\&ForAll;j,\&ForAll;y\&NotEqual;y_i:<w,\mathrm{\&Phi;}(x_i,y_i,s_j)-\mathrm{\&Phi;}(x_i,y,s)>\&GreaterEqual;\mathrm{\&Delta;}(y_i,s_j;y,s)-{\mathrm{\&epsiv;}}_i\end{array}$ 《1》

其中n为当前支持向量集合SV中支持向量的个数，C代表松弛因子，ε_i代表松弛变量；

(4f)利用支持向量集合SV中的支持向量求解式《1》，得到判定函数的参数向量w，求出判定函数F(x,y,s)，得到结构化支持向量机的输出变量y和s，把(y,s)添加到输出变量的组合(Y,S)中，其中

(5)读入V°的第i+1帧图像F_i+1；

(6)对第i+1帧图像F_i+1中的目标进行粗跟踪:

(6a)以x_i为中心对F_i+1进行采样，得到一个采样集合S_2i；

(6b)对S_2i中每一个样本分别进行样本特征提取，得到一个特征向量的集合F_2i；

(6c)将F_2i中的每一个特征向量分别带入判定函数F(x,y,s)＝<w,Φ(x,y,s)>，根据得到使F(x,y,s)最大的特征向量Φ(x_i,y′,s′)对应的平移和尺度变换向量(y′,s′)；

(6d)根据第i帧图像的目标位置x_i和(6c)中得到的平移和尺度变换向量(y′,s′)，得到F_i+1中目标粗略位置：x_i+1′＝x_iοy′οs′，其中ο表示向量之间的相加运算；

(7)对第i+1帧图像F_i+1中目标的进行精跟踪：

(7a)以x_i+1′为中心对F_i+1进行采样，得到一个采样集合S_3i；

(7b)对S_3i中每一个样本分别进行样本特征提取，得到一个特征向量的集合F_3i；

(7c)将F_3i中的每一个特征向量分别带入判定函数F(x,y,s)＝<w,Φ(x,y,s)>，根据得到使F(x,y,s)最大的特征向量Φ(x_i+1′,y″,s″)对应的平移和尺度变换向量(y″,s″)；

(7d)根据(6d)中得到的目标粗略位置x_i+1′和(7c)中得到的平移和尺度变换向量(y″,s″)，得到F_i+1中目标精确位置：x_i+1＝x_i+1′οy″οs″；

(8)判断F_i+1是否为最后一帧图像，若是，则结束；否则，令i＝i+1，返回步骤(4)。

本发明与现有技术相比，具有以下优点：

第一，本发明通过在结构化支持向量机模型的输出变量中添加尺度信息，使得视频目标跟踪时可以自适应尺度目标跟踪；

第二，本发明将目标跟踪分为粗跟踪和精跟踪两部分，通过粗跟踪粗略估计目标位置，可以缩小目标的搜索范围；在粗跟踪的基础上进行精跟踪计算目标的精确位置和尺度改变，可以减小计算过程中的存储消耗和计算量，提高了实时性效果。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图1对本发明的步骤作进一步的详细说明。

步骤1，建立结构化输出支持向量机模型。

1.1)定义判定函数：F(x,y,s)＝<w,Φ(x,y,s)>，其中x表示目标的位置，y表示目标的平移，s表述目标的尺度变化，Φ(x,y,s)表示目标的特征向量，其中w为判定函数的参数向量，<,>表示内积；判定函数可用于对输入Φ(x,y,s)进行分类；

1.2)定义结构化输出预测函数：其中(Y,S)表示目标平移变量y和目标尺度改变s组成的输出变量的结构；预测函数用于预测输入的视频图像帧中目标的位置和尺度；

1.3)根据间隔最大化方法将求解判定函数转换为求解下式：

$\begin{array}{cc}\underset{w}{\min }& \frac{1}{2}\left|\right|w|{|}^2+\frac{C}{n}\underset{i=1}{\overset{n}{\&Sigma;}}{\mathrm{\&epsiv;}}_i\\ s.t.& \&ForAll;i:{\mathrm{\&epsiv;}}_i>0\\ & \&ForAll;i,\&ForAll;j,\&ForAll;y\&NotEqual;y_i:<w,\mathrm{\&Phi;}(x_i,y_i,s_j)-\mathrm{\&Phi;}(x_i,y,s)>\&GreaterEqual;\mathrm{\&Delta;}(y_i,s_j;y,s)-{\mathrm{\&epsiv;}}_i\end{array}$

其中n代表SV中支持向量的个数，C代表松弛因子，ε_i代表松弛变量，s.t.表示约束条件，表示i是视频序列中的任意一帧图像，可以取得[1，N]之间的任意值，表示j是视频序列中的任意一帧图像，可以取得[1，N]之间的任意值，代表损失函数，表示图像块T(x_i,y_i,s_j)与T(x_i,y,s)之间的相似度，计算时使用两个图像块每个像素灰度值的集合；

1.4)定义梯度函数g＝-Δ(y,s；y_j,s_j)-F(x,y,s)。

步骤2，对视频序列进行预处理。

2.1)读入原始视频序列V中所有图像，按照V中原始顺序将其每一帧图像裁剪为统一大小的图像帧存入裁剪后的视频序列V°；裁剪图像帧为统一大小，一方面可降低图像的分辨率从而减小计算量，加快处理速度，另一方面可以将不同图像帧统一为同一坐标系从而统一参考标准；

2.2)设置支持向量结合SV，并将其初始化为空集合；

2.3)将入裁剪后的视频序列V°中第i帧图像表示为F_i，1≤i≤N，N表示V°中图像的总帧数；读入V°中第1帧图像F₁及其目标位置x₁，并令i＝1。

步骤3，更新结构化支持向量机。

3.1)在第i帧图像F_i中，以第i帧图片的目标位置x_i为中心，设置第i帧图片中目标面积的nA倍为采样区域A_1i，本实例取nA为9～25；

3.2)在采样区域A_1i中，以x_i所在位置为圆心，等间隔设置nC个采样圆，在每个采样圆上等间隔设置nK个采样点，本实例取nC为3～5，取nK为8～12；将采样点相对于x_i的平移设为设置采样框尺度s₁,s₂…s_j…s_l为相同的尺度大小，其中l为采样框的总个数，1≤j≤l，由此可得一组采样位置集合：

$(Y^u,S)=\left\{\right(y_1^u,s_1),(y_2^u,s_2)...(y_j^u,s_j)...(y_l^u,s_l\left)\right\};$

3.3)按照(Y^u,S)中给出的采样位置对第i帧图像F_i中对应位置的图像块进行采样，得到采样集合 $S_{1i}=\{(x_i,y_1^u,s_1),(x_i,y_2^u,s_2)...(x_i,y_j^u,s_j)...(x_i,y_l^u,s_l)\};$

3.4)对采样集合S_1i中所有采样样本按照已有的特征提取方法例如哈尔特征、灰度特征等分别进行样本特征提取，本实例使用了哈尔特征，把特征向量存储到特征向量集合F_1i中对应的位置；

3.5)将特征向量集合F_1i中的特征向量分别带入梯度函数g中计算，选择使g最小的特征向量作为负支持向量svn_i，选择x_i位置处的样本对应的特征向量作为正的支持向量svp_i，并将该svn_i和svp_i添加到支持向量集合SV；

3.6)利用支持向量集合SV，按照已有求解凸二次优化方法例如SMO方法、梯度下降法、切平面法等求解1.3)中转换后的判定函数，本实例使用梯度下降法，求出判定函数的参数向量w，将该参数向量w代入公式：F(x,y,s)＝<w,Φ(x,y,s)>，获得重新求解的判定函数F(x,y,s)；

3.7)利用重新求解的判定函数F(x,y,s)重新计算结构化输出预测函数：得到结构化支持向量机的输出变量(y,s)，y表示目标的平移，s表示目标的尺度变换，把(y,s)添加到输出变量的组合(Y,S)中，完成对输出变量组合(Y,S)的更新；

3.8)用重新求解的判定函数F(x,y,s重)新计算梯度函数：g＝-Δ(y,s；y_j,s_j)-F(x,y,s)，选择使g最小的特征向量作为负支持向量svn_j，选择x_i位置处的样本所对应的特征向量作为正的支持向量svp_j，再将svn_j和svp_j添加到支持向量集合SV，完成对支持向量集合SV的更新。

步骤4，对目标进行粗跟踪。

4.1)从裁剪后的视频序列V°中读入第i+1帧图像F_i+1，为预测第i+1帧图像F_i+1目标位置做准备。

4.2)在第i+1帧图像F_i+1中，以x_i所在位置为中心，设置第i帧图像中目标面积的nA′倍的区域为采样区域A_2i，本实例取nA′为25～49；

4.3)在采样区域A_2i中，以x_i所在位置为圆心，等间隔设置nC′个采样圆，将采样框尺度s₁,s₂…s_j…s_m设置为第i帧图像F_i中目标的尺度大小，在每个采样圆上等间隔设置nK′个采样点，采样点相对于x_i的平移设置为其中m为采样的总个数，1≤j≤m，由此得到一组采样位置集合 $(Y^r,S)=\left\{\right(y_1^r,s_1),(y_2^r,s_2)...(y_j^r,s_j)...(y_m^r,s_m\left)\right\},$ 本实例取nC′为4～8，取nK′为12～16；

4.4)按照位置集合(Y^r,S)中给出的采样位置对第i+1帧图像F_i+1中对应位置图像块采样，得到采样集合： $S_{2i}=\{(x_i,y_1^r,s_1),(x_i,y_2^r,s_2)...(x_i,y_j^r,s_j)...(x_i,y_l^r,s_l)\};$

4.5)对采样集合S_2i中所有采样样本按照已有的特征提取方法例如哈尔特征、灰度特征等分别进行样本特征提取，本实例使用了哈尔特征，把特征向量存储到特征向量集合F_2i中对应的位置；

4.6)将特征向量集合F_2i中的每一个特征向量分别带入判定函数F(x,y,s)＝<w,Φ(x,y,s)>，根据得到使F(x,y,s)最大的特征向量Φ(x_i,y′,s′)对应的平移和尺度变换向量(y′,s′)；

4.7)根据第i帧图像的目标位置x_i和4.6)中得到的平移和尺度变换向量(y′,s′)，得到F_i+1中目标粗略位置：x_i+1′＝x_iοy′οs′，其中ο表示向量之间的相加运算。

步骤5，对目标进行精跟踪。

5.1)在第i+1帧图像F_i+1中，以第i帧图像目标位置x_i为中心，设置第i帧图像中目标面积的nA″倍的区域为采样区域A_3i，本实例取nA″为9～25；

5.2)在采样区域A_3i中，设s₁的大小为x_i+1′，以s₁的大小为中心，以一个像素的间隔设置k个尺度的采样框s₁,s₂…s_p…s_k，k表示设置的尺度的总个数，1≤p≤k，k取值为10～20；在采样区域A_3i中对每种尺度s_p的采样框每次平移一个像素，得到一组平移位置：其中m表示同一种跟踪框大小下不同位置的跟踪框的个数，1≤q≤m，m＞＞l，由此可得一组位置集合：

5.3)按照位置集合(Y^a,S)集合给出的位置在第i+1帧图像F_i+1对应位置上进行采样，得到采样集合：

其中m表示每一种尺度大小的跟踪框的个数，1≤q≤m，m＞＞l；

5.4)对采样区域中所有采样样本按照已有的特征提取方法例如哈尔特征、灰度特征等分别进行样本特征提取，本实例使用了哈尔特征，把特征向量存储到特征向量集合F_3i中对应的位置；

5.5)将特征向量集合F_3i中的每一个特征向量分别带入判定函数：F(x,y,s)＝<w,Φ(x,y,s)>，根据得到使F(x,y,s)最大的特征向量Φ(x_i+1′,y″,s″)对应的平移和尺度变换向量(y″,s″)；

5.6)根据4.7)中得到的目标粗略位置x_i+1′和5.5)中得到的平移和尺度变换向量(y″,s″)，得到F_i+1中目标精确位置：x_i+1＝x_i+1′οy″οs″。

步骤6：结束判断

6.1)判断i+1是否等于视频帧数N，即判断第i+1帧图像是否为裁剪后的视频序列V中最后一帧图像，若是，则结束；否则，令i＝i+1，并返回步骤3。

以上描述仅是本发明的一个具体实例，并不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (5)

1.一种基于结构化支持向量机的自适应尺度目标跟踪方法，包括以下步骤：

(1)建立结构化支持向量机模型:其中(Y,S)表示y和s组成的输出变量的组合，x表示目标的位置，y表示目标的平移，s表述目标的尺度变化，F(x,y,s)代表判定函数；

(2)将视频序列V中所有图像帧裁剪为统一大小，得到视频序列V°，将该视频序列V°中的第i帧图像表示为F_i，1≤i≤N，N为V°中图像的总帧数；

(3)令i＝1，读入V°的第一帧图像F₁及其目标的位置x₁，得到第一帧图像目标的特征向量Φ(x₁,y,s)，初始化结构化支持向量机和向量集合SV；

(4)更新结构化支持向量机：

(4a)假设第i帧图像的目标位置为x_i，以目标位置x_i为中心对F_i进行采样，得到一个采样集合S_1i；

(4b)对S_1i中所有采样样本分别进行样本特征提取，得到样本特征向量集合F_1i；

(4c)定义度量函数g＝-Δ(y,s；y_i,s_i)-F(x,y,s)，将F_1i中特征向量分别带入g中，选择使g最小的特征向量作为负支持向量svn_i，选择x_i位置处的样本为正的支持样本svp_i，将svn_i和svp_i添加到支持向量集合SV，其中Δ(y,s；y_i,s_i)表示损失函数；

(4d)定义判定函数为:F(x,y,s)＝<w,Φ(x,y,s)>，其中Φ(x,y,s)表示目标的特征向量，其中w为判定函数的参数向量，<,>表示内积运算；

(4e)将判定函数F(x,y,s)＝<w,Φ(x,y,s)>转化为以下形式，

$\underset{w}{min}\frac{1}{2}\left|\right|w|{|}^2+\frac{C}{n}\underset{i=1}{\overset{n}{\&Sigma;}}{\mathrm{\&epsiv;}}_i$

$\begin{array}{cc}s.t.& \&ForAll;i:{\mathrm{\&epsiv;}}_i>0\end{array}$ 《1》

$\&ForAll;i,\&ForAll;j,\&ForAll;y\&NotEqual;y_i:<w,\mathrm{\&Phi;}(x_i,y_i,s_j)-\mathrm{\&Phi;}(x_i,y,s)>\&GreaterEqual;\mathrm{\&Delta;}(y_i,s_j;y,s)-{\mathrm{\&epsiv;}}_i$

其中n为当前支持向量集合SV中支持向量的个数，C代表松弛因子，ε_i代表松弛变量；

(4f)利用支持向量集合SV中的支持向量求解式《1》，得到判定函数的参数向量w，求出判定函数F(x,y,s)，得到结构化支持向量机的输出变量y和s，把(y,s)添加到输出变量的组合(Y,S)中，其中

(5)读入V°的第i+1帧图像F_i+1；

(6)预测F_i+1中目标的大致位置:

(6a)以x_i为中心对F_i+1进行采样，得到一个采样集合S_2i；

(6b)对S_2i中每一个样本分别进行样本特征提取，得到一个特征向量的集合F_2i；

(6c)将F_2i中的每一个特征向量分别带入判定函数F(x,y,s)＝<w,Φ(x,y,s)>，根据得到使F(x,y,s)最大的特征向量Φ(x_i,y′,s′)对应的平移和尺度变换向量(y′,s′)；

(6d)根据第i帧图像的目标位置x_i和(6c)中得到的平移和尺度变换向量(y′,s′)，得到F_i+1中目标粗略位置：x_i+1′＝x_iοy′οs′，其中ο表示向量之间的相加运算；

(7)预测第i+1帧图像F_i+1中目标的精确位置：

(7a)以x_i+1′为中心对F_i+1进行采样，得到一个采样集合S_3i；

(7b)对S_3i中每一个样本分别进行样本特征提取，得到一个特征向量的集合F_3i；

(7c)将F_3i中的每一个特征向量分别带入判定函数F(x,y,s)＝<w,Φ(x,y,s)>，根据得到使F(x,y,s)最大的特征向量Φ(x_i+1′,y″,s″)对应的平移和尺度变换向量(y″,s″)；

(7d)根据(6d)中得到的目标粗略位置x_i+1′和(7c)中得到的平移和尺度变换向量(y″,s″)，得到F_i+1中目标精确位置：x_i+1＝x_i+1′οy″οs″；

(8)判断F_i+1是否为最后一帧图像，若是，则结束；否则，令i＝i+1，返回步骤(4)。

2.根据权利要求1所述的方法，其中步骤(1a)中建立结构化支持向量机模型，按如下步骤进行：

(1a1)定义判定函数F为:F(x,y,s)＝<w,Φ(x,y,s)>，其中Φ(x,y,s)表示目标的特征向量，w为判定函数的参数向量，<,>表示内积运算；

(1a2)定义结构化输出预测函数：其中(Y,S)表示y和s组成的输出变量的组合。

3.根据权利要求1所述的方法，其中步骤(4a)中以目标位置x_i为中心对第i张图像F_i进行采样，得到一个采样集合S_1i，按如下步骤进行：

(4a1)在第i张图像F_i中，以目标位置x_i为圆心，等间隔设置一组采样圆，将采样框s₁,s₂…s_j…s_l的尺度全部设置为相同大小，在每个采样圆上等间隔设置一组采样位置 $(Y^u,S)=\{(y_1^u,s_1),(y_2^u,s_2)...(y_j^u,s_j)...(y_l^u,s_l)\},$ 其中l为采样框的总个数，1≤j≤l，代表相对于x_i位置的平移向量，s_j为第j个采样框；

(4a2)按照设置的采样位置(Y^u,S)对第i张图像F_i中对应的位置图像块采样，得到采样集合 $S_{1i}=\{(x_i,y_1^u,s_1),(x_i,y_2^u,s_2)...(x_i,y_j^u,s_j)...(x_i,y_l^u,s_l)\}.$

4.根据权利要求1所述的方法，其中步骤(6a)所述的以x_i为中心对第i+1帧图像F_i+1进行采样，得到一个采样集合S_2i按如下步骤进行：

(4a1)在第i+1张图像F_i+1中，以x_i所在位置为圆心，等间隔设置一组采样圆，将采样框s₁,s₂…s_j…s_l的尺度全部设置为相同大小，在每个采样圆上等间隔设置一组采样位置 $(Y^r,S)=\{(y_1^r,s_1),(y_2^r,s_2)...(y_j^r,s_j)...(y_l^r,s_l)\},$ 其中l为采样框的总个数，1≤j≤l，代表相对于x_i位置的平移向量，s_j为第j个采样框；

(4a2)按照上述(Y^r,S)中给出的采样位置对第i+1张图像F_i+1中对应位置图像块采样，得到采样集合 $S_{2i}=\{(x_i,y_1^r,s_1),(x_i,y_2^r,s_2)...(x_i,y_j^r,s_j)...(x_i,y_l^r,s_l)\}.$

5.根据权利要求1所述的方法，其中步骤(7a)所述的以x_i+1′为中心对第i+1张图像F_i+1进行采样，得到一个采样集合S_3i，按如下步骤进行：

(7a1)在第i+1张图像F_i+1中，以x_i+1′为参考，设置一组采样框s₁,s₂…s_p…s_k，采样框的尺度设置为不同大小；以x_i+1′所在位置为中心，对每一种尺度s_p的采样框设置一组平移位置得一组位置集合：

$\left(Y^a,S\right)=\begin{array}{c}\{\\ \left(y_{11}^a,s_1\right),\left(y_{12}^a,s_1\right)...\left(y_{1q}^a,s_1\right)...\left(y_{1m}^a,s_1\right);\\ \left(y_{21}^a,s_2\right),\left(y_{22}^a,s_2\right)...\left(y_{2q}^a,s_2\right)...\left(y_{2m}^a,s_2\right);\\ \begin{array}{c}.\\ .\\ .\end{array}\\ \left(y_{p1}^a,s_p\right),\left(y_{p2}^a,s_j\right)...\left(y_{pq}^a,s_p\right)...\left(y_{pm}^a,s_p\right);\\ \begin{array}{c}.\\ .\\ .\end{array}\\ \left(y_{k1}^a,s_k\right),\left(y_{k2}^a,s_k\right)...\left(y_{kq}^a,s_k\right)...\left(y_{km}^a,s_k\right);\\ \};\end{array}$

其中，k表示设置的尺度的总个数，1≤p≤k，m表示同采样框大小下不同位置的采样框的个数，1≤q≤m，m>>l；

(7a2)按照(Y^a,S)集合给出的位置在第i+1张图像F_i+1对应位置上进行采样，得到采样集合 $S_{3i}=\begin{array}{c}\{\\ \left({x_{i+1}}^{\&prime;},y_{11}^a,s_1\right),\left({x_{i+1}}^{\&prime;},y_{12}^a,s_1\right)...\left({x_{i+1}}^{\&prime;},y_{1q}^a,s_1\right)...\left({x_{i+1}}^{\&prime;},y_{1m}^a,s_1\right);\\ \left({x_{i+1}}^{\&prime;},y_{21}^a,s_2\right),\left({x_{i+1}}^{\&prime;},y_{22}^a,s_2\right)...\left({x_{i+1}}^{\&prime;},y_{2q}^a,s_2\right)...\left({x_{i+1}}^{\&prime;},y_{2m}^a,s_2\right);\\ \begin{array}{c}.\\ .\\ .\end{array}\\ \left({x_{i+1}}^{\&prime;},y_{p1}^a,s_p\right),\left({x_{i+1}}^{\&prime;},y_{p2}^a,s_j\right)...\left({x_{i+1}}^{\&prime;},y_{pq}^a,s_p\right)...\left({x_{i+1}}^{\&prime;},y_{pm}^a,s_p\right);\\ \begin{array}{c}.\\ .\\ .\end{array}\\ \left({x_{i+1}}^{\&prime;},y_{k1}^a,s_k\right),\left({x_{i+1}}^{\&prime;},y_{k2}^a,s_k\right)...\left({x_{i+1}}^{\&prime;},y_{kq}^a,s_k\right)...\left({x_{i+1}}^{\&prime;},y_{km}^a,s_k\right);\\ \}.\end{array}$