CN103996210A - 基于像素点光流的图像序列运动直线筛选跟踪方法 - Google Patents

Abstract

本发明公开了一种基于像素点光流的图像序列运动直线筛选跟踪方法，利用摄像机拍摄一组连续的图像序列；计算出两帧图像序列间的稠密光流场；根据图像直线的法线式表示方法，推导出直线上点光流与直线光流的对应关系式；基于像素点光流的运动直线筛选；基于预测机制的运动直线跟踪。本发明能够根据图像序列像素点光流筛选图像中感兴趣的运动直线，剔除图像中的背景直线；根据运动直线筛选结果对当前图像和下一帧图像中运动直线进行跟踪，具有较高的筛选跟踪精度与鲁棒性。

Description

基于像素点光流的图像序列运动直线筛选跟踪方法

技术领域

本发明涉及一种运动直线筛选跟踪方法，特别是利用图像序列像素点光流的运动直线筛选跟踪方法。

背景技术

图像序列直线特征的跟踪、匹配是计算机视觉研究中的一个重要研究内容，其主要目的是将两幅或多幅图像中的直线特征建立对应关系，为基于图像的目标识别、三维重建等研究奠定基础。

传统的图像序列直线跟踪、匹配方法是尽可能多的匹配到不同图像间的对应直线特征，但匹配结果中常常包含了目标运动物体或场景表面以外的背景直线，这导致直线跟踪、匹配结果无法满足实际需求，通常需要人为地对背景直线进行剔除，以得到感兴趣的运动直线跟踪、匹配结果。

发明内容

本发明的目的是提供一种图像序列运动直线筛选跟踪方法，能准确地筛选出图像中运动物体或场景表面的运动直线；能跟踪图像序列中的运动直线，并得出图像序列运动直线跟踪结果。

为了解决上述技术问题，本发明采取以下技术方案，基于像素点光流的图像序列运动直线筛选跟踪方法，其步骤如下：

1)利用摄像机拍摄一组连续的图像序列；

2)计算出两帧图像序列间的稠密光流场；

3)根据图像直线的法线式表示方法，推导出直线上点光流与直线光流的对应关系式：

(ycosθ-xsinθ)θ′-ρ′+ucosθ+vsinθ＝0      (1)

式(1)中，(u,v)^T是直线上点(x,y)^T处的点光流矢量值。(ρ,θ)^T和(ρ',θ')^T是直线的坐标和直线光流，根据式(1)，得出直线光流与直线上点光流的以下对应关系：

A：当直线上各像素点的点光流矢量均为零时，直线光流为零；

B：当直线上各像素点的点光流不为零时，直线光流不为零；

C:当直线仅包含平移运动，且运动方向与直线方向相同时，直线上各点的点光流矢量不为零，但直线光流等于零；

4)基于像素点光流的运动直线筛选；首先，根据点线光流对应关系构造一个二元方程组函数为：

$f_{i,i+1}({\mathrm{\ρ}}^{\′},{\mathrm{\θ}}^{\′})=\left\{\begin{array}{c}(y_i\cos \mathrm{\θ}-x_i\sin \mathrm{\θ}){\mathrm{\θ}}^{\′}-{\mathrm{\ρ}}^{\′}+u_i\cos \mathrm{\θ}+v_i\sin \mathrm{\θ}=0\\ (y_{i+1}\cos \mathrm{\θ}-x_{i+1}\sin \mathrm{\θ}){\mathrm{\θ}}^{\′}-{\mathrm{\ρ}}^{\′}+u_{i+1}\cos \mathrm{\θ}+v_{i+1}\sin \mathrm{\θ}=0\end{array}\right.---\left(2\right)$

式中，i表示直线上第i个像素点；根据式(2)，由直线上相邻两点的点光流值可以计算出直线光流(ρ',θ')^T；假设直线总共包含n个像素点，则直线光流估计方程为：

$(\stackrel{\‾}{{\mathrm{\ρ}}^{\′}},\stackrel{\‾}{{\mathrm{\θ}}^{\′}})=\frac{1}{n-1}\underset{i}{\overset{n-1}{\mathrm{\Σ}}}{f}_{i,i+1}({\mathrm{\ρ}}^{\′},{\mathrm{\θ}}^{\′})---\left(3\right)$

式(3)中，是根据均值滤波方法计算得到的直线光流估计值；得到直线光流估计值后，引入直线光流阈值(ρ_κ,θ_κ)^T，对直线光流估计值进行筛选，具体操作如下：

式(4)中，直线光流阈值(ρ_κ,θ_κ)^T根据图像中所有直线光流估计值的均值设定；

5)基于预测机制的运动直线跟踪；筛选出两帧图像间直线光流不为零的直线后，由第一帧图像直线坐标(ρ_t,θ_t)^T和直线光流估计值，计算出该直线在第二帧图像中的预测坐标

${({\mathrm{\ρ}}_{t+\mathrm{\Δt}}^C,{\mathrm{\θ}}_{t+\mathrm{\Δt}}^C)}^T={({\mathrm{\ρ}}_t+{\mathrm{\ρ}}^{\′},{\mathrm{\θ}}_t+{\mathrm{\θ}}^{\′})}^T---\left(5\right)$

计算得到第一帧图像中所有运动直线在第二帧图像中的预测位置后，首先，采用Hough变换提取出第二帧图像中所有直线的真实位置坐标(ρ_t+Δt,θ_t+Δt)^T，然后，利用第二帧图像直线预测位置坐标和直线真实坐标(ρ_t+Δt,θ_t+Δt)^T进行直线匹配；引入欧几里德距离(Euclidean distance)，其描述n维空间的中两点的真实距离；将其引入到Hough域中表示为：

$d=\sqrt{{({\mathrm{\ρ}}_{t+\mathrm{\Δt}}^C-{\mathrm{\ρ}}_{t+\mathrm{\Δt}})}^2+{({\mathrm{\θ}}_{t+\mathrm{\Δt}}^C-{\mathrm{\θ}}_{t+\mathrm{\Δt}})}^2}---\left(6\right)$

基于预测机制的运动直线跟踪的具体操作流程如下：

Step1.假设根据点光流得到的第二帧图像预测直线总条数为n，首先根据Hough空间量化间隔设定匹配窗口的大小为Δρ×Δθ，(Δρ,Δθ)分别表示窗口的长度和宽度；

Step2.取第i条直线的预测坐标为匹配窗口的中心位置，对第二帧图像所有直线的真实坐标进行遍历，则匹配过程包含以下几种情况：

a).当匹配窗口内不包含第二帧图像直线的真实坐标时，匹配不成功，删除第i条直线的预测坐标，转至Step3；

b).当匹配窗口内只包含一条第二帧图像直线的真实坐标，匹配成功，转至Step3；

c).当匹配窗口内包含多条第二帧图像直线的真实坐标，计算预测直线坐标与各真实直线坐标的欧氏距离d，取欧氏距离最小的真实直线坐标作为匹配直线，即m表示匹配窗口内直线真实坐标的个数；匹配成功，转至Step3；

Step3.if i＜n，则i＝i+1，转至Step2；

Step4.结束。

本发明的有益效果在于：可以更有针对性地对图像序列中运动物体或场景表面的直线特征进行筛选跟踪，能够较好地剔除图像中的背景直线，为下一步的运动目标三维重建奠定基础，同时，具有较高的筛选跟踪精度与鲁棒性。

附图说明

图1是机械零件图像序列第1、2帧示意图，图中虚线表示机械零件第1帧时的位置，实线表示机械零件第2帧时的位置，背景区域包含多个静止物体。

图2是第1帧和第2帧机械零件图像序列间的稠密光流场图。

图3是采用Hough直线检测方法提取到的第1帧机械零件图像序列的直线特征图。

图4是第1帧机械零件图像序列的直线的Hough坐标图。

图5是第1帧机械零件图像序列的运动直线筛选结果图。

图6是第1帧机械零件图像序列的运动直线的Hough坐标图。

图7是采用Hough直线检测方法提取到的第2帧机械零件图像序列的直线特征图。

图8是第2帧机械零件图像序列的直线的Hough坐标图。

图9是机械零件图像序列运动直线跟踪、匹配结果图。

具体实施方式

以下结合附图对本发明作进一步说明。参见图1至图9，基于像素点光流的图像序列运动直线筛选跟踪方法，其步骤如下：

1)利用摄像机拍摄一组连续的图像序列；

2)计算出两帧图像序列间的稠密光流场；

3)根据图像直线的法线式表示方法，推导出直线上点光流与直线光流的对应关系式：

(ycosθ-xsinθ)θ′-ρ′+ucosθ+vsinθ＝0      (1)

式(1)中，(u,v)^T是直线上点(x,y)^T处的点光流矢量值。(ρ,θ)^T和(ρ',θ')^T是直线的坐标和直线光流，根据式(1)，得出直线光流与直线上点光流的以下对应关系：

A：当直线上各像素点的点光流矢量均为零时，直线光流为零；

B：当直线上各像素点的点光流不为零时，直线光流不为零；

C:当直线仅包含平移运动，且运动方向与直线方向相同时，直线上各点的点光流矢量不为零，但直线光流等于零；

4)基于像素点光流的运动直线筛选；首先，根据点线光流对应关系构造一个二元方程组函数为：

$f_{i,i+1}({\mathrm{\ρ}}^{\′},{\mathrm{\θ}}^{\′})=\left\{\begin{array}{c}(y_i\cos \mathrm{\θ}-x_i\sin \mathrm{\θ}){\mathrm{\θ}}^{\′}-{\mathrm{\ρ}}^{\′}+u_i\cos \mathrm{\θ}+v_i\sin \mathrm{\θ}=0\\ (y_{i+1}\cos \mathrm{\θ}-x_{i+1}\sin \mathrm{\θ}){\mathrm{\θ}}^{\′}-{\mathrm{\ρ}}^{\′}+u_{i+1}\cos \mathrm{\θ}+v_{i+1}\sin \mathrm{\θ}=0\end{array}\right.---\left(2\right)$

式中，i表示直线上第i个像素点；根据式(2)，由直线上相邻两点的点光流值可以计算出直线光流(ρ',θ')^T；假设直线总共包含n个像素点，则直线光流估计方程为：

$(\stackrel{\‾}{{\mathrm{\ρ}}^{\′}},\stackrel{\‾}{{\mathrm{\θ}}^{\′}})=\frac{1}{n-1}\underset{i}{\overset{n-1}{\mathrm{\Σ}}}{f}_{i,i+1}({\mathrm{\ρ}}^{\′},{\mathrm{\θ}}^{\′})---\left(3\right)$

式(3)中，是根据均值滤波方法计算得到的直线光流估计值；得到直线光流估计值后，引入直线光流阈值(ρ_κ,θ_κ)^T，对直线光流估计值进行筛选，具体操作如下：

式(4)中，直线光流阈值(ρ_κ,θ_κ)^T根据图像中所有直线光流估计值的均值设定；

5)基于预测机制的运动直线跟踪；筛选出两帧图像间直线光流不为零的直线后，由第一帧图像直线坐标(ρ_t,θ_t)^T和直线光流估计值，计算出该直线在第二帧图像中的预测坐标

${({\mathrm{\ρ}}_{t+\mathrm{\Δt}}^C,{\mathrm{\θ}}_{t+\mathrm{\Δt}}^C)}^T={({\mathrm{\ρ}}_t+{\mathrm{\ρ}}^{\′},{\mathrm{\θ}}_t+{\mathrm{\θ}}^{\′})}^T---\left(5\right)$

计算得到第一帧图像中所有运动直线在第二帧图像中的预测位置后，首先，采用Hough变换提取出第二帧图像中所有直线的真实位置坐标(ρ_t+Δt,θ_t+Δt)^T，然后，利用第二帧图像直线预测位置坐标和直线真实坐标(ρ_t+Δt,θ_t+Δt)^T进行直线匹配；引入欧几里德距离(Euclidean distance)，其描述n维空间的中两点的真实距离；将其引入到Hough域中表示为：

$d=\sqrt{{({\mathrm{\ρ}}_{t+\mathrm{\Δt}}^C-{\mathrm{\ρ}}_{t+\mathrm{\Δt}})}^2+{({\mathrm{\θ}}_{t+\mathrm{\Δt}}^C-{\mathrm{\θ}}_{t+\mathrm{\Δt}})}^2}---\left(6\right)$

基于预测机制的运动直线跟踪具体操作流程如下：

Step1.假设根据点光流得到的第二帧图像预测直线总条数为n，首先根据Hough空间量化间隔设定匹配窗口的大小为Δρ×Δθ，(Δρ,Δθ)分别表示窗口的长度和宽度；

Step2.取第i条直线的预测坐标为匹配窗口的中心位置，对第二帧图像所有直线的真实坐标进行遍历，则匹配过程包含以下几种情况：

d).当匹配窗口内不包含第二帧图像直线的真实坐标时，匹配不成功，删除第i条直线的预测坐标，转至Step3；

e).当匹配窗口内只包含一条第二帧图像直线的真实坐标，匹配成功，转至Step3；

f).当匹配窗口内包含多条第二帧图像直线的真实坐标，计算预测直线坐标与各真实直线坐标的欧氏距离d，取欧氏距离最小的真实直线坐标作为匹配直线，即m表示匹配窗口内直线真实坐标的个数；匹配成功，转至Step3；

Step3.if i＜n，则i＝i+1，转至Step2；

Step4.结束。

以下列举本发明的一个较佳实施方式：基于像素点光流的图像序列运动直线筛选跟踪方法，以机械零件平移运动图像序列为例，具体步骤如下：

1.如图1所示，在三维空间内放置一个机械零件H，令其沿X、Z轴正方向作平移运动，在背景区域包含若干静止物体S；

2.计算出这两帧图像序列间的稠密光流场，如图2所示；

3.采用Hough直线检测方法对第一帧图像中直线特征进行提取，结果如图3、4所示。图中除机械零件H表面直线外包含较多静止物体S背景直线。

4.采用基于点光流的运动直线筛选方法，首先根据式(2)和式(3)计算出第一帧图像直线提取结果中各直线的预测直线光流，根据预测直线光流均值设定直线光流阈值为(ρ_κ＝1,θ_κ＝0.05)^T，采用式(4)对第一帧图像中的运动直线进行筛选，则第一帧图像中的运动直线筛选结果如图5、6所示，可以看出，经过直线光流筛选后，图像中的干扰直线被完全剔除。

5.采用Hough直线检测方法对第二帧图像中直线特征进行提取，结果如图7、8所示。

6.采用基于预测机制的运动直线跟踪方法，首先根据式(5)利用第一帧直线坐标和直线光流预测结果，计算出各条运动直线的第二帧预测坐标及第二帧图像直线特征真实坐标，如图9所示。设定运动直线预测坐标的跟踪匹配窗口大小为0.2×20，利用式(6)首先计算中跟踪匹配窗口内各第二帧图像直线真实坐标与运动直线预测坐标的欧氏距离，根据基于预测机制的运动直线跟踪具体操作流程共匹配得到6条对应直线。

Claims (1)

1.基于像素点光流的图像序列运动直线筛选跟踪方法，其特征在于：

1)利用摄像机拍摄一组连续的图像序列；

2)计算出两帧图像序列间的稠密光流场；

3)根据图像直线的法线式表示方法，推导出直线上点光流与直线光流的对应关系式：

(ycosθ-xsinθ)θ′-ρ′+ucosθ+vsinθ＝0      (1)

式(1)中，(u,v)^T是直线上点(x,y)^T处的点光流矢量值。(ρ,θ)^T和(ρ',θ')^T是直线的坐标和直线光流，根据式(1)，得出直线光流与直线上点光流的以下对应关系：

A：当直线上各像素点的点光流矢量均为零时，直线光流为零；

B：当直线上各像素点的点光流不为零时，直线光流不为零；

C:当直线仅包含平移运动，且运动方向与直线方向相同时，直线上各点的点光流矢量不为零，但直线光流等于零；

4)基于像素点光流的运动直线筛选；首先，根据点线光流对应关系构造一个二元方程组函数为：

$f_{i,i+1}({\mathrm{\ρ}}^{\′},{\mathrm{\θ}}^{\′})=\left\{\begin{array}{c}(y_i\cos \mathrm{\θ}-x_i\sin \mathrm{\θ}){\mathrm{\θ}}^{\′}-{\mathrm{\ρ}}^{\′}+u_i\cos \mathrm{\θ}+v_i\sin \mathrm{\θ}=0\\ (y_{i+1}\cos \mathrm{\θ}-x_{i+1}\sin \mathrm{\θ}){\mathrm{\θ}}^{\′}-{\mathrm{\ρ}}^{\′}+u_{i+1}\cos \mathrm{\θ}+v_{i+1}\sin \mathrm{\θ}=0\end{array}\right.---\left(2\right)$

式中，i表示直线上第i个像素点；根据式(2)，由直线上相邻两点的点光流值可以计算出直线光流(ρ',θ')^T；假设直线总共包含n个像素点，则直线光流估计方程为：

$(\stackrel{\‾}{{\mathrm{\ρ}}^{\′}},\stackrel{\‾}{{\mathrm{\θ}}^{\′}})=\frac{1}{n-1}\underset{i}{\overset{n-1}{\mathrm{\Σ}}}{f}_{i,i+1}({\mathrm{\ρ}}^{\′},{\mathrm{\θ}}^{\′})---\left(3\right)$

式(3)中，是根据均值滤波方法计算得到的直线光流估计值；得到直线光流估计值后，引入直线光流阈值(ρ_κ,θ_κ)^T，对直线光流估计值进行筛选，具体操作如下：

式(4)中，直线光流阈值(ρ_κ,θ_κ)^T根据图像中所有直线光流估计值的均值设定；

5)基于预测机制的运动直线跟踪；筛选出两帧图像间直线光流不为零的直线后，由第一帧图像直线坐标(ρ_t,θ_t)^T和直线光流估计值，计算出该直线在第二帧图像中的预测坐标

${({\mathrm{\ρ}}_{t+\mathrm{\Δt}}^C,{\mathrm{\θ}}_{t+\mathrm{\Δt}}^C)}^T={({\mathrm{\ρ}}_t+{\mathrm{\ρ}}^{\′},{\mathrm{\θ}}_t+{\mathrm{\θ}}^{\′})}^T---\left(5\right)$

计算得到第一帧图像中所有运动直线在第二帧图像中的预测位置后，首先，采用Hough变换提取出第二帧图像中所有直线的真实位置坐标(ρ_t+Δt,θ_t+Δt)^T，然后，利用第二帧图像直线预测位置坐标和直线真实坐标(ρ_t+Δt,θ_t+Δt)^T进行直线匹配；引入欧几里德距离(Euclidean distance)，其描述n维空间的中两点的真实距离；将其引入到Hough域中表示为：

$d=\sqrt{{({\mathrm{\ρ}}_{t+\mathrm{\Δt}}^C-{\mathrm{\ρ}}_{t+\mathrm{\Δt}})}^2+{({\mathrm{\θ}}_{t+\mathrm{\Δt}}^C-{\mathrm{\θ}}_{t+\mathrm{\Δt}})}^2}---\left(6\right)$

基于预测机制的运动直线跟踪的具体操作流程如下：

Step1.假设根据点光流得到的第二帧图像预测直线总条数为n，首先根据Hough空间量化间隔设定匹配窗口的大小为Δρ×Δθ，(Δρ,Δθ)分别表示窗口的长度和宽度；

Step2.取第i条直线的预测坐标为匹配窗口的中心位置，对第二帧图像所有直线的真实坐标进行遍历，则匹配过程包含以下几种情况：

a).当匹配窗口内不包含第二帧图像直线的真实坐标时，匹配不成功，删除第i条直线的预测坐标，转至Step3；

b).当匹配窗口内只包含一条第二帧图像直线的真实坐标，匹配成功，转至Step3；

c).当匹配窗口内包含多条第二帧图像直线的真实坐标，计算预测直线坐标与各真实直线坐标的欧氏距离d，取欧氏距离最小的真实直线坐标作为匹配直线，即m表示匹配窗口内直线真实坐标的个数；匹配成功，转至Step3；

Step3.if i＜n，则i＝i+1，转至Step2；

Step4.结束。