CN101697236B - 基于智能优化算法的直线光流场三维重建方法 - Google Patents

Abstract

一种基于智能优化算法的直线光流场三维重建方法，其特征是重建方法为：使用一个固定摄像机拍摄场景中物体至少连续三帧的图像，形成图像序列，提取场景中物体的直线轮廓，以直线作为特征；在透视投影模型下，推导出在3D空间中运动刚体的直线轮廓运动参数与其投影图像上二维直线的光流场之间的关系，并用直线光流方程组表达了这种关系，建立三维重建算法的物理模型和数学模型。本发明的优点是：能快速实现场景中有直线轮廓物体的三维重建和运动目标分割；能有效解决三维重建算法的鲁棒性问题；能有效解决场景遮挡边界处的重建问题；能有效提高三维重建的精度。

Description

基于智能优化算法的直线光流场三维重建方法

技术领域

本发明涉及一种直线光流场三维重建方法，尤其涉及一种基于智能优化算法的直线光流场三维重建方法。

背景技术

现实世界是三维的，长久以来由于受到科学技术发展水平的限制，我们所能够得到并能对之进行有效处理及分析的绝大多数是二维数据，使得大量的物体的三维信息丢失。随着计算机技术的发展，人们对信息的获取已经从传统的二维平面图像，转向了三维立体图像。近年来，基于光流场的三维重建方法得到快速发展，但传统的方法存在两个致命问题：一是基于象素点光流场重建三维运动和结构，不仅抽象层次低，而且计算效率差，尤其不能解决场景遮挡边界处的重建问题；二是三维重建的方法的计算精度不高，鲁棒性很差，经常得不到正确的结果。因此基于智能优化算法的直线光流场三维重建方法得到了很多关注。

将智能优化算法和直线光流场三维重建方法结合起来，完成场景的三维重建是一种有效的技术手段。本方法能快速实现场景中有直线轮廓物体的三维重建和运动目标分割；能有效解决三维重建算法的鲁棒性问题；能有效解决场景遮挡边界处的重建问题；能有效提高三维重建的精度。

发明内容

本发明的目的在于提供一种基于智能优化算法的直线光流场三维重建方法。

本发明是这样来实现的，其特征是重建方法为：使用一个固定摄像机拍摄场景中物体至少连续三帧的图像，形成图像序列，提取场景中物体的直线轮廓，以直线作为特征；在透视投影模型下，推导出在3D空间中运动刚体的直线轮廓运动参数与其投影图像上二维直线的光流场之间的关系，并用直线光流方程组表达了这种关系，建立三维重建算法的物理模型和数学模型；利用BP神经网络、线性神经网络、遗传算法、蚁群算法或最小粒子群算法优化算法求解上述建立的直线光流场方程组，上述优化算法均采用递归迭代方法，根据上述优化算法各自的特点设计输入、输出和中间层，优化三维刚体运动和结构参数，采用C++语言或Matlab语言编写算法的软件，在计算机上实现上述算法，分析比较算法的优点和特点，并用仿真实验和真实实验验证算法的有效性和计算效率，从而实现了基于智能优化算法的直线光流场三维重建系统。

本发明的优点是：能快速实现场景中有直线轮廓物体的三维重建和运动目标分割；能有效解决三维重建算法的鲁棒性问题；能有效解决场景遮挡边界处的重建问题；能有效提高三维重建的精度。

附图说明

图1为本发明的机械零件模型及边缘检测图像。

图2为本发明的机械零件底座直线重建图。

具体实施方式

将机械零件放在可以旋转和平移的平台上，给定以很小的旋转和平移量在水平空间运动，以单目摄像机获取零件运动的三帧图像。图1为边缘检测结果。实验环境设定空间坐标系Y轴与水平面垂直，帧间角度旋转3°，帧间位移沿Z轴2毫米，摄像机焦距f＝300，拍摄的视频格式采用国际标准NTSC制式，即每秒30帧，图像分辨率采用800×600。由初始设定的旋转角度，平移量，可以算出机械零件的旋转参数约为ω₁＝ω₃＝0，ω₂＝0.0522弧度/帧，沿Z轴平移速度约为t₃＝6像素/帧。

对机械零件底座结构进行直线的提取和匹配，跟踪匹配得到6条直线。可计算得到直线的光流数据如表所列。

表1机械零件底座直线光流数据

建立如下所示的基于直线光流场三维重建的数学模型。

$\left\{\begin{array}{c}{\mathrm{\ω}}_1(b^2+f^2)\cos \mathrm{\α}+{\mathrm{\ω}}_2{f}^2\sin \mathrm{\α}-{\mathrm{\ω}}_3\mathrm{bf}\sin \mathrm{\α}=-b^{\′}f\cos \mathrm{\α}\\ {\mathrm{\ω}}_{1}b\sin 2\mathrm{\α}-2{\mathrm{\ω}}_{2}b{\cos }^2\mathrm{\α}-2f{\mathrm{\ω}}_3=-2f{\mathrm{\α}}^{\′}\end{array}\right.---\left(1\right)$

$\left\{\begin{array}{c}{\mathrm{\ω}}_1[2b{b}^{\′}\cos \mathrm{\α}-(b^2+f^2){\mathrm{\α}}^{\′}\sin \mathrm{\α}]+{\mathrm{\ω}}_2{f}^2{\mathrm{\α}}^{\′}\cos \mathrm{\α}-{\mathrm{\ω}}_3(b^{\′}f\sin \mathrm{\α}+\mathrm{bf}{\mathrm{\α}}^{\′}\cos \mathrm{\α})\\ +{\mathrm{\ϵ}}_1(b^2+f^2)\cos \mathrm{\α}+{\mathrm{\ϵ}}_2{f}^2\sin \mathrm{\α}-{\mathrm{\ϵ}}_3\mathrm{bf}\sin \mathrm{\α}=b^{\′}f{\mathrm{\α}}^{\′}\sin \mathrm{\α}-b^{\′\′}f\cos \mathrm{\α}\\ {\mathrm{\ω}}_1(b^{\′}\sin 2\mathrm{\α}+2b{\mathrm{\α}}^{\′}\cos 2\mathrm{\α})-2{\mathrm{\ω}}_2(b^{\′}{\cos }^2\mathrm{\α}-b{\mathrm{\α}}^{\′}\sin 2\mathrm{\α})+{\mathrm{\ϵ}}_{1}b\sin 2\mathrm{\α}-2{\mathrm{\ϵ}}_{2}b{\cos }^2\mathrm{\α}-2f{\mathrm{\ϵ}}_3=-2f{\mathrm{\α}}^{\′\′}\end{array}\right.---\left(2\right)$

分别用上述智能优化算法对数学模型方程组进行求解。设定的输入是直线位置、直线一次光流和二次光流，设定的输出为待求的旋转运动参数、平移运动参数和直线的空间结构，设定的各自算法的学习效率、迭代(训练)次数、(迭代)训练误差或蚁群规模等参数。得到的直线空间结构含有一个比例因子，因此可假定一个Z值为100，机械零件底座直线的重建结果图2所示。

将计算结果与最小二乘法的计算结果进行比较，实验结果比较如表所示。

表2几种算法的求解结果比较

算法	耗时(秒)	平均误差(％)
			最小二乘法	0.005	2.32
BP神经网络	7.88	1.33
			线性神经网络	15.32	1.39
遗传算法	12.06	1.47
			蚁群算法	8.92	1.34
最小粒子群优化算法	4.61	1.36

Claims (1)

1.一种基于智能优化算法的直线光流场三维重建方法，其特征是重建方法为：使用一个固定摄像机拍摄场景中物体至少连续三帧的图像，形成图像序列，提取场景中物体的直线轮廓，以直线作为特征；

在透视投影模型下，推导出在3D空间中运动刚体的直线轮廓运动参数与其投影图像上二维直线的光流场之间的关系，并用直线光流方程组表达了这种关系，建立三维重建算法的物理模型和数学模型；

数学模型如下：

$\left\{\begin{array}{c}{\mathrm{\ω}}_1(b^2+f^2)\cos \mathrm{\α}+{\mathrm{\ω}}_2{f}^2\sin \mathrm{\α}-{\mathrm{\ω}}_3\mathrm{bf}\sin \mathrm{\α}=-b^{\′}f\cos \mathrm{\α}\\ {\mathrm{\ω}}_{1}b\sin 2\mathrm{\α}-2{\mathrm{\ω}}_{2}b{\cos }^2\mathrm{\α}-2f{\mathrm{\ω}}_3=-2f{\mathrm{\α}}^{\′}\end{array}\right.---\left(1\right)$

$\left\{\begin{array}{c}{\mathrm{\ω}}_1[2b{b}^{\′}\cos \mathrm{\α}-(b^2+f^2){\mathrm{\α}}^{\′}\sin \mathrm{\α}]+{\mathrm{\ω}}_2{f}^2{\mathrm{\α}}^{\′}\cos \mathrm{\α}-{\mathrm{\ω}}_3(b^{\′}f\sin \mathrm{\α}+\mathrm{bf}{\mathrm{\α}}^{\′}\cos \mathrm{\α})\\ +{\mathrm{\ϵ}}_1(b^2+f^2)\cos \mathrm{\α}+{\mathrm{\ϵ}}_2{f}^2\sin \mathrm{\α}-{\mathrm{\ϵ}}_3\mathrm{bf}\sin \mathrm{\α}=b^{\′}f{\mathrm{\α}}^{\′}\sin \mathrm{\α}-b^{\′\′}f\cos \mathrm{\α}\\ {\mathrm{\ω}}_1(b^{\′}\sin 2\mathrm{\α}+2b{\mathrm{\α}}^{\′}\cos 2\mathrm{\α})-2{\mathrm{\ω}}_2(b^{\′}{\cos }^2\mathrm{\α}-b{\mathrm{\α}}^{\′}\sin 2\mathrm{\α})+{\mathrm{\ϵ}}_{1}b\sin 2\mathrm{\α}-2{\mathrm{\ϵ}}_{2}b{\cos }^2\mathrm{\α}-2f{\mathrm{\ϵ}}_3=-2f{\mathrm{\α}}^{\′\′}\end{array}\right.---\left(2\right)$

其中，直线空间坐标为(b，α)，直线一次光流空间坐标为(b′，α′)，直线二次光流空间坐标为(b″，α″)，摄像机焦距为f，刚体连续三帧的旋转运动参数分别为ω₁、ω₂和ω₃；

利用BP神经网络、线性神经网络、遗传算法、蚁群算法或最小粒子群算法优化算法求解上述建立的直线光流场方程组，上述优化算法均采用递归迭代方法，

根据上述优化算法各自的特点设计输入、输出和中间层，优化三维刚体运动和结构参数，采用C++语言或Matlab语言编写算法的软件，在计算机上实现上述算法，分析比较算法的优点和特点，并用仿真实验和真实实验验证算法的有效性和计算效率，从而实现了基于智能优化算法的直线光流三维重建系统。

Images