CN102663812A - 基于变分光流的三维运动检测与稠密结构重建的直接方法 - Google Patents

基于变分光流的三维运动检测与稠密结构重建的直接方法 Download PDF

Info

Publication number
CN102663812A
CN102663812A CN2012100829294A CN201210082929A CN102663812A CN 102663812 A CN102663812 A CN 102663812A CN 2012100829294 A CN2012100829294 A CN 2012100829294A CN 201210082929 A CN201210082929 A CN 201210082929A CN 102663812 A CN102663812 A CN 102663812A
Authority
CN
China
Prior art keywords
dimensional motion
dimensional
dense structure
target travel
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100829294A
Other languages
English (en)
Other versions
CN102663812B (zh
Inventor
陈震
张聪炫
黎明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN201210082929.4A priority Critical patent/CN102663812B/zh
Publication of CN102663812A publication Critical patent/CN102663812A/zh
Application granted granted Critical
Publication of CN102663812B publication Critical patent/CN102663812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提出一种基于变分光流的三维运动检测与稠密结构重建的直接方法，涉及三维运动物体的视频仿真技术，该方法特点是：(1)推导出三维运动基本守恒假设。(2)设计一个检测目标物体三维运动速度的能量函数。(3)采用变分方法推导出检测三维运动速度的迭代模型，根据该模型可以直接通过给定图像序列检测目标物体的三维运动。(4)根据目标物体的三维运动参数重建其表面稠密结构。本发明的优点是：可以直接利用给定图像序列检测目标物体的三维运动并重建其表面稠密结构，避免了中间过程对重建结果的误差影响，能够恢复图像中目标运动物体表面的三维稠密结构，更有助于观察物体表面的细节信息；计算精度较高，鲁棒性好。

Description

基于变分光流的三维运动检测与稠密结构重建的直接方法
 
技术领域
本发明涉及一种三维运动物体的重建技术，特别是通过基于光流方法的三维运动物体的重建技术。
背景技术
现有的真实的世界是三维的，长久以来由于受到科学技术发展水平的限制，我们所能够得到并能对之进行有效处理及分析的绝大多数是二维数据，使得大量的物体的三维信息丢失。随着计算机技术的发展，人们对信息的获取已经从传统的二维平面图像，转向了三维立体图像。三维重建技术大体可分为两类：基于特征的方法和基于光流的方法。
基于特征的三维重建技术已经有了较好的发展，例如使用图像中的角点、直线、曲线等特征可以计算图像中运动物体的三维运动参数及检测到的特征的相对深度信息。但是由于基于特征的方法只能恢复图像中运动物体的部分特征三维结构，而丢失了物体表面的大量细节信息，这使得重建结果无法满足更深层次的要求。
近年来，变分光流计算技术得到了快速发展，根据该方法可以得到图像序列中真实运动物体的图像光流，使用光流进行三维重建可以较好的描述物体表面的细节信息，因此利用这些光流数据来进行真实世界的三维建模得到了很多关注。
发明内容
本发明目的提供一种基于变分光流的三维运动检测与稠密结构重建的直接方法，能快速检测图像序列中目标运动物体的三维运动参数；能重建图像中目标物体表面的三维稠密结构，更有助于观察物体的细节信息。
为了解决上述的技术问题，本发明提出一种基于变分光流的三维运动检测与稠密结构重建的直接方法，其包括：
拍摄获得一组目标运动物体的图像序列；
定义三维运动基本守恒假设；
三维运动检测及结构重建，其包括：
根据变分光流计算方法中的全局平滑约束策略，设计一个基于三维空间滤波的平滑约束项；
将平滑约束项与三维运动基本守恒假设结合，构造一个三维运动检测能量函数；
利用变分原理将所述能量函数分别对三维运动速度求偏导，然后采用（Gauss-Seilel）迭代，检测出目标运动物体的三维运动速度，利用三维运动速度得到目标运动物体表面像素点的相对深度坐标；
依据相对深度坐标得到目标运动物体表面像素点的相对三维坐标，然后根据相对三维坐标重建目标运动物体的表面像素点以及恢复物体的表面的三维结构。
本发明的有益效果：
相比现有技术，本发明可以直接利用给定图像序列检测目标物体的三维运动并重建其表面稠密结构。本方法能够恢复图像中目标运动物体表面的三维稠密结构，更有助于观察物体表面的细节信息；计算精度较高，鲁棒性好。
附图说明
图1是 三维点与图像投影点的透视投影关系图。
图2是立方体实施例的两个帧原图像。
图3是立方体三维运动检测结果。
图4是立方体表面像素点的相对深度坐标灰度图。
图5是立方体表面重建结果。
具体实施方式
本发明提出一种基于变分光流的三维运动检测与稠密结构重建的直接方法，其包括：
拍摄获得一组目标运动物体的图像序列；
定义三维运动基本守恒假设；
三维运动检测及结构重建，其包括：根据变分光流计算方法中的全局平滑约束策略，设计一个基于三维空间滤波的平滑约束项；将平滑约束项与三维运动基本守恒假设结合，构造一个三维运动检测能量函数；利用变分原理将所述能量函数分别对三维运动速度求偏导，然后采用迭代（如Gauss-Seilel迭代），检测出目标运动物体的三维运动速度，利用三维运动速度得到目标运动物体表面像素点的相对深度坐标；依据相对深度坐标得到目标运动物体表面像素点的相对三维坐标，然后根据相对三维坐标重建目标运动物体的表面像素点以及恢复物体的表面的三维结构。
以下通过实施例对发明的技术方案进行说明。
1、拍摄一组包含运动物体的图像序列，如图1所示为三维点与图像投影点的透视投影关系。摄像机的光轴与Z轴重合，四边形为图像平面。
图1中，令摄像机位于三维坐标系统0点处，在摄像机拍摄视野内存在一个运动物体，该物体的旋转速度为                                               ，平移速度为
Figure 2012100829294100002DEST_PATH_IMAGE004
。使用摄像机拍摄获得一组运动物体的图像序列。
2、定义三维运动基本守恒假设。
假设点Q是运动物体表面可被摄像机观察到的一点，点Q的三维坐标为
Figure 2012100829294100002DEST_PATH_IMAGE006
，q点是三维空间点Q在摄像机成像平面的对应投影点，假设点q坐标为
Figure 2012100829294100002DEST_PATH_IMAGE008
。
Figure 2012100829294100002DEST_PATH_IMAGE010
为摄像机焦距。那么，三维空间内点Q和它在图像平面上的对应点q的坐标存在如下关系：
Figure 2012100829294100002DEST_PATH_IMAGE012
，
Figure 2012100829294100002DEST_PATH_IMAGE014
                                (1) 
不失一般性，设定
Figure 2012100829294100002DEST_PATH_IMAGE016
。已知运动物体上点Q的状态方程为：
Figure 2012100829294100002DEST_PATH_IMAGE018
                             (2)
式(2)中
Figure 2012100829294100002DEST_PATH_IMAGE020
是向量差乘，
Figure 2012100829294100002DEST_PATH_IMAGE022
是Q点坐标对时间
Figure 2012100829294100002DEST_PATH_IMAGE024
的导数，将式(2)展开后可得：
  
Figure 2012100829294100002DEST_PATH_IMAGE026
                                  (3)
已知图像光流矢量是像素点坐标变化的瞬时速度，假设投影平面点q处的光流为
Figure 2012100829294100002DEST_PATH_IMAGE028
，则有：
Figure 2012100829294100002DEST_PATH_IMAGE030
                                       (4)
将式(1)中点q的坐标分别对时间求差分，并代入式(4)中可得图像光流与三维运动速度及深度坐标的对应关系式：
Figure 2012100829294100002DEST_PATH_IMAGE034
                       (5)
令
Figure 2012100829294100002DEST_PATH_IMAGE036
为时刻图像点q处的灰度值，则有图像灰度守恒假设：
                                   (6)                                                
式(6)中，
Figure 2012100829294100002DEST_PATH_IMAGE042
，
Figure 2012100829294100002DEST_PATH_IMAGE044
和
Figure 2012100829294100002DEST_PATH_IMAGE046
分别表示图像中像素点灰度沿X, Y轴和时间
Figure 307888DEST_PATH_IMAGE038
方向的梯度。将式(5)代入式(6)中并整理后可得三维运动基本守恒假设：
 
Figure 2012100829294100002DEST_PATH_IMAGE048
          (7)         
其中：
Figure DEST_PATH_IMAGE050
 
Figure DEST_PATH_IMAGE052
 
Figure DEST_PATH_IMAGE054
式(7)中，是目标运动物体的三维旋转速度，
Figure DEST_PATH_IMAGE058
是包含了深度坐标Z的平移速度。
Figure DEST_PATH_IMAGE060
是图像序列已知参数。
3、三维运动检测及结构重建。
借鉴变分光流计算方法中的全局平滑约束策略，设计一个基于三维空间滤波的平滑约束条件：
Figure DEST_PATH_IMAGE062
                              (8)
式(8)中，
Figure DEST_PATH_IMAGE064
称为三维梯度平滑因子，用公式表示如下：
  
Figure DEST_PATH_IMAGE066
                             (9)                              
使用这样的平滑约束项，既可以保证计算简单，同时又可以获得图像中运动物体表面的稠密运动速度。将平滑项与三维运动基本守恒假设相结合可以构造一个三维运动检测能量函数：
Figure DEST_PATH_IMAGE068
             (10) 
式(10)中，
Figure DEST_PATH_IMAGE070
为平滑项权重系数，它的取值要考虑图像中的噪声情况，当图像本身置信度较高时，
Figure 560051DEST_PATH_IMAGE070
取较大值，三维运动速度的估计主要依靠三维运动基本守恒假设；当图像本身置信度较低时，
Figure 339788DEST_PATH_IMAGE070
取较小值，三维运动速度的估计主要依靠平滑项从像素点邻域填充信息。不失一般性，这里令
Figure DEST_PATH_IMAGE072
。
利用变分原理将能量函数分别对三维运动速度求偏导数并整理可得：
Figure DEST_PATH_IMAGE078
    (11)                 
式(11)中，为
Figure DEST_PATH_IMAGE082
邻域的均值，
Figure DEST_PATH_IMAGE084
为
Figure DEST_PATH_IMAGE086
邻域的均值，采用Gauss- Seidel迭代求解式(11)，将式(11)整理后可得如下形式的迭代方程组：
Figure DEST_PATH_IMAGE088
  (12)               
式(12)中，n是迭代次数，经实验证明，当迭代次数大于500次时，三维运动速度
Figure DEST_PATH_IMAGE090
不再有明显变化，因此设定迭代次数n=500。令目标运动物体的初始运动参数
Figure 420483DEST_PATH_IMAGE090
为0，通过500次迭代可以检测出目标运动物体的三维旋转速度
Figure 47904DEST_PATH_IMAGE056
和相对平移速度
Figure DEST_PATH_IMAGE092
。   
根据前面的定义可知，计算出的平移速度
Figure 932684DEST_PATH_IMAGE092
是包含了深度坐标Z的相对速度。首先设定
Figure DEST_PATH_IMAGE094
，则有：
         (13)
令
Figure DEST_PATH_IMAGE098
，即计算出的平移速度是运动物体的平移方向，而不是其真实平移速度。根据式(13)可以计算出运动物体表面像素点的相对深度坐标:
Figure DEST_PATH_IMAGE100
                                (14)
则运动物体的平移方向和三维空间坐标计算公式分别为：
Figure DEST_PATH_IMAGE102
                         (15)                                    
 
Figure DEST_PATH_IMAGE104
                           (16)                           
    下面使用合成立方体运动图像序列进行说明：
使用计算机合成立方体运动图像序列如图2所示，该图像序列（a）和（b）分别为第7和第8帧原图。
根据透视投影模型确定三维运动基本守恒假设如式(1’)所示。
Figure DEST_PATH_IMAGE105
          (1’)
式(1’)中，是目标运动物体的三维旋转速度和包含了相对深度坐标的三维平移速度。
Figure 822886DEST_PATH_IMAGE060
是图像序列已知参数，由下式可以计算得到。
Figure DEST_PATH_IMAGE109
 
Figure DEST_PATH_IMAGE111
 
利用三维运动基本守恒假设，通过添加平滑约束项构造一个三维运动检测能量函数如式(2’)所示。
Figure DEST_PATH_IMAGE115
              (2’)                   
式(2’)中，
Figure DEST_PATH_IMAGE117
是基于扩散思想的平滑约束项，当在图像数据本身置信度较低的区域，主要依靠平滑项从邻域填充信息。
Figure 271054DEST_PATH_IMAGE070
为平滑项权重系数，通常情况下
Figure 752982DEST_PATH_IMAGE070
的值取常数1。
使用变分方法得到三维运动检测能量函数的对应迭代模型如式(3’)所示。
Figure DEST_PATH_IMAGE119
                    (3’)                
设定目标运动物体的初始运动参数
Figure 808663DEST_PATH_IMAGE090
为0，通过500次迭代可以检测出目标运动物体的三维旋转速度
Figure 874576DEST_PATH_IMAGE056
和相对平移速度
Figure 611588DEST_PATH_IMAGE092
如图3所示。
然后根据式(4’)计算出目标运动物体表面像素点的相对深度坐标，使用灰度图像表示如图4所示。再由式(5’)得到目标物体的平移速度。进而由式(6’)得到物体表面像素点的三维坐标，根据该三维坐标恢复物体的表面的三维结构如图5所示。
                                (4’)                                             
Figure 10340DEST_PATH_IMAGE102
                       (5’) 
 
Figure 502501DEST_PATH_IMAGE104
                         (6’) 

Claims (3)

1.一种基于变分光流的三维运动检测与稠密结构重建的直接方法，其包括：
拍摄获得一组目标运动物体的图像序列；
定义三维运动基本守恒假设；
三维运动检测及结构重建，其包括：
根据变分光流计算方法中的全局平滑约束策略，设计一个基于三维空间滤波的平滑约束项；
将平滑约束项与三维运动基本守恒假设结合，构造一个三维运动检测能量函数；
利用变分原理将所述能量函数分别对三维运动速度求偏导，然后采用迭代，检测出目标运动物体的三维运动速度，利用三维运动速度得到目标运动物体表面像素点的相对深度坐标；
依据相对深度坐标得到目标运动物体表面像素点的相对三维坐标，然后根据相对三维坐标重建目标运动物体的表面像素点以及恢复物体的表面的三维结构。
2.根据权利要求1所述的基于变分光流的三维运动检测与稠密结构重建的直接方法，其特征在于：所述迭代次数为500次。
3.根据权利要求1所述的基于变分光流的三维运动检测与稠密结构重建的直接方法，其特征在于：所述三维运动基本守恒假设由图像光流与图像灰度守恒假设结合构造形成。
CN201210082929.4A 2012-03-27 2012-03-27 基于变分光流的三维运动检测与稠密结构重建的直接方法 Active CN102663812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210082929.4A CN102663812B (zh) 2012-03-27 2012-03-27 基于变分光流的三维运动检测与稠密结构重建的直接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210082929.4A CN102663812B (zh) 2012-03-27 2012-03-27 基于变分光流的三维运动检测与稠密结构重建的直接方法

Publications (2)

Publication Number Publication Date
CN102663812A true CN102663812A (zh) 2012-09-12
CN102663812B CN102663812B (zh) 2015-02-11

Family

ID=46773289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210082929.4A Active CN102663812B (zh) 2012-03-27 2012-03-27 基于变分光流的三维运动检测与稠密结构重建的直接方法

Country Status (1)

Country Link
CN (1) CN102663812B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279942A (zh) * 2013-04-10 2013-09-04 北京航空航天大学 一种基于环境感受器的2d屏幕上虚拟3d展示的控制方法
CN103914874A (zh) * 2014-04-08 2014-07-09 中山大学 一种无特征提取的紧致sfm三维重建方法
CN104777329A (zh) * 2014-01-13 2015-07-15 北京航空航天大学 一种用于粒子图像测速三维粒子场重构的线性规划算法
CN108986150A (zh) * 2018-07-17 2018-12-11 南昌航空大学 一种基于非刚性稠密匹配的图像光流估计方法及系统
CN113077460A (zh) * 2021-04-28 2021-07-06 河北工业大学 试件形变量的确定方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099399A2 (en) * 2007-02-14 2008-08-21 Technion Research And Development Foundation Ltd. Over-parameterized variational optical flow method
CN101581575A (zh) * 2009-06-19 2009-11-18 南昌航空大学 基于激光和摄像机数据融合的三维重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099399A2 (en) * 2007-02-14 2008-08-21 Technion Research And Development Foundation Ltd. Over-parameterized variational optical flow method
CN101581575A (zh) * 2009-06-19 2009-11-18 南昌航空大学 基于激光和摄像机数据融合的三维重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
董颖: "基于光流场的视频运动检测", 《万方学位论文》 *
陈震: "图像序列光流场计算及三维场景恢复研究", 《万方学位论文》 *
陈震等: "图像序列中机动目标三维运动和结构的计算", 《航空学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279942A (zh) * 2013-04-10 2013-09-04 北京航空航天大学 一种基于环境感受器的2d屏幕上虚拟3d展示的控制方法
CN104777329A (zh) * 2014-01-13 2015-07-15 北京航空航天大学 一种用于粒子图像测速三维粒子场重构的线性规划算法
CN104777329B (zh) * 2014-01-13 2018-06-05 北京航空航天大学 一种用于粒子图像测速三维粒子场重构的线性规划算法
CN103914874A (zh) * 2014-04-08 2014-07-09 中山大学 一种无特征提取的紧致sfm三维重建方法
CN103914874B (zh) * 2014-04-08 2017-02-01 中山大学 一种无特征提取的紧致sfm三维重建方法
CN108986150A (zh) * 2018-07-17 2018-12-11 南昌航空大学 一种基于非刚性稠密匹配的图像光流估计方法及系统
CN108986150B (zh) * 2018-07-17 2020-05-22 南昌航空大学 一种基于非刚性稠密匹配的图像光流估计方法及系统
CN113077460A (zh) * 2021-04-28 2021-07-06 河北工业大学 试件形变量的确定方法、装置及存储介质

Also Published As

Publication number Publication date
CN102663812B (zh) 2015-02-11

Similar Documents

Publication Publication Date Title
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
CN103247075B (zh) 基于变分机制的室内环境三维重建方法
CN109791696B (zh) 用于场景的3d重建的方法、设备和定位事件摄像机的方法
CN103528571B (zh) 单目立体视觉相对位姿测量方法
Grest et al. Nonlinear body pose estimation from depth images
Basha et al. Multi-view scene flow estimation: A view centered variational approach
US20180211399A1 (en) Modeling method and apparatus using three-dimensional (3d) point cloud
CN103578117B (zh) 确定摄像头相对于环境的姿态的方法
EP2751777B1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
CN109166149A (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN107240129A (zh) 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法
JP6483832B2 (ja) Ｒｇｂ−ｄセンサを使用して物体を走査する方法とシステム
CN103400409A (zh) 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
CN111862316B (zh) 一种基于优化的imu紧耦合稠密直接rgbd的三维重建方法
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、系统及应用
CN102663812B (zh) 基于变分光流的三维运动检测与稠密结构重建的直接方法
CN103826032A (zh) 深度图后期处理方法
US10229508B2 (en) Dynamic particle filter parameterization
CN114494150A (zh) 一种基于半直接法的单目视觉里程计的设计方法
Lv et al. A point tracking method of TDDM for vibration measurement and large-scale rotational motion tracking
CN109443320A (zh) 基于直接法和线特征的双目视觉里程计及测量方法
Ferstl et al. CP-Census: A Novel Model for Dense Variational Scene Flow from RGB-D Data.
CN216692729U (zh) 一种室内测绘小车
Ferstl et al. aTGV-SF: Dense variational scene flow through projective warping and higher order regularization
Yu et al. Visual SLAM algorithm based on ORB features and line features

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant