CN105046718B - 一种多视环境下刚性目标三维运动估计方法 - Google Patents

一种多视环境下刚性目标三维运动估计方法 Download PDF

Info

Publication number
CN105046718B
CN105046718B CN201510375052.1A CN201510375052A CN105046718B CN 105046718 B CN105046718 B CN 105046718B CN 201510375052 A CN201510375052 A CN 201510375052A CN 105046718 B CN105046718 B CN 105046718B
Authority
CN
China
Prior art keywords
target
dimensional
ncamnum
rigidity
dimensional profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510375052.1A
Other languages
English (en)
Other versions
CN105046718A (zh
Inventor
李秀秀
郑江滨
金海燕
赵明华
鲁晓锋
赵金伟
石争浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201510375052.1A priority Critical patent/CN105046718B/zh
Publication of CN105046718A publication Critical patent/CN105046718A/zh
Application granted granted Critical
Publication of CN105046718B publication Critical patent/CN105046718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种多视环境下刚性目标三维运动估计方法，具体按照以下步骤实施：步骤1、构建多视目标图像采集环境，并获得多个目标图像；步骤2、根据步骤1中得到的多个目标图像重建目标三维外形S(t)，并初始化目标三维外形S(t)的运动参数；步骤3、构建反应目标三维外形多视二维投影与目标图像距离的能量函数E，判断能量函数E是否收敛，如果不收敛，则转到步骤4；如果收敛，则输出目标三维外形S(t)的运动参数，即为刚性目标三维外形S(t)的运动参数；步骤4、更新目标三维外形S(t)的运动参数，转到步骤3。本发明方法对目标三维运动估计不受光照变化以及摄像机色差的影响。

Description

一种多视环境下刚性目标三维运动估计方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种多视环境下刚性目标三维运动估计方法。
背景技术
多视环境中目标三维外形运动估计指的是通过多视环境获取目标多视图像，依据计算机视觉原理恢复目标的三维外形，然后根据多视环境获取的目标的运动视频，使用计算机视觉、数字视频处理方法估计目标的三维外形的运动。多视环境中目标三维外形运动估计方法可获取不同时刻目标三维外形的关联性，因此在虚拟现实、人机交互等方面有着重要的应用。
文献Visual Hull Alignment and Refinement Across Time:A 3DReconstruction Algorithm Combining Shape-From-Silhouette with Stereo(TheComputer Society Conference on Computer Vision and Pattern Recognition,2003,2,II-375-382)给出了一种多视环境中目标三维外形运动估计方法。该方法首先，在每一时刻，使用shape-from-silhouette方法从刚性目标的多视图像中重建目标的三维外形，然后从不同时刻的目标的三维外形上提取CPS(Colored Surface Points，着色表面点)特征，最后依据不同时刻CPS在多视图像中投影的颜色一致性来估计目标三维外形的运动参数。该方法由于只使用了CPS特征的颜色信息来进行目标三维外形的运动估计，因此无法避免的目标运动过程中的光照变化、多视环境中摄像机的色差对运动估计的影响。此外，该方法由于使用了CPS特征在时间序列上的对应关系，因此其运动估计结果会由于CPS特征分布的不同而不同。
发明内容
本发明的目的是提供一种多视环境下刚性目标三维运动估计方法，解决了光照变化、摄像机色差对现有方法运动估计结果准确性影响的问题。
本发明所采用的技术方案是，一种多视环境下刚性目标三维运动估计方法，具体按照以下步骤实施：
步骤1、构建多视目标图像采集环境，并获得多个目标图像；
步骤2、根据步骤1中得到的多个目标图像重建目标三维外形S(t)，并初始化目标三维外形S(t)的运动参数；
步骤3、构建反应目标三维外形多视二维投影与目标图像距离的能量函数E，判断能量函数E是否收敛，如果不收敛，则转到步骤4；如果收敛，则输出目标三维外形S(t)的运动参数，即为刚性目标三维外形S(t)的运动参数；
步骤4、更新目标三维外形S(t)的运动参数，转到步骤3。
本发明的特点还在于：
步骤1具体过程为：
步骤1.1、将nCamNum个摄像机环绕实验场景放置，对摄像机进行标定；
步骤1.2、采集背景图像{Back1,Back2,...,Backj,...,BacknCamNum}；
步骤1.3、将刚性目标O置于实验场景内，使刚性目标O做刚性运动，nCamNum个摄像机同步采集刚性目标O的运动视频，在时刻t和时刻t+1，nCamNum个摄像机同步采集图像分别为{I1,t,I2,t,...,Ij,t,...,InCamNum,t}和{I1,t+1,I2,t+1,...,Ij,t+1,...,InCamNum,t+1}，其中，Ij,t为时刻t在视点j获取的图像；
步骤1.4、使用背景减法获取刚性目标O侧影轮廓，即目标图像，在时刻t和时刻t+1获取目标图像为：{Silhouette1,t,...,Silhouettej,t,...,SilhouettenCamNum,t}和{Silhouette1,t+1,...,Silhouettej,t+1,...,SilhouettenCamNum,t+1}。
步骤1.1中使用张氏标定法对摄像机进行标定。
步骤2的具体过程为：
根据步骤1中得到的多个目标图像和摄像机标定参数，重建时刻t的目标三维外形S(t)；
初始化时刻t的目标三维外形S(t)的运动参数：
旋转矩阵
平移向量
重建目标三维外形S(t)使用体素着色法或使用基于特征点立体匹配的、三维扫描的方法。
步骤3具体过程为：
令S'(t+1)＝Ri(t)·S(t)+Ti(t)，根据摄像机标定参数，将S'(t+1)投影到nCamNum个视点中，得到投影图像{pro_img1,t+1,...,pro_imgj,t+1,...,pro_imgnCamNum,t+1}；在nCamNum个视点中计算投影图像到目标图像的距离dist：
步骤3.1、对pro_imgj,t+1中的每个像素点x，在Silhouettej,t+1中搜索距其最近的点y：在Silhouettej,t+1中距离点x最近的点y与点x的欧式距离记为：
dist(x,y)＝||x-y|| (1)
其中，
步骤3.2、当公式(1)满足时，点x，y为一对对应点，对视点j获取的图像中构建二维 对应点列表[CP1j,t+1 CP2j,t+1]，其中，x∈CP1j,t+1，y∈CP2j,t+1，CP1j,t+1＝pro_imgj,t+1，
那么在视点j中三维目标二维投影的像素点集与刚性目标O侧影轮廓中的像素点集的最近距离记为：
步骤3.3、根据步骤3.1和步骤3.2，在nCamNum个视点中计算投影到目标图像的距离dist：
步骤3.4、在多视环境中构建反映目标三维外形多视二维投影与目标图像距离的能量函数E：
E＝dist (4)
步骤3.5、判断能量函数E是否收敛，如果不收敛，则转到步骤4；如果收敛，则得到的相应的三维运动参数R(t)、T(t)，即为刚性目标三维外形S(t)的运动参数。
步骤4的具体步骤为：
步骤4.1、使用刚性目标按顺序沿X轴，Y轴，Z轴的旋转的角度α,β,γ与沿各个轴平移的平移量t1,t2,t3共六个参数，表示目标O的刚性运动Para＝(α,β,γ,t1,t2,t3)，初始化阶段Para＝(0,0,0,0,0,0)；
其中，
T(t)＝(t1,t2,t3)′；
步骤4.2、对Para，求取Hessian矩阵H和梯度G：
其中1≤i,j≤6，
其中X'＝R(t)·X+T(t)，X∈S(t)，x表示点X'的二维投影；
步骤4.3、更新参数向量Para：
Para＝Para-ΔPara (8)
ΔP＝(H+μI)-1G (9)
其中μ是迭代参数，I表示单位矩阵。
本发明的有益效果是：本发明一种多视环境下刚性目标三维运动估计方法，由于使用了目标三维外形整体信息，可以避免遮挡问题；同时本发明一种多视环境下刚性目标三维运动估计方法，使用二维投影距离，由于不涉及到任何光度特征，因此能够避免光照变化、摄像机色差对多视环境下三维运动估计的影响。
具体实施方式
下面通过具体实施方式对本发明进行详细说明。
本发明一种多视环境下刚性目标三维运动估计方法，具体按照以下步骤实施：
步骤1、构建多视目标图像采集环境，并获得多个目标图像，具体过程为：
步骤1.1、将nCamNum个摄像机环绕实验场景放置，使用张氏标定法对摄像机进行标定；
步骤1.2、采集背景图像{Back1,Back2,...,Backj,...,BacknCamNum}；
步骤1.3、将刚性目标O置于实验场景内，使刚性目标O做刚性运动，nCamNum个摄像机同步采集刚性目标O的运动视频，在时刻t和时刻t+1，nCamNum个摄像机同步采集图像分别为{I1,t,I2,t,...,Ij,t,...,InCamNum,t}和{I1,t+1,I2,t+1,...,Ij,t+1,...,InCamNum,t+1}，其中，Ij,t为时刻t在视点j获取的图像；
步骤1.4、使用背景减法获取刚性目标O侧影轮廓，即目标图像，在时刻t和时刻t+1获取目标图像为：{Silhouette1,t,...,Silhouettej,t,...,SilhouettenCamNum,t}和{Silhouette1,t+1,...,Silhouettej,t+1,...,SilhouettenCamNum,t+1}。
步骤2、根据步骤1中得到的多个目标图像重建目标三维外形S(t)，并初始化目标三维外形S(t)的运动参数，具体过程为：
根据步骤1中得到的多个目标图像和摄像机标定参数，使用体素着色法或基于立体匹配和三维扫描可获取目标三维点云、体素模型的方法重建时刻t的目标三维外形S(t)；
初始化时刻t的目标三维外形S(t)的运动参数：
旋转矩阵
平移向量
步骤3、构建反应目标三维外形多视二维投影与目标图像距离的能量函数E，判断能量函数E是否收敛，如果不收敛，则转到步骤4；如果收敛，则输出目标三维外形S(t)的运动参数，即为刚性目标三维外形S(t)的运动参数，具体过程为：
令S'(t+1)＝Ri(t)·S(t)+Ti(t)，根据摄像机标定参数，将S'(t+1)投影到nCamNum个视点中，得到投影图像{pro_img1,t+1,...,pro_imgj,t+1,...,pro_imgnCamNum,t+1}；在nCamNum个视点中计算投影图像到目标图像的距离dist：
步骤3.1、对pro_imgj,t+1中的每个像素点x，在Silhouettej,t+1中搜索距其最近的点y：在Silhouettej,t+1中距离点x最近的点y与点x的欧式距离记为：
dist(x,y)＝||x-y|| (1)
其中，
步骤3.2、当公式(1)满足时，点x，y为一对对应点，对视点j获取的图像中构建二维 对应点列表[CP1j,t+1 CP2j,t+1]，其中，x∈CP1j,t+1，y∈CP2j,t+1，CP1j,t+1＝pro_imgj,t+1，
那么在视点j中三维目标二维投影的像素点集与刚性目标O侧影轮廓中的像素点集的最近距离记为：
步骤3.3、根据步骤3.1和步骤3.2，在nCamNum个视点中计算投影到目标图像的距离dist：
步骤3.4、在多视环境中构建反映目标三维外形多视二维投影与目标图像距离的能量函数E：
E＝dist (4)
步骤3.5、判断能量函数E是否收敛，如果不收敛，则转到步骤4；如果收敛，则得到的相应的三维运动参数R(t)、T(t)，即为刚性目标三维外形S(t)的运动参数。
步骤4、使用Levenberg-Marquardt方法极小化能量函数E，在极小化能量函数的过程中更新目标三维外形S(t)的运动参数R(t)、T(t)，转到步骤3，具体步骤为：
步骤4.1、使用刚性目标按顺序沿X轴，Y轴，Z轴的旋转的角度α,β,γ与沿各个轴平移的平移量t1,t2,t3共六个参数，表示目标O的刚性运动Para＝(α,β,γ,t1,t2,t3)，初始化阶段Para＝(0,0,0,0,0,0)；
其中，
T(t)＝(t1,t2,t3)′；
步骤4.2、对Para，求取Hessian矩阵H和梯度G：
其中1≤i,j≤6，
其中X'＝R(t)·X+T(t)，X∈S(t)，x表示点X'的二维投影；
步骤4.3、更新参数向量Para：
Para＝Para-ΔPara (8)
ΔP＝(H+μI)-1G (9)
其中μ是迭代参数，I表示单位矩阵。
本发明一种多视环境下刚性目标三维运动估计方法，由于使用了目标三维外形整体信息，可以避免遮挡问题；同时本发明一种多视环境下刚性目标三维运动估计方法，使用二维投影距离，由于不涉及到任何光度特征，因此能够避免光照变化、摄像机色差对多视环境下三维运动估计的影响。

Claims (5)

1.一种多视环境下刚性目标三维运动估计方法，其特征在于，具体按照以下步骤实施：
步骤1、构建多视目标图像采集环境，并获得多个目标图像，具体为：
步骤1.1、将nCamNum个摄像机环绕实验场景放置，对摄像机进行标定；
步骤1.2、采集背景图像{Back1,Back2,...,Backj,...,BacknCamNum}；
步骤1.3、将刚性目标O置于实验场景内，使刚性目标O做刚性运动，nCamNum个摄像机同步采集刚性目标O的运动视频，在时刻t和时刻t+1，nCamNum个摄像机同步采集图像分别为{I1,t,I2,t,...,Ij,t,...,InCamNum,t}和{I1,t+1,I2,t+1,...,Ij,t+1,...,InCamNum,t+1}，其中，Ij,t为时刻t在视点j获取的图像；
步骤1.4、使用背景减法获取刚性目标O侧影轮廓，即目标图像，在时刻t和时刻t+1获取目标图像为：{Silhouette1,t,...,Silhouettej,t,...,SilhouettenCamNum,t}和{Silhouette1,t+1,...,Silhouettej,t+1,...,SilhouettenCamNum,t+1}；
步骤2、根据步骤1中得到的多个目标图像重建目标三维外形S(t)，并初始化目标三维外形S(t)的运动参数；
步骤3、构建反应目标三维外形多视二维投影与目标图像距离的能量函数E，判断能量函数E是否收敛，如果不收敛，则转到步骤4；如果收敛，则输出目标三维外形S(t)的运动参数，即为刚性目标三维外形S(t)的运动参数，具体为：
令S'(t+1)＝Ri(t)·S(t)+Ti(t)，根据摄像机标定参数，将S'(t+1)投影到nCamNum个视点中，得到投影图像{pro_img1,t+1,...,pro_imgj,t+1,...,pro_imgnCamNum,t+1}；在nCamNum个视点中计算投影图像到目标图像的距离dist：
其中，Ri(t)为旋转矩阵，Ti(t)为平移向量；
步骤3.1、对pro_imgj,t+1中的每个像素点x，在Silhouettej,t+1中搜索距其最近的点y：在Silhouettej,t+1中距离点x最近的点y与点x的欧式距离记为：
dist(x,y)＝||x-y|| (1)
其中，
步骤3.2、当公式(1)满足时，点x，y为一对对应点，对视点j获取的图像中构建二维对应点列表[CP1j,t+1CP2j,t+1]，其中，x∈CP1j,t+1，y∈CP2j,t+1，CP1j,t+1＝pro_imgj,t+1，
那么在视点j中三维目标二维投影的像素点集与刚性目标O侧影轮廓中的像素点集的最近距离记为：
步骤3.3、根据步骤3.1和步骤3.2，在nCamNum个视点中计算投影到目标图像的距离dist：
步骤3.4、在多视环境中构建反映目标三维外形多视二维投影与目标图像距离的能量函数E：
E＝dist (4)
步骤3.5、判断能量函数E是否收敛，如果不收敛，则转到步骤4；如果收敛，则得到的相应的三维运动参数R(t)、T(t)，即为刚性目标三维外形S(t)的运动参数；
步骤4、更新目标三维外形S(t)的运动参数，转到步骤3。
2.根据权利要求1所述的一种多视环境下刚性目标三维运动估计方法，其特征在于，所述步骤1.1中使用张氏标定法对摄像机进行标定。
3.根据权利要求1所述的一种多视环境下刚性目标三维运动估计方法，其特征在于，所述步骤2的具体过程为：
根据步骤1中得到的多个目标图像和摄像机标定参数，重建时刻t的目标三维外形S(t)；
初始化时刻t的目标三维外形S(t)的运动参数：
旋转矩阵
平移向量
4.根据权利要求3所述的一种多视环境下刚性目标三维运动估计方法，其特征在于，所述重建目标三维外形S(t)使用体素着色法或使用基于特征点立体匹配的方法、或三维扫描的方法。
5.根据权利要求1所述的一种多视环境下刚性目标三维运动估计方法，其特征在于，所述步骤4的具体步骤为：
步骤4.1、使用刚性目标按顺序沿X轴，Y轴，Z轴的旋转的角度α,β,γ与沿各个轴平移的平移量t1,t2,t3共六个参数，表示目标O的刚性运动Para＝(α,β,γ,t1,t2,t3)，初始化阶段Para＝(0,0,0,0,0,0)；
其中，
T(t)＝(t1,t2,t3)′；
步骤4.2、对Para，求取Hessian矩阵H和梯度G：
其中1≤i,j≤6，
其中X'＝R(t)·X+T(t)，X∈S(t)，x表示点X'的二维投影；
步骤4.3、更新参数向量Para：
Para＝Para-ΔPara (8)
ΔPara＝(H+μI)-1G (9)
其中μ是迭代参数，I表示单位矩阵。
CN201510375052.1A 2015-06-30 2015-06-30 一种多视环境下刚性目标三维运动估计方法 Active CN105046718B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510375052.1A CN105046718B (zh) 2015-06-30 2015-06-30 一种多视环境下刚性目标三维运动估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510375052.1A CN105046718B (zh) 2015-06-30 2015-06-30 一种多视环境下刚性目标三维运动估计方法

Publications (2)

Publication Number Publication Date
CN105046718A CN105046718A (zh) 2015-11-11
CN105046718B true CN105046718B (zh) 2019-01-11

Family

ID=54453235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510375052.1A Active CN105046718B (zh) 2015-06-30 2015-06-30 一种多视环境下刚性目标三维运动估计方法

Country Status (1)

Country Link
CN (1) CN105046718B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384361B (zh) * 2016-09-14 2019-06-14 西安理工大学 多视环境中基于水平集函数演化的非刚性目标场景流估计方法
CN108254758A (zh) * 2017-12-25 2018-07-06 清华大学苏州汽车研究院（吴江） 基于多线激光雷达和gps的三维道路构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521846A (zh) * 2011-12-21 2012-06-27 浙江大学 基于3d视频的时空域运动分割与运动估计方法
EP2639767A1 (en) * 2012-03-12 2013-09-18 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO A method of interrelating shared object information in multiple images, an image processing system and a computer program product
CN103559711A (zh) * 2013-11-05 2014-02-05 余洪山 基于三维视觉系统图像特征和三维信息的运动估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521846A (zh) * 2011-12-21 2012-06-27 浙江大学 基于3d视频的时空域运动分割与运动估计方法
EP2639767A1 (en) * 2012-03-12 2013-09-18 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO A method of interrelating shared object information in multiple images, an image processing system and a computer program product
CN103559711A (zh) * 2013-11-05 2014-02-05 余洪山 基于三维视觉系统图像特征和三维信息的运动估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Motion Estimation for 3D Rigid Object Shapes Based on 3D-2D Color-Consistency in Multi-view;Li Xiuxiu et al;《Intelligent Science and Intelligent Data Engineering》;20121231;第451-454页第2、3.1-3.3节

Also Published As

Publication number Publication date
CN105046718A (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
CN107170043B (zh) 一种三维重建方法
Tykkälä et al. Direct iterative closest point for real-time visual odometry
CN105279789B (zh) 一种基于图像序列的三维重建方法
Bonfort et al. General specular surface triangulation
CN106056620B (zh) 线激光相机测量系统标定方法
Brostow et al. Video normals from colored lights
CN103400409A (zh) 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
CN106780726A (zh) 融合rgb‑d相机和彩色光度立体法的动态非刚体三维数字化方法
CN102129708A (zh) 增强现实环境中快速多层次虚实遮挡处理方法
Chen et al. Fast MRF optimization with application to depth reconstruction
CN107170037A (zh) 一种基于多摄像机的实时三维点云重建方法和系统
CN110425983A (zh) 一种基于偏振多光谱的单目视觉三维重建测距方法
CN110310331A (zh) 一种基于直线特征与点云特征结合的位姿估计方法
CN111563952A (zh) 基于相位信息与空间纹理特征实现立体匹配方法及系统
CN105046718B (zh) 一种多视环境下刚性目标三维运动估计方法
CN107918948A (zh) 4d视频渲染方法
CN106157321B (zh) 基于平面表面高动态范围图像的真实点光源位置测算方法
Yaguchi et al. Arbitrary viewpoint video synthesis from multiple uncalibrated cameras
CN112712566B (zh) 基于结构参数在线校正的双目立体视觉传感器测量方法
Malleson et al. Single-view RGBD-based reconstruction of dynamic human geometry
Goorts et al. Real-time video-based view interpolation of soccer events using depth-selective plane sweeping
JP7033294B2 (ja) 撮像システム、撮像方法
Xu et al. High-resolution modeling of moving and deforming objects using sparse geometric and dense photometric measurements
CN107103620B (zh) 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法
CN106384361B (zh) 多视环境中基于水平集函数演化的非刚性目标场景流估计方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant