CN107808411B - 多视角运动法三维重建方法 - Google Patents

多视角运动法三维重建方法 Download PDF

Info

Publication number
CN107808411B
CN107808411B CN201711116849.5A CN201711116849A CN107808411B CN 107808411 B CN107808411 B CN 107808411B CN 201711116849 A CN201711116849 A CN 201711116849A CN 107808411 B CN107808411 B CN 107808411B
Authority
CN
China
Prior art keywords
straight line
camera
projection
matrix
solving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711116849.5A
Other languages
English (en)
Other versions
CN107808411A (zh
Inventor
景子君
郑津津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201711116849.5A priority Critical patent/CN107808411B/zh
Publication of CN107808411A publication Critical patent/CN107808411A/zh
Application granted granted Critical
Publication of CN107808411B publication Critical patent/CN107808411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

本发明公开了一种多视角运动法三维重建方法，包括：对若干幅图片两两进行线匹配，获得同一条直线在不同投影平面的投影直线的法向量；利用同一条直线在不同投影平面的投影直线的法向量共面的特点，求解相机的旋转矩阵，进而求解相机的平移矩阵；利用相机的旋转矩阵与平移矩阵以及求解直线方程，并对直线进行重建。该方法可以适用于特征点不明显以及拍摄角度变化较大的图像中，并且，能够较好的保持图像中物体边缘信息。

Description

多视角运动法三维重建方法
技术领域
本发明涉及三维重建技术领域，尤其涉及一种多视角运动法三维重建方法。
背景技术
运动法三维重建是指利用两幅或多幅相片根据特征匹配，重建出三维立体模型的一种三维重建方法。
目前的三维重建方法过程大致如下：首先，提取特征点，再进行特征点的匹配；然后，利用匹配到的特征点进行基础矩阵求解，进而求解相机外部参数矩阵；最后，利用相机外部参数矩阵对特征点进行重建。
但是，目前的三维重建方法主要存在以下缺陷：1)不适用于特征点不明显，难以匹配到特征点的简单图像；2)不适用于拍摄角度变化大的图像，由于这一类型的图像中特征点变化过大，难以成功实现特征点的匹配；3)重建后为散点模型，容易丢失物体边缘信息。
发明内容
本发明的目的是提供一种多视角运动法三维重建方法，可以适用于特征点不明显以及拍摄角度变化较大的图像中，并且，能够较好的保持图像中物体边缘信息。
本发明的目的是通过以下技术方案实现的：
一种多视角运动法三维重建方法，包括：
对若干幅图片两两进行线匹配，获得同一条直线在不同投影平面的投影直线的法向量；
利用同一条直线在不同投影平面的投影直线的法向量共面的特点，求解相机的旋转矩阵，进而求解相机的平移矩阵；
利用相机的旋转矩阵与平移矩阵以及求解直线方程，并对直线进行重建。
由上述本发明提供的技术方案可以看出，可以解决现有技术所存在的缺陷，通过相关方案重建出的模型边缘特征明显；而且可针对拍摄角度大的图像进行三维重建，并大大的节约完整重建一个立体模型的时间；此外，该方案是基于线匹配来实现，因而还适用于特征点不明显的图像。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种多视角运动法三维重建方法的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种多视角运动法三维重建方法，该方法利用同一条直线在不同投影平面的投影直线的法向量共面的特征，列出关于相机旋转矩阵的关系方程，从而求解出相机外部参数，进一步求解出空间直线参数。如图1所示，其主要包括如下步骤：
步骤1、对若干幅图片两两进行线匹配，获得同一条直线在不同投影平面的投影直线的法向量。
本步骤的主要执行过程如下：假设对于A、B、C三幅不同视角的图片，两两进行线匹配，每一幅图片作为一个投影平面；线匹配后图片A中的直线l0、图片B中的直线l1以及图片C中的直线l2均为同一条直线L的投影，计算直线l0、l1与l2的法向量，对应的记为k0、k1与k2；k0、k1与k2即为直线L在不同投影平面的投影直线的法向量。
本发明实施例中，所述的投影直线是指空间一条直线投影到投影平面(照片)后的直线(照片上显示的直线)，例如，前文提到的直线l0、l1与l2即为投影直线。
步骤2、利用同一条直线在不同投影平面的投影直线的法向量共面的特点，求解相机的旋转矩阵，进而求解相机的平移矩阵。
本步骤的主要执行过程如下：
1、求解相机的旋转矩阵。
投影直线的法向量共面方程为：
k0M(k1MR1*k2MR2)＝0；
其中，k0、k1与k2为直线L在不同投影平面的投影直线的法向量；M为相机内部参数矩阵；R1与R2为相机的旋转矩阵；
结合多条直线在不同投影平面的投影直线的法向量，能够列出多个上述共面方程，利用非线性求解方法求解出相机的旋转矩阵R1与R2；旋转矩阵R1、R2对应的为图片B的相机空间相对于图片A的相机空间的旋转矩阵、图片C的相机空间相对于图片A的相机空间的旋转矩阵。
2、求解相机的平移矩阵。
相机的平移矩阵求解方程为：
k1MR1M-1X0k2MT2＝k2MR2M-1X0k1MT1；
其中，T1与T2为相机的平移矩阵；X0为第一幅图片(即图片A)的投影直线上的任一点坐标；
利用奇异法求解上述方程，获得相机的平移矩阵T1与T2；平移矩阵T1、T2对应的为图片B的相机空间相对于图片A的相机空间的平移矩阵、图片C的相机空间相对于图片A的相机空间的平移矩阵。
步骤3、利用相机的旋转矩阵与平移矩阵以及求解直线方程，并对直线进行重建。
在已知旋转矩阵R1、R2与平移矩阵T1、T2后，可以根据下列式子求解[Xw Yw Zw]，即直线方程：
Figure BDA0001466428200000031
Figure BDA0001466428200000032
本发明实施例上述方案可以解决现有技术所存在的缺陷，通过相关方案重建出的模型边缘特征明显；而且可针对拍摄角度大的图像进行三维重建，并大大的节约完整重建一个立体模型的时间；此外，该方案是基于线匹配来实现，因而还适用于特征点不明显的图像。
为了便于理解，下面针对上述实施例中所涉及公式的推导过程进行说明。假设一条空间直线方程如下：
Figure BDA0001466428200000041
世界空间到相机空间投影方程为：
Figure BDA0001466428200000042
相机空间到像素空间的投影方程：
Figure BDA0001466428200000043
像素空间直线方程可描述为：
Figure BDA0001466428200000044
可得到：
Figure BDA0001466428200000045
由于t可取任意值，由上式可得到：
Figure BDA0001466428200000046
可知对于同一条直线，kiMRi(i＝0,1,2)都垂直于向量(a1,b1,c1)。
所以kiMRi(i＝0,1,2)共面，则有：
k0M(k1MR1*k2MR2)＝0；
通过非线性求解，比如Levernberg Marquardt方法求解旋转矩阵R1R2
一般认为第一幅图片的相机空间即为世界空间，即有R＝I,T＝0，则有：
Figure BDA0001466428200000051
则式(1)可以表示为：
Figure BDA0001466428200000052
可得：
kMRM-1X0Zw+kMT＝0；
即：
k1MR1M-1X0Zw＝-k1MT1； (2)
k2MR2M-1X0Zw＝-k2MT2； (3)
由式(2)/式(3)可得：
k1MR1M-1X0k2MT2＝k2MR2M-1X0k1MT1。
可以利用奇异法求解平移矩阵T1与T2。
将空间直线方程代入式(1)可知：
Figure BDA0001466428200000053
设直线在图片一中展示的两端点分别为t＝0,t＝1,则有：
Figure BDA0001466428200000054
Figure BDA0001466428200000055
参数对应的含义：
Figure BDA0001466428200000056
Figure BDA0001466428200000061
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (2)

1.一种多视角运动法三维重建方法，其特征在于，包括：
对若干幅图片两两进行线匹配，获得同一条直线在不同投影平面的投影直线的法向量；
利用同一条直线在不同投影平面的投影直线的法向量共面的特点，求解相机的旋转矩阵，进而求解相机的平移矩阵；
利用相机的旋转矩阵与平移矩阵求解直线方程，并对直线进行重建；
其中，所述对若干幅图片两两进行线匹配，获得同一条直线在不同投影平面的投影直线的法向量包括：
假设对于A、B、C三幅不同视角的图片，两两进行线匹配，每一幅图片作为一个投影平面；线匹配后图片A中的直线l0、图片B中的直线l1以及图片C中的直线l2均为同一条直线L的投影，计算直线l0、l1与l2的法向量，对应的记为k0、k1与k2；
k0、k1与k2即为直线L在不同投影平面的投影直线的法向量；
所述利用同一条直线在不同投影平面的投影直线的法向量共面的特点，求解相机的旋转矩阵包括：
投影直线的法向量共面方程为：
k0M(k1MR1*k2MR2)＝0；
其中，k0、k1与k2为直线L在不同投影平面的投影直线的法向量；M为相机内部参数矩阵；R1与R2为相机的旋转矩阵；
结合多条直线在不同投影平面的投影直线的法向量，能够列出多个上述共面方程，利用非线性求解方法求解出相机的旋转矩阵R1与R2。
2.根据权利要求1所述的一种多视角运动法三维重建方法，其特征在于，相机的平移矩阵求解方程为：
k1MR1M-1X0k2MT2＝k2MR2M-1X0k1MT1；
其中，k0、k1与k2为直线L在不同投影平面的投影直线的法向量；M为相机内部参数矩阵；R1与R2为相机的旋转矩阵；T1与T2为相机的平移矩阵；X0为直线L在图片A的投影直线上的任一点坐标；
利用奇异法求解上述方程，获得相机的平移矩阵T1与T2。
CN201711116849.5A 2017-11-13 2017-11-13 多视角运动法三维重建方法 Active CN107808411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711116849.5A CN107808411B (zh) 2017-11-13 2017-11-13 多视角运动法三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711116849.5A CN107808411B (zh) 2017-11-13 2017-11-13 多视角运动法三维重建方法

Publications (2)

Publication Number Publication Date
CN107808411A CN107808411A (zh) 2018-03-16
CN107808411B true CN107808411B (zh) 2020-10-27

Family

ID=61592082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711116849.5A Active CN107808411B (zh) 2017-11-13 2017-11-13 多视角运动法三维重建方法

Country Status (1)

Country Link
CN (1) CN107808411B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0916653A (ja) * 1995-07-03 1997-01-17 Matsushita Electric Ind Co Ltd 図形処理装置および図形処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4599515B2 (ja) * 2005-05-27 2010-12-15 コニカミノルタセンシング株式会社 ３次元形状データの位置合わせ方法および装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0916653A (ja) * 1995-07-03 1997-01-17 Matsushita Electric Ind Co Ltd 図形処理装置および図形処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Plane Detection with Stereo Images;Jacopo Piazzi等;《Proceedings of the 2006 IEEE International Conference on Robotics and Automation》;20060531;全文 *

Also Published As

Publication number Publication date
CN107808411A (zh) 2018-03-16

Similar Documents

Publication Publication Date Title
US11151690B2 (en) Image super-resolution reconstruction method, mobile terminal, and computer-readable storage medium
US11270460B2 (en) Method and apparatus for determining pose of image capturing device, and storage medium
US9699380B2 (en) Fusion of panoramic background images using color and depth data
Patwardhan et al. Video inpainting under constrained camera motion
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
Wang et al. Motion-aware temporal coherence for video resizing
CN105409196B (zh) 用于视频稳定的自适应路径平滑
KR101801749B1 (ko) 3차원 복원을 위한 다중시점 영상 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치
CN107451952B (zh) 一种全景视频的拼接融合方法、设备以及系统
US10726612B2 (en) Method and apparatus for reconstructing three-dimensional model of object
CN113688907B (zh) 模型训练、视频处理方法，装置，设备以及存储介质
US20170064279A1 (en) Multi-view 3d video method and system
CN109495733B (zh) 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
US20190206117A1 (en) Image processing method, intelligent terminal, and storage device
CN110580720A (zh) 一种基于全景图的相机位姿估计方法
EP2887310A1 (en) Method and apparatus for processing light-field image
US9165393B1 (en) Measuring stereoscopic quality in a three-dimensional computer-generated scene
US20140198177A1 (en) Realtime photo retouching of live video
CN107808411B (zh) 多视角运动法三维重建方法
JP5736285B2 (ja) 被写体の３次元形状を復元する装置、方法およびプログラム
US10783704B2 (en) Dense reconstruction for narrow baseline motion observations
Fassold Adapting computer vision algorithms for omnidirectional video
CN109741245A (zh) 平面信息的插入方法及装置
JP5906165B2 (ja) 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム
KR20100072843A (ko) 평행사변형 기반의 무한 호모그래피 산출 방법과 이를 이용한 건물 구조 복원 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant