CN111739158B - 一种三维场景图像恢复方法 - Google Patents

一种三维场景图像恢复方法 Download PDF

Info

Publication number
CN111739158B
CN111739158B CN202010602322.9A CN202010602322A CN111739158B CN 111739158 B CN111739158 B CN 111739158B CN 202010602322 A CN202010602322 A CN 202010602322A CN 111739158 B CN111739158 B CN 111739158B
Authority
CN
China
Prior art keywords
dimensional
image
panoramic image
scene
dimensional panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010602322.9A
Other languages
English (en)
Other versions
CN111739158A (zh
Inventor
蔡红亮
何瑞
唐聃
何磊
岳希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN202010602322.9A priority Critical patent/CN111739158B/zh
Publication of CN111739158A publication Critical patent/CN111739158A/zh
Application granted granted Critical
Publication of CN111739158B publication Critical patent/CN111739158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种三维场景图像恢复方法，在进行三维场景图像恢复时，对于视野很广的三维数据，尤其是360度的视野，不需要再进行大量深度图像的合并，把组成三维图像的一系列子图像根据不受约束的特征跟踪，确定最优的三维重建点，进而完成对三维场景图像的恢复；通过使用全景图像，可以提取覆盖很宽视野的3D数据，从而避免了大量深度图合并的需要，进而避免了深度图之间的相对位置还不完全清楚的情况下合并会出现的三维场景恢复错误；通过对全景图进行特征点的跟踪，减少了模糊匹配的数量，提高了三维场景图像恢复效率。

Description

一种三维场景图像恢复方法
技术领域
本发明属于计算机图像处理技术领域，具体涉及一种三维场景图像恢复方法。
背景技术
随着互联网的飞速发展、应用越来越丰富、用户数量越来越多、数据也成几何级增长，尤其是三维图像的运用越来越广泛，不仅是机场火车站的安检，还有我们常熟知的身份证验证时候的人脸识别等，都是属于三维场景图像的运用，而且随着三维尝尽图像存储量的增多，它的恢复也是十分重要的一部分。
传统的三维场景图像恢复主要是运用的线性恢复方法，例如目前使用很广泛的利用几何投影的原理进行重建，每一幅图像中含有的大量平行线、平行面、垂直线、垂直面、消失点、消失线等多种几何属性的约束，利用图像的这些几何约束进行摄像机标定或平面标定。进而估算出摄像机的内部各种参数、摄像机的焦距；然后通过测量目标的几何形状或计算目标高度来估算出必需的深度信息；最后利用几何投影知识等对图像进行数字化的表述，构建数字化的三维模型，将得到的模型绘制出来，这就是整个的基于单幅图像的三维重建过程。因此，现有的三维立体图像恢复技术需要从一个广泛的大场景中提取几何信息，然后计算多个立体图的三维深度图和三维数据，然后再把这些三维数据进行合并，但是在三维深度图之前的相对位置不确定的情况下，合并后的深度图可能会出现错误的情况，另外对照相机与摄影设备有一定的要求，这是获得真实的感知图像的需要。
因此，上述三维场景图像恢复方法需要假设很多条件来进行试验，同时运行起来耗费的时间很长，最主要的是恢复出来的图像效果并不理想，一方面传统的三维立体图像恢复必须先要建立模型，同时需要获得若干幅基于真实场景或者真实的物体的三维感知图像，但是当物体或者场景都是虚构出来的不存在的，这就意味着构建真实场景不能获取到真实感知的图像，又或者场景和物体是在时刻变化的，这就意味着不可以使用基于图像的建模技术来恢复；另一方面，从用户的角度出发，在恢复过程中，场景中的无图都会变成图像中的二维对象，用户很难和这些图像进行交互，获得自己所需要的重要信息。
发明内容
针对现有技术中的上述不足，本发明提供的三维场景图像恢复方法解决了三维场景图像恢复效果不理想、容易出现错误的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种三维场景图像恢复方法，包括以下步骤：
S1、提取待恢复场景的二维全景图像，并构建目标三维场景图；
S2、对提取的若干张二维全景图像进行修正；
S3、计算所有修正后的二维全景图像在目标三维场景图中的最优三维重建点；
S4、对计算出最优三维重建点进行建模，进而恢复出目标三维场景图对应的三维立体图，实现三维场景图像恢复。
进一步地，所述步骤S1具体为：
S11、确定待恢复场景，将其作为目标场景；
S12、基于目标场景，确定X-Y精密工作台的位置；
S13、基于X-Y精密工作台的位置调整相机的位置，使其拍摄目标场景中所有平面的二维全景图像；
S14、利用相机的固有参数对拍摄的二维全景图像进行校正；
S15、将校正后的二维全景图像进行合成，得到目标三维场景图。
进一步地，所述步骤S13具体为：
A1、将相机绕其光学中心围绕一个轴旋转360度，拍摄当前平面内的全景图像；
A2、基于X-Y精密工作台与相机的相对位置，调整相机的位置，使其拍摄目标场景内所有平面的全景图像。
进一步地，所述步骤S14中通过相机的焦距、横纵比和径向畸变系数对拍摄的二维全景图像进行校正。
进一步地，所述步骤S2具体为：
S21、根据获取二维全景图像时的序列，对相邻二维全景图像依次两两进行二维傅里叶变换；
S22、针对傅里叶变换后的两个二维全景图像，计算其固定时间差内的相位差，进而估计两个二维全景图像之间的二维平移；
S23、确定两个二维全景图像之间的重叠区域，在重叠区域内利用图像配准方法对两个二维全景图像的二维平移进行细化；
S24、根据二维平移细化后的两个二维全景图像中同一物体的坐标值之差，确定相邻两个二维全景图像的相对位移；
S25、重复步骤S21-S24，计算所有二维全景图像相对于其他二维全景图像的相对位移，进而确定每个二维全景图像的相对位移误差值；
S26、根据确定的相对位移误差值，重新生成每一个序列下的二维全景图像，完成对二维全景图像的修正。
进一步地，所述步骤S3具体为：
S31、通过无特征约束特征跟踪和三维数据合并方法对各二维全景图像进行处理，获取其中的理论三维重建点；
S32、基于每个二维全景图像的特征点，计算其对应的实际三维重建点；
S33、判断每个二维全景图像中的理论三维重建点和实际三维重建点的距离是否大于设定阈值；
若是，则进入步骤S34；
若否，则进入步骤S35；
S34、更新二维全景图像中的特征点，重新计算对应的实际三维重建点，返回步骤S33；
S35、将每个二维全景图像中的当前实际三维重建点，作为该二维全景图像在目标三维场景图中的最优三维重建点。
进一步地，所述步骤S31具体为：
B1、确定每个二维全景图像中的特征点，利用每个二维全景图像的三维柱坐标对对应二维全景图像中的特征点进行跟踪；
B2、将每个二维全景图像的特征点跟踪得到的坐标值构造为一个基本矩阵；
B3、基于构造的基本矩阵和相机相对位移，计算出每个二维全景图像相对于目标三维场景图的理论三维重建点。
进一步地，所述步骤S32中，确定一个二维全景图像中的实际三维重建点的方法具体为：
C1、确定第p个二维全景图像中第i个特征点到目标三维场景图对应像点的单位矢量
Figure GDA0004140809630000041
与第p个二维全景图像相关联的相机的平移距离Lp之间的关系式：
Figure GDA0004140809630000042
式中，Xip为平移距离Lp和单位矢量
Figure GDA0004140809630000043
之间的关系函数值；Kip为第p个二维全景图像中第i个特征点的矢量系数；
C2、基于Xip，确定第p个二维全景图像中第i个特征点的最小化误差εi：
Figure GDA0004140809630000051
式中，Kp为第p个二维全景图像的矢量系数，
Figure GDA0004140809630000052
为第p个二维全景图像到目标三维场景图的单位矢量，S为实际三维重建点；
C3、基于最小化误差εi，确定系数Kp和实际三维重建点S的偏导数，其分别为：
Figure GDA0004140809630000053
Figure GDA0004140809630000054
C4、令
Figure GDA0004140809630000055
根据系数Kp的偏导数公式计算出Kp的值，并将其代入到实际三维重建点S偏导数公式中，得到：
Figure GDA0004140809630000056
式中，
Figure GDA0004140809630000057
为向量
Figure GDA0004140809630000058
的转置向量；
C5、当
Figure GDA0004140809630000059
中的
Figure GDA00041408096300000510
时，得到实际三维重建点S的表达式为：
S＝[∑pAp]-1[∑pApLp]＝[∑pAp]-1[∑pSp]
式中，Ap为二维全景图像中的特征点到目标三维场景图对应像点的连线，Sp为第p个二维全景图像的实际三维重建点，I为单位矩阵；
C6、根据实际三维重建点S的计算公式，并结合第p个二维全景图像的Ap和Lp，计算出第p个二维全景图像的实际三维重建点Sp：
Figure GDA00041408096300000511
进一步地，所述步骤S4具体为：
S41、利用3D网格对所有二维全景图像中的最优三维重建点进行建模；
S42、将建模得到的每个平面与对应二维全景图像构建一个文本映射；
S43、根据文本映射，利用Matlab对各二维全景图像的实际三维重建点，进行平面拟合和边界化简；
S44、根据平面拟合及边界化简后的各实际三维重建点，恢复出目标三维场景图对应的三维立体图，实现三维场景图像恢复。
本发明的有益效果：
(1)在进行三维场景图像恢复时，对于视野很广的三维数据，尤其是360度的视野，不需要再进行大量深度图像的合并，把组成三维图像的一系列子图像根据不受约束的特征跟踪，确定最优的三维重建点，进而完成对三维场景图像的恢复；
(2)本发明方法通过使用全景图像，可以提取覆盖很宽视野的3D数据，从而避免了大量深度图合并的需要，进而避免了深度图之间的相对位置还不完全清楚的情况下合并会出现的三维场景恢复错误；
(3)本发明方法通过对全景图进行特征点的跟踪，减少了模糊匹配的数量，提高了三维场景图像恢复效率。
附图说明
图1为本发明提供的三维场景图像恢复方法流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种三维场景图像恢复方法，包括以下步骤：
S1、提取待恢复场景的二维全景图像，并构建目标三维场景图；
S2、对提取的若干张二维全景图像进行修正；
S3、计算所有修正后的二维全景图像在目标三维场景图中的最优三维重建点；
S4、对计算出最优三维重建点进行建模，进而恢复出目标三维场景图对应的三维立体图，实现三维场景图像恢复。
本实施例的步骤S1具体为：
S11、确定待恢复场景，将其作为目标场景；
S12、基于目标场景，确定X-Y精密工作台的位置；
S13、基于X-Y精密工作台的位置调整相机的位置，使其拍摄目标场景中所有平面的二维全景图像；
S14、利用相机的固有参数对拍摄的二维全景图像进行校正；
S15、将校正后的二维全景图像进行合成，得到目标三维场景图。
在上述步骤S13具体为：
A1、将相机绕其光学中心围绕一个轴旋转360度，拍摄当前平面内的全景图像；
A2、基于X-Y精密工作台与相机的相对位置，调整相机的位置，使其拍摄目标场景内所有平面的全景图像。
本实施例中通过手动调整相机相对于X-Y精密工作台的位置，以保证获取的三维全景图像完整，以消除相机移动的时候产生的运动视差；在每个相机的位置，把相机通过其光学中心围绕一个轴旋转360度，以获取拍摄目标场景中所有平面的二维全景图像；
在上述步骤S14中通过相机的焦距、横纵比和径向畸变系数对拍摄的二维全景图像的序列、纵横比和径向畸变系数进行校正。
本实施例的步骤S2具体为：
S21、根据获取二维全景图像时的序列，对相邻二维全景图像依次两两进行二维傅里叶变换；
S22、针对傅里叶变换后的两个二维全景图像，计算其固定时间差内的相位差，进而估计两个二维全景图像之间的二维平移；
S23、确定两个二维全景图像之间的重叠区域，在重叠区域内利用图像配准方法对两个二维全景图像的二维平移进行细化；
S24、根据二维平移细化后的两个二维全景图像中同一物体的坐标值之差，确定相邻两个二维全景图像的相对位移；
S25、重复步骤S21-S24，计算所有二维全景图像相对于其他二维全景图像的相对位移，进而确定每个二维全景图像的相对位移误差值；
S26、根据确定的相对位移误差值，重新生成每一个序列下的二维全景图像，完成对二维全景图像的修正。
本实施例的步骤S3具体为：
S31、通过无特征约束特征跟踪和三维数据合并方法对各二维全景图像进行处理，获取其中的理论三维重建点；
S32、基于每个二维全景图像的特征点，计算其对应的实际三维重建点；
S33、判断每个二维全景图像中的理论三维重建点和实际三维重建点的距离是否大于设定阈值；
若是，则进入步骤S34；
若否，则进入步骤S35；
S34、更新二维全景图像中的特征点，重新计算对应的实际三维重建点，返回步骤S33；
S35、将每个二维全景图像中的当前实际三维重建点，作为该二维全景图像在目标三维场景图中的最优三维重建点。
上述步骤S31具体为：
B1、确定每个二维全景图像中的特征点，利用每个二维全景图像的三维柱坐标对对应二维全景图像中的特征点进行跟踪；
具体地，每个二维全景图像的三维柱坐标的确定方法具体为：
将二维全景图像对应的横纵比和径向畸变系数进行转换，并将相机的焦距作为图像的横截面半径，将该二维全景图像的序列转换成对应目标三维场景图的柱坐标。
B2、将每个二维全景图像的特征点跟踪得到的坐标值构造为一个基本矩阵；
B3、基于构造的基本矩阵和相机相对位移，计算出每个二维全景图像相对于目标三维场景图的理论三维重建点。
上述步骤S32中，确定一个二维全景图像中的实际三维重建点的方法具体为：
C1、确定第p个二维全景图像中第i个特征点到目标三维场景图对应像点的单位矢量
Figure GDA0004140809630000091
与第p个二维全景图像相关联的相机的平移距离Lp之间的关系式：
Figure GDA0004140809630000092
式中，Xip为平移距离Lp和单位矢量
Figure GDA0004140809630000093
之间的关系函数值；Kip为第p个二维全景图像中第i个特征点的矢量系数；
由于每个特征点都在其与三维全景图像像点的连线上，根据Xip得到图像p的第i个特征点的最小化误差函数：
Figure GDA0004140809630000094
式中，N为所合成的全景图的个数；
C2、基于Xip，确定第p个二维全景图像中第i个特征点的最小化误差εi：
Figure GDA0004140809630000101
式中，Kp为第p个二维全景图像的矢量系数，
Figure GDA0004140809630000102
为第p个二维全景图像到目标三维场景图的单位矢量，S为实际三维重建点；
C3、基于最小化误差εi，确定系数Kp和实际三维重建点S的偏导数，其分别为：
Figure GDA0004140809630000103
Figure GDA0004140809630000104
C4、令
Figure GDA0004140809630000105
根据系数Kp的偏导数公式计算出Kp的值，并将其代入到实际三维重建点S偏导数公式中，得到：
Figure GDA0004140809630000106
式中，
Figure GDA0004140809630000107
为向量
Figure GDA0004140809630000108
的转置向量；
C5、当
Figure GDA0004140809630000109
中的
Figure GDA00041408096300001010
时，得到实际三维重建点S的表达式为：
S＝[∑pAp]-1[∑pApLp]＝[∑pAp]-1[∑pSp]
式中，Ap为二维全景图像中的特征点到目标三维场景图对应像点的连线，Sp为第p个二维全景图像的实际三维重建点，I为单位矩阵；
C6、根据实际三维重建点S的计算公式，并结合第p个二维全景图像的Ap和Lp，计算出第p个二维全景图像的实际三维重建点Sp：
Figure GDA00041408096300001011
本实施例的步骤S4具体为：
S41、利用3D网格对所有二维全景图像中的最优三维重建点进行建模；
S42、将建模得到的每个平面与对应二维全景图像构建一个文本映射；
S43、根据文本映射，利用Matlab对各二维全景图像的实际三维重建点，进行平面拟合和边界化简；
S44、根据平面拟合及边界化简后的各实际三维重建点，恢复出目标三维场景图对应的三维立体图，实现三维场景图像恢复。
本发明的有益效果：
(1)在进行三维场景图像恢复时，对于视野很广的三维数据，尤其是360度的视野，不需要再进行大量深度图像的合并，把组成三维图像的一系列子图像根据不受约束的特征跟踪，确定最优的三维重建点，进而完成对三维场景图像的恢复；
(2)本发明方法通过使用全景图像，可以提取覆盖很宽视野的3D数据，从而避免了大量深度图合并的需要，进而避免了深度图之间的相对位置还不完全清楚的情况下合并会出现的三维场景恢复错误；
(3)本发明方法通过对全景图进行特征点的跟踪，减少了模糊匹配的数量，提高了三维场景图像恢复效率。

Claims (7)

1.一种三维场景图像恢复方法，其特征在于，包括以下步骤：
S1、提取待恢复场景的二维全景图像，并构建目标三维场景图；
S2、对提取的若干张二维全景图像进行修正；
S3、计算所有修正后的二维全景图像在目标三维场景图中的最优三维重建点；
S4、对计算出最优三维重建点进行建模，进而恢复出目标三维场景图对应的三维立体图，实现三维场景图像恢复；
所述步骤S2具体为：
S21、根据获取二维全景图像时的序列，对相邻二维全景图像依次两两进行二维傅里叶变换；
S22、针对傅里叶变换后的两个二维全景图像，计算其固定时间差内的相位差，进而估计两个二维全景图像之间的二维平移；
S23、确定两个二维全景图像之间的重叠区域，在重叠区域内利用图像配准方法对两个二维全景图像的二维平移进行细化；
S24、根据二维平移细化后的两个二维全景图像中同一物体的坐标值之差，确定相邻两个二维全景图像的相对位移；
S25、重复步骤S21-S24，计算所有二维全景图像相对于其他二维全景图像的相对位移，进而确定每个二维全景图像的相对位移误差值；
S26、根据确定的相对位移误差值，重新生成每一个序列下的二维全景图像，完成对二维全景图像的修正；
所述步骤S3具体为：
S31、通过无特征约束特征跟踪和三维数据合并方法对各二维全景图像进行处理，获取其中的理论三维重建点；
S32、基于每个二维全景图像的特征点，计算其对应的实际三维重建点；
S33、判断每个二维全景图像中的理论三维重建点和实际三维重建点的距离是否大于设定阈值；
若是，则进入步骤S34；
若否，则进入步骤S35；
S34、更新二维全景图像中的特征点，重新计算对应的实际三维重建点，返回步骤S33；
S35、将每个二维全景图像中的当前实际三维重建点，作为该二维全景图像在目标三维场景图中的最优三维重建点。
2.根据权利要求1所述的三维场景图像恢复方法，其特征在于，所述步骤S1具体为：
S11、确定待恢复场景，将其作为目标场景；
S12、基于目标场景，确定X-Y精密工作台的位置；
S13、基于X-Y精密工作台的位置调整相机的位置，使其拍摄目标场景中所有平面的二维全景图像；
S14、利用相机的固有参数对拍摄的二维全景图像进行校正；
S15、将校正后的二维全景图像进行合成，得到目标三维场景图。
3.根据权利要求2所述的三维场景图像恢复方法，其特征在于，所述步骤S13具体为：
A1、将相机绕其光学中心围绕一个轴旋转360度，拍摄当前平面内的全景图像；
A2、基于X-Y精密工作台与相机的相对位置，调整相机的位置，使其拍摄目标场景内所有平面的全景图像。
4.根据权利要求2所述的三维场景图像恢复方法，其特征在于，所述步骤S14中通过相机的焦距、横纵比和径向畸变系数对拍摄的二维全景图像进行校正。
5.根据权利要求1所述的三维场景图像恢复方法，其特征在于，所述步骤S31具体为：
B1、确定每个二维全景图像中的特征点，利用每个二维全景图像的三维柱坐标对对应二维全景图像中的特征点进行跟踪；
B2、将每个二维全景图像的特征点跟踪得到的坐标值构造为一个基本矩阵；
B3、基于构造的基本矩阵和相机相对位移，计算出每个二维全景图像相对于目标三维场景图的理论三维重建点。
6.根据权利要求1所述的三维场景图像恢复方法，其特征在于，所述步骤S32中，确定一个二维全景图像中的实际三维重建点的方法具体为：
C1、确定第p个二维全景图像中第i个特征点到目标三维场景图对应像点的单位矢量
Figure FDA0004140809620000031
与第p个二维全景图像相关联的相机的平移距离Lp之间的关系式：
Figure FDA0004140809620000032
式中，Xip为平移距离Lp和单位矢量
Figure FDA0004140809620000033
之间的关系函数值；Kip为第p个二维全景图像中第i个特征点的矢量系数；
C2、基于Xip，确定第p个二维全景图像中第i个特征点的最小化误差εi：
Figure FDA0004140809620000034
式中，Kp为第p个二维全景图像的矢量系数，
Figure FDA0004140809620000035
为第p个二维全景图像到目标三维场景图的单位矢量，S为实际三维重建点；
C3、基于最小化误差εi，确定系数Kp和实际三维重建点S的偏导数，其分别为：
Figure FDA0004140809620000041
Figure FDA0004140809620000042
C4、令
Figure FDA0004140809620000043
根据系数Kp的偏导数公式计算出Kp的值，并将其代入到实际三维重建点S偏导数公式中，得到：
Figure FDA0004140809620000044
式中，
Figure FDA0004140809620000045
为向量
Figure FDA0004140809620000046
的转置向量；
C5、当
Figure FDA0004140809620000047
中的
Figure FDA0004140809620000048
时，得到实际三维重建点S的表达式为：
S＝[∑pAp]-1[∑pApLp]＝[∑pAp]-1[∑pSp]
式中，Ap为二维全景图像中的特征点到目标三维场景图对应像点的连线，Sp为第p个二维全景图像的实际三维重建点，I为单位矩阵；
C6、根据实际三维重建点S的计算公式，并结合第p个二维全景图像的Ap和Lp，计算出第p个二维全景图像的实际三维重建点Sp：
Figure FDA0004140809620000049
7.根据权利要求2所述的三维场景图像恢复方法，其特征在于，所述步骤S4具体为：
S41、利用3D网格对所有二维全景图像中的最优三维重建点进行建模；
S42、将建模得到的每个平面与对应二维全景图像构建一个文本映射；
S43、根据文本映射，利用Matlab对各二维全景图像的实际三维重建点，进行平面拟合和边界化简；
S44、根据平面拟合及边界化简后的各实际三维重建点，恢复出目标三维场景图对应的三维立体图，实现三维场景图像恢复。
CN202010602322.9A 2020-06-29 2020-06-29 一种三维场景图像恢复方法 Active CN111739158B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010602322.9A CN111739158B (zh) 2020-06-29 2020-06-29 一种三维场景图像恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010602322.9A CN111739158B (zh) 2020-06-29 2020-06-29 一种三维场景图像恢复方法

Publications (2)

Publication Number Publication Date
CN111739158A CN111739158A (zh) 2020-10-02
CN111739158B true CN111739158B (zh) 2023-04-25

Family

ID=72651580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010602322.9A Active CN111739158B (zh) 2020-06-29 2020-06-29 一种三维场景图像恢复方法

Country Status (1)

Country Link
CN (1) CN111739158B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012302A (zh) * 2021-03-02 2021-06-22 北京爱笔科技有限公司 三维全景图生成方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7352386B1 (en) * 1999-06-22 2008-04-01 Microsoft Corporation Method and apparatus for recovering a three-dimensional scene from two-dimensional images
WO2016141810A1 (zh) * 2015-03-11 2016-09-15 维科技术有限公司 拍摄终端的图像处理方法及其装置
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
CN109102537A (zh) * 2018-06-25 2018-12-28 中德人工智能研究院有限公司 一种激光雷达和球幕相机结合的三维建模方法和系统
CN110264526A (zh) * 2019-06-19 2019-09-20 华东师范大学 一种基于深度学习的场景深度和摄像机位置姿势求解方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8244017B2 (en) * 2010-02-08 2012-08-14 James Jiwen Chun Constructing three dimensional images using panoramic images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7352386B1 (en) * 1999-06-22 2008-04-01 Microsoft Corporation Method and apparatus for recovering a three-dimensional scene from two-dimensional images
WO2016141810A1 (zh) * 2015-03-11 2016-09-15 维科技术有限公司 拍摄终端的图像处理方法及其装置
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
CN109102537A (zh) * 2018-06-25 2018-12-28 中德人工智能研究院有限公司 一种激光雷达和球幕相机结合的三维建模方法和系统
CN110264526A (zh) * 2019-06-19 2019-09-20 华东师范大学 一种基于深度学习的场景深度和摄像机位置姿势求解方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Mingwei Cao 等.Fast and robust feature tracking for 3D reconstruction.《Optics &amp Laser Technology》.2019,第110卷120-128. *
尚超.序列图像的三维重建技术研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2014,(第1期),I138-1682. *

Also Published As

Publication number Publication date
CN111739158A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
US6571024B1 (en) Method and apparatus for multi-view three dimensional estimation
CN103822616B (zh) 一种图分割与地形起伏约束相结合的遥感影像匹配方法
US8131113B1 (en) Method and apparatus for estimating rotation, focal lengths and radial distortion in panoramic image stitching
CN107767339B (zh) 一种双目立体图像拼接方法
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
CN111798373A (zh) 一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法
CN113658337A (zh) 一种基于车辙线的多模态里程计方法
CN113256698A (zh) 一种具有深度预测的单目3d重建方法
CN111951325A (zh) 位姿跟踪方法、位姿跟踪装置及电子设备
CN111105460A (zh) 一种室内场景三维重建的rgb-d相机位姿估计方法
CN106952247A (zh) 一种双摄像头终端及其图像处理方法和系统
CN113298947A (zh) 一种基于多源数据融合的变电站三维建模方法介质及系统
CN115205118A (zh) 一种水下图像拼接方法、装置、计算机设备及存储介质
CN111739158B (zh) 一种三维场景图像恢复方法
CN109215118B (zh) 一种基于图像序列的增量式运动结构恢复优化方法
CN114882106A (zh) 位姿确定方法和装置、设备、介质
CN113744307A (zh) 一种基于阈值动态调整的图像特征点跟踪方法和系统
CN110910457B (zh) 基于角点特征的多光谱立体相机外参计算方法
RU2384882C1 (ru) Способ автоматической компоновки ландшафтных панорамных изображений
CN116823895A (zh) 基于可变模板的rgb-d相机多视角匹配的数字图像计算方法及系统
CN116664621A (zh) 一种基于车载多目摄像头和深度神经网络的slam系统
CN112419172B (zh) 倾斜图像校正去模糊的遥感图像处理方法
CN112991207B (zh) 全景深度估计方法、装置、终端设备及存储介质
Ershov et al. Stereovision algorithms applicability investigation for motion parallax of monocular camera case
CN105243645B (zh) 一种lasis图像配准预处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant