CN114092647A - 一种基于全景双目立体视觉的三维重建系统和方法 - Google Patents

一种基于全景双目立体视觉的三维重建系统和方法 Download PDF

Info

Publication number
CN114092647A
CN114092647A CN202111398711.5A CN202111398711A CN114092647A CN 114092647 A CN114092647 A CN 114092647A CN 202111398711 A CN202111398711 A CN 202111398711A CN 114092647 A CN114092647 A CN 114092647A
Authority
CN
China
Prior art keywords
panoramic
image
dimensional
dimensional reconstruction
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111398711.5A
Other languages
English (en)
Inventor
王军华
田雨涵
王鼎
徐敏
李旭锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202111398711.5A priority Critical patent/CN114092647A/zh
Publication of CN114092647A publication Critical patent/CN114092647A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明属于计算机视觉三维重建技术领域，具体为一种基于全景双目立体视觉的三维重建系统和方法。本发明三维重建系统包括两个全景相机、两个多维调节架及计算机处理系统，全景相机由图像传感器和二次折反射式全景镜头组成，根据二次折反射式全景相机的成像关系，建立平面‑柱面投影模型。本发明的三维重建方法包括：全景图像采集及图像处理，得到全景环式图像；全景相机标定；利用特征点提取算法对全景环式图像进行特征点检测；采用平衡二叉树法进行特征匹配；计算实际物点的三维坐标，实现稀疏特征的全景三维重建。本发明可以快速、高效实现360°环式场景的三维重建，在机器人导航、自动驾驶、非接触式三维测量等方面具有广阔的应用前景。

Description

一种基于全景双目立体视觉的三维重建系统和方法
技术领域
本发明属于计算机视觉三维重建技术领域，具体涉及一种基于全景双目立体视觉的三维重建系统和方法。
背景技术
基于图像的三维重建技术是从图像序列中获取场景的三维模型，是计算视觉领域解决三维建模的手段之一，它对实时大规模复杂场景三维建模有非常重要的现实意义。其中，双目立体视觉利用两台相机从不同的角度获取同一三维场景的两幅数字图像，通过立体匹配来计算两幅图像像素间的位置偏差(即视差)来获取该三维场景的三维几何信息和深度信息，达到重建该场景的三维形状与位置的目的。双目立体视觉直接模拟人眼处理景物的方式，已广泛应用于诸多领域，如机器人导航与航测、自动驾驶、增强现实、非接触式三维测量等。
全景空间的三维重建技术在很多领域具有重要的应用，但传统成像系统受到视场的限制，难以快速直接恢复出360°环式场景所有物点的深度信息。目前全景立体成像主要分为三类：拼接式全景立体成像，鱼眼全景立体成像以及折反射式全景立体成像。拼接式全景立体成像主要包括单相机旋转拍摄和多相机环绕拍摄两个方法。单相机旋转拍摄法是利用相机绕轴360°依次采集图像序列，然后拼接成全景环式图像，但是其成像速度缓慢，不具有实时性；多相机成像法是通过多个相机环绕成一圈，每个相机固定拍摄某个角度获得固定角度的图像，再拼接成全景环式图像，虽然能满足实时性要求，但是拼接系统不仅成本高也更加复杂，拼接过程还会产生拼接误差，因此拼接式全景立体成像的三维重建精度低。鱼眼全景立体成像利用超广角物镜实现全景成像，其焦距非常短，因此能够获得接近180°视场角的半球面场景，但是鱼眼图像具有极大的桶形畸变，后期也很难得到校正，导致标定精度低，从而影响三维重建精度。折反射全景立体成像利用反射光学元件扩大视场角，可以获得水平360°的全景环式图像，省去了旋转和多台相机拼接的步骤，具有系统结构简单，设计灵活的优点。
折反射全景成像按照反射的次数可以分为单次反射式全景成像和二次折反射式全景成像。单次反射式全景成像结构简单，成本低，但是存在系统反射镜尺寸大、不易集成、焦距短、杂散光严重、畸变大等缺点，导致三维重建精度低。相比之下，二次折反射式全景成像利用全景环形透镜将折射反射面集成在一起具有结构紧凑、易集成、焦距长、视场角大、畸变低等优点，三维重建精度高。因此本发明基于二次折反射式全景立体成像系统，可以对360°环式场景进行快速、高效、高精度的三维重建，在机器人导航与航测、自动驾驶、增强现实、非接触式三维测量等方面具有广阔的应用前景。
发明内容
本发明的目的是提供一种基于全景双目立体视觉的三维重建系统和方法，可以对360°环式场景进行快速、高效、高精度的全景三维重建。
本发明提供的基于全景双目立体视觉的三维重建系统，包括：两个全景相机、两个多维调节架及计算机处理系统；其中：
所述全景相机由图像传感器和二次折反射式全景镜头组成，两者相对位置通过螺纹调节和固定，使全景镜头成像在图像传感器上，将采集到的图像信息传到计算机处理系统；
所述两个全景相机分别固定在两个多维调节架上，调节多维调节架使两个全景相机同光轴且有视场重合区域，所述两个全景相机用于采集两副具有视差的全景图像，用于360°环式场景的三维重建；
所述的计算机处理系统用于驱动两个全景相机进行全景图像的采集，计算两个全景相机的标定参数，并完成360°环式场景的三维重建。
所述的二次折反射式全景镜头映射关系采用基于泰勒级数展开的平面-柱面投影模型，可以把360°环式场景投影到二维平面上。
所述的二次折反射式全景镜头的光学系统由全景环形透镜、孔径光阑及中继透镜组沿光轴依次排列组成，入射光线依次在全景环形透镜内部发生两次反射和折射、再经过孔径光阑和中继透镜组，最终被图像传感器接收生成全景图像；所述的图像传感器把全景图像输出到计算机处理系统进行360°环式场景的三维重建。
基于上述三维重建系统，本发明还提供基于全景双目立体视觉的三维重建方法，具体步骤如下：
步骤1，全景图像采集及图像处理。将全景双目立体视觉系统置于场景中，使用计算机处理系统驱动2个全景相机同时拍摄360°环式场景，得到具有一定视差的两幅全景图像；对所述的全景图像进行滤波处理去除噪声；对所述的全景图像的盲区进行剪切处理，生成全景环式图像；
步骤2，全景相机标定。所述的全景相机成像模型是基于泰勒级数展开的平面-柱面投影模型，包括正向投影模型和反向投影模型，通过此投影模型确定空间某物点的三维点坐标与其在全景环式图像中的投影点坐标之间的关系；通过棋盘格标定板得到棋盘格全部角点对应的世界坐标系下的三维点坐标和在像素坐标系下的二维点坐标；采用最小二乘法得到全景相机标定参数，包括内参、外参以及畸变参数，这些参数将用于全景双目立体视觉系统的三维场景重建。
步骤3，特征点提取。将两个全景相机生成的全景环式图像分别作为原图像和目标图像，利用特征点提取算法对原图像和目标图像进行特征点检测，并生成全部特征点的特征描述向量，特征描述向量将用于特征点匹配过程中特征相似度的计算。
步骤4，特征点匹配。建立全景共径约束，根据两个全景相机的位置转换矩阵，将第一全景环形图像的中心点映射到第二全景环形图像的对应半径中，将搜索范围限制在对应有效半径所在的扇形区内，降低匹配的复杂度，有效缩短计算时间，降低误匹配率。采用平衡二叉树法(Adel'Son-Vel'Skii G.M..An algorithms for the organization ofInformation[J].Soviet Math,1962,3.)寻找匹配的特征点，输出匹配结果。
步骤5，计算三维坐标。将两个全景相机生成的全景环式图像转换到同一相机坐标系下，基于反向投影模型，将像平面上的特征点反向投影为对应物点的方向向量，两个全景环形图像恢复出的两条方向向量相交，利用最小二乘法求解出的交点坐标值，就是实际物点的三维坐标，对每一对特征点进行三维坐标的计算，实现稀疏特征的全景三维重建。
本发明的有益效果在于：
本发明设计了一种基于二次折反射式全景相机的双目立体视觉系统，可以通过单次成像获得360°环式场景的全景图像；通过建立基于泰勒级数展开的平面-柱面投影模型对全景双目立体视觉系统进行较高精度的标定；通过特征点提取算法对全景环形图像进行特征点检测，在特征点匹配过程中建立全景共径约束，缩小搜索范围，极大的提高了搜索效率，降低误匹配率，提高了三维重建的精度和效率，在机器人导航与航测、自动驾驶、增强现实、非接触式三维测量等领域具有重要的研究意义。
附图说明
图1为本发明的实施例公开的基于全景双目立体视觉的三维重建系统结构示意图。
图2为本发明的实施例公开的二次折反射式全景相机成像示意图。
图3为本发明的实施例公开的基于全景双目立体视觉的三维重建算法流程框图。
图4为本发明的实施例公开的全景相机标定算法流程框图。
图5为本发明的实施例公开的基于全景双目立体视觉的三维重建简化模型图。
图中标号：1为第一图像传感器，2为第一二次折反射式全景镜头，3为第一多维调节支架；4第二图像传感器，5为第二二次折反射式全景镜头，6为第二多维调节支架；7为计算机处理系统；8为全景环形透镜，9为孔径光阑，10为中继透镜组，11为光轴；12为物点，13为像面，14为图像传感器，15为成像区域，16为盲区，17为非成像区域；18为第一全景柱面坐标系，19为第二全景柱面坐标系。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
如图1所示，本发明实施例提供了一种基于全景双目立体视觉的三维重建系统，包括：由第一图像传感器1和第一二次折反射式全景镜头2组成的第一全景相机；第一多维调节支架3；由第二图像传感器4和第二二次折反射式全景镜头5组成的第二全景相机；第二多维调节支架6；计算机处理系统7。第一全景相机由第一图像传感器1和第一二次折反射式全景镜头2组成，并通过螺纹固定；第二全景相机由第二图像传感器4和第二二次折反射式全景镜头5组成，通过螺纹固定。第一全景相机和第二全景相机分别固定在第一多维调节架3和第二多维调节架6上，调节两个多维调节架使第一全景相机和第二全景相机同光轴且有视场重合区域。
图2为本发明的实施例公开的二次折反射式全景相机成像示意图，包括：光轴11，物点12，全景环形透镜8，孔径光阑9，中继透镜组10，像面13，图像传感器14，成像区域15，盲区16，非成像区域17。如图2所示，空间中某物点12发出的入射光线依次在全景环形透镜8内部发生两次反射和折射、再经过孔径光阑9和中继透镜组10，最终被图像传感器14接收生成全景图像，全景图像由内到外由盲区16、成像区域15和非成像区域17组成。图像传感器把全景图像输出到计算机处理系统7进行360°环式场景的三维重建。
所述二次折反射式全景相机映射关系采用的是平面-柱面投影模型，可以把360°环式场景投影到二维平面上。
根据二次折反射式全景相机的成像关系，建立基于泰勒级数展开的平面-柱面投影模型，模型具体描述如下：
(1)将世界坐标系下的物点P投影到相机坐标系中，假设不同入射方向的光线都经过单一有效视点O，以此为原点建立相机坐标系O-XYZ，物点P经过刚体变换转换到相机坐标系中，得到入射向量(x,y,z)和出射向量为(u,v,w)，将入射向量所在水平方向上归一化后得到基于x-y的单位圆，同理可以得到出射向量基于u-v的单位圆，因此存在：
Figure BDA0003365271150000051
设比例因子λ：
Figure BDA0003365271150000052
(2)通过非线性函数g拟合投影关系，得到像平面点坐标(u,v)和入射p向量的关系，其中p为视点O到场点P的向量：
g(u,v)＝(u,v,f(u,v))，
其中，f关于图像传感器回转对称，具体表达式取决于全景环形透镜的形状：
f(u,v)＝α0+α1ρ+α2ρ2+...+αNρN，
Figure BDA0003365271150000053
使用多项式拟合不仅克服针对鱼眼或二次折反射式全景相机参数模型的知识匮乏，还将畸变和相机内参放在一起，直接校正了径向畸变。
Figure BDA0003365271150000054
即：
Figure BDA0003365271150000055
并根据ρ值，可以计算出重投影点像素坐标为
Figure BDA0003365271150000056
(3)像平面点坐标(u,v)到像素坐标(u′,v′)转换的过程中，通过仿射变换拟合实际中存在的透镜安装误差和像素尺寸不同产生的不均匀变形，因此实际的像素坐标值为：
Figure BDA0003365271150000061
其中，(u0,v0)为像中心点。仿射变换矩阵元素(c,d,e,f)通过计算得到。
本发明实施例提供了一种基于全景双目立体视觉的三维重建方法，图3为本发明的实施例公开的基于全景双目立体视觉的三维重建算法流程框图。如图3所示，三维重建算法主要包括以下五个步骤：
步骤1，全景图像采集及图像处理。将全景双目立体视觉系统置于场景中，使用计算机处理系统驱动2个全景相机同时拍摄360°环式场景，得到具有一定视差的两幅全景图像；对所述的全景图像进行滤波处理，通过空间域平滑法最大程度在保留图像细节的前提下去除图像中的不必要噪声；对所述的全景图像的盲区进行剪切处理，生成全景环式图像，降低误匹配率，提高特征点匹配的效率和准确度。
步骤2，全景相机标定。所述的全景相机成像模型是基于泰勒级数展开的平面-柱面投影模型，包括正向投影模型和反向投影模型，通过此投影模型确定空间某物点的三维点坐标与其在全景环式图像中的投影点坐标之间的关系；通过标定板得到所有特征点对应的世界坐标系下的三维点坐标和在像素坐标系下的二维点坐标。采用最小二乘法得到全景相机标定参数，包括内参、外参以及畸变参数，这些参数将用于全景双目立体视觉系统的三维场景重建。
图4为本发明的实施例公开的全景相机标定算法流程框图，具体内容如下：
将标定板的全景环式图像序列输入到后续步骤中；确定并输入系统的已知参数，包括全景环式图像中心点坐标和棋盘格实际尺寸，得到棋盘格角点在世界坐标系下的三维点坐标；提取棋盘格角点的像素坐标，即物点在像面上的二维点坐标；对相机坐标系到像平面坐标系之间的投影关系进行泰勒级数展开，通过线性最小二乘法先后求解内、外参数获得初始解，建立不含畸变的理想模型；根据理想模型与实际值之间的差异计算畸变参数的初始解，获得实际相机模型；以重投影误差最小为约束条件，对全景相机内参、外参和畸变参数的初始解进行迭代的非线性优化，得到最优解作为全景相机的几何模型参数。再根据第一全景相机和第二全景相机的外部参数矩阵计算得到二者的位置变换矩阵。
步骤3特征点提取。将两个全景相机生成的全景环式图像分别作为原图像和目标图像，利用尺度不换特征变换(SIFT)算法([2]D.G.Lowe,et al.Object recognition fromlocal scale-invariant features[C],Proceedings of the Seventh IEEEInternational Conference on Computer Vision,1999,pp.1150-1157vol.2.)，对原图像和目标图像进行特征点检测，并生成全部特征点的特征描述向量，特征描述向量将用于特征点匹配过程中特征相似度的计算。
其中，特征点提取优选的是SIFT算法，具体为：构建图像金字塔和图像差分金字塔，在差分金字塔中初步极值检测；在检测到极值点附近对其泰勒级数展开以实现亚像素定位；由特征点空间位置回至金字塔中在特征点附近取样一小区域进行特征点主方向角的确定；由特征点空间位置回至金字塔中在特征点附近取样一小区域进行梯度直方图统计生成描述子，描述子归一化形成最终描述向量；对图像中所有特征点进行上述操作生成整幅图像特征点描述向量。
步骤4，特征点匹配。建立全景共径约束：假设第一全景相机和第二全景相机同轴，根据两个全景相机的位置转换矩阵，将第一全景环形图像的中心点映射到第二全景环形图像的对应半径中，此时将全局搜索缩小到二维半径的搜索，有效缩短计算时间，极大提高了特征点匹配的效率，并将二维半径所在的极小扇形区域作为搜索区域，提高匹配结果的准确性。
采用平衡二叉树法则寻找匹配的特征点，当两幅图像关键点的128维特征描述向量之间的最小欧式距离与次小欧式距离的比值小于某个阈值时认为特征点匹配，输出全部关键点的匹配结果。
步骤5，计算三维坐标。将第一全景相机和第二全景相机生成的全景环式图像转换到同一相机坐标系下；图5为本发明的实施例公开的基于全景双目立体视觉的三维重建简化模型图，如图5所示，三维空间中的物点P分别经过第一全景柱面坐标系18和第二全景柱面坐标系19的中心点投影到各自的像面上，基于反向投影模型，将像平面上的特征点反向投影为对应物点的方向向量，每一对特征点恢复出的两条方向向量相交，利用最小二乘法求解出的交点坐标值就是实际物点的三维坐标，对每一对特征点进行三维坐标的计算，实现稀疏特征的全景三维重建。
以上对本发明实施例公开的一种基于全景双目立体视觉的三维重建系统和方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
参考文献：
[1]Adel'Son-Vel'Skii G.M..An algorithms for the organization ofInformation[J].Soviet Math,1962,3.
[2]D.G.Lowe,et al.Object recognition from local scale-invariantfeatures[C],Proceedings of the Seventh IEEE International Conference onComputer Vision,1999,pp.1150-1157 vol.2。

Claims (4)

1.一种基于全景双目立体视觉的三维重建系统，其特征在于，包括：两个全景相机、两个多维调节架及计算机处理系统；其中：
所述全景相机由图像传感器和二次折反射式全景镜头组成，两者相对位置通过螺纹调节和固定，使全景镜头成像在图像传感器上，将采集到的图像信息传到计算机处理系统；
所述两个全景相机分别固定在两个多维调节架上，调节多维调节架使两个全景相机同光轴且有视场重合区域，所述两个全景相机用于采集两副具有视差的全景图像，用于360°环式场景的三维重建；
所述的计算机处理系统用于驱动两个全景相机进行全景图像的采集，计算两个全景相机的标定参数，并完成360°环式场景的三维重建；
所述二次折反射式全景镜头映射关系采用基于泰勒级数展开的平面-柱面投影模型，可以把360°环式场景投影到二维平面上；
所述二次折反射式全景镜头的光学系统由全景环形透镜、孔径光阑及中继透镜组沿光轴依次排布组成，入射光线依次在全景环形透镜内部发生两次反射和折射、再经过孔径光阑和中继透镜组，最终被图像传感器接收生成全景图像；所述的图像传感器把全景图像输出到计算机处理系统进行360°环式场景的三维重建。
2.基于权利要求1所述三维重建系统的基于全景双目立体视觉的三维重建方法，其特征在于，具体步骤如下：
步骤1，全景图像采集及图像处理；
将全景双目立体视觉系统置于场景中，使用计算机处理系统驱动两个全景相机同时拍摄360°环式场景，得到具有一定视差的两幅全景图像；对所述的全景图像进行滤波处理去除噪声；对所述的全景图像的盲区进行剪切处理，生成全景环式图像；
步骤2，全景相机标定；
所述的全景相机成像模型是基于泰勒级数展开的平面-柱面投影模型，包括正向投影模型和反向投影模型，通过此投影模型确定空间某物点的三维点坐标与其在全景环式图像中的投影点坐标之间的关系；通过棋盘格标定板得到棋盘格全部角点对应的世界坐标系下的三维点坐标和在像素坐标系下的二维点坐标；采用最小二乘法得到全景相机标定参数，包括内参、外参以及畸变参数，这些参数将用于全景双目立体视觉系统的三维场景重建；
步骤3，特征点提取；
将两个全景相机生成的全景环式图像分别作为原图像和目标图像，利用特征点提取算法对原图像和目标图像进行特征点检测，并生成全部特征点的特征描述向量，特征描述向量将用于特征点匹配过程中特征相似度的计算；
步骤4，特征点匹配；
建立全景共径约束，根据两个全景相机的位置转换矩阵，将第一全景环形图像的中心点映射到第二全景环形图像的对应半径中，将搜索范围限制在对应有效半径所在的扇形区内；采用平衡二叉树法寻找匹配的特征点，输出匹配结果；
步骤5，计算三维坐标；
将两个全景相机生成的全景环式图像转换到同一相机坐标系下，基于反向投影模型，将像平面上的特征点反向投影为对应物点的方向向量，两个全景环形图像恢复出的两条方向向量相交，利用最小二乘法求解出的交点坐标值，就是实际物点的三维坐标，对每一对特征点进行三维坐标的计算，实现稀疏特征的全景三维重建。
3.根据权利要求2所述的基于全景双目立体视觉的三维重建方法，其特征在于，步骤（2）中所述全景相机标定的算法流程如下：将标定板的全景环式图像序列输入到后续步骤中；确定并输入系统的已知参数，包括全景环式图像中心点坐标和棋盘格实际尺寸，得到棋盘格角点在世界坐标系下的三维点坐标；提取棋盘格角点的像素坐标，即物点在像面上的二维点坐标；对相机坐标系到像平面坐标系之间的投影关系进行泰勒级数展开，通过线性最小二乘法先后求解内、外参数获得初始解，建立不含畸变的理想模型；根据理想模型与实际值之间的差异计算畸变参数的初始解，获得实际相机模型；以重投影误差最小为约束条件，对全景相机内参、外参和畸变参数的初始解进行迭代的非线性优化，得到最优解作为全景相机的几何模型参数；再根据第一全景相机和第二全景相机的外部参数矩阵计算得到二者的位置变换矩阵。
4.根据权利要求2所述的基于全景双目立体视觉的三维重建方法，其特征在于，步骤（3）中所述特征点提取采用SIFT算法，具体流程为：构建图像金字塔和图像差分金字塔，在差分金字塔中初步极值检测；在检测到极值点附近对其泰勒级数展开以实现亚像素定位；由特征点空间位置回至金字塔中在特征点附近取样一小区域进行特征点主方向角的确定；由特征点空间位置回至金字塔中在特征点附近取样一小区域进行梯度直方图统计生成描述子，描述子归一化形成最终描述向量；对图像中所有特征点进行上述操作生成整幅图像特征点描述向量。
CN202111398711.5A 2021-11-19 2021-11-19 一种基于全景双目立体视觉的三维重建系统和方法 Pending CN114092647A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111398711.5A CN114092647A (zh) 2021-11-19 2021-11-19 一种基于全景双目立体视觉的三维重建系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111398711.5A CN114092647A (zh) 2021-11-19 2021-11-19 一种基于全景双目立体视觉的三维重建系统和方法

Publications (1)

Publication Number Publication Date
CN114092647A true CN114092647A (zh) 2022-02-25

Family

ID=80303579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111398711.5A Pending CN114092647A (zh) 2021-11-19 2021-11-19 一种基于全景双目立体视觉的三维重建系统和方法

Country Status (1)

Country Link
CN (1) CN114092647A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841959A (zh) * 2022-05-05 2022-08-02 广州东焊智能装备有限公司 一种基于计算机视觉的自动焊接方法及系统
CN115330945A (zh) * 2022-08-12 2022-11-11 南京三万物联网科技有限公司 一种机器人自主巡航及三维重建装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335350A (zh) * 2018-02-06 2018-07-27 聊城大学 双目立体视觉的三维重建方法
WO2021026705A1 (zh) * 2019-08-09 2021-02-18 华为技术有限公司 匹配关系确定方法、重投影误差计算方法及相关装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335350A (zh) * 2018-02-06 2018-07-27 聊城大学 双目立体视觉的三维重建方法
WO2021026705A1 (zh) * 2019-08-09 2021-02-18 华为技术有限公司 匹配关系确定方法、重投影误差计算方法及相关装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GUOLIANG HU等: "Highly accurate 3D reconstruction based on a precise and robust binocular camera calibration method", IET IMAGE PROCESSING, 21 October 2020 (2020-10-21) *
HONGLONG ZHANG等: "Dense 3D reconstruction with an active binocular panoramic vision system", 2017 IEEE INTERNATIONAL CONFERENCE ON INFORMATION AND AUTOMATION (ICIA), 31 July 2017 (2017-07-31) *
张艺蓝: "基于全景环带相机的光学设计和图像处理", 中国优秀硕士论文全文数据库 信息科技辑, 15 February 2021 (2021-02-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841959A (zh) * 2022-05-05 2022-08-02 广州东焊智能装备有限公司 一种基于计算机视觉的自动焊接方法及系统
CN114841959B (zh) * 2022-05-05 2023-04-04 广州东焊智能装备有限公司 一种基于计算机视觉的自动焊接方法及系统
CN115330945A (zh) * 2022-08-12 2022-11-11 南京三万物联网科技有限公司 一种机器人自主巡航及三维重建装置及方法
CN115330945B (zh) * 2022-08-12 2023-09-08 南京三万物联网科技有限公司 一种机器人自主巡航及三维重建装置及方法

Similar Documents

Publication Publication Date Title
Wang et al. 360sd-net: 360 stereo depth estimation with learnable cost volume
CN109003311B (zh) 一种鱼眼镜头的标定方法
CN107833181B (zh) 一种基于变焦立体视觉的三维全景图像生成方法
WO2016037486A1 (zh) 人体三维成像方法及系统
CN107705252B (zh) 适用于双目鱼眼图像拼接展开校正的方法及系统
CN112767542A (zh) 一种多目相机的三维重建方法、vr相机和全景相机
CN108288292A (zh) 一种三维重建方法、装置及设备
CN114092647A (zh) 一种基于全景双目立体视觉的三维重建系统和方法
Agrawal et al. Single image calibration of multi-axial imaging systems
CN113298934B (zh) 一种基于双向匹配的单目视觉图像三维重建方法及系统
JP6174104B2 (ja) 室内２ｄ平面図の生成方法、装置及びシステム
Fiala et al. Panoramic stereo reconstruction using non-SVP optics
CN106534670B (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
CN102903101B (zh) 使用多台相机进行水面数据采集与重建的方法
CN110874854A (zh) 一种基于小基线条件下的大畸变广角相机双目摄影测量方法
CN112734863A (zh) 一种基于自动定位的交叉式双目相机标定方法
CN111325828B (zh) 一种基于三目相机的三维人脸采集方法及装置
Zhang et al. The light field 3D scanner
JP2010276433A (ja) 撮像装置、画像処理装置及び距離計測装置
Bileschi Fully automatic calibration of lidar and video streams from a vehicle
Xinmei et al. Passive measurement method of tree height and crown diameter using a smartphone
Remondino et al. Evaluating hand-crafted and learning-based features for photogrammetric applications
Xie et al. OmniVidar: omnidirectional depth estimation from multi-fisheye images
CN117372244A (zh) 基于二维阵列表示的大场景特征立体匹配方法
CN114143426B (zh) 一种基于全景结构光的三维重构系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination