CN114494388A - 一种大视场环境下图像三维重建方法、装置、设备及介质 - Google Patents

一种大视场环境下图像三维重建方法、装置、设备及介质 Download PDF

Info

Publication number
CN114494388A
CN114494388A CN202210100062.4A CN202210100062A CN114494388A CN 114494388 A CN114494388 A CN 114494388A CN 202210100062 A CN202210100062 A CN 202210100062A CN 114494388 A CN114494388 A CN 114494388A
Authority
CN
China
Prior art keywords
camera
images
correction
distortion
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210100062.4A
Other languages
English (en)
Other versions
CN114494388B (zh
Inventor
刘飞香
秦念稳
何张
肖正航
邓泽
杜义康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway Construction Heavy Industry Group Co Ltd
Original Assignee
China Railway Construction Heavy Industry Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway Construction Heavy Industry Group Co Ltd filed Critical China Railway Construction Heavy Industry Group Co Ltd
Priority to CN202210100062.4A priority Critical patent/CN114494388B/zh
Publication of CN114494388A publication Critical patent/CN114494388A/zh
Application granted granted Critical
Publication of CN114494388B publication Critical patent/CN114494388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种大视场环境下图像三维重建方法、装置、设备及介质，该方法包括：在两个不同位置下利用相机依次对同一参照物进行拍摄，得到两张原始图像；通过对相机进行标定获得的畸变参数和相机位置转换关系对两张原始图像进行初步立体校正得到共面行对准的两张初步校正图像；通过提取所述两张初步校正图像的匹配特征点,计算出满足条件的匹配畸变参数和投影变换关系；利用匹配畸变参数和投影变换关系对两张初步校正图像去畸变和投影变换，得到两张匹配校正图像；基于投影变换关系对两张匹配校正图像的视差图进行逆变换得到目标视差图，利用目标视差图建立在世界坐标系下的三维点云。通过上述方案，实现灵活、可靠、精确、高效率的三维重建。

Description

一种大视场环境下图像三维重建方法、装置、设备及介质
技术领域
本发明涉及三维重建领域，特别涉及大视场环境下图像三维重建方法、装置、设备及介质。
背景技术
三维重建是机器视觉中的一个非常重要的技术，利用三维重建技术构建出真实景物的三维模型已经成为很多领域开始深层研究之前必不可少的一部分，在机器人、逆向工程、机械制造、施工等领域已有广泛应用。目前基于图像的三维重建方法主要是通过相机从不同角度拍摄同一参照物，计算图像对之间的视差图，然后推算出真实场景的三维模型。
为计算图像对之间的视差，首先需要确定相机的位姿关系。在现有技术中，用靶标标定相机位姿时，在大视场环境下靶标大小受限，不能灵活变换相机位姿；用图像特征点匹配方法时对物体图片纹理、光照敏感，导致相机位姿计算不准确，又因为图像尺度比例因子不确定性难以得到物体实际尺寸和坐标系。
综上可见，如何实现一种适用于大视场环境下灵活、可靠、精确、高效率的图像三维重建是本领域有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种大视场环境下图像三维重建方法、装置、设备及介质，能够实现一种适用于大视场环境下灵活、可靠、精确、高效率的图像三维重建。其具体方案如下：
第一方面，本申请公开了一种大视场环境下图像三维重建方法，包括：
在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像，并通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像；
通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系；
利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像；
基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。
可选的，所述在两个不同位置下利用相机依次对同一参照物进行拍摄之前，还包括：
将棱镜固定于相机上，并基于张正友标定方法对携带有棱镜的相机进行相机标定以得到包含相机焦距、畸变参数和主点位置的内部参数；
通过所述内部参数计算出所述相机和所述世界坐标系之间的坐标系转换关系，并基于测量所述棱镜的坐标参数以确定所述棱镜和所述相机之间的第三坐标系转换关系。
可选的，所述在两个不同位置下利用相机依次对同一参照物进行拍摄，包括：
在第一位置下利用相机对目标参照物进行拍摄，并在所述第一位置下计算所述棱镜和所述世界坐标系之间的第一坐标系转换关系；
在第一位置下利用相机对目标参照物进行拍摄，并在所述第一位置下计算所述棱镜和所述世界坐标系之间的第一坐标系转换关系；
在第二位置下利用所述相机对所述目标参照物进行拍摄，并在所述第二位置下计算所述棱镜和所述世界坐标系之间的第二坐标系转换关系；
利用所述第一坐标转换关系、所述第二坐标转换关系以及所述第三坐标系转换关系得到相机位置转换关系。
可选的，所述通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像，包括：
通过所述相机位置转换关系以及对所述相机进行标定获得的内部参数建立初步校正映射；
基于所述初步校正映射对所述两张原始图像和所述内部参数进行校正，以得到共面行对准的两张初步校正图像以及初步校正后的内部参数。
可选的，所述利用所述目标视差图建立在世界坐标系下的三维点云，包括：
利用所述目标视差图、所述初步校正后的内部参数以及相机姿态信息计算出基于所述相机在所述第一位置下的相机坐标系中的三维点坐标；
将所述三维点坐标转换为三维点云，并基于所述相机位置转换关系得到所述世界坐标系下的三维点云。
可选的，所述利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像，包括：
根据匹配畸变参数对所述两张初步校正图像去畸变得到两张匹配畸变校正图像；
通过基础矩阵计算出投影变换关系，并根据所述投影变换关系对所述两张匹配畸变校正图像进行投影变换，以得到两张匹配校正图像。
可选的，所述通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系之前，还包括：
基于第一约束方程和第二约束方程，并根据随机抽样一致性算法确定所述基础矩阵和匹配畸变参数；所述第一约束方程为基于所述两张初步校正图像中经过畸变校正的匹配特征点之间满足的几何关系构建的约束方程，所述第二约束方程为基于用于对所述初步校正图像上的特征点进行畸变校正的公式模型构建的约束方程。
第二方面，本申请公开了一种大视场环境下图像三维重建装置，包括：
原始图像获取模块，用于在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像；
初步图像获取模块，用于通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像；
特征点计算模块，用于通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系；
匹配图像获取模块，用于利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像；
三维点云获取模块，用于基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的大视场环境下图像三维重建方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的大视场环境下图像三维重建方法的步骤。
可见，本申请首先在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像，并通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像；通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系；利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像；基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。由此可见，本申请通过相机在不同位置下对同一参照物进行拍摄，获得两张原始图像，无需对拍摄位置进行限制，提高了相机位姿变换的灵活性，进而使得图像三维重建更具有适用性；初步立体校正和畸变校正提高了图像三维重建算法的鲁棒性和可靠性；通过计算投影变换后的两张匹配校正图像的视差图，更加精确；最后利用目标视差图建立在真实世界坐标系下的三维点云，将重建结果直接映射至真实尺寸下的世界坐标系，方便与测绘结果进行汇总，进而提高效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种大视场环境下图像三维重建方法流程图；
图2为本申请公开的一种具体的大视场环境下图像三维重建方法流程图；
图3为本申请公开的一种具体的大视场环境下图像三维重建方法流程图；
图4为本申请公开的一种大视场环境下图像三维重建方法及系统示意；
图5为本申请公开的一种具体的大视场环境下图像三维重建方法流程图；
图6为本申请公开的一种大视场环境下图像三维重建装置结构示意图；
图7为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，在现有三维重建技术确定相机位姿关系中，用靶标标定相机位姿的方法在大视场环境下靶标大小受限，不能灵活变换相机位姿；用图像特征点匹配方法时对物体图片纹理、光照敏感，导致相机位姿计算不准确，又因为图像尺度比例因子不确定性难以得到物体实际尺寸和坐标系。
为此，本申请相应的提供了一种大视场环境下图像三维重建方法，能够实现一种适用于大视场环境下灵活、可靠、精确、高效率的图像三维重建。
参见图1所示，本发明实施例公开了一种大视场环境下图像三维重建方法，包括：
步骤S11：在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像，并通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像。
本实施例中所述在两个不同位置下利用相机依次对同一参照物进行拍摄之前，还包括：将棱镜固定于相机上，并基于张正友标定方法对携带有棱镜的相机进行相机标定以得到包含相机焦距、畸变参数和主点位置的内部参数。在使用前将用于反射的棱镜固定于相机上，根据张正友标定方法，利用所述相机拍摄不同位姿下标定板图像对所述相机进行标定，然后计算出所述相机的内部参数。
可以理解的是，在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像。利用全站仪依次测量出所述棱镜坐标系到世界坐标系之间的第一坐标系转换关系和第二坐标系转换关系，对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像，其中所述初步立体校正使得两张原始图像平面在同一平面，且同一点投影到所述两张原始图像平面时，两个像素坐标系在同一行，以便提高后续匹配时的速度。
步骤S12：通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系。
本实施例中，在所述两张初步校正图像中存在因所述相机的镜头边缘部分和中心部分的放大倍率不一样导致的畸变情况，其中所述畸变情况可以是切向畸变和/或径向畸变，所以本申请通过对所述两张初步校正图像之间的匹配特征点进行计算，得出匹配畸变参数以便后续进行畸变校正。
步骤S13：利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像。
本实施例中，通过所述匹配畸变参数对所述两张初步校正图像进行去畸变，得到两张匹配畸变校正图像，然后利用所述投影变换关系得到比所述两张匹配畸变校正图像更精确的两张匹配校正图像，以便后续计算所述两张匹配校正图像之间的视差图时，使得计算出的所述视差图更加精确。
步骤S14：基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。
可以理解的是，本实施例中的所述目标视差图包含了所述参照物的深度数据，利用所述深度数据获取所述参照物的三维点坐标，并将所述三维点坐标转换为三维点云，再利用第一坐标系转换关系和第二坐标系转换关系得到世界坐标系下的三维点云，完成精确的三维重建。
本申请首先在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像，并通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像；通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系；利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像；基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。由此可见，本申请通过相机在不同位置下对同一参照物进行拍摄，获得两张原始图像，无需对拍摄位置进行限制，提高了相机位姿变换的灵活性，进而使得图像三维重建更具有适用性；初步立体校正和畸变校正提高了图像三维重建算法的鲁棒性和可靠性；通过计算投影变换后的两张匹配校正图像的视差图，更加精确；最后利用目标视差图建立在真实世界坐标系下的三维点云，将重建结果直接映射至真实尺寸下的世界坐标系，方便与测绘结果进行汇总，进而提高效率。
参见图2和图3所示，本发明实施例公开了一种具体的大视场环境下图像三维重建方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
步骤S21：在第一位置下利用相机对目标参照物进行拍摄，并在所述第一位置下计算所述棱镜和所述世界坐标系之间的第一坐标转换关系；在第二位置下利用所述相机对所述目标参照物进行拍摄，并在所述第二位置下计算所述棱镜和所述世界坐标系之间的第二坐标转换关系。
步骤S22：通过所述内部参数计算出所述相机和所述世界坐标系之间的坐标系转换关系，并基于测量所述棱镜的坐标参数以确定所述棱镜和所述相机之间的第三坐标系转换关系，然后利用所述第一坐标转换关系、所述第二坐标转换关系以及所述第三坐标系转换关系得到相机位置转换关系。
本实施例中，在第一位置下利用相机对目标参照物进行拍摄之前，利用全站仪测量标定板，确定标定板和全站仪坐标系之间的转换关系，并将所述全站仪坐标系作为世界坐标系，然后通过标定的内部参数，计算出相机坐标系和全站仪坐标系之间的坐标系转换关系，利用所述全站仪测量所述棱镜，最终得到所述相机坐标系和棱镜坐标系之间的第三坐标系转换关系。
步骤S23：通过所述相机位置转换关系以及对所述相机进行标定获得的内部参数建立初步校正映射，对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像。
本实施例中，通过所述相机位置转换关系以及对所述相机进行标定获得的内部参数建立初步校正映射建立初步校正映射，对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像，具体的包括：通过所述第一坐标系转换关系、所述第二坐标系转换关系、所述第三坐标系转换关系以及对所述相机进行标定获得的内部参数建立初步校正映射；基于所述初步校正映射对所述两张原始图像和所述内部参数进行校正，以得到共面行对准的两张初步校正图像以及初步校正后的内部参数。需要注意的是，首先建立包含所述第一坐标系转换关系、所述第二坐标系转换关系以及所述第三坐标系转换关系建立相机外参关系式，再利用所述相机外参关系式和所述内部参数建立所述初步校正映射，其中所述相机外参关系式如下所示：
Trel＝TCamToPrism·TPrismToWorld2·TPrismToWorld1 -1·TCamToPrism -1；
其中Trel表示相机外参关系，TCamToPrism表示第三坐标系转换关系，TPrismToWorld2表示第二坐标系转换关系，TPrismToWorld1表示第一坐标转换关系。
步骤S24：通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系。
步骤S25：利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像。
步骤S26：基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。
本实施例中，所述利用所述目标视差图建立在世界坐标系下的三维点云，包括：利用所述目标视差图、所述初步校正后的内部参数以及相机姿态信息计算出基于所述相机在所述第一位置下的相机坐标系中的三维点坐标；将所述三维点坐标转换为三维点云，并基于所述第一坐标系转换关系和所述第二坐标系转换关系得到所述世界坐标系下的三维点云。
其中，关于上述步骤S21、S24、以及S25更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
由此可见，本申请实施例利用棱镜和全站仪的测量方法，提高计算相机的位姿关系的便捷性，基于第一位置、第二位置利用相机对同一参照物进行拍摄，得到两张原始图像和坐标系转换关系，再利用对相机进行标定得到的内部参数建立用于初步立体校正的初步校正映射，以得到共面行对准的两张初步校正图像，使得后续进行匹配时提高速度，进而提高三维重建的效率。
参见图4所示，本发明实施例公开了一种大视场环境下图像三维重建方法，包括：
步骤S31：在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像，并通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像。
步骤S32：通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系。
本实施例中，所述通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系之前，还包括：基于第一约束方程和第二约束方程，并根据随机抽样一致性算法(RANdom SAmple Consensus，即RANSAC算法)确定所述基础矩阵和匹配畸变参数；所述第一约束方程为基于所述两张初步校正图像中经过畸变校正的匹配特征点之间满足的几何关系构建的约束方程，所述第二约束方程为基于用于对所述初步校正图像上的特征点进行畸变校正的公式模型构建的约束方程。其中所述第一约束方程如下：
Figure BDA0003492109280000091
其中(r3,c3)和(r4,c4)表示对两张初步校正图像的特征点进行畸变校正后的像素行列坐标，F表示基础矩阵。
所述第二约束方程如下：
Figure BDA0003492109280000101
Figure BDA0003492109280000102
其中
Figure BDA0003492109280000103
和
Figure BDA0003492109280000104
表示两张初步校正图像中特征点的像素行列坐标，k表示匹配畸变参数。
步骤S33：根据匹配畸变参数对所述两张初步校正图像去畸变得到两张匹配畸变校正图像。
步骤S34：通过基础矩阵计算出投影变换关系，并根据所述投影变换关系对所述两张匹配畸变校正图像进行投影变换，以得到两张匹配校正图像。
本实施例中分解基础矩阵以计算出投影变换关系，再利用所述投影变换关系得到精确的两张匹配校正图像。
其中根据如下关系式得到两张匹配校正图像：
Figure BDA0003492109280000105
其中H1和H2表示投影变换关系，(R5,C5)和(R6,C6)表示两张匹配畸变校正图像的点行列坐标，(R7,C7)和(R8,C8)表示两张匹配校正图像的点行列坐标。
步骤S35：基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。
其中，关于上述步骤S31、S33以及S35更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
由此可见，本申请实施例利用基于所述两张初步校正图像中经过畸变校正的匹配特征点之间满足的几何关系构建的约束方程消除在进行畸变校正的误校正，又计算通过投影变换关系得到的两张匹配校正图像之间的视差得到视差图，提高目标视差图的精确度，进而提高后续利用目标视差图进行三维重建的精度。
下面以图5为例，对本申请中的技术方案进行说明。在使用之前，先将棱镜固定于相机上，并基于张正友标定方法对携带有棱镜的相机进行相机标定以得到包含相机焦距、畸变参数和主点位置的内部参数CamPara。在第一位置下利用相机对目标参照物进行拍摄得到原始图像Image1，并在所述第一位置下计算所述棱镜和所述世界坐标系之间的第一坐标转换关系；在第二位置下利用所述相机对所述目标参照物进行拍摄原始图像Image2，并在所述第二位置下计算所述棱镜和所述世界坐标系之间的第二坐标转换关系。通过所述第一坐标系转换关系、所述第二坐标系转换关系以及对所述相机进行标定获得的内部参数建立初步校正映射；基于所述初步校正映射对所述两张原始图像和所述内部参数进行校正，以得到共面行对准的两张初步校正图像Image3、Image4以及初步校正后的内部参数。通过预设特征点提取算法提取所述两张初步校正图像中的特征点，然后基于所述两张初步校正图像中经过畸变校正的匹配特征点之间满足的几何关系构建第一约束方程，基于用于对所述初步校正图像上的特征点进行畸变校正的公式模型构建第二约束方程，并基于所述第一约束方程和所述第二约束方程，根据随机抽样一致性算法确定所述基础矩阵F和匹配畸变参数k。通过所述匹配畸变参数k对所述两张初步校正图像之间的匹配特征点进行畸变校正，以得到两张匹配畸变校正图像Image5、Image6。通过基础矩阵F计算出投影变换关系H1和H2，并根据所述投影变换关系对所述两张匹配畸变校正图像进行投影变换，以得到两张匹配校正图像Image7、Image8。基于所述投影变换关系H1和H2对所述两张匹配校正图像的视差图ImageDisparity1进行逆变换得到恢复匹配校正投影视差图ImageDisparity2，再利用匹配畸变参数k恢复匹配畸变校正得到目标视差图ImageDisparity3。利用所述目标视差图所述初步校正后的内部参数以及相机姿态信息Trel计算出基于所述相机在所述第一位置下的相机坐标系中的三维点坐标；将所述三维点坐标转换为三维点云，并基于所述第一坐标系转换关系、所述第二坐标系转换关系以及所述第三坐标系转换关系得到所述世界坐标系下的三维点云。
参见图6所示，本发明实施例公开了一种大视场环境下图像三维重建装置，包括：
原始图像获取模块11，用于在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像；
初步图像获取模块12，用于通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像；
特征点计算模块13，用于通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系；
匹配图像获取模块14，用于利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像；
三维点云获取模块15，用于基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。
本申请首先在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像，并通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像；通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系；利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像；基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。由此可见，本申请通过相机在不同位置下对同一参照物进行拍摄，获得两张原始图像，无需对拍摄位置进行限制，提高了相机位姿变换的灵活性，进而使得图像三维重建更具有适用性；初步立体校正和畸变校正提高了图像三维重建算法的鲁棒性和可靠性；通过计算投影变换后的两张匹配校正图像的视差图，更加精确；最后利用目标视差图建立在真实世界坐标系下的三维点云，将重建结果直接映射至真实尺寸下的世界坐标系，方便与测绘结果进行汇总，进而提高效率。
在一些具体实施例中，所述原始图像获取模块11，包括：
标定单元，将棱镜固定于相机上，并基于张正友标定方法对携带有棱镜的相机进行相机标定以得到包含相机焦距、畸变参数和主点位置的内部参数；
第三坐标转换关系获取单元，用于通过所述内部参数计算出所述相机和所述世界坐标系之间的坐标系转换关系，并基于测量所述棱镜的坐标参数以确定所述棱镜和所述相机之间的第三坐标系转换关系。
第一坐标转换关系获取单元，用于在第一位置下利用相机对目标参照物进行拍摄，并在所述第一位置下计算所述棱镜和所述世界坐标系之间的第一坐标系转换关系。
第二坐标转换关系获取单元，用于在第二位置下利用所述相机对所述目标参照物进行拍摄，并在所述第二位置下计算所述棱镜和所述世界坐标系之间的第二坐标系转换关系。
位置转换关系获取单元，通过利用所述第一坐标转换关系、所述第二坐标转换关系以及所述第三坐标系转换关系得到相机位置转换关系。
在一些具体实施例中，所述初步图像获取模块12，包括：
初步校正映射建立单元，用于通过所述相机位置转换关系以及对所述相机进行标定获得的内部参数建立初步校正映射。
初步校正单元，用于基于所述初步校正映射对所述两张原始图像和所述内部参数进行校正，以得到共面行对准的两张初步校正图像以及初步校正后的内部参数。
在一些具体实施例中，所述畸变图像获取模块13，包括：
矩阵参数确定单元，用于基于第一约束方程和第二约束方程，并根据随机抽样一致性算法确定所述基础矩阵和匹配畸变参数；所述第一约束方程为基于所述两张初步校正图像中经过畸变校正的匹配特征点之间满足的几何关系构建的约束方程，所述第二约束方程为基于用于对所述初步校正图像上的特征点进行畸变校正的公式模型构建的约束方程。
在一些具体实施例中，所述匹配图像获取模块14，包括：
匹配畸变校正图像获取单元，用于根据匹配畸变参数对所述两张初步校正图像去畸变得到两张匹配畸变校正图像；
投影变换单元，用于通过基础矩阵计算出投影变换关系，并根据所述投影变换关系对所述两张匹配畸变校正图像进行投影变换，以得到两张匹配校正图像。
在一些具体实施例中，所述三维点云获取模块15，包括：
三维点坐标获取单元，用于利用所述目标视差图、所述初步校正后的内部参数以及相机姿态信息计算出基于所述相机在所述第一位置下的相机坐标系中的三维点坐标。
三维点云获取单元，用于将所述三维点坐标转换为三维点云，并基于所述相机位置转换关系得到所述世界坐标系下的三维点云。
图7为本申请实施例提供的一种电子设备的结构示意图。具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的由计算机设备执行的大视场环境下图像三维重建方法中的相关步骤。
本实施例中，电源23用于为计算机设备20上的各硬件设备提供工作电压；通信接口24能够为计算机设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制计算机设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由计算机设备20执行的大视场环境下图像三维重建方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括计算机设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的由大视场环境下图像三维重建过程中执行的方法步骤。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种大视场环境下图像三维重建方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种大视场环境下图像三维重建方法，其特征在于，包括：
在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像，并通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像；
通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系；
利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像；
基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。
2.根据权利要求1所述的大视场环境下图像三维重建方法，其特征在于，所述在两个不同位置下利用相机依次对同一参照物进行拍摄之前，还包括：
将棱镜固定于相机上，并基于张正友标定方法对携带有棱镜的相机进行相机标定以得到包含相机焦距、畸变参数和主点位置的内部参数；
通过所述内部参数计算出所述相机和所述世界坐标系之间的坐标系转换关系，并基于测量所述棱镜的坐标参数以确定所述棱镜和所述相机之间的第三坐标系转换关系。
3.根据权利要求2所述的大视场环境下图像三维重建方法，其特征在于，所述在两个不同位置下利用相机依次对同一参照物进行拍摄，包括：
在第一位置下利用相机对目标参照物进行拍摄，并在所述第一位置下计算所述棱镜和所述世界坐标系之间的第一坐标系转换关系；
在第二位置下利用所述相机对所述目标参照物进行拍摄，并在所述第二位置下计算所述棱镜和所述世界坐标系之间的第二坐标系转换关系；
利用所述第一坐标转换关系、所述第二坐标转换关系以及所述第三坐标系转换关系得到相机位置转换关系。
4.根据权利要求3所述的大视场环境下图像三维重建方法，其特征在于，所述通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像，包括：
通过所述相机位置转换关系以及对所述相机进行标定获得的内部参数建立初步校正映射；
基于所述初步校正映射对所述两张原始图像和所述内部参数进行校正，以得到共面行对准的两张初步校正图像以及初步校正后的内部参数。
5.根据权利要求4所述的大视场环境下图像三维重建方法，其特征在于，所述利用所述目标视差图建立在世界坐标系下的三维点云，包括：
利用所述目标视差图、所述初步校正后的内部参数以及相机姿态信息计算出基于所述相机在所述第一位置下的相机坐标系中的三维点坐标；
将所述三维点坐标转换为三维点云，并基于所述相机位置转换关系得到所述世界坐标系下的三维点云。
6.根据权利要求1至5任一项所述的大视场环境下图像三维重建方法，其特征在于，所述利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像，包括：
根据匹配畸变参数对所述两张初步校正图像去畸变得到两张匹配畸变校正图像；
通过基础矩阵计算出投影变换关系，并根据所述投影变换关系对所述两张匹配畸变校正图像进行投影变换，以得到两张匹配校正图像。
7.根据权利要求6所述的大视场环境下图像三维重建方法，其特征在于，所述通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系之前，还包括：
基于第一约束方程和第二约束方程，并根据随机抽样一致性算法确定所述基础矩阵和匹配畸变参数；所述第一约束方程为基于所述两张初步校正图像中经过畸变校正的匹配特征点之间满足的几何关系构建的约束方程，所述第二约束方程为基于用于对所述初步校正图像上的特征点进行畸变校正的公式模型构建的约束方程。
8.一种大视场环境下图像三维重建装置，其特征在于，包括：
原始图像获取模块，用于在两个不同位置下利用相机依次对同一参照物进行拍摄，以得到两张原始图像；
初步图像获取模块，用于通过对所述相机进行标定获得的畸变参数和相机位置转换关系对所述两张原始图像进行初步立体校正以得到共面行对准的两张初步校正图像；
特征点计算模块，用于通过提取所述两张初步校正图像的匹配特征点，计算出满足条件的匹配畸变参数和投影变换关系；
匹配图像获取模块，用于利用所述匹配畸变参数和所述投影变换关系对所述两张初步校正图像去畸变和投影变换，以得到两张匹配校正图像；
三维点云获取模块，用于基于所述投影变换关系对所述两张匹配校正图像的视差图进行逆变换得到目标视差图，利用所述目标视差图建立在世界坐标系下的三维点云。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的大视场环境下图像三维重建方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的大视场环境下图像三维重建方法的步骤。
CN202210100062.4A 2022-01-27 2022-01-27 一种大视场环境下图像三维重建方法、装置、设备及介质 Active CN114494388B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210100062.4A CN114494388B (zh) 2022-01-27 2022-01-27 一种大视场环境下图像三维重建方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210100062.4A CN114494388B (zh) 2022-01-27 2022-01-27 一种大视场环境下图像三维重建方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114494388A true CN114494388A (zh) 2022-05-13
CN114494388B CN114494388B (zh) 2023-04-04

Family

ID=81475710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210100062.4A Active CN114494388B (zh) 2022-01-27 2022-01-27 一种大视场环境下图像三维重建方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114494388B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311359A (zh) * 2022-07-18 2022-11-08 北京城市网邻信息技术有限公司 相机位姿校正方法、装置、电子设备及存储介质
CN115359193A (zh) * 2022-10-19 2022-11-18 南京航空航天大学 一种基于双目鱼眼相机的快速半稠密三维重建方法
CN115908706B (zh) * 2022-11-15 2023-08-08 中国铁路设计集团有限公司 实景三维模型与影像融合的高速铁路竣工验收方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269286A (zh) * 2016-12-30 2018-07-10 中国空气动力研究与发展中心超高速空气动力研究所 基于组合立体标志的多相机位姿关联方法
CN111791231A (zh) * 2020-06-02 2020-10-20 同济大学 一种机器人标定系统及二维平面、三维空间运动标定方法
WO2020230390A1 (ja) * 2019-05-10 2020-11-19 三菱電機株式会社 位置姿勢推定装置及び位置姿勢推定方法
CN112598755A (zh) * 2021-03-02 2021-04-02 中国铁建重工集团股份有限公司 一种基于凿岩台车的掌子面智能分析方法
US20210379767A1 (en) * 2020-06-08 2021-12-09 GeoSystem Inc. Smart drilling machine, smart drilling system, and method of controlling smart drilling system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269286A (zh) * 2016-12-30 2018-07-10 中国空气动力研究与发展中心超高速空气动力研究所 基于组合立体标志的多相机位姿关联方法
WO2020230390A1 (ja) * 2019-05-10 2020-11-19 三菱電機株式会社 位置姿勢推定装置及び位置姿勢推定方法
CN111791231A (zh) * 2020-06-02 2020-10-20 同济大学 一种机器人标定系统及二维平面、三维空间运动标定方法
US20210379767A1 (en) * 2020-06-08 2021-12-09 GeoSystem Inc. Smart drilling machine, smart drilling system, and method of controlling smart drilling system
CN112598755A (zh) * 2021-03-02 2021-04-02 中国铁建重工集团股份有限公司 一种基于凿岩台车的掌子面智能分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许威等: "基于MATLAB和OpenCV的双目视觉测距系统的实现", 《天津职业技术师范大学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311359A (zh) * 2022-07-18 2022-11-08 北京城市网邻信息技术有限公司 相机位姿校正方法、装置、电子设备及存储介质
CN115311359B (zh) * 2022-07-18 2023-06-16 北京城市网邻信息技术有限公司 相机位姿校正方法、装置、电子设备及存储介质
CN115359193A (zh) * 2022-10-19 2022-11-18 南京航空航天大学 一种基于双目鱼眼相机的快速半稠密三维重建方法
CN115359193B (zh) * 2022-10-19 2023-01-31 南京航空航天大学 一种基于双目鱼眼相机的快速半稠密三维重建方法
CN115908706B (zh) * 2022-11-15 2023-08-08 中国铁路设计集团有限公司 实景三维模型与影像融合的高速铁路竣工验收方法

Also Published As

Publication number Publication date
CN114494388B (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
CN114494388B (zh) 一种大视场环境下图像三维重建方法、装置、设备及介质
WO2018119889A1 (zh) 三维场景定位方法和装置
US10726580B2 (en) Method and device for calibration
CN113592989B (zh) 一种三维场景的重建系统、方法、设备及存储介质
CN110660098B (zh) 基于单目视觉的定位方法和装置
CN110517209B (zh) 数据处理方法、装置、系统以及计算机可读存储介质
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN111325792B (zh) 用于确定相机位姿的方法、装置、设备和介质
CN109740487B (zh) 点云标注方法、装置、计算机设备和存储介质
CN112270702A (zh) 体积测量方法及装置、计算机可读介质和电子设备
CN111882655B (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
CN117232499A (zh) 多传感器融合的点云地图构建方法、装置、设备及介质
CN115205128A (zh) 基于结构光的深度相机温漂校正方法、系统、设备及介质
CN113034582A (zh) 位姿优化装置及方法、电子设备及计算机可读存储介质
CN113628284B (zh) 位姿标定数据集生成方法、装置、系统、电子设备及介质
CN112819900B (zh) 一种智能立体摄影内方位、相对定向和畸变系数标定方法
CN117252914A (zh) 深度估计网络的训练方法、装置、电子设备及存储介质
CN114869528A (zh) 扫描数据处理方法、装置、设备及介质
CN109919998B (zh) 卫星姿态确定方法、装置和终端设备
CN114697542A (zh) 视频处理方法、装置、终端设备及存储介质
CN112991463A (zh) 相机标定方法、装置、设备、存储介质和程序产品
CN117671007B (zh) 一种位移监测方法、装置、电子设备及存储介质
CN115205134A (zh) 相机模组的畸变映射数据生成方法和畸变矫正方法
CN116091577A (zh) 双目深度估计方法及装置、计算机可读介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant