CN113610952A - 一种三维场景重建方法、装置、电子设备和存储介质 - Google Patents

一种三维场景重建方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113610952A
CN113610952A CN202010310884.6A CN202010310884A CN113610952A CN 113610952 A CN113610952 A CN 113610952A CN 202010310884 A CN202010310884 A CN 202010310884A CN 113610952 A CN113610952 A CN 113610952A
Authority
CN
China
Prior art keywords
dimensional scene
data
dimensional
camera
gps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010310884.6A
Other languages
English (en)
Inventor
邓杭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xaircraft Technology Co Ltd
Original Assignee
Guangzhou Xaircraft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xaircraft Technology Co Ltd filed Critical Guangzhou Xaircraft Technology Co Ltd
Priority to CN202010310884.6A priority Critical patent/CN113610952A/zh
Publication of CN113610952A publication Critical patent/CN113610952A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Abstract

本发明实施例公开了一种三维场景重建方法、装置、设备和存储介质，包括：获取目标区域的、具有共视区域的多张图像；基于预设的三维场景重建算法对图像进行三维场景重建获得目标区域的第一三维场景；根据拍摄图像的相机的GPS数据将第一三维场景变换为世界坐标系下的第二三维场景；以GPS数据为约束来对第二三维场景进行优化得到目标区域的最终三维场景；本发明实施例避免了仅基于视觉图像重建三维场景和全程使用GPS数据约束造成重建后三维场景准确度低的问题，既使用GPS数据为约束，又避免全程使用GPS数据为约束带入GPS数据的误差，提高了三维场景的准确度，且三维场景对齐到世界坐标系。

Description

一种三维场景重建方法、装置、电子设备和存储介质
技术领域
本发明实施例涉及视觉图像处理技术领域，尤其涉及一种三维场景重建方法、三维场景重建装置、设备和存储介质。
背景技术
在无人机领域中，可通过无人机获取测绘区域的多张航拍图像，通过多张航拍图像重建测绘区域的三维场景，以通过该三维场景为其他业务提供诸如导航、航线规划、避障等服务器。
目前，常用的三维场景重建采用SFM(Structure from Motion，运动恢复结构)算法，对具有共视区域的多张图像，SFM算法利用特征匹配和几何估计等方式重建出稀疏三维点云，SFM算法后需要做全局优化，以减少点云的重投影误差，另外，为了得到真实世界坐标系下的三维场景，通常会在全局优化过程中加入GPS数据约束。
目前的三维场景重建方法，如果SFM算法后直接做全局优化，造成SFM算法中仅依靠视觉信息重建，难以恢复出三维场景的尺度，该三维场景也没有对齐到世界坐标系上的绝对位置，如果直接在全局优化中增加GPS数据约束，则会造成优化过程全程依赖GPS数据，在GPS数据存在一定误差的情况下，导致全局优化失败。因此，目前三维场景重建过程中存在GPS数据约束不当，无法获得准确的三维场景的问题。
发明内容
本发明提供了一种三维场景重建方法、三维场景重建装置、设备和存储介质，以解决三维场景重建存在GPS数据约束不当，无法获得准确的三维场景的问题。
第一方面，本发明实施例提供了一种三维场景重建方法，包括：
获取目标区域的、具有共视区域的多张图像，所述图像具有拍摄所述图像的相机的GPS数据；
基于预设的三维场景重建算法对所述图像进行三维场景重建获得所述目标区域的第一三维场景；
根据所述GPS数据将所述第一三维场景变换为世界坐标系下的第二三维场景；
以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景。
可选地，所述基于预设的三维场景重建算法对所述图像进行三维场景重建获得所述目标区域的第一三维场景，包括：
利用运动恢复结构SFM算法对所述图像进行三维场景重建得到初始三维点云数据和所述相机的初始位姿数据；
对所述初始位姿数据和所述初始三维点云数据进行光束法平差优化得到第一三维场景，所述第一三维场景包括第一三维点云数据、所述相机的第一位姿数据和第一相机内参。
可选地，所述对所述初始位姿数据和所述初始三维点云数据进行光束法平差优化得到第一三维场景，包括：
获取所述相机的初始相机内参；
基于所述光束法平差优化算法，采用所述初始相机内参、所述初始位姿数据以及所述初始三维点云数据建立第一重投影误差函数；
对所述第一重投影误差函数求最小值得到第一相机内参、第一位姿数据以及第一三维点云数据以作为第一三维场景；
其中，所述初始相机内参包括所述相机的初始中心参数、初始畸变参数和初始焦距。
所述第一相机内参包括相机的第一中心参数和第一畸变参数。
可选地，所述根据所述GPS数据将所述第一三维场景变换为世界坐标系下的第二三维场景，包括：
采用所述第一位姿数据和所述GPS数据计算所述第一三维场景到世界坐标系的相似变换；
采用所述相似变换对所述第一位姿数据和所述第一三维点云数据进行变换得到的第二位姿数据和第二三维点云数据，以作为世界坐标系下的第二三维场景。
可选地，所述以所述GPS数据为约束来对所述第二三维场景进行优化得到第三三维场景，包括：
采用所述GPS数据和所述第二位姿数据建立GPS损失函数；
基于所述光束法平差优化算法，采用所述第二三维场景中的第二位姿数据、第二三维点云数据以及第二相机内参建立第二重投影误差函数，所述第二相机内参包括初始相机焦距，以及所述第一相机内参的相机第一中心参数和第一畸变参数；
计算所述GPS损失函数和所述第二重投影误差函数的和值；
对所述和值求最小值得到第三位姿数据、第三三维点云数据和第三相机内参以作为所述目标区域的最终三维场景。
可选地，所述采用所述GPS数据和所述第二位姿数据建立GPS损失函数，包括：
获取所述相机拍摄每张图像时的GPS测量精度；
采用所述GPS测量精度和第一重投影误差值计算每张图像的惩罚对角矩阵；
采用预设GPS数据权值、所述GPS数据、所述第二位姿数据以及所述惩罚对角矩阵建立GPS损失函数。
可选地，在以所述GPS数据为约束来对所述第二三维场景进行优化得到第三三维场景之前，还包括：
获取每张图像的地面控制点GCP数据；
所述以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景，包括：
以所述GPS数据和所述地面控制点GCP数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景。
可选地，在以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景之后，还包括：
获取每张图像的地面控制点GCP数据；
以所述GPS数据和所述地面控制点GCP数据为约束来对所述最终三维场景进行优化得到第三三维场景。
第二方面，本发明实施例提供了一种三维场景重建装置，包括：
图像获取模块，用于获取目标区域的、具有共视区域的多张图像，所述图像具有拍摄所述图像的相机的GPS数据；
三维场景重建模块，用于基于预设的三维场景重建算法对所述图像进行三维场景重建获得所述目标区域的第一三维场景；
坐标转换模块，用于根据所述GPS数据将所述第一三维场景变换为世界坐标系下的第二三维场景；
三维场景优化模块，用于以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景。
可选地，所述三维场景重建模块包括：
SFM算法子模块，用于利用运动恢复结构SFM算法对所述图像进行三维场景重建得到初始三维点云数据和所述相机的初始位姿数据；
第一优化子模块，用于对所述初始位姿数据和所述初始三维点云数据进行光束法平差优化得到第一三维场景，所述第一三维场景包括第一三维点云数据、所述相机的第一位姿数据和第一相机内参。
可选地，所述第一优化子模块包括：
相机内参获取单元，用于获取所述相机的初始相机内参；
第一重投影误差函数建立单元，用于基于所述光束法平差优化算法，采用所述初始相机内参、所述初始位姿数据以及所述初始三维点云数据建立第一重投影误差函数；
第一优化单元，用于对所述第一重投影误差函数求最小值得到第一相机内参、第一位姿数据以及第一三维点云数据以作为第一三维场景；
其中，所述初始相机内参包括所述相机的初始中心参数、初始畸变参数和初始焦距；
所述第一相机内参包括所述相机的第一中心参数和第一畸变参数。
可选地，所述坐标转换模块包括：
相似变换计算子模块，用于采用所述第一位姿数据和所述GPS数据计算所述第一三维场景到世界坐标系的相似变换；
转换子模块，用于采用所述相似变换对所述第一位姿数据和所述第一三维点云数据进行变换得到的第二位姿数据和第二三维点云数据，以作为世界坐标系下的第二三维场景。
可选地，所述三维场景优化模块包括：
GPS损失函数建立子模块，用于采用所述GPS数据和所述第二位姿数据建立GPS损失函数；
第二重投影误差函数建立子模块，用于基于所述光束法平差优化算法，采用所述第二三维场景中的第二位姿数据、第二三维点云数据以及第二相机内参建立第二重投影误差函数，所述第二相机内参包括初始相机焦距，以及所述第一相机内参的相机第一中心参数和第一畸变参数；
和值计算子模块，用于计算所述GPS损失函数和所述第二重投影误差函数的和值；
第二优化子模块，用于对所述和值求最小值得到第三位姿数据、第三三维点云数据和第三相机内参以作为第三三维场景。
可选地，所述GPS损失函数建立子模块包括：
测量精度获取单元，用于获取所述相机拍摄每张图像时的GPS测量精度；
惩罚对角矩阵计算单元，用于采用所述GPS测量精度和第一重投影误差值计算每张图像的惩罚对角矩阵；
GPS损失函数建立单元，用于采用预设GPS数据权值、所述GPS数据、所述第二位姿数据以及所述惩罚对角矩阵建立GPS损失函数。
可选地，还包括：
地面控制点GCP数据获取模块，用于获取每张图像的地面控制点GCP数据；
所述三维场景优化模块包括：
第三优化子模块，用于以所述GPS数据和所述地面控制点GCP数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景。
可选地，还包括：
地面控制点GCP数据获取模块，用于获取每张图像的地面控制点GCP数据；
第三三维场景优化模块，用于以所述GPS数据和所述地面控制点GCP数据为约束来对所述最终三维场景进行优化得到第三三维场景。
第三方面，本发明实施例提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例中所述的三维场景重建方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一实施例中所述的三维场景重建方法。
本发明实施例在获取目标区域的、具有共视区域的多张图像后，基于预设的三维场景重建算法对图像进行三维场景重建获得目标区域的第一三维场景，并根据相机拍摄每张图像时的GPS数据将第一三维场景变换为世界坐标系下的第二三维场景，进一步以GPS数据为约束来对第二三维场景进行优化得到目标区域的最终三维场景，避免了仅基于视觉图像重建三维场景和一次三维场景重建中使用GPS数据约束造成重建后三维场景不准确的问题，即先根据视觉图像重建第一三维场景，通过GPS数据将第一三维场景对齐到世界坐标系得到第二三维场景后，再通过GPS数据约束优化第二三维场景得到最终三维场景，既使用了GPS数据为约束，同时又避免了全程重建过程中使用GPS数据为约束带入GPS数据的误差，提高了最终获得的三维场景的准确度，并且该三维场景能够对齐到世界坐标系下的绝对位置。
附图说明
图1是本发明实施例一提供的一种三维场景重建方法的步骤流程图；
图2是本发明实施例二提供的一种三维场景重建方法的步骤流程图；
图3是本发明实施例三提供的一种三维场景重建方法的步骤流程图；
图4是本发明实施例四提供的一种三维场景重建方法的步骤流程图；
图5是本发明实施例五提供的一种三维场景重建装置的结构示意图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
图1为本发明实施例一提供的一种三维场景重建方法的步骤流程图，本发明实施例可适用于基于图像进行三维场景重建的情况，该方法可以由本发明实施例中的三维场景重建装置来执行，该装置可采用软件和/或硬件的方式实现，并集成于电子设备中，如图1所示，该方法具体包括如下步骤：
S101，获取目标区域的、具有共视区域的多张图像，所述图像具有拍摄所述图像的相机的GPS数据。
本发明实施例中，目标区域可以为需要进行三维场景重建的区域，例如，目标区域可以为某一区域的农田、森林、山地、城市等区域，三维场景可以为目标区域上包含的所有物体的场景，其可以为实体三维模型，优选地，可以为网格三维模型或者是三维点云模型。
在实际应用中，可以通过无人机携带相机对目标区域拍摄多张图像，多张图像具有共视区域，同时通过无人机上的GPS定位传感器获得相机拍摄每张图像时的GPS数据，该GPS数据可以为相机的经纬度数据和海拔高度。GPS定位信息也可以通过RTK或PPK等方式获取。。
S102，基于预设的三维场景重建算法对所述图像进行三维场景重建获得所述目标区域的第一三维场景。
具体地，三维场景重建算法可以为根据多张图像能够重建图像的三维场景的算法，可选地，可以采用运动恢复结构SFM算法对多张图像进行三维场景重建，获得拍摄每张图像时相机的位姿数据以及获得三维点云数据，该三维点云数据和相机的位姿数据经优化后，三维点云数据即为第一三维场景。
S103，根据所述GPS数据将所述第一三维场景变换为世界坐标系下的第二三维场景。
具体地，可以通过第一三维场景中预估的拍摄每张图像时相机的位姿数据、GPS传感器获得的相机的GPS数据计算第一三维场景转换到世界坐标系下的相似变换，通过该相似变换将相机的位姿数据和三维点云数据转换到世界坐标系下的相机的位姿数据和三维点云数据，世界坐标系下的三维点云数据即为第二三维场景。
S104，以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景。
通过世界坐标系转换得到世界坐标系下的第二三维场景后，可以采用第二三维场景中的相机的位姿数据和三维点云数据结合相机内参数建立重投影误差函数，同时通过第二三维场景中相机的位姿数据和GPS数据建立GPS数据损失函数，通过对重投影误差函数和GPS数据损失函数的和值求最小值获得最优的相机位姿数据和三维点云数据，该三维点云数据即为目标区域的最终三维场景。
本发明实施例先根据视觉图像重建第一三维场景，通过GPS数据将第一三维场景对齐到世界坐标系得到第二三维场景后，再通过GPS数据约束优化第二三维场景得到目标区域的最终三维场景，避免了仅基于视觉图像重建三维场景和一次三维场景重建中使用GPS数据约束造成重建后三维场景不准确的问题，既使用了GPS数据为约束，同时又避免了全程重建过程中使用GPS数据为约束带入GPS数据的误差，提高了最终获得的三维场景的准确度，并且该三维场景能够对齐到世界坐标系下的绝对位置。
实施例二
图2为本发明实施例二提供的一种三维场景重建方法的步骤流程图，本发明实施例以前述实施例一为基础进行优化，具体地，如图2所示，本发明实施例的三维场景重建方法可以包括如下步骤：
S201、获取目标区域的、具有共视区域的多张图像，所述图像具有拍摄所述图像的相机的GPS数据。
本发明实施例中可以通过无人机携带相机按照预设周期或者在人工控制下对目标区域拍摄多张图像，多张图像具有共视区域，同时通过无人机上的GPS定位传感器获得相机拍摄每张图像时的GPS数据，该GPS数据可以为相机的经纬度数据和海拔高度。
S202、利用运动恢复结构SFM算法对所述图像进行三维场景重建得到初始三维点云数据和所述相机的初始位姿数据。
在本发明实施例中可以记重建的三维场景为S{ε,P,I}，其包括拍摄每张图像时相机的位姿数据ε＝{ei(Ri,Ci)|i＝1,2,3.....N}和目标区域所恢复的三维点云数据P＝{pj|j＝1,2,3.....M}，其中，ei(Ri,Ci)为N张图像中第i张图像的相机的位姿，Ri为旋转矩阵，Ci为相机位置中心向量，pj为M个三维点云中的第j个三维点云。I为相机内参，相机内参包括焦距，相机中心和畸变参数，同时记所有图像的观测点为Q＝{qij∈Qi|pj∝Qi}，其中，qij表示第j个三维点被第i张图像所观测到的观测点像素坐标，Qi表示第i张图像的观测点集，pj∝Qi为第j个三维点被第i张图像所观测到。
具体地，可以对具有共视区域的多张图像进行预处理，例如，调整图像分辨率，对图像提取SIFT特征，进行特征匹配等，然后在特征匹配基础上，利用运动恢复结构SFM算法得到初始三维场景S0{ε0,P0,I0}，其中，ε0为相机的初始位姿数据，P0为初始三维点云数据，I0为初始相机内参，初始相机内参包括相机的初始中心参数、初始畸变参数和初始焦距。
S203、对所述初始位姿数据和所述初始三维点云数据进行光束法平差优化得到第一三维场景，所述第一三维场景包括第一三维点云数据、所述相机的第一位姿数据和第一相机内参。
在本发明的可选实施例中，可以获取相机的初始相机内参I0，该初始相机内参可以包括相机的中心参数和畸变参数，然后基于光束法平差优化算法，采用初始三维场景S0{ε0,P0,I0}中的初始相机内参I0、初始位姿数据ε0以及初始三维点云数据P0建立第一重投影误差函数，并对第一重投影误差函数求最小值得到第一三维场景S1{ε1,P1,I1}，第一三维场景S1{ε1,P1,I1}包括第一相机内参I1、第一位姿数据ε1以及第一三维点云数据P1，具体地如下公式(1)和(2)：
Figure BDA0002457549630000121
Figure BDA0002457549630000122
上述公式中，Lreproj(ε,P,I)为重投影误差函数，Π(e,p,I)为重投影函数，ε为位姿数据，P为三维点云数据，I为相机内参，
Figure BDA0002457549630000123
为除了相机焦距以外的相机内参，Qi为第i张图像的观测点集，qij表示第j个三维点云被第i张图像观测到的观测点像素坐标，S1{ε1,P1,I1}为第一三维场景，ε1,P1,I1分别为第一三维场景下每张图像的相机的位姿数据、第一三维点云数据以及第一相机内参，第一相机内参包括相机的第一中心参数和第一畸变参数，其中，第一中心参数为初始中心参数优化的结果，第一畸变参数为初始畸变参数优化的结果。
S204、采用所述第一位姿数据和所述GPS数据计算所述第一三维场景到世界坐标系的相似变换。
具体地，每张图像都有相应的地理信息，包括GPS经纬度，高度和测量精度等信息，若所记录的GPS坐标为WGS84坐标系，则转换成世界坐标系UTM，当然，还可以是其他的坐标系，本发明实施例对所使用的坐标系不加以限制，在本发明实施例中可以记每张图像在世界坐标系的GPS数据为T＝{Ti|i＝1,2,3.....N}。
第一三维场景S1{ε1,P1,I1}中包含有第一位姿数据ε1，该第一位姿数据ε1包含了相机位置中心向量Ci，由以下公式(3)将相机位置中心向量通过相似变换矩阵变换到世界坐标系中与GPS坐标对齐：
Figure BDA0002457549630000124
其中，相似变换包括尺度变换因子s、旋转矩阵Rs和位移向量Ts，通过RANSAC方式随机选择一定数量的图像来解算相似变换矩阵，解算方法可用umeyama算法求解。
S205、采用所述相似变换对所述第一位姿数据和所述第一三维点云数据进行变换得到的第二位姿数据和第二三维点云数据，以作为世界坐标系下的第二三维场景。
具体地，求解出相似变换矩阵后，将第一重建场景变换为第二重建场景S2{ε2,P2,I2}，具体如下：
第一三维点云数据变换为第二三维点云数据，三维点云数据的变换公式为：
Figure BDA0002457549630000131
第一位姿数据变换到第二位姿数据，位姿数据的变换公式为：
Figure BDA0002457549630000132
第二相机内参I2＝I1∪If，即第二相机内参I2包括第一相机内参I1的第一中心参数和第一畸变参数以及初始相机焦距If。
S206、采用所述GPS数据和所述第二位姿数据建立GPS损失函数。
在本发明的可选实施例中，可以获取相机拍摄每张图像时的GPS测量精度
Figure BDA0002457549630000133
采用GPS测量精度、第一重投影误差值Ereproj计算每张图像的惩罚对角矩阵
Figure BDA0002457549630000134
并采用预设GPS数据权值、GPS数据、第二位姿数据以及惩罚对角矩阵建立GPS损失函数。
具体地，如下公式(4)、(5)和(6)所示：
Figure BDA0002457549630000135
Figure BDA0002457549630000136
L＝λGPSLGPS(ε2，T) (6)
上述公式中LGPS(ε，T)为损失函数，GPS数据权值λGPS∈[0,1]。
S207、基于所述光束法平差优化算法，采用所述第二三维场景中的第二位姿数据、第二三维点云数据以及第二相机内参建立第二重投影误差函数，所述第二相机内参包括初始相机焦距，以及所述第一相机内参的相机第一中心参数和第一畸变参数。
具体地，可以参考S203中的公式(1)建立第二三维场景的第二重投影误差函数Lreproj(S2)，在此不再详述。
S208、计算所述GPS损失函数和所述第二重投影误差函数的和值。
可选地，如下公式(7)所示：
Figure BDA0002457549630000141
S209、对所述和值求最小值得到第三位姿数据、第三三维点云数据和第三相机内参以作为所述目标区域的最终三维场景。
具体地，对上述公式(7)迭代优化求最小值即可以得到最终三维场景S3{ε3,P3,I3}。
本发明实施例利用运动恢复结构SFM算法对图像进行三维场景重建得到相机的初始位姿数据以及初始三维点云数据后，对初始位姿数据和初始三维点云数据进行光束法平差优化得到第一三维场景，并采用GPS数据将第一三维场景转换为世界坐标系下的第二三维场景，然后采用GPS数据和第二三维场景中的第二位姿数据建立GPS损失函数以及基于光束法平差优化算法建立第二三维场景的投影误差函数，进一步对GPS损失函数和第二三维场景的投影误差函数的和值做最小值优化得到最终三维场景，避免了仅基于视觉图像重建三维场景和一次三维场景重建中使用GPS数据约束造成重建后三维场景不准确的问题，既使用了GPS数据为约束，同时又避免了全程重建过程中使用GPS数据为约束带入GPS数据的误差，提高了最终获得的三维场景的准确度，并且该三维场景能够对齐到世界坐标系下的绝对位置。
进一步地，在计算GPS损失函数时考虑了每张图像的惩罚对角矩阵，使得每张图像的GPS约束更加精细，提高了目标区域的三维场景的准确度。
更进一步地，在基于光束法平差优化算法结合GPS数据对第二三维场景进行优化时优化相机的焦距，避免了仅通过视觉信息所优化出来的焦距不稳定的问题，能够得到准确的焦距数据，能够得到目标区域的准确尺度的三维场景。
实施例三
图3为本发明实施例三提供的一种三维场景重建方法的步骤流程图，本发明实施例以前述实施例一为基础进行优化，具体地，如图3所示，本发明实施例的方法可以包括如下步骤：
S301，获取目标区域的、具有共视区域的多张图像，所述图像具有拍摄所述图像的相机的GPS数据。
S302，基于预设的三维场景重建算法对所述图像进行三维场景重建获得所述目标区域的第一三维场景。
S303，根据所述GPS数据将所述第一三维场景变换为世界坐标系下的第二三维场景。
步骤S301-S303可参考实施例一中的S101-S103，或者参考实施例二中的S201-S205，本发明实施例在此不再详述。
S304、获取每张图像的地面控制点GCP数据。
具体地，地面控制点GCP(Ground Control Point)是表达地理空间位置的信息数据，归结为空间位置坐标、点位局部影像、点位特征描述及说明(点之记)、辅助信息。本发明实施例可以通过各种类型的地面控制点(RTK等传感器)获得每张图像对应的地面区域的地面控制点GCP数据。
记存在
Figure BDA0002457549630000161
个GCP三维点
Figure BDA0002457549630000162
存在GCP观测点
Figure BDA0002457549630000163
GCP误差函数可由下式表达：
Figure BDA0002457549630000164
Figure BDA0002457549630000165
其中，WGCP为GCP点的重投影误差的权值，
Figure BDA0002457549630000166
为GCP观测点数量。
S305、以所述GPS数据和所述地面控制点GCP数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景。
具体地，可以将GPS数据和地面控制点GCP数据作为约束数量来优化第二三维场景，即在实施例二中的S208的公式(7)中增加地面控制点GCP数据的约束项，得到如下公式(8)：
Figure BDA0002457549630000167
上述公式(8)中，GCP数据权值λGCP∈[0,1]，
Figure BDA0002457549630000168
为GCP损失函数，具体地可参考实施例二中的S210-S211，在此不再详述。
本发明实施例先根据视觉图像重建第一三维场景，通过GPS数据将第一三维场景对齐到世界坐标系得到第二三维场景后，获取每张图像的地面控制点GCP数据，再通过GPS数据和地面控制点GCP数据约束优化第二三维场景得到目标区域的最终三维场景，避免了仅基于视觉图像重建三维场景和一次三维场景重建中使用GPS数据约束造成重建后三维场景不准确的问题，既使用了GPS数据为约束，同时又避免了全程重建过程中使用GPS数据为约束带入GPS数据的误差，提高了最终获得的三维场景的准确度，并且该三维场景能够对齐到世界坐标系下的绝对位置。
进一步地，同时采用GPS数据和所述地面控制点GCP数据为约束优化第二三维场景，采用了多种定位传感器融合约束来重建三维场景，进一步提高了三维场景的准确度。
实施例四
图4为本发明实施例四提供的一种三维场景重建方法的步骤流程图，本发明实施例以前述实施例一为基础进行优化，具体地，如图4所示，本发明实施例的方法可以包括如下步骤：
S401，获取目标区域的、具有共视区域的多张图像，所述图像具有拍摄所述图像的相机的GPS数据。
S402，基于预设的三维场景重建算法对所述图像进行三维场景重建获得所述目标区域的第一三维场景。
S403，根据所述GPS数据将所述第一三维场景变换为世界坐标系下的第二三维场景。
S404，以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景。
步骤S401-S404可参考实施例一中的S101-S104，或者参考实施例二中的S201-S210，本发明实施例在此不再详述。
S405、获取每张图像的地面控制点GCP数据。
具体地，地面控制点GCP(Ground Control Point)是表达地理空间位置的信息数据，归结为空间位置坐标、点位局部影像、点位特征描述及说明(点之记)、辅助信息。本发明实施例可以通过各种类型的地面控制点(RTK等传感器)获得每张图像对应的地面区域的地面控制点GCP数据。
S406、以所述GPS数据和所述地面控制点GCP数据为约束来对所述最终三维场景进行优化得到第三三维场景。
具体地，在以GPS数据为约束对第二三维场景进行优化得到目标区域的最终三维场景后，再次以GPS数据和地面控制点GCP数据为约束来对该最终三维场景进行优化得到第三三维场景，具体地，可以参考实施例三中的S304-S305，在此不再详述。
本发明实施例先根据视觉图像重建第一三维场景，通过GPS数据将第一三维场景对齐到世界坐标系得到第二三维场景后，以GPS数据为约束来对第二三维场景进行优化得到目标区域的最终三维场景，进一步获取每张图像的地面控制点GCP数据，再通过GPS数据和地面控制点GCP数据约束优化最终三维场景得到第三三维场景，避免了仅基于视觉图像重建三维场景和一次三维场景重建中使用GPS数据约束造成重建后三维场景不准确的问题，既使用了GPS数据为约束，同时又避免了全程重建过程中使用GPS数据为约束带入GPS数据的误差，提高了最终获得的三维场景的准确度，并且该三维场景能够对齐到世界坐标系下的绝对位置。
进一步地，在以GPS数据为约束优化得到最终三维场景后，再次采用GPS数据和地面控制点GCP数据为约束优化最终三维场景得到第三三维场景，采用了多种定位传感器融合约束以及多次优化来重建三维场景，进一步提高了三维场景的准确度。
实施例五
图5为本发明实施例五提供的一种三维场景重建装置的结构示意图，如图5所示，本发明实施例的三维场景重建装置具体可以包括：
图像获取模块501，用于获取目标区域的、具有共视区域的多张图像，所述图像具有拍摄所述图像的相机的GPS数据；
三维场景重建模块502，用于基于预设的三维场景重建算法对所述图像进行三维场景重建获得所述目标区域的第一三维场景；
坐标转换模块503，用于根据所述GPS数据将所述第一三维场景变换为世界坐标系下的第二三维场景；
三维场景优化模块504，用于以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景。
可选地，所述三维场景重建模块502包括：
SFM算法子模块，用于利用运动恢复结构SFM算法对所述图像进行三维场景重建得到初始三维点云数据和所述相机的初始位姿数据；
第一优化子模块，用于对所述初始位姿数据和所述初始三维点云数据进行光束法平差优化得到第一三维场景，所述第一三维场景包括第一三维点云数据、所述相机的第一位姿数据和第一相机内参。
可选地，所述第一优化子模块包括：
相机内参获取单元，用于获取所述相机的初始相机内参；
第一重投影误差函数建立单元，用于基于所述光束法平差优化算法，采用所述初始相机内参、所述初始位姿数据以及所述初始三维点云数据建立第一重投影误差函数；
第一优化单元，用于对所述第一重投影误差函数求最小值得到第一相机内参、第一位姿数据以及第一三维点云数据以作为第一三维场景；
其中，所述初始相机内参包括所述相机的初始中心参数、初始畸变参数和初始焦距；
所述第一相机内参包括相机的第一中心参数和第一畸变参数。
可选地，所述坐标转换模块503包括：
相似变换计算子模块，用于采用所述第一位姿数据和所述GPS数据计算所述第一三维场景到世界坐标系的相似变换；
转换子模块，用于采用所述相似变换对所述第一位姿数据和所述第一三维点云数据进行变换得到的第二位姿数据和第二三维点云数据，以作为世界坐标系下的第二三维场景。
可选地，所述三维场景优化模块504包括：
GPS损失函数建立子模块，用于采用所述GPS数据和所述第二位姿数据建立GPS损失函数；
第二重投影误差函数建立子模块，用于基于所述光束法平差优化算法，采用所述第二三维场景中的第二位姿数据、第二三维点云数据以及第二相机内参建立第二重投影误差函数，所述第二相机内参包括初始相机焦距，以及所述第一相机内参的相机第一中心参数和第一畸变参数；
和值计算子模块，用于计算所述GPS损失函数和所述第二重投影误差函数的和值；
第二优化子模块，用于对所述和值求最小值得到第三位姿数据、第三三维点云数据和第三相机内参以作为第三三维场景。
可选地，所述GPS损失函数建立子模块包括：
测量精度获取单元，用于获取所述相机拍摄每张图像时的GPS测量精度；
惩罚对角矩阵计算单元，用于采用所述GPS测量精度和第一重投影误差值计算每张图像的惩罚对角矩阵；
GPS损失函数建立单元，用于采用预设GPS数据权值、所述GPS数据、所述第二位姿数据以及所述惩罚对角矩阵建立GPS损失函数。
可选地，还包括：
地面控制点GCP数据获取模块，用于获取每张图像的地面控制点GCP数据；
所述三维场景优化模块504包括：
第三优化子模块，用于以所述GPS数据和所述地面控制点GCP数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景。
可选地，还包括：
地面控制点GCP数据获取模块，用于获取每张图像的地面控制点GCP数据；
第三三维场景优化模块，用于以所述GPS数据和所述地面控制点GCP数据为约束来对所述最终三维场景进行优化得到第三三维场景。
上述三维场景重建装置可执行本发明任意实施例所提供的三维场景重建方法，具备执行方法相应的功能模块和有益效果。
本发明实施例还提供一种设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例所述的三维场景重建方法。
本发明实施例还提供一种计算机可读存储介质，所述存储介质中的指令由设备的处理器执行时，使得无人机能够执行如上述方法实施例所述的三维场景重建方法。
需要说明的是，对于装置、设备和存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的三维场景重建方法。
值得注意的是，上述三维场景重建装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种三维场景重建方法，其特征在于，包括：
获取目标区域的、具有共视区域的多张图像，所述图像具有拍摄所述图像的相机的GPS数据；
基于预设的三维场景重建算法对所述图像进行三维场景重建获得所述目标区域的第一三维场景；
根据所述GPS数据将所述第一三维场景变换为世界坐标系下的第二三维场景；
以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景。
2.根据权利要求1所述的方法，其特征在于，所述基于预设的三维场景重建算法对所述图像进行三维场景重建获得所述目标区域的第一三维场景，包括：
利用运动恢复结构SFM算法对所述图像进行三维场景重建得到初始三维点云数据和所述相机的初始位姿数据；
对所述初始位姿数据和所述初始三维点云数据进行光束法平差优化得到第一三维场景，所述第一三维场景包括第一三维点云数据、所述相机的第一位姿数据和第一相机内参。
3.根据权利要求2所述的方法，其特征在于，所述对所述初始位姿数据和所述初始三维点云数据进行光束法平差优化得到第一三维场景，包括：
获取所述相机的初始相机内参；
基于所述光束法平差优化算法，采用所述初始相机内参、所述初始位姿数据以及所述初始三维点云数据建立第一重投影误差函数；
对所述第一重投影误差函数求最小值得到第一相机内参、第一位姿数据以及第一三维点云数据以作为第一三维场景；
其中，所述初始相机内参包括所述相机的初始中心参数、初始畸变参数和初始焦距；
所述第一相机内参包括所述相机的第一中心参数和第一畸变参数。
4.根据权利要求3所述的方法，其特征在于，所述根据所述GPS数据将所述第一三维场景变换为世界坐标系下的第二三维场景，包括：
采用所述第一位姿数据和所述GPS数据计算所述第一三维场景到世界坐标系的相似变换；
采用所述相似变换对所述第一位姿数据和所述第一三维点云数据进行变换得到的第二位姿数据和第二三维点云数据，以作为世界坐标系下的第二三维场景。
5.根据权利要求4所述的方法，其特征在于，所述以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景，包括：
采用所述GPS数据和所述第二位姿数据建立GPS损失函数；
基于所述光束法平差优化算法，采用所述第二三维场景中的第二位姿数据、第二三维点云数据以及第二相机内参建立第二重投影误差函数，所述第二相机内参包括初始相机焦距，以及所述第一相机内参的相机第一中心参数和第一畸变参数；
计算所述GPS损失函数和所述第二重投影误差函数的和值；
对所述和值求最小值得到第三位姿数据、第三三维点云数据和第三相机内参以作为所述目标区域的最终三维场景。
6.根据权利要求5所述的方法，其特征在于，所述采用所述GPS数据和所述第二位姿数据建立GPS损失函数，包括：
获取所述相机拍摄每张图像时的GPS测量精度；
采用所述GPS测量精度和所述第一重投影误差值计算每张图像的惩罚对角矩阵；
采用预设GPS数据权值、所述GPS数据、所述第二位姿数据以及所述惩罚对角矩阵建立GPS损失函数。
7.根据权利要求1-6任一项所述的方法，其特征在于，在以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景之前，还包括：
获取每张图像的地面控制点GCP数据；
所述以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景，包括：
以所述GPS数据和所述地面控制点GCP数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景。
8.根据权利要求1-6任一项所述的方法，其特征在于，在以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景之后，还包括：
获取每张图像的地面控制点GCP数据；
以所述GPS数据和所述地面控制点GCP数据为约束来对所述最终三维场景进行优化得到第三三维场景。
9.一种三维场景重建装置，其特征在于，包括：
图像获取模块，用于获取目标区域的、具有共视区域的多张图像，所述图像具有拍摄所述图像的相机的GPS数据；
三维场景重建模块，用于基于预设的三维场景重建算法对所述图像进行三维场景重建获得所述目标区域的第一三维场景；
坐标转换模块，用于根据所述GPS数据将所述第一三维场景变换为世界坐标系下的第二三维场景；
三维场景优化模块，用于以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景。
10.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一项所述的三维场景重建方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一项所述的三维场景重建方法。
CN202010310884.6A 2020-04-20 2020-04-20 一种三维场景重建方法、装置、电子设备和存储介质 Pending CN113610952A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010310884.6A CN113610952A (zh) 2020-04-20 2020-04-20 一种三维场景重建方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010310884.6A CN113610952A (zh) 2020-04-20 2020-04-20 一种三维场景重建方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113610952A true CN113610952A (zh) 2021-11-05

Family

ID=78303110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010310884.6A Pending CN113610952A (zh) 2020-04-20 2020-04-20 一种三维场景重建方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113610952A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272618A (zh) * 2022-09-20 2022-11-01 深圳市其域创新科技有限公司 三维网格优化方法、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170092015A1 (en) * 2015-09-30 2017-03-30 Umap AV Corp. Generating Scene Reconstructions from Images
CN106780729A (zh) * 2016-11-10 2017-05-31 中国人民解放军理工大学 一种无人机序列影像批处理三维重建方法
CN108428255A (zh) * 2018-02-10 2018-08-21 台州智必安科技有限责任公司 一种基于无人机的实时三维重建方法
CN109238173A (zh) * 2018-08-16 2019-01-18 中国矿业大学 一种储煤场三维实景重构系统及煤量快速估算方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170092015A1 (en) * 2015-09-30 2017-03-30 Umap AV Corp. Generating Scene Reconstructions from Images
CN106780729A (zh) * 2016-11-10 2017-05-31 中国人民解放军理工大学 一种无人机序列影像批处理三维重建方法
CN108428255A (zh) * 2018-02-10 2018-08-21 台州智必安科技有限责任公司 一种基于无人机的实时三维重建方法
CN109238173A (zh) * 2018-08-16 2019-01-18 中国矿业大学 一种储煤场三维实景重构系统及煤量快速估算方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MARKUS RUMPLER 等: "Evaluations on multi-scale camera networks for precise and geo-accurate reconstructions from aerial and terrestrial images with user guidance", COMPUTER VISION AND IMAGE UNDERSTANDING, vol. 157, 19 April 2016 (2016-04-19), pages 255 - 273, XP029946582, DOI: 10.1016/j.cviu.2016.04.008 *
王鹤 等: "利用无人机影像进行滑坡地形三维重建", 测绘与空间地理信息, vol. 38, no. 12, 31 December 2015 (2015-12-31), pages 68 - 71 *
郭复胜 等: "基于辅助信息的无人机图像批处理三维重建方法", 自动化学报, vol. 39, no. 06, 30 June 2013 (2013-06-30), pages 834 - 845 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272618A (zh) * 2022-09-20 2022-11-01 深圳市其域创新科技有限公司 三维网格优化方法、设备及存储介质
CN115272618B (zh) * 2022-09-20 2022-12-20 深圳市其域创新科技有限公司 三维网格优化方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN112085845B (zh) 基于无人机影像的室外场景快速三维重建装置
CN112085844B (zh) 面向野外未知环境的无人机影像快速三维重建方法
US9466143B1 (en) Geoaccurate three-dimensional reconstruction via image-based geometry
Zhang et al. Photogrammetric processing of low‐altitude images acquired by unpiloted aerial vehicles
US8194922B2 (en) System and methods for dynamically generating earth position data for overhead images and derived information
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN110648283A (zh) 图像拼接方法、装置、电子设备和计算机可读存储介质
EP2212858A1 (en) Method and apparatus of taking aerial surveys
Verykokou et al. Oblique aerial images: a review focusing on georeferencing procedures
CN112634370A (zh) 一种无人机打点方法、装置、设备及存储介质
CN108876828A (zh) 一种无人机图像批处理三维重建方法
CN108801225B (zh) 一种无人机倾斜影像定位方法、系统、介质及设备
JP2017201261A (ja) 形状情報生成システム
JP2020008802A (ja) 三次元マップ生成装置および三次元マップ生成方法
CN115423863B (zh) 相机位姿估计方法、装置及计算机可读存储介质
CN113610952A (zh) 一种三维场景重建方法、装置、电子设备和存储介质
CN110411449B (zh) 一种航空侦察载荷目标定位方法、系统及终端设备
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
Cannata et al. Autonomous video registration using sensor model parameter adjustments
CN115797256B (zh) 基于无人机的隧道岩体结构面信息的处理方法以及装置
Chiabrando et al. Performance evaluation of cots uav for architectural heritage documentation. A test on s. giuliano chapel in savigliano (cn)–Italy
Wang et al. A Rapid UAV Image Georeference Algorithm Developed for Emergency Response.
JP5567522B2 (ja) 単画像からのステレオペア検索装置及びステレオペア検索方法
CN113008206B (zh) 空中三角测量成图方法、装置、飞行器及计算机可读存储介质
CN112132029B (zh) 一种面向地震应急响应的无人机遥感影像快速定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination