CN113593023A - 三维制图方法、装置、设备及存储介质 - Google Patents

三维制图方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113593023A
CN113593023A CN202110794740.7A CN202110794740A CN113593023A CN 113593023 A CN113593023 A CN 113593023A CN 202110794740 A CN202110794740 A CN 202110794740A CN 113593023 A CN113593023 A CN 113593023A
Authority
CN
China
Prior art keywords
dimensional
coordinates
point
feature points
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110794740.7A
Other languages
English (en)
Other versions
CN113593023B (zh
Inventor
万文辉
彭嫚
王晔昕
刘召芹
邸凯昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202110794740.7A priority Critical patent/CN113593023B/zh
Publication of CN113593023A publication Critical patent/CN113593023A/zh
Application granted granted Critical
Publication of CN113593023B publication Critical patent/CN113593023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种三维制图方法、装置、设备及存储介质，通过对多相机拍摄的像片匹配特征点，确定各相机中匹配的特征点像点坐标和对应的三维坐标，根据特征点的测量精度为特征点对应的三维坐标配置权重系数，不同的测量精度对应配置的权重系数不同，对各个相机中匹配的特征点所对应按照所述三维坐标和对应配置的所述权重系数进行点云融合以得到三维制图。本发明技术方案在进行点云融合时，充分考虑各匹配的特征点的测量精度之间的差异并赋予权重系数，该权重系数反映该特征点所对应的三维坐标在点云融合时所占比重，这样不同像片中匹配的特征点在融合时得以校正，从而能够获得高精度的制图。

Description

三维制图方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种三维制图方法、装置、设备及存储介质。
背景技术
在地形地貌、建筑形状等其他物体三维形状探测任务中，可以采用多相机从不同角度拍摄像片并进行匹配，然后采用三维点云内插生成数字高程模型DEM(DigitalElevation Model)，是通过有限的地形高程数据实现对地面地形的数字化模拟(即地形表面形态的数字化表达)，它是用一组有序数值阵列形式表示地面高程的一种实体地面模型，是数字地形模型DTM(Digital Terrain Model)的一个分支。
因此，如何提供高精度的三维重建方案是业界普遍考虑的课题。
发明内容
本发明提供一种三维制图方法，用以解决现有技术中三维制图方法精度低的缺陷，实现高精度的三维制图方案。
本发明提供一种三维制图方法，包括：
对多相机拍摄的像片匹配特征点，得到各相机中匹配的特征点像点坐标和对应的三维坐标；
根据每个所述特征点的像点坐标和对应的三维坐标计算所述特征点的测量精度；
根据每个所述特征点的测量精度为所述特征点对应点的三维坐标配置权重系数，不同的测量精度对应配置的权重系数不同；
对所述各个相机中匹配的特征点按照对应的三维坐标和所配置的所述权重系数进行点云融合，以得到融合点云组成的三维制图。
根据本发明提供的一种三维制图方法，在根据每个所述特征点的像点坐标和对应的三维坐标计算所述特征点的测量精度之前，还包括：
对所述各个相机中匹配的特征点进行光束法平差，以得到所述各个所述相机拍摄像片的精化姿态信息；
利用所述特征点的像点坐标和所述精化姿态信息调整所述特征点对应的三维坐标；
根据每个所述特征点的像点坐标和对应的三维坐标计算所述特征点的测量精度，包括：
根据所述匹配的特征点的像点坐标和调整的所述三维坐标计算所述特征点的测量精度。
根据本发明提供的一种三维制图方法，利用所述特征点的像点坐标和所述精化姿态信息调整所述特征点对应的三维坐标，包括：
根据所述特征点的像点坐标和所述精化姿态信息包含的内方位元素(x0，y0)计算所述特征点的像空间坐标；
根据所述精化姿态信息中包含的内外方位元素计算旋转矩阵R：
Figure BDA0003162234010000021
其中，ai，bi，ci分别表示方向余弦，
a1＝cosφcosκ-sinφsinωsinκ，
a2＝-cosφcosκ-sinφsinωcosκ，
a3＝-sinφcosω，
b1＝cosωsinκ，
b2＝cosωcosκ，
b3＝-sinω，
c1＝sinφcosκ，
c2＝-sinφsinκ+cosφsinωcosκ，
c3＝cosφcosω，
其中，φ是指航向倾角，ω是指旁向倾角，κ是像片旋角；
根据共线方程可得：
(x-x0)[a3(X-XS)+b3(Y-YS)+c3(Z-ZS)]
＝-f[a1(X-XS)+b1(Y-YS)+c1(Z-ZS)](y-y0)
(y-y0)[a3(X-XS)+b3(Y-YS)+c3(Z-ZS)]
＝-f[a2(X-XS)+b2(Y-YS)+c2(Z-ZS)](y-y0)
简化得到：
l1X+l2Y+l3Z-lx＝0
l4X+l5Y+l6Z-ly＝0
其中，
l1＝fa1+(x-x0)a3
l2＝fb1+(x-x0)b3
l3＝fc1+(x-x0)c3
lx＝fa1XS+fb1YS+fc1ZS+(x-x0)a3XS+(x-x0)b3YS+(x-x0)c3ZS
ly＝fa2XS+fb2YS+fc2ZS+(y-y0)a3XS+(y-y0)b3YS+(y-y0)c3ZS
利用最小二乘法求得调整的各特征点的三维坐标值(X，Y，Z)。
根据本发明提供的一种三维制图方法，根据每个所述特征点的像点坐标和对应的三维坐标计算所述特征点的测量精度，包括：
对每个所述特征点，根据所述特征点的像点坐标和三维坐标计算二维精度σ2d：
Figure BDA0003162234010000041
其中，ρ为匹配的特征点的相关系数，N是匹配窗口的像素数，σg是匹配窗口的灰度方差，σ′g是灰度梯度的方差；
利用下述公式计算每个所述特征点的三维精度：
Figure BDA0003162234010000042
Figure BDA0003162234010000043
Figure BDA0003162234010000044
其中，B是相机的基线长，f是相机的焦距，ZP是垂直于像平面的坐标值，(x，y)是所述特征点的二维坐标；
所述成像精度包括所述二维精度和三维精度。
根据本发明提供的一种三维制图方法，对所述各个相机中匹配的特征点按照对应的三维坐标和所配置的所述权重系数进行点云融合，以得到融合点云组成的三维制图，包括：
对各个相机中匹配的特征点所对应的三维坐标进行聚类融合；
对聚类融合的点云中匹配的特征点所对应的三维坐标基于对应的权重系数进行加权计算，以得到更新的三维坐标；
利用所述更新的三维坐标对应的校正特征点进行点云融合，以得到所述三维制图。
根据本发明提供的一种三维制图方法，所述像片为布置在探测车上的所述多相机拍摄的外太空着陆区像片。
本发明还提供一种三维制图装置，包括：
特征点匹配模块，对多相机拍摄的像片匹配特征点，得到各相机中匹配的特征点像点坐标和对应的三维坐标；
计算模块，根据每个所述特征点的像点坐标和对应的三维坐标计算所述特征点的测量精度；
权重系数配置模块，根据每个所述特征点的测量精度为所述特征点对应的三维坐标配置权重系数，不同的测量精度对应配置的权重系数不同；
点云融合模块，对所述各个相机中匹配的特征点按照对应的三维坐标和所配置的所述权重系数进行点云融合，以得到融合点云组成的三维制图。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述三维制图方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述三维制图方法的步骤。
本发明提供的三维制图方法、装置、设备及存储介质，通过对多相机拍摄的像片匹配特征点，确定各相机中匹配的特征点像点坐标和对应的三维坐标，根据特征点的测量精度为特征点对应的三维坐标配置权重系数，不同的测量精度对应配置的权重系数不同，对各个相机中匹配的特征点所对应按照所述三维坐标和对应配置的所述权重系数进行点云融合以得到三维制图。本发明技术方案在进行点云融合时，充分考虑各匹配的特征点的测量精度之间的差异并赋予权重系数，该权重系数反映该特征点所对应的三维坐标在点云融合时所占比重，这样不同像片中匹配的特征点在融合时得以校正，从而能够获得高精度的制图。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的三维制图方法的流程示意图之一；
图2是本发明实施例提供的三维制图方法的流程示意图之二；
图3是本发明实施例提供的三维制图方法的流程示意图之三；
图4是本发明实施例提供的一种三维制图装置的结构示意图；
图5是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在对现有技术进行分析时发现，由于不同相机间存在分辨率差异，并且近景摄影测量影像中各像素的比例尺并不均一，因此各相机在不同距离的成像精度不同，使用不同相机影像的三维点云直接内插生成传统的数字高程模型难以满足精细制图的需求，因此现有的制图方法不适用多相机影像的高精度的三维重建。
本发明实施例通过发现导致问题的原因，提出了一种新的三维制图方案。
下面结合图1-图4描述本发明的三维制图方法。
参考图1所示，本发明实施例提供一种三维制图方法，本方法的执行主体可以是三维制图系统，具体可以是运行在三维制图系统中的三维制图模块。本方法具体包括如下步骤：
步骤110：对多相机拍摄的像片匹配特征点，得到各相机中匹配的特征点的像点坐标和对应的三维坐标；
步骤120：根据每个所述特征点的像点坐标和对应的三维坐标计算所述特征点的测量精度；
步骤130：根据每个特征点的测量精度为所述特征点对应物点的三维坐标配置权重系数，不同的测量精度对应配置的权重系数不同；
步骤140：对各相机中匹配的特征点按照对应的三维坐标和所配置的所述权重系数进行点云融合，以得到融合点云组成的三维制图。
在本发明实施例中，在进行点云融合时，充分考虑各匹配的特征点的测量精度之间的差异并赋予权重系数，该权重系数反映该特征点所对应物点的三维坐标在点云融合时所占比重，这样不同像片中匹配的特征点在融合时得以校正，从而能够获得高精度的制图。
在本发明实施例中，通过布置多相机，可以在多角度进行三维立体拍照，因此这些拍摄像片能够在三维空间反映物体的形状。
其中，匹配特征点是在不同相机拍摄像片中匹配表征同一物点的特征点，具体的可以根据不同相片上像点的灰度和纹理进行匹配特征点。这样在进行点云融合时，不同像片中匹配的特征点所对应物点重合，从而实现根据不同像片进行点云融合得到三维制图。
测量精度是衡量测量结果的真实性与可靠性的指标，测量精度反映了特征点的像点坐标和对应物点的三维坐标的误差，从而在进行点云融合时根据误差进行位置调整，尽量降低融合点云的误差。
在本发明实施例中，根据每个所述特征点的像点坐标和对应的三维坐标计算所述特征点的测量精度，具体包括如下步骤：
对每个所述特征点，根据所述特征点的像点坐标和三维坐标计算二维精度σ2d：
Figure BDA0003162234010000081
其中，ρ为匹配的特征点的相关系数，N是匹配窗口的像素数，σg是匹配窗口的灰度方差，σ′g是灰度梯度的方差；
利用下述公式计算每个所述特征点的三维精度：
Figure BDA0003162234010000082
Figure BDA0003162234010000083
Figure BDA0003162234010000084
其中，B是相机的基线长，f是相机的焦距，ZP是垂直于像平面的坐标值，(x，y)是所述特征点的二维坐标；
所述测量精度包括所述二维精度和三维精度。
其中，二维精度也可称为二维误差，(σx，σy)可表征为所述特征点在像方的测量误差，而三维精度也可称为三维误差，(σX，σY，σZ)是每个特征点对应的三维精度。
在本发明实施例中，对所述各相机中匹配的特征点按照对应的三维坐标和所配置的所述权重系数进行点云融合，以得到融合点云组成的三维制图，具体包括图2所示步骤：
步骤210：对各个相机中匹配的特征点所对应的三维坐标进行聚类融合；
步骤220：对聚类融合的点云中匹配的特征点所对应的三维坐标基于对应的权重系数进行加权计算，以得到更新的三维坐标；
步骤230：利用所述更新的三维坐标对应的校正特征点进行点云融合，以得到所述三维制图。
具体地，按照如下公式更新特征点的三维坐标：
Figure BDA0003162234010000091
其中，
Figure BDA0003162234010000092
是更新的三维坐标，M是匹配的邻近特征点的个数，wh是每个特征点的权重系数，其公式为：
Figure BDA0003162234010000093
其中，
Figure BDA0003162234010000094
表示h点的三维精度。
由此也可以看出权重系数跟三维精度之间的关系。
在一种可选实施例中，可以在进行聚类操作之前，将多相机拍摄像片匹配的特征点根据对应的二维精度和三维精度进行排序，获得排序后的点集Q0：
Q0＝{qi(i,l,σ2d,σX,σY,σZ,ClD)|i∈(1,m),l∈(1,n)}，
每个相机拍摄的相片中包含的特征点组成点云集合，i为每个点云集合中的特征点的序号，l是所述点云集合的序号，ClD是特征点聚类的类的序号，m是所述多相机拍摄的相片包含的所有特征点的数目，n是所述点云集合的数量。
通过排序，点集Q0中的特征点呈现有序状态。
此时，可以对点集Q0中的特征点qi按照三维坐标进行聚类融合，得到第一点集Qs；
对第一点集Qs进行二次聚类融合，得到优化后的第二点集QS。
这样，可以对第二点集QS中的特征点进行点云融合以得到更新的三维坐标。
在本发明可选实施例中，可以进行一次或两次或两次以上的聚合融合操作，在此不做限定。
参考图3，本发明还提供另一种三维制图方法，本方法包括如下步骤：
步骤310：对多相机拍摄的像片匹配特征点，得到各相机中匹配的特征点的像点坐标和对应的三维坐标，具体可参考上文步骤210的内容；
步骤320：对所述各相机中匹配的特征点进行光束法平差，以得到所述各个所述相机拍摄像片的精化姿态信息；
步骤330：利用所述特征点的像点坐标和所述精化姿态信息调整所述特征点对应物点的三维坐标；
步骤340：根据所述匹配的特征点的像点坐标和调整的所述三维坐标计算所述特征点的测量精度；
步骤350：根据特征点的测量精度为调整的三维坐标配置权重系数；
步骤360：对各相机中匹配的特征点按照对应的三维坐标和所配置的所述权重系数进行点云融合，以得到融合点云组成的三维制图。
在本发明实施例中，像片的姿态信息可以使用像片的外方位元素进行表征，内外方位元素是确定在摄影瞬间摄影光束分别在像方和物方几何关系的参数。
内方位元素是确定摄影光束在像方几何关系的基本参数，即确定摄影瞬间像方光束形状的主距、主点坐标参数。内方位元素包括3个参数，分别是像主点(主光轴在影像面上的垂足)相对于影像中心的二维位置以及摄影仪的摄影中心到影像面的垂距(也称摄影机主距)。
外方位元素是描述摄影光束在物方空间坐标系中位置与姿态的参数，是确定像空间坐标系在地面测量坐标系中位置和方向所需要的元素，一张像片的外方位元素包括三个位置参数(线元素)和三个姿态参数(角元素)，摄影中心相对于物方空间坐标系的位置及影像面在相对于物方空间坐标系的航向倾角、旁向倾角、像片旋角。
具体地，对所述多相机中的每个相机，对所述各相机中匹配的特征点进行光束法平差，以得到所述各个所述相机拍摄像片的精化姿态信息，具体包括如下步骤：
S1，确定每张像片的内方位元素和外方位元素的近似值，该外方位元素的近似值表征像片的初始姿态信息，还确定各特征点所对应三维坐标。
S2，在内方位元素已知的情况下，对光束法平差中的每个特征点可列两个误差方程：
Figure BDA0003162234010000111
式中，vx、vy分别表示特征点的像点误差，a11～a26表征误差方程系数，ΔXS、ΔYS、ΔZS、Δω、
Figure BDA0003162234010000113
和Δκ表征外方位元素线元素和角元素的改正数，ΔX、ΔY和ΔZ为特征点对应物点三维坐标的改正数，lx和ly为像点观测坐标值与迭代过程中坐标初始值之差；
将上述误差方程写成矩阵式为：
Figure BDA0003162234010000112
S3，在最小二乘法条件下，对法方程求解，确定每张像片的内方位元素和外方位元素的初始值的改正数和各特征点所对应三维坐标的改正数：
对每个特征点利用上面的误差公式计算法方程；
对法方程求解，并对上述改正数进行改正，并利用改正数计算平差精度，例如改正数是否小于0.0001，若是则结束，否则重复上述步骤，迭代求解。
S4，输出各像片精化的外方位元素(Xs，Ys，Zs，ω，
Figure BDA0003162234010000122
κ)，作为精化姿态信息。
本发明实施例对多相机拍摄像片包含匹配的特征点重叠区进行光束法平差，以对像片的姿态信息进行调整校正，并进一步实现对像片所对应物点的三维坐标及测量精度进行校正，从而改善像片所述对应物点的三维坐标误差及测量精度误差，这样结合加权点云融合得到的三维制图的精度更高，可靠性更好。
在本发明实施例中，利用所述特征点的像点坐标和所述精化姿态信息调整所述特征点对应物点的三维坐标，具体可以包括如下步骤：
根据所述特征点的像点坐标和所述精化姿态信息包含的内方位元素(x0，y0)计算所述特征点的像空间坐标；
根据所述精化姿态信息中包含的内外方位元素计算旋转矩阵R：
Figure BDA0003162234010000121
其中，ai，bi，ci分别表示方向余弦，
a1＝cosφcosκ-sinφsinωsinκ，
a2＝-cosφcosκ-sinφsinωcosκ，
a3＝-sinφcosω，
b1＝cosωsinκ，
b2＝cosωcosκ，
b3＝-sinω，
c1＝sinφcosκ，
c2＝-sinφsinκ+cosφsinωcosκ，
c3＝cosφcosω，
其中，φ是指航向倾角，ω是指旁向倾角，κ是像片旋角；
根据共线方程可得：
(x-x0)[a3(X-XS)+b3(Y-YS)+c3(Z-ZS)]＝-f[a1(X-XS)+b1(Y-YS)+c1(Z-ZS)](y-y0)，
(y-y0)[a3(X-XS)+b3(Y-YS)+c3(Z-ZS)]＝-f[a2(X-XS)+b2(Y-YS)+c2(Z-ZS)](y-y0)，
简化得到：
l1X+l2Y+l3Z-lx＝0，
l4X+l5Y+l6Z-ly＝0，
其中，
l1＝fa1+(x-x0)a3，
l2＝fb1+(x-x0)b3，
l3＝fc1+(x-x0)c3，
lx＝fa1XS+fb1YS+fc1ZS+(x-x0)a3XS+(x-x0)b3YS+(x-x0)c3ZS，
ly＝fa2XS+fb2YS+fc2ZS+(y-y0)a3XS+(y-y0)b3YS+(y-y0)c3ZS；
利用最小二乘法求得调整的各特征点的三维坐标(X，Y，Z)。
在本发明另外实施例中，也可不对相机的初始姿态信息进行光束法平差。
本发明实施例所提供的三维制图方法可用于星球地形探测，具体的像片为布置在探测车上的所述多相机拍摄的外太空着陆区像片，所得到的三维制图为星球地形地貌。
在深空探测任务中，探测车着陆区的地形制图可以通过多相机影像采用本发明实施例的三维制图方法得到供精细的地形地貌信息。由于探测车不同相机间存在较大的分辨率差异，并且近景摄影测量影像中各像素的比例尺不均一，因此各相机在不同距离的成像精度不同。
本发明实施例充分挖掘了现有技术的三维制图方法所存在的缺陷及所存在缺陷的原因，充分考虑相机的成像精度差异所带来的制图误差，从而能够进行高精度的三维重建。
下面对本发明提供的三维制图装置进行描述，下文描述的三维制图装置与上文描述的三维制图方法可相互对应参照。
参照图4所示，本装置可以包括：
特征点匹配模块410，对多相机拍摄的像片匹配特征点，得到各相机中匹配的特征点像点坐标和对应的三维坐标；
计算模块420，根据每个所述特征点的像点坐标和对应的三维坐标计算所述特征点的测量精度；
权重系数配置模块430，根据每个所述特征点的测量精度为所述特征点对应的三维坐标配置权重系数，不同的测量精度对应配置的权重系数不同；
点云融合模块440，对所述各相机中匹配的特征点按照对应的三维坐标和所配置的所述权重系数进行点云融合，以得到融合点云组成的三维制图。
可选地，在根据每个所述特征点的像点坐标和对应的三维坐标计算所述特征点的测量精度之前，计算模块420具体还用于：
对所述各相机中匹配的特征点进行光束法平差，以得到所述各个所述相机拍摄像片的精化姿态信息；
利用所述特征点的像点坐标和所述精化姿态信息调整所述特征点对应的三维坐标；
根据所述匹配的特征点的像点坐标和调整的所述三维坐标计算所述特征点的测量精度。
在一种可选实施例中，计算模块420具体还用于：
根据所述特征点的像点坐标和所述精化姿态信息包含的内方位元素(x0，y0)计算所述特征点的像空间坐标；
根据所述精化姿态信息中包含的内外方位元素计算旋转矩阵R：
Figure BDA0003162234010000151
其中，ai，bi，ci分别表示方向余弦，
a1＝cosφcosκ-sinφsinωsinκ，
a2＝-cosφcosκ-sinφsinωcosκ，
a3＝-sinφcosω，
b1＝cosωsinκ，
b2＝cosωcosκ，
b3＝-sinω，
c1＝sinφcosκ，
c2＝-sinφsinκ+cosφsinωcosκ，
c3＝cosφcosω，
其中，φ是指航向倾角，ω是指旁向倾角，κ是像片旋角；
根据共线方程可得：
(x-x0)[a3(X-XS)+b3(Y-YS)+c3(Z-ZS)]＝-f[a1(X-XS)+b1(Y-YS)+c1(Z-ZS)](y-y0)
(y-y0)[a3(X-XS)+b3(Y-YS)+c3(Z-ZS)]＝-f[a2(X-XS)+b2(Y-YS)+c2(Z-ZS)](y-y0)
简化得到：
l1X+l2Y+l3Z-lx＝0
l4X+l5Y+l6Z-ly＝0
其中，
l1＝fa1+(x-x0)a3
l2＝fb1+(x-x0)b3
l3＝fc1+(x-x0)c3
lx＝fa1XS+fb1YS+fc1ZS+(x-x0)a3XS+(x-x0)b3YS+(x-x0)c3ZS
ly＝fa2XS+fb2YS+fc2ZS+(y-y0)a3XS+(y-y0)b3YS+(y-y0)c3ZS
利用最小二乘法求得调整的各特征点的三维坐标值(X，Y，Z)。
在一种可选实施例中，计算模块420具体还用于：
对每个所述特征点，根据所述特征点的像点坐标和三维坐标计算二维精度σ2d：
Figure BDA0003162234010000161
其中，ρ为匹配的特征点的相关系数，N是匹配窗口的像素数，σg是匹配窗口的灰度方差，σ′g是灰度梯度的方差；
利用下述公式计算每个所述特征点的三维精度：
Figure BDA0003162234010000162
Figure BDA0003162234010000163
Figure BDA0003162234010000164
其中，B是相机的基线长，f是相机的焦距，ZP是垂直于像平面的坐标值，(x，y)是所述特征点的二维坐标；
所述成像精度包括所述二维精度和三维精度。
在一种可选实施例中，点云融合模块440具体用于：
对各个相机中匹配的特征点所对应的三维坐标进行聚类融合；
对聚类融合的点云中匹配的特征点所对应的三维坐标基于对应的权重系数进行加权计算，以得到更新的三维坐标；
利用所述更新的三维坐标对应的校正特征点进行点云融合，以得到所述三维制图。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行三维制图方法，该方法包括：
对多相机拍摄的像片匹配特征点，得到各相机中匹配的特征点的像点坐标和对应的三维坐标；
根据每个所述特征点的像点坐标和对应的三维坐标计算所述特征点的测量精度；
根据每个所述特征点的测量精度为所述特征点对应物点的三维坐标配置权重系数，不同的测量精度对应配置的权重系数不同；
对所述各相机中匹配的特征点按照对应的三维坐标和所配置的所述权重系数进行点云融合，以得到融合点云组成的三维制图。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的三维制图方法，该方法包括：
对多相机拍摄的像片匹配特征点，得到各相机中匹配的特征点的像点坐标和对应的三维坐标；
根据每个所述特征点的像点坐标和对应的三维坐标计算所述特征点的测量精度；
根据每个所述特征点的测量精度为所述特征点对应物点的三维坐标配置权重系数，不同的测量精度对应配置的权重系数不同；
对所述各相机中匹配的特征点按照对应的三维坐标和所配置的所述权重系数进行点云融合，以得到融合点云组成的三维制图。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的三维制图方法，该方法包括：
对多相机拍摄的像片匹配特征点，得到各相机中匹配的特征点的像点坐标和对应的三维坐标；
根据每个所述特征点的像点坐标和对应的三维坐标计算所述特征点的测量精度；
根据每个所述特征点的测量精度为所述特征点对应物点的三维坐标配置权重系数，不同的测量精度对应配置的权重系数不同；
对所述各相机中匹配的特征点按照对应的三维坐标和所配置的所述权重系数进行点云融合，以得到融合点云组成的三维制图。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种三维制图方法，其特征在于，包括：
对多相机拍摄的像片匹配特征点，得到各相机中匹配的特征点的像点坐标和对应的三维坐标；
根据每个所述特征点的像点坐标和对应的三维坐标计算所述特征点的测量精度；
根据每个所述特征点的测量精度为所述特征点对应物点的三维坐标配置权重系数，不同的测量精度对应配置的权重系数不同；
对所述各相机中匹配的特征点按照对应的三维坐标和所配置的所述权重系数进行点云融合，以得到融合点云组成的三维制图。
2.根据权利要求1所述的三维制图方法，其特征在于，在根据每个所述特征点的像点坐标和对应的三维坐标计算所述特征点的测量精度之前，还包括：
对所述各相机中匹配的特征点进行光束法平差，以得到所述各个所述相机拍摄像片的精化姿态信息；
利用所述特征点的像点坐标和所述精化姿态信息调整所述特征点对应的三维坐标；
根据每个所述特征点的像点坐标和对应的三维坐标计算所述特征点的测量精度，包括：
根据所述匹配的特征点的像点坐标和调整的所述三维坐标计算所述特征点的测量精度。
3.根据权利要求2所述的三维制图方法，其特征在于，利用所述特征点的像点坐标和所述精化姿态信息调整所述特征点对应的三维坐标，包括：
根据所述特征点的像点坐标和所述精化姿态信息包含的内方位元素(x0，y0)计算所述特征点的像空间坐标；
根据所述精化姿态信息中包含的内外方位元素计算旋转矩阵R：
Figure FDA0003162234000000021
其中，ai，bi，ci分别表示方向余弦，
a1＝cosφcosκ-sinφsinωsinκ，
a2＝-cosφcosκ-sinφsinωcosκ，
a3＝-sinφcosω，
b1＝cosωsinκ，
b2＝cosωcosκ，
b3＝-sinω，
c1＝sinφcosκ，
c2＝-sinφsinκ+cosφsinωcosκ，
c3＝cosφcosω，
其中，φ是指航向倾角，ω是指旁向倾角，κ是像片旋角；
根据共线方程可得：
(x-x0)[a3(X-XS)+b3(Y-YS)+c3(Z-ZS)]
＝-f[a1(X-XS)+b1(Y-YS)+c1(Z-ZS)](y-y0)
(y-y0)[a3(X-XS)+b3(Y-YS)+c3(Z-ZS)]
＝-f[a2(X-XS)+b2(Y-YS)+c2(Z-ZS)](y-y0)
简化得到：
l1X+l2Y+l3Z-lx＝0
l4X+l5Y+l6Z-ly＝0
其中，
l1＝fa1+(x-x0)a3
l2＝fb1+(x-x0)b3
l3＝fc1+(x-x0)c3
lx＝fa1XS+fb1YS+fc1ZS+(x-x0)a3XS+(x-x0)b3YS+(x-x0)c3ZS
ly＝fa2XS+fb2YS+fc2ZS+(y-y0)a3XS+(y-y0)b3YS+(y-y0)c3ZS
利用最小二乘法求得调整的各特征点的三维坐标值(X，Y，Z)。
4.根据权利要求1所述的三维制图方法，其特征在于，根据每个所述特征点的像点坐标和对应的三维坐标计算所述特征点的测量精度，包括：
对每个所述特征点，根据所述特征点的像点坐标和三维坐标计算二维精度σ2d：
Figure FDA0003162234000000031
其中，ρ为匹配的特征点的相关系数，N是匹配窗口的像素数，σg是匹配窗口的灰度方差，σ′g是灰度梯度的方差；
利用下述公式计算每个所述特征点的三维精度：
Figure FDA0003162234000000032
Figure FDA0003162234000000033
Figure FDA0003162234000000034
其中，B是相机的基线长，f是相机的焦距，ZP是垂直于像平面的坐标值，(x，y)是所述特征点的二维坐标；
所述成像精度包括所述二维精度和三维精度。
5.根据权利要求1所述的三维制图方法，其特征在于，对所述各个相机中匹配的特征点按照对应的三维坐标和所配置的所述权重系数进行点云融合，以得到融合点云组成的三维制图，包括：
对各个相机中匹配的特征点所对应的三维坐标进行聚类融合；
对聚类融合的点云中匹配的特征点所对应的三维坐标基于对应的权重系数进行加权计算，以得到更新的三维坐标；
利用所述更新的三维坐标对应的校正特征点进行点云融合，以得到所述三维制图。
6.根据权利要求1所述的三维制图方法，其特征在于，所述像片为布置在探测车上的所述多相机拍摄的外太空着陆区像片。
7.一种三维制图装置，其特征在于，包括：
特征点匹配模块，对多相机拍摄的像片匹配特征点，得到各相机中匹配的特征点像点坐标和对应的三维坐标；
计算模块，根据每个所述特征点的像点坐标和对应的三维坐标计算所述特征点的测量精度；
权重系数配置模块，根据每个所述特征点的测量精度为所述特征点对应的三维坐标配置权重系数，不同的测量精度对应配置的权重系数不同；
点云融合模块，对所述各个相机中匹配的特征点按照对应的三维坐标和所配置的所述权重系数进行点云融合，以得到融合点云组成的三维制图。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述三维制图方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述三维制图方法的步骤。
CN202110794740.7A 2021-07-14 2021-07-14 三维制图方法、装置、设备及存储介质 Active CN113593023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110794740.7A CN113593023B (zh) 2021-07-14 2021-07-14 三维制图方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110794740.7A CN113593023B (zh) 2021-07-14 2021-07-14 三维制图方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113593023A true CN113593023A (zh) 2021-11-02
CN113593023B CN113593023B (zh) 2024-02-02

Family

ID=78247587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110794740.7A Active CN113593023B (zh) 2021-07-14 2021-07-14 三维制图方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113593023B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485690A (zh) * 2015-08-25 2017-03-08 南京理工大学 基于点特征的点云数据与光学影像的自动配准融合方法
CN106780729A (zh) * 2016-11-10 2017-05-31 中国人民解放军理工大学 一种无人机序列影像批处理三维重建方法
CN108053367A (zh) * 2017-12-08 2018-05-18 北京信息科技大学 一种基于rgb-d特征匹配的3d点云拼接与融合方法
CN109544456A (zh) * 2018-11-26 2019-03-29 湖南科技大学 基于二维图像和三维点云数据融合的全景环境感知方法
CN109727278A (zh) * 2018-12-31 2019-05-07 中煤航测遥感集团有限公司 一种机载LiDAR点云数据与航空影像的自动配准方法
CN109960402A (zh) * 2018-12-18 2019-07-02 重庆邮电大学 一种基于点云和视觉特征融合的虚实注册方法
CN110047131A (zh) * 2019-04-02 2019-07-23 中科恒运股份有限公司 一种人体三维重建的点云融合方法
CN110243380A (zh) * 2019-06-26 2019-09-17 华中科技大学 一种基于多传感器数据与角度特征识别的地图匹配方法
CN111377065A (zh) * 2020-03-09 2020-07-07 西北工业大学 一种多航天器协同识别目标姿态参数的方法
WO2020258073A1 (zh) * 2019-06-26 2020-12-30 深圳市大疆创新科技有限公司 可移动平台的交互方法、系统、可移动平台及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485690A (zh) * 2015-08-25 2017-03-08 南京理工大学 基于点特征的点云数据与光学影像的自动配准融合方法
CN106780729A (zh) * 2016-11-10 2017-05-31 中国人民解放军理工大学 一种无人机序列影像批处理三维重建方法
CN108053367A (zh) * 2017-12-08 2018-05-18 北京信息科技大学 一种基于rgb-d特征匹配的3d点云拼接与融合方法
CN109544456A (zh) * 2018-11-26 2019-03-29 湖南科技大学 基于二维图像和三维点云数据融合的全景环境感知方法
CN109960402A (zh) * 2018-12-18 2019-07-02 重庆邮电大学 一种基于点云和视觉特征融合的虚实注册方法
CN109727278A (zh) * 2018-12-31 2019-05-07 中煤航测遥感集团有限公司 一种机载LiDAR点云数据与航空影像的自动配准方法
CN110047131A (zh) * 2019-04-02 2019-07-23 中科恒运股份有限公司 一种人体三维重建的点云融合方法
CN110243380A (zh) * 2019-06-26 2019-09-17 华中科技大学 一种基于多传感器数据与角度特征识别的地图匹配方法
WO2020258073A1 (zh) * 2019-06-26 2020-12-30 深圳市大疆创新科技有限公司 可移动平台的交互方法、系统、可移动平台及存储介质
CN111377065A (zh) * 2020-03-09 2020-07-07 西北工业大学 一种多航天器协同识别目标姿态参数的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
K. DI, R. LI: "TOPOGRAPHIC MAPPING CAPABILITY ANALYSIS OF MARS EXPLORATION ROVER 2003 MISSION IMAGERY", 《THE 5TH INTERNATIONAL SYMPOSIUM ON MOBILE MAPPING TECHNOLOGY》, pages 1 - 7 *
WAN, WENHUI ET AL: "Enhanced Lunar Topographic Mapping Using Multiple Stereo Images Taken by Yutu-2 Rover with Changing Illumination Conditions", 《PHOTOGRAMMETRIC ENGINEERING AND REMOTE SENSING》, vol. 87, no. 8, pages 567 - 576 *

Also Published As

Publication number Publication date
CN113593023B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN107316325B (zh) 一种基于图像配准的机载激光点云与影像配准融合方法
CN108648240B (zh) 基于点云特征地图配准的无重叠视场相机姿态标定方法
Eltner et al. Analysis of different methods for 3D reconstruction of natural surfaces from parallel‐axes UAV images
CN110500995B (zh) 利用rpc参数建立高分辨率卫星影像等效几何成像模型的方法
EP2111530B1 (en) Automatic stereo measurement of a point of interest in a scene
KR100912715B1 (ko) 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
Niederheiser et al. Deriving 3D point clouds from terrestrial photographs-Comparison of different sensors and software
CN112102458A (zh) 基于激光雷达点云数据辅助的单镜头三维图像重构方法
CN107767440B (zh) 基于三角网内插及约束的文物序列影像精细三维重建方法
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
JP5134784B2 (ja) 空中写真測量方法
KR20190026452A (ko) 위성영상과 제공 rpc로부터 제작된 수치표고모델의 자동 오차보정 방법
WO2013106920A1 (en) Densifying and colorizing point cloud representation of physical surface using image data
CN113077552A (zh) 基于无人机影像的dsm生成方法和装置
Sai et al. Geometric accuracy assessments of orthophoto production from uav aerial images
Altuntas et al. Image based methods for surveying heritage of masonry arch bridge with the example of Dokuzunhan in Konya, Turkey
JP3808833B2 (ja) 空中写真測量方法
CN110986888A (zh) 一种航空摄影一体化方法
CN113706623A (zh) 一种适用于航空倾斜影像的空三加密方法
CN113566793A (zh) 基于无人机倾斜影像的真正射影像生成方法和装置
CN110503604B (zh) 一种基于高精度pos的航空面阵影像实时正射拼接方法
El-Ashmawy A comparison study between collinearity condition, coplanarity condition, and direct linear transformation (DLT) method for camera exterior orientation parameters determination
CN110148205B (zh) 一种基于众包影像的三维重建的方法和装置
CN113593023B (zh) 三维制图方法、装置、设备及存储介质
CN113405532B (zh) 基于视觉系统结构参数的前方交会测量方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant