CN107067437A - 一种基于多视几何和光束法平差的无人机定位系统及方法 - Google Patents
一种基于多视几何和光束法平差的无人机定位系统及方法 Download PDFInfo
- Publication number
- CN107067437A CN107067437A CN201611237583.5A CN201611237583A CN107067437A CN 107067437 A CN107067437 A CN 107067437A CN 201611237583 A CN201611237583 A CN 201611237583A CN 107067437 A CN107067437 A CN 107067437A
- Authority
- CN
- China
- Prior art keywords
- mtd
- msub
- error
- video camera
- characteristic point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
本发明属于航空摄影测量领域，具体涉及一种基于多视几何和光束法平差的无人机定位系统及方法。相片选取模块选取两张相片进行特征提取与匹配；根据匹配的特征点计算两个摄像机的相对旋转与平移；根据特征点匹配数量以及两摄像机的基线距离来判断是否将该图像对加入目标定位计算模块。采用多视几何的算法进行摄像机相对外参与特征点三维坐标的计算，计算结果作为非线性平差系统的初始值进行平差，得到平差之后的相对摄像机外参与特征点三维坐标。根据相片实测的gps坐标，计算相对坐标系与经纬度坐标系的旋转平移矩阵。最终得到摄像机绝对坐标系下的外参与特征点的经纬度。根据距离目标点最近的4个特征点经纬度，经过差值，得到目标点经纬度。
Description
技术领域
本发明主要属于航空摄影测量领域，具体涉及一种基于多视几何和光束法平差的无人机定位系统及方法。
背景技术
目前对于无人机目标定位主要通过前方交汇算法计算初始值，采用非线性平差算法来得到高精度目标位置。前方交汇算法是一种通过在连续图像序列上跟踪目标，并根据传感器提供的摄像机外参来计算目标三维坐标的算法；非线性平差算法是一种对空中三角测量中各个系统误差进行平均和消除从而得到更精确测量结果的算法。整个目标定位系统由前方交汇初始值计算、误差方程最优解求解以及迭代优化三个模块组成。误差方程最优解计算模块根据多视几何估算出来的飞机姿态角、载荷姿态角中的误差源设计模型，使得误差模型的误差值最小的误差值就是求取的系统误差。消除系统误差之后可以计算出更精确的目标坐标。迭代优化模块不断加入新的数据参与平差，得到全局最优的系统误差，使得目标精度得到进一步的提升。
常规目标定位算法非常依赖传感器的精度。传感器精度会直接影响初始值的精度，进而影响光束法平差的迭代次数以及最终的定位结果。随着无人机可见光载荷分辨率越来越高，图像质量越来越清晰。可以充分利用视觉信息，不使用传感器测姿进行初始值计算。这样可以有效减少误差来源，从而增加对误差的可控性。但将视觉信息运用到初始值计算需要进一步解决以下问题：(1)如何仅使用图像序列得 到无人机内外参数以及目标点坐标初始值；(2)如何实现快速目标定位；(3)如何剔除误差较大数据，从而增加算法的抗干扰能力等问题。
发明内容
基于上述问题，本发明提供了一种基于多视几何和光束法平差的无人机定位系统及方法，通过计算机视觉中多视几何和摄影测量中光束法平差相结合的方法实现的无人机高精度连续帧定位。
本发明是通过以下技术方案实现的：
一种基于多视几何和光束法平差的无人机定位系统，所述定位系统包括图像选取模块、多视几何模块、非线性平差模块、全局变换矩阵计算模块；
所述图像选取模块选取多相机系统拍摄的图像中符合要求的图像送入所述多视几何模块；
所述多视几何模块计算多相机系统中摄像机的相对外参与特征点三维坐标；
所述非线性平差模块以多视几何模块计算的结果作为初始值进行平差计算得到平差之后的相对摄像机外参与特征点三维坐标；
所述全局变换矩阵计算模块，根据每个图像实测的gps坐标，计算相对坐标系与经纬度坐标系的旋转平移矩阵，最终得到摄像机绝对坐标系下的外参与特征点的经纬度，根据距离目标点最近的4个特征点经纬度，经过差值，得到目标点经纬度。
一种基于多视几何和光束法平差的无人机定位方法，所述方法包括以下步骤，
图像选取：选取多相机系统拍摄的图像中符合要求的图像；
多视几何计算：计算多相机系统中摄像机的相对外参与特征点三维坐标；
平差计算：以多视几何计算的结果作为初始值进行平差计算得到平差之后的相对摄像机外参与特征点三维坐标；
全局变换矩阵：根据每个图像实测的gps坐标，计算相对坐标系与经纬度坐标系的旋转平移矩阵，最终得到摄像机绝对坐标系下的外参与特征点的经纬度，根据距离目标点最近的4个特征点经纬度，经过差值，得到目标点经纬度。
进一步地，所述图像选取具体为，在多相机系统采集的图像上进行特征点的提取，从已经匹配好的图像集中选取拍摄时间上距离刚采集图像最近的图像进行特征点匹配，如果匹配上的特征点数量大于阈值之后，采用双目视觉算法进行两摄像机之间相对旋转与平移的计算，根据旋转与平移计算两摄像机之间的基线，满足匹配数量足够多且基线足够长的条件。
进一步地，所述多视几何计算具体为，通过双目视觉算法得到两两摄像机之间的旋转与平移，通过匹配特征点，找到每两对摄像机之间公共的特征点，通过公共特征点将两对摄像机计算出来的点云变换到同一个相对坐标系下，将所有的点云及摄像机都变换到第一张摄像机的坐标系下，从而得到相对于第一张相片的所有摄像机外参及特征点三维坐标。
进一步地，所述平差计算具体为，通过分析误差源，并将误差源 带入到投影模型中计算重投影误差；采用非线性最小二乘算法将该误差达到最小；这些误差源和待求的目标点三维坐标作为未知数，进行使得误差函数最小的非线性方程的求解。
进一步地，
将3x3的旋转矩阵转换为四元数，采用了按照XYZ的顺序相乘的方式来计算四元数；
对于围绕单一轴向的旋转可以采用如下的公式转换为四元数：
<θ|1 0 0>：x轴旋转；
<θ|0 1 0>：y轴旋转；
<θ|0 0 1>：z轴旋转；
两个旋转矩阵的相乘可以变成两个四元数的叉乘，所以可以将多个旋转矩阵的累乘转换为多个四元数的叉乘，最终将旋转矩阵转化为四元数Q。
误差函数如下所示：
e＝|proj3d(getQ(fd，syserr)，Pt-uv|2；
其中fd表示摄像机的外参，SYSerr表示待求的系统误差，Pt表示待平差的目标三维坐标，uv表示观测到的该目标点在图像中的像素坐标；函数getQ可以将系统误差加入到当前摄像机外参上，并采用上文提到的算法计算该旋转矩阵的四元数形式；proj3d函数是将Pt通过旋转四元数Q，投影到图像平面上；该函数的计算流程如下：
1.将Pt转换为四元数的形式：qPt＝<0.0|Pt.x Pt.y Pt.z>，
2.采用如下公式将Pt按照旋转四元数Q进行旋转，得到旋转后 的三维坐标rotatedPt：
rotatedPt＝Q-1·qPt·Q；
3.将rotatedPt进行投影，得到投影之后的像素坐标:
uv′与uv距离的平方作为该组数据的误差，非线性最小二乘算法就是要将这个误差源降低。采用lm算法迭代优化这些参数，目的是为了让所有数据的误差和最小。在实际使用中，调用lm的数学库进行非线性最小二乘的优化。该函数的使用非常简单，仅需要将误差函数以callback的形式传入到lm函数中。为了防止lm算法优化到另外一个局部最小值点上，需要对每个系统误差以及三维坐标的范围进行一定的限制。在误差函数中对输入的每个变量的值进行判断，如果超出预设的范围就设置为边界值。一般根据经验为每个系统误差项设置一个误差范围，以弧度为单位。采用这样的方法可以得到系统误差，以及平差之后的目标点三维坐标。
进一步地，所述全局变换矩阵具体为，通过实测的摄像机GPS经纬度，计算出从第一张相片的相对坐标到真实经纬度坐标的变换矩阵；变换矩阵如下所示：
其中R1…R9为3x3旋转矩阵的9个元素；Tx,Ty,Tz为XYZ方向上 的平移；通过函数R将三维旋转角θ，ω变换成3x3旋转矩阵；通过非线性最小二乘算法，计算出θ，ω以及Tx,Ty,Tz使得下面的代价函数最小：
其中XcYcZc为第一张摄像机下的摄像机位置坐标；Xgps,Ygps,Zgps为摄像机位置的东北天坐标；通过非线性优化计 θ，ω角度以及平移，从而得到变换矩阵；使用计算出来的变换矩阵，将所有特征点通过计算出来的变换矩阵变换到东北天坐标系下，最终目标点的经纬度通过KNN算法找到最近邻的四个已经变换到东北天坐标系下的点通过差值得到。
本发明的有益技术效果：
(1)本发明提供了一种基于多视几何和航空摄影测量相结合的高精度目标定位技术，该技术解决了在微小型无人机上目标定位中的定位速度缓慢、无精确高程数据以及平差迭代过多等问题；
(2)本发明中通过多视几何算法计算精度相对较高目标点坐标以及摄像机外参，为平差提供一个较好的起始搜索值；
(3)本发明解决了没有激光、地面高程数据情况下较高精度初始值计算，达到减少优化迭代次数的目的；
(4)本发明排除了在飞机飞行过程中受到外界环境影响产生的误差较大数据对平差算法的干扰和影响。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
实施例1
一种基于多视几何和光束法平差的无人机定位方法，所述方法包括以下步骤，
(1)图像选取：选取多相机系统拍摄的图像中符合要求的图像；
在多相机系统采集的图像上进行特征点的提取，从已经匹配好的图像集中选取拍摄时间上距离刚采集图像最近的图像进行特征点匹配，如果匹配上的特征点数量大于阈值之后，采用双目视觉算法进行两摄像机之间相对旋转与平移的计算，根据旋转与平移计算两摄像机之间的基线，满足匹配数量足够多且基线足够长的条件。
其中，特征点是利用SIFT(Scale-invariant feature transform)算法，该算法通过求一幅图中的特征点(interest points,or corner points)及其有关scale和orientation的描述得到子特征并进行图像特征点匹配；
所述阈值不是定值，可根据具体情况设定，本实施例中的设置的阈值为100对；
所述图像满足的条件也跟据不同情况可调整设置，本实施例中的设置为匹配特征对数在100对以上，基线夹角在1°到3°之间。
(2)多视几何计算：计算多相机系统中摄像机的相对外参与特征点三维坐标；
通过双目视觉算法得到两两摄像机之间的旋转与平移，通过匹配特征点，找到每两对摄像机之间公共的特征点，通过公共特征点将两对摄像机计算出来的点云变换到同一个相对坐标系下，将所有的点云及摄像机都变换到第一张摄像机的坐标系下，从而得到相对于第一张相片的所有摄像机外参及特征点三维坐标。
(3)平差计算：以多视几何计算的结果作为初始值进行平差计算得到平差之后的相对摄像机外参与特征点三维坐标；
所述平差计算具体为，通过分析误差源，并将误差源带入到投影模型中计算重投影误差，从而计算出使得重投影误差最小的误差，通过抵消该误差达到提升目标定位精度的效果；采用非线性最小二乘算法将该误差达到最小；这些误差项和待求的目标点三维坐标作为未知数，进行使得误差函数最小的非线性方程的求解，得到摄像机外参的误差，目标点三维坐标的误差。
将3x3的旋转矩阵转换为四元数形式，
误差函数如下所示：
e＝|proj3d(getQ(fd，syserr)，Pt)-uv|2；
其中，fd表示摄像机的外参，SYSerr表示待求的系统误差，Pt表示待平差的目标三维坐标，uv表示观测到的该目标点在图像中的像素坐标；
函数getQ将系统误差加入到当前摄像机外参上，并计算该旋转矩阵的四元数形式；
proj3d函数是将Pt通过旋转四元数Q，投影到图像平面上；
proj3d函数的计算流程如下：
将Pt转换为四元数的形式：qPt＝<0.0|Pt.x Pt.y Pt.z>，
将Pt按照旋转四元数Q进行旋转，得到旋转后的三维坐标rotatedPt：
rotatedPt＝Q-1·qPt·Q；
将rotatedPt进行投影，得到投影之后的像素坐标:
uv′与uv距离的平方作为该组数据的误差，
非线性最小二乘算法将这个误差源降低，采用lm算法迭代优化这些参数，目的是为了让所有数据的误差和最小。
采用了按照XYZ的顺序相乘的方式来计算四元数；
对于围绕单一轴向的旋转可以采用如下的公式转换为四元数：
<θ|1 0 0>：x轴旋转；
<θ|0 1 0>：y轴旋转；
<θ|0 0 1>：z轴旋转；
两个旋转矩阵的相乘可以变成两个四元数的叉乘，所以可以将多个旋转矩阵的累乘转换为多个四元数的叉乘，最终将旋转矩阵转化为四元数Q。
为了防止lm算法优化到另外一个局部最小值点上，需要对每个系统误差以及三维坐标的范围进行一定的限制，在误差函数中对输入的每个变量的值进行判断，如果超出预设的范围就设置为边界值。
(4)全局变换矩阵：根据每个图像实测的gps坐标，计算相对坐标系与经纬度坐标系的旋转平移矩阵，最终得到摄像机绝对坐标系下的外参与特征点的经纬度，根据距离目标点最近的4个特征点经纬度，经过差值，得到目标点经纬度。
所述全局变换矩阵具体为，通过实测的摄像机GPS经纬度，计算出从第一张相片的相对坐标到真实经纬度坐标的变换矩阵；变换矩阵如下所示：
其中R1…R9为3x3旋转矩阵的9个元素；Tx,Ty,Tz为XYZ方向上的平移；通过函数R将三维旋转角θ，ω变换成3x3旋转矩阵；通过非线性最小二乘算法，计算出θ，ω以及Tx,Ty,Tz使得下面的代价函数最小：
其中XcYcZc为第一张摄像机下的摄像机位置坐标；Xgps,Ygps,Zgps为摄像机位置的东北天坐标；通过非线性优化计算出合适的θ，ω角度以及平移，从而得到变换矩阵；使用计算出来的变换矩阵，将所有特征点通过计算出来的变换矩阵变换到东北天坐标系下，最终目标点的经纬度通过KNN算法找到最近邻的四个已经变换到东北天坐标系下的点通过差值得到。
一种基于多视几何和光束法平差的无人机定位系统，所述定位系统包括图像选取模块、多视几何模块、非线性平差模块、全局变换矩阵计算模块；
所述图像选取模块选取多相机系统拍摄的图像中符合要求的图像送入所述多视几何模块；
所述多视几何模块计算多相机系统中摄像机的相对外参与特征点三维坐标；
所述非线性平差模块以多视几何模块计算的结果作为初始值进行平差计算得到平差之后的相对摄像机外参与特征点三维坐标；
所述全局变换矩阵计算模块，根据每个图像实测的gps坐标，计算相对坐标系与经纬度坐标系的旋转平移矩阵，最终得到摄像机绝对坐标系下的外参与特征点的经纬度，根据距离目标点最近的4个特征点经纬度，经过差值，得到目标点经纬度。
本实施例中的无人机定位方法可应用于本实施例中的无人机定位系统，利用图像选取模块、多视几何模块、非线性平差模块、全局变换矩阵计算模块分别实现方法中图像选取、多视几何计算、非线性 平差计算、全局变换矩阵计算。
Claims (9)
1.一种基于多视几何和光束法平差的无人机定位方法，其特征在于，所述方法包括以下步骤，
图像选取：选取多相机系统拍摄的图像中符合要求的图像；
多视几何计算：计算多相机系统中摄像机的相对外参与特征点三维坐标；
平差计算：以多视几何计算的结果作为初始值进行平差计算得到平差之后的相对摄像机外参与特征点三维坐标；
全局变换矩阵：根据每个图像实测的gps坐标，计算相对坐标系与经纬度坐标系的旋转平移矩阵，最终得到摄像机绝对坐标系下的外参与特征点的经纬度，根据距离目标点最近的4个特征点经纬度，经过差值，得到目标点经纬度。
2.如权利要求1所述定位方法，其特征在于，所述图像选取具体为，在多相机系统采集的图像上进行特征点的提取，从已经匹配好的图像集中选取拍摄时间上距离刚采集图像最近的图像进行特征点匹配，如果匹配上的特征点数量大于阈值之后，采用双目视觉算法进行两摄像机之间相对旋转与平移的计算，根据旋转与平移计算两摄像机之间的基线，满足匹配数量足够多且基线足够长的条件。
3.如权利要求1所述定位方法，其特征在于，所述多视几何计算具体为，通过双目视觉算法得到两两摄像机之间的旋转与平移，通过匹配特征点，找到每两对摄像机之间公共的特征点，通过公共特征点将两对摄像机计算出来的点云变换到同一个相对坐标系下，将所有的点云及摄像机都变换到第一张摄像机的坐标系下，从而得到相对于第一张相片的所有摄像机外参及特征点三维坐标。
4.如权利要求1所述定位方法，其特征在于，所述平差计算具体为，通过分析误差源，并将误差源带入到投影模型中计算重投影误差，从而计算出使得重投影误差最小的误差，通过抵消该误差达到提升目标定位精度的效果；采用非线性最小二乘算法将该误差达到最小；这些误差源和待求的目标点三维坐标作为未知数，进行使得误差函数最小的非线性方程的求解，得到摄像机外参的误差，目标点三维坐标的误差。
5.如权利要求4所述定位方法，其特征在于，
将3x3的旋转矩阵转换为四元数形式，
误差函数如下所示：
e＝|proj3d(getQ(fd，syserr)，Pt)-uv|2
其中，fd表示摄像机的外参，SYSerr表示待求的系统误差，Pt表示待平差的目标三维坐标，uv表示观测到的该目标点在图像中的像素坐标；
函数getQ将系统误差加入到当前摄像机外参上，并计算该旋转矩阵的四元数形式；
proj3d函数是将Pt通过旋转四元数Q，投影到图像平面上；
proj3d函数的计算流程如下：
将Pt转换为四元数的形式：qPt＝<0.0|Pt.x Pt.y Pt.z>，
将Pt按照旋转四元数Q进行旋转，得到旋转后的三维坐标rotatedPt：
rotatedPt＝Q-1·qPt·Q；
将rotatedPt进行投影，得到投影之后的像素坐标:
<mrow>
<msup>
<mi>uv</mi>
<mo>&prime;</mo>
</msup>
<mo>.</mo>
<mi>x</mi>
<mo>=</mo>
<mi>i</mi>
<mi>m</mi>
<mi>g</mi>
<mi>H</mi>
<mi>e</mi>
<mi>i</mi>
<mi>g</mi>
<mi>h</mi>
<mi>t</mi>
<mo>*</mo>
<mn>0.5</mn>
<mo>-</mo>
<mfrac>
<mrow>
<mi>r</mi>
<mi>o</mi>
<mi>t</mi>
<mi>a</mi>
<mi>t</mi>
<mi>e</mi>
<mi>d</mi>
<mi>P</mi>
<mi>t</mi>
<mo>.</mo>
<mi>y</mi>
</mrow>
<mrow>
<mi>r</mi>
<mi>o</mi>
<mi>t</mi>
<mi>a</mi>
<mi>t</mi>
<mi>e</mi>
<mi>d</mi>
<mi>P</mi>
<mi>t</mi>
<mo>.</mo>
<mi>z</mi>
</mrow>
</mfrac>
<mo>*</mo>
<mi>f</mi>
<mo>;</mo>
</mrow>
1
<mrow>
<msup>
<mi>uv</mi>
<mo>&prime;</mo>
</msup>
<mo>.</mo>
<mi>y</mi>
<mo>=</mo>
<mi>i</mi>
<mi>m</mi>
<mi>g</mi>
<mi>W</mi>
<mi>i</mi>
<mi>d</mi>
<mi>t</mi>
<mi>h</mi>
<mo>*</mo>
<mn>0.5</mn>
<mo>-</mo>
<mfrac>
<mrow>
<mi>r</mi>
<mi>o</mi>
<mi>t</mi>
<mi>a</mi>
<mi>t</mi>
<mi>e</mi>
<mi>d</mi>
<mi>P</mi>
<mi>t</mi>
<mo>.</mo>
<mi>x</mi>
</mrow>
<mrow>
<mi>r</mi>
<mi>o</mi>
<mi>t</mi>
<mi>a</mi>
<mi>t</mi>
<mi>e</mi>
<mi>d</mi>
<mi>P</mi>
<mi>t</mi>
<mo>.</mo>
<mi>z</mi>
</mrow>
</mfrac>
<mo>*</mo>
<mi>f</mi>
<mo>;</mo>
</mrow>
uv′与uv距离的平方作为该组数据的误差，
非线性最小二乘算法将这个误差源降低，采用lm算法迭代优化摄像机外参，目标点三维坐标参数使所有数据的误差和最小。
6.如权利要求5所述定位方法，其特征在于，
采用了按照XYZ的顺序相乘的方式来计算四元数；
对于围绕单一轴向的旋转可以采用如下的公式转换为四元数：
<θ|1 0 0>：x轴旋转；
<θ|0 1 0>：y轴旋转；
<θ|0 0 1>：z轴旋转；
两个旋转矩阵的相乘可以变成两个四元数的叉乘，将多个旋转矩阵的累乘转换为多个四元数的叉乘，最终将旋转矩阵转化为四元数Q。
7.如权利要求1所述定位方法，其特征在于，
为了防止lm算法优化到另外一个局部最小值点上，需要对每个系统误差以及三维坐标的范围进行一定的限制，在误差函数中对输入的每个变量的值进行判断，如果超出预设的范围就设置为边界值。
8.如权利要求1所述定位方法，其特征在于，
所述全局变换矩阵具体为，通过实测的摄像机GPS经纬度，计算出从第一张相片的相对坐标到真实经纬度坐标的变换矩阵；变换矩阵如下所示：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>R</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>R</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>R</mi>
<mn>3</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>T</mi>
<mi>x</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>R</mi>
<mn>4</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>R</mi>
<mn>5</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>R</mi>
<mn>6</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>T</mi>
<mi>y</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>R</mi>
<mn>7</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>R</mi>
<mn>9</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>R</mi>
<mn>9</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>T</mi>
<mi>z</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
其中R1…R9为3x3旋转矩阵的9个元素；Tx,Ty,Tz为X、Y、Z方向上的平移；通过函数R将三维旋转角θ，ω变换成3x3旋转矩阵；通过非线性最小二乘算法，计算出θ，ω以及Tx,Ty,Tz使得代价函数最小，所述代价函数为：
其中，XcYcZc为第一张摄像机下的摄像机位置坐标；Xgps,Ygps,Zgps为摄像机位置的东北天坐标；通过非线性优化计算出合适的θ，ω角度以及平移，从而得到变换矩阵；使用计算出来的变换矩阵，将所有特征点通过计算出来的变换矩阵变换到东北天坐标系下，最终目标点的经纬度通过KNN算法找到最近邻的四个已经变换到东北天坐标系下的点通过差值得到。
9.一种基于多视几何和光束法平差的无人机定位系统，所述定位系统包括图像选取模块、多视几何模块、非线性平差模块、全局变换矩阵计算模块；
所述图像选取模块选取多相机系统拍摄的图像中符合要求的图像送入所述多视几何模块；
所述多视几何模块计算多相机系统中摄像机的相对外参与特征点三维坐标；
所述非线性平差模块以多视几何模块计算的结果作为初始值进行平差计算得到平差之后的相对摄像机外参与特征点三维坐标；
所述全局变换矩阵计算模块，根据每个图像实测的gps坐标，计算相对坐标系与经纬度坐标系的旋转平移矩阵，最终得到摄像机绝对坐标系下的外参与特征点的经纬度，根据距离目标点最近的4个特征点经纬度，经过差值，得到目标点经纬度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611237583.5A CN107067437B (zh) | 2016-12-28 | 2016-12-28 | 一种基于多视几何和光束法平差的无人机定位系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611237583.5A CN107067437B (zh) | 2016-12-28 | 2016-12-28 | 一种基于多视几何和光束法平差的无人机定位系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107067437A true CN107067437A (zh) | 2017-08-18 |
| CN107067437B CN107067437B (zh) | 2020-02-21 |
Family
ID=59624334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611237583.5A Active CN107067437B (zh) | 2016-12-28 | 2016-12-28 | 一种基于多视几何和光束法平差的无人机定位系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107067437B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107607091A (zh) * | 2017-08-31 | 2018-01-19 | 中国电力科学研究院 | 一种测量无人机飞行航迹的方法 |
| CN107896315A (zh) * | 2017-11-22 | 2018-04-10 | 中国民用航空总局第二研究所 | 基于a‑smgcs的视频融合系统及方法 |
| CN108520559A (zh) * | 2018-04-04 | 2018-09-11 | 西安因诺航空科技有限公司 | 一种基于双目视觉的无人机定位导航的方法 |
| CN109242913A (zh) * | 2018-09-07 | 2019-01-18 | 百度在线网络技术（北京）有限公司 | 采集器相对参数的标定方法、装置、设备和介质 |
| CN109831595A (zh) * | 2018-12-17 | 2019-05-31 | 上海玄彩美科网络科技有限公司 | 一种图片编码的方法和设备 |
| CN110285827A (zh) * | 2019-04-28 | 2019-09-27 | 武汉大学 | 一种距离约束的摄影测量高精度目标定位方法 |
| CN110969663A (zh) * | 2018-09-30 | 2020-04-07 | 北京初速度科技有限公司 | 一种相机外部参数的静态标定方法 |
| CN111784778A (zh) * | 2020-06-04 | 2020-10-16 | 华中科技大学 | 基于线性求解非线性优化的双目相机外参标定方法和系统 |
| CN114972536A (zh) * | 2022-05-26 | 2022-08-30 | 中国人民解放军战略支援部队信息工程大学 | 一种航空面阵摆扫式相机定位和标定方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102506757A (zh) * | 2011-10-10 | 2012-06-20 | 南京航空航天大学 | 双目立体测量系统多视角测量中的自定位方法 |
| US20150248584A1 (en) * | 2012-09-28 | 2015-09-03 | Omg Plc | Determination of position from images and associated camera positions |
| CN105043350A (zh) * | 2015-06-25 | 2015-11-11 | 闽江学院 | 一种双目视觉测量方法 |
-
2016
- 2016-12-28 CN CN201611237583.5A patent/CN107067437B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102506757A (zh) * | 2011-10-10 | 2012-06-20 | 南京航空航天大学 | 双目立体测量系统多视角测量中的自定位方法 |
| US20150248584A1 (en) * | 2012-09-28 | 2015-09-03 | Omg Plc | Determination of position from images and associated camera positions |
| CN105043350A (zh) * | 2015-06-25 | 2015-11-11 | 闽江学院 | 一种双目视觉测量方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李建明: ""低空轻小型无人机遥感图像快速拼接关键技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107607091A (zh) * | 2017-08-31 | 2018-01-19 | 中国电力科学研究院 | 一种测量无人机飞行航迹的方法 |
| CN107896315B (zh) * | 2017-11-22 | 2019-09-10 | 中国民用航空总局第二研究所 | 基于a-smgcs的视频融合系统及方法 |
| CN107896315A (zh) * | 2017-11-22 | 2018-04-10 | 中国民用航空总局第二研究所 | 基于a‑smgcs的视频融合系统及方法 |
| CN108520559A (zh) * | 2018-04-04 | 2018-09-11 | 西安因诺航空科技有限公司 | 一种基于双目视觉的无人机定位导航的方法 |
| CN108520559B (zh) * | 2018-04-04 | 2022-04-05 | 西安因诺航空科技有限公司 | 一种基于双目视觉的无人机定位导航的方法 |
| CN109242913B (zh) * | 2018-09-07 | 2020-11-10 | 百度在线网络技术（北京）有限公司 | 采集器相对参数的标定方法、装置、设备和介质 |
| US10984556B2 (en) | 2018-09-07 | 2021-04-20 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for calibrating relative parameters of collector, device and storage medium |
| CN109242913A (zh) * | 2018-09-07 | 2019-01-18 | 百度在线网络技术（北京）有限公司 | 采集器相对参数的标定方法、装置、设备和介质 |
| CN110969663A (zh) * | 2018-09-30 | 2020-04-07 | 北京初速度科技有限公司 | 一种相机外部参数的静态标定方法 |
| CN110969663B (zh) * | 2018-09-30 | 2023-10-03 | 北京魔门塔科技有限公司 | 一种相机外部参数的静态标定方法 |
| CN109831595A (zh) * | 2018-12-17 | 2019-05-31 | 上海玄彩美科网络科技有限公司 | 一种图片编码的方法和设备 |
| CN110285827A (zh) * | 2019-04-28 | 2019-09-27 | 武汉大学 | 一种距离约束的摄影测量高精度目标定位方法 |
| CN110285827B (zh) * | 2019-04-28 | 2023-04-07 | 武汉大学 | 一种距离约束的摄影测量高精度目标定位方法 |
| CN111784778A (zh) * | 2020-06-04 | 2020-10-16 | 华中科技大学 | 基于线性求解非线性优化的双目相机外参标定方法和系统 |
| CN111784778B (zh) * | 2020-06-04 | 2022-04-12 | 华中科技大学 | 基于线性求解非线性优化的双目相机外参标定方法和系统 |
| CN114972536A (zh) * | 2022-05-26 | 2022-08-30 | 中国人民解放军战略支援部队信息工程大学 | 一种航空面阵摆扫式相机定位和标定方法 |
| CN114972536B (zh) * | 2022-05-26 | 2023-05-09 | 中国人民解放军战略支援部队信息工程大学 | 一种航空面阵摆扫式相机定位和标定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107067437B (zh) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107067437A (zh) | 一种基于多视几何和光束法平差的无人机定位系统及方法 | |
| CN105627991A (zh) | 一种无人机影像实时全景拼接方法及系统 | |
| CN104268935A (zh) | 一种基于特征的机载激光点云与影像数据融合系统及方法 | |
| WO2013106920A1 (en) | Densifying and colorizing point cloud representation of physical surface using image data | |
| Speyerer et al. | Pre-flight and on-orbit geometric calibration of the Lunar Reconnaissance Orbiter Camera | |
| CN109900274B (zh) | 一种图像匹配方法及系统 | |
| Johnson et al. | Design and analysis of map relative localization for access to hazardous landing sites on mars | |
| CN112710311A (zh) | 一种地形自适应无人机三维实景重建航摄点自动规划方法 | |
| CN108594255B (zh) | 一种激光测距辅助光学影像联合平差方法及系统 | |
| Luo et al. | Fast terrain mapping from low altitude digital imagery | |
| CN105004321B (zh) | 顾及曝光不同步的无人机gps辅助光束法平差方法 | |
| CN103196431B (zh) | 机载激光扫描点云与光学影像的整体空三方法 | |
| MOKRANE et al. | DEM generation based on UAV photogrammetry | |
| CN107063191B (zh) | 一种摄影测量区域网整体相对定向的方法 | |
| CN105783879A (zh) | 一种条带约束下的同轨卫星连续景影像定位方法 | |
| CN113129422A (zh) | 一种三维模型构建方法、装置、存储介质和计算机设备 | |
| CN114170376B (zh) | 一种针对室外大场景的多源信息融合分组式运动恢复结构方法 | |
| Cheng et al. | High precision passive target localization based on airborne electro-optical payload | |
| CN115079229A (zh) | 一种基于单目相机的无人机对地目标定位方法 | |
| Berveglieri et al. | Bundle adjustment of a time-sequential spectral camera using polynomial models | |
| JP2020191082A (ja) | 地形データと画像データとを位置合わせするシステム及び方法 | |
| CN106225777B (zh) | 一种无人机摄影光束法外方位元素的测算方法 | |
| Liu et al. | Adaptive re-weighted block adjustment for multi-coverage satellite stereo images without ground control points | |
| Boukerch et al. | Geometry based co-registration of ALSAT-2A panchromatic and multispectral images | |
| Li et al. | Anti-UAVs surveillance system based on ground random fisheye camera array |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |