CN116883251A - 基于无人机视频的图像定向拼接与三维建模方法 - Google Patents
基于无人机视频的图像定向拼接与三维建模方法 Download PDFInfo
- Publication number
- CN116883251A CN116883251A CN202311153907.7A CN202311153907A CN116883251A CN 116883251 A CN116883251 A CN 116883251A CN 202311153907 A CN202311153907 A CN 202311153907A CN 116883251 A CN116883251 A CN 116883251A
- Authority
- CN
- China
- Prior art keywords
- image
- real
- frame
- data
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013507 mapping Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000001131 transforming effect Effects 0.000 claims abstract description 7
- 238000006073 displacement reaction Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 9
- 230000035772 mutation Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于无人机视频的图像定向拼接与三维建模方法，该方法包括获取目标区域的实时视频数据和初始POS航点数据，在实时视频数据选出所有关键帧以生成图像序列，对图像序列做分布式空中三角测量，修正初始POS航点数据得到高精度POS航点数据，在图像序列中选取参考影像，将选取的所有关键帧统一变换到参考影像所在平面，再对所有关键帧做拼接处理得到实时拼接影像；基于图像序列和高精度POS航点数据生成密集点云数据，根据实时拼接影像和密集点云数据生成目标区域的三维模型，该三维模型即为针对目标区域的测绘结果，实现了对无人机采集的视频图像序列进行实时传输、拼接与重建，实时生成三维模型，满足了应急测绘需求。
Description
技术领域
本发明涉及应急测绘领域，尤其涉及一种基于无人机视频的图像定向拼接与三维建模方法。
背景技术
应急测绘是为各类突发公共事件提供地理信息和现代测绘技术的基础支撑，是国家突发事件应急体系的重要组成部分，是指挥决策和抢险救灾的保障和依据。随着现代测绘地理信息和信息技术的发展，通过深度融合新一代信息技术与应急业务，推动应急测绘技术取得了较大提升，应急测绘机制逐步完善，并且，应急测绘保障能力显著增强。
灾前预防预警、应急抢险救灾和灾后恢复重建等工作对应急测绘保障服务的时效、三维建模精度等多个方面提出了更高更严的要求。
不过，现有的应急测绘方法存在不足：传统应急测绘方法受限于数据采集设备与数据处理技术，至少需要对现场数据进行两次采集，而且对于这些现场数据也是采取事后处理模式，比较耗时，无法满足突发应急处置对数据处理以构建三维建模的时效性需求，迫切需要采用新型应急测绘数据处理技术，提高应急数据成果获取的实时性。另外，目前虽然有基于无人机的测绘方案，但是主要应用于大面积场景的高精度测绘，而且以影像作为三维建模的数据源，这导致在应急场景下需要进行多次采集，采集耗时较长，而且其所采集数据的时效性更是难以满足应急测绘场景需求。
发明内容
本发明所要解决的技术问题是针对上述现有技术提供一种基于无人机视频的图像定向拼接与三维建模方法。
本发明解决上述技术问题所采用的技术方案为：基于无人机视频的图像定向拼接与三维建模方法，其特征在于，包括如下步骤：
步骤1，获取目标区域的实时视频数据和对应的初始POS航点数据；
步骤2，基于相位相关法在获取的实时视频数据中选取预设数量的关键帧，并基于选取的所有关键帧生成图像序列；
步骤3，对生成的图像序列做分布式空中三角测量，并使用分布式光束法平差修正初始POS航点数据，以得到高精度POS航点数据；
步骤4，在生成的图像序列中选取参考影像，将选取的所有关键帧统一变换到该参考影像所在的平面，再对所有关键帧做拼接处理，得到实时拼接影像；
步骤5，基于图像序列和高精度POS航点数据生成密集点云数据；
步骤6，根据实时拼接影像和密集点云数据生成目标区域的三维模型；其中，该目标区域的三维模型即为针对目标区域的测绘结果。
改进地，在所述基于无人机视频的图像定向拼接与三维建模方法中，在步骤2中，基于相位相关法在获取的实时视频数据中选取预设数量的关键帧的过程包括如下步骤：
步骤a1，将所述实时视频数据的初始帧设定为关键帧，并设定互相关系数阈值和位移矢量阈值；
步骤a2，将所述实时视频数据的当前图像帧与前一关键帧使用相位相关法计算得到该当前图像帧与前一关键帧之间的互相关系数，将所得该互相关系数与互相关系数阈值进行比较：
若该互相关系数大于互相关系数阈值，判定该当前图像帧为非旋转状态，转入步骤a3；否则，判定该当前图像帧为旋转状态，且将该当前图像帧记录为旋转帧；
步骤a3，对该当前图像帧做微转处理后，再将该当前图像帧与所述前一关键帧使用相位相关法计算得到该当前图像帧相对前一关键帧的位移矢量，将所得该位移矢量与位移矢量阈值进行比较：
若该位移矢量大于所述位移矢量阈值，判断该当前图像帧与所述前一关键帧重叠度合适，将该当前图像帧选为关键帧；否则，将该当前图像帧作为非关键帧。
进一步地，在所述基于无人机视频的图像定向拼接与三维建模方法中，在将所述实时视频数据的初始帧设定为关键帧之前，还包括步骤：通过各向同性微分算子检测所述实时视频数据中各图像帧影像灰度的突变，并将存在影像灰度突变的图像帧标注为模糊帧，并剔除所有的模糊帧。
再改进，在所述基于无人机视频的图像定向拼接与三维建模方法中，在步骤4中，对所有关键帧做拼接处理，得到实时拼接影像的过程包括如下步骤：
步骤b1，对所述图像序列进行图像特征提取和图像特征匹配处理，得到特征匹配结果；
步骤b2，根据所得特征匹配结果和所述高精度POS航点数据，将所述图像序列对齐到所述参考影像上；
步骤b3，分别计算出每一张关键帧与所述参考影像之间的单应性矩阵，基于该单应性矩阵并通过仿射变换将所述图像序列统一变换到所述参考影像所在的平面，并对所述图像序列内所有关键帧进行拼接处理，得到拼接网；
步骤b4，使用马尔科夫随机场对所得拼接网进行能力优化，并使用局部泊松融合方法对能力优化后的拼接网进行全局匀光匀色处理，得到全局匀光匀色处理后的拼接网；其中，该全局匀光匀色处理后的拼接网即为所述实时拼接影像。
进一步地，在所述基于无人机视频的图像定向拼接与三维建模方法中，在步骤b2中，将所述图像序列对齐到所述参考影像上的过程包括如下步骤：
在所述图像序列内获取预设数量的关键帧作为原始图像；
基于获取的原始图像构建词袋模型；
基于词袋模型对所述图像序列做影像配准处理，以将所述图像序列对齐到所述参考影像上。
改进地，在所述基于无人机视频的图像定向拼接与三维建模方法中，在步骤6中，根据实时拼接影像和密集点云数据生成目标区域的三维模型过程包括如下步骤：
将所述密集点云数据叠加到预设的方格网中；
对叠加到方格网中的密集点云数据进行抽稀和插值，生成目标区域的数字表面模型；
使用Delaunay三角剖分算法对经抽稀和插值处理后的密集点云数据做处理，生成Mesh网格模型；
根据所述实时拼接影像并通过数字表面模型对所述Mesh网格模型进行纹理贴图处理，生成具有纹理的三维模型；其中，该具有纹理的三维模型即为所述目标区域的三维模型。
与现有技术相比，本发明的优点在于：
首先，该发明的基于无人机视频的图像定向拼接与三维建模方法通过获取目标区域的实时视频数据和对应的初始POS航点数据，并在实时视频数据选取出所有关键帧以生成图像序列，而后对图像序列做分布式空中三角测量，并使用分布式光束法平差修正初始POS航点数据，得到高精度POS航点数据，在图像序列中选取参考影像，将选取的所有关键帧统一变换到该参考影像所在的平面，再对所有关键帧做拼接处理，得到实时拼接影像；再基于图像序列和高精度POS航点数据生成密集点云数据，并且根据实时拼接影像和密集点云数据生成目标区域的三维模型；其中，该目标区域的三维模型即为针对目标区域的测绘结果。如此，实现了利用摄影测量和计算机视觉技术，对无人机采集的视频图像序列进行实时定向拼接处理，并结合无线网络数据传输技术，实现无人机影像的实时传输、拼接与重建，实时生成三维模型。本发明时效性高，在救援行动、灾害评估等应急测绘方面具有广泛的应用前景，可有效提高应急响应能力和救援效果。
其次，该发明能够实现无人机视频实时定向拼接与三维重建，优化传统的基于无人机的应急数据获取流程，能够实现应急现场的正射影像和三维模型的快速构建，能够做到“边飞边建、只飞一次”，提高了应急测绘数据的利用效益和时效性。
附图说明
图1为本发明实施例中基于无人机视频的图像定向拼接与三维建模方法的流程示意图；
图2为本发明实施例中目标区域的实时视频数据示意图；
图3为本发明实施例中的密集点云数据示意图；
图4为本发明实施例中所得目标区域的三维模型示意图；
图5为本发明实施例中将图像序列对齐到参考影像上后所得影像的示意图；
图6为本发明实施例中所得目标区域的数字表面模型示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本实施例提供一种基于无人机视频的图像定向拼接与三维建模方法。具体地，参见图1所示，该实施例的基于无人机视频的图像定向拼接与三维建模方法包括如下步骤1~6：
步骤1，获取目标区域的实时视频数据和对应的初始POS航点数据；其中，目标区域的实时视频数据可以是通过无人机平台搭载的高性能摄像设备根据应急测绘任务需求实时采集的，实时视频数据是连续的单帧影像；初始POS航点数据则是通过GNSS/IMU组合获取的；例如，目标区域的实时视频数据参见图2所示；POS航点数据主要包括GNSS数据和IMU数据，即倾斜摄影测量中的外方位元素：纬度、经度、高程、航向角（Phi）、俯仰角（Omega）及翻滚角（Kappa）。GNSS数据一般用X、Y、Z表示，代表了飞机在飞行中曝光点时刻的地理位置；IMU数据主要包含了航向角、俯仰角及翻滚角三个数据；例如，该实施例的所得目标区域的初始POS航点数据如下：
<Pose>//位姿信息
<Center>//相片空间位置
<x>693137.63586403546</x>
<y>2421961.2593602795</y>
<z>396.79257365647684</z>
</Center>
<Rotation>//相片位姿矩阵3*3
<M_00>0.09951376892374775</M_00>
<M_01>-1.00163969388978959</M_01>
<M_02>0.20434633313862272</M_02>
<M_10>-0.9825768632771249</M_10>
<M_11>-0.079738759568755766</M_11>
<M_12>0.20568564235153123</M_12>
<M_20>-0.18351584864412018</M_20>
<M_21>-0.26732823845236717</M_21>
<M_22>-0.85781129117731514</M_22>
</Rotation>
步骤2，基于相位相关法在获取的实时视频数据中选取预设数量的关键帧，并基于选取的所有关键帧生成图像序列；其中，关键帧提取生成的图像序列可视为倾斜影像数据；
步骤3，对生成的图像序列做分布式空中三角测量，并使用分布式光束法平差修正初始POS航点数据，以得到高精度POS航点数据；其中：
同等分辨率条件下，倾斜摄影比传统航摄照片数量多10倍以上，大规模的位姿解算需要庞大的内存和CPU/GPU开销，因此需要顾及全局优化获得最佳平差解，又需要充分利用集群内部各节点的算力资源。采用云端部署分布式优化方案，将全局光束法平差修正为基于共轭梯度的迭代求解法，实现了分布式高精度并行空中三角测量，有效的将计算峰值均匀的配置到算法管道的多个环节，大幅度提升了倾斜摄影数据后处理的效率和质量，得到高精度POS数据；该实施例得到的高精度POS航点数据如下：
<Pose>//位姿信息
<Center>//相片空间位置
<x>693137.97724291938</x>
<y>2421961.6951734582</y>
<z>397.14062680830597</z>
</Center>
<Rotation>//相片位姿矩阵3*3
<M_00>0.11810447454394798</M_00>
<M_01>-0.97174786298993066</M_01>
<M_02>0.20434633313862272</M_02>
<M_10>-0.9825768632771249</M_10>
<M_11>-0.084623568278944336</M_11>
<M_12>0.16547374246153024</M_12>
<M_20>-0.14350623974303015</M_20>
<M_21>-0.22032916844176989</M_21>
<M_22>-0.96481138917851406</M_22>
</Rotation>
步骤4，在生成的图像序列中选取参考影像，将选取的所有关键帧统一变换到该参考影像所在的平面，再对所有关键帧做拼接处理，得到实时拼接影像；
步骤5，基于图像序列和高精度POS航点数据生成密集点云数据；其中，该实施例得到的密集点云数据参见图3所示；
步骤6，根据实时拼接影像和密集点云数据生成目标区域的三维模型；其中，该目标区域的三维模型即为针对目标区域的测绘结果。其中，在该实施例中，目标区域的三维模型参见图4所示。
具体地，在该实施例的步骤2中，基于相位相关法在获取的实时视频数据中选取预设数量的关键帧的过程包括如下步骤a1~ a3：
步骤a1，将实时视频数据的初始帧设定为关键帧，并设定互相关系数阈值和位移矢量阈值；其中：
互相关系数阈值是用于判断当前图像帧是否为旋转状态，可以根据需求灵活设置，如当前图像帧相对于前一关键帧旋转预设角度，则认为当前图像帧为旋转状态，预设角度可以设定为30度、45度或其他角度，计算得到当前图像帧相对于前一关键帧旋转预设角度状态的互相关系数，将其设定为互相关系数阈值；例如，该实施例中的互相关系数阈值设置为1；
平移参数阈值是用于判断当前图像帧与前一关键帧的重叠度，可以根据需求灵活设置，如当前图像帧相对于前一关键帧重叠度小于预设百分比则认为重叠度合适，预设百分比可以是20%、30%、40%或其他值；例如，该实施例中的位移矢量阈值（即平移参数阈值）设置为100%；
步骤a2，将实时视频数据的当前图像帧与前一关键帧使用本领域成熟的相位相关法计算得到该当前图像帧与前一关键帧之间的互相关系数，将所得该互相关系数与互相关系数阈值进行比较：
若该互相关系数大于互相关系数阈值，判定该当前图像帧为非旋转状态，转入步骤a3；否则，判定该当前图像帧为旋转状态，且将该当前图像帧记录为旋转帧；其中，针对两个图像（或者图像帧）之间的互相关系数计算属于本领域熟知的专业术语，此处不再赘述；
步骤a3，对该当前图像帧做微转处理后，再将该当前图像帧与所述前一关键帧使用相位相关法计算得到该当前图像帧相对前一关键帧的位移矢量，将所得该位移矢量与位移矢量阈值进行比较：
若该位移矢量大于位移矢量阈值，判断该当前图像帧与所述前一关键帧重叠度合适，将该当前图像帧选为关键帧；否则，说明当前图像帧与前一关键帧的重叠度越大，重叠的特征值也越多，那么当前图像帧则不适合被选定为关键帧，则将该当前图像帧作为非关键帧。其中，位移矢量越大，则说明当前图像帧与前一关键帧的重叠度越小，重叠的特征值也越少；位移矢量越小，则说明当前图像帧与前一关键帧的重叠度越大，重叠的特征值也越多。
考虑到由于无人机拍摄视频受风影响，会出现明显的晃动，使得视频中出现运行中曝光造成的模糊，该实施例的图像定向拼接与三维建模方法在将实时视频数据的初始帧设定为关键帧之前，还包括步骤：通过各向同性微分算子检测该实时视频数据中各图像帧影像灰度的突变，并将存在影像灰度突变的图像帧标注为模糊帧，并剔除所有的模糊帧，从而确保了参与关键帧选取的图像帧都是清楚的图像帧。
需要说明的是，在上述的步骤4中，对所有关键帧做拼接处理，得到实时拼接影像的过程包括如下步骤b1~ b4：
步骤b1，对上述生成的图像序列进行图像特征提取和图像特征匹配处理，得到特征匹配结果；
步骤b2，根据所得特征匹配结果和高精度POS航点数据，将该图像序列对齐到参考影像上；其中，此处将图像序列对齐到参考影像上的过程包括步骤：首先，在图像序列内获取预设数量的关键帧作为原始图像，例如此处的预设数量可以是1000以上、2000以上或10000以上；其次，基于获取的原始图像构建词袋模型；以及，最后基于词袋模型对所述图像序列做影像配准处理，以将所述图像序列对齐到参考影像上；其中，将图像序列对齐到参考影像上后所得影像参见图5所示；
步骤b3，分别计算出每一张关键帧与参考影像之间的单应性矩阵(Homography矩阵)，基于该单应性矩阵并通过仿射变换将所述图像序列统一变换到参考影像所在的平面，并对图像序列内所有关键帧进行拼接处理，得到拼接网；其中，基于单应性矩阵(Homography矩阵)变换的影像拼接算法，通过图像序列之间的特征匹配和POS航点数据的输入，将图像序列都对齐到参考影像上，并计算出每一张影像与参考影像之间的H矩阵(参考影像可以是第一帧影像，也可以选取视频采集过程中正对前方的一帧影像)，通过仿射变换将所有的图像序列统一变换到参考影像所在的平面并进行拼接，得到实时拼接影像。本领域技术人员熟知，Homography矩阵就是从一个平面到另一个平面的映射关系。如两张图片中相同颜色的点叫做corresponding Points，比如两个红点就是一对correspondingpoints，Homography矩阵（单应性变换矩阵）就是一个从一张图像到另一张图像映射关系的转换矩阵。
步骤b4，使用马尔科夫随机场对所得拼接网进行能力优化，并使用局部泊松融合方法对能力优化后的拼接网进行全局匀光匀色处理，得到全局匀光匀色处理后的拼接网；其中，该全局匀光匀色处理后的拼接网即为所述实时拼接影像。其中，本领域技术人员知道，马尔可夫随机场(Markov Random Field)可用于解决离散的优化问题，每个标签是独立的，非连续。随机场：当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。马尔可夫随机场：拿图像拼接为例，如果任何一区域里的图像种类仅仅与它邻近的区域里的图像有关，与其它区域里的图像的种类无关，那么这些区域里的图像的集合，就是一个马尔可夫随机场。
在该实施例中，针对上述的步骤6，根据实时拼接影像和密集点云数据生成目标区域的三维模型过程包括如下步骤：
将密集点云数据叠加到预设的方格网中；
对叠加到方格网中的密集点云数据进行抽稀和插值，生成目标区域的数字表面模型（Digital Surface Model）；其中，该实施例得到的目标区域的数字表面模型参见图6所示；
使用Delaunay三角剖分算法对经抽稀和插值处理后的密集点云数据做处理，生成Mesh网格模型；
根据实时拼接影像并通过数字表面模型对Mesh网格模型进行纹理贴图处理，生成具有纹理的三维模型；其中，该具有纹理的三维模型即为所述目标区域的三维模型。
尽管以上详细地描述了本发明的优选实施例，但是应该清楚地理解，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.基于无人机视频的图像定向拼接与三维建模方法，其特征在于，包括如下步骤：
步骤1，获取目标区域的实时视频数据和对应的初始POS航点数据；
步骤2，基于相位相关法在获取的实时视频数据中选取预设数量的关键帧，并基于选取的所有关键帧生成图像序列；
步骤3，对生成的图像序列做分布式空中三角测量，并使用分布式光束法平差修正初始POS航点数据，以得到高精度POS航点数据；
步骤4，在生成的图像序列中选取参考影像，将选取的所有关键帧统一变换到该参考影像所在的平面，再对所有关键帧做拼接处理，得到实时拼接影像；
步骤5，基于图像序列和高精度POS航点数据生成密集点云数据；
步骤6，根据实时拼接影像和密集点云数据生成目标区域的三维模型；其中，该目标区域的三维模型即为针对目标区域的测绘结果。
2.根据权利要求1所述的基于无人机视频的图像定向拼接与三维建模方法，其特征在于，在步骤2中，基于相位相关法在获取的实时视频数据中选取预设数量的关键帧的过程包括如下步骤：
步骤a1，将所述实时视频数据的初始帧设定为关键帧，并设定互相关系数阈值和位移矢量阈值；
步骤a2，将所述实时视频数据的当前图像帧与前一关键帧使用相位相关法计算得到该当前图像帧与前一关键帧之间的互相关系数，将所得该互相关系数与互相关系数阈值进行比较：
若该互相关系数大于互相关系数阈值，判定该当前图像帧为非旋转状态，转入步骤a3；否则，判定该当前图像帧为旋转状态，且将该当前图像帧记录为旋转帧；
步骤a3，对该当前图像帧做微转处理后，再将该当前图像帧与所述前一关键帧使用相位相关法计算得到该当前图像帧相对前一关键帧的位移矢量，将所得该位移矢量与位移矢量阈值进行比较：
若该位移矢量大于所述位移矢量阈值，判断该当前图像帧与所述前一关键帧重叠度合适，将该当前图像帧选为关键帧；否则，将该当前图像帧作为非关键帧。
3.根据权利要求2所述的基于无人机视频的图像定向拼接与三维建模方法，其特征在于，在将所述实时视频数据的初始帧设定为关键帧之前，还包括步骤：通过各向同性微分算子检测所述实时视频数据中各图像帧影像灰度的突变，并将存在影像灰度突变的图像帧标注为模糊帧，并剔除所有的模糊帧。
4.根据权利要求1~3任一项所述的基于无人机视频的图像定向拼接与三维建模方法，其特征在于，在步骤4中，对所有关键帧做拼接处理，得到实时拼接影像的过程包括如下步骤：
步骤b1，对所述图像序列进行图像特征提取和图像特征匹配处理，得到特征匹配结果；
步骤b2，根据所得特征匹配结果和所述高精度POS航点数据，将所述图像序列对齐到所述参考影像上；
步骤b3，分别计算出每一张关键帧与所述参考影像之间的单应性矩阵，基于该单应性矩阵并通过仿射变换将所述图像序列统一变换到所述参考影像所在的平面，并对所述图像序列内所有关键帧进行拼接处理，得到拼接网；
步骤b4，使用马尔科夫随机场对所得拼接网进行能力优化，并使用局部泊松融合方法对能力优化后的拼接网进行全局匀光匀色处理，得到全局匀光匀色处理后的拼接网；其中，该全局匀光匀色处理后的拼接网即为所述实时拼接影像。
5.根据权利要求4所述的基于无人机视频的图像定向拼接与三维建模方法，其特征在于，在步骤b2中，将所述图像序列对齐到所述参考影像上的过程包括如下步骤：
在所述图像序列内获取预设数量的关键帧作为原始图像；
基于获取的原始图像构建词袋模型；
基于词袋模型对所述图像序列做影像配准处理，以将所述图像序列对齐到所述参考影像上。
6.根据权利要求4所述的基于无人机视频的图像定向拼接与三维建模方法，其特征在于，在步骤6中，根据实时拼接影像和密集点云数据生成目标区域的三维模型过程包括如下步骤：
将所述密集点云数据叠加到预设的方格网中；
对叠加到方格网中的密集点云数据进行抽稀和插值，生成目标区域的数字表面模型；
使用Delaunay三角剖分算法对经抽稀和插值处理后的密集点云数据做处理，生成Mesh网格模型；
根据所述实时拼接影像并通过数字表面模型对所述Mesh网格模型进行纹理贴图处理，生成具有纹理的三维模型；其中，该具有纹理的三维模型即为所述目标区域的三维模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311153907.7A CN116883251B (zh) | 2023-09-08 | 2023-09-08 | 基于无人机视频的图像定向拼接与三维建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311153907.7A CN116883251B (zh) | 2023-09-08 | 2023-09-08 | 基于无人机视频的图像定向拼接与三维建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116883251A true CN116883251A (zh) | 2023-10-13 |
| CN116883251B CN116883251B (zh) | 2023-11-17 |
Family
ID=88260916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311153907.7A Active CN116883251B (zh) | 2023-09-08 | 2023-09-08 | 基于无人机视频的图像定向拼接与三维建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116883251B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095151A (zh) * | 2023-10-19 | 2023-11-21 | 成都坤舆空间科技有限公司 | 基于共轭梯度的dem与倾斜摄影空间贴合初匹配优化方法 |
| CN117201708A (zh) * | 2023-11-07 | 2023-12-08 | 航天宏图信息技术股份有限公司 | 带有位置信息的无人机视频拼接方法、装置、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018061010A1 (en) * | 2016-09-28 | 2018-04-05 | Pixtier Maps Ltd. | Point cloud transforming in large-scale urban modelling |
| CN110648398A (zh) * | 2019-08-07 | 2020-01-03 | 武汉九州位讯科技有限公司 | 基于无人机航摄数据的正射影像实时生成方法及系统 |
| CN110675450A (zh) * | 2019-09-06 | 2020-01-10 | 武汉九州位讯科技有限公司 | 基于slam技术的正射影像实时生成方法及系统 |
| CN112288637A (zh) * | 2020-11-19 | 2021-01-29 | 埃洛克航空科技（北京）有限公司 | 无人机航拍图像快速拼接装置及快速拼接方法 |
| WO2022002150A1 (zh) * | 2020-06-30 | 2022-01-06 | 杭州海康机器人技术有限公司 | 一种视觉点云地图的构建方法、装置 |
| CN115439424A (zh) * | 2022-08-23 | 2022-12-06 | 成都飞机工业（集团）有限责任公司 | 一种无人机航拍视频图像智能检测方法 |
-
2023
- 2023-09-08 CN CN202311153907.7A patent/CN116883251B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018061010A1 (en) * | 2016-09-28 | 2018-04-05 | Pixtier Maps Ltd. | Point cloud transforming in large-scale urban modelling |
| CN110648398A (zh) * | 2019-08-07 | 2020-01-03 | 武汉九州位讯科技有限公司 | 基于无人机航摄数据的正射影像实时生成方法及系统 |
| CN110675450A (zh) * | 2019-09-06 | 2020-01-10 | 武汉九州位讯科技有限公司 | 基于slam技术的正射影像实时生成方法及系统 |
| WO2022002150A1 (zh) * | 2020-06-30 | 2022-01-06 | 杭州海康机器人技术有限公司 | 一种视觉点云地图的构建方法、装置 |
| CN112288637A (zh) * | 2020-11-19 | 2021-01-29 | 埃洛克航空科技（北京）有限公司 | 无人机航拍图像快速拼接装置及快速拼接方法 |
| CN115439424A (zh) * | 2022-08-23 | 2022-12-06 | 成都飞机工业（集团）有限责任公司 | 一种无人机航拍视频图像智能检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 刘磊;孙敏;任翔;刘鑫夫;刘亮;郑晖;黎晓东;: "基于无人机影像序列的三维重建方法综述", 北京大学学报(自然科学版), no. 06 * |
| 李登峰;马跃龙;陈丁;万刚;: "基于视觉slam的无人机序列影像快速拼接", 系统仿真学报, no. 1 * |
| 邹松;唐娉;胡昌苗;单小军;: "基于三维重建的大区域无人机影像全自动拼接方法", 计算机工程, no. 04 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095151A (zh) * | 2023-10-19 | 2023-11-21 | 成都坤舆空间科技有限公司 | 基于共轭梯度的dem与倾斜摄影空间贴合初匹配优化方法 |
| CN117095151B (zh) * | 2023-10-19 | 2024-01-19 | 成都坤舆空间科技有限公司 | 基于共轭梯度的dem与倾斜摄影空间贴合初匹配优化方法 |
| CN117201708A (zh) * | 2023-11-07 | 2023-12-08 | 航天宏图信息技术股份有限公司 | 带有位置信息的无人机视频拼接方法、装置、设备及介质 |
| CN117201708B (zh) * | 2023-11-07 | 2024-02-02 | 航天宏图信息技术股份有限公司 | 带有位置信息的无人机视频拼接方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116883251B (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110648398B (zh) | 基于无人机航摄数据的正射影像实时生成方法及系统 | |
| CN112085845B (zh) | 基于无人机影像的室外场景快速三维重建装置 | |
| CN116883251B (zh) | 基于无人机视频的图像定向拼接与三维建模方法 | |
| CN112085844B (zh) | 面向野外未知环境的无人机影像快速三维重建方法 | |
| CN108648270B (zh) | 实时同步定位与地图构建的无人机实时三维场景重建方法 | |
| CN110310248B (zh) | 一种无人机遥感影像实时拼接方法及系统 | |
| CN110675450B (zh) | 基于slam技术的正射影像实时生成方法及系统 | |
| US20080279447A1 (en) | Computational Solution Of A Building Of Three Dimensional Virtual Models From Aerial Photographs | |
| CN110276768B (zh) | 图像分割方法、图像分割装置、图像分割设备及介质 | |
| CN112288637A (zh) | 无人机航拍图像快速拼接装置及快速拼接方法 | |
| CN114299236A (zh) | 倾斜摄影测量空地融合实景建模方法、装置、产品及介质 | |
| CN115049794A (zh) | 通过深度补全生成稠密的全局点云图方法及系统 | |
| CN113326769B (zh) | 高精地图生成方法、装置、设备及存储介质 | |
| CN112734630B (zh) | 正射影像处理方法、装置、设备及存储介质 | |
| CN113808269A (zh) | 地图生成方法、定位方法、系统及计算机可读存储介质 | |
| CN112002007B (zh) | 基于空地影像的模型获取方法及装置、设备、存储介质 | |
| CN116402693B (zh) | 一种基于遥感技术的市政工程图像处理方法及装置 | |
| CN117115243A (zh) | 一种基于街景图片的建筑群外立面窗户定位方法及装置 | |
| CN106600691B (zh) | 多路二维视频图像在三维地理空间中融合校正方法、系统 | |
| CN113362265B (zh) | 一种低成本的无人机正射影像快速地理拼接方法 | |
| Li et al. | Learning dense consistent features for aerial-to-ground structure-from-motion | |
| CN114777745A (zh) | 一种基于无迹卡尔曼滤波的倾斜取证建模方法 | |
| Munderloh et al. | Mesh-based global motion compensation for robust mosaicking and detection of moving objects in aerial surveillance | |
| CN114170376A (zh) | 一种针对室外大场景的多源信息融合分组式运动恢复结构方法 | |
| CN117689846B (zh) | 线状目标的无人机摄影重建多交向视点生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |