CN117201708A - 带有位置信息的无人机视频拼接方法、装置、设备及介质 - Google Patents
带有位置信息的无人机视频拼接方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117201708A CN117201708A CN202311467089.8A CN202311467089A CN117201708A CN 117201708 A CN117201708 A CN 117201708A CN 202311467089 A CN202311467089 A CN 202311467089A CN 117201708 A CN117201708 A CN 117201708A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- position information
- key frame
- vehicle video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000012015 optical character recognition Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种带有位置信息的无人机视频拼接方法、装置、设备及介质，涉及图像处理技术领域，包括：获取待拼接的无人机视频；通过预先训练得到的相似度估算模型，基于无人机视频确定目标间隔帧数，并按照目标间隔帧数从无人机视频中截取关键帧；提取每个关键帧对应的目标位置信息；基于目标位置信息对每个关键帧进行拼接，得到无人机视频对应的数字正射影像。本发明可以更加高效且精确地实现无人机视频拼接，从而获得更高精度的数字正射影像。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种带有位置信息的无人机视频拼接方法、装置、设备及介质。
背景技术
基于摄影测量或计算机视觉的无人机影像拼接技术已成为一种常用的对地观测手段，并被应用到越来越多的领域。随着该技术对无人机影像数据规范性要求的不断降低，以及无人机数据存储设备存储能力的增强，满足一定要求的无人机视频数据也可通过抽取关键帧的方式进行影像帧拼接，从而用于DOM生产。一方面，基于摄影测量或计算机视觉的无人机影像拼接技术的优势在于，所获视频帧的连续性以及任意抽取的灵活性，弥补了无人机影像可能因拍摄时飞行速度控制不当或飞机转向等因素造成的不满足航向重叠度要求的缺陷；另一方面，相较于传统的采用相似变换或单应变换的视频帧拼接方法，其具有更高的地理位置及形状精确度，以及更强的地形适应性，能够更好地服务测绘等领域。但是，现有的无人机视频拼接技术的精度仍然存在一定提升空间。
发明内容
有鉴于此，本发明的目的在于提供一种带有位置信息的无人机视频拼接方法、装置、设备及介质，可以更加精确地实现无人机视频拼接，从而获得更高精度的数字正射影像。
第一方面，本发明实施例提供了一种带有位置信息的无人机视频拼接方法，包括：
获取待拼接的无人机视频；
通过预先训练得到的相似度估算模型，基于所述无人机视频确定目标间隔帧数，并按照所述目标间隔帧数从所述无人机视频中截取关键帧；
基于关键帧显示的内容，提取每个所述关键帧对应的目标位置信息；
基于所述目标位置信息对每个所述关键帧进行拼接，得到所述无人机视频对应的数字正射影像。
在一种实施方式中，通过预先训练得到的相似度估算模型，基于所述无人机视频确定目标间隔帧数的步骤，包括：
将多个候选间隔帧数和所述无人机视频输入至预先训练得到的相似度估算模型，以通过所述相似度估算模型输出每个所述候选间隔帧数对应的前后帧影像平均相似度；
根据每个所述候选间隔帧数对应的所述前后帧影像平均相似度，从所述候选间隔帧数中确定目标间隔帧数。
在一种实施方式中，根据每个所述候选间隔帧数对应的所述前后帧影像平均相似度，从所述候选间隔帧数中确定目标间隔帧数的步骤，包括：
如果当前候选间隔帧数对应的所述前后帧影像平均相似度大于预设阈值，且下一候选间隔帧数对应的所述前后帧影像平均相似度小于所述预设阈值，则将所述当前候选间隔帧数确定为目标间隔帧数。
在一种实施方式中，所述相似度估算模型采用孪生神经网络。
在一种实施方式中，所述关键帧显示的内容包括无人机采集的画面和所述无人机采集所述画面时的初始位置信息；基于关键帧显示的内容，提取每个所述关键帧对应的目标位置信息的步骤，包括：
对于每个所述关键帧，通过文字识别模型识别该关键帧显示的所述初始位置信息对应的文本框；
如果所述文本框包括方位标识信息和数值信息，则根据所述方位标识信息和所述数值信息之间的对应关系，确定该关键帧对应的目标位置信息；
或者，如果所述文本框包括数值信息，则通过图形用户界面显示所述数值信息，并响应针对于所述数值信息的方位标注操作，确定该关键帧对应的目标位置信息；
其中，所述目标位置信息包括经度信息、纬度信息和高度信息中的一种或多种。
在一种实施方式中，基于所述目标位置信息对每个所述关键帧进行拼接，得到所述无人机视频对应的数字正射影像的步骤，包括：
基于所述目标位置信息提取每个所述关键帧的场景信息；其中，所述场景信息包括影像外方位元素和场景稀疏点云；
根据预设高程数据和所述场景信息，对每个所述关键帧进行正射纠正处理和镶嵌处理，得到所述无人机视频对应的数字正射影像。
在一种实施方式中，基于所述目标位置信息提取每个所述关键帧的场景信息的步骤，包括：
对于每个所述关键帧，基于所述目标位置信息确定该关键帧对应的邻近关键帧，并对该关键帧与所述邻近关键帧进行特征提取与匹配处理，以确定同名特征点；
对所述同名特征点进行初始像对选择处理、初始像对平差处理和异常影像滤除处理，以构建初始模型；
基于所述目标位置信息，对所述初始模型进行局部光束法平差处理和全局光束法平差处理，以确定场景信息。
第二方面，本发明实施例还提供一种带有位置信息的无人机视频拼接装置，包括：
视频获取模块，用于获取待拼接的无人机视频；
关键帧截取模块，用于通过预先训练得到的相似度估算模型，基于所述无人机视频确定目标间隔帧数，并按照所述目标间隔帧数从所述无人机视频中截取关键帧；
位置提取模块，用于基于关键帧显示的内容，提取每个所述关键帧对应的目标位置信息；
拼接模块，用于基于所述目标位置信息对每个所述关键帧进行拼接，得到所述无人机视频对应的数字正射影像。
第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。
本发明实施例提供的一种带有位置信息的无人机视频拼接方法、装置、设备及介质，首先获取待拼接的无人机视频；然后通过预先训练得到的相似度估算模型，基于无人机视频确定目标间隔帧数，从而按照目标间隔帧数从无人机视频中截取关键帧；最后基于关键帧显示的内容提取每个关键帧对应的目标位置信息，以基于目标位置信息对每个关键帧进行拼接，得到无人机视频对应的数字正射影像。上述方法通过相似度估算模型确定出更合理的目标间隔帧数，以按照目标间隔帧数截取关键帧，以便于在后续拼接过程中较好地兼顾关键帧的数量和拼接精度，另外，通过提取每个关键帧对应的目标位置信息，有助于更加精确地实现无人机视频拼接，从而获得更高精度的数字正射影像。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种带有位置信息的无人机视频拼接方法的流程示意图；
图2为本发明实施例提供的另一种带有位置信息的无人机视频拼接方法的流程示意图；
图3为本发明实施例提供的一种带有位置信息的无人机视频拼接装置的结构示意图；
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
对于无人机影像拼接而言，提供较为准确的成像时刻相机位置信息，有助于更加高效且精确地进行空三加密或SfM重建，从而获得更高精度的DOM，对于无人机视频帧拼接而言亦然。然而通用的视频相机已将成像位置信息以文字标注的方式“打印”到视频帧画面之上，并非以独立的文档形式伴随视频数据输出。若能通过OCR文字识别的方式自动提取视频帧的位置信息，并作为视频帧拼接的辅助数据，则能使得通用无人机视频的拼接更加稳健而精确地进行。
基于此，本发明实施例提供了一种带有位置信息的无人机视频拼接方法、装置、设备及介质的具体实施方式，可以更加精确地实现无人机视频拼接，从而获得更高精度的数字正射影像。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种带有位置信息的无人机视频拼接方法进行详细介绍，参见图1所示的一种带有位置信息的无人机视频拼接方法的流程示意图，该方法主要包括以下步骤S102至步骤S108：
步骤S102，获取待拼接的无人机视频。
步骤S104，通过预先训练得到的相似度估算模型，基于无人机视频确定目标间隔帧数，并按照目标间隔帧数从无人机视频中截取关键帧，关键帧之间必须满足一定的航向重叠度要求。
在一种实施方式中，可以采用深度学习方式获取最佳的间隔帧数（也即，目标间隔帧数），例如将候选间隔帧数和无人机视频输入至相似度估算模型，通过相似度估算模型确定出目标间隔帧数，以按该目标间隔帧数抽取关键帧，如每间隔5帧抽取一帧作为所述关键帧。
其中，相似度估算模型可以采用孪生神经网络Siamese Networks模型。
步骤S106，基于关键帧显示的内容，提取每个关键帧对应的目标位置信息。
其中，关键帧显示的内容包括无人机采集的画面和无人机采集画面时的初始位置信息，目标位置信息包括经度信息、纬度信息和高度信息中的一种或多种。
在一种实施方式中，通用的视频相机已将成像位置信息以文字标注的方式“打印”到视频帧画面之上，并非以独立的文档形式伴随视频数据输出。基于此，可以采用OCR（Optical Character Recognition，光学字符识别）技术自动提取关键帧的目标位置信息，并作为关键帧拼接的辅助数据，则能使得通用无人机视频的拼接更加稳健而精确地进行。
步骤S108，基于目标位置信息对每个关键帧进行拼接，得到无人机视频对应的数字正射影像。
在一种实施方式中，可以进行基于位置信息辅助的SfM（Structure from motion）以重建场景信息，并根据场景信息进行关键帧正射校正并镶嵌获得关于场景的数字正射影像（DOM，Digital Ortho Map）。
对于前述步骤S104，本发明实施例提供了一种通过预先训练得到的相似度估算模型，基于无人机视频确定目标间隔帧数，并按照目标间隔帧数从无人机视频中截取关键帧的实施方式，包括如下步骤1至步骤2：
步骤1，将多个候选间隔帧数和无人机视频输入至预先训练得到的相似度估算模型，以通过相似度估算预测模型输出每个候选间隔帧数对应的前后帧影像平均相似度。
在具体实现时，需要预先对相似度估算模型进行训练，或直接采用已训练好的影像相似度估算模型进行统计。前后帧影像平均相似度统计如下所示：依次增大间隔帧数以得到多个间隔帧数，如0、1、2、…、n，抽取一段包含数百帧的视频作为预测数据，将间隔帧数和预测数据作为模型输入，利用训练好的孪生神经网络Siamese Networks模型统计得到每个候选间隔帧数对应的前后帧影像的平均相似度。
步骤2，根据每个候选间隔帧数对应的前后帧影像平均相似度，从候选间隔帧数中确定目标间隔帧数。
在一种实施方式中，如果当前候选间隔帧数对应的前后帧影像平均相似度大于预设阈值，且下一候选间隔帧数对应的前后帧影像平均相似度小于预设阈值，则将当前候选间隔帧数确定为目标间隔帧数。
具体的，理论上随着间隔帧数的增大，前后帧影像的平均相似度会逐渐降低。示例性的，假设预设阈值设置为0.7，当间隔帧数分别为i及i+1时，统计所得前后帧影像的平均相似度分别Si和Si+1，若满足Si>0.7且Si+1<0.7，则认为i为最佳间隔帧数。
对于前述步骤S106，本发明实施例提供了一种提取每个关键帧对应的目标位置信息的实施方式，参见如下步骤a至步骤c：
步骤a，对于每个关键帧，通过文字识别模型识别该关键帧显示的初始位置信息对应的文本框。
在一种实施方式中，可以采用OCR识别位置信息，采用超轻量级OCR技术自动识别GPS的各项位置参数（经度、纬度及高度）的数值，作为后续SfM重建的辅助信息；所述超轻量级OCR技术采用PaddleOCR库，仅仅进行关于方位标识信息“E”、“W”、“N”、“S”，数值信息0-9，标点符号“.”的训练，并用于经纬度及高度数值识别。无需指定文本框以提供进行OCR的图像范围，采用PSENet模型自动进行基于分割的字符识别以获取所识别信息对应的文本框。
步骤b，如果文本框包括方位标识信息和数值信息，则根据方位标识信息和数值信息之间的对应关系，确定该关键帧对应的目标位置信息。
在一种实施方式中，若关键帧上所显示的经纬度信息为带有“E”、“W”、“N”、“S”字母的数值信息，如经度为“111.34567E”、且纬度为“40.12345N”，则可根据识别后的数值信息对应的方位标识信息自动区分经度、纬度及高度信息。
步骤c，如果文本框包括数值信息，则通过图形用户界面显示数值信息，并响应针对于数值信息的方位标注操作，确定该关键帧对应的目标位置信息。
在一种实施方式中，若关键帧上所显示的经纬度信息为不带有返给标识信息，如经度为“111.34567”、或纬度为“40.12345”，则需要根据交互的方式向用户提供OCR所得的位置信息文本框，由用户指定识别所获的各项位置信息与经度、纬度、高度的一一对应关系。
对于前述步骤S108，本发明实施例提供了一种基于目标位置信息对每个关键帧进行拼接，得到无人机视频对应的数字正射影像的实施方式，参见如下（1）至（2）：
（1）基于目标位置信息提取每个关键帧的场景信息。其中，场景信息包括影像外方位元素和场景稀疏点云等。
在一种实施方式中，本发明实施例采用SfM重建，以获得准确的所述关键帧影像外方位元素、场景稀疏点云等场景信息。具体可采用增量式SfM流程进行场景重建，参见如下（1.1）至（1.3）：
（1.1）对于每个关键帧，基于目标位置信息确定该关键帧对应的邻近关键帧，并对该关键帧与邻近关键帧进行特征提取与匹配处理，以确定同名特征点。
该步骤也即特征提取与匹配，包括：对关键帧影像进行特征提取、特征匹配以及几何变换关系验证，目的在于计算关键帧影像的匹配关系网络、获取同名特征点以及进行同名特征点异常值去除，为后续重建的过程提供稳健的输入值；
其中，进行特征匹配步骤时，以每一帧影像为中心影像，根据步骤S106中所获目标位置信息，获取距离其最邻近的K张影像作为待匹配影像，并依次将K张待匹配影像的特征与中心影像的特征进行特征匹配。以此获得所有帧影像与最邻近影像之间的匹配关系，而避免采用对所有影像进行两两之间匹配的暴力匹配策略。
（1.2）对同名特征点进行初始像对选择处理、初始像对平差处理和异常影像滤除处理，以构建初始模型。
该步骤也即选择初始所述关键帧影像对并构建初始模型，包括：初始像对选择、初始像对平差以及异常点/影像滤除。
（1.3）基于目标位置信息，对初始模型进行局部光束法平差处理和全局光束法平差处理，以确定场景信息。
该步骤也即增量式添加影像和局光束法平差优化。
在一例中，增量式添加影像包括：迭代进行三角化以更新三维点坐标、下一张待添加关键帧影像选择以及局部光束法平差，直到所有影像都已参与平差或已平差影像数量不再增加。
在一例中，再进行局部光束法平差及全局光束法平差优化时，将步骤S106中所获目标位置信息作为影像外方位元素中的线元素参数的先验值，一方面可将模型从局部坐标系定向到真实世界坐标系，使得模型可以用于后续步骤的镶嵌处理；另一方面在位置信息精度足够高的条件下可以进行位置信息辅助光束法平差，将位置信息作为带权观测值进行联合区域网平差，以控制模型的精度。
（2）根据预设高程数据和场景信息，对每个关键帧进行正射纠正处理和镶嵌处理，得到无人机视频对应的数字正射影像。
在一种实施方式中，本发明实施例可以根据已有DEM（Digital Elevation Model，数字高程模型）数据或场景平均高程，以及SfM重建所获场景信息，对关键帧影像进行正射纠正，进而通过镶嵌得到DOM影像。
具体地，正射校正采用间接法（反解法）进行数字微分校正。首先，根据插值间隔确定插值格网；其次，计算每一个格网点校正前的像点坐标；最后，根据格网点校正前后的像点坐标进行双线性插值，获取其他点校正前的像点坐标，再进行像点赋值。进而调用gdal开源库提供的镶嵌算法进行镶嵌获得DOM影像。
综上所述，本发明实施例针对具有带有位置信息的通用无人机航拍视频，充分利用其可以提供连续视频帧影像的灵活性优势，通过截取关键帧，进行OCR位置信息自动识别，为关键帧的SfM重建提供辅助信息，并利用SfM重建所获得的场景信息进行正射校正及镶嵌，获得场景DOM影像，提供了获得精确的地理底图的一种思路。
进一步的，本发明实施例还提供了一种带有位置信息的无人机视频拼接方法的具体实施方式，涉及无人机视频数据处理领域，包括：对无人机视频进行保证重叠度的关键帧截取；通过人机交互的方式进行视频帧的位置信息定位；进行OCR自动识别位置信息；进行基于位置信息辅助的SfM以重建场景信息；根据场景信息进行关键帧正射校正并镶嵌获得关于场景的DOM影像，提供了一种针对带有通用位置信息的无人机航拍视频高精度拼接的解决方案。
具体的，参见图2所示的另一种带有位置信息的无人机视频拼接方法的流程示意图，包括如下步骤S202至步骤S208：
步骤S202，截取关键帧，从视频帧序列中抽取部分帧作为参与拼接的关键帧，所述关键帧之间必须满足一定的航向重叠度要求；
步骤S204，OCR识别位置信息，采用OCR技术自动识别各项位置参数的数值，作为后续SfM重建的辅助信息；
步骤S206，SfM重建，以获得准确的所述关键帧影像外方位元素、场景稀疏点云等场景信息；
步骤S208，镶嵌处理，根据已有DEM数据或场景平均高程，以及SfM重建所获场景信息，对关键帧影像进行正射纠正，进而通过镶嵌得到DOM影像。
综上所述，本发明实施例提出一种结合OCR位置信息识别及SfM的无人机航拍视频拼接方法及装置，通过对带有位置信息的无人机视频数据进行关键帧抽取获得影像数据，结合OCR文字识别获取位置辅助数据，采用计算机视觉SfM方法重建场景的稀疏点等信息，进一步采用影像镶嵌方法获取场景DOM影像。
在前述实施例的基础上，本发明实施例提供了一种带有位置信息的无人机视频拼接装置，参见图3所示的一种带有位置信息的无人机视频拼接装置的结构示意图，包括以下部分：
视频获取模块302，用于获取待拼接的无人机视频；
关键帧截取模块304，用于通过预先训练得到的相似度估算模型，基于无人机视频确定目标间隔帧数，并按照目标间隔帧数从无人机视频中截取关键帧；
位置提取模块306，用于基于关键帧显示的内容，提取每个关键帧对应的目标位置信息；
拼接模块308，用于基于目标位置信息对每个关键帧进行拼接，得到无人机视频对应的数字正射影像。
本发明实施例通过的带有位置信息的无人机视频拼接装置，通过相似度估算模型确定出更合理的目标间隔帧数，以按照目标间隔帧数截取关键帧，以便于在后续拼接过程中较好地兼顾关键帧的数量和拼接精度，另外，通过提取每个关键帧对应的目标位置信息，有助于更加精确地实现无人机视频拼接，从而获得更高精度的数字正射影像。
在一种实施方式中，关键帧截取模块304还用于：
将多个候选间隔帧数和无人机视频输入至预先训练得到的相似度估算模型，以通过相似度估算模型输出每个候选间隔帧数对应的前后帧影像平均相似度；
根据每个候选间隔帧数对应的前后帧影像平均相似度，从候选间隔帧数中确定目标间隔帧数。
在一种实施方式中，关键帧截取模块304还用于：
如果当前候选间隔帧数对应的前后帧影像平均相似度大于预设阈值，且下一候选间隔帧数对应的前后帧影像平均相似度小于预设阈值，则将当前候选间隔帧数确定为目标间隔帧数。
在一种实施方式中，相似度估算模型采用孪生神经网络。
在一种实施方式中，关键帧显示的内容包括无人机采集的画面和无人机采集画面时的初始位置信息；位置提取模块306还用于：
对于每个关键帧，通过文字识别模型识别该关键帧显示的初始位置信息对应的文本框；
如果文本框包括方位标识信息和数值信息，则根据方位标识信息和数值信息之间的对应关系，确定该关键帧对应的目标位置信息；
或者，如果文本框包括数值信息，则通过图形用户界面显示数值信息，并响应针对于数值信息的方位标注操作，确定该关键帧对应的目标位置信息；
其中，目标位置信息包括经度信息、纬度信息和高度信息中的一种或多种。
在一种实施方式中，拼接模块308还用于：
基于目标位置信息提取每个关键帧的场景信息；其中，场景信息包括影像外方位元素和场景稀疏点云；
根据预设高程数据和场景信息，对每个关键帧进行正射纠正处理和镶嵌处理，得到无人机视频对应的数字正射影像。
在一种实施方式中，拼接模块308还用于：
对于每个关键帧，基于目标位置信息确定该关键帧对应的邻近关键帧，并对该关键帧与邻近关键帧进行特征提取与匹配处理，以确定同名特征点；
对同名特征点进行初始像对选择处理、初始像对平差处理和异常影像滤除处理，以构建初始模型；
基于目标位置信息，对初始模型进行局部光束法平差处理和全局光束法平差处理，以确定场景信息。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法 。
图4为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器40，存储器41，总线42和通信接口43，所述处理器40、通信接口43和存储器41通过总线42连接；处理器40用于执行存储器41中存储的可执行模块，例如计算机程序。
其中，存储器41可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatilememory），例如至少一个磁盘存储器。通过至少一个通信接口43（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线42可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器41用于存储程序，所述处理器40在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中，或者由处理器40实现。
处理器40可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器40读取存储器41中的信息，结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种带有位置信息的无人机视频拼接方法，其特征在于，包括：
获取待拼接的无人机视频；
通过预先训练得到的相似度估算模型，基于所述无人机视频确定目标间隔帧数，并按照所述目标间隔帧数从所述无人机视频中截取关键帧；
基于关键帧显示的内容，提取每个所述关键帧对应的目标位置信息；
基于所述目标位置信息对每个所述关键帧进行拼接，得到所述无人机视频对应的数字正射影像。
2.根据权利要求1所述的带有位置信息的无人机视频拼接方法，其特征在于，通过预先训练得到的相似度估算模型，基于所述无人机视频确定目标间隔帧数的步骤，包括：
将多个候选间隔帧数和所述无人机视频输入至预先训练得到的相似度估算模型，以通过所述相似度估算模型输出每个所述候选间隔帧数对应的前后帧影像平均相似度；
根据每个所述候选间隔帧数对应的所述前后帧影像平均相似度，从所述候选间隔帧数中确定目标间隔帧数。
3.根据权利要求2所述的带有位置信息的无人机视频拼接方法，其特征在于，根据每个所述候选间隔帧数对应的所述前后帧影像平均相似度，从所述候选间隔帧数中确定目标间隔帧数的步骤，包括：
如果当前候选间隔帧数对应的所述前后帧影像平均相似度大于预设阈值，且下一候选间隔帧数对应的所述前后帧影像平均相似度小于所述预设阈值，则将所述当前候选间隔帧数确定为目标间隔帧数。
4.根据权利要求2所述的带有位置信息的无人机视频拼接方法，其特征在于，所述相似度估算模型采用孪生神经网络。
5.根据权利要求1所述的带有位置信息的无人机视频拼接方法，其特征在于，所述关键帧显示的内容包括无人机采集的画面和所述无人机采集所述画面时的初始位置信息；基于关键帧显示的内容，提取每个所述关键帧对应的目标位置信息的步骤，包括：
对于每个所述关键帧，通过文字识别模型识别该关键帧显示的所述初始位置信息对应的文本框；
如果所述文本框包括方位标识信息和数值信息，则根据所述方位标识信息和所述数值信息之间的对应关系，确定该关键帧对应的目标位置信息；
或者，如果所述文本框包括数值信息，则通过图形用户界面显示所述数值信息，并响应针对于所述数值信息的方位标注操作，确定该关键帧对应的目标位置信息；
其中，所述目标位置信息包括经度信息、纬度信息和高度信息中的一种或多种。
6.根据权利要求1所述的带有位置信息的无人机视频拼接方法，其特征在于，基于所述目标位置信息对每个所述关键帧进行拼接，得到所述无人机视频对应的数字正射影像的步骤，包括：
基于所述目标位置信息提取每个所述关键帧的场景信息；其中，所述场景信息包括影像外方位元素和场景稀疏点云；
根据预设高程数据和所述场景信息，对每个所述关键帧进行正射纠正处理和镶嵌处理，得到所述无人机视频对应的数字正射影像。
7.根据权利要求6所述的带有位置信息的无人机视频拼接方法，其特征在于，基于所述目标位置信息提取每个所述关键帧的场景信息的步骤，包括：
对于每个所述关键帧，基于所述目标位置信息确定该关键帧对应的邻近关键帧，并对该关键帧与所述邻近关键帧进行特征提取与匹配处理，以确定同名特征点；
对所述同名特征点进行初始像对选择处理、初始像对平差处理和异常影像滤除处理，以构建初始模型；
基于所述目标位置信息，对所述初始模型进行局部光束法平差处理和全局光束法平差处理，以确定场景信息。
8.一种带有位置信息的无人机视频拼接装置，其特征在于，包括：
视频获取模块，用于获取待拼接的无人机视频；
关键帧截取模块，用于通过预先训练得到的相似度估算模型，基于所述无人机视频确定目标间隔帧数，并按照所述目标间隔帧数从所述无人机视频中截取关键帧；
位置提取模块，用于基于关键帧显示的内容，提取每个所述关键帧对应的目标位置信息；
拼接模块，用于基于所述目标位置信息对每个所述关键帧进行拼接，得到所述无人机视频对应的数字正射影像。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311467089.8A CN117201708B (zh) | 2023-11-07 | 2023-11-07 | 带有位置信息的无人机视频拼接方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311467089.8A CN117201708B (zh) | 2023-11-07 | 2023-11-07 | 带有位置信息的无人机视频拼接方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117201708A true CN117201708A (zh) | 2023-12-08 |
| CN117201708B CN117201708B (zh) | 2024-02-02 |
Family
ID=89000190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311467089.8A Active CN117201708B (zh) | 2023-11-07 | 2023-11-07 | 带有位置信息的无人机视频拼接方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117201708B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101860310B1 (ko) * | 2017-07-11 | 2018-05-24 | 연세대학교 산학협력단 | 무인항공기가 촬영한 동영상을 이용하여 파노라마 이미지를 생성하는 방법 및 장치 |
| CN108921780A (zh) * | 2018-04-12 | 2018-11-30 | 南安市创培电子科技有限公司 | 一种无人机航拍序列图像快速拼接方法 |
| US20190333187A1 (en) * | 2018-04-30 | 2019-10-31 | Tata Consultancy Services Limited | Method and system for frame stitching based image construction in an indoor environment |
| CN110675450A (zh) * | 2019-09-06 | 2020-01-10 | 武汉九州位讯科技有限公司 | 基于slam技术的正射影像实时生成方法及系统 |
| CN111161154A (zh) * | 2019-12-31 | 2020-05-15 | 航天图景（北京）科技有限公司 | 一种无人机视频实时快速正射拼接系统及其拼接方法 |
| CN113094457A (zh) * | 2021-04-15 | 2021-07-09 | 成都纵横自动化技术股份有限公司 | 一种数字正射影像地图的增量式生成方法及相关组件 |
| CN116883251A (zh) * | 2023-09-08 | 2023-10-13 | 宁波市阿拉图数字科技有限公司 | 基于无人机视频的图像定向拼接与三维建模方法 |
-
2023
- 2023-11-07 CN CN202311467089.8A patent/CN117201708B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101860310B1 (ko) * | 2017-07-11 | 2018-05-24 | 연세대학교 산학협력단 | 무인항공기가 촬영한 동영상을 이용하여 파노라마 이미지를 생성하는 방법 및 장치 |
| CN108921780A (zh) * | 2018-04-12 | 2018-11-30 | 南安市创培电子科技有限公司 | 一种无人机航拍序列图像快速拼接方法 |
| US20190333187A1 (en) * | 2018-04-30 | 2019-10-31 | Tata Consultancy Services Limited | Method and system for frame stitching based image construction in an indoor environment |
| CN110675450A (zh) * | 2019-09-06 | 2020-01-10 | 武汉九州位讯科技有限公司 | 基于slam技术的正射影像实时生成方法及系统 |
| CN111161154A (zh) * | 2019-12-31 | 2020-05-15 | 航天图景（北京）科技有限公司 | 一种无人机视频实时快速正射拼接系统及其拼接方法 |
| CN113094457A (zh) * | 2021-04-15 | 2021-07-09 | 成都纵横自动化技术股份有限公司 | 一种数字正射影像地图的增量式生成方法及相关组件 |
| CN116883251A (zh) * | 2023-09-08 | 2023-10-13 | 宁波市阿拉图数字科技有限公司 | 基于无人机视频的图像定向拼接与三维建模方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117201708B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Uittenbogaard et al. | Privacy protection in street-view panoramas using depth and multi-view imagery | |
| CN108960211B (zh) | 一种多目标人体姿态检测方法以及系统 | |
| CN109960742B (zh) | 局部信息的搜索方法及装置 | |
| US8437501B1 (en) | Using image and laser constraints to obtain consistent and improved pose estimates in vehicle pose databases | |
| CN113989450B (zh) | 图像处理方法、装置、电子设备和介质 | |
| EP2874097A2 (en) | Automatic scene parsing | |
| CN112528878A (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
| CN104077760A (zh) | 一种航空摄影测量的快速拼接系统及其实现方法 | |
| CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| CN112435338A (zh) | 电子地图的兴趣点的位置获取方法、装置及电子设备 | |
| US11972507B2 (en) | Orthophoto map generation method based on panoramic map | |
| CN112348885A (zh) | 视觉特征库的构建方法、视觉定位方法、装置和存储介质 | |
| WO2024077935A1 (zh) | 一种基于视觉slam的车辆定位方法及装置 | |
| CN111982132B (zh) | 数据处理方法、装置和存储介质 | |
| CN114220063B (zh) | 目标检测方法及装置 | |
| KR102249381B1 (ko) | 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법 | |
| CN111753766A (zh) | 一种图像处理方法、装置、设备及介质 | |
| CN109034214B (zh) | 用于生成标记的方法和装置 | |
| CN117201708B (zh) | 带有位置信息的无人机视频拼接方法、装置、设备及介质 | |
| US20230053952A1 (en) | Method and apparatus for evaluating motion state of traffic tool, device, and medium | |
| CN113763468B (zh) | 一种定位方法、装置、系统及存储介质 | |
| CN114913105A (zh) | 激光点云融合方法、装置、服务器及计算机可读存储介质 | |
| CN111860051A (zh) | 一种基于车辆的回环检测方法及装置、车载终端 | |
| Han et al. | Traffic sign detection and positioning based on monocular camera | |
| CN115577728B (zh) | 一维码定位方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |