CN116664999A - 航飞视频和实景三维场景融合方法及融合展示方法 - Google Patents

航飞视频和实景三维场景融合方法及融合展示方法 Download PDF

Info

Publication number
CN116664999A
CN116664999A CN202310602523.2A CN202310602523A CN116664999A CN 116664999 A CN116664999 A CN 116664999A CN 202310602523 A CN202310602523 A CN 202310602523A CN 116664999 A CN116664999 A CN 116664999A
Authority
CN
China
Prior art keywords
video
live
action
frame
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310602523.2A
Other languages
English (en)
Inventor
陈良超
周智勇
彭辉
张俊前
胡开全
刘昌振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Institute Of Surveying And Mapping Science And Technology Chongqing Map Compilation Center
Original Assignee
Chongqing Institute Of Surveying And Mapping Science And Technology Chongqing Map Compilation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Institute Of Surveying And Mapping Science And Technology Chongqing Map Compilation Center filed Critical Chongqing Institute Of Surveying And Mapping Science And Technology Chongqing Map Compilation Center
Priority to CN202310602523.2A priority Critical patent/CN116664999A/zh
Publication of CN116664999A publication Critical patent/CN116664999A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种航飞视频和实景三维场景融合方法及融合展示方法，包括：首先，获取目标区域对应的实景三维模型和多序列的航飞视频，以及无人机采集航飞视频时所记录的设备控制参数，然后，在所述实景三维模型中设定漫游路径，之后，根据所述漫游路径选取相应的航飞视频，并根据相应的设备控制参数将航飞视频与所述实景三维模型融合。然后，通过航飞视频中涉及场景切换的切换帧及其相邻的视频帧确定相应的过渡帧，以及所述过渡帧对应的空间信息和视角信息，最后，根据相应的空间信息和视角信息将各过渡帧与实景三维模型进行融合，使航飞视频与实景三维模型之间平缓切换，从而降低视频与实景三维模型切换时的突兀性、跳跃感，使画面感保持流畅。

Description

航飞视频和实景三维场景融合方法及融合展示方法
技术领域
本发明涉及视频图像处理技术领域，具体涉及一种航飞视频和实景三维场景融合方法及融合展示方法。
背景技术
真实场景的不同表达方式效果不同，航飞视频按既定的飞行轨迹拍摄高清视频，能高度还原现实场景，增强现实感知效果，但视角相对单一，表达内容量较为局限，航飞视频间存在割裂感、时空离散性；实景三维场景通过高分辨倾斜摄影图像重建空间实体，从多角度重构现实世界、扩展空间特性。
但建模过程中存在一定遮挡和纹理丢失，无法真实还原现实空间，同时缺少了时间动态特性。因此，将航飞视频与实景三维场景进行融合表达才能更好地表达真实场景，增强空间立体感的同时增强场景真实感，赋予场景时间序列特性，做到既能丰富虚拟环境的真实性又能增强真实场景的时空特性，虚实结合更高效、更逼真地表达现实场景。
公告号为CN111225191B的专利公开了一种三维视频融合的方法、装置及电子设备。通过设备信息和位置信息，确定监控设备的实景三维视频融合参数，并基于视频融合参数，将监控设备的实时视频数据与监控设备预设的预置位所确定的实景三维模型进行实时融合。
公开号为CN113033412A的专利申请公开了一种基于实景融合的交通态势监控方法、装置、设备及介质，通过将获取到的多个待监控现场视频与三维实景模型进行融合以生成初始实景融合图，并将初始实景融合图输入至预设运行系统以使预设运行系统生成目标实景融合图。
现有技术虽然达到了视频与实景三维模型的融合，但是视频的视觉效果与实景三维模型的视觉效果之间存在一定差异性，如果直接将实景三维模型切换为视频，或者直接将视频切换为实景三维模型，在视觉上产生一定的突兀性、跳跃感等，造成画面感不流畅。
发明内容
针对现有技术存在的不足，本发明提出一种航飞视频和实景三维场景融合方法及融合展示方法。可以降低视频与实景三维模型切换时的突兀性、跳跃感，使画面感保持流畅。具体技术方案如下：
第一方面，提供了一种航飞视频和实景三维场景融合方法，包括：
获取目标区域对应的实景三维模型和航飞视频，以及无人机采集航飞视频时所记录的设备控制参数；
根据相应的设备控制参数将航飞视频与所述实景三维模型融合；
通过航飞视频中涉及场景切换的切换帧及其相邻的视频帧确定相应的过渡帧，以及所述过渡帧对应的空间信息和视角信息；
根据相应的空间信息和视角信息将各过渡帧与所述实景三维模型融合。
结合第一方面，在第一方面的第一种可实现方式中，获取所述目标区域对应的倾斜摄影图像，通过所述倾斜摄影图像构建所述实景三维模型。
结合第一方面，在第一方面的第二种可实现方式中，获取所述航飞视频包括：
在所述实景三维模型中预设航飞轨迹和拍摄视角，并按照预设的航飞轨迹和拍摄视角进行预演；
基于预演效果调整所述航飞轨迹和拍摄视角，直至视频拍摄效果达到最佳，确定最佳航飞轨迹和最佳拍摄视角；
根据所述最佳航飞轨迹和最佳拍摄视角，控制无人机对所述目标区域进行拍摄，获取所述航飞视频。
结合第一方面，在第一方面的第三种可实现方式中，还包括：对所述航飞视频进行降噪处理和/或色彩校正。
结合第一方面，在第一方面的第四种可实现方式中，将所述航飞视频与实景三维模型融合包括：
通过相应的设备控制参数确定所述航飞视频中涉及场景切换的切换帧对应的空间信息和视角信息；
将所述切换帧的视频帧图像与实景三维模型中相应位置处的场景图像进行线性匹配；
根据线性匹配结果对所述切换帧对应的空间信息和视角信息进校正。
结合第一方面，在第一方面的第五种可实现方式中，根据所述切换帧及其相邻的视频帧，采用视频插帧算法推算出相应的过渡帧。
结合第一方面，在第一方面的第六种可实现方式中，确定所述过渡帧包括：
根据切换帧及其相邻的视频帧，采用视频插帧算法推算出初始过渡帧，以及初始过渡帧对应的空间信息和视角信息；
通过所述初始过渡帧对应的空间信息和视角信息确定实景三维模型中相应位置处的场景图像；
采用加权平均方法将所述过渡帧对应的视频帧图像与所述场景图像进行融合得到所述过渡帧。
结合第一方面的第六种可实现方式，在第一方面的第七种可实现方式中，根据所述切换帧、场景图像对应的位置分别与初始过渡帧对应的位置之间的相对位置关系，确定所述视频帧图像、场景图像对应的权重。
第二方面，提供了一种实景三维模型视频融合展示方法，包括：
获取目标区域对应的实景三维模型和多序列的航飞视频，以及无人机采集航飞视频时所记录的设备控制参数；
在所述实景三维模型中设定漫游路径；
根据所述漫游路径选取相应的航飞视频，并根据相应的设备控制参数将航飞视频与所述实景三维模型融合；
通过航飞视频中涉及场景切换的切换帧及其相邻的视频帧确定相应的过渡帧，以及所述过渡帧对应的空间信息和视角信息；
根据相应的空间信息和视角信息将各过渡帧与实景三维模型进行融合。
结合第二方面，在第二方面的第一种可实现方式中，还包括：根据所述选取的航飞视频对应的无人机飞行轨迹对设定的漫游路径进行线性变换。
有益效果：采用本发明的航飞视频和实景三维场景融合方法及融合展示方法，可以通过航飞视频中涉及场景切换的切换帧，以及切换帧相邻的视频帧，推算出航飞视频与实景三维模型转换所对应的过渡帧。通过将过渡帧与实景三维模型融合，可以使航飞视频平缓切换至实景三维模型，或实景三维模型平缓切换至航飞视频，从而降低视频与实景三维模型切换时的突兀性、跳跃感，使画面感保持流畅。
附图说明
为了更清楚地说明本发明具体实施方式，下面将对具体实施方式中所需要使用的附图作简单地介绍。在所有附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明一实施例提供的航飞视频和实景三维场景融合方法的流程图；
图2为本发明一实施例提供的采集航飞视频的流程图；
图3为本发明一实施例提供的视频帧的空间信息和视角信息的校正流程图；
图4为本发明一实施例提供的生成场景切换对应的过渡帧的流程图；
图5为本发明一实施例提供的实景三维模型视频融合展示方法的流程图；
图6为本发明一实施例提供的视频预处理的流程示意图；
图7为本发明一实施例提供的切换帧的视频帧图像与场景图像的线性匹配示意图；
图8为本发明一实施例提供的推算初始过渡帧的原理示意图；
图9为本发明一实施例提供的初始过渡帧与实景三维模型图像融合的原理示意图；
图10为本发明一实施例提供的漫游路径示意图；
图11为本发明一实施例提供的线性处理后的漫游路径示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
实施例一
如图1所示的航飞视频和实景三维场景融合方法的流程图，该融合方法包括：
步骤1、获取目标区域对应的实景三维模型和多序列的航飞视频，以及无人机采集航飞视频时所记录的设备控制参数；
步骤2、根据相应的设备控制参数将航飞视频与所述实景三维模型融合；
步骤3、通过航飞视频中涉及场景切换的切换帧及其相邻的视频帧确定相应的过渡帧，以及所述过渡帧对应的空间信息和视角信息；
步骤4、根据相应的空间信息和视角信息将各过渡帧与所述实景三维模型融合。
具体而言，首先，可以通过现有的实景三维模型构建方法搭建起目标区域的实景三维模型，并通过无人机采集目标区域的航飞视频。在采集航飞视频时，可以实时记录视频采集时的设备控制参数。
应理解，在本实施例中，所述设备控制参数包括无人机在飞行过程中的飞行轨迹、视角、航向、相机倾向等参数。
然后，通过记录的设备控制参数确定各序列航飞视频中各视频帧的空间信息和视角信息，基于相应的空间信息和视角信息将各视频帧与实景三维模型融合，从而达到航飞视频与实景三维模型融合的目的。
之后，可以通过航飞视频中的切换帧，以及相邻的视频帧推算出用于场景切换过渡的过渡帧，以及过渡帧对应的空间信息和视角信息。最后，基于相应的空间信息和视角信息将过渡帧与实景三维模型融合，可以使航飞视频平缓切换至实景三维模型，或实景三维模型平缓切换至航飞视频，从而降低视频与实景三维模型切换时的突兀性、跳跃感，使画面感保持流畅。
在本实施例中，可选的，在步骤1中，可以通过获取所述目标区域对应的倾斜摄影图像，并通过所述倾斜摄影图像构建所述实景三维模型。
具体而言，可以通过无人机搭载的多镜头摄影传感器获取高分辨率、高重叠率的倾斜摄影图像，基于倾斜摄影图像构建实景三维模型，并对模型做修复、贴图、裁剪等处理，构建模型有效立体视域，使三维模型效果更加立体、直观。
在本实施例中，可选的，如图2所示，在步骤1中，获取所述航飞视频包括：
步骤1-1、在所述实景三维模型中预设航飞轨迹和拍摄视角，并按照预设的航飞轨迹和拍摄视角进行预演；
步骤1-2、基于预演效果调整所述航飞轨迹和拍摄视角，直至视频拍摄效果达到最佳，确定最佳航飞轨迹和最佳拍摄视角；
步骤1-3、根据所述最佳航飞轨迹和最佳拍摄视角，控制无人机对所述目标区域进行拍摄，获取所述航飞视频。
具体而言，在本实施例中，可以采用线性拍摄方式采集航飞视频。具体的，可以在建立好的实景三维模型中，预览模型显示效果，标记模型中需要特别进行视频展示的区域，在三维场景中预设航飞轨迹，场景视角沿预设的轨迹浏览模型，反复调整轨迹、相机视角倾向达到较好的浏览效果。在该过程中可预演航飞视频拍摄效果，直至视频拍摄效果达到最佳，确定视频拍摄聚焦于需要展示的区域，最终导出最佳航飞轨迹和最佳拍摄视角。
在拍摄航飞视频时，通过无人机的最佳航飞轨迹对应无人机的航飞路径，通过最佳拍摄视角对应无人机的云台俯仰角、横滚角和偏航角，无人机沿航飞路径飞行，并在飞行过程中实时采集航飞视频。在采集航飞视频的过程中实时按照最佳拍摄视角调整云台俯仰角、横滚角和偏航角。
由于在实际过程可能会与先前设置的参数出现偏差，所以，在采集视频的同时，可以精确记录实际飞行过程中的飞行轨迹、拍摄视角、航向等飞行参数。在后续航飞视频和实景三维模型的融合过程中，可以根据记录的实际飞行过程中的轨迹、视角、航向等飞行参数进行融合。
应理解，本实施例仅以线性拍摄进行举例说明，还可以采用定点拍摄的方式采集航飞视频。针对定点拍摄，可以结合拍摄区域，在实景三维模型中选取最优空间位置和视角，并记录相机的空间位置、视角信息。在拍摄时，无人机可以移动至相机的空间位置处，并按照该空间位置对应的视角信息采集视频。
在本实施例中，可选的，还包括：对所述航飞视频进行降噪处理和/或色彩校正。
具体而言，由于天气、飞行状况、拍摄环境等因素的影响，所获取的航飞视频存在多噪声点、对比度差等问题，存在一定程度失真，需对获取到的航飞视频进行预处理操作，如图6所示，预处理操作包括降噪处理和色彩校正。
降噪处理是对于航飞视频中较明显、较粗的噪声点，采用单帧降噪和多帧降噪相结合的方式进行处理。其中，单帧降噪主要是采用滤波的方式对视频帧进行变换，即通过周围像素点对当前像素点通过加权平均的方式做平滑处理。多帧降噪，基于单帧降噪结果对多张视频帧乃至整个航飞视频通过加权平均进行对齐、融合。
色彩调整是对航飞视频的明暗程度、清晰度等信息进行调整。航飞视频在拍摄过程中由于光线角度、环境变化等因素的影响，可能会造成视频过暗、过亮、色彩不够丰富等问题，因此需要进行色彩校正，调整视频色彩饱和度、亮度、对比度、锐度等参数，改善视觉效果，提高清晰度，从而获得视频清晰、可视化效果好的航飞视频。同时，可以结合实景三维场景的色彩空间，对航飞视频色彩进行调整，使两者色彩空间尽量贴合，进而增强融合度。
在本实施例中，切换帧包括航飞视频的起始帧、末尾帧，以及航飞视频内部切入视频和切出视频时对应的视频帧。在将航飞视频与实景三维模型融合前，可以根据记录的无人机航飞轨迹确定切换帧的空间位置信息，并根据切换帧的空间位置信息在实景三维场景标记航飞视频的融合点，作为航飞视频置入实景三维中的初配准，以便后续进行航飞视频的视频帧与实景三维模型的场景图像线性匹配。
在本实施例中，可选的，如图3所示，在步骤2中，将所述航飞视频与实景三维模型融合包括：
步骤2-1、通过相应的设备控制参数确定所述航飞视频中涉及场景切换的切换帧对应的空间信息和视角信息；
步骤2-2、将所述切换帧的视频帧图像与实景三维模型中相应位置处的场景图像进行线性匹配；
步骤2-3、根据线性匹配结果对所述切换帧对应的空间信息和视角信息进校正。
具体而言，航飞视频其本质是比实景三维模型重叠率更高的摄影图像，而实景三维模型本质是高分辨率、全视角的摄影图像集。航飞视频中各视频帧的内容与实景三维模型高度相似。因此，将航飞视频中视频帧图像与实景三维场景内容高度贴合，即可实现航飞视频与实景三维模型的高度融合，其中实景三维模型中标注的融合点即为航飞视频与实景三维场景内容贴合的关键位置。
由于航飞视频中各视频帧对应的飞行轨迹和视频帧图像呈现高度的连续性。所以，结合记录的飞行轨迹、拍摄视角、坐标信息可以计算出航飞视频中各视频帧对应的空间信息和视角信息，从而准确定位视频帧在实景三维场景中空间位置和朝向。
其中，航飞视频的起始帧和末尾帧是航飞视频嵌入实景三维模型的关键，航飞视频与实景三维模型的转换过程中表达的图像内容是一致的，起始帧和末尾帧的视频帧图像与实景三维场景图像是高度连续的。
如图7所示，可以结合实景三维场景中高分辨率图像对起始帧和末尾帧的视频帧图像进行线性匹配，并根据匹配结果校正起始帧和末尾帧的空间信息和视角信息，获得更精确的起始帧和末尾帧对应的空间信息和视角信息，最后根据起始帧和末尾帧对应的空间信息和视角信息即可实现空间信息和视角信息的视频帧图像与实景三维场景图像的高度贴合。
在本实施例中，可选的，在步骤3中，可以根据所述切换帧及其相邻的视频帧，采用视频插帧算法推算出相应的过渡帧。
具体而言，如图8所示，航飞视频本质上是高度连续的图像，结合切换帧和航飞视频内部的与切换帧相邻的视频帧中像元1运动方向，采用现有的视频插帧算法可以推算出过渡帧中的像元1的位置，进而推算出过渡帧的视频帧内容，结合以上已知帧的空间信息和视角信息可推算出过渡帧对应的空间信息和视角信息。对于视频插帧算法的具体步骤，属于本领域的常用技术手段，此处不再赘述。
在本实施例中，可选的，在步骤4中，可以通过对应的空间信息确定过渡帧在实景三维模型中的空间位置。还可以通过视角信息确定过渡帧在实景三维模型中的朝向，如此即可实现过渡帧与实景三维模型的融合。
实施例二
实施例二与实施例一大致相同，其主要区别在于：如图4所示，在步骤3中，确定所述过渡帧包括：
步骤3-1、根据切换帧及其相邻的视频帧，采用视频插帧算法推算出初始过渡帧，以及初始过渡帧对应的空间信息和视角信息；
步骤3-3、通过所述初始过渡帧对应的空间信息和视角信息确定实景三维模型中相应位置处的场景图像；
步骤3-3、采用加权平均方法将所述初始过渡帧对应的视频帧图像与所述场景图像进行融合得到所述过渡帧。
具体而言，如图9所示，首先，可以结合切换帧和航飞视频内部的与切换帧相邻的视频帧，采用现有的视频插帧算法可以推算出过渡帧的视频帧内容，结合以上已知帧的空间信息和视角信息可推算出过渡帧对应的空间信息和视角信息。
然后，根据推算出的过渡帧对应的空间信息确定实景三维模型中相应位置对应的场景图像。最后，采用加权平均的方法计算像元值或灰度值，从而将过渡帧对应的视频帧图像与所述场景图像进行融合得到与实景三维模型贴合度更高的过渡帧。具体计算式如下所示：
其中，p为融合后的过渡帧，p1为初始过渡帧的像元值或灰度值，p2为实景三维模型的场景图像的像元值或灰度值，w1为初始过渡帧的权重，w2为场景图像的权重。
在本实施例中，可选的，根据所述切换帧、场景图像对应的位置分别与初始过渡帧对应的位置之间的相对位置关系，确定所述视频帧图像、场景图像对应的权重。
具体而言，可以根据初始过渡帧对应的空间信息确定初始过渡帧所对应的位置与切换帧所对应的位置之间的距离，以及初始过渡帧所对应的位置与航飞视频切出后的场景图像所对应的位置之间的距离。
将二者进行比较，根据比较结果赋予视频帧图像与所述场景图像进行融合时的权重。越靠近视频原始帧其内容越贴合视频内容，则赋予推算的过渡帧更高的权重，越靠近实景三维场景其内容越贴合场景图像，则赋予场景图像更高的权重。
当初始过渡帧、场景图像之间的距离与初始过渡帧、切换帧之间的距离相差不明显时，或者距计算比较困难时。可以根据切换帧与场景图像之间存在的初始过渡帧的数量确定总权重，再根据总权重确定各初始过渡帧的权重。
例如，首先，可以将场景图像、切换帧与对初始过渡帧按空间位置进行排序，如切换帧、初始过渡帧1、初始过渡帧2、初始过渡帧3、初始过渡帧4、初始过渡帧5、初始过渡帧6、三维场景。然后，可以根据初始过渡帧的总数确定总权重为7。最后，可以将初始过渡帧1的权重直接赋值为6，此位置对应的场景图像赋权为1。将初始过渡帧2直接赋权为5，此位置对应的场景图像赋权为2，以此类推，可以确定所有初始过渡帧对应的权重。
如图5所示的实景三维模型视频融合展示方法的流程图，该展示方法包括：
步骤1、获取目标区域对应的实景三维模型和多序列的航飞视频，以及无人机采集航飞视频时所记录的设备控制参数；
步骤2、在所述实景三维模型中设定漫游路径；
步骤3、根据所述漫游路径选取相应的航飞视频，并根据相应的设备控制参数将航飞视频与所述实景三维模型融合；
步骤4、通过航飞视频中涉及场景切换的切换帧及其相邻的视频帧确定相应的过渡帧，以及所述过渡帧对应的空间信息和视角信息；
步骤5、根据相应的空间信息和视角信息将各过渡帧与实景三维模型进行融合。
具体而言，首先，可以通过现有的实景三维模型构建方法搭建起目标区域的实景三维模型，并通过无人机采集目标区域的航飞视频。在采集航飞视频时，可以实时记录视频采集时的设备控制参数。
然后，在实景三维模型中设定漫游路径，漫游路径包括实景三维模型中所展示区域的空间位置数据。
之后，可以根据设定的漫游路径中的空间位置数据匹配选取相应的航飞视频，并通过记录的设备控制参数确定选取的航飞视频中各视频帧的空间信息和视角信息，基于相应的空间信息和视角信息将各视频帧与实景三维模型融合。
然后，可以通过选取的航飞视频中的切换帧，以及相邻的视频帧推算出用于场景切换过渡的过渡帧，以及过渡帧对应的空间信息和视角信息。最后，基于相应的空间信息和视角信息将过渡帧与实景三维模型融合，可以使航飞视频平缓切换至实景三维模型，或实景三维模型平缓切换至航飞视频，从而降低视频与实景三维模型切换时的突兀性、跳跃感，使画面感保持流畅。
在本实施例中，可选的，在步骤2中还包括：根据所述选取的航飞视频对应的无人机飞行轨迹对设定的漫游路径进行线性变换。
具体而言，在实际融合展示中，航飞视频在实景三维模型中的分布是离散的，下一航飞视频的起始位置的空间位置和视角信息与上一航飞视频终止位置的空间位置和视角信息有可能是不一致。
在进行视频间连续展示时需要通过三维场景转换视角和衔接视频。通过在三维场景中设置漫游路径，动态地将上一视频切出位置和视角转换到下一视频起始位置和视角，而航飞视频的轨迹是固定的，且视频起终位置的视角是固定的。因此，可以对实景三维中的漫游路径做线性处理，线性衔接漫游路径和航飞轨迹，保证航飞轨迹和场景漫游路径的连贯性，实现实景三维和航飞视频间线性切入切出，进而保证场景和视频切换过程中视角的连续性，实现航飞视频结合实景三维场景的无缝转场、无缝衔接。
在本实施例中，漫游路径的线性处理可以采用拉格朗日插值算法，或者样条函数插值算法。从而拟合出衔接漫游路径和航飞轨迹的转换路径。
例如，如10所示，融合展示视角从a点处线性切入航飞路径1，融合展示内容为航飞视频1。从a1点切出视频沿航飞路径1展示实景三维模型的场景图像，然后从a2切回航飞视频1，航飞视频1结束后从b点切出视频，相机运动轨迹沿b点切线切出。
为了获得平滑的运动轨迹，可以对图10中设置的漫游路径bcd做线性变换，转化为平滑的曲线，得到如图11中所示的曲线bcd，融合展示视角沿曲线bcd展示实景三维场景，期间将航飞视频1朝内的视角逐渐旋转至航飞视频2视角位置，在d点处线性切入航飞视频2展示视频2的内容。重复以上步骤，可实现航飞视频与实景三维场景的融合展示。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种航飞视频和实景三维场景融合方法，其特征在于，包括：
获取目标区域对应的实景三维模型和航飞视频，以及无人机采集航飞视频时所记录的设备控制参数；
根据相应的设备控制参数将航飞视频与所述实景三维模型融合；
通过航飞视频中涉及场景切换的切换帧及其相邻的视频帧确定相应的过渡帧，以及所述过渡帧对应的空间信息和视角信息；
根据相应的空间信息和视角信息将过渡帧与所述实景三维模型融合。
2.根据权利要求1所述的航飞视频和实景三维场景融合方法，其特征在于，获取所述目标区域对应的倾斜摄影图像，通过所述倾斜摄影图像构建所述实景三维模型。
3.根据权利要求1所述的航飞视频和实景三维场景融合方法，其特征在于，获取所述航飞视频包括：
在所述实景三维模型中预设航飞轨迹和拍摄视角，并按照预设的航飞轨迹和拍摄视角进行预演；
基于预演效果调整所述航飞轨迹和拍摄视角，直至视频拍摄效果达到最佳，确定最佳航飞轨迹和最佳拍摄视角；
根据所述最佳航飞轨迹和最佳拍摄视角，控制无人机对所述目标区域进行拍摄，获取所述航飞视频。
4.根据权利要求1所述的航飞视频和实景三维场景融合方法，其特征在于，还包括：对所述航飞视频进行降噪处理和/或色彩校正。
5.根据权利要求1所述的航飞视频和实景三维场景融合方法，其特征在于，将所述航飞视频与实景三维模型融合包括：
通过相应的设备控制参数确定所述航飞视频中涉及场景切换的切换帧对应的空间信息和视角信息；
将所述切换帧的视频帧图像与实景三维模型中相应位置处的场景图像进行线性匹配；
根据线性匹配结果对所述切换帧对应的空间信息和视角信息进校正。
6.根据权利要求1所述的航飞视频和实景三维场景融合方法，其特征在于，根据所述切换帧及其相邻的视频帧，采用视频插帧算法推算出相应的过渡帧。
7.根据权利要求1所述的航飞视频和实景三维场景融合方法，其特征在于，确定所述过渡帧包括：
根据切换帧及其相邻的视频帧，采用视频插帧算法推算出初始过渡帧，以及初始过渡帧对应的空间信息和视角信息；
通过所述初始过渡帧对应的空间信息和视角信息确定实景三维模型中相应位置处的场景图像；
采用加权平均方法将所述初始过渡帧对应的视频帧图像与所述场景图像进行融合得到所述过渡帧。
8.根据权利要求7所述的航飞视频和实景三维场景融合方法，其特征在于，根据所述切换帧、场景图像对应的位置分别与初始过渡帧对应的位置之间的相对位置关系，确定所述视频帧图像、场景图像对应的权重。
9.一种实景三维模型视频融合展示方法，其特征在于，包括：
获取目标区域对应的实景三维模型和航飞视频，以及无人机采集航飞视频时所记录的设备控制参数；
在所述实景三维模型中设定漫游路径；
根据所述漫游路径选取相应的航飞视频，并根据相应的设备控制参数将航飞视频与所述实景三维模型融合；
通过航飞视频中涉及场景切换的切换帧及其相邻的视频帧确定相应的过渡帧，以及所述过渡帧对应的空间信息和视角信息；
根据相应的空间信息和视角信息将各过渡帧与实景三维模型进行融合。
10.根据权利要求9所述的实景三维模型视频融合展示方法，其特征在于，还包括：根据所述选取的航飞视频对应的无人机飞行轨迹对设定的漫游路径进行线性变换。
CN202310602523.2A 2023-05-25 2023-05-25 航飞视频和实景三维场景融合方法及融合展示方法 Pending CN116664999A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310602523.2A CN116664999A (zh) 2023-05-25 2023-05-25 航飞视频和实景三维场景融合方法及融合展示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310602523.2A CN116664999A (zh) 2023-05-25 2023-05-25 航飞视频和实景三维场景融合方法及融合展示方法

Publications (1)

Publication Number Publication Date
CN116664999A true CN116664999A (zh) 2023-08-29

Family

ID=87718386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310602523.2A Pending CN116664999A (zh) 2023-05-25 2023-05-25 航飞视频和实景三维场景融合方法及融合展示方法

Country Status (1)

Country Link
CN (1) CN116664999A (zh)

Similar Documents

Publication Publication Date Title
US7054478B2 (en) Image conversion and encoding techniques
US9706135B2 (en) Method and apparatus for generating an image cut-out
US9160938B2 (en) System and method for generating three dimensional presentations
US20140009462A1 (en) Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
CN104408701A (zh) 一种大场景视频图像拼接方法
EP1843581A2 (en) Video processing and display
EP3192246B1 (en) Method and apparatus for dynamic image content manipulation
EP3427474B1 (de) Bildverarbeitungsverfahren, bildverarbeitungsmittel und bildverarbeitungsvorrichtung zur erzeugung von abbildungen eines teils eines dreidimensionalen raums
CN107396111B (zh) 介导现实中自动视频插帧补偿方法及系统
US9576335B2 (en) Method, device, and computer program for reducing the resolution of an input image
CN105141841B (zh) 摄像设备及其方法
CN112365407B (zh) 视角可配置的摄像机全景拼接方法
EP2229784A1 (de) Verfahren und vorrichtung zur echtzeit-multiview-erzeugung
Bleyer et al. Temporally consistent disparity maps from uncalibrated stereo videos
CN111062867A (zh) 一种视频超分辨率重建方法
CN109618093A (zh) 一种全景视频直播方法及系统
WO2014126032A1 (ja) 画像処理装置、画像処理方法、および記録媒体
CN114049464A (zh) 一种三维模型的重建方法及设备
US6606422B1 (en) Method and apparatus for processing and recovering images
US11128815B2 (en) Device, method and computer program for extracting object from video
US20140055446A1 (en) Apparatus and method for depth-based image scaling of 3d visual content
CN116664999A (zh) 航飞视频和实景三维场景融合方法及融合展示方法
EP3515082B1 (en) Server device for streaming video content and client device for receiving and rendering video content
JP3091644B2 (ja) ２次元画像の３次元化方法
EP4246988A1 (en) Image synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination