CN114387198B - 一种影像与实景模型的融合显示方法、装置及介质 - Google Patents
一种影像与实景模型的融合显示方法、装置及介质 Download PDFInfo
- Publication number
- CN114387198B CN114387198B CN202210291887.9A CN202210291887A CN114387198B CN 114387198 B CN114387198 B CN 114387198B CN 202210291887 A CN202210291887 A CN 202210291887A CN 114387198 B CN114387198 B CN 114387198B
- Authority
- CN
- China
- Prior art keywords
- image
- photo
- photographic
- real
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000004927 fusion Effects 0.000 title claims abstract description 66
- 230000000007 visual effect Effects 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000003860 storage Methods 0.000 claims description 56
- 238000004590 computer program Methods 0.000 claims description 14
- 230000008520 organization Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 11
- 238000009877 rendering Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 5
- 238000002156 mixing Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 15
- 230000007547 defect Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013467 fragmentation Methods 0.000 description 3
- 238000006062 fragmentation reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910052792 caesium Inorganic materials 0.000 description 1
- TVFDJXOCXUVLDH-UHFFFAOYSA-N caesium atom Chemical compound [Cs] TVFDJXOCXUVLDH-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种影像与实景模型的融合显示方法、装置及介质,主要涉及摄影测量领域。该方法先采集影像数据,并对影像数据进行预处理;然后,根据相机位姿与摄影像片的外方位元素的匹配结果从摄影像片中获取目标像片;最后,将目标像片中的影像与实景模型进行融合显示。可见,该方法通过将影像与实景模型进行融合显示,从视觉上弥补了实景模型可能出现的表面空洞、凹凸不平、存在空中悬浮物、显示模糊和精度不高等不足,更加直观、真实地反馈实景现状,有效提高了用户的视觉浏览效果。
Description
技术领域
本申请涉及摄影测量领域,特别是涉及一种影像与实景模型的融合显示方法、装置及介质。
背景技术
目前,倾斜摄影测量技术因其低成本、高机动、高时效等优点,正逐渐成为实景三维建模重要手段之一。相较于传统三维建模方式,倾斜摄影实景建模基于影像丰富的地物侧面纹理及位置信息,利用专业软件进行空三加密、三维建模、纹理映射、模型修整等一系列工序,可在短时间内快速完成大场景实景模型专业化构建,实现城市空间立体可视化表达,极大降低了数据采集和模型生产的时间成本,有效提升三维重建效率,且模型成果可以真实地反映地物外观、位置、高度等属性,为真实效果和测绘级精度提供保证。
当前的倾斜摄影实景建模存在不足之处,例如影像匹配过程中因缺乏特征点位而造成的模型空洞;地物截面、部件尺寸过小以及复杂镂空建筑物超出计算机识别能力而出现模型缺失或悬浮;水面、玻璃幕墙及其他具有较强光反射效果的材质因缺少纹理特征而形成缺损面;因航飞作业参数设置、光影条件及建模软件等主观因素影响导致模型建筑物出现重影、拉花、错位、粘连等问题。上述不足之处会严重影响建模效果,给用户带来较差的视觉体验。
由此可见,如何提高用户的视觉浏览效果是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种影像与实景模型的融合显示方法、装置及介质,用于从视觉上实现影像与实景模型之间的融合,提高用户的视觉浏览效果。
为解决上述技术问题,本申请提供一种影像与实景模型的融合显示方法,包括:
采集影像数据,并对影像数据进行预处理;其中,影像数据包括摄影像片和像片参数;
根据相机位姿与摄影像片的外方位元素的匹配结果从摄影像片中获取目标像片;
利用像片参数将目标像片中的影像与实景模型进行融合显示。
优选地,对影像数据进行预处理包括:
将摄影像片的位置参数转换到实景模型使用的坐标基准;
将摄影像片的姿态参数从第一角度系统转换至第二角度系统;其中,第二角度系统用于表征实景模型的方位。
优选地,在根据相机位姿与摄影像片的外方位元素的匹配结果从摄影像片中获取目标像片之前,还包括:
根据预先制定的存储组织规范存储摄影像片;其中,预先制定的存储组织规范为根据摄影像片的数量或用户访问量结合像片参数形成的存储组织规范;
根据像片参数和/或存储路径创建索引。
优选地,根据预先制定的存储组织规范存储摄影像片包括:
根据预设规则划分像片空间;
建立空间划分单元与存储节点之间的映射关系;
根据映射关系将摄影像片上传至对应的存储节点。
优选地,根据相机位姿与摄影像片的外方位元素的匹配结果从摄影像片中获取目标像片包括:
通过索引查询在相机位置的缓冲半径范围内的摄影像片;
根据相机位姿与查询得到的摄影像片的外方位元素对查询得到的摄影像片进行空间位置相似性和角度相似性度量;
根据空间位置相似性和角度相似性的匹配结果从查询得到的摄影像片中获取目标像片。
优选地,利用像片参数将目标像片中的影像与实景模型进行融合显示包括:
利用像片参数计算影像叠加在显示界面的坐标系下的尺寸和空间数据;
根据计算得到的尺寸和空间数据对影像进行图形转换,得到图形数据;
根据影像与实景模型的空间几何对应关系将图形数据渲染到实景模型上并进行显示。
优选地,在利用像片参数将目标像片中的影像与实景模型进行融合显示之前,还包括:
将目标像片存储至一级缓存中;
从采集的全部摄影像片中筛选出在当前场景的预设范围内的摄影像片;
将筛选得到的摄影像片存储至二级缓存中。
为解决上述技术问题,本申请还提供一种影像与实景模型的融合显示装置,包括:
采集模块,用于采集影像数据,并对影像数据进行预处理;其中,影像数据包括摄影像片和像片参数;
获取模块,用于根据相机位姿与摄影像片的外方位元素的匹配结果从摄影像片中获取目标像片;
显示模块,用于利用像片参数将目标像片中的影像与实景模型进行融合显示。
为解决上述技术问题,本申请还提供一种影像与实景模型的融合显示装置,包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现上述影像与实景模型的融合显示方法的步骤。
为解决上述技术问题,本申请还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述影像与实景模型的融合显示方法的步骤。
本申请提供一种影像与实景模型的融合显示方法,该方法先采集影像数据,并对影像数据进行预处理;然后,根据相机位姿与摄影像片的外方位元素的匹配结果从摄影像片中获取目标像片;最后,将目标像片中的影像与实景模型进行融合显示。可见,该方法通过将影像与实景模型进行融合显示,从视觉上弥补了实景模型可能出现的表面空洞、凹凸不平、存在空中悬浮物、显示模糊和精度不高等不足,更加直观、真实地反馈实景现状,有效提高了用户的视觉浏览效果。
此外,本申请所提供的影像与实景模型的融合显示装置及介质与影像与实景模型的融合显示方法相对应,效果如上。
附图说明
为了更清楚地说明本申请实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的一种影像与实景模型的融合显示方法的流程图;
图2为本申请提供的一种存储和搜索摄影像片的流程图;
图3为本申请提供的一种角度相似性度量的示意图;
图4为本申请提供的一种影像几何矫正的示意图;
图5为本申请提供的一种影像调度的流程图;
图6为本申请提供的一种影像与实景模型的融合显示装置的结构图;
图7为本申请提供的另一种影像与实景模型的融合显示装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下,所获得的所有其他实施例,都属于本申请保护范围。
本申请的核心是提供一种影像与实景模型的融合显示方法、装置及介质,用于从视觉上实现影像与实景模型之间的融合,提高用户的视觉浏览效果。
为了使本技术领域的人员更好地理解本申请方案,下面结合附图和具体实施方式对本申请作进一步的详细说明。
图1为本申请提供的一种影像与实景模型的融合显示方法的流程图,如图1所示,该方法包括:
S1:采集影像数据,并对影像数据进行预处理。
影像数据包括摄影像片和像片参数,在具体实施中,影像数据为经过空中三角测量后的航拍像片及其基础数据。采集到影像数据后,为保障后续参与融合显示的倾斜影像的准确性,应先解析和整理影像数据,再判断影像数据是否完整、格式是否正确,具体地,可根据经计算纠正后的无畸变影像判断摄影像片是否完整,根据存储格式判断摄影像片的格式是否正确,根据像片参数的种类判断像片参数是否齐全。需要说明的是,像片参数包括相机参数、像幅尺寸、像素大小、畸变参数、摄影像片的内外方位元素等参数。另外,本实施例中的摄影像片采用统一的JPG格式,在具体实施中可以采用其它格式如PNG格式。
S2:根据相机位姿与摄影像片的外方位元素的匹配结果从摄影像片中获取目标像片。
相机位姿包括相机在实景三维场景中的位置参数和姿态参数,摄影像片的外方位元素包括摄影像片的位置参数和姿态参数,可以理解的是,显示界面所显示的实景模型为三维模型,且所显示的实景模型取决于相机的位置和角度,因此融合显示的关键在于找出外方位元素与相机位姿最相近的摄影像片,即目标像片。本实施例通过相机位姿与像片的外方位元素的相似性匹配从采集的摄影像片中找到目标像片,以实现摄影像片中的影像与实景模型间的最大程度重合。具体地,可先从采集的所有摄影像片中筛选出在场景相机位置的缓冲半径范围内的摄影像片,再对筛选出的摄影像片进行相似性度量,从中选出外方位元素与相机位姿最相近的摄影像片作为目标像片以参与融合显示。需要说明的是,显示界面可以是计算机窗口,也可以是显示器界面,还可以是浏览器客户端,本实施例对此不作限定,另外,缓冲半径为预设的距离范围,缓冲半径不宜过大,在具体实施中可根据实际情况设置具体地距离范围,满足在相机位姿的缓冲半径内这一条件的摄影像片都可认为是外方位元素与相机位姿相近的摄影像片,进而可从中选出外方位元素与相机位姿最相近的摄影像片以作为目标像片。
S3:利用像片参数将目标像片中的影像与实景模型进行融合显示。
本实施例将二维影像与三维模型进行融合显示以从视觉角度达到无缝融合效果。在具体实施中,可先将目标像片中的影像像素点由其所对应的物方空间坐标转换为显示界面中的坐标,然后,基于显示界面中的坐标可得到目标像片在显示界面坐标系下的尺寸和空间数据,再根据目标像片在显示界面坐标系下的尺寸和空间数据对目标像片中的影像进行图形转换,将该影像转换为像素点坐标与显示界面中的坐标一一对应的图形数据,最后,通过将该图形数据渲染到实景模型上实现二维影像与三维模型的叠加。
本实施例提供一种影像与实景模型的融合显示方法,该方法先采集影像数据,并对影像数据进行预处理;然后,根据相机位姿与摄影像片的外方位元素的匹配结果从摄影像片中获取目标像片;最后,将目标像片中的影像与实景模型进行融合显示。可见,该方法将目标像片中的影像与实景模型进行融合显示,从视觉上弥补了实景模型可能出现的表面空洞、凹凸不平、存在空中悬浮物、显示模糊和精度不高等不足,更加直观、真实地反馈实景现状,有效提高了用户的视觉浏览效果。
在上述实施例的基础上,为确保摄影像片与实景三维场景所采用的基准一致,需要通过预处理对摄影像片的外方位元素进行转换。该步骤包括:
将摄影像片的位置参数转换到实景模型使用的坐标基准;
将摄影像片的姿态参数从第一角度系统转换至第二角度系统。
在具体实施中,可对采集到的所有摄影像片的高精度外方位元素进行空间参考和角度系统的转换,以保持摄影像片的空间参考及角度系统与实景三维场景一致。具体地,可采用布尔莎七参数转换方法将摄影像片的位置参数转换到实景模型所使用的坐标基准;在实景三维场景中可采用Heading/Roll/Tilt角度系统作为第二角度系统,用于描述实景模型的方位,采用Omega/Phi/Kappa角度系统作为第一角度系统,用于描述摄影像片的空中姿态,根据第一角度系统和第二角度系统的定义建立二者之间的转换关系以实现角度系统的转换,例如,Cesium平台中Heading/Roll/Tilt角度系统的定义如下:Heading表示方位角,单位为度,正北方向为0,顺时针递增,Tilt表示俯仰角,单位为度,平视为0,下视为负,上视为正,Roll表示翻滚角,单位为度,水平为0,根据此定义,可得知两种角度系统的对应关系为。需要说明的是,实景三维场景在不同展示平台的角度定义存在差异,需根据选择的具体平台进行具体分析。
本实施例通过预处理的方式对摄影像片的外方位元素进行转换,使得摄影像片的空间参考及角度系统与实景三维场景一致,以便于后续对影像与实景模型进行融合。
在上述实施例的基础上,为便于用户查找符合特定查询条件的摄影像片,可对采集到的海量摄影像片进行分布式存储,并通过构建索引的方式实现高效空间搜索。该步骤包括:
根据预先制定的存储组织规范存储摄影像片;
根据像片参数和/或存储路径创建索引。
图2为本申请提供的一种存储和搜索摄影像片的流程图,如图2所示,可基于分布式存储技术,以预先制定的存储组织规范为核心,实现海量摄影像片的分布式存储和编目组织管理,从而实现支撑PB级存储容量动态扩展。需要说明的是,预先制定的存储组织规范为根据摄影像片的数量或用户访问量结合像片参数形成的存储组织规范,例如,为保证数据访问的可靠性,可根据摄影像片的数量或用户访问量动态增加存储节点,再结合像片参数进行分布式存储。
如图2所示,在摄影像片上传存储的同时,可构建索引,并基于索引建设空间搜索服务,使得用户能够高效查找符合特定查询条件的摄影像片。具体地,可采用主流的分布式搜索引擎框架如Apache Solr、Elasticsearch等将像片参数和/或存储路径编入索引,并采用分片方式,其中,每个分片包含索引数据的一个子集并具有完整的索引功能,以提升海量摄影像片的索引创建和搜索速度,再基于应用程序编程接口(Application ProgrammingInterface,API)开发搜索服务,对外提供根据空间范围和位置关系进行毫秒级检索的能力,当客户端发起搜索请求时,该搜索服务会将请求转发到索引中的每个分片执行查询,然后汇总查询结果,并在对查询结果进行排序后返回给客户端。
本实施例按照预先制定的存储组织规范对采集到的海量摄影像片进行分布式存储,并在存储的同时根据像片参数和/或存储路径创建索引,使得用户能够更加高效地查找符合特定查询条件的摄影像片,为后续筛选目标像片提供便利。
在上述实施例的基础上,为便于存储和管理海量的摄影像片,本实施例对上述存储摄影像片的步骤进行补充说明。该步骤包括:
根据预设规则划分像片空间;
建立空间划分单元与存储节点之间的映射关系;
根据映射关系将摄影像片上传至对应的存储节点。
具体地,以行政区划、航飞区域或其他预设规则对像片空间进行划分,根据空间划分单元的数量以及存储节点的数量对空间划分单元与存储节点进行映射,保证数据在所有存储节点上均匀分布,然后根据映射关系将所有摄影像片上传到对应的存储节点上,每个存储节点按照传感器、航带号等参数进行分级目录组织,同时兼顾目录层级结构以及单个目录下像片数量,在实现路径标准化的同时也能够确保寻址速度。
本实施例建立摄影像片的空间划分单元与存储节点之间的映射关系,并根据该映射关系将摄影像片上传至对应的存储节点,有助于提高摄影像片的调度效率,便于海量摄影像片的管理维护和增量扩展。
在上述实施例的基础上,为确保所获取的目标像片为与相机位姿最相近的摄影像片,可综合空间位置相似性和角度相似性选取目标像片。该步骤包括:
通过索引查询在相机位置的缓冲半径范围内的摄影像片;
根据相机位姿与查询得到的摄影像片的外方位元素对查询得到的摄影像片进行空间位置相似性和角度相似性度量;
根据空间位置相似性和角度相似性的匹配结果从查询得到的摄影像片中获取目标像片。
具体地,可通过上述实施例中开发的搜索服务以及所创建的索引进行空间查询找到在场景相机位置的缓冲半径范围内的摄影像片,即找到所有外方位元素与相机位姿相近的摄影像片,再结合相机位姿与外方位元素对查询得到的所有摄影像片进行空间位置相似性和角度相似性度量以找到外方位元素与相机位姿最相近的摄影像片,即目标像片。其中,由于相机俯角和视高的影响,摄影像片在进行融合时,其在实景三维场景中的位置会出现三种情形,第一种情形是场景范围完全包含像片内区域,此时对场景内部分模型进行叠加融合,可根据场景中心位置与融合区域中心位置的距离进行度量,距离越小代表融合区域越靠近场景中心,空间位置也就越相似;第二种情形是场景范围与像片区域部分重叠,此时依然是对场景内部分模型进行叠加融合,可根据重叠区域范围大小进行度量,重叠范围越大代表空间位置越相似;第三种情形是像片区域完全覆盖场景范围,此时需要对场景内所有模型进行叠加融合,可根据场景中心位置与像片中心位置的距离进行度量,距离越小则说明融合区域越接近像片中心区域,相应变形也就越小,因此可视为空间位置越相似。需要说明的是,在场景范围完全包含像片内区域时,可能存在多张摄影像片位于该场景内,本实施例中选择最靠近场景中心的摄影像片进行融合只是一种优选的实施方式,在具体实施中可以选择该场景内的其它像片进行融合。
此外,本实施例通过测量空中夹角的余弦值的方式度量摄影像片的外方位角元素和场景相机角度间的相似性。图3为本申请提供的一种角度相似性度量的示意图,其中,第一角度系统为Omega/Phi/Kappa角度系统,第二角度系统为Heading/Roll/Tilt角度系统,如图3所示,度量公式应满足公式(1):
上述公式(1)中,A和B为角度向量,和分别代表向量A和B的各分量,对于场景相机角度向量为(Heading,Tilt,Roll),而摄影像片的角度向量为(Kappa,Omega,Phi),计算的相似性取值范围为,相似性的绝对值越大表示相似度越高。
在完成空间位置相似性和角度相似性度量后,可采用加权计算或乘值法进行相似性综合评价,进而根据相似性综合评价结果找出与相机位姿最相近的摄影像片。
本实施例先通过索引查询所有在相机位置的缓冲半径范围内的摄影像片,然后综合空间位置相似性和角度相似性从中选取目标像片,以确保所获取的目标像片为与相机位姿最相近的摄影像片,有力保障了参与融合的影像的准确性。
在上述实施例的基础上,为实现二维影像与三维模型的叠加显示,本实施例将目标像片中的影像转换为图形数据渲染到实景模型上。该步骤包括:
利用像片参数计算影像叠加在显示界面的坐标系下的尺寸和空间数据;
根据计算得到的尺寸和空间数据对影像进行图形转换,得到图形数据;
根据影像与实景模型的空间几何对应关系将图形数据渲染到实景模型上并进行显示。
具体地,先基于目标像片的外方位元素重置三维场景中相机的位置和角度,然后,将目标像片中的影像像素点由所对应的物方空间坐标转换为显示界面中的坐标,并基于显示界面中的坐标利用像片参数计算目标像片中的影像叠加在显示界面的坐标系下的尺寸和空间数据,其中,空间数据包括影像的位置和方位,方位指的是影像的朝向,再根据所计算的影像叠加在显示界面的坐标系下的尺寸和空间数据对影像进行图形转换,将其转换为像素点坐标与显示界面中的坐标一一对应的图形数据,实现对目标像片中的影像的几何矫正。另外,在将目标像片中的影像转换为图形数据的同时,可以根据具体实施中的显示要求使用对应分辨率的图形数据以提高显示速率。
图4为本申请提供的一种影像几何矫正的示意图,如图4所示,O-X-Y为显示界面的坐标系,ABCD为显示界面显示的三维场景范围,MNPQ为影像在三维场景中的实际位置,M’N’PQ’为MNPQ的最小外接矩形。在进行图形转换时,首先将目标像片的尺寸缩小到M’N’PQ’大小,然后根据MNPQ与M’N’PQ’四对顶点的像素坐标求解出变换矩阵,基于变换矩阵将影像由M’N’PQ’形状变换到MNPQ形状,通用变换公式应满足公式(2):
在得到转换后的图形数据之后,根据目标像片中的影像与实景模型的空间几何对应关系,基于web图形库(Web Graphics Library,WebGL)将变换后的图形数据作为纹理贴图渲染到实景模型之上,并通过设置视高阈值来控制影像显隐,具体地,当场景视角高度高于所设置的视高阈值时,则隐藏影像,此时只显示实景模型以满足宏观层面的浏览,而当拉近视角直至小于该视高阈值时,则将影像叠加在实景模型上进行显示,达到视觉融合效果,从而实现影像显隐状态的无缝切换。
本实施例将目标像片中的影像转换为图形数据,将该图形数据当作纹理渲染到实景模型之上,实现了二维影像与三维模型的叠加显示,提升了近视角实景三维场景的可视化效果,为用户呈现更精细的局部纹理。
在上述实施例的基础上,为提高三维漫游过程中影像的调度效率,本实施例通过创建影像的预取缓存机制减少融合时调取影像的等待延迟。该步骤包括:
将目标像片存储至一级缓存中;
从采集的全部摄影像片中筛选出在当前场景的预设范围内的摄影像片;
将筛选得到的摄影像片存储至二级缓存中。
图5为本申请提供的一种影像调度的流程图,如图5所示,一级缓存用于存储当前场景范围内参与融合的摄影像片即目标像片,直接为图形处理器(Graphics ProcessingUnit,GPU)绘制单元提供目标像片,二级缓存用于存储在当前场景的预设范围内的摄影像片,其中,当前场景的预设范围为当用户执行平移、缩放、旋转等操作后,在当前场景的周边区域中存在有可能参与下一次融合的摄影像片的空间范围,三级缓存用于存储分布在各存储节点上的摄影像片副本。具体地,在三维漫游过程中,可综合摄影像片的空间位置相似性和角度相似性匹配结果从三级缓存中查找有可能参与下一次融合的摄影像片,并将所找到的摄影像片存储于二级缓存中,随着视域变化,从二级缓存中调取进行下一次融合的摄影像片作为新的目标像片存储于一级缓存中,通过调取一级缓存中的摄影像片进行融合显示实现三维漫游过程中影像动态调度。
需要说明的是,随着漫游过程中场景视域的不断变化,需要对有限的二级缓存空间中缓存的摄影像片进行持续更新,具体地,可采用先进先出或最久未使用等置换策略,使用新的摄影像片替换掉保留在二级缓存中被访问次数最少的摄影像片。
另外,为最大限度利用中央处理器(Central Processing Unit,CPU)的资源,缓解影像调取和实时绘制之间的冲突,可采取基于多线程的调度优化策略,主要包含调度线程和绘制线程两类线程。其中,调取线程用于接收场景参数并进行当前场景以及当前场景的预设范围内的数据调度,根据场景移动将参与融合的目标像片调入到一级缓存中,并对当前场景的预设范围内的摄影像片进行预取和缓存;绘制线程用于将所调度的目标像片渲染绘制到三维模型之上,并实现两者间的交替展示和自然过渡控制,具体过程如下:当开启融合显示后,综合空间位置相似性和角度相似性匹配结果调度目标像片进行绘制渲染,根据视高阈值来控制影像显隐切换,显示目标像片时,在进行平移、缩放、旋转等操作过程中实时计算影像屏幕位置并进行图形变换和擦除重绘,当影像覆盖场景范围小于视高阈值,或场景相机方向和角度的变化超出外方位元素一定阈值时则隐藏影像,每次漫游操作结束后获取新的目标像片进行融合显示;当关闭融合显示后,隐藏已显示的影像。
本实施例创建影像的预取缓存机制,将当前场景范围内参与融合的摄影像片即目标像片存储于一级缓存中,将在当前场景的预设范围内的摄影像片即有可能参与下一次融合的摄影像片存储于二级缓存中,将分布在各存储节点上的摄影像片副本存储于三级缓存中,通过引入多级缓存体系减少了融合时调取影像的等待延迟,有效提升了影像调度方式的灵活性,有助于实现影像与实景模型间的实时融合显示。
在上述实施例中,对于影像与实景模型的融合显示方法进行了详细描述,本申请还提供影像与实景模型的融合显示装置对应的实施例。需要说明的是,本申请从两个角度对装置部分的实施例进行描述,一种是基于功能模块的角度,另一种是基于硬件的角度。
图6为本申请提供的一种影像与实景模型的融合显示装置的结构图,如图6所示,该装置包括:
采集模块10,用于采集影像数据,并对影像数据进行预处理;其中,影像数据包括摄影像片和像片参数;
获取模块11,用于根据相机位姿与摄影像片的外方位元素的匹配结果从摄影像片中获取目标像片;
显示模块12,用于利用像片参数将目标像片中的影像与实景模型进行融合显示。
由于装置部分的实施例与方法部分的实施例相互对应,因此装置部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
本实施例所提供的影像与实景模型的融合显示装置,通过采集模块采集影像数据,并对影像数据进行预处理;通过获取模块根据相机位姿与摄影像片的外方位元素的匹配结果从摄影像片中获取目标像片;通过显示模块利用像片参数将目标像片中的影像与实景模型进行融合显示。可见,该装置通过将影像与实景模型进行融合显示,从视觉上弥补了实景模型可能出现的表面空洞、凹凸不平、存在空中悬浮物、显示模糊和精度不高等不足,更加直观、真实地反馈实景现状,有效提高了用户的视觉浏览效果。
图7为本申请提供的另一种影像与实景模型的融合显示装置的结构图,如图7所示,该装置包括:
存储器20,用于存储计算机程序;
处理器21,用于执行计算机程序时实现如上述实施例中所提到的影像与实景模型的融合显示方法的步骤。
本实施例提供的影像与实景模型的融合显示装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中,处理器21可以包括一个或多个处理核心,比如四核心处理器、八核心处理器等。处理器21可以采用数字信号处理器(Digital Signal Processor,DSP)、 现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列 (Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU;协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器21可以集成有GPU,GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器21还可以包括人工智能(Artificial Intelligence,AI)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。本实施例中,存储器20至少用于存储以下计算机程序201,其中,该计算机程序被处理器21加载并执行之后,能够实现前述任一实施例公开的影像与实景模型的融合显示方法的相关步骤。另外,存储器20所存储的资源还可以包括操作系统202和数据203等,存储方式可以是短暂存储或者永久存储。其中,操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于目标像片等。
在一些实施例中,影像与实景模型的融合显示装置还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
本领域技术人员可以理解,图7中示出的结构并不构成对该影像与实景模型的融合显示装置的限定,可以包括比图示更多或更少的组件。
本实施例提供的影像与实景模型的融合显示装置,包括存储器和处理器,处理器在执行存储器存储的程序时,能够实现上述影像与实景模型的融合显示方法,效果同上。
最后,本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述方法实施例中记载的影像与实景模型的融合显示方法的步骤。
可以理解的是,如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例所提供的计算机可读存储介质包括上述提到的影像与实景模型的融合显示方法,效果同上。
以上对本申请所提供的影像与实景模型的融合显示方法、装置及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (6)
1.一种影像与实景模型的融合显示方法,其特征在于,包括:
采集影像数据,并对所述影像数据进行预处理;其中,所述影像数据包括摄影像片和像片参数;
根据预先制定的存储组织规范存储所述摄影像片;其中,所述预先制定的存储组织规范为根据所述摄影像片的数量或用户访问量结合所述像片参数形成的存储组织规范;
根据所述像片参数和/或存储路径创建所述摄影像片的分片式索引,并基于所述索引建设空间搜索服务;
通过所述索引和所述空间搜索服务查询在场景浏览位置的缓冲半径内的摄影像片;
根据相机位姿与查询得到的所述摄影像片的外方位元素对查询得到的所述摄影像片进行空间位置相似性和角度相似性度量;
根据所述空间位置相似性和所述角度相似性的匹配结果从查询得到的所述摄影像片中获取目标像片;
将所述目标像片存储至一级缓存中;
从采集的全部所述摄影像片中筛选出在当前场景的预设范围内的摄影像片;
将筛选得到的所述摄影像片存储至二级缓存中;
利用所述像片参数计算所述目标像片中的影像叠加在显示界面的坐标系下的尺寸和空间数据;
根据计算得到的所述尺寸和所述空间数据对所述影像进行图形转换,得到图形数据;
根据所述影像与所述实景模型的空间几何对应关系将所述图形数据渲染到所述实景模型上并进行显示;
根据预先设置的视高阈值控制所述影像的显隐状态,以实现所述影像在所述显隐状态的无缝切换。
2.根据权利要求1所述的影像与实景模型的融合显示方法,其特征在于,所述对所述影像数据进行预处理包括:
将所述摄影像片的位置参数转换到所述实景模型使用的坐标基准;
将所述摄影像片的姿态参数从第一角度系统转换至第二角度系统;其中,所述第二角度系统用于表征所述实景模型的方位。
3.根据权利要求1所述的影像与实景模型的融合显示方法,其特征在于,所述根据预先制定的存储组织规范存储所述摄影像片包括:
根据预设规则划分像片空间;
建立空间划分单元与存储节点之间的映射关系;
根据所述映射关系将所述摄影像片上传至对应的所述存储节点。
4.一种影像与实景模型的融合显示装置,其特征在于,包括:
采集模块,用于采集影像数据,并对所述影像数据进行预处理;其中,所述影像数据包括摄影像片和像片参数;
根据预先制定的存储组织规范存储所述摄影像片;其中,所述预先制定的存储组织规范为根据所述摄影像片的数量或用户访问量结合所述像片参数形成的存储组织规范;
根据所述像片参数和/或存储路径创建所述摄影像片的分片式索引,并基于所述索引建设空间搜索服务;
通过所述索引和所述空间搜索服务查询在场景浏览位置的缓冲半径内的摄影像片;
根据相机位姿与查询得到的所述摄影像片的外方位元素对查询得到的所述摄影像片进行空间位置相似性和角度相似性度量;
根据所述空间位置相似性和所述角度相似性的匹配结果从查询得到的所述摄影像片中获取目标像片;
将所述目标像片存储至一级缓存中;
从采集的全部所述摄影像片中筛选出在当前场景的预设范围内的摄影像片;
将筛选得到的所述摄影像片存储至二级缓存中;
利用所述像片参数计算所述目标像片中的影像叠加在显示界面的坐标系下的尺寸和空间数据;
根据计算得到的所述尺寸和所述空间数据对所述影像进行图形转换,得到图形数据;
根据所述影像与所述实景模型的空间几何对应关系将所述图形数据渲染到所述实景模型上并进行显示;
根据预先设置的视高阈值控制所述影像的显隐状态,以实现所述影像在所述显隐状态的无缝切换。
5.一种影像与实景模型的融合显示装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至3任一项所述的影像与实景模型的融合显示方法的步骤。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的影像与实景模型的融合显示方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210291887.9A CN114387198B (zh) | 2022-03-24 | 2022-03-24 | 一种影像与实景模型的融合显示方法、装置及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210291887.9A CN114387198B (zh) | 2022-03-24 | 2022-03-24 | 一种影像与实景模型的融合显示方法、装置及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114387198A CN114387198A (zh) | 2022-04-22 |
CN114387198B true CN114387198B (zh) | 2022-07-12 |
Family
ID=81205825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210291887.9A Active CN114387198B (zh) | 2022-03-24 | 2022-03-24 | 一种影像与实景模型的融合显示方法、装置及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114387198B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115468568A (zh) * | 2022-11-15 | 2022-12-13 | 中电信数字城市科技有限公司 | 室内导航方法、装置及系统、服务器设备及存储介质 |
CN115908706B (zh) * | 2022-11-15 | 2023-08-08 | 中国铁路设计集团有限公司 | 实景三维模型与影像融合的高速铁路竣工验收方法 |
CN116681848B (zh) * | 2023-05-26 | 2024-02-27 | 青岛市勘察测绘研究院 | 一种道路注记与实景三维模型的融合显示方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007089044A (ja) * | 2005-09-26 | 2007-04-05 | Orion Denki Kk | 映像装置及び該装置の再生情報報知方法 |
CN109186551A (zh) * | 2018-08-08 | 2019-01-11 | 广州市城市规划勘测设计研究院 | 倾斜摄影测量建筑物特征点提取方法、装置与存储介质 |
CN111696199A (zh) * | 2020-06-14 | 2020-09-22 | 荆门汇易佳信息科技有限公司 | 同步定位建图的地空融合精密三维建模方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109102563A (zh) * | 2018-08-13 | 2018-12-28 | 宋强 | 一种实景三维建模方法 |
CN109238239B (zh) * | 2018-09-12 | 2021-04-06 | 成都坤舆空间科技有限公司 | 基于航空摄影的数字测量三维建模方法 |
CN113467600A (zh) * | 2020-03-31 | 2021-10-01 | 深圳光峰科技股份有限公司 | 基于增强现实的信息显示方法、系统、装置及投影设备 |
CN111540048B (zh) * | 2020-04-22 | 2023-06-27 | 深圳市中正测绘科技有限公司 | 一种基于空地融合的精细化实景三维建模方法 |
-
2022
- 2022-03-24 CN CN202210291887.9A patent/CN114387198B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007089044A (ja) * | 2005-09-26 | 2007-04-05 | Orion Denki Kk | 映像装置及び該装置の再生情報報知方法 |
CN109186551A (zh) * | 2018-08-08 | 2019-01-11 | 广州市城市规划勘测设计研究院 | 倾斜摄影测量建筑物特征点提取方法、装置与存储介质 |
CN111696199A (zh) * | 2020-06-14 | 2020-09-22 | 荆门汇易佳信息科技有限公司 | 同步定位建图的地空融合精密三维建模方法 |
Non-Patent Citations (2)
Title |
---|
Embedded GPU implementation of sensor correction for on-board real-time stream computing of high-resolution optical satellite imagery;Mi Wang et al;《Journal of Real-Time Image Processing》;20181231;565-581页 * |
搭载POS数据的无人机影像提高定位精度的方法;贾鑫等;《遥感信息》;20190831;第34卷(第4期);92-96页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114387198A (zh) | 2022-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114387198B (zh) | 一种影像与实景模型的融合显示方法、装置及介质 | |
CN109145366B (zh) | 基于Web3D的建筑信息模型轻量级可视化方法 | |
JP7176012B2 (ja) | オブジェクト・モデリング動作方法及び装置並びにデバイス | |
EP3570253B1 (en) | Method and device for reconstructing three-dimensional point cloud | |
CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
EP2643820B1 (en) | Rendering and navigating photographic panoramas with depth information in a geographic information system | |
Lerones et al. | A practical approach to making accurate 3D layouts of interesting cultural heritage sites through digital models | |
CN110910486A (zh) | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 | |
CN112365397A (zh) | 一种二维视频信息与三维地理信息融合的方法 | |
CN113706713A (zh) | 一种实景三维模型裁剪方法、装置及计算机设备 | |
CN113192200B (zh) | 一种基于空三并行计算算法的城市实景三维模型的构建方法 | |
CN109118588B (zh) | 一种基于块分解的彩色lod模型自动生成方法 | |
WO2023142607A1 (zh) | 图像渲染方法、装置、设备和介质 | |
WO2023124676A1 (zh) | 3d模型构建方法、装置和电子设备 | |
Zhang et al. | Research on 3D architectural scenes construction technology based on augmented reality | |
CN114782646A (zh) | 房屋模型的建模方法、装置、电子设备和可读存储介质 | |
CN109064533A (zh) | 一种3d漫游方法及系统 | |
CN114863061A (zh) | 一种远程监护医学图像处理的三维重建方法及系统 | |
EP4328784A1 (en) | A method for selecting a refined scene points, distance measurement and a data processing apparatus | |
CN106780716A (zh) | 历史文化遗产数字化展示方法 | |
CN109166176A (zh) | 三维人脸图像的生成方法与装置 | |
CN115131459A (zh) | 平面布置图重建方法及装置 | |
CN108921908B (zh) | 表面光场的采集方法、装置及电子设备 | |
CN113487741A (zh) | 稠密三维地图更新方法及装置 | |
CN114638926A (zh) | 一种三维场景自动生成系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |