CN110428501A - 全景影像生成方法、装置、电子设备及可读存储介质 - Google Patents

全景影像生成方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN110428501A
CN110428501A CN201910710714.4A CN201910710714A CN110428501A CN 110428501 A CN110428501 A CN 110428501A CN 201910710714 A CN201910710714 A CN 201910710714A CN 110428501 A CN110428501 A CN 110428501A
Authority
CN
China
Prior art keywords
target area
image
model
full
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910710714.4A
Other languages
English (en)
Other versions
CN110428501B (zh
Inventor
樊自伟
田春亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youyikang Optical Technology Co Ltd
Original Assignee
Beijing Youyikang Optical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youyikang Optical Technology Co Ltd filed Critical Beijing Youyikang Optical Technology Co Ltd
Priority to CN201910710714.4A priority Critical patent/CN110428501B/zh
Publication of CN110428501A publication Critical patent/CN110428501A/zh
Application granted granted Critical
Publication of CN110428501B publication Critical patent/CN110428501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation

Abstract

本申请实施例提供一种全景影像生成方法、装置、电子设备及可读存储介质,该方法包括:根据预先构建的三维实景模型获取所述目标区域中的目标子区域的多张实景虚拟图像,所述目标子区域的区域范围小于或等于所述目标区域的区域范围;根据所述多张实景虚拟图像生成所述目标子区域的全景影像。该方案可根据三维实景模型随意获得任一区域的图像,从而生成任一区域的全景影像,进而避免了生成全景影像的区域限制的问题,提高了全景影像生成的便捷性。

Description

全景影像生成方法、装置、电子设备及可读存储介质
技术领域
本申请涉及图像技术领域,具体而言,涉及一种全景影像生成方法、装置、电子设备及可读存储介质。
背景技术
目前,为了生成某个区域的全景影像,是通过采集人员带着相机在各个位置拍摄区域的多张图像,然后将多张图像进行拼接,从而生成该区域的全景影像。
这种方式需要采集人员拿着相机在各个位置去拍摄照片,若需要获取另一区域的全景影像时,采集人员还得拿着相机去拍取另一区域的多张图像,然后再根据多张图像生成对应的全景影像,这种方式只能针对采集的图像的区域生成对应的全景影像,而不能灵活随意地生成任何区域的全景影像。
发明内容
本申请实施例的目的在于提供一种全景影像生成方法、装置、电子设备及可读存储介质,用以改善现有技术中不能灵活随意地生成任何区域的全景影像的问题。
第一方面,本申请实施例提供了一种全景影像生成方法,所述方法包括:根据预先构建的目标区域的三维实景模型获取所述目标区域中的目标子区域的多张实景虚拟图像,所述目标子区域的区域范围小于或等于所述目标区域的区域范围;根据所述多张实景虚拟图像生成所述目标子区域的全景影像。
在上述实现过程中,通过构建的目标区域的三维实景模型来获取目标子区域的多张实景虚拟图像,以根据多张实景虚拟图像生成目标子区域的全景影像,由此根据三维实景模型可随意获得任一区域的图像,从而生成任一区域的全景影像,进而避免了生成全景影像的区域限制的问题,提高了全景影像生成的便捷性。
可选地,所述根据预先构建的目标区域的三维实景模型获取所述目标区域中的目标子区域的多张实景虚拟图像,包括:通过所述三维实景模型中的虚拟相机拍摄所述目标区域中的目标子区域在不同视角下的多张实景虚拟图像。
在上述实现过程中,通过虚拟相机可获取在不同视角下的实景虚拟图像,由此,可通过虚拟相机在三维实景模型中的任何地方漫游,可以在三维实景模型中的任意位置获得对应的实景虚拟图像,进而可以获得更多数量的实景虚拟图像,确保了生成的全景影像的质量。
可选地,所述根据预先构建的目标区域的三维实景模型获取所述目标区域中的目标子区域的多张实景虚拟图像之前,所述方法还包括:采集所述目标区域的多张影像;基于所述多张影像构建所述目标区域的三维实景模型。
在上述实现过程中,通过预先构建目标区域的三维实景模型,从而可以基于三维实景模型生成任意区域的全景影像。
可选地,所述采集所述目标区域的多张影像,包括:通过航空倾斜摄影采集所述目标区域的多张影像。
在上述实现过程中,通过航空倾斜摄影来采集目标区域的多张影像,从而可以实现对目标区域的影像的高效率采集,而无需采集人员通过物理相机采集,提高了影像采集的效率且减少了人力资源的消耗。
可选地,所述基于所述多张影像构建所述目标区域的三维实景模型,包括:对所述多张影像进行点云处理,获得密集点云模型;根据所述密集点云模型通过三角网重构算法构建不规则三角网表面,以生成不规则三角网TIN模型;选取纹理面所对应的影像,对所述TIN模型进行纹理提取计算,生成所述三维实景模型。
在上述实现过程中,通过上述方式可以构建更准确更贴近实景的三维实景模型。
可选地,所述通过航空倾斜摄影采集所述目标区域的多张影像之前,还包括:根据所述目标区域的区域范围确定拍摄路径。
在上述实现过程中,根据目标区域的区域范围确定拍摄路径,可以使得能够拍摄目标区域更多的影像。
可选地,所述拍摄路径包括多条平行的横向拍摄路径和多条平行的纵向拍摄路径,相邻两条拍摄路径拍摄的影像的重叠度大于预设值。
在上述实现过程中,通过限定航空拍摄路径,可以使得拍摄的影像符合三维实景模型构建的要求,从而可以构建更准确的三维实景模型。
第二方面,本申请实施例提供了一种全景影像生成装置,所述装置包括:
虚拟图像获取模块,用于根据预先构建的目标区域的三维实景模型获取所述目标区域中的目标子区域的多张实景虚拟图像,所述目标子区域的区域范围小于或等于所述目标区域的区域范围;
全景影像生成模块,用于根据所述多张实景虚拟图像生成所述目标子区域的全景影像。
可选地,所述虚拟图像获取模块,具体用于通过所述三维实景模型中的虚拟相机拍摄所述目标区域中的目标子区域在不同视角下的多张实景虚拟图像。
可选地,所述装置还包括:
图像采集模块,用于采集所述目标区域的多张影像;
模型构建模块,用于基于所述多张影像构建所述目标区域的三维实景模型。
可选地,所述图像采集模块,具体用于通过航空倾斜摄影采集所述目标区域的多张影像。
可选地,所述模型构建模块,具体用于:
对所述多张影像进行点云处理,获得密集点云模型;
根据所述密集点云模型通过三角网重构算法构建不规则三角网表面,以生成不规则三角网TIN模型;
选取纹理面所对应的影像,对所述TIN模型进行纹理提取计算,生成所述三维实景模型。
可选地,所述装置还包括:
路径确定模块,用于根据所述目标区域的区域范围确定拍摄路径。
可选地,所述拍摄路径包括多条平行的横向拍摄路径和多条平行的纵向拍摄路径,相邻两条拍摄路径拍摄的影像的重叠度大于预设值。
第三方面,本申请实施例提供一种电子设备,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如上述第一方面提供的所述方法中的步骤。
第四方面,本申请实施例提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种电子设备的结构示意图;
图2为本申请实施例提供的一种全景影像生成方法的流程图;
图3为本申请实施例提供的一种全景影像生成装置的结构框图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参照图1,图1为本申请实施例提供的一种电子设备的结构示意图,所述电子设备可以包括:至少一个处理器110,例如CPU,至少一个通信接口120,至少一个存储器130和至少一个通信总线140。其中,通信总线140用于实现这些组件直接的连接通信。其中,本申请实施例中设备的通信接口120用于与其他节点设备进行信令或数据的通信。存储器130可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器130可选的还可以是至少一个位于远离前述处理器的存储装置。存储器130中存储有计算机可读取指令,当所述计算机可读取指令由所述处理器110执行时,电子设备执行下述图2所示方法过程。
请参照图2,图2为本申请实施例提供的一种全景影像生成方法的流程图,该方法包括如下步骤:
步骤S110:根据预先构建的目标区域的三维实景模型获取所述目标区域中的目标子区域的多张实景虚拟图像。
目标区域可以是指根据用户的实际需求指定的某一区域,例如,以xx大楼为中心,半径50米以内的区域。当然,目标区域也可以是要生成全景影像的任一区域。
实景虚拟图像是指三维实景模型中的任一二维图像。可以理解地,预先构建的三维实景模型可能是一些点云数据形成的模型,为了获得目标子区域的多张实景虚拟图像,还可以通过计算机渲染技术对三维实景模型进行渲染,渲染是指将三维实景模型转换为计算机可视化的二维图像的过程。
渲染的过程可以按照设定好的环境、灯光、材质及一些渲染参数进行渲染,例如,渲染时还可以根据不同的天气、时间段、季节、不同的光照强度等渲染参数来进行渲染,以此可实现真实环境的模拟,使得获取的目标子区域的多张实景虚拟图像尽可能贴近真实环境中的图像。
在获取目标子区域的多张实景虚拟图像的过程中,可以通过用户在用户终端中对三维实景模型进行可视化浏览,然后通过用户截取目标子区域的实景虚拟图像,以此可获得目标子区域的多张实景虚拟图像,方便快捷。为了获得效果较好的全景影像,相邻实景虚拟图像中间的重叠度可以大于一定值。
其中,目标子区域的区域范围小于或等于目标区域的区域范围,即目标子区域可以是目标区域中的任一子区域,由此,获得目标区域中任一子区域的多张实景虚拟图像,然后基于该多张实景虚拟图像生成任一子区域的全景影像,进而可根据实际需求生成任何想要的区域的全景影像。当然,在目标子区域的区域范围等于目标区域的区域范围时,其生成的全景影像即为目标区域的全景影像。
若需要生成目标区域中某一目标子区域的全景影像时,可以基于三维实景模型获取目标子区域的多张实景虚拟图像。
需要说明的是,为了可以获得任何需求区域的全景影像,在采集目标区域的多张影像时,可以将目标区域的区域范围设置得较大一些,这样使得建立的三维实景模型的包含的区域范围更大,从而可根据实际需求获取所需的区域的实景虚拟图像。
由此,可针对目标子区域获得其多张实景虚拟图像,该实景虚拟图像也为二维图像。
步骤S120:根据所述多张实景虚拟图像生成所述目标子区域的全景影像。
在生成全景影像时,可以将多张实景虚拟图像进行拼接,以合成全景影像,拼接的大致过程可以为:每两张实景虚拟图像进行特征点匹配,找到相同的特征点,然后连接匹配的特征点,即将相同特征点进行融合,再计算图像间几何变换,从而拼接为全景影像,其拼接的具体过程可参照现有技术中的具体过程,在此不详细介绍。
其中,全景影像也是一种二维图像,在生成全景影像后,可以将全景影像显示在用户终端,从而用户可在用户终端通过滑动屏幕或者拖动鼠标来查看目标子区域的全景影像。
在上述实现过程中,通过构建目标区域的三维实景模型,然后根据三维实景模型来获取目标子区域的多张实景虚拟图像,以根据多张实景虚拟图像生成目标子区域的全景影像,由此根据三维实景模型可随意获得任一区域的图像,从而生成任一区域的全景影像,进而避免了生成全景影像的区域限制的问题,提高了全景影像生成的便捷性。
作为一种示例,在步骤S110之前,还需采集目标区域的多张影像,然后根据多张影像构建目标区域的三维实景模型。
影像是指二维图片,也可以是指视频图像。可以通过采集人员带着物理相机在多个视角下拍摄目标区域的多张图片或者视频图像,可以理解地,由于基于视图图像生成三维实景图像的过程中还需对视频图像进行对应的处理,如视频截图图像等,其处理过程复杂,所以,为了减少数据处理量,本申请实施例中以采集的目标区域的影像为图片为例进行说明。
由于在采用物理相机采集目标区域的影像时,需要采集人员带着物理相机在各个位置拍取目标区域的影像,但是需要采集人员在多个位置处拍摄很多具有一定重合度的影像,这使得通过这种方式采集目标区域的影像耗时较长,并且,采集人员操作相机采集的图片很可能重合度不够或采集的图片的数量不够,或者没有完全采集到各个不同视角下目标区域的图片,从而使得后续建立的三维实景模型与实际场景不太符合的情况,所以,本申请实施例中,可以通过航空倾斜摄影来采集目标区域的多张影像。
其中,航空倾斜摄影可以采用无人机倾斜摄影或者自驾飞机倾斜摄影等方式,为了节约拍摄成本,本申请实施例中采用无人机倾斜摄影来采集目标区域的多张影像,应理解,下述描述过程均以无人机为例进行说明。
因为无人机具有操作简单、灵活性好和空间分辨率高等优势,可以根据实际需求选择四旋翼无人机或者固定翼无人机,采集人员可以把搭载有至少一个影像采集传感器的无人机作为影像采集装置,控制无人机对目标区域进行影像采集,至少一个影像采集传感器把拍摄到的影像发送给上述的电子设备。
在对图像要求不高时,仅搭载一种影像采集传感器的无人机来拍摄目标区域的影像,可以降低设备成本,减轻无人机的负重并增加电池的续航时间。当然,还可以采用多镜头倾斜摄影。在采用多镜头倾斜摄影时,一般可同时从垂直、前方、后方、左侧和右侧五个不同角度采集影像,使得通过该影像构建的三维实景模型符合人影视觉的真实世界。
在上述实现过程中,通过航空倾斜摄影来采集目标区域的多张影像,从而可以实现对目标区域的影像的高效率采集,而无需采集人员通过物理相机采集,提高了影像采集的效率且减少了人力资源的消耗。
其中,倾斜摄影技术是指在同一飞行平台下搭载倾斜相机(即在无人机上搭载倾斜相机),在同一曝光点多角度获取相同地理倾斜影像,从而获取丰富的地物信息,可以多角度分析地物,弥补了传统正射影像只能从垂直方向分析地物的缺陷,能够获取建筑物的侧面纹理信息。而倾斜摄影为了采集足够全面的纹理信息,其飞行航线的覆盖范围一般要大于成图区域(即目标区域),这样不但能够获取垂直正射信息,同时还能获取侧面纹理信息,从而满足后续建立三维实景模型的要求。为了充分有效获取侧面纹理信息,倾斜摄影的航向重叠率和旁向重叠率均不小于预设值,例如预设值为60%。
需要说明的是,其旁向重叠率和航向重叠率还可以根据实际需求设置,如对于建筑稀少区域相对遮挡较少一些,旁向重叠率可相对低一些,如70%,航向重叠率也可以相对较低一些,如70%,在建筑密集区域,由于建筑相互遮挡严重,需要更高的旁向重叠率保证获取完整信息,如80%,航向重叠率也可以为80%。
在上述获得多张影像后,可基于多张影像构建三维实景模型。构建三维实景模型可以采用三维重建软件或者多视几何三维重建软件进行自动建模,如Smart3Dcapture建模软件,或者还可以采用其他建模软件来实现建模,如ContextCapture等,在此不一一举例。
作为一种示例,在上述通过航空倾斜摄影采集目标区域的多张影像时,为了获得目标区域在不同视角下的更加全面的影像,还可以根据目标区域的区域范围确定拍摄路径。
在采用无人机进行倾斜摄影时,其拍摄路径为无人机的拍摄路径,拍摄路径可以包括多条平行的横向拍摄路径和多条平行的纵向拍摄路径,相邻两条拍摄路径的影像的重叠度大于预设值,如预设值为60%,无人机拍摄路径的行进方向的左右两侧的影像重叠度不低于预设值,如30%,并且实际拍摄区域超出需要拍摄的目标区域一个拍摄路径间的距离,这样就可以获得足够多的形同的地物特征信息,从而可建立更加准确的三维实景模型。
例如,若目标区域为矩形,则拍摄路径为沿矩形区域长边方向,实际飞行范围应超出目标区域的区域范围一定距离,如100米,然后进行多层绕飞,从而拍摄目标区域的多张影像。
无人机拍摄的多张影像中相邻拍摄的图像存在一定的重叠度,以保证图像信息的有效性。
另外,根据目标区域的区域范围确定无人机的拍摄路径的过程中,还可以根据目标区域的地貌特征来确定无人机的拍摄路径,如先确定目标区域是否属于平坦区域、高层建筑区域、混合区域、山地区域和丘陵区域中的一种,然后综合考虑成图区域、做业区域、成图分辨率、图像重叠度、纹理覆盖度和地形地貌等因素,确定无人机的拍摄路径。
当然,还可以综合考虑目标区域的地理位置、线路走向、精度要求、起降点等因素,计算出无人机的飞行高度、飞行速度、拍照间隔、飞行轨迹、像控点等执行参数,从而便于无人机根据这些参数采集影像,无人机的拍摄路径一般有S型和多层绕飞。其中,像控点为拍摄倾斜摄影图像的位置,该像控点设置在无人机的拍摄路径上。
在上述实现过程中,通过上述方式可确定无人机合适的拍摄路径,使得无人机倾斜摄影技术的应用更加方便以及使得无人机能够拍摄目标区域更多的影像。
作为一种示例,获得目标子区域的多张实景虚拟图像的方式还可以为:通过三维实景模型中的虚拟相机拍摄目标子区域在不同视角下的多张实景虚拟图像。
在构建三维实景模型时,还可以在三维实景模型中的指定位置或者任意位置构建虚拟相机,虚拟相机相当于用户视觉,在创建虚拟相机时,可针对目标子区域的区域范围设置虚拟相机在三维实景模型中的位置、视角朝向、视角场、分辨率等参数信息,从而使得虚拟相机可以采集目标子区域内的多张实景虚拟图像。
在上述实现过程中,通过虚拟相机可获取在不同视角下的实景虚拟图像,由此,可通过虚拟相机在三维实景模型中的任何地方漫游,可以在三维实景模型中的任意位置获得对应的实景虚拟图像,进而可以获得更多数量的实景虚拟图像,确保了生成的全景影像的质量。
另外,作为一种示例,在上述获得多张影像后,下面详细介绍基于多张影像构建三维实景模型的过程,其过程如下:
对多张影像进行点云处理,获得密集点云模型,然后根据密集点云模型通过三角网重构算法构建不规则三角网表明,以生成不规则三角网(Triangulated IrregularNetwork,TIN)模型,选取纹理面所对应的影像,对TIN模型进行纹理提取计算,生成三维实景模型。
也就是说,可以先对多种影像进行预处理,检测影像的完整性以及影像质量用于建模,结合倾斜摄影初始粗略的外方位元素,进行空中三角测量,获得倾斜影像的高精度外方位元素,然后利用空中三角测量解算后的精确外方位元素进行影像自动匹配,生成高质量的点云模型(即对多张影像进行点云处理,获得密集点云模型),进而利用点云模型构建矢量不规则三角网TIN模型,再选择最佳纹理信息对由点云模型构建的TIN模型进行自动纹理映射,获得三维实景模型。
其中,对多张影像进行预处理的过程如下:检查多张影像的重叠度是否满足航摄规范要求,影像旋转角、俯仰角等是否满足倾斜摄影测量规范要求,影像质量有无阴影,色彩是否鲜明,如果影像色彩较差,可以进行匀色处理,从影像中整理出针对目标区域有效部分的影像,删除无人机转弯处的影像,整理原始定位定姿系统(Positioning andOrientation System,POS)数据,建立影像名与POS点名称一一对应的关系。
点云数据是指以点的形式记录,每个点包含有三维坐标,有些数据还可能含有颜色信息。通过密集匹配获取的准确的同名点坐标,可利用多核多点同步计算,加快计算速度,快速生成高密度高精度的三维点云模型。三维点云模型数据量较大,需要进行切割,减少数据量以便于加快运算速度,并对切块的点云数据进行不规则三角网构建,检测三角网。通常是将点云数据构建不同级别的多细节层次(Levels Of Detail,LOD)数据下的三角网模型,经过优化,数据降维等方法,构建TIN模型。
空中三角测量是利用多张连续高重叠度的影像建立光学模型,在求得加密点的高程和平面位置,倾斜空中三角测量不仅需获得下视影像POS外,还需要其他角度的影像的POS数据,所以,只能用此POS数据用作为倾斜摄影的初始外方位元素,通过影像的同名点匹配、自由网光速法平差,得到较好的匹配结果,结合控制点,反复解算后得到满足精度要求的空中三角测量结果。由于倾斜摄影航拍时,是对同一地物进行多角度、高覆盖率的拍摄,在空中三角测量匹配连接点时,会产生大量的同名点,如果将目标区域的所有影像作为一个空中三角测量区域网进行解算,在匹配连接点以及误差调整上会花费大量的时间。并且,为了提高连接点匹配效率和精度,以及后期模型的构建效率,支持基于局域网内的多机多节点并行处理,可以将大量数据化繁为简,从而提高生产效率。
通过三角网模型,可以全自动实现TIN模型与纹理图像的配准及纹理贴附。倾斜影像是角度影像,连续多张影像中存在同一地物,需要在其中选出最佳纹理进行映射。
其中,对多张影像进行点云处理,获得密集点云模型的过程为:在多张影像中查找物点,将多张影像中的同一物点进行匹配,获得多个同名像点,根据双目立体视觉原理将多个同名像点进行连接,并对连接的多个同名像点进行逐次平差迭代处理,生成密集点云模型。
上述在多张影像中查找物点的过程可以为:将影像导入实景建模软件中,完成POS数据和图像传感器的信息提取,根据sifi算子从每张影像中查找其对应的物点。
将多张影像中的同一物点进行匹配,得到同名像点的过程为:根据POS数据或预设预约关系选出可能具有重叠关系的像对,对每一像对的物点进行匹配,并使用随机抽样一致性算法(Random Sample Consensus,RANSA)进行粗差剔除,消除误匹配,由匹配成功的多张影像中的同一物点得到同名像点。
其中,影像匹配的目的是快速准确的获取影像上同名点的坐标。
另外,双目立体视觉原理是基于视差原理并利用成像设备从不同位置获取被测物体的两幅图像,通过计算同名像点之间的位置偏差,来获取物体三维几何信息的方法,其具体实现方式在此不详细介绍。
可以理解的是,上述的三维实景模型可以是基于TIN模型获取的,此种情况下,其三维实景模型的各个物体由不规则三角网形成。三维实景模型也可以是直接基于密集点云模型构成,此种情况下,其三维实景模型的各个物体由密集点云形成,其获取的实景虚拟图像与上述中由TIN模型获得的三维实景模型中的实景虚拟图像是类似的,只是图像中的物体的表现形态不同而已,其均可用于生成目标区域的全景影像。
请参照图3,图3为本申请实施例提供的一种全景影像生成装置200的结构框图,该装置200可以是电子设备上的模块、程序段或代码。应理解,该装置200与上述图2方法实施例对应,能够执行图2方法实施例涉及的各个步骤,该装置200具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。
可选地,所述装置200包括:
虚拟图像获取模块210,用于根据预先构建的目标区域的三维实景模型获取所述目标区域中的目标子区域的多张实景虚拟图像,所述目标子区域的区域范围小于或等于所述目标区域的区域范围;
全景影像生成模块220,用于根据所述多张实景虚拟图像生成所述目标子区域的全景影像。
可选地,所述虚拟图像获取模块210,具体用于通过预先构建的目标区域的三维实景模型中的虚拟相机拍摄所述目标区域中的目标子区域在不同视角下的多张实景虚拟图像。
可选地,所述装置200还包括:
图像采集模块,用于采集所述目标区域的多张影像;
模型构建模块,用于基于所述多张影像构建所述目标区域的三维实景模型。
可选地,所述图像采集模块,具体用于通过航空倾斜摄影采集所述目标区域的多张影像。
可选地,所述模型构建模块,具体用于:
对所述多张影像进行点云处理,获得密集点云模型;
根据所述密集点云模型通过三角网重构算法构建不规则三角网表面,以生成不规则三角网TIN模型;
选取纹理面所对应的影像,对所述TIN模型进行纹理提取计算,生成所述三维实景模型。
可选地,所述装置200还包括:
路径确定模块,用于根据所述目标区域的区域范围确定拍摄路径。
可选地,所述拍摄路径包括多条平行的横向拍摄路径和多条平行的纵向拍摄路径,相邻两条拍摄路径拍摄的影像的重叠度大于预设值。
本申请实施例提供一种可读存储介质,所述计算机程序被处理器执行时,执行如图2所示方法实施例中电子设备所执行的方法过程。
综上所述,本申请实施例提供一种全景影像生成方法、装置、电子设备及可读存储介质,该方案通过构建的目标区域的三维实景模型来获取目标子区域的多张实景虚拟图像,以根据多张实景虚拟图像生成目标子区域的全景影像,由此根据三维实景模型可随意获得任一区域的图像,从而生成任一区域的全景影像,进而避免了生成全景影像的区域限制的问题,提高了全景影像生成的便捷性。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种全景影像生成方法,其特征在于,所述方法包括:
根据预先构建的目标区域的三维实景模型获取所述目标区域中的目标子区域的多张实景虚拟图像,所述目标子区域的区域范围小于或等于所述目标区域的区域范围;
根据所述多张实景虚拟图像生成所述目标子区域的全景影像。
2.根据权利要求1所述的方法,其特征在于,所述根据预先构建的目标区域的三维实景模型获取所述目标区域中的目标子区域的多张实景虚拟图像,包括:
通过所述三维实景模型中的虚拟相机拍摄所述目标区域中的目标子区域在不同视角下的多张实景虚拟图像。
3.根据权利要求1所述的方法,其特征在于,所述根据预先构建的目标区域的三维实景模型获取所述目标区域中的目标子区域的多张实景虚拟图像之前,所述方法还包括:
采集所述目标区域的多张影像;
基于所述多张影像构建所述目标区域的三维实景模型。
4.根据权利要求3所述的方法,其特征在于,所述采集所述目标区域的多张影像,包括:
通过航空倾斜摄影采集所述目标区域的多张影像。
5.根据权利要求4所述的方法,其特征在于,所述基于所述多张影像构建所述目标区域的三维实景模型,包括:
对所述多张影像进行点云处理,获得密集点云模型;
根据所述密集点云模型通过三角网重构算法构建不规则三角网表面,以生成不规则三角网TIN模型;
选取纹理面所对应的影像,对所述TIN模型进行纹理提取计算,生成所述三维实景模型。
6.根据权利要求4所述的方法,其特征在于,所述通过航空倾斜摄影采集所述目标区域的多张影像之前,还包括:
根据所述目标区域的区域范围确定拍摄路径。
7.根据权利要求6所述的方法,其特征在于,所述拍摄路径包括多条平行的横向拍摄路径和多条平行的纵向拍摄路径,相邻两条拍摄路径拍摄的影像的重叠度大于预设值。
8.一种全景影像生成装置,其特征在于,所述装置包括:
虚拟图像获取模块,用于根据预先构建的目标区域的三维实景模型获取所述目标区域中的目标子区域的多张实景虚拟图像,所述目标子区域的区域范围小于或等于所述目标区域的区域范围;
全景影像生成模块,用于根据所述多张实景虚拟图像生成所述目标子区域的全景影像。
9.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1-7任一所述方法中的步骤。
10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如权利要求1-7任一所述方法中的步骤。
CN201910710714.4A 2019-08-01 2019-08-01 全景影像生成方法、装置、电子设备及可读存储介质 Active CN110428501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910710714.4A CN110428501B (zh) 2019-08-01 2019-08-01 全景影像生成方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910710714.4A CN110428501B (zh) 2019-08-01 2019-08-01 全景影像生成方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110428501A true CN110428501A (zh) 2019-11-08
CN110428501B CN110428501B (zh) 2023-06-13

Family

ID=68413902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910710714.4A Active CN110428501B (zh) 2019-08-01 2019-08-01 全景影像生成方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110428501B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260777A (zh) * 2020-02-25 2020-06-09 中国电建集团华东勘测设计研究院有限公司 一种基于倾斜摄影测量技术的建筑信息模型重构的方法
CN111462338A (zh) * 2020-03-27 2020-07-28 咪咕视讯科技有限公司 一种图像处理方法、电子设备及计算机可读储介质
CN112465959A (zh) * 2020-12-17 2021-03-09 国网四川省电力公司电力科学研究院 基于局部场景更新的变电站三维实景模型巡视方法
CN112785686A (zh) * 2021-01-25 2021-05-11 湖南汽车工程职业学院 一种基于大数据的林区地图构建方法及可读存储介质
CN113610869A (zh) * 2021-08-06 2021-11-05 成都易瞳科技有限公司 基于gis系统的全景监控显示方法
CN114245096A (zh) * 2021-12-08 2022-03-25 安徽新华传媒股份有限公司 一种智能摄影的3d模拟成像系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002251626A (ja) * 2001-02-23 2002-09-06 Konami Computer Entertainment Japan Inc 画像の生成方法及びそれに用いるプログラム
CN107862744A (zh) * 2017-09-28 2018-03-30 深圳万图科技有限公司 航空影像三维建模方法及相关产品
CN108510406A (zh) * 2018-04-08 2018-09-07 中国建筑局(集团)有限公司 基于建筑信息模型及全景技术的施工交底方法及系统
CN108665536A (zh) * 2018-05-14 2018-10-16 广州市城市规划勘测设计研究院 三维与实景数据可视化方法、装置与计算机可读存储介质
CN109945845A (zh) * 2019-02-02 2019-06-28 南京林业大学 一种私家园林空间数字化测绘和三维可视化方法
CN109993696A (zh) * 2019-03-15 2019-07-09 广州愿托科技有限公司 基于多视点图像的结构物表观全景图矫正拼接方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002251626A (ja) * 2001-02-23 2002-09-06 Konami Computer Entertainment Japan Inc 画像の生成方法及びそれに用いるプログラム
CN107862744A (zh) * 2017-09-28 2018-03-30 深圳万图科技有限公司 航空影像三维建模方法及相关产品
CN108510406A (zh) * 2018-04-08 2018-09-07 中国建筑局(集团)有限公司 基于建筑信息模型及全景技术的施工交底方法及系统
CN108665536A (zh) * 2018-05-14 2018-10-16 广州市城市规划勘测设计研究院 三维与实景数据可视化方法、装置与计算机可读存储介质
CN109945845A (zh) * 2019-02-02 2019-06-28 南京林业大学 一种私家园林空间数字化测绘和三维可视化方法
CN109993696A (zh) * 2019-03-15 2019-07-09 广州愿托科技有限公司 基于多视点图像的结构物表观全景图矫正拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
白阳等: "基于无人机倾斜摄影测量实景三维模型构建方法", 《哈尔滨师范大学自然科学学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260777A (zh) * 2020-02-25 2020-06-09 中国电建集团华东勘测设计研究院有限公司 一种基于倾斜摄影测量技术的建筑信息模型重构的方法
CN111260777B (zh) * 2020-02-25 2023-08-04 中国电建集团华东勘测设计研究院有限公司 一种基于倾斜摄影测量技术的建筑信息模型重构的方法
CN111462338A (zh) * 2020-03-27 2020-07-28 咪咕视讯科技有限公司 一种图像处理方法、电子设备及计算机可读储介质
CN111462338B (zh) * 2020-03-27 2024-03-22 咪咕视讯科技有限公司 一种图像处理方法、电子设备及计算机可读储介质
CN112465959A (zh) * 2020-12-17 2021-03-09 国网四川省电力公司电力科学研究院 基于局部场景更新的变电站三维实景模型巡视方法
CN112465959B (zh) * 2020-12-17 2022-07-01 国网四川省电力公司电力科学研究院 基于局部场景更新的变电站三维实景模型巡视方法
CN112785686A (zh) * 2021-01-25 2021-05-11 湖南汽车工程职业学院 一种基于大数据的林区地图构建方法及可读存储介质
CN113610869A (zh) * 2021-08-06 2021-11-05 成都易瞳科技有限公司 基于gis系统的全景监控显示方法
CN114245096A (zh) * 2021-12-08 2022-03-25 安徽新华传媒股份有限公司 一种智能摄影的3d模拟成像系统
CN114245096B (zh) * 2021-12-08 2023-09-15 安徽新华传媒股份有限公司 一种智能摄影的3d模拟成像系统

Also Published As

Publication number Publication date
CN110428501B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN110428501A (zh) 全景影像生成方法、装置、电子设备及可读存储介质
EP3242275B1 (en) Using photo collections for three dimensional modeling
AU2011312140C1 (en) Rapid 3D modeling
JP4854819B2 (ja) 画像情報出力方法
CN104330074B (zh) 一种智能测绘平台及其实现方法
CN107507274A (zh) 一种基于云计算的公安案件现场三维实景快速还原方法
CN106097435A (zh) 一种增强现实拍摄系统及方法
CN106204443A (zh) 一种基于多目复用的全景无人机系统
CN111540048A (zh) 一种基于空地融合的精细化实景三维建模方法
CN111415409B (zh) 一种基于倾斜摄影的建模方法、系统、设备和存储介质
CN103226838A (zh) 地理场景中移动监控目标的实时空间定位方法
CN106462943A (zh) 将全景成像与航拍成像对齐
CN109900274B (zh) 一种图像匹配方法及系统
WO2023280038A1 (zh) 一种三维实景模型的构建方法及相关装置
CN111141264B (zh) 一种基于无人机的城市三维测绘方法和系统
CN106780629A (zh) 一种三维全景数据采集、建模方法
JP2009217524A (ja) 都市景観の3次元動画生成および閲覧システム
CN112469967B (zh) 测绘系统、测绘方法、装置、设备及存储介质
CN104463956B (zh) 一种月表虚拟场景构建方法及装置
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及系统
CN108871285A (zh) 在规划竣工测量中的无人机倾斜摄影测量系统
CN114299236A (zh) 倾斜摄影测量空地融合实景建模方法、装置、产品及介质
CN116883604A (zh) 一种基于天、空、地影像的三维建模技术方法
CN110458945B (zh) 通过空中倾斜摄影结合视频数据的自动建模方法及系统
CN113496503A (zh) 点云数据的生成及实时显示方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant