CN118071589A - 三维模型的实时拼接方法及装置 - Google Patents

三维模型的实时拼接方法及装置 Download PDF

Info

Publication number
CN118071589A
CN118071589A CN202211460828.6A CN202211460828A CN118071589A CN 118071589 A CN118071589 A CN 118071589A CN 202211460828 A CN202211460828 A CN 202211460828A CN 118071589 A CN118071589 A CN 118071589A
Authority
CN
China
Prior art keywords
image data
image
point set
dimensional model
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211460828.6A
Other languages
English (en)
Inventor
赵岩
谭兴
陈凤敏
唐湘丹
李晓玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Infoearth Information Co ltd
Original Assignee
Wuhan Infoearth Information Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Infoearth Information Co ltd filed Critical Wuhan Infoearth Information Co ltd
Priority to CN202211460828.6A priority Critical patent/CN118071589A/zh
Publication of CN118071589A publication Critical patent/CN118071589A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种三维模型的实时拼接方法及装置,该方法包括:实时接收飞行器在多段飞行航线中每段飞行航线的飞行过程中所拍摄的图像数据;基于第一图像数据、第二图像数据和目标重叠图像,获取第一空间点集和第二空间点集;将所述第一空间点集和所述第二空间点集输入至建模引擎进行建模,获取拼接后的目标三维模型。本发明提供的三维模型的实时拼接方法及装置,能够在飞行器实时回传所拍摄的地物图片的过程中,不断将新回传的图片与已建模的位置数据融合至一个地理空间下,实现了在原有三维模型的基础上直接拼接新模型,提高模型拼接的准确率,且三维模型的现势性较高。

Description

三维模型的实时拼接方法及装置
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种三维模型的实时拼接方法及装置。
背景技术
现阶段的数据化测绘大多利用飞行器搭载云台,按照预先设置好的飞行航线在飞行作业区域中飞行,并由云台执行相应的航拍作业,以完成地形勘探的测绘工作。
由于飞行器需要观测的区域较大,需要将整个观测区域划分成多个局部区域,进而沿着飞行航线经过局部区域时所拍摄的多张影像,构建局部区域的三维模型。但是飞行器搭载的全球导航卫星系统(Global Navigation Satellite System,GNSS)和传感器不能提供足够精度和准确度的位置姿态信息,大部分相机也不能提供足够精度和准确度的相机参数信息,所以导致三维模型与实际地理相差很大。即使可以利用一些测量手段对位置姿态信息和相机参数信息进行调整,也只能削弱部分差距,故两个相邻的局部区域对应的三维模型在拼接会出现严重的拼接缝和“鬼影”现象,即两个相邻区域的三维模型不能较好的融合在一起,导致模型拼接的准确率较差。
发明内容
本发明提供一种三维模型的实时拼接方法及装置,用以解决现有技术中模型拼接的准确率较差的缺陷。
本发明提供一种三维模型的实时拼接方法,包括:
实时接收飞行器在多段飞行航线中每段飞行航线的飞行过程中所拍摄的图像数据;
基于第一图像数据、第二图像数据和目标重叠图像,获取第一空间点集和第二空间点集;
将所述第一空间点集和所述第二空间点集输入至建模引擎进行建模,获取拼接后的目标三维模型;
其中,所述多段飞行航线为所述飞行器在观测区域内顺次折返飞行的航线;第二图像数据为所述飞行器在当前飞行航线中拍摄的图像数据,第一图像数据为所述飞行器在上一飞行航线中拍摄的图像数据;所述目标重叠图像是基于所述第一图像数据和所述第二图像数据确定的。
根据本发明提供的一种三维模型的实时拼接方法,所述基于第一图像数据、第二图像数据和目标重叠图像,获取第一空间点集和第二空间点集,包括:
分别利用所述第一图像数据和所述第二图像数据进行摄影测量计算,得到第一测量结果和第二测量结果;
基于所述第一测量结果,确定所述第一空间点集;
基于所述第一测量结果和所述第二测量结果,确定所述第二空间点集。
根据本发明提供的一种三维模型的实时拼接方法,所述基于所述第一测量结果和所述第二测量结果,确定所述第二空间点集,包括:
基于所述第二测量结果,确定第三空间点集;
基于所述第一空间点集和所述第三空间点集,得到当前飞行航线所处的地理空间坐标系到上一飞行航线所处的地理空间坐标系的变换矩阵;
基于所述第三空间点集和所述变换矩阵,确定所述第二空间点集。
根据本发明提供的一种三维模型的实时拼接方法,所述基于所述第一空间点集和所述第三空间点集,得到当前飞行航线所处的地理空间坐标系到上一飞行航线所处的地理空间坐标系的变换矩阵,包括:
根据目标重叠图像的坐标点,分别从所述第一空间点集和所述第三空间点集抽取出第一子集和第二子集;
基于所述第一子集和所述第二子集,确定所述变换矩阵。
根据本发明提供的一种三维模型的实时拼接方法,在所述基于第一图像数据、第二图像数据和目标重叠图像,获取第一空间点集和第二空间点集之前,还包括:
从所述第一图像数据中筛选出图像坐标与所述第二图像数据最接近的第一重叠图像;
从所述第二图像数据中筛选出图像坐标与所述第一图像数据最接近的第二重叠图像;
将所述第一重叠图像和所述第二重叠图像整合成所述目标重叠图像。
根据本发明提供的一种三维模型的实时拼接方法,所述将所述第一空间点集和所述第二空间点集输入至建模引擎进行建模,获取拼接后的目标三维模型,包括:
利用所述建模引擎对所述第一空间点集进行建模,获取第一三维模型;
利用所述建模引擎对所述第二空间点集进行建模,获取第二三维模型;
将所述第二三维模型拼接至所述第一三维模型,获取所述目标三维模型;
其中,所述第一空间点集是基于将所述第二重叠图像合并至所述第一图像数据后的图像数据生成的;所述第二空间点集是基于将所述第一重叠图像合并至所述第二图像数据后的图像数据生成的。
本发明还提供一种三维模型的实时拼接装置,包括:
图像回传模块,用于实时接收飞行器在多段飞行航线中每段飞行航线的飞行过程中所拍摄的图像数据;
坐标确定模块,用于基于第一图像数据、第二图像数据和目标重叠图像,获取第一空间点集和第二空间点集;
模型拼接模块,用于将所述第一空间点集和所述第二空间点集输入至建模引擎进行建模,获取拼接后的目标三维模型;
其中,所述多段飞行航线为所述飞行器在观测区域内顺次折返飞行的航线;第二图像数据为所述飞行器在当前飞行航线中拍摄的图像数据,第一图像数据为所述飞行器在上一飞行航线中拍摄的图像数据;所述目标重叠图像是基于所述第一图像数据和所述第二图像数据确定的。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述三维模型的实时拼接方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述三维模型的实时拼接方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述三维模型的实时拼接方法。
本发明提供的三维模型的实时拼接方法及装置,基于相邻飞行航线所采集的第一图像数据和第二图像数据,抽选出两段飞行航线在地理空间上存在重合部分的目标重叠图像,通过目标重叠图像在两段航线的空间位置中的映射关系,分别得到两段航线在同一地理空间坐标系下第一空间点集和所述第二空间点集,并利用建模引擎对统一地理空间坐标系的图像进行建模并拼接。能够在飞行器实时回传所拍摄的地物图片的过程中,不断将新回传的图片与已建模的位置数据融合至一个地理空间下,实现了在原有三维模型的基础上直接拼接新模型,提高模型拼接的准确率,且三维模型的现势性较高。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的三维模型的实时拼接方法的流程示意图;
图2是本发明提供的三维模型的实时拼接装置的结构示意图;
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。
应当理解,在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
图1是本发明提供的三维模型的实时拼接方法的流程示意图。如图1所示,本发明实施例提供的三维模型的实时获取方法,包括:步骤101、实时接收飞行器在多段飞行航线中每段飞行航线的飞行过程中所拍摄的图像数据。
其中,所述多段飞行航线为所述飞行器在观测区域内顺次折返飞行的航线。
需要说明的是,本发明实施例提供的三维模型的实时拼接方法的执行主体是三维模型的实时拼接装置。
本发明实施例提供的三维模型的实时拼接方法的应用场景为,飞行器所搭载的航摄仪将采集到的图片实时回传至地面,并在飞行器扫描整个观测区域的过程中,根据新回传的图片建立其新区域的三维模型,并拼接至已扫描区域的三维模型。
本发明实施例中的三维模型的实时拼接装置的应用场景,不影响按正常程序开展航空遥感数据生产与信息提取的工作。
其中,本发明实施例对飞行器和航摄仪的种类和布设位置不做具体限定。
示例性地,飞行器包括但不限于有人机、无人机等航空器,本发明实施例对此不作具体限定。
示例性地,航摄仪包括但不限于为面阵光学仪器、线阵光学仪器、光谱类仪器或者雷达类仪器等仪器,本发明实施例对此不作具体限定。
优选地,无人机搭载者具有单镜头、双镜头、三镜头或五镜头中任一种形式的云台,执行对地观测的航拍任务。以单镜头云台为例,该相机云台主要用以拍摄正射影像,可以通过调整云台角度达到倾斜摄影测量的效果。同时,在无人机设置一个机载电脑,该电脑的一个接口与稳定安装在无人机上的相机云台连接,该接口用于实时传输相机云台实时采集的连续图像。
本申请实施例提供的三维模型的实时拼接方法适用于用户通过电子设备对飞行器实时回传的图片进行建模和拼接。
上述电子设备可以以各种形式来实施。例如,本申请实施例中描述的电子设备可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、智能手环、智能手表等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面,假设电子设备是移动终端。然而,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本申请实施例的构造也能够应用于固定类型的终端。
需要说明的是,在步骤101之前,三维模型的实时拼接装置需要根据飞行器的实际观测任务所对应的观测区域,进行路径规划,并将规划好的飞行路线下发至执行本次任务的无人机,以供无人机按照该飞行路线执行观测任务。本发明是实施例对此过程不作限定。
其中,飞行路线由多段飞行航线和多段行进航线组成,且飞行航线的距离整体均长于行进航线的距离。
飞行航线,用于在飞行器搭载航摄仪在该航线的沿途中拍摄图片。
行进航线,用于在飞行器一次往返之间,以垂直于飞行航线行进,以推动观测区域的扫描进程。
示例性地,以观测区域的一个角点作为坐标系原点,将观测区域投影至与地面平行的XY水平面上,以投影形状中最长的对角线的两个端点分别作为飞行器起始二维坐标点,如果沿X轴行进扫描,则飞行路线由n次在Y轴方向上往返得到,即存在n+1段沿Y轴的飞行航线,以及n段沿X轴的行进航线。
反之,如果沿Y轴行进扫描,则飞行路线由n次在X轴方向上往返得到,即存在n+1段沿X轴的飞行航线,以及n段沿Y轴的行进航线。
具体地,在步骤101中,三维模型的实时拼接装置可以接收飞行器依次在每一段飞行航线的飞行过程中,由该飞行器所搭载的航摄仪拍摄的多张图像数据。
步骤102、基于第一图像数据、第二图像数据和目标重叠图像,获取第一空间点集和第二空间点集。
其中,第二图像数据为所述飞行器在当前飞行航线中拍摄的图像数据,第一图像数据为所述飞行器在上一飞行航线中拍摄的图像数据。所述目标重叠图像是基于所述第一图像数据和所述第二图像数据确定的。
需要说明的是,第二图像数据,是指飞行器在当前飞行航线中拍摄的多张图像数据,记为PA2。
第一图像数据,是指飞行器在与当前飞行航线相邻的上一飞行航线中拍摄的多张图像数据,记为PA1。
具体地,在步骤102中,三维模型的实时拼接装置根据第一图像数据和第二图像数据,将两组图片中相似度大于预设阈值的图像数据作为目标重叠图像,以指示上一飞行航线和当前飞行航线中相同的观测内容。在利用目标重叠图像在当前航线的空间位置到目标重叠图像在上一航线的空间位置的转换关系,将处于当前航线的地理空间坐标系下的第二图像数据转换至上一航线的地理空间坐标系下,得到两段航线处于同一地理空间坐标系下的第一空间点集和第二空间点集。
其中,第一空间点集是上一航线观测到的地物在上一航线所处的地理空间坐标系下的空间位置点云数据。第二空间点集是当前航线观测到的地物转换至上一航线所处的地理空间坐标系下的空间位置点云数据。
步骤103、将所述第一空间点集和所述第二空间点集输入至建模引擎进行建模,获取拼接后的目标三维模型。
需要说明的是,建模引擎,是指应用底层函数库来创建三维对象或形状的数学表示形式的开发环境。建模引擎包括但不限于Context Capture、Pix4Dmapper、photoscan或inpho等实景三维建模软件。
具体地,在步骤103中,三维模型的实时拼接装置将第一空间点集和所述第二空间点集输入至建模引擎,建模引擎利用两组点云数据,以及两组数据在对应的数据采集位置的飞行器经度、飞行器纬度和飞行器海拔高度相关联,并调用引擎中的算法进行建模,并将两个相邻的数据采集位置的三维模型拼接融合成目标三维模型。
本发明实施例基于相邻飞行航线所采集的第一图像数据和第二图像数据,抽选出两段飞行航线在地理空间上存在重合部分的目标重叠图像,通过目标重叠图像在两段航线的空间位置中的映射关系,分别得到两段航线在同一地理空间坐标系下第一空间点集和所述第二空间点集,并利用建模引擎对统一地理空间坐标系的点云数据进行建模并拼接。能够在飞行器实时回传所拍摄的地物图片的过程中,不断将新回传的图片与已建模的位置数据融合至一个地理空间下,实现了在原有三维模型的基础上直接拼接新模型,提高模型拼接的准确率,且三维模型的现势性较高。
在上述任一实施例的基础上,基于第一图像数据、第二图像数据和目标重叠图像,获取第一空间点集和第二空间点集,包括:分别利用所述第一图像数据和所述第二图像数据进行摄影测量计算,得到第一测量结果和第二测量结果。
具体地,在步骤102中,三维模型的实时拼接装置分别对第一图像数据和第二图像数据进行影像处理和影像匹配,自动识别相应像点及坐标,运用解析摄影测量的方法确定每一张图像所摄地物的三维坐标,并输出数字高程模型和正射数字影像,或图解线划等高线图和带等高线的正射影像图等地理信息,再将其存储至第一测量结果和第二测量结果。
其中,本发明实施例对测量计算方法以及实施方式不作具体限定。
示例性地,空中三角测量的目的是计算相机的内外方位元素和图片中主要特征点的空间位置信息,为三维重建提供基础。
其中,相机的外方位元素是指相机在拍摄照片时的位置信息(X,Y,Z)和姿态信息(方向角,俯仰角,横滚角),可以构建从空间坐标转换为相机坐标的外参矩阵。
相机的内方位元素是描述摄影中心与照片之间相关位置的参数,可以构建从相机坐标转换为照片坐标的内参矩阵。
空中三角测量主要分为特征点提取、特征点匹配、光束法平差三个过程。
(1)特征点提取
特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点。特征点提取的常用算法有SIFT、SURF、ORB等,而SIFT算法因其具有良好的尺度、光照和空间旋转的不变性,使其成为特征点提取中最广泛应用的算法。
(2)特征点匹配
特征点匹配是对提取的特征点进行特征点过滤、生成特征向量和特征描述子,然后对不同图片中的特征点进行匹配的过程。
(3)光束法平差
以一个摄影光束为平差单元,以共线方程为理论基础列误差方程。满足了全区域内同名光线相交的条件,进行全区域的统一平差,解求相机的内外方位元素和特征点的空间坐标。
基于所述第一测量结果,确定所述第一空间点集。
具体地,三维模型的实时拼接装置对第一图像数据中的每一张图像数据进行空三计算得到的第一测量结果中,抽取出所有图像数据的图像坐标,以及在对应图像数据中的同名特征点的特征点坐标,一并存储至第一空间坐标点集PA1。
基于所述第一测量结果和所述第二测量结果,确定所述第二空间点集。
具体地,三维模型的实时拼接装置通过第一测量结果和第二测量结果中关于空间坐标的数据建立转换关系,将该转换关系应用至将第二测量结果中的每一张第二图像数据的图像坐标,以及每一张第二图像数据内的同名特征点所对应的特征点坐标上进行转换,得到与第一空间点集处于同一空间坐标系下的第二空间点集。
本发明实施例分别对第一图像数据和第二图像数据,利用空中三角测量法解析图片,将图片以及图片中的同名特征点在对应测区的地理空间坐标系下的地理信息整合成第一空间坐标点集和第二空间坐标点集,以供利用三维重建技术,对目标物体或者场景进行立体还原。能够在飞行器实时回传所拍摄的地物图片的过程中,顺利地实现相对定向,将得出的连接点数据与像控点当作调试信息就能够绘制出比较精确的地形图,提高模型建立的精确度。
在上述任一实施例的基础上,基于所述第一测量结果和所述第二测量结果,确定所述第二空间点集,包括:基于所述第二测量结果,确定第三空间点集。
具体地,三维模型的实时拼接装置对第二图像数据中的每一张图像数据进行空三计算得到的第二测量结果中,抽取出所有图像数据的图像坐标,以及在对应图像数据中的同名特征点的特征点坐标,一并存储至第三空间坐标点集PA2。
基于所述第一空间点集和所述第三空间点集,得到当前飞行航线所处的地理空间坐标系到上一飞行航线所处的地理空间坐标系的变换矩阵。
具体地,三维模型的实时拼接装置将建立起第一空间坐标点集PA1和第三空间坐标点集PA2之间的转换关系,可以得到由当前飞行航线所处的地理空间坐标系向上一飞行航线所处的地理空间坐标系进行投影转换的映射关系,生成变换矩阵,记作M。
基于所述第三空间点集和所述变换矩阵,确定所述第二空间点集。
具体地,三维模型的实时拼接装置利用变换矩阵M,与第三空间点集PA2进行矩阵运算,将第三空间点集PA2中所有的点投影至上一飞行航线所处的地理空间坐标系下,生成第二空间点集PA3。
本发明实施例分别基于两段航线的测量结果中的第一空间点集和第三空间点集确定两段航线的空间坐标系下的地理位置信息之间的映射关系,得到变换矩阵,以将处于当前航线的地理空间坐标系下的第三空间点集转换至上一航线的地理空间坐标系下的第二空间点集,进而利用建模引擎对统一地理空间坐标系的点云数据进行建模并拼接。能够在飞行器实时回传所拍摄的地物图片的过程中,不断将新回传的图片与已建模的位置数据融合至一个地理空间下,提高模型拼接的准确率,避免实时建模过程中将重合的部分区域归纳至不同的地理框架,从而引起模型的错位拼接。
在上述任一实施例的基础上,基于所述第一空间点集和所述第三空间点集,得到当前飞行航线所处的地理空间坐标系到上一飞行航线所处的地理空间坐标系的变换矩阵,包括:根据目标重叠图像的坐标点,分别从所述第一空间点集和所述第三空间点集抽取出第一子集和第二子集。
具体地,三维模型的实时拼接装置根据目标重叠图像的坐标点,从第一空间坐标点集PA1中抽取出与目标重叠图像对应的空间坐标信息,并整合成第一子集,记为PB1。同理,再根据目标重叠图像的坐标点,从第三空间坐标点集PA2中抽取出与目标重叠图像对应的空间坐标信息,并整合成第二子集,记为PB2。
其中,第一空间坐标点集PA1包含于第一子集PB1,第三空间坐标点集PA2包含于第二子集PB2。
基于所述第一子集和所述第二子集,确定所述变换矩阵。
具体地,三维模型的实时拼接装置将第一子集PB1对位点除第二子集PB2,可以得到由当前飞行航线所处的地理空间坐标系向上一飞行航线所处的地理空间坐标系进行投影转换的映射关系,生成变换矩阵,记作M。
本发明实施例对第一子集和第二子集的配准方法不作具体限定。
示例性地,三维模型的实时拼接装置利用点云配准算法将第一子集PB1中各张目标重叠图像的同名点,第二子集PB2中各张目标重叠图像的同名点进行配准,可以得到由当前飞行航线所处的地理空间坐标系向上一飞行航线所处的地理空间坐标系进行投影转换的旋转矩阵和平移矩阵,整合成变换矩阵M。
其中,点云配准算法包括但不限于Umeyama算法、迭代最近点算法(IterativeClosest Point,ICP)、Sim3等算法。本发明实施例利用目标重叠图像在第一空间点集和第三空间点集中的坐标点,建立两段航线的空间坐标系下的地理位置信息之间的映射关系,得到变换矩阵。能够在飞行器实时回传所拍摄的地物图片的过程中,不断将新回传的图片与已建模的位置数据融合至一个地理空间下,提高模型拼接的准确率,避免实时建模过程中将重合的部分区域归纳至不同的地理框架,从而引起模型的错位拼接。
在上述任一实施例的基础上,在所述基于第一图像数据、第二图像数据和目标重叠图像,获取第一空间点集和第二空间点集之前,还包括:从所述第一图像数据中筛选出图像坐标与所述第二图像数据最接近的第一重叠图像。
具体地,在步骤102之前,三维模型的实时拼接装置根据第一图像数据所对应的第一空间坐标点集所记载的图像坐标,从第一图像数据中选择最接近第二图像数据的图像坐标的N1张连续图像,即认定当前飞行航线下的N1张图像的观测内容也同样在上一飞行航线中被观测到,则将第一图像数据中的N1张图像划分至第一重叠图像。
从所述第二图像数据中筛选出图像坐标与所述第一图像数据最接近的第二重叠图像。
具体地,三维模型的实时拼接装置根据第二图像数据所对应的第二空间坐标点集所记载的图像坐标,从第二图像数据中选择最接近第一图像数据的图像坐标的N2张连续图像,即认定上一飞行航线下的N2张图像的观测内容也同样在当前飞行航线中被观测到,则将第二图像数据中的N2张图像划分至第二重叠图像。
将所述第一重叠图像和所述第二重叠图像整合成所述目标重叠图像。
具体地,三维模型的实时拼接装置将N1张第一重叠图像和N2张第二重叠图像整合成N1+N2张目标重叠图像,以作为上一飞行航线和当前飞行航线共同观测到的地物内容。
本发明实施例分别根据图像坐标,从当前飞行航线对应的第一图像数据抽取出被上一飞行航线共同观测到的第一重叠图像,再从上飞行航线对应的第二图像数据抽取出被当前飞行航线共同观测到的第二重叠图像,最后合并成目标重叠图像,以供目标重叠图像在两段航线的空间坐标系下的同名特征点的地理位置信息进行配准,得到当前飞行航线向上一飞行航线投影的变换矩阵。能够完整的抽取出相邻飞行航线所共同观测到的图像,以提供高精度的定位服务,提高模型拼接的准确度。
在上述任一实施例的基础上,将所述第一空间点集和所述第二空间点集输入至建模引擎进行建模,获取拼接后的目标三维模型,包括:利用所述建模引擎对所述第一空间点集进行建模,获取第一三维模型。
其中,所述第一空间点集是基于将所述第二重叠图像合并至所述第一图像数据后的图像数据生成的。
具体地,在步骤103中,三维模型的实时拼接装置将上一飞行航线中与当前飞行航线共同观测到的第二重叠图像,拼接至上一飞行航线下采集的第一图像数据的后面,并将对合并后的图像执行测量方法所得到的第一空间点集输入至建模引擎中的相应算法进行建模,得到上一飞行航线对应的第一三维模型。
利用所述建模引擎对所述第二空间点集进行建模,获取第二三维模型。
其中,所述第二空间点集是基于将所述第一重叠图像合并至所述第二图像数据后的图像数据生成的。
具体地,三维模型的实时拼接装置将当前飞行航线中与上一飞行航线共同观测到的第一重叠图像,拼接至投影到上一飞行航线的空间坐标系下的第二图像数据的前面,并将对合并后的图像执行测量方法并坐标转换后所得到的第二空间点集输入至建模引擎中的相应算法进行建模,得到当前飞行航线对应的第二三维模型。
将所述第二三维模型拼接至所述第一三维模型,获取所述目标三维模型。
具体地,三维模型的实时拼接装置将上一飞行航线对应的第一三维模型和当前飞行航线对应的第二三维模型直接拼接,获取全景的目标三维模型。
可以理解的是,第一三维模型不仅可以对应上一段飞行航线的三维模型,也可以是相对与当前飞行航线的部分或者所有历史飞行航线拼接后的三维模型。
本发明实施例分别利用相邻飞行航线之间互相观测到的部分图形数据,补充至统一地理空间坐标系后的第一图像数据和第三图像数据,并利用建模引擎分别对两组图像进行建模并拼接。能够在飞行器实时回传所拍摄的地物图片的过程中,不断将新回传的图片与已建模的位置数据融合至一个地理空间下,实现了在原有三维模型的基础上直接拼接新模型,提高模型拼接的准确率,且三维模型的现势性较高。
图2是本发明提供的三维模型的实时拼接装置的结构示意图。如图2所示,在上述任一实施例的基础上,该装置包括:图像回传模块210、坐标确定模块220和模型拼接模块230,其中:
图像回传模块210,用于实时接收飞行器在多段飞行航线中每段飞行航线的飞行过程中所拍摄的图像数据。
坐标确定模块220,用于基于第一图像数据、第二图像数据和目标重叠图像,获取第一空间点集和第二空间点集。
模型拼接模块230,用于将所述第一空间点集和所述第二空间点集输入至建模引擎进行建模,获取拼接后的目标三维模型。
其中,所述多段飞行航线为所述飞行器在观测区域内顺次折返飞行的航线。第二图像数据为所述飞行器在当前飞行航线中拍摄的图像数据,第一图像数据为所述飞行器在上一飞行航线中拍摄的图像数据。所述目标重叠图像是基于所述第一图像数据和所述第二图像数据确定的。
具体地,图像回传模块210、坐标确定模块220和模型拼接模块230顺次电连接。
图像回传模块210可以接收飞行器依次在每一段飞行航线的飞行过程中,由该飞行器所搭载的航摄仪拍摄的多张图像数据。
坐标确定模块220根据第一图像数据和第二图像数据,将两组图片中相似度大于预设阈值的图像数据作为目标重叠图像,以指示上一飞行航线和当前飞行航线中相同的观测内容。在利用目标重叠图像在当前航线的空间位置到目标重叠图像在上一航线的空间位置的转换关系,将处于当前航线的地理空间坐标系下的第二图像数据转换至上一航线的地理空间坐标系下,得到两段航线处于同一地理空间坐标系下的第一空间点集和第二空间点集。
模型拼接模块230将第一空间点集和所述第二空间点集输入至建模引擎,建模引擎利用两组点云数据,以及两组数据在对应的数据采集位置的飞行器经度、飞行器纬度和飞行器海拔高度相关联,并调用引擎中的算法进行建模,并将两个相邻的数据采集位置的三维模型拼接融合成目标三维模型。
可选地,坐标确定模块220包括测量单元、第一空间坐标确定单元和第二空间坐标确定单元,其中:
测量单元,用于分别利用所述第一图像数据和所述第二图像数据进行摄影测量计算,得到第一测量结果和第二测量结果。
第一空间坐标确定单元,用于基于所述第一测量结果,确定所述第一空间点集。
第二空间坐标确定单元,用于基于所述第一测量结果和所述第二测量结果,确定所述第二空间点集。
可选地,第二空间坐标确定单元包括第三空间坐标确定子单元、变换矩阵获取子单元和第二空间坐标确定子单元,其中:
第三空间坐标确定子单元,用于基于所述第二测量结果,确定第三空间点集。
变换矩阵获取子单元,用于基于所述第一空间点集和所述第三空间点集,得到当前飞行航线所处的地理空间坐标系到上一飞行航线所处的地理空间坐标系的变换矩阵。
第二空间坐标确定子单元,用于基于所述第三空间点集和所述变换矩阵,确定所述第二空间点集。
可选地,变换矩阵获取子单元包括重叠区域筛选微单元和变换矩阵获取微单元,其中:
重叠区域筛选微单元,用于根据目标重叠图像的坐标点,分别从所述第一空间点集和所述第三空间点集抽取出第一子集和第二子集。
变换矩阵获取微单元,用于基于所述第一子集和所述第二子集,确定所述变换矩阵。
可选地,该装置还包括第一重叠图像筛选模块、第二重叠图像筛选模块和重叠图像合并模块,其中:
第一重叠图像筛选模块,用于从所述第一图像数据中筛选出图像坐标与所述第二图像数据最接近的第一重叠图像。
第二重叠图像筛选模块,用于从所述第二图像数据中筛选出图像坐标与所述第一图像数据最接近的第二重叠图像。
重叠图像合并模块,用于将所述第一重叠图像和所述第二重叠图像整合成所述目标重叠图像。
可选地,模型拼接模块230包括第一建模单元、第二建模单元和模型拼接单元,其中:
第一建模单元,用于利用所述建模引擎对所述第一空间点集进行建模,获取第一三维模型。
第二建模单元,用于利用所述建模引擎对所述第二空间点集进行建模,获取第二三维模型。
模型拼接单元,用于将所述第二三维模型拼接至所述第一三维模型,获取所述目标三维模型。
其中,所述第一空间点集是基于将所述第二重叠图像合并至所述第一图像数据后的图像数据生成的。所述第二空间点集是基于将所述第一重叠图像合并至所述第二图像数据后的图像数据生成的。
本发明实施例提供的三维模型的实时拼接装置,用于执行本发明上述三维模型的实时拼接方法,其实施方式与本发明提供的三维模型的实时拼接方法的实施方式一致,且可以达到相同的有益效果,此处不再赘述。
本发明实施例基于相邻飞行航线所采集的第一图像数据和第二图像数据,抽选出两段飞行航线在地理空间上存在重合部分的目标重叠图像,通过目标重叠图像在两段航线的空间位置中的映射关系,分别得到两段航线在同一地理空间坐标系下第一空间点集和所述第二空间点集,并利用建模引擎对统一地理空间坐标系的图像进行建模并拼接。能够在飞行器实时回传所拍摄的地物图片的过程中,不断将新回传的图片与已建模的位置数据融合至一个地理空间下,实现了在原有三维模型的基础上直接拼接新模型,提高模型拼接的准确率,且三维模型的现势性较高。
图3示例了一种电子设备的实体结构示意图,如图3所示,该电子设备可以包括:处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340,其中,处理器310,通信接口320,存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令,以执行三维模型的实时拼接方法,该方法包括:实时接收飞行器在多段飞行航线中每段飞行航线的飞行过程中所拍摄的图像数据;基于第一图像数据、第二图像数据和目标重叠图像,获取第一空间点集和第二空间点集;将所述第一空间点集和所述第二空间点集输入至建模引擎进行建模,获取拼接后的目标三维模型;其中,所述多段飞行航线为所述飞行器在观测区域内顺次折返飞行的航线;第二图像数据为所述飞行器在当前飞行航线中拍摄的图像数据,第一图像数据为所述飞行器在上一飞行航线中拍摄的图像数据;所述目标重叠图像是基于所述第一图像数据和所述第二图像数据确定的。
此外,上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的三维模型的实时拼接方法,该方法包括:实时接收飞行器在多段飞行航线中每段飞行航线的飞行过程中所拍摄的图像数据;基于第一图像数据、第二图像数据和目标重叠图像,获取第一空间点集和第二空间点集;将所述第一空间点集和所述第二空间点集输入至建模引擎进行建模,获取拼接后的目标三维模型;其中,所述多段飞行航线为所述飞行器在观测区域内顺次折返飞行的航线;第二图像数据为所述飞行器在当前飞行航线中拍摄的图像数据,第一图像数据为所述飞行器在上一飞行航线中拍摄的图像数据;所述目标重叠图像是基于所述第一图像数据和所述第二图像数据确定的。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的三维模型的实时拼接方法,该方法包括:实时接收飞行器在多段飞行航线中每段飞行航线的飞行过程中所拍摄的图像数据;基于第一图像数据、第二图像数据和目标重叠图像,获取第一空间点集和第二空间点集;将所述第一空间点集和所述第二空间点集输入至建模引擎进行建模,获取拼接后的目标三维模型;其中,所述多段飞行航线为所述飞行器在观测区域内顺次折返飞行的航线;第二图像数据为所述飞行器在当前飞行航线中拍摄的图像数据,第一图像数据为所述飞行器在上一飞行航线中拍摄的图像数据;所述目标重叠图像是基于所述第一图像数据和所述第二图像数据确定的。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种三维模型的实时拼接方法,其特征在于,包括:
实时接收飞行器在多段飞行航线中每段飞行航线的飞行过程中所拍摄的图像数据;
基于第一图像数据、第二图像数据和目标重叠图像,获取第一空间点集和第二空间点集;
将所述第一空间点集和所述第二空间点集输入至建模引擎进行建模,获取拼接后的目标三维模型;
其中,所述多段飞行航线为所述飞行器在观测区域内顺次折返飞行的航线;第二图像数据为所述飞行器在当前飞行航线中拍摄的图像数据,第一图像数据为所述飞行器在上一飞行航线中拍摄的图像数据;所述目标重叠图像是基于所述第一图像数据和所述第二图像数据确定的。
2.根据权利要求1所述的三维模型的实时拼接方法,其特征在于,所述基于第一图像数据、第二图像数据和目标重叠图像,获取第一空间点集和第二空间点集,包括:
分别利用所述第一图像数据和所述第二图像数据进行摄影测量计算,得到第一测量结果和第二测量结果;
基于所述第一测量结果,确定所述第一空间点集;
基于所述第一测量结果和所述第二测量结果,确定所述第二空间点集。
3.根据权利要求1所述的三维模型的实时拼接方法,其特征在于,所述基于所述第一测量结果和所述第二测量结果,确定所述第二空间点集,包括:
基于所述第二测量结果,确定第三空间点集;
基于所述第一空间点集和所述第三空间点集,得到当前飞行航线所处的地理空间坐标系到上一飞行航线所处的地理空间坐标系的变换矩阵;
基于所述第三空间点集和所述变换矩阵,确定所述第二空间点集。
4.根据权利要求3所述的三维模型的实时拼接方法,其特征在于,所述基于所述第一空间点集和所述第三空间点集,得到当前飞行航线所处的地理空间坐标系到上一飞行航线所处的地理空间坐标系的变换矩阵,包括:
根据目标重叠图像的坐标点,分别从所述第一空间点集和所述第三空间点集抽取出第一子集和第二子集;
基于所述第一子集和所述第二子集,确定所述变换矩阵。
5.根据权利要求1所述的三维模型的实时拼接方法,其特征在于,在所述基于第一图像数据、第二图像数据和目标重叠图像,获取第一空间点集和第二空间点集之前,还包括:
从所述第一图像数据中筛选出图像坐标与所述第二图像数据最接近的第一重叠图像;
从所述第二图像数据中筛选出图像坐标与所述第一图像数据最接近的第二重叠图像;
将所述第一重叠图像和所述第二重叠图像整合成所述目标重叠图像。
6.根据权利要求5所述的三维模型的实时拼接方法,其特征在于,所述将所述第一空间点集和所述第二空间点集输入至建模引擎进行建模,获取拼接后的目标三维模型,包括:
利用所述建模引擎对所述第一空间点集进行建模,获取第一三维模型;
利用所述建模引擎对所述第二空间点集进行建模,获取第二三维模型;
将所述第二三维模型拼接至所述第一三维模型,获取所述目标三维模型;
其中,所述第一空间点集是基于将所述第二重叠图像合并至所述第一图像数据后的图像数据生成的;所述第二空间点集是基于将所述第一重叠图像合并至所述第二图像数据后的图像数据生成的。
7.一种三维模型的实时拼接装置,其特征在于,包括:
图像回传模块,用于实时接收飞行器在多段飞行航线中每段飞行航线的飞行过程中所拍摄的图像数据;
坐标确定模块,用于基于第一图像数据、第二图像数据和目标重叠图像,获取第一空间点集和第二空间点集;
模型拼接模块,用于将所述第一空间点集和所述第二空间点集输入至建模引擎进行建模,获取拼接后的目标三维模型;
其中,所述多段飞行航线为所述飞行器在观测区域内顺次折返飞行的航线;第二图像数据为所述飞行器在当前飞行航线中拍摄的图像数据,第一图像数据为所述飞行器在上一飞行航线中拍摄的图像数据;所述目标重叠图像是基于所述第一图像数据和所述第二图像数据确定的。
8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述三维模型的实时拼接方法。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述三维模型的实时拼接方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述三维模型的实时拼接方法。
CN202211460828.6A 2022-11-17 2022-11-17 三维模型的实时拼接方法及装置 Pending CN118071589A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211460828.6A CN118071589A (zh) 2022-11-17 2022-11-17 三维模型的实时拼接方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211460828.6A CN118071589A (zh) 2022-11-17 2022-11-17 三维模型的实时拼接方法及装置

Publications (1)

Publication Number Publication Date
CN118071589A true CN118071589A (zh) 2024-05-24

Family

ID=91108237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211460828.6A Pending CN118071589A (zh) 2022-11-17 2022-11-17 三维模型的实时拼接方法及装置

Country Status (1)

Country Link
CN (1) CN118071589A (zh)

Similar Documents

Publication Publication Date Title
AU2008322565B9 (en) Method and apparatus of taking aerial surveys
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN105627991A (zh) 一种无人机影像实时全景拼接方法及系统
CN111829532B (zh) 一种飞行器重定位系统和重定位方法
CN104268935A (zh) 一种基于特征的机载激光点云与影像数据融合系统及方法
CN107917699B (zh) 一种用于提高山区地貌倾斜摄影测量空三质量的方法
CN110703805B (zh) 立体物体测绘航线规划方法、装置、设备、无人机及介质
CN112184786A (zh) 一种基于合成视觉的目标定位方法
CN115423863B (zh) 相机位姿估计方法、装置及计算机可读存储介质
CN108876828A (zh) 一种无人机图像批处理三维重建方法
CN111693025A (zh) 一种遥感影像数据生成方法、系统及设备
JP2017201261A (ja) 形状情報生成システム
CN110986888A (zh) 一种航空摄影一体化方法
CN108253942B (zh) 一种提高倾斜摄影测量空三质量的方法
CN109341685B (zh) 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法
CN110411449B (zh) 一种航空侦察载荷目标定位方法、系统及终端设备
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
Sokolov et al. Development of software and hardware of entry-level vision systems for navigation tasks and measuring
CN109003295B (zh) 一种无人机航空影像快速匹配方法
Chiabrando et al. Performance evaluation of cots uav for architectural heritage documentation. A test on s. giuliano chapel in savigliano (cn)–Italy
Pagliari et al. Use of fisheye parrot bebop 2 images for 3d modelling using commercial photogrammetric software
CN111581322B (zh) 视频中兴趣区域在地图窗口内显示的方法和装置及设备
CN118071589A (zh) 三维模型的实时拼接方法及装置
Jeong et al. A study of trajectory models for satellite image triangulation
AU2013260677B2 (en) Method and apparatus of taking aerial surveys

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination