CN112288853B - 三维重建方法、三维重建装置、存储介质 - Google Patents
三维重建方法、三维重建装置、存储介质 Download PDFInfo
- Publication number
- CN112288853B CN112288853B CN202011177193.XA CN202011177193A CN112288853B CN 112288853 B CN112288853 B CN 112288853B CN 202011177193 A CN202011177193 A CN 202011177193A CN 112288853 B CN112288853 B CN 112288853B
- Authority
- CN
- China
- Prior art keywords
- dimensional reconstruction
- coordinate system
- position coordinates
- input images
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000009466 transformation Effects 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims description 58
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000001131 transforming effect Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000002910 structure generation Methods 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/012—Dimensioning, tolerancing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
一种三维重建方法、三维重建装置和非瞬时性计算机可读存储介质。三维重建方法包括:获取包括目标对象的多张输入图像,并获取多张输入图像对应的图像采集装置分别在大地坐标系中的多个第一位置坐标;基于多张输入图像构建重建坐标系,并根据重建坐标系进行针对目标对象的三维重建处理,以得到目标对象的第一三维重建模型和多张输入图像对应的图像采集装置分别在重建坐标系中的多个第二位置坐标;基于多个第一位置坐标和多个第二位置坐标,对第一三维重建模型中的至少部分点进行变换处理,以得到第二三维重建模型。
Description
技术领域
本公开的实施例涉及一种三维重建方法、三维重建装置和非瞬时性计算机可读存储介质。
背景技术
随着人工智能(Artificial Intelligence,AI)技术被广泛应用于生产生活,作为人工智能的视觉部分的关键组成,三维重建和三维模型后处理技术逐渐成为研究人员讨论的热点。目前,基于多视图的三维重建算法已经相对成熟,重建所得的模型能够较好反映真实世界中的物体的特征。但是,精度、速度和用户体验仍然是多视图三维重建方案亟待优化的指标。
发明内容
提供该发明内容部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开至少一实施例提供一种三维重建方法,包括:获取包括目标对象的多张输入图像,并获取所述多张输入图像对应的图像采集装置分别在大地坐标系中的多个第一位置坐标;基于所述多张输入图像构建重建坐标系,并根据所述重建坐标系进行针对所述目标对象的三维重建处理,以得到所述目标对象的第一三维重建模型和所述多张输入图像对应的图像采集装置分别在所述重建坐标系中的多个第二位置坐标;基于所述多个第一位置坐标和所述多个第二位置坐标,对所述第一三维重建模型中的至少部分点进行变换处理,以得到第二三维重建模型。
本公开至少一实施例提供一种三维重建装置,包括:存储器,用于非瞬时性地存储计算机可读指令;处理器,用于运行所述计算机可读指令,所述计算机可读指令被所述处理器运行时实现根据本公开任一实施例所述的三维重建方法。
本公开至少一实施例提供一种非瞬时性计算机可读存储介质,其中,所述非瞬时性计算机可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现根据本公开任一实施例所述的三维重建方法。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为本公开至少一实施例提供的一种三维重建方法的示意性流程图;
图2为本公开一些实施例提供的一种在不同位置采集输入图像的示意图;
图3为本公开一些实施例提供的一种大地坐标系和中间坐标系的示意图;
图4为本公开至少一实施例提供的一种三维重建装置的示意性框图;
图5为本公开至少一实施例提供的一种非瞬时性计算机可读存储介质的示意图;以及
图6为本公开至少一实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
目前,无论是单纯基于视觉的运动结构生成(structure from motion,SFM)算法的三维重建技术,还是将定位导航技术与视觉方法相结合的视觉SLAM(机器人同时定位与建图)方法的三维重建技术,为了测量重建的三维模型的真实尺度,首先,需要测量真实世界中的物体上的两点之间距离和重建的三维模型上的同样位置的两点之间的距离,然后,将真实世界中的物体上的两点之间距离与三维模型上的两点之间的距离之间的比例来对三维模型进行缩放处理,从而使得处理之后的三维模型的尺度与真实世界中的物体的尺度一致。然而,由于无法容易地获得真实世界中的一些物体(例如,一些建筑物)的设计图纸,也很难现场测量这些物体,因此,上述方法不一定能够实现获取三维模型的真实尺度。
本公开至少一实施例提供一种三维重建方法、三维重建装置和非瞬时性计算机可读存储介质。三维重建方法包括:获取包括目标对象的多张输入图像,并获取多张输入图像对应的图像采集装置分别在大地坐标系中的多个第一位置坐标;基于多张输入图像构建重建坐标系,并根据重建坐标系进行针对目标对象的三维重建处理,以得到目标对象的第一三维重建模型和多张输入图像对应的图像采集装置分别在重建坐标系中的多个第二位置坐标;基于多个第一位置坐标和多个第二位置坐标,对第一三维重建模型中的至少部分点进行变换处理,以得到第二三维重建模型。
该三维重建方法可以基于多张输入图像对应的图像采集装置分别在大地坐标系中的多个第一位置坐标(即输入图像对应的图像采集装置的GPS信息)计算三维重建模型的真实尺度,从而简单、快速地获取三维重建模型的真实尺度,而且,该真实尺度具有较高的精度。
例如,获取三维重建模型的真实尺度主要由以下用途:第一,有利于将素材按照三维重建模型的真实尺度进行设计,比如虚拟人物角色素材大小相对于某建筑大小,提升素材与真实目标物体之间的契合度;第二,在地标增强现实(AR)特效的应用中,本公开提供的三维重建方法可以和SLAM系统结合以进行手机上的相机的位置跟踪,SLAM系统能够返回当前相机相对于目标物体的真实尺度的实时位置,可以结合用于计算当前相机的视角,渲染与建筑之间相对位置正确的AR素材。
需要说明的是,本公开实施例提供的三维重建方法可应用于本公开实施例提供的三维重建装置,该三维重建装置可被配置于显示装置上,例如,三维重建装置还可以配置于显示装置的应用程序中。该显示装置可以是个人计算机、移动终端等,该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。应用程序可以为抖音等。
下面结合附图对本公开的实施例进行详细说明,但是本公开并不限于这些具体的实施例。需要说明的是,为了保持本公开实施例的以下说明清楚且简明,本公开省略了部分已知功能和已知部件的详细说明。
图1为本公开至少一实施例提供的一种三维重建方法的示意性流程图。
例如,如图1所示,该三维重建方法包括步骤S10至S12。
步骤S10:获取包括目标对象的多张输入图像,并获取多张输入图像对应的图像采集装置分别在大地坐标系中的多个第一位置坐标;
步骤S11:基于多张输入图像构建重建坐标系,并根据重建坐标系进行针对目标对象的三维重建处理,以得到目标对象的第一三维重建模型和多张输入图像对应的图像采集装置分别在重建坐标系中的多个第二位置坐标;
步骤S12:基于多个第一位置坐标和多个第二位置坐标,对第一三维重建模型中的至少部分点进行变换处理,以得到第二三维重建模型。
例如,在步骤S10中,多张输入图像和多个第一位置坐标一一对应。
例如,输入图像可以通过图像采集装置得到,图像采集装置用于拍摄图像和/或视频等。图像采集装置可以包括相机、摄像机等。
例如,在一些实施例中,多张输入图像的数量可以为1000,然而,本公开包括但不限于此,多张输入图像的数量也可以为800、1200等,多张输入图像的数量根据实际情况设置。
例如,输入图像可以是图像采集装置实时采集的图像,也可以是预先采集并存储的图像。例如,输入图像所包括的目标物体包括地标建筑(例如,岳阳的岳阳楼、南昌的滕王阁、武汉的黄鹤楼、北京三里屯的太古里等)等室外物体,也可以包括桌子和柜子等室内物体,还可以是自然景物,例如,加州红杉树等。例如,目标物体可以为室外的且比较大型的物体,从而能够获取稳定的图像采集位置的第一位置坐标。
例如,多张输入图像可以由同一个图像采集装置采集,多个第一位置坐标表示拍摄多张输入图像时该图像采集装置的位置。但本公开不限于此,多张输入图像也可以由不同图像采集装置采集。
图2为本公开一些实施例提供的一种在不同位置采集输入图像的示意图。
例如,如图2所示,目标物体100可以为大厦,图像采集装置110可以在不同的位置(例如,图2所示的位置A、B、C和D)采集该目标物体100的图像,以得到多个输入图像。位置A、位置B、位置C和位置D分别对应不同的第一位置坐标,如图2所示,位置A和位置B位于目标物体100的左侧,位置D位于目标物体100的右侧,位置C位于目标物体100的前方。位置A和目标物体100之间的距离和位置D和目标物体100之间的距离可以相同,位置B和目标物体100之间的距离和位置C和目标物体100之间的距离可以相同,位置A和目标物体100之间的距离大于位置B和目标物体100之间的距离。位置A的高度和位置B的高度相同,且均小于位置C的高度,位置C的高度小于位置D的高度。
需要说明的是,图2所示的位置A、B、C和D仅是示意性的,“左侧”和“右侧”是从目标物体100的正面的角度进行划分的。
图3为本公开一些实施例提供的一种大地坐标系和中间坐标系的示意图。
例如,如图3所示,大地坐标系表示为坐标系OXYZ。大地坐标系OXYZ是大地测量中以参考椭球面为基准面建立起来的坐标系。在大地坐标系OXYZ中,地面点的位置用大地经度(即经度)、大地纬度(即纬度)和大地高度(即海拔高度)表示。例如,大地坐标系OXYZ可以为WGS-84坐标系或GCJ-02坐标系。例如,WGS-84坐标系的X轴指向BIH(国际时间服务机构)1984.0定义的零子午面(Greenwich)和协议地球极(CTP)赤道的交点,Z轴指向CTP方向,Y轴与X、Z轴构成右手坐标系。
例如,在步骤S10中,获取多张输入图像对应的图像采集装置分别在大地坐标系中的多个第一位置坐标,包括:读取在分别拍摄多张输入图像时由图像采集装置记录的多个位置数据,并基于多个位置数据获得多个第一位置坐标。
例如,多个位置数据是卫星定位系统确定的位置数据。例如,在通过图像采集装置采集多张输入图像时,通过卫星定位系统实时采集该图像采集装置对应的多个位置数据,然后,根据该多个位置数据得到图像采集装置对应的多个第一位置坐标。
例如,卫星定位系统可以包括全球定位系统(Global Positioning System,GPS)、北斗卫星(BDS)导航系统、格洛纳斯(GLONASS)卫星导航系统或伽利略卫星导航系统等。
例如,在一些实施例中,多个位置数据为基于大地坐标系下的位置数据,则可以直接将多个位置数据作为多个第一位置坐标;在另一些实施例中,若多个位置数据不是基于大地坐标系下的位置数据,而是基于特定坐标系下的位置数据,则需要将多个位置数据从特定坐标系转换到大地坐标系下,以得到多个第一位置数据。
例如,多个第一位置坐标各不相同,多个第一位置坐标相对于目标物体的角度也各不相同。本公开包括但不限于此,在另一些实施例中,多个第一位置坐标中至少部分第一位置坐标也可以相同,和/或,多个第一位置坐标中至少部分第一位置坐标相对于目标物体的角度也可以相同。
例如,多个第一位置坐标中的每个第一位置坐标包括经度、纬度和海拔高度。第一位置坐标表示采集输入图像时,该图像采集装置对应的经度、纬度和海拔高度。
例如,第一三维重建模型表示在重建坐标系下的模型。重建坐标系可以为直角坐标系。
例如,在步骤S11中,多张输入图像和多个第二位置坐标也一一对应。
例如,在步骤S11中,基于多张输入图像构建重建坐标系包括:确定多张输入图像中的参考输入图像;以参考输入图像对应的第一位置坐标作为坐标原点、以第一参考方向作为第一坐标轴,以第二参考方向作为第二坐标轴、以参考输入图像对应的视角方向作为第三坐标轴建立重建坐标系。
例如,多张输入图像中的与参考输入图像匹配的输入图像的数量最多,也就是说,多张输入图像中的与参考输入图像匹配的输入图像的数量大于等于多张输入图像中的与除了参考输入图像之外的任一输入图像匹配的输入图像的数量。在本公开的一些实施例中,两个输入图像匹配可以表示两个输入图像之间的相似度较高,例如,若两个输入图像之间的相匹配的特征点(特征点表示目标物体上的尺度不变性的点或块)数量不少于特定阈值(例如,16等),则该两个输入图像匹配。
例如,第一参考方向可以为水平方向,第二参考方向可以为竖直方向,参考输入图像对应的视角方向可以表示拍摄该参考输入图像时图像采集装置朝向的方向。
例如,在一些实施例中,在步骤S11中,根据重建坐标系进行针对目标对象的三维重建处理,以得到目标对象的第一三维重建模型和多张输入图像对应的图像采集装置分别在重建坐标系中的多个第二位置坐标,包括:通过三维重建算法对多张输入图像进行针对目标对象的三维重建处理,以得到第一三维重建模型;确定参考输入图像对应的第二位置坐标为重建坐标系的原点;根据多张输入图像中除了参考输入图像之外的其余输入图像和参考输入图像之间的位置关系,确定其余输入图像对应的第二位置坐标,由此得到多个第二位置坐标。
例如,在本实施例中,多个第二位置坐标包括参考输入图像对应的第二位置坐标和其余输入图像对应的第二位置坐标。
例如,在另一些实施例中,在步骤S11中,根据重建坐标系进行针对目标对象的三维重建处理,以得到目标对象的第一三维重建模型和多张输入图像对应的图像采集装置分别在重建坐标系中的多个第二位置坐标,包括:通过三维重建算法对多张输入图像进行针对目标对象的三维重建处理,以得到中间三维重建模型;将中间三维重建模型进行归一化处理,以得到第一三维重建模型;确定参考输入图像对应的第二位置坐标为重建坐标系的原点;根据多张输入图像中除了参考输入图像之外的其余输入图像和所述参考输入图像之间的位置关系,确定其余输入图像对应的第二位置坐标,由此得到多个第二位置坐标。
例如,在本实施例中,第一三维重建模型位于重建坐标系中的归一化立方体区域内,归一化立方体区域在重建坐标系的第一坐标轴上的范围、在重建坐标系的第二坐标轴上的范围和在重建坐标系的第三坐标轴上的范围均为-1到1,多个第二位置坐标包括参考输入图像对应的第二位置坐标和其余输入图像对应的第二位置坐标。例如,归一化处理可以便于后续对归一化后的第一三维重建模型进行处理,还可以简化计算以及消除奇异样本数据导致的不良影响。
例如,在本公开的实施例中,参考输入图像对应的第二位置坐标作为重建坐标系的坐标原点,即参考输入图像对应的第二位置坐标为(0,0,0)。
例如,可以通过各种合适的三维重建算法来重建物体的三维模型。三维重建算法可以包括基于视觉的SFM(运动结构生成structure from motion)算法等合适的算法。SFM算法是一种基于各种收集到的无序图片进行三维重建的离线算法。SFM算法主要包括以下步骤:提取图像的特征点;各个图像的特征点匹配;图像配对匹配;选择匹配对数最多的图像作为种子图像(例如,种子图像可以为上述参考输入图像),逐张加入新的图像以计算各个图像对应的相机之间的相对位置并扩充三维点云;对全部图像进行最小化重投影误差(例如,光束法平差(bundle adjustment))处理以优化各个图像对应的相机的位置结果。当将正确匹配的点对连接起来之后就形成特征点的初步运动轨迹,然后将整个轨迹描画出来,以得到稀疏的三维点云。关于SFM算法的详细步骤,可以参考本领域中关于SFM算法的说明,详细过程不再赘述。
例如,在一些实施例中,步骤S12包括:基于多个第一位置坐标和多个第二位置坐标,计算重建坐标系和大地坐标系之间的变换矩阵;使用变换矩阵对第一三维重建模型中的至少部分点进行变换处理,以得到第二三维重建模型。
例如,在本实施例中,基于多个第一位置坐标和多个第二位置坐标,计算重建坐标系和大地坐标系之间的变换矩阵,包括:将多个第一位置坐标从大地坐标系转换到中间坐标系中,以得到多张输入图像对应的图像采集装置分别在中间坐标系中的多个第三位置坐标,其中,多个第三位置坐标与多个第一位置坐标一一对应,从大地坐标系转换到中间坐标系基于第一子变换矩阵;基于多个第二位置坐标和多个第三位置坐标,计算中间坐标系和重建坐标系之间的第二子变换矩阵;由第一子变换矩阵和第二子变换矩阵计算变换矩阵。
例如,在本实施例中,变换矩阵表示从重建坐标系转换到大地坐标系的变换矩阵,第二三维重建模型可以表示在大地坐标系下的模型。
例如,在本实施例中,变换矩阵可以为从重建坐标系转换到中间坐标系的子变换矩阵和从中间坐标系转换到大地坐标系的子变换矩阵的乘积。
例如,在另一些实施例中,步骤S12包括:将多个第一位置坐标从大地坐标系转换到中间坐标系中,以得到多张输入图像对应的图像采集装置分别在中间坐标系中的多个第三位置坐标,其中,多个第三位置坐标与多个第一位置坐标一一对应,从大地坐标系转换到中间坐标系基于第一子变换矩阵;基于多个第二位置坐标和多个第三位置坐标,计算中间坐标系和重建坐标系之间的第二子变换矩阵作为变换矩阵;使用变换矩阵对第一三维重建模型中的至少部分点进行变换处理,以得到第二三维重建模型。
例如,在本实施例中,变换矩阵表示从重建坐标系转换到中间坐标系的第二子变换矩,此时,第二三维重建模型可以表示在中间坐标系下的模型。
例如,在一些实施例中,如图3所示,中间坐标系可以为站心坐标系O’ENU(即东北天坐标系(ENU坐标系)),站心坐标系O’ENU为直角坐标系,站心坐标系O’ENU的原点O’为多个第一位置坐标的平均值所表示的位置,站心坐标系O’ENU的Z轴(即U轴)与参考椭球的法线重合(指向天顶),Y轴(即N轴)与参考椭球的短半轴重合(指向北边),X轴(即E轴)与参考椭球的长半轴重合(指向东边)。站心坐标系O’ENU具有容易跟地图对齐,便于计算等特点。
需要说明的是,本公开的实施例不限于中间坐标系为站心坐标系,中间坐标系还可以为其他合适的坐标系,由用户根据实际情况进行设置。
例如,中间坐标系可以为直角坐标系。
例如,由于第一位置坐标表示GPS坐标(即经度、纬度、高度),经度、纬度、高度各自单位和度量不一致,因此,需要将第一位置坐标转换到各个轴的度量一致的中间坐标系,将第一位置坐标转换到中间坐标系可以简化计算,还可以便于后续增加新的输入图像时,可以快速、简单地将新的输入图像的坐标转换到中间坐标系中。
需要说明的是,关于第一子变换矩阵,可以参考本领域中的对不同坐标系(例如,大地坐标系和站心坐标系(当中间坐标系为站心坐标系时))进行变换的相关内容,本公开在此不作描述。
例如,第二子变换矩阵M表示为:
其中,M表示第二子变换矩阵,s表示缩放因子,r11、r12、r13、r21、r22、r23、r31、r32和r33表示旋转参数,tx、ty和tz表示平移参数。
例如,多个第二位置坐标、多个第三位置坐标和第二子变换矩阵之间的关系表示为:
Pi=M*Qi,
其中,Pi表示多个第三位置坐标中的第i个第三位置坐标对应的矩阵,Qi表示多个第二位置坐标中的第i个第二位置坐标对应的矩阵。
Qi表示为:
其中,x1i、y1i和z1i表示第i个第二位置坐标。
Pi表示为:
其中,x2i、y2i和z2i表示第i个第三位置坐标。
例如,在一些实施例中,三维重建方法还包括:根据第二三维重建模型,确定目标物体的至少部分的真实尺度。
例如,第二三维重建模型的至少部分的尺寸与目标物体的与第二三维重建模型的至少部分对应的部分的尺寸相同,由此,根据第二三维重建模型的至少部分的尺寸则可以得到目标物体上与该第二三维重建模型的至少部分对应的部分的尺寸,即目标物体的真实尺寸。
例如,在一些实施例中,将第一三维重建模型中的所有点均进行变换处理,以得到第二三维重建模型,此时,第二三维重建模型的尺寸和目标物体的真实尺寸相同。
例如,第一三维重建模型为三维点云模型。第二三维重建模型也可以为三维点云模型。
本公开至少一实施例还提供一种三维重建装置,图4为本公开至少一实施例提供的一种三维重建装置的示意性框图。
例如,如图4所示,三维重建装置20包括处理器200和存储器210。应当注意,图4所示的三维重建装置20的组件只是示例性的,而非限制性的,根据实际应用需要,该三维重建装置20还可以具有其他组件。
例如,处理器200和存储器210之间可以直接或间接地互相通信。
例如,处理器200和存储器210可以通过网络连接进行通信。网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。处理器200和存储器210之间也可以通过系统总线实现相互通信,本公开对此不作限制。
例如,存储器210用于非瞬时性地存储计算机可读指令。处理器200用于运行计算机可读指令时,计算机可读指令被处理器200运行时实现根据上述任一实施例所述的视频处理方法。关于该视频处理方法的各个步骤的具体实现以及相关解释内容可以参见上述视频处理方法的实施例,重复之处在此不作赘述。
例如,处理器200和存储器210可以设置在服务器端(或云端)。
例如,处理器200可以控制三维重建装置20中的其它组件以执行期望的功能。处理器200可以是中央处理器(CPU)、网络处理器(NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。中央处理元(CPU)可以为X86或ARM架构等。
例如,存储器210可以包括一个或多个计算机程序产品的任意组合,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机可读指令,处理器200可以运行所述计算机可读指令,以实现电子设备的各种功能。在存储介质中还可以存储各种应用程序和各种数据等。
例如,在一些实施例中,三维重建装置20还包括图像采集装置。图像采集装置被配置为采集包括目标对象的多张输入图像。
例如,图像采集装置可以包括相机、摄像机等可以拍摄视频和/或图像的装置。图像采集装置可以与三维重建装置20一体设置,图像采集装置也可以与三维重建装置20分开设置,而通过无线(例如,蓝牙等)或有线等方式与三维重建装置20通信连接。
例如,三维重建装置20还包括位姿采集装置,位姿采集装置可以包括卫星定位系统,位姿采集装置被配置为通过卫星定位系统采集图像采集装置在大地坐标系中的第一位置坐标。
例如,位姿采集装置包括陀螺仪、加速度传感器或卫星定位装置等。又例如,位姿采集装置还可以通过SLAM技术实现采集第一位置坐标的功能。
例如,位姿采集装置可以与三维重建装置20一体设置,位姿采集装置也可以与三维重建装置20分开设置,而通过无线(例如,蓝牙等)或有线等方式与三维重建装置20通信连接。
例如,三维重建装置20还包括定位装置,定位装置可以包括GPS模块、北斗模块等,定位装置被配置为定位图像采集装置的位置。
需要说明的是,定位装置、位姿采集装置和图像采集装置需要一体设置,以便于定位装置定位图像采集装置的位置和位姿采集装置采集图像采集装置的位置数据。
例如,在一些实施例中,三维重建装置20可以应用于显示装置,显示装置可以为移动终端,例如,手机、平板电脑等。三维重建装置20中的处理器200、存储器210、定位装置、位姿采集装置和图像采集装置均设置在移动终端上,例如,位姿采集装置可以为移动终端内部设置的陀螺仪,图像采集装置可以为移动装置上的摄像头(包括屏下摄像头等)。本公开不限于此,图像采集装置也可以设置在移动终端之外,例如,图像采集装置可以远程采集视频并通过网络传输中移动终端,以供移动终端进行后续处理。
例如,显示装置可以包括显示面板,显示面板用于显示第一三维重建模型、第二三维重建模型,还可以显示虚拟AR特效等。
例如,显示面板可以为矩形面板、圆形面板、椭圆形面板或多边形面板等。另外,显示面板不仅可以为平面面板,也可以为曲面面板,甚至球面面板。
例如,显示装置可以具备触控功能,即显示装置可以为触控显示装置。
例如,关于三维重建装置20执行三维重建方法的过程的详细说明可以参考三维重建方法的实施例中的相关描述,重复之处不再赘述。
图5为本公开至少一实施例提供的一种非瞬时性计算机可读存储介质的示意图。例如,如图5所示,在存储介质300上可以非暂时性地存储一个或多个计算机可读指令310。例如,当计算机可读指令310由处理器执行时可以执行根据上文所述的三维重建方法中的一个或多个步骤。
例如,该存储介质300可以应用于上述三维重建装置20中。例如,存储介质300可以包括三维重建装置20中的存储器210。
例如,关于存储介质300的说明可以参考三维重建装置20的实施例中对于存储器210的描述,重复之处不再赘述。
图6示出了适于用来实现本公开实施例的电子设备(例如电子设备可以包括上述实施例描述的显示装置)600的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从ROM 602被安装。在该计算机程序被处理装置601执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,在本公开的上下文中,计算机可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是,但不限于:电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络(,包括局域网(LAN)或广域网(WAN))连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
根据本公开的一个或多个实施例,一种三维重建方法,包括:获取包括目标对象的多张输入图像,并获取所述多张输入图像对应的图像采集装置分别在大地坐标系中的多个第一位置坐标;基于所述多张输入图像构建重建坐标系,并根据所述重建坐标系进行针对所述目标对象的三维重建处理,以得到所述目标对象的第一三维重建模型和所述多张输入图像对应的图像采集装置分别在所述重建坐标系中的多个第二位置坐标;基于所述多个第一位置坐标和所述多个第二位置坐标,对所述第一三维重建模型中的至少部分点进行变换处理,以得到第二三维重建模型。
根据本公开的一个或多个实施例,基于所述多个第一位置坐标和所述多个第二位置坐标,对所述第一三维重建模型中的至少部分点进行变换处理,以得到所述第二三维重建模型,包括:基于所述多个第一位置坐标和所述多个第二位置坐标,计算所述重建坐标系和所述大地坐标系之间的变换矩阵;使用所述变换矩阵对所述第一三维重建模型中的至少部分点进行变换处理,以得到所述第二三维重建模型。
根据本公开的一个或多个实施例,基于所述多个第一位置坐标和所述多个第二位置坐标,计算所述重建坐标系和所述大地坐标系之间的变换矩阵,包括:将所述多个第一位置坐标从所述大地坐标系转换到中间坐标系中,以得到所述多张输入图像对应的图像采集装置分别在所述中间坐标系中的多个第三位置坐标,其中,所述多个第三位置坐标与所述多个第一位置坐标一一对应,所述从所述大地坐标系转换到所述中间坐标系基于第一子变换矩阵;基于所述多个第二位置坐标和所述多个第三位置坐标,计算所述中间坐标系和所述重建坐标系之间的第二子变换矩阵;由所述第一子变换矩阵和所述第二子变换矩阵计算所述变换矩阵。
根据本公开的一个或多个实施例,基于所述多个第一位置坐标和所述多个第二位置坐标,对所述第一三维重建模型中的至少部分点进行变换处理,以得到所述第二三维重建模型,包括:将所述多个第一位置坐标从所述大地坐标系转换到中间坐标系中,以得到所述多张输入图像对应的图像采集装置分别在所述中间坐标系中的多个第三位置坐标,其中,所述多个第三位置坐标与所述多个第一位置坐标一一对应,所述从所述大地坐标系转换到所述中间坐标系基于第一子变换矩阵;基于所述多个第二位置坐标和所述多个第三位置坐标,计算所述中间坐标系和所述重建坐标系之间的第二子变换矩阵作为所述变换矩阵;使用所述变换矩阵对所述第一三维重建模型中的至少部分点进行变换处理,以得到所述第二三维重建模型。
根据本公开的一个或多个实施例,所述第二子变换矩阵表示为:
其中,M表示所述第二子变换矩阵,s表示缩放因子,r11、r12、r13、r21、r22、r23、r31、r32和r33表示旋转参数,tx、ty和tz表示平移参数,
其中,所述多个第二位置坐标、所述多个第三位置坐标和所述第二子变换矩阵之间的关系表示为:
Pi=M*Qi,
其中,Pi表示所述多个第三位置坐标中的第i个第三位置坐标对应的矩阵,Qi表示所述多个第二位置坐标中的第i个第二位置坐标对应的矩阵,
Qi表示为:
其中,x1i、y1i和z1i表示所述第i个第二位置坐标,
Pi表示为:
其中,x2i、y2i和z2i表示所述第i个第三位置坐标。
根据本公开的一个或多个实施例,所述中间坐标系为站心坐标系,所述站心坐标系的原点为所述多个第一位置坐标的平均值。
根据本公开的一个或多个实施例,获取所述多张输入图像对应的图像采集装置分别在所述大地坐标系中的多个第一位置坐标,包括:读取在分别拍摄所述多张输入图像时由所述图像采集装置记录的多个位置数据,并基于所述多个位置数据获得所述多个第一位置坐标。
根据本公开的一个或多个实施例,所述多个位置数据是卫星定位系统确定的位置数据。
根据本公开的一个或多个实施例,基于所述多张输入图像构建所述重建坐标系包括:确定所述多张输入图像中的参考输入图像,其中,所述多张输入图像中的与所述参考输入图像匹配的输入图像的数量最多;以所述参考输入图像对应的第一位置坐标作为坐标原点、以第一参考方向作为第一坐标轴,以第二参考方向作为第二坐标轴、以所述参考输入图像对应的视角方向作为第三坐标轴建立所述重建坐标系。
根据本公开的一个或多个实施例,根据所述重建坐标系进行针对所述目标对象的三维重建处理,以得到所述目标对象的所述第一三维重建模型和所述多张输入图像对应的图像采集装置分别在所述重建坐标系中的所述多个第二位置坐标,包括:通过三维重建算法对所述多张输入图像进行针对所述目标对象的三维重建处理,以得到所述第一三维重建模型;确定所述参考输入图像对应的第二位置坐标为所述重建坐标系的原点;根据所述多张输入图像中除了所述参考输入图像之外的其余输入图像和所述参考输入图像之间的位置关系,确定所述其余输入图像对应的第二位置坐标,其中,所述多个第二位置坐标包括所述参考输入图像对应的第二位置坐标和所述其余输入图像对应的第二位置坐标。
根据本公开的一个或多个实施例,根据所述重建坐标系进行针对所述目标对象的三维重建处理,以得到所述目标对象的第一三维重建模型和所述多张输入图像对应的图像采集装置分别在所述重建坐标系中的多个第二位置坐标,包括:通过三维重建算法对所述多张输入图像进行针对所述目标对象的三维重建处理,以得到中间三维重建模型;将所述中间三维重建模型进行归一化处理,以得到所述第一三维重建模型;确定所述参考输入图像对应的第二位置坐标为所述重建坐标系的原点;根据所述多张输入图像中除了所述参考输入图像之外的其余输入图像和所述参考输入图像之间的位置关系,确定所述其余输入图像对应的第二位置坐标,其中,所述第一三维重建模型位于所述重建坐标系中的归一化立方体区域内,所述归一化立方体区域在所述重建坐标系的所述第一坐标轴上的范围、在所述重建坐标系的所述第二坐标轴上的范围和在所述重建坐标系的所述第三坐标轴上的范围均为-1到1,所述多个第二位置坐标包括所述参考输入图像对应的第二位置坐标和所述其余输入图像对应的第二位置坐标。
根据本公开的一个或多个实施例,所述第一参考方向为水平方向,所述第二参考方向为竖直方向。
根据本公开的一个或多个实施例,三维重建方法还包括:根据所述第二三维重建模型,确定所述目标物体的至少部分的真实尺度。
根据本公开的一个或多个实施例,所述第一三维重建模型为三维点云模型。
根据本公开的一个或多个实施例,所述多个第一位置坐标各不相同,所述多个第一位置坐标相对于所述目标物体的角度各不相同,所述多个第一位置坐标中的每个第一位置坐标包括经度、纬度和海拔高度。
根据本公开的一个或多个实施例,所述目标对象包括地标建筑。
根据本公开的一个或多个实施例,一种三维重建装置,包括:存储器,用于非瞬时性地存储计算机可读指令;处理器,用于运行所述计算机可读指令,所述计算机可读指令被所述处理器运行时实现根据本公开任一实施例所述的三维重建方法。
根据本公开的一个或多个实施例,一种非瞬时性计算机可读存储介质,其中,所述非瞬时性计算机可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现根据本公开任一实施例所述的三维重建方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
对于本公开,还有以下几点需要说明:
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构,其他结构可参考通常设计。
(2)为了清晰起见,在用于描述本发明的实施例的附图中,层或结构的厚度和尺寸被放大。可以理解,当诸如层、膜、区域或基板之类的元件被称作位于另一元件“上”或“下”时,该元件可以“直接”位于另一元件“上”或“下”,或者可以存在中间元件。
(3)在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,本公开的保护范围应以所述权利要求的保护范围为准。
Claims (18)
1.一种三维重建方法,包括:
获取包括目标对象的多张输入图像,并获取所述多张输入图像对应的图像采集装置分别在大地坐标系中的多个第一位置坐标;
基于所述多张输入图像构建重建坐标系,并根据所述重建坐标系进行针对所述目标对象的三维重建处理,以得到所述目标对象的第一三维重建模型和所述多张输入图像对应的图像采集装置分别在所述重建坐标系中的多个第二位置坐标;
基于所述多个第一位置坐标和所述多个第二位置坐标,对所述第一三维重建模型中的至少部分点进行变换处理,以得到第二三维重建模型。
2.根据权利要求1所述的三维重建方法,其中,基于所述多个第一位置坐标和所述多个第二位置坐标,对所述第一三维重建模型中的至少部分点进行变换处理,以得到所述第二三维重建模型,包括:
基于所述多个第一位置坐标和所述多个第二位置坐标,计算所述重建坐标系和所述大地坐标系之间的变换矩阵;
使用所述变换矩阵对所述第一三维重建模型中的至少部分点进行变换处理,以得到所述第二三维重建模型。
3.根据权利要求2所述的三维重建方法,其中,基于所述多个第一位置坐标和所述多个第二位置坐标,计算所述重建坐标系和所述大地坐标系之间的变换矩阵,包括:
将所述多个第一位置坐标从所述大地坐标系转换到中间坐标系中,以得到所述多张输入图像对应的图像采集装置分别在所述中间坐标系中的多个第三位置坐标,其中,所述多个第三位置坐标与所述多个第一位置坐标一一对应,所述从所述大地坐标系转换到所述中间坐标系基于第一子变换矩阵;
基于所述多个第二位置坐标和所述多个第三位置坐标,计算所述中间坐标系和所述重建坐标系之间的第二子变换矩阵;
由所述第一子变换矩阵和所述第二子变换矩阵计算所述变换矩阵。
4.根据权利要求1所述的三维重建方法,其中,基于所述多个第一位置坐标和所述多个第二位置坐标,对所述第一三维重建模型中的至少部分点进行变换处理,以得到所述第二三维重建模型,包括:
将所述多个第一位置坐标从所述大地坐标系转换到中间坐标系中,以得到所述多张输入图像对应的图像采集装置分别在所述中间坐标系中的多个第三位置坐标,其中,所述多个第三位置坐标与所述多个第一位置坐标一一对应,所述从所述大地坐标系转换到所述中间坐标系基于第一子变换矩阵;
基于所述多个第二位置坐标和所述多个第三位置坐标,计算所述中间坐标系和所述重建坐标系之间的第二子变换矩阵作为所述变换矩阵;
使用所述变换矩阵对所述第一三维重建模型中的至少部分点进行变换处理,以得到所述第二三维重建模型。
5.根据权利要求3或4所述的三维重建方法,其中,所述第二子变换矩阵表示为:
其中,M表示所述第二子变换矩阵,s表示缩放因子,r11、r12、r13、r21、r22、r23、r31、r32和r33表示旋转参数,tx、ty和tz表示平移参数,
其中,所述多个第二位置坐标、所述多个第三位置坐标和所述第二子变换矩阵之间的关系表示为:
Pi=M*Qi,
其中,Pi表示所述多个第三位置坐标中的第i个第三位置坐标对应的矩阵,Qi表示所述多个第二位置坐标中的第i个第二位置坐标对应的矩阵,
Qi表示为:
其中,x1i、y1i和z1i表示所述第i个第二位置坐标,
Pi表示为:
其中,x2i、y2i和z2i表示所述第i个第三位置坐标。
6.根据权利要求3或4所述的三维重建方法,其中,所述中间坐标系为站心坐标系,所述站心坐标系的原点为所述多个第一位置坐标的平均值。
7.根据权利要求1所述的三维重建方法,其中,获取所述多张输入图像对应的图像采集装置分别在所述大地坐标系中的多个第一位置坐标,包括:
读取在分别拍摄所述多张输入图像时由所述图像采集装置记录的多个位置数据,并基于所述多个位置数据获得所述多个第一位置坐标。
8.根据权利要求7所述的三维重建方法,其中,所述多个位置数据是卫星定位系统确定的位置数据。
9.根据权利要求1所述的三维重建方法,其中,基于所述多张输入图像构建所述重建坐标系包括:
确定所述多张输入图像中的参考输入图像,其中,所述多张输入图像中的与所述参考输入图像匹配的输入图像的数量最多;
以所述参考输入图像对应的第一位置坐标作为坐标原点、以第一参考方向作为第一坐标轴,以第二参考方向作为第二坐标轴、以所述参考输入图像对应的视角方向作为第三坐标轴建立所述重建坐标系。
10.根据权利要求9所述的三维重建方法,其中,根据所述重建坐标系进行针对所述目标对象的三维重建处理,以得到所述目标对象的所述第一三维重建模型和所述多张输入图像对应的图像采集装置分别在所述重建坐标系中的所述多个第二位置坐标,包括:
通过三维重建算法对所述多张输入图像进行针对所述目标对象的三维重建处理,以得到所述第一三维重建模型;
确定所述参考输入图像对应的第二位置坐标为所述重建坐标系的原点;
根据所述多张输入图像中除了所述参考输入图像之外的其余输入图像和所述参考输入图像之间的位置关系,确定所述其余输入图像对应的第二位置坐标,
其中,所述多个第二位置坐标包括所述参考输入图像对应的第二位置坐标和所述其余输入图像对应的第二位置坐标。
11.根据权利要求9所述的三维重建方法,其中,根据所述重建坐标系进行针对所述目标对象的三维重建处理,以得到所述目标对象的第一三维重建模型和所述多张输入图像对应的图像采集装置分别在所述重建坐标系中的多个第二位置坐标,包括:
通过三维重建算法对所述多张输入图像进行针对所述目标对象的三维重建处理,以得到中间三维重建模型;
将所述中间三维重建模型进行归一化处理,以得到所述第一三维重建模型;
确定所述参考输入图像对应的第二位置坐标为所述重建坐标系的原点;
根据所述多张输入图像中除了所述参考输入图像之外的其余输入图像和所述参考输入图像之间的位置关系,确定所述其余输入图像对应的第二位置坐标,
其中,所述第一三维重建模型位于所述重建坐标系中的归一化立方体区域内,所述归一化立方体区域在所述重建坐标系的所述第一坐标轴上的范围、在所述重建坐标系的所述第二坐标轴上的范围和在所述重建坐标系的所述第三坐标轴上的范围均为-1到1,所述多个第二位置坐标包括所述参考输入图像对应的第二位置坐标和所述其余输入图像对应的第二位置坐标。
12.根据权利要求9所述的三维重建方法,其中,所述第一参考方向为水平方向,所述第二参考方向为竖直方向。
13.根据权利要求1~4、7~12任一项所述的三维重建方法,还包括:
根据所述第二三维重建模型,确定所述目标对象的至少部分的真实尺度。
14.根据权利要求1~4、7~12任一项所述的三维重建方法,其中,所述第一三维重建模型为三维点云模型。
15.根据权利要求1~4、7~12任一项所述的三维重建方法,其中,所述多个第一位置坐标各不相同,所述多个第一位置坐标相对于所述目标对象的角度各不相同,
所述多个第一位置坐标中的每个第一位置坐标包括经度、纬度和海拔高度。
16.根据权利要求1~4、7~12任一项所述的三维重建方法,其中,所述目标对象包括地标建筑。
17.一种三维重建装置,包括:
存储器,用于非瞬时性地存储计算机可读指令;
处理器,用于运行所述计算机可读指令,所述计算机可读指令被所述处理器运行时实现根据权利要求1~16任一项所述的三维重建方法。
18.一种非瞬时性计算机可读存储介质,其中,所述非瞬时性计算机可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现根据权利要求1~16中任一项所述的三维重建方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011177193.XA CN112288853B (zh) | 2020-10-29 | 2020-10-29 | 三维重建方法、三维重建装置、存储介质 |
PCT/CN2021/109185 WO2022088799A1 (zh) | 2020-10-29 | 2021-07-29 | 三维重建方法、三维重建装置、存储介质 |
US18/251,224 US20230394756A1 (en) | 2020-10-29 | 2021-07-29 | Three-dimensional reconstruction method, three-dimensional reconstruction apparatus and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011177193.XA CN112288853B (zh) | 2020-10-29 | 2020-10-29 | 三维重建方法、三维重建装置、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112288853A CN112288853A (zh) | 2021-01-29 |
CN112288853B true CN112288853B (zh) | 2023-06-20 |
Family
ID=74373821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011177193.XA Active CN112288853B (zh) | 2020-10-29 | 2020-10-29 | 三维重建方法、三维重建装置、存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230394756A1 (zh) |
CN (1) | CN112288853B (zh) |
WO (1) | WO2022088799A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112288853B (zh) * | 2020-10-29 | 2023-06-20 | 字节跳动有限公司 | 三维重建方法、三维重建装置、存储介质 |
CN113256804B (zh) * | 2021-06-28 | 2021-10-22 | 湖北亿咖通科技有限公司 | 一种三维重建尺度恢复方法、装置、电子设备及存储介质 |
CN113792674B (zh) * | 2021-09-17 | 2024-03-26 | 支付宝(杭州)信息技术有限公司 | 空座率的确定方法、装置和电子设备 |
CN114067272B (zh) * | 2021-11-22 | 2024-08-16 | 东软睿驰汽车技术(沈阳)有限公司 | 视线方向训练样本的生成方法、装置和电子设备 |
CN114938446A (zh) * | 2022-05-16 | 2022-08-23 | 中国科学院深圳先进技术研究院 | 一种动物行为重建系统、方法、装置及存储介质 |
CN115439331B (zh) * | 2022-09-02 | 2023-07-07 | 北京百度网讯科技有限公司 | 角点的校正方法和元宇宙中三维模型的生成方法、装置 |
CN115661349B (zh) * | 2022-10-26 | 2023-10-27 | 中国农业大学 | 基于样本图像的三维重建方法、系统、设备、介质及产品 |
CN116704152B (zh) * | 2022-12-09 | 2024-04-19 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
CN116405607B (zh) * | 2023-06-06 | 2023-08-29 | 深圳市捷鑫华科技有限公司 | 3d打印机用的音频与图像智能交互方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105157609A (zh) * | 2015-09-01 | 2015-12-16 | 大连理工大学 | 基于两组相机的大型零件全局形貌测量方法 |
CN107884767A (zh) * | 2017-10-31 | 2018-04-06 | 暨南大学 | 一种双目视觉系统测量船舶距离与高度的方法 |
CN108413917A (zh) * | 2018-03-15 | 2018-08-17 | 中国人民解放军国防科技大学 | 非接触式三维测量系统、非接触式三维测量方法及测量装置 |
CN109035321A (zh) * | 2017-06-09 | 2018-12-18 | 河北卓达建材研究院有限公司 | 一种建筑物的体积估算方法 |
CN109754429A (zh) * | 2018-12-14 | 2019-05-14 | 东南大学 | 一种基于图像的桥梁结构挠度测量方法 |
CN111161336A (zh) * | 2019-12-18 | 2020-05-15 | 北京城市网邻信息技术有限公司 | 三维重建方法、三维重建装置和计算机可读存储介质 |
CN111707187A (zh) * | 2020-05-12 | 2020-09-25 | 深圳大学 | 一种大型零件的测量方法及系统 |
CN111815757A (zh) * | 2019-06-29 | 2020-10-23 | 浙江大学山东工业技术研究院 | 基于图像序列的大型构件三维重建方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105627926B (zh) * | 2016-01-22 | 2017-02-08 | 尹兴 | 四像机组平面阵列特征点三维测量系统及测量方法 |
US9892558B2 (en) * | 2016-02-19 | 2018-02-13 | The Boeing Company | Methods for localization using geotagged photographs and three-dimensional visualization |
JP6902881B2 (ja) * | 2017-02-17 | 2021-07-14 | キヤノン株式会社 | 情報処理装置及び三次元モデルの生成方法 |
CN108122280A (zh) * | 2017-12-20 | 2018-06-05 | 北京搜狐新媒体信息技术有限公司 | 一种三维点云的重建方法及装置 |
CN108717728A (zh) * | 2018-07-19 | 2018-10-30 | 安徽中科智链信息科技有限公司 | 一种基于多视角深度摄像机的三维重建装置及方法 |
CN109708618A (zh) * | 2018-12-29 | 2019-05-03 | 成都天佑智隧科技有限公司 | 一种组合式确定三维重建后摄影比例尺的标定方法 |
CN111598993B (zh) * | 2020-01-17 | 2022-07-08 | 江苏艾佳家居用品有限公司 | 基于多视角成像技术的三维数据重建方法、装置 |
CN111508058A (zh) * | 2020-02-24 | 2020-08-07 | 当家移动绿色互联网技术集团有限公司 | 图像三维重建的方法、装置、存储介质及电子设备 |
CN111311743B (zh) * | 2020-03-27 | 2023-04-07 | 北京百度网讯科技有限公司 | 三维重建精度测试方法、测试装置和电子设备 |
CN112288853B (zh) * | 2020-10-29 | 2023-06-20 | 字节跳动有限公司 | 三维重建方法、三维重建装置、存储介质 |
-
2020
- 2020-10-29 CN CN202011177193.XA patent/CN112288853B/zh active Active
-
2021
- 2021-07-29 WO PCT/CN2021/109185 patent/WO2022088799A1/zh active Application Filing
- 2021-07-29 US US18/251,224 patent/US20230394756A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105157609A (zh) * | 2015-09-01 | 2015-12-16 | 大连理工大学 | 基于两组相机的大型零件全局形貌测量方法 |
CN109035321A (zh) * | 2017-06-09 | 2018-12-18 | 河北卓达建材研究院有限公司 | 一种建筑物的体积估算方法 |
CN107884767A (zh) * | 2017-10-31 | 2018-04-06 | 暨南大学 | 一种双目视觉系统测量船舶距离与高度的方法 |
CN108413917A (zh) * | 2018-03-15 | 2018-08-17 | 中国人民解放军国防科技大学 | 非接触式三维测量系统、非接触式三维测量方法及测量装置 |
CN109754429A (zh) * | 2018-12-14 | 2019-05-14 | 东南大学 | 一种基于图像的桥梁结构挠度测量方法 |
CN111815757A (zh) * | 2019-06-29 | 2020-10-23 | 浙江大学山东工业技术研究院 | 基于图像序列的大型构件三维重建方法 |
CN111161336A (zh) * | 2019-12-18 | 2020-05-15 | 北京城市网邻信息技术有限公司 | 三维重建方法、三维重建装置和计算机可读存储介质 |
CN111707187A (zh) * | 2020-05-12 | 2020-09-25 | 深圳大学 | 一种大型零件的测量方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
US20230394756A1 (en) | 2023-12-07 |
WO2022088799A1 (zh) | 2022-05-05 |
CN112288853A (zh) | 2021-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112288853B (zh) | 三维重建方法、三维重建装置、存储介质 | |
US11557083B2 (en) | Photography-based 3D modeling system and method, and automatic 3D modeling apparatus and method | |
US9185289B2 (en) | Generating a composite field of view using a plurality of oblique panoramic images of a geographic area | |
CN112333491B (zh) | 视频处理方法、显示装置和存储介质 | |
CN115984371A (zh) | 一种扫描头位姿检测方法、装置、设备及介质 | |
CN112927363B (zh) | 体素地图构建方法及装置、计算机可读介质和电子设备 | |
CN113820735A (zh) | 位置信息的确定方法、位置测量设备、终端及存储介质 | |
WO2021093679A1 (zh) | 视觉定位方法和装置 | |
CN112907652B (zh) | 相机姿态获取方法、视频处理方法、显示设备和存储介质 | |
CN112288878B (zh) | 增强现实预览方法及预览装置、电子设备及存储介质 | |
CN112270702A (zh) | 体积测量方法及装置、计算机可读介质和电子设备 | |
CN115439528B (zh) | 一种获取目标对象的图像位置信息的方法与设备 | |
CN114863071A (zh) | 目标对象标注方法、装置、存储介质及电子设备 | |
CN116858215B (zh) | 一种ar导航地图生成方法及装置 | |
CN114049403A (zh) | 一种多角度三维人脸重建方法、装置及存储介质 | |
CN112887793B (zh) | 视频处理方法、显示设备和存储介质 | |
CN111652276A (zh) | 一种全天候便携式多功能仿生定位定姿观瞄系统及方法 | |
Bakuła et al. | Capabilities of a smartphone for georeferenced 3dmodel creation: An evaluation | |
CN112132909B (zh) | 参数获取方法及装置、媒体数据处理方法和存储介质 | |
US11418716B2 (en) | Spherical image based registration and self-localization for onsite and offsite viewing | |
CA3102860C (en) | Photography-based 3d modeling system and method, and automatic 3d modeling apparatus and method | |
WO2022193104A1 (zh) | 一种光场预测模型的生成方法及相关装置 | |
CN118394863A (zh) | 地理实体注册方法及程序产品 | |
CN118149838A (zh) | 即时定位与地图构建方法、装置、终端和存储介质 | |
CN115330941A (zh) | 基于视频数据的空间定位方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |