CN116964636A - 基于地理信息的自动低层次细节（lod）模型生成 - Google Patents

Abstract

提供了一种基于任何3D对象的地理信息来自动重建低层次细节(LOD)模型的系统和方法。所述方法取代过程中的MVS重建，使得3D网格所需的信息显著减少。这样的减少可以有助于后续在便携式装置上处理3D对象。

Description

基于地理信息的自动低层次细节(LOD)模型生成

技术领域

本申请涉及一种三维(3-D)重建的系统和方法。特别地，本发明的各方面尝试降低用于显示和操纵重建的3D场景的计算机装置的硬件要求。

背景技术

将对象或场景的形状或外观重建为三维(3D)计算机模型是计算机科学、计算机生成图形和计算机编程的重要技术进步之一。近几十年来，重建和渲染对象或场景已经广泛用于建筑和基础设施项目以便工程师在整个项目中设计和做出操作决策，以及用于诸如艺术和电影中的其他应用。然而，在没有任何预处理或后期处理工作的情况下，通过当前可用的便携式装置可能不容易看到重建的场景，因为显示或渲染这些重建的对象的方式需要足够的计算能力和存储访问速度以使观看者能够有愉快的观看体验。

现有的3D重建过程通常由两步组成。第一步是运动结构推论流水线(SFM)，其接收一组图像，并且然后返回相机参数和系数点云。在一个实施例中，SFM可以包括用于根据可以与局部运动信号结合的二维图像序列来估计三维结构的摄影测量距离成像技术。第二步是多视角立体视觉(MVS)重建，其接收来自第一步的输出并且然后重建密集点云或具有纹理着色的3D网格。

在一方面，在以上第二步中，3D重建通常产生具有数百万或甚至数千万个多边形的3D网格，这需要非常高的CPU和GPU功率以及大量的片上存储器才能显示、渲染或操纵，因此可能不容易通过便携式装置(诸如存储器、GPU容量或电池电量有限而无法允许CPU和显示器持续地运行的智能电话)来观看。

因此，期望一种克服现有方法的缺点的技术方法，以使移动设备能够高效地显示、渲染或操纵3D对象。

发明内容

本发明的各方面可以创建一种通过基于任何3D对象的地理信息自动地创建低层次细节(LOD)模型来克服上述挑战的系统和方法。本发明的各方面尝试取代该过程中的MVS重建，使得3D网格所需的信息显著减少。这样减少可以有助于后续在便携式装置上处理3D对象。

附图说明

本领域普通技术人员可以想到，附图中的元件是出于简单和清楚起见而示出，因此并未示出所有连接和选项。例如，可能往往不会示出在商业上可行的实施例中有用或必要的常见但熟知的元件，以便于不太阻碍查看本公开的这些不同实施例。可以进一步想到，某些动作和/或步骤可以以特定发生次序来描述或示出，而本领域技术人员可以理解的是，关于顺序的这种特定性实际上并不必要。还可以理解，除非本文另外阐述了特定含义，否则本文使用的术语和表达相对于其相应的对应调查和研究领域进行定义。

图1是示出基于现有方法来创建3D对象的方法的流程图。

图2是示出根据一些实施例的创建3D对象的方法的流程图。

图3是示出根据一些实施例的具有地理信息的地图上的一部分区域的图。

图4是根据一些实施例的LOD 3D图像或模型的图示。

图5是示出根据一个实施例的便携式计算装置的图。

图6是示出根据一个实施例的计算装置的图。

具体实施方式

现在可以参考附图更全面地描述实施例，这些附图形成这些实施例的一部分并且通过图示的方式示出了可以实践的具体示例性实施例。可以在理解了本公开是一个或多个实施例的原理的例举并且并不意图限制任一所示实施例的情况下呈现这些图示和示例性实施例。各实施例可以许多不同的形式体现，并且不应被解释为限于本文所阐述的实施例；而是提供这些实施例，使得本公开可以是透彻和完整的，并且可以向本领域技术人员充分地传达各实施例的范围。除了这些之外，本发明可以体现为方法、系统、计算机可读介质、设备或装置。因此，本发明可以采用纯硬件实施例、纯软件实施例或结合了软件和硬件方面的实施例的形式。因此，以下详细描述不应被视为具有限制性意义。

本发明的各方面提供了一种改进的方法以摆脱该方法对台式计算机中配备更好的计算机硬件的依赖，这种计算机硬件对于诸如智能电话或平板电脑等移动设备来说是奢侈或不可想象的。本发明的一方面可以取代传统的多视角立体视觉重建(MVS重建)，因为传统的MVS重建需要较长的计算能力和时间来重建3D模型。MVS重建通常生成3D网格具有数百万或甚至数千万多边形的3D模型，这需要大量存储器来存储、读取和写入数据。另外，拥有3D网格并不是最终产品，它还需要进一步处理。该处理当然会进一步需要高功率CPU和GPU以及大量的片上存储器。

现在参考图1，示出了使用传统的MVS重建方法来提供3D对象的流程图。例如，如果需要城市区域的三维(3D)图像或模型，则在102处，获得该城市区域的航拍照片(以数字格式)的集合。在104处，经由SFM来处理所获得的照片，并且然后在106处，经由MVS进行处理。然后在108处，对网格进行纹理着色，并且然后在110处，提供并渲染高LOD城市区域3D对象。

本发明的各方面通过减少所生成的多边形数量而摆脱了这种方法。现在参考图2，流程图示出了根据一些实施例的创建3D对象的方法。在一个示例中，如果需要城市区域的三维(3D)图像或模型，则在202处，获得该城市区域的航拍照片(以数字格式)的集合。在另一实施例中，该区域可以包括任何限定的空间或区域，诸如购物中心或机场。

在一方面，基于可以包括地理信息的航拍照片，在204处，基于地理信息来生成3D模型。在一个示例中，所生成的3D模型是基础三维形状，诸如可以是立方体或棱柱，或者它们的组合。例如，房屋可以用立方体表示为底层或更低的楼层，而顶部处的棱柱作为屋顶。在一个实施例中，在不向3D形状添加详尽信息的情况下使用结构的通用表示。当然，一旦提供了地理信息，3D模型就可以被改进并且更准确。

相反，传统的MVS方法采用各种算法以尝试从拍摄的照片重建每个细节。这种方法通常产生非常复杂的多边形网格以描述结构的特征。例如，根据AMVS方法，可以使用数百个三角形来重建窗户。

在一个实施例中，地理信息可以包括建筑物的位置、名称、轮廓、高度、尺寸、体积和形状。在另一实施例中，地理信息还可以包括道路或其他非建筑物结构，诸如公园。在另一实施例中，地理信息可以使本公开的各方面能够用立方体形状重建诸如建筑物或结构等对象。

在一个实施例中，可以从来自第三方的空间或地理数据检索大多数的地理信息。例如，地理信息可以从诸如地图、/>地图或/>地图等可商购的地图获得，或从诸如开放街道地图等社区自由编辑地图获得。本发明的各方面在3D模型重建期间不需要航拍照片中的数据，因此减少了3D模型生成中的处理时间和资源量。在一方面，本发明的实施例可以基于地理信息等来增强3D模型，诸如纹理或着色，如下所述。

同时，运动结构推论(SFM)过程206可以包括用于根据可以与局部运动信号结合的二维图像序列来估计三维结构的摄影测量距离成像技术。在一方面，可以并行地执行步骤204和206。在208中将纹理着色施加到航拍照片之后，提供低LOD城市区域3D模型。

在一个实施例中，由本发明的各方面生成的低LOD城市区域3D模型维持或提供建筑物或对象的基础结构或架构，而没有标识细节，诸如窗户的数量或位置、正面的类型或元素、门的类型或位置，或者结构或架构的任何其他外部特征。

在一方面，低LOD模型可以包括基础几何信息而没有精确测量、比例、形状、尺寸等。这种方法是有意为之，因为3D模型可以进一步减少所需的生成时间和资源。

现在参考图3，根据一些实施例示出被监控空间的二维图像300的基础图示。在一个实施例中，该示例中的图像300可以包括一些建筑物(302、304和306)及其周围的街道(308、310和312)。在一个实施例中，还提供了建筑物的形状，诸如用于302和304的矩形以及用于306的三角形。图像300还可以包括一些附加地理信息，诸如建筑物高度、建筑物方向、维度和经度。在另一实施例中，图像300可以包括GPS信息或数据。

在图像300的情况下，现在参考图4，本发明的各方面可以在不需要稳健硬件的情况下提供3D模型或渲染。在图4中，图像300已经转换成3D模型400，其中建筑物的2D图示现在处于三个维度：用于建筑物302的对象402、用于建筑物304的对象404以及用于建筑物306的对象406。来自图像300的地理信息已经结合到3D对象中，并且无论它们是立方体还是棱柱等，它们都被渲染为3D对象。用于街道308、310和312的图示继续是街道308、310和312。

通过这种方法，渲染3D模型400对于诸如便携式计算装置801等移动设备来说不太繁重。在另一实施例中，所创建的低LOD 3D模型实现从远程服务器更快加载到本地装置。当然，应理解，在不脱离本发明的范围或精神的情况下，所渲染的3D图像也可以下载到台式计算机上。

如图2所示，仍可以执行SMF 110处理以及向3D模型400添加纹理或着色。在一个实施例中，纹理或着色的信息的来源可以是来自2D图像，诸如图像300。

图5可以是与图6中的远程计算装置841通信的便携式计算装置801的高级图示，但是可以以各种方式存储和访问应用程序。另外，可以以各种方式获得应用程序，诸如从应用程序商店、从网站、从商店WiFi系统等获得。可能有各种版本的应用程序来利用不同计算装置、不同语言和不同API平台的益处。

在一个实施例中，便携式计算装置801可以是使用便携式电源855(诸如电池)操作的移动设备108。便携式计算装置801还可以具有显示器802，该显示器可以是或可以不是触敏显示器。更具体地，显示器802可以具有例如可以用于向便携式计算装置801提供输入数据的电容传感器。在其他实施例中，输入垫804(诸如箭头、滚轮、键盘等)可以用于向便携式计算装置801提供输入。另外，便携式计算装置801可以具有可以接受并存储语言数据的传声器806、用于接受图像的相机808以及用于传达声音的扬声器810。

便携式计算装置801可能能够与计算装置841或者构成计算装置841的云的多个计算装置811进行通信。便携式计算装置801可能能够以各种方式进行通信。在一些实施例中，通信可以是有线的，诸如通过以太网电缆、USB电缆或RJ6电缆来进行。在其他实施例中，通信可以是无线的，诸如通过(802.11标准)、蓝牙、蜂窝通信或近场通信装置来进行。通信可以涉及计算装置841，或者可以经由网络或通信模块880通过通信网络(诸如蜂窝服务)、通过互联网、通过专用网络、通过蓝牙等来进行。

图5可以是根据系统的一部分物理地配置的样本便携式计算装置801。便携式计算装置801可以具有根据计算机可执行指令物理地配置的处理器850。该便携式计算装置可以具有便携式电源855，诸如可以再充电的电池。该便携式计算装置还可以具有协助显示视频和声音并且在不使用时可以关闭来节省电力和电池寿命的声音和视频模块860。便携式计算装置801还可以具有非易失性存储器870和易失性存储器865。网络或通信模块880可以具有GPS、蓝牙、NFC、蜂窝或其他通信能力。在一个实施例中，网络或通信能力中的一些或全部可以是单独的电路或可以是处理器850的一部分。还可能存在输入/输出总线875，该总线将数据穿梭运送到各种用户输入装置并从这些用户输入装置穿梭运送数据，诸如传声器806、相机808和其他输入端，诸如输入垫804、显示器802和扬声器810等。该总线还可以通过无线或有线装置来控制与网络的通信。当然，这仅仅是便携式计算装置801的一个实施例，并且便携式计算装置801的数量和类型仅受想象力的限制。

在图6中可以进一步示出构成远程计算装置841的物理元件。在高级别上，计算装置841可以包括数字存储设备，诸如磁盘、光盘、快闪存储设备、非易失性存储设备等。结构化数据可以存储在诸如数据库的数字存储设备中。服务器841可以具有根据计算机可执行指令物理地配置的处理器1000。该服务器还可以具有协助显示视频和声音并且在不使用时可以关闭来节省电力和电池寿命的声音和视频模块1005。服务器841还可以具有易失性存储器1010和非易失性存储器1015。

数据库1025可以存储在存储器1010或1015中，或者可以是单独的。数据库1025也可以是计算装置841的云的一部分，并且可以以分布式方式跨多个计算装置841存储。还可能存在输入/输出总线1020，该总线将数据穿梭运送到各种用户输入装置并从这些用户输入装置穿梭运送数据，诸如传声器806、相机808、输入端(诸如输入垫804、显示器802和扬声器810)等。输入/输出总线1020还可以连接到类似的装置：传声器806、相机808、输入端(诸如输入垫804、显示器802和扬声器810)或其他外围装置等。输入/输出总线1020还可以通过无线或有线装置与网络或通信模块1030介接以控制与其他装置或计算机网络的通信。在一些实施例中，应用程序可以是在本地计算装置801上，并且在其他实施例中，应用程序可以是远程的841。当然，这仅仅是服务器841的一个实施例，并且便携式计算装置841的数量和类型仅受想象力的限制。

本文描述的用户装置、计算机和服务器(例如，801或841)可以是尤其可以具有以下项的计算机：微处理器(诸如来自公司、/> 或)；易失性和非易失性存储器；一个或多个大容量存储装置(例如，硬盘驱动器)；各种用户输入装置，诸如鼠标、键盘或传声器；以及视频显示系统。本文描述的用户装置、计算机和服务器可以在包括但不限于以下项的许多操作系统中的任一者上运行： 或/>然而，应预期，任何合适的操作系统都可以用于本发明。服务器可以是网络服务器的集群，所述网络服务器各自可以是基于/>的并且受负载均衡器支持，所述负载均衡器基于可用服务器的当前请求负载而决定网络服务器的集群中的哪些网络服务器应当处理请求。

本文描述的用户装置、计算机和服务器可以经由网络进行通信，所述网络包括互联网、广域网(WAN)、局域网(LAN)、其他计算机网络(现在已知或将来发明)和/或前述各项的任何组合。本领域普通技术人员在熟悉本说明书、附图和权利要求书后应理解，网络可以通过有线和无线渠道的任何组合来连接各种部件，所述有线和无线渠道包括铜、光纤、微波以及其他形式的无线电频率、电和/或光通信技术。还应理解，任何网络可以按不同方式连接到任何其他网络。系统中的计算机与服务器之间的互连是示例。本文描述的任何装置都可以经由一个或多个网络与任何其他装置进行通信。

示例实施例可以包括在所示的那些之外的附加装置和网络。此外，被描述为由一个装置执行的功能可以是分布式的并由两个或更多个装置执行。多个装置还可以组合为单个装置，该单个装置可以执行组合装置的功能。

本文描述的各种参与者和元件可以操作一个或多个计算机设备来促成本文描述的功能。上文描述的附图中的任何元件(包括任何服务器、用户装置或数据库)可以使用任何合适数量的子系统来促成本文描述的功能。

本申请中描述的软件部件或功能中的任一者可以被实现为可以由至少一个处理器使用任何合适的计算机语言(例如像Java、C++或Perl)、使用例如常规技术或面向对象技术来执行的软件代码或计算机可读指令。

软件代码可以作为一系列指令或命令存储在非暂时性计算机可读介质上，诸如随机存取存储器(RAM)、只读存储器(ROM)、磁性介质(诸如硬盘驱动器或软盘)或光学介质(诸如CD-ROM)。任何此类计算机可读介质都可以驻留在单个计算设备上或内，并且可以存在于系统或网络内的不同计算设备上或内。

应理解，如上所述的本发明可以使用计算机软件以模块化或整合方式实现为控制逻辑的形式。基于本公开和本文提供的教义，本领域普通技术人员可以知晓和了解使用硬件、软件或硬件与软件的组合来实现本发明的其他方式和/或方法。

以上描述是说明性的，而不是限制性的。在查阅本公开之后，实施例的许多变化对于本领域技术人员可能变得显而易见。因此，实施例的范围不应当参考以上描述来确定，而是替代地应当参考待决权利要求及其整个范围或等效物来确定。

在不脱离范围实施例的情况下，可以将来自任何实施例的一个或多个特征与任何其他实施例的一个或多个特征组合。除非具体地指明相反，否则“一个”、“一种”或“所述”的陈述意图表示“一个或多个”。除非具体地指明相反，否则“和/或”的陈述意图表示术语的最具包含性意义。

当前系统的元件中的一者或多者可以作为用于完成特定功能的装置而受权利要求保护。在此类装置加功能要素用于描述所要求保护的系统的特定元件的情况下，本领域普通技术人员在本说明书、附图和权利要求书面前应理解，对应的结构包括计算机、处理器或微处理器(视情况而定)，它们被编程来在专门编程之后使用存在于计算机中的功能和/或通过实现一个或多个算法以实现如权利要求或上文描述的步骤中陈述的陈述功能而执行特定陈述的功能。如本领域普通技术人员将理解，算法在本公开内可以表达为数学公式、流程图、叙事文和/或以为本领域普通技术人员提供足够结构来实现所陈述的过程及其等同物的任何其他方式进行表达。

虽然本公开可以许多不同形式体现，但是在理解本公开是一个或多个发明的原理的例举并且不意图将任一个实施例限制于所示的实施例的情况下呈现附图和论述。

本公开提供了对上文描述的长久迫切的需求的解决方案。特别地，本发明的各方面实现在可能没有台式计算机的处理能力的装置或可以根据2D图像来处理和创建3D模型的其他装置上更快加载和渲染3D模型。

本领域技术人员可以容易地想到上文描述的系统和方法的另外优点和修改。

因此，本公开在其更宽泛的方面不限于上文示出和描述的特定细节、代表性系统和方法以及说明性示例。在不脱离本公开的范围或精神的情况下，可以对以上说明书进行各种修改和变化，并且本公开意图覆盖所有此类修改和变化，只要这些修改和变化落在所附权利要求及其等效物的范围内即可。

Claims (14)

1.一种低层次细节(LOD)3D模型图像生成方法，其包括：

接收一个或多个二维(2D)图像，其中所述一个或多个2D图像包括所述一个或多个2D图像中的一个或多个对象的一个或多个视图；

在没有来自所述一个或多个2D图像或外部来源的地理信息的情况下，为所述一个或多个对象中的每一者生成3D对象，其中生成包括为所述一个或多个对象中的每一者重建所述3D对象，而不使所述3D对象经受多视角立体视觉重建过程；以及

基于来自所述一个或多个2D图像的地理信息来细化所述3D对象。

2.根据权利要求1所述的LOD 3D模型图像生成方法，其中所述地理信息至少包括一个或多个对象中的每一者的以下信息：位置、名称、轮廓、高度、尺寸、体积和形状。

3.根据权利要求1所述的LOD 3D模型图像生成方法，其中细化包括响应于从第三方检索地理信息而细化所述3D对象，其中所述第三方包括数据库。

4.根据权利要求1所述的LOD 3D模型图像生成方法，其进一步包括经由运动结构推论(SFM)算法来处理所述一个或多个2D图像。

5.根据权利要求1所述的LOD 3D模型图像生成方法，其进一步包括响应于细化而向所述3D对象的表面施加纹理。

6.根据权利要求5所述的LOD 3D模型图像生成方法，其进一步包括响应于细化而向所述3D对象的所述表面施加颜色。

7.根据权利要求5或权利要求6所述的LOD 3D模型图像生成方法，其中施加包括从所述一个或多个2D图像或外部来源接收所述纹理或所述颜色的地理信息。

8.一种有形的计算机可读介质，其上存储有用于低层次细节(LOD)3D模型图像生成方法的计算机可执行指令，所述计算机可执行指令被配置为由处理器执行，其中所述计算机可执行指令包括：

接收一个或多个二维(2D)图像，其中所述一个或多个2D图像包括所述一个或多个2D图像中的一个或多个对象的一个或多个视图；

在没有来自所述一个或多个2D图像或外部来源的地理信息的情况下，为所述一个或多个对象中的每一者生成3D对象，其中生成包括为所述一个或多个对象中的每一者重建所述3D对象，而不使所述3D对象经受多视角立体视觉重建过程；以及

基于来自所述一个或多个2D图像的地理信息来细化所述3D对象。

9.根据权利要求8所述的有形的计算机可读介质，其中所述地理信息至少包括一个或多个对象中的每一者的以下信息：位置、名称、轮廓、高度、尺寸、体积和形状。

10.根据权利要求8所述的有形的计算机可读介质，其中细化包括响应于从第三方检索所述地理信息而细化所述3D对象，其中所述第三方包括数据库。

11.根据权利要求8所述的有形的计算机可读介质，其进一步包括经由运动结构推论(SFM)算法来处理所述一个或多个2D图像。

12.根据权利要求8所述的有形的计算机可读介质，其进一步包括响应于细化而向所述3D对象的表面施加纹理。

13.根据权利要求12所述的有形的计算机可读介质，其进一步包括响应于细化而向所述3D对象的所述表面施加颜色。

14.根据权利要求12或权利要求13所述的有形的计算机可读介质，其中施加包括从所述一个或多个2D图像接收所述纹理或所述颜色的地理信息。