CN105378792A - 三维对象建模 - Google Patents

三维对象建模 Download PDF

Info

Publication number
CN105378792A
CN105378792A CN201380077053.7A CN201380077053A CN105378792A CN 105378792 A CN105378792 A CN 105378792A CN 201380077053 A CN201380077053 A CN 201380077053A CN 105378792 A CN105378792 A CN 105378792A
Authority
CN
China
Prior art keywords
dimensional
image
visual information
dimensional image
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380077053.7A
Other languages
English (en)
Inventor
S.布兰奇弗洛维
G.萨克拉特瓦拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longsand Ltd
Original Assignee
Longsand Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longsand Ltd filed Critical Longsand Ltd
Publication of CN105378792A publication Critical patent/CN105378792A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Abstract

在各种实现方式中描述了与三维对象建模相关联的技术。在一个示例性的实现方式中，方法可以包括接收多个二维图像，所述多个二维图像描绘将在三维中被建模的对象的视图。所述方法还可以包括处理所述多个二维图像以生成对象的三维表示，并且分析对象的三维表示以确定在所述多个二维图像中是否存在充分的视觉信息以生成对象的三维模型。所述方法还可以包括响应于确定了针对对象的一部分不存在充分的视觉信息，向用户标识对象的所述部分。

Description

三维对象建模
背景技术
三维打印，其也可以称作加性制造，是虑及基于所期望的对象的三维模型而“打印”三维对象的技术。例如，三维打印机可以接受三维计算机辅助设计（CAD）绘图或其它适当的三维模型作为输入，并且可以产生由模型所描述的对象的三维“打印输出”。
为了打印所期望的对象，三维打印机可以将对象的三维模型“切片”成变化的形状的数字横截面或层，并且可以根据横截面而逐层打印或构造所期望的对象。取决于三维打印机的配置，可以使用各种不同的材料来构造所打印的对象，所述材料诸如塑料、陶瓷、金属、纸、或其它适当的材料。
附图说明
图1是根据本文中描述的实现方式的示例性三维对象建模环境的概念图解。
图2A和2B是根据本文中描述的实现方式的示例性对象映射的概念图解。
图3是根据本文中描述的实现方式的用于在三维中对于对象进行建模的示例性过程的流程图。
图4是根据本文中描述的实现方式的示例性对象建模系统的框图。
具体实施方式
三维模型，诸如可以用作到三维打印机的输入的那些，经常由设计师或绘图员使用复杂的建模软件而创建。以这样的方式对三维对象进行建模可能需要显著量的技能、努力和/或时间，并且还可能是相对昂贵的过程。
本文描述的是用于对三维对象进行建模的技术，其可以由技术用户或非技术用户以同样的方式来执行，并且其可以使用诸如智能电话、平板设备、膝上型计算机、以及其它适当的计算设备之类的商业上可得到的计算设备来实现。根据所述技术，用户可以使用摄像机来捕获用户希望建模的对象的图像，所述摄像机诸如集成到智能电话或其它适当的移动设备中的摄像机。用户可以捕获对应于对象的多个视图的多个图像（例如，以静态图像或视频捕获的形式），并且所述多个图像可以用于生成对象的准确的三维模型，其在一些情况下可以用作对于三维打印机的输入。如本文中所描述的，所述技术可以包括由计算设备所提供的用户接口（例如，智能电话的显示器），所述用户接口引导用户通过标识尚未充足捕获的对象的区域而捕获对象的特定区域的附加或可替换的视图。例如，可以向用户示出缺乏充分的信息以生成准确的三维对象的对象的一个或多个区域，并且用户然后可以将摄像机聚焦于那些区域上，或者以其它方式捕获与那些区域相关联的附加图像或视图，以使得附加的视觉信息可以被获得以供在对于对象进行建模中使用。
在一个示例性的实现方式中，对三维对象进行建模的方法可以包括接收多个二维图像，所述多个二维图像描绘将在三维中被建模的对象的视图。所述方法还可以包括处理所述多个二维图像以生成对象的三维表示，并且分析对象的三维表示以确定在所述多个二维图像中是否存在充分的视觉信息以生成对象的三维模型。所述方法还可以包括响应于确定了针对对象的一部分不存在充分的视觉信息，向用户标识对象的所述部分，例如，使得可以捕获对象的所述部分的附加视图。
在另一示例性的实现方式中，移动计算系统可以包括图像捕获设备，用以捕获描绘将在三维中被建模的对象的视图的二维图像。移动计算系统还可以包括一个或多个处理器，用以在图像被图像捕获设备捕获时处理所述图像，以生成图像中描绘的对象的三维映射图（map）；分析对象的三维映射图以确定在图像中是否存在充分的视觉细节以生成对象的三维模型；以及响应于确定了不存在充分的视觉细节而标识缺乏充分的视觉细节的对象的一部分。
在另一示例性实现方式中，非暂时性计算机可读存储介质可以存储指令，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器接收由图像捕获设备捕获的多个图像，所述多个图像描绘将在三维中被建模的对象的视图。所述指令还可以使得所述处理器处理所述多个图像以生成与对象相关联的视觉信息，并且确定视觉信息是否足以重构对象的良好限定的三维模型。所述指令还可以使得所述处理器响应于确定了与对象的一部分相关联的视觉信息不足以重构对象的所述部分的良好限定的三维模型，而引导用户捕获对象的所述部分的附加视图。
图1是根据本文中描述的实现方式的示例性三维对象建模环境100的概念图解。如所示出的，环境100包括移动计算设备110和目标对象120。移动计算设备110包括对象捕获引导用户接口115，其帮助引导用户捕获目标对象120的充分的视图以使得可以创建对象的准确、良好限定的三维模型。环境100还可以包括对象建模服务器140以及三维打印机160，其可以用于在如下所述的目标对象120的适当捕获和建模之后“打印输出”目标对象120的复制品170。
环境100的示例性拓扑可以表示各种三维对象建模环境。然而，应当理解的是，仅仅出于说明性目的而示出环境100的示例性拓扑，并且可以对配置做出各种修改。例如，环境100可以包括不同的或附加的设备，或者可以以与所示出的不同的方式来实现设备。而且，虽然移动计算设备110和对象建模服务器140一般被分别图示为智能电话和独立的服务器，但是应当理解的是，其它适当的计算设备（例如平板设备、服务器、膝上型计算机、台式计算机、工作站等等）或者单独地或一起操作的计算设备的群组（例如服务器集群等等）也可以或可替换地用于执行本文中描述的功能的全部或部分。另外，尽管在图1中没有描绘，但是各种设备可以经由一个或多个网络（诸如局域网（LAN）或广域网（WAN））或通过适当网络的组合而通信地耦合到彼此。
在操作中，移动计算设备110可以由用户操作以捕获目标对象120的多个二维图像，所述图像中的每一个对应于对象的特定视图。虽然以下讨论假设与移动计算设备110集成的摄像机，但是应当理解的是，单独的独立摄像机（未示出）或多个摄像机可以用于捕获目标对象120的图像，并且这样的所捕获的图像然后可以从单独的独立摄像机被提供到移动计算设备110以供以下文讨论的方式被处理。
图像可以以任何适当的格式被捕获和/或提供，诸如以视频馈送的帧或以目标对象120的一系列摄影静止图像。例如，在一些情况中，集成到移动计算设备110中的摄像机可以被置于视频捕获模式中，并且用户可以相对于目标对象而移动摄像机，以试图要充足地捕获各个侧面、表面以及限定目标对象120的总体结构的其它视觉细节。在另一示例中，用户可以拍摄对象的各种视图的静止照片，例如从不同的角度、距离、缩放水平等等。
基于所捕获的图像，对象捕获引导用户接口115可以向用户指示在所捕获的图像中是否存在充分的视觉信息以生成对象的良好限定的、准确的三维模型，例如用于使用三维打印机160而创建对象的复制品170的目的。如果不是，那么对象捕获引导用户接口115可以引导用户通过捕获对象的附加视图的迭代过程直到存在足够的视觉信息以生成三维模型为止。一旦存在充分的视觉信息以生成目标对象的良好限定的、准确的三维模型，就可以提示用户向对象建模服务器140提供视觉信息的至少一部分（例如，关键帧130），所述对象建模服务器140进而可以基于视觉信息而生成目标对象的三维模型150。三维模型150然后可以被提供给三维打印机160以供打印。
为了确定在所捕获的图像中是否存在充分的视觉信息以生成目标对象120的良好限定的、准确的三维模型，对象捕获引导用户接口115可以处理目标对象的任何所捕获的图像以在设备110上构建目标对象的稀疏映射图。所述稀疏映射图可以包括与目标对象的视觉上令人感兴趣的特征相关联的多个各种特征点（例如，拐角、边、弯曲点、和/或其它感兴趣的点）。在一些实现方式中，可以通过使用同时定位和映射（SLAM）处理来生成目标对象的稀疏映射图。SLAM处理可以用于构建完全未知的目标对象120的映射图，或者更新部分已知的目标对象120的先前的映射图。对象捕获引导用户接口115还可以尝试使网格适合于稀疏映射图，例如通过使用适当的网格化技术而连接适当的特征点。
稀疏映射图和/或网格然后可以用于通过向用户指示从所捕获的图像中缺乏什么视觉信息（例如，需要被“填充”细节以用于构建三维模型的目标对象的特定区域的任何附加视图）来引导用户。例如，在一些实现方式中，稀疏映射图和/或网格可以被显示给用户，例如经由移动计算设备110的对象捕获引导用户接口115，以使得用户可以在视觉上检查目标对象是否如预期的那样被表示，或者三维表示的某些部分是否看似被特征点不足地表示（under-represented）或者以其它方式缺乏细节。
对象捕获引导用户接口115还可以分析稀疏映射图以确定在所捕获的图像中是否存在充分的视觉信息。例如，用户接口115可以标识稀疏映射图的任何部分是否被特征点不足地表示，例如通过将特定区域中特征点的数目与阈值相比较并且当特征点的数目小于阈值时确定所述区域缺乏充分的信息。阈值可以是可配置的和/或可以取决于多个因素，诸如目标对象或特定区域的绝对或相对大小、复杂度或其它特征。阈值还可以取决于图像的质量和/或分辨率。作为另一示例，用户接口115可以在网格不能适合于区域中的特征点时将目标对象的区域标识为被特征点不足地表示。
在对象捕获引导用户接口115确定了针对目标对象的特定部分缺乏充分的视觉信息的情况下，缺乏充分细节的该部分可以被标识给用户，以使得用户可以捕获目标对象的该特定部分的附加视图。例如，对象捕获引导用户接口115可以在移动计算设备110的显示器上强调对象的该部分或者可以以其它方式指示特定的区域将会受益于该区域的附加捕获的视图。
作为这样的指示的结果，可以向用户提示捕获附加图像，所述附加图像描绘缺乏充分的视觉信息的目标对象的特定部分的视图，并且所述附加图像可以被反馈并且以迭代的方式与先前捕获的图像结合地被处理。例如，目标计算设备110可以用于捕获附加图像，所述附加图像描绘缺乏充分视觉信息的对象的特定部分的视图，并且所述附加图像可以被处理以更新被包括在稀疏映射图中的特征点。这些步骤可以被重复直到存在充分的视觉信息以对目标对象进行充足地建模为止。
在确定了在所捕获的图像中存在充分的视觉细节以生成目标对象的良好限定的、准确的三维模型之后，然后移动计算设备110可以将从所捕获的图像的集合之中所选择的关键帧130传送到对象建模服务器140以用于对目标对象进行建模。关键帧可以被选择成使得关键帧单独（例如与所有其它的图像分离）提供充分的视觉细节以生成对象的三维模型。在一些情况中，移动计算设备110还可以将与每个关键帧130相关联的摄像机姿态信息传送到服务器。
在接收到关键帧130时，服务器可以处理关键帧130，以及在一些情况中的相关联的摄像机姿态信息，以生成与三维打印机兼容的三维模型。
图2A和2B是根据本文中描述的实现方式的示例性对象映射的概念图解。在这两个图中，目标对象是相对简单的立方体形状的对象，并且映射意图示出两个可能的映射实现方式。当然，示例性的映射仅仅出于说明性的目的而被示出，并且应当理解的是，也可以生成其它的映射，甚至是针对如此处所示的相对简单的对象。
在图2A的示例中，目标对象210的原始三维映射由点云表示220示出，其中各种特征点被群集在立方体的各个拐角上和周围。虚线被示出以提供与立方体的边和拐角相关联的参照点，但是仅仅出于说明性的目的而被示出。虽然已经通过多个特征点的集群而表示了立方体的许多拐角，但是后方左上拐角仅仅包括单个特征点224，并且前方右下拐角区域228完全缺乏特征点。
给定该点云表示220，可以基于原始捕获的图像来重构准确的三维模型是相对不太可能的。因而，取决于实现方式以及特别地特征点224是否被视为传达充分的视觉信息以限定立方体的该特定区域，图1的对象捕获引导用户接口115可以引导用户捕获与仅仅区域228相关联的或者区域228和与特征点224相关联的区域二者的目标对象210的部分的附加视图。
在该特定示例中，针对两个区域而捕获附加的视图，从而导致目标对象的更加良好限定的点云表示230。
在图2B的示例中，目标对象250的原始三维映射由点云表示260示出，其中各种特征点被群集在立方体的各个边（而不是仅仅拐角）上和周围。虽然目标对象的边中的大多数看似利用多个特征点而被良好地限定，但是区域265缺乏视觉信息。
为了确保可以在三维模型中充足地重构目标对象250，图1的对象捕获引导用户接口115可以引导用户捕获与区域265相关联的附加视觉信息，例如通过捕获目标对象250的后方右下拐角区域的附加视图。在用户已经捕获了附加视图之后，可以生成良好表示的点云表示270。
图3是根据本文中描述的实现方式的用于在三维中对于对象进行建模的示例性过程300的流程图。过程300可以例如由诸如图1中图示的移动计算设备110之类的计算设备来执行。为了呈现的清楚，随后的描述使用图1中图示的移动计算设备110和对象捕获引导用户接口115，作为用于描述过程的示例的基础。然而，应当理解的是，另一系统或系统的组合可以用于执行过程或过程的各个部分。
过程300开始于框310，其中接收目标对象的二维图像。例如，移动计算设备110可以接收描绘目标对象的不同视图的多个图像，例如，如由集成到设备本身中的摄像机所捕获的，或如由单独的摄像机（或摄像机群组）所捕获并且然后被传送到移动计算设备110的。可以以任何适当的格式来捕获和/或提供图像，诸如以视频馈送的帧或以目标对象的一系列摄影静止图像。例如，在一些情况中，集成到移动计算设备110中的摄像机可以被置于视频捕获模式中，并且用户可以相对于目标对象而移动摄像机，以试图要充足地捕获各种侧面、表面以及限定目标对象的总体结构的其它视觉细节。
在框320处，基于描绘目标对象的各种图像而生成目标对象的三维表示。例如，移动计算设备110可以生成目标对象的点云表示，其中在三维空间中映射各种特征点（例如，拐角、边、弯曲点和/或其它感兴趣的点）。在一些情况中，可以使用同时定位和映射（SLAM）处理，例如在接收到二维图像时，用以生成表示目标对象的三维稀疏映射图。另外，移动计算设备110可以尝试使网格适合于特征点，以仿真三维表示的表面。
在一些实现方式中，点云和/或网格可以被显示给用户，例如经由移动计算设备110的对象捕获引导用户接口115，以使得用户可以在视觉上检查目标对象是否如预期的那样被表示，或者三维表示的某些部分是否看似被特征点不足地表示或以其它方式缺乏细节。
在框330处，确定在所述多个二维图像中是否存在充分的视觉细节以生成目标对象的三维模型。例如，移动计算设备110可以标识点云表示的任何部分是否被特征点不足地表示，例如通过将特征区域中的特征点的数目与阈值相比较并且当特征点的数目小于阈值时确定该区域缺乏充分的信息。阈值可以是可配置的和/或可以取决于多个因素，诸如目标对象或特定区域的绝对或相对大小、复杂度或其它特征。阈值还可以取决于图像的质量和/或分辨率。作为另一示例，当网格不能被适合于区域中的特征点时，移动计算设备110可以将目标对象的区域标识为被特征点不足地表示。
如果确定了针对目标对象的特定部分不存在充分的视觉细节，那么在框340处可以向用户标识缺乏充分细节的部分，以使得用户可以捕获目标对象的该特定部分的附加视图。例如，目标对象的该部分可以经由对象捕获引导用户接口115而被标识给移动计算设备110的用户，例如通过在移动计算设备110的显示器上强调该部分或通过以其它方式指示特定区域将会受益于该区域的附加捕获的视图。
作为这样的指示的结果，可以提示用户捕获附加图像，所述附加图像描绘缺乏充分视觉细节的目标对象的特定部分的视图，并且所述附加图像可以被反馈并且经由框310、320和330与先前捕获的图像结合地被处理。例如，在框310的后续迭代中，目标计算设备110可以接收附加图像，所述附加图像描绘对象的特定部分的视图。在框320的后续迭代处，附加图像可以被处理以生成目标对象的经更新的三维表示。并且在框330的后续迭代处，可以确定在二维图像的原始集合中以及在附加捕获的图像中是否存在充分的视觉细节以生成目标对象的三维模型。该迭代循环可以继续直到目标对象被所捕获的图像良好限定为止。
在确定了在所捕获的图像中存在充分的视觉细节以生成目标对象的三维模型之后，然后移动计算设备110可以在框350处将从所捕获的图像的集合之中选择的关键帧传送到服务器以用于对目标对象进行建模。关键帧可以被选择成使得关键帧单独（例如与所有的其它图像分离）提供充分的视觉细节以生成对象的三维模型。在一些实现方式中，关键帧可以被传送到服务器，所述服务器与移动计算设备110分离并且典型地可以提供比在移动计算设备110上可用的更多的处理能力。在一些情况中，移动计算设备110还可以将与每一个关键帧相关联的摄像机姿态信息传送到服务器。
然后，服务器可以处理关键帧，以及在一些情况中的相关联的摄像机姿态信息，以生成与三维打印机兼容的三维模型。
图4是根据本文中描述的实现方式的示例性对象建模系统400的框图。系统400包括对象建模机器可读指令402，其可以包括图1中描述的计算设备的各种模块中的某些。对象建模机器可读指令402可以被加载以用于在一个或多个处理器404上执行。如本文中所使用的，处理器可以包括微处理器、微控制器、处理器模块或子系统、可编程集成电路、可编程门阵列、或者另一控制或计算设备。（一个或多个）处理器404可以耦合到网络接口406（以允许系统400执行通过数据网络的通信）和/或耦合到一个或多个存储介质408。
存储介质408可以实现为一个或多个计算机可读或机器可读的存储介质。存储介质可以包括不同形式的存储器，包括半导体存储器设备，诸如动态或静态随机存取存储器（DRAM或SRAM）、可擦除且可编程只读存储器（EPROM）、电可擦除且可编程只读存储器（EEPROM）、以及闪速存储器；磁盘，诸如固定盘、软盘和可移除盘；其它磁性介质，包括磁带；光学介质，诸如光盘（CD）或数字视频盘（DVD）；或其它适当类型的存储设备。
注意到，以上讨论的指令可以被提供在一个计算机可读或机器可读的存储介质上，或可替换地，可以被提供在具有复数个节点的系统中所分布的多个计算机可读或机器可读的存储介质上。这样的一个或多个计算机可读或机器可读存储介质被认为是制品（或制造品）的部分。制品或制造品可以指代任何适当制造的组件或多个组件。一个或多个存储介质可以要么位于运行机器可读指令的机器中，要么位于远程站点处，例如从所述远程站点可以通过网络下载机器可读指令以供执行。
尽管以上已经详细描述了一些实现方式，但是其它修改是可能的。例如，在图中描绘的逻辑流可以不要求所示的特定次序或顺序次序来实现合期望的结果。另外，可以提供其它步骤，或者可以从所描述的流程中消除步骤。类似地，可以向所描述的系统添加其它组件或从所描述的系统中移除组件。因此，其它实现方式在下述权利要求的范围内。

Claims (15)

1.一种对三维对象进行建模的计算机实现的方法，所述方法包括：
在计算设备处接收多个二维图像，所述多个二维图像描绘将在三维中被建模的对象的视图；
使用计算设备来处理所述多个二维图像，以生成对象的三维表示；
使用计算设备来分析对象的三维表示，以确定在所述多个二维图像中是否存在充分的视觉信息以生成对象的三维模型；以及
响应于确定了针对对象的一部分不存在充分的视觉信息，使用计算设备来向计算设备的用户标识对象的所述部分。
2.根据权利要求1所述的计算机实现的方法，还包括接收描绘对象的所述部分的视图的附加二维图像，处理所述附加的二维图像以生成对象的经更新的三维表示，并且分析对象的经更新的三维表示以确定在所述多个二维图像以及附加的二维图像中是否存在充分的视觉信息以生成对象的三维模型。
3.根据权利要求2所述的计算机实现的方法，还包括，响应于确定了存在充分的视觉信息，从所述多个二维图像和附加的二维图像之中选择图像的子集，图像的子集被选择成使得所述子集包括充分的视觉信息以生成对象的三维模型，并且将图像的子集传送到单独的计算设备。
4.根据权利要求3所述的计算机实现的方法，还包括将图像的子集传送到计算系统，所述计算系统与计算设备分离，其处理图像的子集以生成与三维打印机兼容的三维模型。
5.根据权利要求4所述的计算机实现的方法，还包括将与图像的子集中的每一个相关联的摄像机姿态信息传送到计算系统。
6.根据权利要求1所述的计算机实现的方法，其中处理所述多个二维图像以生成对象的三维表示包括生成对象的点云表示，并且其中确定在所述多个二维图像中是否存在充分的视觉信息以生成对象的三维模型包括标识被特征点不足地表示的点云表示的任何区域。
7.根据权利要求6所述的计算机实现的方法，其中当点云表示的区域中的特征点的数目小于基于所述区域的大小的阈值时，该区域被特征点不足地表示。
8.根据权利要求1所述的计算机实现的方法，其中处理所述多个二维图像以生成对象的三维表示包括生成对象的点云表示并且使网格适合于点云表示的点，并且其中确定在所述多个二维图像中是否存在充分的视觉信息以生成对象的三维模型包括当网格不能适合于特征点时将点云表示的任何区域标识为被特征点不足地表示。
9.根据权利要求1所述的计算机实现的方法，其中向计算设备的用户标识对象的所述部分包括在计算设备的显示器上强调对象的所述部分，并且还包括指示用户提供描绘对象的强调部分的视图的附加二维图像。
10.根据权利要求1所述的计算机实现的方法，其中处理所述多个二维图像以生成对象的三维表示包括在接收到图像时将同时定位和映射（SLAM）处理应用到所述多个二维图像以生成对象的稀疏映射图。
11.一种移动计算系统，其包括：
图像捕获设备，其用以捕获二维图像，所述二维图像描绘将在三维中被建模的对象的视图；以及
一个或多个处理器，其用以：
　　在图像被图像捕获设备捕获时处理图像，以生成在图像中描绘的对象的三维映射图；
　　分析对象的三维映射图以确定在图像中是否存在充分的视觉细节以生成对象的三维模型；以及
　　响应于确定了不存在充分的视觉细节而标识缺乏充分的视觉细节的对象的一部分。
12.根据权利要求11所述的移动计算系统，其中对象的三维映射图包括使用同时定位和映射（SLAM）处理而生成的对象的点云表示，并且其中确定在图像中是否存在充分的视觉细节以生成对象的三维模型包括标识其中特征点的数目小于阈值的点云表示的任何区域。
13.根据权利要求12所述的移动计算系统，其中所述阈值基于区域的相对大小。
14.根据权利要求11所述的移动计算系统，其中对象的三维映射图包括使用同时定位和映射（SLAM）处理而生成的对象的点云表示，并且其中确定在图像中是否存在充分的视觉细节以生成对象的三维模型包括标识不能与网格适合的点云表示的任何区域。
15.一种存储指令的非暂时性计算机可读存储介质，所述指令当被一个或多个处理器执行时，使得所述一个或多个处理器：
接收由图像捕获设备所捕获的多个图像，所述多个图像描绘将在三维中被建模的对象的视图；
处理所述多个图像，以生成与对象相关联的视觉信息；
确定视觉信息是否足以重构对象的良好限定的三维模型；以及
响应于确定了与对象的一部分相关联的视觉信息不足以重构对象的所述部分的良好限定的三维模型，引导用户捕获对象的所述部分的附加视图。
CN201380077053.7A 2013-05-31 2013-05-31 三维对象建模 Pending CN105378792A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2013/061324 WO2014191055A1 (en) 2013-05-31 2013-05-31 Three-dimensional object modeling

Publications (1)

Publication Number Publication Date
CN105378792A true CN105378792A (zh) 2016-03-02

Family

ID=48745894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380077053.7A Pending CN105378792A (zh) 2013-05-31 2013-05-31 三维对象建模

Country Status (4)

Country Link
US (1) US10262458B2 (zh)
EP (1) EP3005290A1 (zh)
CN (1) CN105378792A (zh)
WO (1) WO2014191055A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945225A (zh) * 2017-12-12 2018-04-20 北京奇虎科技有限公司 虚拟场景构建的方法及装置、计算设备、存储介质
CN110494864A (zh) * 2017-03-08 2019-11-22 电子湾有限公司 3d模型的集成
CN110887194A (zh) * 2019-10-15 2020-03-17 珠海格力电器股份有限公司 一种三维空间的仿真建模方法及装置
CN111033571A (zh) * 2017-08-22 2020-04-17 索尼公司 图像处理设备和图像处理方法
CN114600160A (zh) * 2019-10-28 2022-06-07 瑞典爱立信有限公司 生成三维(3d)模型的方法
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6102648B2 (ja) * 2013-09-13 2017-03-29 ソニー株式会社 情報処理装置及び情報処理方法
US9619933B2 (en) 2014-06-16 2017-04-11 Occipital, Inc Model and sizing information from smartphone acquired image sequences
KR102223281B1 (ko) * 2014-07-23 2021-03-05 엘지전자 주식회사 이동단말기 및 그 제어방법
US9927090B2 (en) * 2015-02-03 2018-03-27 John Clifton Cobb, III Profile-shaped articles
US10360718B2 (en) * 2015-08-14 2019-07-23 Samsung Electronics Co., Ltd. Method and apparatus for constructing three dimensional model of object
US11631213B2 (en) 2015-12-31 2023-04-18 Magic Leap, Inc. Method and system for real-time 3D capture and live feedback with monocular cameras
WO2017131771A1 (en) * 2016-01-29 2017-08-03 Hewlett-Packard Development Company, L.P. Identify a model that matches a 3d object
US10703112B2 (en) 2017-12-13 2020-07-07 Datamax-O'neil Corporation Image to script converter
US11170224B2 (en) * 2018-05-25 2021-11-09 Vangogh Imaging, Inc. Keyframe-based object scanning and tracking
JP7195785B2 (ja) 2018-06-29 2022-12-26 キヤノン株式会社 ３次元形状データを生成する装置、方法、及びプログラム
CN111325049A (zh) * 2018-12-13 2020-06-23 北京京东尚科信息技术有限公司 商品识别方法、装置、电子设备及可读介质
US10930057B2 (en) 2019-03-29 2021-02-23 Airbnb, Inc. Generating two-dimensional plan from three-dimensional image data
US10937235B2 (en) * 2019-03-29 2021-03-02 Airbnb, Inc. Dynamic image capture system
CN110706357B (zh) * 2019-10-10 2023-02-24 青岛大学附属医院 导航系统
KR102506701B1 (ko) * 2019-12-20 2023-03-06 우이시 테크놀로지스 (저지앙) 리미티드 3차원 재구성 방법, 장치, 시스템 및 컴퓨터 판독 가능한 저장 매체
US11361421B1 (en) 2021-05-21 2022-06-14 Airbnb, Inc. Visual attractiveness scoring system
US11200449B1 (en) 2021-05-21 2021-12-14 Airbnb, Inc. Image ranking system
CN116704163B (zh) * 2023-08-03 2023-10-31 金锐同创(北京)科技股份有限公司 在终端显示虚拟现实场景的方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189686A1 (en) * 2002-10-31 2004-09-30 Tanguay Donald O. Method and system for producing a model from optical images
CN101281656A (zh) * 2007-04-05 2008-10-08 三星电子株式会社 用于将纹理映射到三维对象模型的方法和装置
US20110187716A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation User interfaces for interacting with top-down maps of reconstructed 3-d scenes
US20130136341A1 (en) * 2011-11-29 2013-05-30 Kabushiki Kaisha Toshiba Electronic apparatus and three-dimensional model generation support method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2403883B (en) 2003-07-08 2007-08-22 Delcam Plc Method and system for the modelling of 3D objects
US8243334B2 (en) 2008-06-06 2012-08-14 Virginia Venture Industries, Llc Methods and apparatuses for printing three dimensional images
CN101430798A (zh) 2008-11-04 2009-05-13 曾文煌 一种三维彩色物品制作方法
KR101848871B1 (ko) 2011-08-03 2018-04-13 엘지전자 주식회사 이동 단말기
US9053555B1 (en) * 2012-05-23 2015-06-09 Google Inc. Creating a mesh from a sparse structure-from-motion point cloud using co-visibility of points
US20140028799A1 (en) * 2012-07-25 2014-01-30 James Kuffner Use of Color and Intensity Modulation of a Display for Three-Dimensional Object Information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189686A1 (en) * 2002-10-31 2004-09-30 Tanguay Donald O. Method and system for producing a model from optical images
CN101281656A (zh) * 2007-04-05 2008-10-08 三星电子株式会社 用于将纹理映射到三维对象模型的方法和装置
US20110187716A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation User interfaces for interacting with top-down maps of reconstructed 3-d scenes
US20130136341A1 (en) * 2011-11-29 2013-05-30 Kabushiki Kaisha Toshiba Electronic apparatus and three-dimensional model generation support method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANDREAS WENDEL 等: "Dense reconstruction on-the-fly", 《2012 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110494864A (zh) * 2017-03-08 2019-11-22 电子湾有限公司 3d模型的集成
CN110494864B (zh) * 2017-03-08 2023-08-11 电子湾有限公司 3d模型的集成
US11727627B2 (en) 2017-03-08 2023-08-15 Ebay Inc. Integration of 3D models
CN111033571A (zh) * 2017-08-22 2020-04-17 索尼公司 图像处理设备和图像处理方法
CN111033571B (zh) * 2017-08-22 2023-11-07 索尼公司 图像处理设备和图像处理方法
CN107945225A (zh) * 2017-12-12 2018-04-20 北京奇虎科技有限公司 虚拟场景构建的方法及装置、计算设备、存储介质
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience
CN110887194A (zh) * 2019-10-15 2020-03-17 珠海格力电器股份有限公司 一种三维空间的仿真建模方法及装置
CN110887194B (zh) * 2019-10-15 2020-11-17 珠海格力电器股份有限公司 一种三维空间的仿真建模方法及装置
CN114600160A (zh) * 2019-10-28 2022-06-07 瑞典爱立信有限公司 生成三维(3d)模型的方法

Also Published As

Publication number Publication date
US10262458B2 (en) 2019-04-16
US20160163098A1 (en) 2016-06-09
EP3005290A1 (en) 2016-04-13
WO2014191055A1 (en) 2014-12-04

Similar Documents

Publication Publication Date Title
CN105378792A (zh) 三维对象建模
Nishida et al. Procedural modeling of a building from a single image
CN108416003A (zh) 一种图片分类方法和装置、终端、存储介质
US9047706B1 (en) Aligning digital 3D models using synthetic images
US20170323149A1 (en) Rotation invariant object detection
CN109842811B (zh) 一种在视频中植入推送信息的方法、装置及电子设备
CN106997613A (zh) 根据2d图像的3d模型生成
GB2585396A (en) Utilizing a critical edge detection neural network and a geometric model to determine camera parameters from a single digital image
JP2019091436A (ja) ３ｄ配置のタイプに応じた２ｄ画像の分類
CN114066718A (zh) 一种图像风格迁移方法、装置、存储介质及终端
WO2022247112A1 (zh) 任务处理方法、装置、设备、存储介质、计算机程序及程序产品
JP7451015B2 (ja) オブジェクト検出のための訓練データの生成
US20160277715A1 (en) Method and system for automated datacenter floor volume calculation applied to datacenter thermal management
Spizhevoi et al. OpenCV 3 Computer Vision with Python Cookbook: Leverage the power of OpenCV 3 and Python to build computer vision applications
CN114117128A (zh) 视频标注的方法、系统及设备
CN108536467A (zh) 代码的定位处理方法、装置、终端设备及存储介质
CN107748780A (zh) 一种回收站文件的恢复方法和装置
CN110930503A (zh) 一种服装三维模型建立方法、系统、存储介质及电子设备
CN110969641A (zh) 图像处理方法和装置
CN109961516A (zh) 表面获取方法、装置及非暂态电脑可读取记录媒体
EP3809314A1 (en) 3d object detection from calibrated 2d images background
US11024032B1 (en) System and method for generating synthetic overhead imagery based on cluster sampling and spatial aggregation factors
CN110298921B (zh) 具有人物语义信息的三维地图的构建方法以及处理设备
Hueting et al. Scene structure inference through scene map estimation
Hu et al. Point sets joint registration and co-segmentation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160302