CN107077744B - 使用边缘的三维模型生成的方法和系统 - Google Patents

使用边缘的三维模型生成的方法和系统 Download PDF

Info

Publication number
CN107077744B
CN107077744B CN201580050384.0A CN201580050384A CN107077744B CN 107077744 B CN107077744 B CN 107077744B CN 201580050384 A CN201580050384 A CN 201580050384A CN 107077744 B CN107077744 B CN 107077744B
Authority
CN
China
Prior art keywords
edges
plane
axis
determining
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580050384.0A
Other languages
English (en)
Other versions
CN107077744A (zh
Inventor
罗伯特·李
塔斯尼姆·布鲁赤
萨基特·帕特卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107077744A publication Critical patent/CN107077744A/zh
Application granted granted Critical
Publication of CN107077744B publication Critical patent/CN107077744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种使用边缘的三维模型生成可包括：使用处理器来检测多个图像中的多个边缘；以及使用处理器来确定多个边缘中跨多个图像匹配的一组边缘。可使用处理器利用依赖于该组边缘的成本函数来估计多个图像的相机姿势。

Description

使用边缘的三维模型生成的方法和系统
技术领域
本公开涉及使用边缘的三维模型生成。
背景技术
可由场景的多个二维(2D)图像来重建三维(3D)模型。可由一个或多个相机使用各种相机姿势来拍摄2D图像。常规3D模型生成技术依赖于特征点识别。通常，处理2D图像以识别跨多个2D图像被匹配的特征点。可在三个维度中将特征点三角形化。然后，可将特征点的实际位置与从三维返回到二维的经重投影的特征点之间的重投影误差连同相机姿势误差两者最小化。
许多2D图像包括弱纹理区域。弱纹理区域可出现在室外场景的2D图像中，并且常常在室内场景的2D图像中发现。弱纹理区域大体指2D图像中像素相同或高度类似的区域。从一个像素到下一个像素的偏差是最小的或是不存在的。2D图像内的弱纹理区域通常表示没有细节的光滑表面。弱纹理区域的示例可包括但不限于墙壁、工作台面等等，其中包括颜色相对恒定的弱纹理区域示例。
发明内容
技术问题
当处理纹理丰富的2D图像时，常规3D模型生成技术往往表现相对良好。然而，在2D图像包括弱纹理区域的情况下，常规3D模型生成技术往往表现不理想。常规技术常常需要大量2D图像来作为输入，以确定对于重建哪怕很小的区域来说足够的特征点。由于弱纹理区域具有很少或不具有特征点，所以涉及弱纹理区域的常规3D模型生成技术常常是有缺陷的。此外，对相机姿势的估计往往不准确。
问题的解决方案
一种方法可包括：使用处理器来检测多个图像中的多个边缘；以及使用处理器来确定多个边缘中跨多个图像匹配的一组边缘。该方法还可包括：使用处理器，利用依赖于该组边缘的成本函数来估计多个图像的相机姿势。
一种系统包括处理器，处理器经编程以发起可执行操作。可执行操作可包括：检测多个图像中的多个边缘；以及确定多个边缘中跨多个图像匹配的一组边缘。可执行操作还可包括：使用依赖于该组边缘的成本函数来估计多个图像的相机姿势。
一种计算机程序产品包括上面存储有程序代码的计算机可读存储媒体。程序代码可由处理器来运行以执行一种方法。所述方法可包括：使用处理器来检测多个图像中的多个边缘；以及使用处理器来确定多个边缘中跨多个图像匹配的一组边缘。所述方法还可包括：使用处理器，利用依赖于该组边缘的成本函数来估计多个图像的相机姿势。
提供此技术解决方案部分仅仅是为了引入某些概念，而不是为了识别所要求的主题的任何关键或重要特征。本发明的许多其他特征和实施方案将自附图和以下详细描述显而易见。
本发明的有利效应
利用如本文中所描述的基于边缘的处理，可在3D模型中以比使用其他常规技术的情况更大的准确度来渲染弱纹理区域。由于弱纹理区域中的特点是缺乏特征点，所以只依赖于特征点的常规技术常常不适合渲染弱纹理区域。弱纹理区域常常在重建的3D模型中呈现为不完整。
附图说明
附图示出一个或多个实施方案；然而，附图不应理解为将本发明仅限制到所示的实施方案。各种方面和优点将在审阅以下详细描述和参考附图后即刻变得显而易见。
图1是示出例示性数据处理系统的框图。
图2是示出三维(3D)模型生成的例示性方法的流程图。
图3是示出生成平面的例示性方法的流程图。
图4是示出确定轴的例示性方法的流程图。
图5a、图5b、图5c和图5d是室内场景的不同图像。
图6是图5的场景的密集点云的透视图。
图7是图6的密集点云的俯视平面图。
图8是图6的密集点云的另一个俯视平面图，其示出生成的平面。
图9是在移除假平面之后图6的密集点云的另一个俯视平面图。
具体实施方式
尽管本公开以定义新颖特征的权利要求结束，但据信将从对结合附图的描述的考虑来更好地理解本文中所描述的各种特征。出于示出的目的提供了本公开内所描述的过程、机器、制造及其任何变体。所描述的任何特定结构和功能细节将不解释为限制性的，而是仅仅解释为权利要求书的基础和教导本领域技术人员以各种方式采用在几乎任何经适当详述的结构中描述的特征的代表性基础。此外，本公开内所使用的术语和短语并非旨在为限制性的，而是提供对所描述的特征的可理解描述。
本公开涉及使用边缘的三维(3D)模型生成。根据本公开内所描述的发明性布置，可处理二维(2D)图像以识别其中所包含的边缘。可处理边缘以在2D图像的不同图像中来识别相同的边缘。可使用成本函数来估计相机姿势，所述成本函数至少部分地取决于边缘。
使用所估计的相机姿势，可生成3D模型。例如，3D模型可以是3D房间场景。可使用3D点、三角形网格、3D体素等等来生成3D模型。在一个方面，生成3D模型可包括一个或多个附加操作，诸如确定轴、基于边缘来确定平面、移除假平面和在3D空间中渲染平面。所述平面可表示弱纹理区域。
利用如本文中所描述的基于边缘的处理，可在3D模型中以比使用其他常规技术的情况更大的准确度来渲染弱纹理区域。由于弱纹理区域的特点是缺乏特征点，所以只依赖于特征点的常规技术常常不适合渲染弱纹理区域。弱纹理区域常常在重建的3D模型中呈现为不完整。例如，如3D模型内表示的弱纹理区域(诸如，墙壁)可呈现为具有许多孔、间隙，或呈现为部分地形成。此外，使用特征点所估计的相机姿势常常不准确，从而导致3D模型生成不准确。
尽管本文中所公开的实施方案是针对边缘的使用，但应了解，可结合基于边缘的技术来利用特征点。例如，可出于估计相机姿势、生成平面等等的目的来使用特征点与边缘两者。
可将本文中所描述的发明性布置实施为由数据处理系统执行的方法或过程。在另一个方面，可将发明性布置实施为设备，诸如具有处理器的数据处理系统。处理器可在执行程序代码后即刻执行本文中所描述的一个或多个操作。在又一个方面，可将发明性布置实施为存储程序代码的非暂时性计算机可读存储媒体，所述程序代码在执行时致使处理器和/或系统执行和/或发起方法或过程。
为了实现描述的简单性和清晰性，诸图中所示的元件并非一定按比例绘制。例如，出于清晰性，可相对于其他元件将一些元件的尺寸夸大。此外，在认为合适之处，在诸图当中重复参考数字以指示对应、类似等等的特征。
图1是示出例示性数据处理系统(系统)100的框图。如所描绘，系统100包括至少一个处理器(例如，中央处理单元(CPU))105，所述处理器通过系统总线115或其他合适的电路联接到存储器元件110。系统100将程序代码存储在存储器元件110内。处理器105执行经由系统总线115从存储器元件110存取的程序代码。存储器元件110包括一个或多个物理存储器装置，诸如本地存储器120及一个或多个大容量存储装置125。本地存储器120指随机存取存储器(RAM)或通常在实际执行程序代码期间使用的其他非永久性存储器装置。可将大容量存储装置125实施为硬盘驱动器(HDD)、固态驱动器(SSD)或其它永久性数据存储装置。系统100还可包括一个或多个高速缓冲存储器(未示出)，所述高速缓冲存储器提供对至少某个程序代码的临时存储以便减少在执行期间必须从大容量存储装置125检索程序代码的次数。
可选地，输入/输出(I/O)装置(诸如，键盘130、显示装置135和指示装置140)可联接到系统100。在一些情况下，可将I/O装置中的一个或多个相组合(如在将触摸屏用作显示装置135的情况下)。在所述情况下，显示装置135也可实施键盘130和指示装置140。
I/O装置可直接地或者通过介入的I/O控制器联接到架构100。一个或多个网络适配器145也可联接到系统100，以使得架构100能够变成通过介入的专用或公用网络联接到其他系统、计算机系统、远程打印机和/或远程存储装置。调制调解器、电缆调制调解器、以太网卡和无线收发器是可与架构100一起使用的不同类型的网络适配器145的示例。取决于使用架构100所实施的特定装置，特定类型的网络适配器或多个网络适配器将根据具体情况而变化。
如图1中所描绘，存储器元件110可存储操作系统150和一个或多个应用程序155。在一个方面，由系统100(且特定地，处理器105)来执行以可执行程序代码形式所实施的操作系统150和应用程序155。因而，可将操作系统150和应用程序155视为系统100的完整部分。由系统100使用、生成和/或操作的操作系统150、应用程序155和任何数据项目是在由系统100利用时赋予功能的功能性数据结构。
在一个方面，系统100可以是计算机或适合于存储和/或执行程序代码的其他装置。系统100可表示包括处理器和存储器且能够执行本公开内所描述的操作的多种计算机系统和/或装置中的任一者。在一些情况下，特定的计算机系统和/或装置可包括比所描述的部件更少的部件或更多的部件。可将系统100实施为单个系统(如所示)，或实施为多个联网或互连的系统，其中每个系统具有与系统100的架构相同或类似的架构。
在操作中，系统100可接收多个二维(2D)图像160。2D图像160可属于特定场景。可使用一个相机或使用不同相机来拍摄2D图像160。此外，可从不同有利位置来拍摄2D图像160，例如使用不同的相机姿势来拍摄。如本领域中已知，“相机姿势”指相机在拍摄图像时的位置和定向。在这种情况下，图像是2D图像。
在一个方面，系统100可检测2D图像160内的多个边缘。系统100可进一步确定来自多个边缘的跨2D图像160而匹配的一组边缘。系统100可进一步使用成本函数来估计用于2D图像160的相机姿势165，所述成本函数取决于该组边缘。系统也可使用相机姿势来生成3D模型170。在一个方面，系统可在3D模型170中生成一个或多个平面，所述平面表示图像160中的一个或多个弱纹理区域，将在本公开内进一步详细描述。
图2是示出3D模型生成的例示性方法200的流程图。可由参考图1所描述的系统来实施方法200。
方法200在框205中开始，其中系统可接收图像。图像可以是2D的，诸如照片。图像可以属于同一个3D场景，且具有数字形式。一般来说，可不对图像设置约束。图像可在不同时间、在不同照明条件下拍摄，并且可包括非刚性物体(诸如，人)。在一个方面，可通过众包来获得图像。图像可以是无序的。此外，图像可包括一个或多个弱纹理区域。另外，可不对用于捕获图像的相机设置约束。例如，相机不需要附加的传感器。可由同一个相机或由两个或两个以上不同的相机来捕获图像。
在框210中，系统可检测图像内的特征点。系统可使用多种已知的特征点检测技术中的任一种来检测特征点。在框215中，系统可跨图像匹配特征点。例如，系统确定第一图像中的哪个特征点与在另一个不同图像中找到的特征点匹配或与之相同。在一个方面，系统可考虑若干对图像，并确定针对这些图像对的特征点的匹配。可出于匹配特征点的目的来考虑每对图像。
匹配特征点可包括系统能够过滤掉或以其他方式移除的离群值。在一个方面，例如，系统可通过使用离群值匹配来近似估算每对图像之间的基本矩阵而过滤掉离群值特征点。可将特征点之间的成对匹配组织成轨迹。在一个示例中，每个轨迹可指定图像-特征点对的列表，其中轨迹中的每个特征点在所述轨迹中列出的图像间被识别为相同的特征点。系统可不止一次识别出包括相同图像的那些轨迹。不止一次包括一图像的轨迹表示特征点已与至少一个其他图像中的不同特征点匹配。因此，系统可删除或移除不止一次出现在轨迹中的图像。
在执行框215时，系统可确定跨图像匹配的一组特征点。该组特征点可以是图像内的全部特征点，或可以是图像内所检测到的特征点的子集。
在框220中，系统可检测图像内的边缘。系统可实施边缘检测技术以检测接收到的图像内的一个或多个边缘。可使用多种已知的边缘检测技术中的任一种。在另一个方面，可使用多种已知的线检测技术中的任一种来识别边缘。在框225中，系统可跨图像匹配检测到的边缘。在一个实施方案中，系统可检测的每对可能边缘，以在图像成对的基础上确定每对边缘是否满足外极线约束。使用外极线约束可能是耗时的，并且可能需要显著的计算资源。在另一个实施方案中，可使用先前匹配的特征点和内矩阵来定位边缘匹配，由此降低计算成本。
在另一个方面，系统可创建边缘的轨迹。轨迹可指定一对或多对图像及每个图像的所匹配的边缘。例如，边缘的轨迹可指定图像-边缘对的列表，其中轨迹中的每个边缘在所述轨迹中列出的图像间被识别为相同的边缘。在一些情况下，在每个图像中可能没有找到或定位相同的边缘。在所述情况下，可删除所述轨迹，因为系统可将所述边缘解释为假边缘。
在执行框225时，系统可确定跨图像匹配的一组边缘。该组边缘可以是图像内所检测到的全部边缘，或可以是图像内所检测到的边缘的子集。
在框230中，系统可执行光束法平差。一般来说，光束法平差指确定描述场景几何结构的3D坐标和确定用于捕获图像的相机的相机姿势的过程。例如，给定从不同视点描绘若干3D点的一组图像，光束法平差可包括完善描述场景几何结构的3D坐标和用于获取图像的相机的相机姿势。该过程根据最优性准则来完善所注释的各种参数。在一个方面，最优性准则可涉及特征点的对应图像投影和/或边缘的图像投影。系统例如可执行增量式光束法平差过程。增量式光束法平差过程的示例描述于Snavely等人的“Photo tourism:exploring photo collections in 3D”(美国计算机学会图形学汇刊，第25卷，第3期，pps.835-846(2006年7月))中。
根据实施方案，可使用最优性准则(例如，成本函数，如下文在表达式1中示出)来执行光束法平差。
Figure GDA0002779391440000071
在表达式1内，Nl是线的数目；Np是特征点的数目；α控制线与点之间的权重。例如，α＝1仅使用线，而α＝0仅使用特征点。表达式1覆盖i到n个相机和j到m个轨迹。
出于论述的目的，表达式1可据称由下文示出的两个子表达式(称为表达式2和3)形成。表达式2依赖于边缘。表达式3依赖于特征点。
Figure GDA0002779391440000081
Figure GDA0002779391440000082
可将表达式2视为线或边缘的重投影误差，其中cij是第j条线相对于第i个相机的权重。第一部分β1||θp ij-θij||量化边缘的定向方面的误差。例如，第一部分β1||θp ij-θij||限定图像中的原始边缘与所述边缘在3D空间中的投影之间的角度。第二部分β2||lp ij-lij||量化边缘的长度方面的误差。例如，第二部分β2||lp ij-lij||限定原始线与投影在3D空间中的线的长度之间的差异。第三部分||p1 ij-o1 ij||+||p2 ij-o2 ij||量化端点方面的误差。例如，第三部分||p1 ij-o1 ij||+||p2 ij-o2 ij||测算线和投影在3D空间中的线的端点的重投影误差。值β1、β2和β3分别控制第一部分、第二部分和第三部分的权重。
给定
Figure GDA0002779391440000083
作为线j在图像i中的端点，且
Figure GDA0002779391440000084
作为线j在图像i上的3D坐标投影的端点，可如下文在表达式4和5中所示来确定第一部分和第二部分。在下文的表达式4内，
Figure GDA0002779391440000085
是x轴。
Figure GDA0002779391440000086
Figure GDA0002779391440000087
表达式3限定重投影成本，进一步描述于Snavely等人的“Photo tourism:exploring photo collections in 3D”(美国计算机学会图形学汇刊，第25卷，第3期，pps.835-846(2006年7月))中。一般来说，Θi是3D到2D转换的矩阵，其包括相机姿势。在一个方面，在表达式3内，可如在Snavely等人的著作内所定义来实施Θi。例如，Θi可以是相机参数的向量(或矩阵)，所述相机参数包括旋转(由三个参数形成)、相机中心(由三个参数形成)和焦距。
在另一个方面，在表达式3内，Θi可以是表示相机性质(包括所提及的相机姿势)的矩阵。例如，Θi可以是表示相机内外参数的矩阵。相机内参数与相机的投影性质有关，可包括焦距、图像传感器格式和主点的参数。外参数可包括世界坐标中的相机变换和旋转(例如，相机中心)。
由Θi来参数化一组n个相机。由pj来参数化一组m个轨迹。项qij表示第j个轨迹在第i个相机中的所观测到的投影。因此，项P(Θi，pj)是将3D点p映射到相机中具有参数Θ的点的2D投影的投影方程式。项wij用作指示符变量，其中如果相机i观测到点j，那么wij＝1，否则wij＝0。
在框230之后，在已将上述成本函数最小化的情况下，确定图像的相机姿势。如所论述，相机姿势限定相机的位置和定向。在一个方面，使用所确定的相机姿势，可生成3D模型。
图3是示出3D重建的另一个例示性方法300的流程图。可由如参考图1所描述的系统来执行方法300。在一个方面，方法300可在已执行了方法200且已确定了相机姿势的状态下开始。
在框305中，系统可执行密集重建。密集重建一般指使用相机姿势由场景的收集到图像来创建3D模型(例如，密集点云)。密集点云包括一组特征点和一组边缘。在一个例示性实施方式中，框305中所使用的密集重建技术可以是在Furukawa等人的“Accurate,Dense,and Robust Multi-View Stereopsis”(IEEE模式分析与机器智能汇刊，第32卷，第8期，pps.1362-1376(2010年))中所描述的密集重建技术。
在框310中，系统可确定3D模型的三个主要轴。在一个方面中，3D模型可以是针对室内环境或场景(例如，房间)。在大多数情况下，室内环境具有可确定的三个主要轴。在框315中，系统可沿框310中所确定的每个主要轴来确定最小拐角和最大拐角。
在框320中，系统可针对边缘来确定平面。给定最小拐角和最大拐角，系统可使平面适合一组边缘中的在密集点云内的边缘。例如，对于每个边缘来说，系统可尝试通过沿主要轴放置两个垂直平面来使平面适合所述边缘，其中所述垂直平面延伸到先前所确定的拐角。在一个方面，系统可致力于识别墙壁或其他表面(诸如，工作台面、橱柜等)。
为进行说明，系统可从一组边缘中选择一个边缘。系统确定特定轴，使得所选边缘与其对准。例如，系统可确定边缘与x轴对准。系统将针对所选边缘生成两个平面。例如，可使用与x轴对准的边缘来沿所述边缘生成平行于x-z平面的第一平面并沿所述边缘生成平行于x-y平面的第二平面。例如，系统不生成平行于y-z平面的平面。
在一个方面，系统可进一步识别彼此平行且接近(例如，在彼此的预定距离内)的平面。系统可确定在彼此的预定距离内的平行平面表示同一个平面。系统可将所识别的平面合并或组合成单个平面。
在另一个方面，针对边缘来确定平面可包括使平面相对于彼此切割。在一些情况下，在一个方向上延伸的平面可与垂直平面交叉或被垂直平面切割。平面与其他垂直平面的交叉或被其他垂直平面的切割起到限定平面中的区段的作用。区段例如可以是在两个交叉的垂直平面之间的平面的一部分，或可以是在交叉的垂直平面与如由最小拐角和最大拐角限定的场景外边缘之间的平面的一部分。
在框325中，系统可识别假平面。参考框320，所生成的每个平面可并非为真平面。在一个方面，系统可根据平面是否具有位于平面每侧的特征点来区分假平面与真平面。例如系统可确定在一侧具有3D特征点而在另一侧不具有3D特征点的平面是真平面。真平面可以是墙壁、部分墙壁或分隔物，或其他弱纹理表面。真平面也可在平面自身上具有3D特征点。系统可进一步确定在平面两侧具有3D特征点的所生成的平面是假平面。
在一个方面，可总体上针对整个平面来确定平面是否为假平面。当确定是假平面时，可整体上将平面移除。在另一个方面中，可以每一区段为基础来执行确定平面是否为假的。在所述情况下，可仅移除平面中使用上述准则被确定为假的那些区段。这允许平面的一部分(例如，一个或多个区段)仍然为真平面，而平面中被确定为假的一个或多个其他区段则可被移除。
在框330中，系统可移除或删除假平面。执行框330使得仅留下由系统确定为真平面的那些平面。在一个方面，一旦确定了真平面并移除了假平面，便获得场景中的墙壁的更准确表示。在所述情况下，系统可相对于所确定的平面来校正或调整点云，以使所述表示(例如，平面)与密集点云更好地对准。
在框335中，系统可渲染平面。例如作为最终平面生成的一部分，系统可在3D模型内渲染平面。所得平面是完全成形的固态区域。所述平面不包括孔或其他通常在只依赖于特征点创建的3D模型的弱纹理区域中存在的人工制品。作为框335的一部分，系统也可将纹理投影到平面上。
图4是示出确定轴的例示性方法400的流程图。可由如参考图1所描述的系统来执行方法400。在一个实施方案中，可执行方法400以实施图3的框310。
在框405中，系统将从图像确定的边缘分组到不同存储桶(bucket)中。系统操作这样的边缘，这些边缘属于跨图像匹配的一组边缘。系统可根据定向将边缘分组到三个不同存储桶中。例如，可将具有相同定向或具有在彼此的预定量内的定向的边缘放置或指派到同一个存储桶中。如本文中所定义，术语“存储桶”是指一组边缘中具有相同或类似定向的一类边缘。
在框410中，系统确定第一轴是这样的存储桶：具有指派给该存储桶的最大边缘数目。具有最大边缘数目的存储桶可被视为最主要方向，且可被认为是三个正交轴中的一个(例如，第一个)。在框415中，系统可确定第二轴是这样的存储桶：具有指派给该存储桶的第二大边缘数目，其中第二大边缘数目小于第一大边缘数目。具有第二大边缘数目的存储桶可被视为第二最主要方向，且可被认为是三个正交轴中的一个(例如，第二个)。
在框420中，系统可校正第一主要轴与第二主要轴之间的正交性。在一个示例中，系统可将格拉姆-施密特技术应用到第二轴，以使第二轴与第一轴正交。通过应用校正措施(诸如，格拉姆-施密特)，系统可使第二轴精确地正交于第一轴。
在框425中，系统可根据第一轴和第二轴来确定第三轴。系统可将第三轴(表示第三最主要方向)确定为第一轴与第二轴的交叉积。
参考图4所描述的过程确保所得轴彼此垂直。由于存在弱纹理区域，依赖于从密集点计算出的法线确定主要方向的其他常规技术往往不准确。根据本文中所公开的发明性布置，通过在必要时将校正应用到第二轴且将第三轴计算为第一轴与第二轴的交叉积，系统确保了所有三个轴彼此垂直。
图5a、图5b、图5c和图5d(统称为图5)是场景的图像。图5的照片描绘了室内房间。如所示出，图5的图像是使用不同相机姿势来拍摄的。
图6是图5的场景的密集点云的透视图。图6的密集点云示出了跨图像匹配的检测到的特征点。密集点云进一步示出了跨图像匹配且在确定了三个轴之后被定位在密集点云内的边缘605。
图7是图6的密集点云的俯视平面图。所述平面图沿y轴向下观察的角度来示出密集点云，其中平行于y轴的垂直线呈现为点。图6中的y轴对准边缘现呈现为圆点或点705。图7还示出了所确定的轴的最小拐角和最大拐角。在这个示例(为平面图)中，描绘了x-z平面的最小拐角和最大拐角。可使用最小拐角和最大拐角来限定室内房间的界线或边界。
图8是图6的密集点云的另一个俯视平面图，其示出生成的平面。在图8内，已针对检测到的边缘生成了平面。如所描绘，针对边缘所生成的平面呈现为穿过端点705的线。所述平面平行于x轴(表示平行于x-y平面的平面)且作为平行于z轴的线(表示平行于y-z平面的平面)。表示边缘的每个点705使x方向上的线(平面)和z方向上的线(平面)穿过所述点。图8显示真假两种类型的平面。图8中将几个假平面标记为805。如所描绘，假平面805具有位于所形成的平面的每一侧上的点。
平面810和815示出了多个平面位于彼此的预定距离内且可合并成单个平面的示例。如所描述，将平面合并，之后再移除或识别假平面。合并之后，可看到，由合并平面810产生的平面被交叉的平面分成了5个区段(例如，其中平面815被合并，且其他平行且接近的平面也被合并)。由箭头820来示出由合并平面810产生的平面的所得区段。
图9是在移除假平面之后图6的密集点云的另一个俯视平面图。如所示出，已从俯视平面图移除了假平面(包括假平面805)，从而留下被认为是可渲染的真平面的平面(如在此示例中的室内墙壁或门)。在图9的示例中，可以每一区段为基础来执行假平面移除。如所描绘，一些区段820被确定为假平面并被移除，而其他区段则被确定为真平面并保留。
本文中所使用的术语是仅用于描述特定实施例的目的而非旨在为限制性的。尽管如此，现仍将呈现贯穿本文件应用的几个定义。
如本文中所定义，除非上下文另有明确指示，否则单数形式“一(a/an)”和“所述(the)”也旨在包括复数形式。
如本文中所定义，术语“另一个”意指至少第二个或更多个。
如本文中所定义，除非另有明确阐述，否则术语“至少一个”、“一个或多个”和“和/或”是开放式表达，其在操作中既是结合的又是分离的。例如，表达“A、B和C中的至少一者”、“A、B或C中的至少一者”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”和“A、B和/或C”中的每个意指单独A、单独B、单独C、A和B一起、A和C一起、B和C一起或A、B和C一起。
如本文中所定义，术语“自动地”意指没有用户干预。
如本文中所定义，术语“计算机可读存储媒体”意指包含或存储供由指令执行系统、设备或装置使用或结合指令执行系统、设备或装置使用的程序代码的存储媒体。如本文中所定义，“计算机可读存储媒体”本身并非暂时性的传播信号。计算机可读存储媒体可以是但不限于电子存储装置、磁性存储装置、光学存储装置、电磁存储装置、半导体存储装置或以上各者的任何合适组合。如本文中所描述，存储器元件是计算机可读存储媒体的示例。计算机可读存储媒体的更多特定示例的非详尽列表可包括：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或快闪存储器)、静态随机存取存储器(SRAM)、便携式压缩光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、记忆棒、软盘、机械编码装置(诸如，穿孔卡片或上面记录有指令的槽中的凸起结构)，和以上各者的任何合适的组合。
如本文中所定义，除非另有指示，否则术语“联接”意指连接，可以是直接的(没有任何介入元件)，也可以是间接的(具有一个或更多个介入元件)。两个元件可通过通信通道、路径、网络或系统来机械地联接、电联接或通信地链接。
如本文中所定义，除非上下文另有指示，否则术语“可执行操作”或“操作”是由数据处理系统或数据处理系统内的处理器执行的任务。可执行操作的示例包括但不限于“处理”、“计算”、“运算”、“确定”、“显示”、“比较”等等。在这点上，操作指数据处理系统(例如，计算机系统或类似的电子计算装置)的动作和/或过程，所述数据处理系统操纵表示为计算机系统寄存器和/或存储器内的物理(电子)量的数据并将该数据转化成类似地表示为计算机系统存储器和/或寄存器或其他此类信息存储、传输或显示装置内的物理量的其他数据。
如本文中所定义，术语“包括”指定所陈述的特征、整体、步骤、操作、元件和/或部件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元件、部件和/或其群组的存在或添加。
如本文中所定义，取决于上下文，术语“如果”意指“当……时”或“在……后即刻”或“响应于……”或“对……作出响应”。因此，取决于上下文，可将短语“如果确定……”或“如果检测到[所陈述的条件或事件]”解释为意指“在确定……后即刻”或“响应于确定……”或“在检测到[所陈述的条件或事件]后即刻”或“响应于检测到[所陈述的条件或事件]”或“对检测到[所陈述的条件或事件]作出响应”。
如本文中所定义，术语“一个实施方案”、“一实施方案”或类似语言意指结合所述实施方案描述的特定特征、结构或特性被包括在本公开内所描述的至少一个实施方案中。因此，短语“在一个实施方案中”、“在一实施方案中”和类似语言在本公开各处的出现可但未必全部指同一个实施方案。
如本文中所定义，术语“输出”意指存储在物理存储器元件(例如，装置)中、写入到显示器或其他外围输出装置、发送或传输到另一个系统、导出等等。
如本文中所定义，术语“多个”意指两个或两个以上。
如本文中所定义，术语“处理器”意指被配置成实施程序代码中所包含的指令的至少一个硬件电路。硬件电路可以是集成电路。处理器的示例包括但不限于中央处理单元(CPU)、阵列处理器、向量存储器、数字信号处理器(DSP)、场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、专用集成电路(ASIC)、可编程逻辑电路和控制器。
如本文中所定义，术语“可对……作出响应”意指容易响应于动作或事件或容易对动作或事件作出反应。因此，如果“可对第一动作作出响应”来执行第二动作，那么第一动作的发生与第二动作的发生之间存在因果关系。术语“对……作出响应”指示因果关系。
如本文中所定义，术语“用户”意指人。
本文中可使用术语第一、第二等来描述各种元件。除非另有陈述或上下文另有明确指示，否则这些元件应不受这些术语的限制，因为这些术语仅用来区分一个元件与另一个元件。
计算机程序产品可包括计算机可读存储媒体(或多个媒体)，所述计算机可读存储媒体上面具有计算机可读程序指令以致使处理器实施本发明的诸个方面。可将本文中所描述的计算机可读程序指令从计算机可读存储媒体下载到相应的计算/处理装置，或经由网络(例如，因特网、LAN、WAN和/或无线网络)下载到外部计算机或外部存储装置。网络可包括传输铜缆、传输光纤、无线传输、路由器、防火墙、开关、网关计算机和/或包括边缘服务器的边缘装置。每个计算/处理装置中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转递计算机可读程序指令以存储在相应的计算/处理装置内的计算机可读存储媒体中。
用于实施本文中所描述的发明性布置的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、依赖机器的指令、微代码、固件指令、状态设定数据或以一种或多种编程语言的任一组合撰写的源代码或者对象代码(包括面向对象的编程语言和/或程序性编程语言)。计算机可读程序指令可完全在用户计算机上执行，部分地在用户计算机上执行，作为独立软件包来执行，部分地在用户计算机上且部分地在远程计算机上执行，或完全在远程计算机或服务器上执行。在完全在远程计算机或服务器上执行的情况下，远程计算机可通过任何类型的网络(包括LAN或WAN)连接到用户计算机，或可连接到外部计算机(例如，通过因特网使用因特网服务提供商)。在一些情况下，包括例如可编程逻辑电路、FPGA或PLA的电子电路可通过利用计算机可读程序指令的状态信息对电子电路个人化来执行计算机可读程序指令，以便执行本文中所描述的发明性布置的方面。
本文中参考方法、设备(系统)和计算机程序产品的流程图附图和/或框图来描述发明性布置的某些方面。将理解，可由计算机可读程序指令(例如，程序代码)来实施流程图附图和/或框图的每个框以及流程图附图和/或框图中的框的组合。
可将这些计算机可读程序指令提供到通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器，使得经由计算机或其他可编程数据处理设备的处理器来执行的指令创建了用于实施流程图和/或框图的一个或多个框中所指定的功能/动作的手段。这些计算机可读程序指令也可存储在计算机可读存储媒体中，并可以指导计算机、可编程数据处理设备和/或其他设备以特定方式起作用，使得其中存储有指令的计算机可读存储媒体包括制造的产品，所述制造的产品包括实施流程图和/或框图的一个或多个框中所指定的操作的各个方面的指令。
也可将计算机可读程序指令加载到计算机、其他可编程数据处理设备或其他装置上，以致使在计算机、其他可编程数据处理设备或其他装置上执行一系列操作从而产生计算机实施过程，使得在计算机、其他可编程设备或其他装置上执行的指令实施流程图和/或框图的一个或多个框中所指定的功能/动作。
诸图中的流程图和框图示出了根据发明性布置的各种方面的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。在这点上，流程图或框图中的每个框可表示指令的模块、区段或部分，所述模块、区段或部分包括用于实施指定操作的一个或多个可执行指令。在一些替代性实施方式中，框中所注释的操作可不按诸图中所注释的顺序执行。例如，取决于所涉及的功能，连续示出的两个框可基本上同时执行，或所述框可有时按相反次序执行。还将注意，可以由专用的基于硬件的系统来实施框图和/或流程图说明的每个框以及框图和/或流程图说明中的框的组合，所述系统执行指定的功能或动作或实施专用硬件与计算机指令的组合。
可在下文权利要求中找到的所有手段或步骤附加功能元件的对应结构、材料、动作和等同物旨在包括用于与如具体地要求的其它所要求元件相组合来执行功能的任何结构、材料或动作。
一种方法可包括：使用处理器来检测多个图像中的多个边缘；使用处理器来确定多个边缘中跨多个图像匹配的一组边缘；以及使用处理器，利用成本函数来估计多个图像的相机姿势。
该方法可包括根据相机姿势和该组边缘为3D模型生成平面。
生成平面可包括根据该组边缘来确定三个正交轴。
确定三个正交轴可包括：根据定向将该组边缘中的边缘分组到多个存储桶中；将第一轴确定为包括最大数目的边缘的存储桶；将第二轴确定为包括第二大数目的边缘的存储桶；以及将第三轴确定为第一轴与第二轴的交叉积。在一个方面，可将第二轴调整为与第一轴正交。
所述方法可包括：针对该组边缘中的边缘来确定平面；从所确定的平面中识别假平面；以及移除假平面。
所述方法还可包括渲染平面。
一种系统可包括处理器，该处理器经编程以发起可执行操作。该可执行操作可包括：检测多个图像中的多个边缘；确定多个边缘中跨多个图像匹配的一组边缘；以及利用依赖于该组边缘的成本函数来估计多个图像的相机姿势。
该处理器可进一步经编程以发起可执行操作，该可执行操作包括：根据相机姿势和该组边缘来针对3D模型生成平面。
生成平面可包括根据该组边缘来确定三个正交轴。
确定三个正交轴可包括：根据定向将一组边缘中的边缘分组到多个存储桶中；将第一轴确定为包括最大数目的边缘的存储桶；将第二轴确定为包括第二大数目的边缘的存储桶；以及将第三轴确定为所述第一轴与所述第二轴的交叉积。处理器可进一步经编程以发起可执行操作，可执行操作可包括：将第二轴调整为与第一轴正交。
在另一个方面，处理器可经编程以发起可执行操作，可执行操作包括：针对该组边缘中的边缘来确定平面；从所确定的平面中识别假平面；以及移除假平面。
处理器还可经编程以发起可执行操作，可执行操作包括渲染平面。
一种计算机程序产品可包括上面存储有程序代码的计算机可读存储媒体。程序代码可由处理器来运行以执行一种方法。该方法可包括：使用处理器来检测多个图像中的多个边缘；使用处理器来确定多个边缘中跨多个图像匹配的一组边缘；以及使用处理器，利用依赖于该组边缘的成本函数来估计多个图像的相机姿势。
该方法可包括根据相机姿势和该组边缘来针对3D模型生成平面。
生成平面可包括根据该组边缘来确定三个正交轴。
确定三个正交轴可包括：根据定向将该组边缘中的边缘分组到多个存储桶中；将第一轴确定为包括最大数目的边缘的存储桶；将第二轴确定为包括第二大数目的边缘的存储桶；以及将第三轴确定为第一轴与第二轴的交叉积。所述方法还可包括将第二轴调整为与第一轴正交。
在另一个方面，所述方法可包括：针对该组边缘中的边缘来确定平面；从所确定的平面中识别假平面；移除假平面；以及渲染平面。
本文中所提供的发明性布置的描述是仅用于示出的目的，而并非旨在详尽的或被限制到所公开的形式和示例。选择本文中所使用的术语是为了解释发明性布置的原理、实际应用或对市场上发现的技术的技术改进，或使得本领域其他普通技术人员能够理解本文中所公开的实施方案。在不背离所描述的发明性布置的范围和精神的情况下，许多修改和变化将为本领域普通技术人员所显而易见。因此，应参考所附权利要求而非以上公开内容，权利要求表示这些特征和实施方式的范围。

Claims (20)

1.一种用于三维模型生成的方法，包括：
使用处理器来检测多个图像中的多个边缘；
使用所述处理器来确定所述多个边缘中跨所述多个图像匹配的一组边缘；以及
使用所述处理器，利用依赖于所述一组边缘的成本函数来估计所述多个图像的相机姿势，
其中，确定所述多个边缘中跨所述多个图像匹配的一组边缘包括：
创建用于所述多个边缘的轨迹，其中每个所创建的轨迹指定图像-边缘对的列表并且每个所创建的轨迹中的每个边缘被识别为跨轨迹中所列出的图像的相同边缘。
2.根据权利要求1所述的方法，进一步包括：
根据所述相机姿势和所述一组边缘来生成用于3D模型的平面。
3.根据权利要求2所述的方法，其中生成平面包括：
根据所述一组边缘来确定三个正交轴。
4.根据权利要求3所述的方法，其中确定三个正交轴进一步包括：
根据定向将所述一组边缘中的边缘分组到多个存储桶中；
将第一轴确定为包括最大数目边缘的存储桶；
将第二轴确定为包括第二大数目边缘的存储桶；以及
将第三轴确定为所述第一轴与所述第二轴的交叉积。
5.根据权利要求4所述的方法，进一步包括：
将所述第二轴调整为与所述第一轴正交。
6.根据权利要求3所述的方法，进一步包括：
针对所述一组边缘中的边缘来确定平面；
从所确定的平面中识别假平面；以及
移除所述假平面。
7.根据权利要求6所述的方法，进一步包括：
渲染所述平面。
8.一种用于三维模型生成的系统，包括：
处理器，经编程以发起可执行操作，所述可执行操作包括：
检测多个图像中的多个边缘；
确定所述多个边缘中跨所述多个图像匹配的一组边缘；以及
利用依赖于所述一组边缘的成本函数来估计所述多个图像的相机姿势，
其中，确定所述多个边缘中跨所述多个图像匹配的一组边缘包括：
创建用于所述多个边缘的轨迹，其中每个所创建的轨迹指定图像-边缘对的列表并且每个所创建的轨迹中的每个边缘被识别为跨轨迹中所列出的图像的相同边缘。
9.根据权利要求 8所述的系统，其中所述处理器进一步经编程以发起可执行操作，所述可执行操作包括：
根据所述相机姿势和所述一组边缘来生成用于3D模型的平面。
10.根据权利要求9所述的系统，其中生成平面包括：
根据所述一组边缘来确定三个正交轴。
11.根据权利要求10所述的系统，其中确定三个正交轴包括：
根据定向将所述一组边缘中的边缘分组到多个存储桶中；
将第一轴确定为包括最大数目边缘的存储桶；
将第二轴确定为包括第二大数目边缘的存储桶；以及
将第三轴确定为所述第一轴与所述第二轴的交叉积。
12.根据权利要求 11所述的系统，其中所述处理器进一步经编程以发起可执行操作，所述可执行操作包括：
将所述第二轴调整为与所述第一轴正交。
13.根据权利要求 10所述的系统，其中所述处理器进一步经编程以发起可执行操作，所述可执行操作包括：
针对所述一组边缘中的边缘来确定平面；
从所确定的平面中识别假平面；以及
移除所述假平面。
14.根据权利要求 13所述的系统，其中所述处理器进一步经编程以发起可执行操作，所述可执行操作包括：
渲染所述平面。
15.一种计算机可读存储媒体，所述计算机可读存储媒体存储有计算机指令，所述计算机指令能够由处理器来运行以实施以下方法，所述方法包括：
使用所述处理器来检测多个图像中的多个边缘；
使用所述处理器来确定所述多个边缘中跨所述多个图像匹配的一组边缘；以及
使用所述处理器，利用依赖于所述一组边缘的成本函数来估计所述多个图像的相机姿势，
其中，确定所述多个边缘中跨所述多个图像匹配的一组边缘包括：
创建用于所述多个边缘的轨迹，其中每个所创建的轨迹指定图像-边缘对的列表并且每个所创建的轨迹中的每个边缘被识别为跨轨迹中所列出的图像的相同边缘。
16.根据权利要求15所述的计算机可读存储媒体，其中所述方法进一步包括：
根据所述相机姿势和所述一组边缘来生成用于3D模型的平面。
17.根据权利要求16所述的计算机可读存储媒体，其中生成平面包括：
根据所述一组边缘来确定三个正交轴。
18.根据权利要求17所述的计算机可读存储媒体，其中确定三个正交轴进一步包括：
根据定向将所述一组边缘中的边缘分组到多个存储桶中；
将第一轴确定为包括最大数目边缘的所述存储桶；
将第二轴确定为包括第二大数目边缘的所述存储桶；以及
将第三轴确定为所述第一轴与所述第二轴的交叉积。
19.根据权利要求18所述的计算机可读存储媒体，其中所述方法进一步包括：
将所述第二轴调整为与所述第一轴正交。
20.根据权利要求17所述的计算机可读存储媒体，其中所述方法进一步包括：
针对所述一组边缘中的边缘来确定平面；
从所确定的平面中识别假平面；
移除所述假平面；以及
渲染所述平面。
CN201580050384.0A 2014-10-03 2015-10-05 使用边缘的三维模型生成的方法和系统 Active CN107077744B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462059662P 2014-10-03 2014-10-03
US62/059,662 2014-10-03
US14/725,938 US9846963B2 (en) 2014-10-03 2015-05-29 3-dimensional model generation using edges
US14/725,938 2015-05-29
PCT/KR2015/010518 WO2016053067A1 (en) 2014-10-03 2015-10-05 3-dimensional model generation using edges

Publications (2)

Publication Number Publication Date
CN107077744A CN107077744A (zh) 2017-08-18
CN107077744B true CN107077744B (zh) 2021-02-19

Family

ID=55631008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580050384.0A Active CN107077744B (zh) 2014-10-03 2015-10-05 使用边缘的三维模型生成的方法和系统

Country Status (5)

Country Link
US (1) US9846963B2 (zh)
EP (1) EP3201881B1 (zh)
KR (1) KR102318023B1 (zh)
CN (1) CN107077744B (zh)
WO (1) WO2016053067A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI125913B (en) * 2013-03-25 2016-04-15 Mikkelin Ammattikorkeakoulu Oy A state-defining object for computer-aided design
FR3013491B1 (fr) * 2013-11-19 2016-01-15 Commissariat Energie Atomique Determination de la carte de profondeur image d'une scene
US9846963B2 (en) 2014-10-03 2017-12-19 Samsung Electronics Co., Ltd. 3-dimensional model generation using edges
US10546385B2 (en) * 2016-02-25 2020-01-28 Technion Research & Development Foundation Limited System and method for image capture device pose estimation
JP6754992B2 (ja) * 2016-04-22 2020-09-16 パナソニックＩｐマネジメント株式会社 三次元再構成方法
DE102017107336A1 (de) * 2017-04-05 2018-10-11 Testo SE & Co. KGaA Messgerät und korrespondierendes Messverfahren
US10250801B2 (en) * 2017-04-13 2019-04-02 Institute For Information Industry Camera system and image-providing method
US10733755B2 (en) * 2017-07-18 2020-08-04 Qualcomm Incorporated Learning geometric differentials for matching 3D models to objects in a 2D image
US10697754B2 (en) * 2017-12-07 2020-06-30 Faro Technologies, Inc. Three-dimensional coordinates of two-dimensional edge lines obtained with a tracker camera
US10964053B2 (en) * 2018-07-02 2021-03-30 Microsoft Technology Licensing, Llc Device pose estimation using 3D line clouds
US10839556B2 (en) 2018-10-23 2020-11-17 Microsoft Technology Licensing, Llc Camera pose estimation using obfuscated features
US11890063B2 (en) * 2018-12-17 2024-02-06 The Brigham And Women's Hospital, Inc. System and methods for a trackerless navigation system
CN109760688B (zh) * 2018-12-29 2020-07-28 百度在线网络技术（北京）有限公司 路段信息确定方法、装置、车辆及计算机可读存储介质
CN109632007B (zh) * 2019-01-17 2020-12-04 北京理工大学 一种边缘点提取方法及齿轮高精度视觉测量系统
CN112116519B (zh) 2019-06-19 2022-12-27 畅想科技有限公司 图形处理系统中的粗略深度测试
US10841483B1 (en) * 2019-07-11 2020-11-17 Denso International America, Inc. System and method for calibrating at least one camera and a light detection and ranging sensor
US11403764B2 (en) * 2020-02-14 2022-08-02 Mujin, Inc. Method and computing system for processing candidate edges
CN112416950B (zh) * 2021-01-25 2021-03-26 中国人民解放军国防科技大学 一种三维sketch结构的设计方法和装置
CN116433794B (zh) * 2023-06-14 2023-09-08 广东云湃科技有限责任公司 一种cae软件中三维模型的处理方法及系统
CN117253013B (zh) * 2023-11-07 2024-02-23 中国科学院空天信息创新研究院 基于协同感知的分布式三维重建方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101903907A (zh) * 2007-12-21 2010-12-01 杜比实验室特许公司 针对边缘的图像处理

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10304244A (ja) 1997-05-01 1998-11-13 Sony Corp 画像処理装置およびその方法
EP0928460B1 (en) 1997-07-29 2003-01-29 Philips Electronics N.V. Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system
AU2001250802A1 (en) 2000-03-07 2001-09-17 Sarnoff Corporation Camera pose estimation
US6816629B2 (en) 2001-09-07 2004-11-09 Realty Mapping Llc Method and system for 3-D content creation
AU2003277240A1 (en) 2002-10-15 2004-06-07 University Of Southern California Augmented virtual environments
KR20040034221A (ko) 2002-10-21 2004-04-28 (주)맥서러씨 3차원 형상 복원 시스템 및 방법
EP1627358A4 (en) * 2003-03-11 2011-08-24 Sarnoff Corp METHOD AND DEVICE FOR DETERMINING CAMERAPOSIS FROM POINT CORRESPONDENCES
WO2006083297A2 (en) * 2004-06-10 2006-08-10 Sarnoff Corporation Method and apparatus for aligning video to three-dimensional point clouds
KR101195942B1 (ko) 2006-03-20 2012-10-29 삼성전자주식회사 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법
EP2069713A4 (en) 2006-05-26 2012-12-26 Corp Spg Data3D PHOTOGRAMMETRIC SYSTEM AND TECHNIQUES FOR 3D ACQUISITION
WO2008050320A2 (en) * 2006-10-23 2008-05-02 Ben Gurion University Of The Negev, Research And Development Authority Blind restoration of images degraded by isotropic blur
KR101288971B1 (ko) * 2007-02-16 2013-07-24 삼성전자주식회사 모델링 방법 및 장치
BRPI0721462A2 (pt) 2007-03-23 2013-01-08 Thomson Licensing sistema e mÉtodo para classificaÇço de regiço de imagens em 2d para conversço de 2d para 3d
US20080310757A1 (en) 2007-06-15 2008-12-18 George Wolberg System and related methods for automatically aligning 2D images of a scene to a 3D model of the scene
US20090010507A1 (en) 2007-07-02 2009-01-08 Zheng Jason Geng System and method for generating a 3d model of anatomical structure using a plurality of 2d images
US8102427B2 (en) * 2008-02-14 2012-01-24 Sri International Camera egomotion estimation from an infra-red image sequence for night vision
WO2010088840A1 (en) 2009-02-06 2010-08-12 The Hong Kong University Of Science And Technology Generating three-dimensional models from images
CN101814192A (zh) * 2009-02-20 2010-08-25 三星电子株式会社 真实感3d人脸重建的方法
US8442305B2 (en) 2009-06-30 2013-05-14 Mitsubishi Electric Research Laboratories, Inc. Method for determining 3D poses using points and lines
CN102080958B (zh) * 2009-11-26 2013-04-10 财团法人资讯工业策进会 三维影像分析系统、处理装置及其方法
KR101430121B1 (ko) * 2010-04-06 2014-08-14 삼성전자주식회사 멀티-에너지 Ｘ－ｒａｙ 시스템의 영상 처리 장치 및 그 방법
US8532367B2 (en) 2010-08-17 2013-09-10 Raytheon Company System and method for 3D wireframe reconstruction from video
US8600192B2 (en) * 2010-12-08 2013-12-03 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
FR2976107B1 (fr) * 2011-05-30 2014-01-03 Commissariat Energie Atomique Procede de localisation d'une camera et de reconstruction 3d dans un environnement partiellement connu
US9183631B2 (en) 2012-06-29 2015-11-10 Mitsubishi Electric Research Laboratories, Inc. Method for registering points and planes of 3D data in multiple coordinate systems
US9031283B2 (en) * 2012-07-12 2015-05-12 Qualcomm Incorporated Sensor-aided wide-area localization on mobile devices
GB2506338A (en) * 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
JP5963353B2 (ja) * 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
US9361538B2 (en) * 2012-12-26 2016-06-07 Microsoft Technology Licensing, Llc Real time photometric edge description
US9129398B2 (en) * 2013-03-15 2015-09-08 Qualcomm Incorporated Edgel sampling for edge-based tracking
US9269187B2 (en) 2013-03-20 2016-02-23 Siemens Product Lifecycle Management Software Inc. Image-based 3D panorama
US9846963B2 (en) 2014-10-03 2017-12-19 Samsung Electronics Co., Ltd. 3-dimensional model generation using edges

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101903907A (zh) * 2007-12-21 2010-12-01 杜比实验室特许公司 针对边缘的图像处理

Also Published As

Publication number Publication date
EP3201881A4 (en) 2018-04-18
WO2016053067A1 (en) 2016-04-07
KR102318023B1 (ko) 2021-10-27
CN107077744A (zh) 2017-08-18
EP3201881A1 (en) 2017-08-09
EP3201881B1 (en) 2019-05-15
US20160098858A1 (en) 2016-04-07
US9846963B2 (en) 2017-12-19
KR20170068462A (ko) 2017-06-19

Similar Documents

Publication Publication Date Title
CN107077744B (zh) 使用边缘的三维模型生成的方法和系统
JP7181977B2 (ja) ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム
Jancosek et al. Exploiting visibility information in surface reconstruction to preserve weakly supported surfaces
CN110276829B (zh) 通过多尺度体素哈希处理的三维表示
US8331615B2 (en) Match, expand, and filter technique for multi-view stereopsis
US8447099B2 (en) Forming 3D models using two images
EP2272050B1 (en) Using photo collections for three dimensional modeling
US8463024B1 (en) Combining narrow-baseline and wide-baseline stereo for three-dimensional modeling
CN114494589A (zh) 三维重建方法、装置、电子设备和计算机可读存储介质
TW201436552A (zh) 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置
TW202014993A (zh) 資訊處理裝置、記錄媒體、程式產品及資訊處理方法
GB2554674B (en) 3D capture: object extraction
CN116051980B (zh) 基于倾斜摄影的建筑识别方法、系统、电子设备及介质
KR20090075399A (ko) 영상 시퀀스로부터 선택된 중요 영상을 이용한 3차원모델의 재구성 방법
Ylimäki et al. Fast and accurate multi‐view reconstruction by multi‐stage prioritised matching
US20240153207A1 (en) Systems, methods, and media for filtering points of a point cloud utilizing visibility factors to generate a model of a scene
US11100721B1 (en) Integrating 2D images into a display of a 3D reality mesh to recover lost context
Mijakovska et al. Triangulation Method in Process of 3D Modelling from Video
Woodward et al. Real-time stereo vision on the visionserver framework for robot guidance
Pinho Fast and Robust 3D Reconstruction Solution from Permissive OpenSource Code
CN117475085A (zh) 图像处理方法、装置、设备及存储介质
Potje et al. On the improvement of three-dimensional reconstruction from large datasets
WO2023164084A1 (en) Systems and methods for generating dimensionally coherent training data
CN117788576A (zh) 一种基于单张图像的相机空间定位方法
Wang et al. Accurate multi-view stereopsis fusing DAISY descriptor and scaled-neighbourhood patches

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant