CN102804231A - 三维场景的分段平面重建 - Google Patents

三维场景的分段平面重建 Download PDF

Info

Publication number
CN102804231A
CN102804231A CN2010800266363A CN201080026636A CN102804231A CN 102804231 A CN102804231 A CN 102804231A CN 2010800266363 A CN2010800266363 A CN 2010800266363A CN 201080026636 A CN201080026636 A CN 201080026636A CN 102804231 A CN102804231 A CN 102804231A
Authority
CN
China
Prior art keywords
dimensional
image
plane
pixel
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800266363A
Other languages
English (en)
Other versions
CN102804231B (zh
Inventor
S.N.辛哈
D.E.斯蒂德利
R.S.塞利斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102804231A publication Critical patent/CN102804231A/zh
Application granted granted Critical
Publication of CN102804231B publication Critical patent/CN102804231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供了用于根据二维图像的集合重建三维场景的方法、系统、以及计算机可读介质。计算机化重建系统对二维图像的集合执行计算机视觉算法以识别用来对二维图像中描绘的环境的视觉特性建模的候选平面。计算机视觉算法可以使表示二维图像的特征之间关系和相似性的能量函数最小化以把二维图像的像素分配给三维场景中的平面。三维场景是可导航的，并且描绘多个二维图像之间的视点转变。

Description

三维场景的分段平面重建
背景技术
传统上，计算机的重现引擎可以被配置成根据二维图像的无序集合提供恢复场景的稀疏结构和摄像器校准的自动特征匹配或特征提取。传统重现引擎可以使用摄像器校准、稀疏场景结构、以及二维图像把三维空间中每个像素的地点三角化。在三角化的地点中重现像素以形成三维场景。
然而，生成的三维场景的质量和细节常常遭受各种缺陷。例如，传统重现引擎会作为孔重现二维图像中捕捉的无纹理或非朗伯表面。通过对邻近像素的深度进行插值覆盖孔。但是传统重现引擎的插值会把具有直线的平坦表面错误地再现成三维场景中的坑洼表面。传统重现引擎还会因为闭塞、非朗伯表面等的不可靠匹配而错误地引入三维场景中的锯齿。
传统重现引擎的质量和细节在生成人造对象具有丰富平表面的场景、城市场景、或者建筑场景的三维场景时显著降级。此外，因为未把传统重现引擎执行的传统计算机视觉算法的假设设计成对于包含人造表面的场景工作良好，所以根据二维图像的稀疏集合对三维场景的重建不可通过逼真方式导航。
发明内容
克服本领域中这些和其它问题的本发明的实施例在一个方面中涉及用以根据二维图像的集合生成可导航、逼真场景的计算机化重建系统、计算机可读介质、以及计算机实施的方法。计算机化重建系统恢复从二维图像的集合捕捉的场景的密集、分段平面重建。
计算机化重建系统识别三维平面候选的离散集。计算机化重建系统基于根据二维图像的集合中捕捉的多个视图重建的稀疏三维线段和场景的稀疏点云生成三维平面候选的离散集。继而，通过使用基于切图的能量最小化技术解决多标签马尔可夫随机场（MRF）优化问题对于每个图像恢复分段平面深度图。计算机化重建系统把原始二维图像投影到恢复的平面深度图上以生成三维场景的重现。
提供此发明内容以介绍下面在具体实施方式中进一步描述的简化形式的概念的选择。此发明内容并非意在识别要求保护主题的必要特征或关键特征，它也并非意在孤立地用作确定要求保护主题的范围的过程中的辅助。
附图说明
图1是示例了按照本发明实施例的示范性运算系统的网络图；
图2是示例了按照本发明实施例的示范性二维图像的图像图；图2A－B示例了按照本发明实施例，摄像器捕捉的二维图像；
图3是示例了按照本发明实施例的示范性三维平面的平面图；图3A示例了按照本发明实施例，根据运动特征提取和摄像器校准确定的结构；图3B示例了按照本发明实施例，计算机化重建服务器生成的三维线；图3C－3E示例了按照本发明实施例，计算机化重建服务器生成的不同三维视点的候选平面；
图4是示例了按照本发明实施例的运算系统生成的示范性场景的三维场景图；图4A示例了按照本发明实施例，计算机化重建服务器生成的深度图；图4B示例了按照本发明实施例，计算机化重建服务器生成的代理网格；图4C示例了按照本发明实施例，计算机化重建服务器生成的有纹理代理网格；
图5是示例了按照本发明实施例的二维图像内消影方向的检测的消影方向图；图5A示例了按照本发明实施例，计算机化重建系统处理以提取消影方向的示范性二维图像；图5B示例了按照本发明实施例，从二维图像提取的消影方向的每个集群的朝向；图5C示例了按照本发明实施例，计算机化服务器重现的三维场景的示范性重建；
图6是示例了按照本发明实施例的表面法线的概率分布的法线朝向图；图6A示例了按照本发明实施例，三维点的协方差大小；图6B示例了按照本发明实施例，经过三维点的平面的法线分布；
图7是示例了按照本发明实施例的平面或三维线的朝向的概率分布的分布直方图；图7A示例了按照本发明实施例，基于根据三维点的决选表示法线的分布的直方图；图7B示例了按照本发明实施例，基于根据三维线的决选表示法线的分布的直方图；
图8是示例了按照本发明实施例的从二维图像提取的场景信息的可见性图；
图9是示例了按照本发明实施例的使用马尔可夫随机场表示和切图最小化表示平面的像素向标签的分配的图；
图10是示例了按照本发明实施例的用来生成三维场景的二维图像之间的关系的图片一致性图；图10A示例了按照本发明实施例的，示范性参考图像；图10B示例了按照本发明实施例，计算机化重建系统使用的示范性扭曲邻近图像；图10C示例了按照本发明实施例，计算机化重建服务器确定的扭曲图像与参考图像之间图片一致性的大小；
图11是示例了按照本发明实施例的三维场景中平面的闭塞边界和一对平面的相交处对应的折缝边缘的边界图；图11A示例了按照本发明实施例的，折缝边缘；图11B示例了按照本发明实施例的闭塞边界；
图12A－B是示例了按照本发明实施例，三维剧场场景中视点之间的导航的转变图；
图13A－B是示例了按照本发明实施例，三维剧场罩棚场景中视点之间的导航的转变图；
图14A－B是示例了按照本发明实施例，三维拱门场景中视点之间的导航的转变图；
图15A－B是示例了按照本发明实施例，三维城堡场景中视点之间的导航的转变图；
图16A－B是示例了按照本发明实施例，三维房间场景中视点之间的导航的转变图；
图17A－E是示例了按照本发明实施例，三维大厅场景中视点之间的导航的转变图；
图18是示例了按照本发明实施例的用以选择用来根据电子数据库中存储的图像的集合重现可导航三维场景的平面的方法的逻辑图；以及
图19是示例了在根据电子数据库中存储的二维图像的集合重现可导航三维场景时从二维图像向三维平面分配像素的方法的逻辑图。
具体实施方式
本专利通过具体性描述用于授予专利的主题以符合法定需求。然而，描述本身并非意在限制本专利的范围。而是，发明人构思了也可以通过其它方式实施要求保护的主题，以结合其它目前或未来技术，包括与本文件中描述的步骤类似的步骤的组合或不同步骤。此外，虽然在本文中会使用术语“步骤”和“框”意指采用的方法的不同元素，但如非和除了明确描述各步骤的次序时不应当把术语解释成暗示本文中公开的各种步骤之间或之中的任何特定次序。进一步地，下面参照整体经引用并入本文的附图详细描述实施例。
本发明的实施例提供了根据二维图像生成可导航三维场景的计算机化重建系统。计算机化重建系统处理二维图像以提取匹配特征、摄像器校准、以及地理或空间信息。继而，计算机化重建系统根据二维图像自动检测消影方向。计算机化重建系统使用匹配特征、摄像器校准、空间信息、以及消影方向生成三维场景的平面候选集。计算机化重建系统确定平面候选集的概率朝向和生成马尔可夫随机场。继而，计算机化重建系统使用马尔可夫随机场对应的最小化函数通过从二维图像向平面候选集分配像素根据二维图像生成三维场景。
如本领域技术人员将会明白的，计算机化重建系统可以包括硬件、软件、或者硬件和软件的组合。硬件包括被配置成执行存储器中存储的指令的存储器和处理器。在一个实施例中，存储器包括存储计算机可用指令用于计算机实施的方法的计算机程序产品的计算机可读介质。计算机可读介质包括易失性和非易失性介质、可移除和不可移除介质、数据库可读取的介质、交换机、以及各种其它网络设备。网络交换机、路由器、以及相关组件如作为与之通信的装置一样，本质上是传统的。通过实例、以及非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机存储介质、或者机器可读介质，包括以用于存储信息的任何方法或技术实施的介质。存储信息的实例包括计算机可用指令、数据结构、程序模块、以及其它数据表示。计算机存储介质包括但不限于随机访问存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、闪存或其它存储器技术、压缩光盘只读存储器（CD-ROM）、数字多功能盘（DVD）、全息介质或其它光盘存储装置、磁盒、磁带、磁盘存储装置、以及其它磁存储设备。这些技术可以瞬间地、暂时地、或者永久地存储数据。
图1是示例了按照本发明实施例的，示范性操作环境100的网络图。图1中示出的操作环境100仅是示范性的以及并非意在建议对于范围或功能的任何限制。本发明的实施例通过大量其它配置可操作。参照图1，操作环境100包括通过网络113彼此通信的计算机化重建服务器110、二维图像120、三维场景130、笔记本电脑140、多媒体捕捉设备150和160、文件服务器170、个人计算机180、卫星190、以及移动设备195。
计算机化重建服务器110被配置成生成可导航三维场景130。计算机化重建服务器110包括平面生成器111、优化引擎112、重建引擎113、以及多媒体索引114。计算机化重建系统可以从运算设备（例如，笔记本电脑140、多媒体捕捉设备150和160、文件服务器170、个人计算机180、卫星190、以及移动设备195）接收用以生成三维场景130的请求。请求可以包括向计算机化重建服务器110传输的二维图像120的集合。计算机化重建服务器把二维图像120的集合存储在多媒体索引114中。
平面生成器111被配置成根据二维图像120中包括的摄像器和场景信息识别候选平面。继而，平面生成器111确定每个候选平面的概率朝向，以及把共用类似概率朝向的候选平面集群。在一些实施例中，平面生成器111创建用以表示三维场景130边界的底平面和背部平面。
平面生成器111从二维图像120提取全局场景信息。全局场景信息，可以包括三维点和坐标、消影方向、三维线段、以及三维点的对应性大小、三维线、以及自二维图像120中捕捉的场景的多个视图起的消影方向。在一个实施例中，平面生成器111执行修改随机样本一致性（RANSAC）算法以使用全局场景信息检测候选平面。
平面生成器111可以从二维图像120以及捕捉场景的摄像器提供的任何相关联元数据提取三维点和坐标。摄像器提供的元数据可以包括地点信息、距离信息、以及任何其它摄像器校准信息。因而，平面生成器111可以使用元数据和二维图像120来对二维图像中每个像素生成空间三维点。在一些实施例中，平面生成器111基于相似性把像素分组成超级像素。
平面生成器111检测通过二维图像120捕捉的场景中的消影方向。在一个实施例中，平面生成器111执行边缘检测算法以检测二维图像120中的消影方向。边缘检测算法提供二维图像120中包括的二维线段。连接二维线段以形成二维图像的集合中每个图像的边缘地图。以及平面生成器111检测三个维度中的平行线对应的每个边缘地图中的线或线段。图像中的消影点对应于三维场景中的消影方向。平面生成器111对消影方向对应的向量的单位球体执行平均移位集群。平面生成器111保留具有大量消影方向的集群，丢弃稀疏集群。平面生成器111根据集群中包括的场景的不同视图使用每个二维线段识别每个集群的代表性消影方向。在一些实施例中，平面生成器111检查彼此几乎正交的对的消影方向集以及如非集中已经存在正交三元组则添加完成正交三元组的第三消影方向。
使用对极约束和全局场景信息识别匹配线段的平面生成器111构建三维线段。平面生成器111在通过二维图像捕捉的场景中查找具有类似消影方向和受关注近端匹配点的二维线段对。把二维线的多个匹配对链接在一起，平面生成器111根据通过二维图像捕捉的场景的大量视图验证三维线的一致性。在一些实施例中，用于验证的大量视图至少四个。通过把二维段对三角化和求出链接二维段内重投影误差总体最小的对来运算三维线。继而，平面生成器111经由间隔分析确定三维线段的端点。在一些实施例中，平面生成器111寻找识别的消影方向未约束的二维段。基于它们的方向和协方差把这些额外二维段（离群值）集群。
平面生成器111基于生成的三维线和识别的消影方向确定每个三维点的概率地点和平面的朝向。平面生成器111通过评估消影方向每个对的叉乘生成似然平面朝向集                                                
Figure 61325DEST_PATH_IMAGE001
。在某些实施例中，把彼此五度内的平面朝向
Figure 712886DEST_PATH_IMAGE002
作为重复。平面生成器111基于显著性把似然平面朝向集
Figure 820520DEST_PATH_IMAGE001
归类。通过统计与消影方向的相应对相关联的集群的尺寸测量每个平面朝向
Figure 2010800266363100002DEST_PATH_IMAGE003
的显著性。
平面生成器111确定每个三维点的概率地点。在一个实施例中，平面生成器111对于每个三维点运算三维Mahalonobis距离以确定三维点是否属于三维线和消影方向表示的一个或更多个平面假定。Mahalonobis距离测量三维点的协方差（不确切性）和平面假定的相应拟合误差。在某些实施例中，平面生成器111通过运算沿着通过二维图像120捕捉的场景的平均查看方向朝向的向量来识别每个三维点X k 的近似不确切性。向量
Figure 832698DEST_PATH_IMAGE004
的量值对应于二维图像120中像素的预计不确切性。平面生成器111可以使用向量
Figure 983057DEST_PATH_IMAGE004
的量值评估平面假定的不确切性。
平面生成器111基于平面朝向集
Figure 250090DEST_PATH_IMAGE005
上的离散似然性分布确定每个三维点X k 的表面法线。平面生成器111基于围绕三维点X k 的邻近三维点的数量和沿着朝向平面一个维度的健壮方差为经过三维点X k 的每个朝向平面给出分值。平面生成器111向密集周边具有沿着朝向平面似然性分布的一个维度的唯一峰值的每个三维点分配表面法线。向三维点分配的表面法线限制相应三维点向三维平面的分配。在一些实施例中，平面生成器111使用三维线的线方向判定三维线会在平面和三维线的分配期间决选哪些平面。类似地，平面生成器111可以使用三维点的表面法线判定三维点会在三维点向平面的分配期间决选哪些平面。
平面生成器111使用每个三维点和三维线确定通过二维图像120捕捉的场景的平面。平面生成器111建立两个直方图（
Figure 511307DEST_PATH_IMAGE006
）以测量从三维点和三维线接收的每个朝向
Figure 173550DEST_PATH_IMAGE003
的决选。平面生成器111在与捕捉了相应二维图像120的摄像器相关联的地点处于平面前方时统计来自每个三维点和三维线的决选。平面生成器111不统计其估算的法线未能与平面的朝向
Figure 990196DEST_PATH_IMAGE003
匹配的每个三维点和三维线的决选。在一些实施例中，平面生成器111过滤其估算的法线未能与平面的朝向
Figure 727208DEST_PATH_IMAGE003
匹配的每个三维点和三维线。
在一个实施例中，平面生成器111对三维点和三维线采样以获得用来创建直方图（
Figure 742754DEST_PATH_IMAGE007
）的三维线和三维点的代表性集合。通过以下构建三维点的样本集（S1）。通过以下
Figure 321820DEST_PATH_IMAGE010
构建三维线的样本集（S2），其中，Yk表示三维线。
用尺寸（
Figure 965291DEST_PATH_IMAGE011
）的自适应高斯内核表示每个三维点样本x k 。平面生成器111调节内核的尺寸以考虑与每个三维点相关联的不确切性。平面生成器111分配用以控制直方图
Figure 300458DEST_PATH_IMAGE007
平滑性的权重（W）。继而，平面生成器111创建与
Figure 91696DEST_PATH_IMAGE003
正交的一维子空间以及把每个三维点样本x k 投影在一维子空间中以确定三维点样本是否共用朝向。对于每个匹配，当前朝向
Figure 730805DEST_PATH_IMAGE003
的直方图
Figure 236873DEST_PATH_IMAGE007
中的计数增加。
用尺寸（
Figure 453090DEST_PATH_IMAGE012
）的自适应高斯内核表示每个三维线样本y k 。调节内核的尺寸以考虑与每个三维线相关联的不确切性。W是分配的用以控制直方图
Figure 397913DEST_PATH_IMAGE007
平滑性的权重。继而，平面生成器111创建与
Figure 750396DEST_PATH_IMAGE003
正交的一维子空间以及把每个三维线样本y k 投影在一维子空间中以确定三维线样本是否共用朝向
Figure 692945DEST_PATH_IMAGE003
。对于每个匹配，当前朝向
Figure 193196DEST_PATH_IMAGE003
的直方图
Figure 613813DEST_PATH_IMAGE007
中的计数增加。
平面生成器111检测这两个直方图（
Figure 86383DEST_PATH_IMAGE006
Figure 996570DEST_PATH_IMAGE007
）中的局部峰值。在某些实施例中，平面生成器因为多个平行三维线常常偶然共平面以及非平行线较不可能共平面（除非场景中存在真实平面）所以在三维线的多个（≥ 2）唯一方向都与
Figure 921801DEST_PATH_IMAGE003
正交时统计
Figure 208426DEST_PATH_IMAGE007
中的峰值。另外，平面生成器111执行用以避免生成太贴近候选平面的非最大抑制。继而，基于峰值朝向、三维点、以及三维线的任何组合生成候选平面。
在其它实施例中，平面生成器111提供通过二维图像120捕捉的场景的离群部分的额外平面、底平面、以及背部平面。离群部分是具有稀疏全局场景信息的二维图像120的区域。平面生成器111可以使用两点或三点RANSAC算法执行消影方向和三维点的随机采样。继而，平面生成器111计算相关联三维点的不确切性，确定经过三维点的额外平面的朝向以识别候选平面集。
平面生成器111还运算摄像器捕捉的二维图像每个视图的底平面和背部平面。通过选择与摄像器的侧向量正交的上向量估算底平面。把底平面识别成与上向量正交和三维点的95%处于平面以上的平面。继而，平面生成器111细化底平面以较好地表示三维场景中的底部。
通过选择与摄像器的光学轴正交的向量估算背部平面。把背部平面识别成与光学轴正交和三维点的95%处于平面前方的平面。继而，平面生成器111可以优化背部平面以较好地表示三维空间中的背部底部。
优化引擎112被配置成使用平面生成器111提供的候选平面生成每个二维图像的深度图。优化引擎112使用二维图像中的像素和候选平面生成马尔可夫随机场（MRF）。优化引擎112生成具有表示像素和平面的节点的图。图还包括连接图节点的边缘。每个边缘与表示用于向边缘连接的两个像素分配不同平面标签的处罚的代价。优化引擎112评估测量向图像中像素分配平面标签的一致性的目标函数。在一些实施例中，优化引擎112使用能量函数E确定像素的理想标签化。
能量函数E表示通过周边系统在底层像素数据上定义的MRF中后验概率分布的对数似然性（例如，4个连接的周边考虑所有竖直和水平邻近像素）。优化引擎112可以评估
Figure 535502DEST_PATH_IMAGE014
。每个平面P对应于标签l。每个像素对应于图像中的点p以及可以分配有标签l p 。标签集是有限的，并且从闭集l p ∈L中选取。能量函数E包括数据项和平滑项。数据项D p 允许优化引擎112测量分配有标签l p 的像素p的代价（处罚）。平滑项V p,q 通过每当分别为邻近像素p和q分配标签l p 和l q 时分配代价，允许优化引擎112促进分段平滑标签化（即，使解规则化）。在某些实施例中，V p,q 是尺度，优化引擎112可以执行扩展移动算法以运算在自全局最优起的可证明距离内的标签分配。
在一些实施例中，优化引擎112可以选择平面子集
Figure 819852DEST_PATH_IMAGE015
的标签l p 。用M＝{m i }，i＝1…N表示平面的子集，每个选择的平面m i 面向摄像器和处在摄像器的视图锥体内。优化引擎112可以基于与平面m i 的地点对应的地点相关联的像素的密度把平面m i 归类。另外，优化引擎可以包括基于二维图像的集合中地平线的地点将底平面和背部平面包括在平面子集M中。
在一个实施例中，优化引擎112通过组合多视图图片一致性、三维点和线的几何临近性、三维点和平面的射线可见性测量D p 。D p 测量向像素p分配标签l p （即，平面m p ）的代价。
Figure 294696DEST_PATH_IMAGE016
，其中，
Figure 57116DEST_PATH_IMAGE017
是多视图图片一致性，
Figure 301015DEST_PATH_IMAGE018
是稀疏三维点和线的几何临近性，测量基于三维点和平面的射线可见性的自由空间侵占。在实施例中，优化引擎112可以密集地测量每个像素处的
Figure 718407DEST_PATH_IMAGE017
，采用稀疏约束测量一个或更多个二维图像120中特定像素处的和
Figure 320607DEST_PATH_IMAGE019
。
优化引擎112通过从参考图像的邻近图像中选择大量视图测量多视图图片一致性
Figure 9077DEST_PATH_IMAGE017
以及测量参考图像与邻近像素的视图之间的相似性。在一个实施例中，优化引擎112选择参考图像I r 的k（≤ 10）个邻近图像。继而，优化引擎112通过平面m p 生成单应性以把每个邻近图像
Figure 580313DEST_PATH_IMAGE020
扭曲成参考图像I r 。优化引擎112使用扭曲图像
Figure 736488DEST_PATH_IMAGE021
和参考图像I r 测量扭曲图像
Figure 595860DEST_PATH_IMAGE021
和参考图像I r 的
Figure 204696DEST_PATH_IMAGE022
个路径中每个像素p的归一化交叉相关性（NCC）。在一些实施例中，
Figure 378188DEST_PATH_IMAGE023
，NCC测量参考图像w r (p)的像素和扭曲图像w j (p)的像素的相似性。优化引擎112可以考虑奇偶范围为d的候选平面的地点中的不确切性。奇偶范围δ p 可以围绕平面m p 为中心，优化引擎112可以查找奇偶范围内的最佳匹配。在一些实施例中，优化引擎在寻求最佳匹配时修整二维图像（I r ，）。与每个平面相关联的NCC的大小是
Figure 419142DEST_PATH_IMAGE024
，其中，
Figure 515274DEST_PATH_IMAGE025
。在用来评估
Figure 23616DEST_PATH_IMAGE017
的相似性的总体大小中对每个邻近图像的相似性大小求平均。
Figure 154383DEST_PATH_IMAGE026
，其中，
Figure 355557DEST_PATH_IMAGE027
，K＝300。在实施例中，优化引擎112可以在评估相似性分值时把图像中的闭塞作为离群值。
优化引擎112测量稀疏三维点和线
Figure 938985DEST_PATH_IMAGE018
的几何临近性。优化引擎112选择识别成平面m p 内围层的每个三维点。继而，优化引擎112选择平面m p 上的最贴近三维点。分别把作为平面m p 的内围层和在平面m p 上的三维点投影在像素q和处的参考三维视图上。优化引擎112评估围绕q的三乘三窗口内所有像素p的
Figure 188701DEST_PATH_IMAGE028
以确定三维点的几何临近性。优化引擎112使用三维线的端点和评估每个端点的重投影误差测量稀疏三维线
Figure 236292DEST_PATH_IMAGE018
的几何临近性。
优化引擎112基于三维点和平面和
Figure 546050DEST_PATH_IMAGE019
的射线可见性测量自由空间侵占。优化引擎112把大处罚分配给侵占自由空间约束的像素平面分配。与通过一个或更多个二维图像捕捉的视图匹配的三维点X或线段L应当在三维场景中的相应视图中可见。优化引擎112识别应当可见的三维点X或线段L以及识别三维点X或线段L对应的射线。优化引擎112定位与三维点X或线段L相交的任何平面以及应用自由空间侵占处罚。在一个实施例中，优化引擎112识别表示出现射线平面相交的地点的每个平面m p 上三维点F集。继而，优化引擎112为向围绕与三维点Xj相关联的像素q的三个乘三窗口中所有像素的三维场景的视图中投影的每个
Figure 679091DEST_PATH_IMAGE029
分配
Figure 732498DEST_PATH_IMAGE030
。
优化引擎112分配平滑项V p,q 以高效分配三维场景中边界处的标签和像素。优化引擎112促进不连续性合适的分段恒定标签化。平滑项施加根据使得优化引擎112能够恢复准确标签边界的消影方向和平面布置得出的几何约束。在一些实施例中，优化引擎112被配置成识别作为三维场景一部分的二维图像中的折缝边缘和闭塞边缘。与三维场景相关联的深度图可以包括可以表示平面不连续性的折缝边缘以及闭塞边缘。在闭塞边缘处平面标签以及场景深度在闭塞边缘上移动的像素处不同。闭塞边缘会在二维图像中的任何地方出现。但是对于平面场景，闭塞边缘通常与二维图像中的可见二维线段一致。在折缝边缘处只有平面标签对于折缝边缘上的像素不同。一对平面标签之间的折缝边缘与两个相应平面的三维相交线的投影一致以及因此总是直线段。
在另一实施例中，优化引擎112可以同时估算二维图像的集合中每个二维图像的平面几何结构。三维场景的估算平面几何结构会具有不一致性。优化引擎112通过重现通过每个二维图像中的像素去往该像素对应的候选平面的射线来检测不一致性，从而定位三位点。优化引擎112可以把三维点重投影到邻近图像中的像素上以确定向三维点对应的邻近图像中的像素分配的平面是否与原始二维图像中的候选平面匹配。优化引擎112可以通过添加处罚不一致像素平面分配的平滑项来处理不一致性。对于像素处的每个可行平面选取，确定把平面连接到邻近图像中相应像素的平滑项。如果相应邻近像素中的像素平面分配不符，则作为平滑项向通过优化引擎112采用的优化函数计算的全局代价添加处罚。
在一个实施例中，优化引擎112通过识别二维图像中的线段检测闭塞边缘和折缝边缘。使用经过二维线段的标签边界定位闭塞和折缝边缘。在一些实施例中，优化引擎使用消影方向表征直线闭塞边缘的优选。
优化引擎112评估三维场景中平滑项的分段定义。使用与邻近像素（p，q）相关联的邻近平面l p 和l q 评估平滑项。
l p ＝l q 则
Figure 634595DEST_PATH_IMAGE031
。
Figure 115255DEST_PATH_IMAGE032
则
Figure 407696DEST_PATH_IMAGE033
。
在一些实施例中，，
Figure 21397DEST_PATH_IMAGE035
，
Figure 735275DEST_PATH_IMAGE036
。
优化引擎112确定平面子集M中所有平面对（m i ，m j ）的折缝线集{L ij }以及选择二维图像的边界内的平面l i 和l j 。对于每个平面l i 和l j ，优化引擎112定位二维图像中的邻近像素对（p，q），其中，p和q在l i 和l j 的不同侧上。优化引擎112创建具有（p，q，l i ，l j ）的四元组组合的集S 1。
优化引擎112确定闭塞线集{L ik }。使用与每个平面m i 的法线正交的消影方向定位闭塞线。使用支持识别的消影方向的二维线段定位二维图像中的邻近像素对（p，q），其中，p和q在l i 和l k 的不同侧上。优化引擎112创建四元组组合为（p，q，l i ，l l ）的集S 2。从p和q的中点向后投影射线以获得在基于自摄像器起的距离归类时超过{m i }的一列平面{m k }的优化引擎112分发集S 2。
优化引擎112识别其余二维线段。以及生成支持二维线的邻近像素（p，q）的集S 3。平滑项允许优化引擎112有效表示在三维场景中包括的具有不连续性的平面。
重建引擎113被配置成基于对优化引擎提供的三维平面和相关联像素的优化提供三维场景内的导航。在一个实施例中，切图优化提供用来生成可导航三维场景的深度图和代理网格。重建引擎113可以把二维图像的集合中的每个标签图像转换为二维三角化。在一些实施例中，重建引擎使用标签边界上的折线简化生成二维图像的三角化。继而，重建引擎113把二维图像的三角化直接映射到根据标签对应的平面形成的三维三角集。
继而，重建引擎113向三维三角集应用投影纹理映射以允许多个二维图像之中的视图插值。在视图插值期间，重建引擎113把每个二维图像以投影方式纹理映射到它的相应代理网格上。
重建引擎113执行的纹理映射可以产生表示三维场景的混合和交叉淡入淡出平面。重建引擎评估以下内容，确定每个像素的混合颜色（C 1，C 2）：
，其中，
Figure 175801DEST_PATH_IMAGE038
以及
Figure 786910DEST_PATH_IMAGE039
。
重建引擎113被配置成通过只由要遍及转变以完全不透明性重现的一个源图像覆盖的三维场景的插值视图中的像素提供转变。重建引擎113在视图插值期间通过来自多个图像的贡献线性交叉淡入淡出像素。重建引擎113执行的交叉淡入淡出防止查看者关注于其它二维图像填充的二维图像未闭塞区域。
用户可以向重建三维场景的计算机化重建服务器提供二维图像的集合。可替选地，用户可以执行本地计算机上的三维重建程序以根据位于本地计算机上的二维图像重建三维场景。三维场景可导航以及为用户提供通过二维图像捕捉的场景的身临其境体验。
图2是示例了按照本发明实施例的示范性二维图像的图像图。二维图像捕捉家庭的不同视图。在一个实施例中，摄像器捕捉图2A和2B的二维图像。继而，计算机化重建服务器处理二维图像以生成三维场景。
在一些实施例中，通过对每个二维图像执行根据运动的结构以提取图像特征和摄像器校准重建三维场景。继而，计算机化重建服务器使用图像特征和摄像器校准识别三维场景的候选平面。通过计算机化重建服务器组织和基于三维场景内的总体全局一致性重现平面候选。
图3是示例了按照本发明实施例的示范性三维平面的平面图。图3A示例了根据计算机化重建服务器对捕捉场景不同视图的二维图像执行的运动特征提取和摄像器校准确定的结构。使用图像特征（例如，线、点、颜色、像素等）和摄像器校准（例如，朝向、地点等）生成三维线和平面。图3B示例了计算机化重建服务器生成的三维线。图3C－3E示例了计算机化重建服务器生成的不同三维视点的候选平面。
计算机化重建服务器基于图像特征和摄像器校准生成三维场景的深度图和代理网格。继而，使用估算的三维平面、深度图、以及代理网格重现三维场景。在一些实施例中，计算机化重建系统把三维场景着色以及提供与三维场景相关联的视点之间的转变。
图4是示例了按照本发明实施例的运算系统生成的示范性场景的三维场景图。计算机化重建系统对于三维场景的视图生成图4A中示例的深度图。继而，计算机化重建系统使用代理网格向三维场景提供纹理。在图4B中示例了代理网格。计算机化重建服务器还对代理网格执行纹理映射。在图4C中示例了纹理映射代理网格。
在一个实施例中，计算机化重建系统检测二维图像中的消影方向。计算机化重建服务器基于消影方向构建三维线。继而，使用消影方向以及三维线和点生成定义三维场景代理网格的候选平面。
图5是示例了按照本发明实施例的二维图像内消影方向的检测的消影方向图。计算机化重建系统接收二维图像。图5A示例了计算机化重建系统处理以提取消影方向的示范性二维图像。图5B示例了从二维图像提取的消影方向的每个集群的朝向。计算机化重建服务器识别消影方向对应的三维线和相应图像特征。图5C示例了计算机化服务器使用消影方向和生成的三维线重现的三维场景的示范性重建。
计算机化重建服务器基于与三维场景的深度图相关联的不确切性调整三维场景。计算机化重建服务器执行的平面检测通过运算沿着位于计算机化重建服务器生成的平面上或靠近计算机化重建服务器生成的平面的三维点的查看方向的向量考虑此不确切性。继而，计算机化重建服务器估算去往三维点表面的法线以估算经过三维点的平面的朝向。
图6是示例了按照本发明实施例的表面法线的概率分布的法线朝向图。计算机化重建系统确定围绕三维点X k 的每个三维点的协方差（
Figure 874952DEST_PATH_IMAGE004
）。图6A围绕三维点X k 的三维点的协方差
Figure 141985DEST_PATH_IMAGE004
的大小。另外，计算机化重建服务器评估靠近X k 的三维点之中表面法线的分布。计算机化重建系统使用法线确定经过三维点X k 的平面的朝向。图6B示例了经过三维点X k 的平面的法线分布。
在一些实施例中，法线的分布没有根据多个视点的强唯一峰值和决选，使用相关联的图像特征估算平面的朝向。计算机化重建服务器可以根据三维点和线采集关于平面朝向的决选。继而，使用决选的分布确定平面的朝向。
图7是示例了按照本发明实施例的平面或三维线的朝向的概率分布的分布直方图。计算机化重建服务器在直方图中评估根据三维点和线的决选的分布。图7A示例了基于根据三维点的决选表示法线的分布的直方图
Figure 806502DEST_PATH_IMAGE006
。图7B示例了基于根据三维线的决选表示法线的分布的直方图
Figure 127762DEST_PATH_IMAGE007
。把主法线分配成去往计算机化重建服务器识别的平面的朝向。
计算机化重建服务器在向平面分配像素时执行考虑射线可见性的切图优化。使用从二维图像以及相应三维线和点提取的射线可见性信息作为用来执行切图优化的目标函数中的数据项。为与从三维线或点对应的平面至相应视点的可见性射线相交的任何平面分配处罚。
图8是示例了按照本发明实施例的从二维图像提取的场景信息的可见性图。平面m i 与三维线L和三维点X相关联。三维线L和三维点X在多个视点处可见。平面m k 与从平面m i 至相应视点的可见性射线相交。计算机化重建系统执行的优化函数因为它与视点与平面m i 之间的可见性射线相交所以将会为平面m k 分配高可见性代价。
计算机化重建服务器在图中组织三维像素和平面。计算机化重建系统执行切图优化以选择像素向平面的理想分配。切图优化评估与连接平面和像素的每个边缘相关联的平滑项和数据项。
图9是示例了按照本发明实施例的使用马尔可夫随机场表示和切图最小化表示平面的像素向标签的分配的图。
图包括二维图像中的像素对应的节点和三维场景中的平面对应的标签。图可以表示三维场景的马尔可夫随机场。把每个像素l(i,j)分配给平面P(i,j)。基于计算机化重建系统评估的数据项和平滑项为连接像素l(i,j)和平面P(i,j)的边缘分配代价。剪切代价是去除或剪切的边缘的总和。去除连接像素l(i,j)和平面P(i,j)的边缘以使测量把每个像素分配给三维场景中平面的总体代价的目标函数最小化。
在一些实施例中，计算机化重建系统通过扭曲二维图像的集合中的邻近图像测量图片一致性。继而，计算机化重建服务器测量扭曲和图像与邻近图像之间的相似性。计算机化重建系统对多个邻近者的相似性分值求平均以评估用作切图优化中数据项的图片一致性大小。
图10是示例了按照本发明实施例的用来生成三维场景的二维图像之间的关系的图片一致性图。计算机化重建服务器识别从二维图像的集合中选择的参考图像。图10A示例了示范性参考图像。继而，选择和扭曲邻近二维图像以计算图片一致性。图10B示例了计算机化重建系统使用的示范性扭曲邻近图像。图10C示例了计算机化重建服务器确定的扭曲图像与参考图像之间图片一致性的大小
使用切图优化的平滑项确保分配像素和平面以确保平滑边界转变。计算机化重建服务器识别两个维度中包括的折缝线和闭塞线。继而，计算机化重建服务器基于与折缝线、闭塞线、以及二维场景中的其它线相关联的像素和平面的地点评估平滑项。
图11是示例了按照本发明实施例的三维场景中平面的闭塞边界和一对平面的相交处对应的折缝边缘的边界。
计算机化重建服务器识别二维图像中的折缝线。在图11A中示例了折缝线。使用折缝线计算创建折缝线的平面之间边界的平滑项。计算机化重建服务器识别二维图像中的闭塞线。在图11B中示例了闭塞线。使用闭塞线计算与创建闭塞线的平面相关联的边界的平滑项。
基于计算机化重建服务器提供的像素和平面分配生成代理网格。继而，计算机化重建服务器向代理网格中的平面映射纹理以及把有纹理映射网格显示给用户。计算机化重建系统还对三维场景的视图进行插值以提供三维场景内的导航。
图12－17是示例了按照本发明实施例的各种三维场景中视点之间的可行导航的转变图。
在一些实施例中，计算机化重建服务器执行用以重现可导航三维场景的方法。接收和处理二维图像的集合以提取图像特征和摄像器校准。计算机化重建服务器识别摄像器在场景中捕捉的三维线以及使用消影方向、图像特征、以及摄像器校准生成三维场景的多个平面。
图18是示例了按照本发明实施例的用以选择用来根据电子数据库中存储的图像的集合重现可导航三维场景的平面的方法的逻辑图。方法在步骤1810开始。在步骤1820中，计算机化重建服务器从电子数据库接收图像的集合。在步骤1830中，计算机化重建服务器从图像的集合提取场景信息。场景信息可以包括摄像器校准、三维点云、三维线段、以及点和线多视图对应性的数据。
继而，计算机化重建服务器在步骤1840中，使用边缘检测来检测图像的集合中每个图像内的消影方向。消影方向是表示集合图像中包括的平行线的方向的向量。从根据二维图像的集合估算的平行三维线的方向得出消影方向。可替选地，可以根据从二维图像的集合中的二维图像提取的二维线相交处估算消影方向。在一个实施例中，计算机化重建服务器使用平均移位集群选择通过二维图像的集合捕捉的不同视图的消影方向。
在步骤1850中，计算机化重建服务器基于消影方向和场景信息识别可导航三维场景中的每个平面。在实施例中，计算机化重建服务器基于从图像的集合提取的消影方向的每个可行对的叉乘确定平面朝向集。另外，计算机化重建服务器可以识别三维场景的主平面。
在步骤1860中，计算机化重建服务器基于向马尔可夫随机场分布应用的最小化函数生成用以向每个平面分配像素的马尔可夫随机场分布。最小化函数优化把像素分配给可导航三维场景中平面的全局代价。基于图像的集合中包括的多个视图上的图片一致性等等在三维点云中包括和向主平面中的每个主平面分配像素。在一些实施例中，图像中的像素决选摄像器朝向对应的平面。可替选地，图像的集合中每个图像的像素迭代地决选以确定使全局代价最小化的平面像素分配。在某些实施例中，最小化函数选择平滑项约束的马尔可夫随机场分布图的剪切代价。计算机化重建服务器可以符合马尔可夫随机场分布图的选定剪切代价以达到全局代价。
在一个实施例中，用向马尔可夫随机场分布图应用的最小化函数中包括的平滑项表示平面像素分配的全局代价的一部分。计算机化重建服务器可以计算平面和像素用以优选与和闭塞平面的法线向量正交的消影方向一致的二维线处的不连续性对应的转变的马尔可夫随机场分布图中的平滑项。计算机化重建服务器可以在邻近图像中的相应像素未选取同样平面的情况下计算用以处罚向平面分配一个图像中像素的平滑项。计算机化重建服务器可以计算用以优选图像中二维线对应的转变的平滑项。
计算机化重建服务器重现分配平面上的像素。方法在步骤1870中结束。
计算机化重建服务器基于对表示像素和平面可行分配的图执行的优化分配像素。计算机化重建服务器试图使像素与平面之间每个分配的代价最小化。用包括数据项和平滑项的目标函数表示分配的代价。
图19是示例了在根据电子数据库中存储的二维图像的集合重建可导航三维场景时从二维图像向三维平面分配像素的方法的逻辑图。方法在步骤1910开始。在步骤1920中，计算机化重建服务器接收二维图像的集合。计算机化重建系统在步骤1930中，根据从二维图像提取的场景信息生成三维平面集。场景信息包括消影方向、线、以及三维点。
继而，计算机化重建服务器在步骤1940中，使用场景信息和生成的三维平面生成马尔可夫随机场。在步骤1950中，计算机化重建系统向生成的平面分配像素以使提供二维图像深度图的马尔可夫随机场表示的能量函数最小化。
基于设置用于分配像素的条件的数据项和设置用于在平面之间转变的条件的平滑项优化马尔可夫随机场。在一些实施例中，在像素分配期间，计算机化重建系统核对数据项以求多视图图片一致性、稀疏三维点和线的几何临近性、以及根据三维点和线的射线可见性得出的自由空间侵占。数据项处罚向将会闭塞图像中观测的三维点或线的平面分配像素或者数据项促进向与图像中观测的三维点或线一致的平面分配像素。在另一实施例中，数据项在邻近图像中的相应像素在二维图像的集合中每个二维图像上的迭代穿过期间未选取同样平面的情况下处罚向平面分配一个图像中的像素。
平滑项优选沿着平面相交的线的平面之间的转变。平滑项还优选与和闭塞平面的法线向量正交的消影方向一致的二维线处的不连续性对应的转变。平滑项优选图像中的二维线对应的转变。平滑项在邻近图像中的相应像素在二维图像的集合中二维图像上的同时穿过期间未选取同样平面的情况下处罚向平面分配一个图像中的像素。
深度图由计算机化重建系统基于像素平面分配生成和用来重现可导航三维场景。在一些实施例中，计算机化重建系统通过识别闭塞线和折缝线修正深度图和边界。计算机化重建服务器使用二维图像的深度图和投影重现三维场景。交叉淡入淡出二维图像投影以允许作为三维场景一部分的集合中二维图像中每个二维图像的平滑视图插值。方法在步骤1960中结束。
总之，提供了执行用于运算用于大无序二维图像基于图像重现的分段平面、密集深度图的自动方法的计算机化重建服务器和客户端。计算机化重建服务器重现的三维场景因为计算机化重建服务器利用全局场景信息生成三维场景所以可靠和逼真。计算机化重建服务器在采用强消影方向推断平面朝向的情况下基于三维点和线的健壮平面拟合恢复主场景平面集。计算机化重建服务器执行马尔可夫随机场（MRF）图和相应优化以生成结合根据二维图像中包括的多边形和直线形状的不连续性得出的几何约束的分段平面深度图。此外，计算机化重建服务器使用三维点和线的射线可见性实行自由空间约束，在具有非朗伯和无纹理表面的场景中使孔最小化。
本发明实施例的以上描述是示例性的，配置和实施的修改在当前描述的范围内。例如，虽然总体上结合图1－19描述本发明的实施例，但这些描述是示范性的。虽然以特定于结构特征或方法动作的语言描述了主题，但理解的是，所附权利中定义的主题并非必定限于上述具体特征或动作。而是，作为实施权利要求的实例形式公开上述具体特征和动作。本发明实施例的范围相应地意在只受所附权利要求限制。

Claims (15)

1. 一种计算机实施的方法，用以选择用来根据电子数据库中存储的图像的集合重现可导航三维场景的平面，该计算机实施的方法包括：
从电子数据库接收（1820）图像的集合；
从图像的集合提取（1830）场景信息，其中，场景信息包括摄像器校准、三维点云、三维线段、以及点和线的多视图对应性的数据；
使用边缘检测和二维线段提取来检测（1840）图像的集合中每个图像内的消影方向；
基于消影方向和场景信息识别（1850）可导航三维场景中的每个平面；以及
生成（1860）马尔可夫随机场分布，用以基于向马尔可夫随机场分布应用的最小化函数向每个平面分配像素以优化把像素分配给可导航三维场景中平面的全局代价。
2. 权利要求1的计算机实施的方法，其中，使用平均移位集群检测通过图像的集合捕捉的不同视图的消影方向。
3. 权利要求1的计算机实施的方法，其中，使用从图像的集合提取的平行线检测消影方向。
4. 权利要求1的计算机实施的方法，进一步包括：基于从图像的集合提取的消影方向的每个可能对的叉乘确定平面朝向集。
5. 权利要求1的计算机实施的方法，其中，用向马尔可夫随机场分布图应用的最小化函数中包括的平滑项表示平面像素分配的全局代价的一部分，计算平滑项以优选与和闭塞平面的法线向量正交的消影方向一致的二维线处的不连续性对应的像素处的平面之间的转变。
6. 权利要求5的计算机实施的方法，进一步包括：在邻近图像中的相应像素未选取同样平面的情况下计算用以处罚向平面分配一个图像中像素的马尔可夫随机场分布图中的平滑项。
7. 权利要求5的计算机实施的方法，进一步包括：
计算用以优选图像中的二维线或二维线段对应的转变的马尔可夫随机场分布图中的平滑项。
8. 权利要求5的计算机实施的方法，其中，图像的集合中每个图像中的像素迭代地决选以确定使全局代价最小化的平面标签分配。
9. 权利要求5的计算机实施的方法，其中，最小化函数选择平滑项约束的马尔可夫随机场分布图中的剪切代价。
10. 用于存储计算机可执行指令的一个或更多个计算机可读介质，计算机可执行指令用以执行在根据电子数据库中存储的二维图像的集合重现可导航三维场景时从二维图像向三维平面分配像素的方法，方法包括：
接收（1920）二维图像的集合；
根据从二维图像提取的场景信息生成（1930）三维平面集，其中，场景信息包括消影方向、线、以及三维点；
使用场景信息和生成的三维平面生成（1940）马尔可夫随机场；以及
向生成的平面分配（1950）像素以使提供二维图像深度图的马尔可夫随机场表示的能量函数最小化，其中，使用深度图重现可导航三维场景。
11. 权利要求10的计算机可读介质，进一步包括：
通过识别闭塞边缘和折缝边缘修正深度图和边界；以及
使用二维图像的深度图和二维图像向其深度图上的投影重现三维场景，其中，多个二维图像之间的交叉淡入淡出允许集合中二维图像中每个二维图像的平滑视图插值。
12. 权利要求10的计算机可读介质，其中，向生成的平面分配像素以使马尔可夫随机场表示的能量函数最小化进一步包括：
考虑多视图图片一致性、稀疏三维点和线的几何临近性、以及根据三维点和线的射线可见性得出的自由空间侵占；以及
基于设置用于分配像素的条件的数据项和设置用于在平面之间转变的条件的平滑项优化马尔可夫随机场。
13. 权利要求12的计算机可读介质，其中，数据项在邻近图像中的相应像素在每个二维图像上的迭代穿过期间未选取同样平面的情况下处罚向平面分配一个图像中的像素。
14. 权利要求12的计算机可读介质，其中，平滑项包括以下平滑项中的至少一个平：优选与和闭塞平面的法线向量正交的消影方向一致的二维线处的不连续性对应的转变的平滑项、优选图像中的二维线对应的转变的平滑项、或者在邻近图像中的相应像素在二维图像的集合中所有图像上的同时穿过期间未选取同样平面的情况下处罚向平面分配一个图像中的像素的平滑项。
15. 一种具有被配置成根据二维图像的集合生成可导航三维场景的存储器和处理器的计算机系统，计算机系统包括：
平面生成器（111），被配置成根据从二维图像提取的场景信息生成三维平面集；
优化引擎（112），被配置成估算二维图像中每个二维图像的深度图以及定义用于从二维图像向生成的平面分配像素的全局和局部边界约束；以及
重建引擎（113），用以基于三维场景的深度图根据来自集合中每个图像的交叉淡入淡出视图、插值视图、以及生成的平面创建多平面多边形。
CN201080026636.3A 2009-06-15 2010-06-15 三维场景的分段平面重建 Active CN102804231B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US12/484,909 US8933925B2 (en) 2009-06-15 2009-06-15 Piecewise planar reconstruction of three-dimensional scenes
US12/484909 2009-06-15
US12/484,909 2009-06-15
PCT/US2010/038594 WO2010147929A2 (en) 2009-06-15 2010-06-15 Piecewise planar reconstruction of three-dimensional scenes

Publications (2)

Publication Number Publication Date
CN102804231A true CN102804231A (zh) 2012-11-28
CN102804231B CN102804231B (zh) 2014-08-27

Family

ID=43306055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080026636.3A Active CN102804231B (zh) 2009-06-15 2010-06-15 三维场景的分段平面重建

Country Status (10)

Country Link
US (1) US8933925B2 (zh)
EP (1) EP2443615B1 (zh)
JP (1) JP2012530323A (zh)
KR (1) KR101928575B1 (zh)
CN (1) CN102804231B (zh)
AU (1) AU2010260256B2 (zh)
BR (1) BRPI1010700A2 (zh)
CA (1) CA2760973C (zh)
SG (1) SG175437A1 (zh)
WO (1) WO2010147929A2 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9025860B2 (en) 2012-08-06 2015-05-05 Microsoft Technology Licensing, Llc Three-dimensional object browsing in documents
WO2016058359A1 (zh) * 2014-10-17 2016-04-21 华为技术有限公司 生成三维图像的方法和装置
CN105701821A (zh) * 2016-01-14 2016-06-22 福州华鹰重工机械有限公司 立体图像表面探测匹配方法及装置
CN106327576A (zh) * 2016-08-10 2017-01-11 周口师范学院 一种城市场景重建方法及系统
TWI618409B (zh) * 2015-03-18 2018-03-11 英特爾公司 視頻中之局部變化偵測技術
CN109767487A (zh) * 2019-01-04 2019-05-17 北京达佳互联信息技术有限公司 人脸三维重建方法、装置、电子设备及存储介质
CN109840950A (zh) * 2017-11-24 2019-06-04 莱卡地球系统公开股份有限公司 真实尺寸3d模型聚集
CN110033520A (zh) * 2017-12-24 2019-07-19 达索系统公司 三维场景的可见性函数
CN117011466A (zh) * 2023-08-08 2023-11-07 苏州三垣航天科技有限公司 一种基于分段平面算法的三维重建方法
CN110033520B (zh) * 2017-12-24 2024-07-02 达索系统公司 三维场景的可见性函数

Families Citing this family (162)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8751950B2 (en) 2004-08-17 2014-06-10 Ice Edge Business Solutions Ltd. Capturing a user's intent in design software
EP2252951B1 (en) 2008-03-11 2021-05-05 Ice Edge Business Solutions, Ltd. Automatically creating and modifying furniture layouts in design software
US8933925B2 (en) 2009-06-15 2015-01-13 Microsoft Corporation Piecewise planar reconstruction of three-dimensional scenes
US8723987B2 (en) * 2009-10-30 2014-05-13 Honeywell International Inc. Uncertainty estimation of planar features
EP2504783A4 (en) * 2009-11-24 2015-02-25 Ice Edge Business Solutions Inc SECURE SHARING OF DESIGN REPRESENTATIONS ON A NETWORK
US20110232719A1 (en) * 2010-02-17 2011-09-29 Freda Robert M Solar power system
US8660365B2 (en) 2010-07-29 2014-02-25 Honeywell International Inc. Systems and methods for processing extracted plane features
US8428342B2 (en) 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
ES2392229B1 (es) * 2010-08-27 2013-10-16 Telefónica, S.A. Método de generación de un modelo de un objeto plano a partir de vistas del objeto.
US8705892B2 (en) * 2010-10-26 2014-04-22 3Ditize Sl Generating three-dimensional virtual tours from two-dimensional images
US9177381B2 (en) * 2010-12-22 2015-11-03 Nani Holdings IP, LLC Depth estimate determination, systems and methods
US9183670B2 (en) 2011-01-07 2015-11-10 Sony Computer Entertainment America, LLC Multi-sample resolving of re-projection of two-dimensional image
WO2012094076A1 (en) * 2011-01-07 2012-07-12 Sony Computer Entertainment America Llc Morphological anti-aliasing (mlaa) of a re-projection of a two-dimensional image
US9041774B2 (en) 2011-01-07 2015-05-26 Sony Computer Entertainment America, LLC Dynamic adjustment of predetermined three-dimensional video settings based on scene content
US8514225B2 (en) 2011-01-07 2013-08-20 Sony Computer Entertainment America Llc Scaling pixel depth values of user-controlled virtual object in three-dimensional scene
US8619094B2 (en) 2011-01-07 2013-12-31 Sony Computer Entertainment America Llc Morphological anti-aliasing (MLAA) of a re-projection of a two-dimensional image
US9189571B2 (en) 2011-06-11 2015-11-17 Ice Edge Business Solutions, Ltd. Automated re-use of structural components
US9245345B2 (en) * 2011-06-29 2016-01-26 Nec Solution Innovators, Ltd. Device for generating three dimensional feature data, method for generating three-dimensional feature data, and recording medium on which program for generating three-dimensional feature data is recorded
EP2761876A1 (fr) 2011-09-29 2014-08-06 Thomson Licensing Méthode et dispositif de filtrage d'une carte de disparité
US9613453B2 (en) * 2011-10-04 2017-04-04 Google Inc. Systems and method for performing a three pass rendering of images
AU2012345876B2 (en) * 2011-11-29 2018-06-07 Pictometry International Corp. System for automatic structure footprint detection from oblique imagery
CN104025153B (zh) * 2011-12-30 2017-09-15 英特尔公司 粗到细多个视差候选立体匹配
CN103455976B (zh) * 2012-05-31 2018-07-20 北京三星通信技术研究有限公司 人体图像解析装置和方法
US20140056474A1 (en) * 2012-08-24 2014-02-27 MDi Touch LLC Method and apparatus for recognizing polygon structures in images
JP6001389B2 (ja) * 2012-09-13 2016-10-05 国立大学法人 東京大学 環境復元装置、環境復元方法及び環境復元プログラム
TWI558165B (zh) * 2012-09-25 2016-11-11 宏碁股份有限公司 電腦系統及立體影像產生方法
US9317968B2 (en) * 2012-10-23 2016-04-19 Raytheon Company System and method for multiple hypotheses testing for surface orientation during 3D point cloud extraction from 2D imagery
KR101370785B1 (ko) * 2012-11-06 2014-03-06 한국과학기술원 입체 영상의 깊이 맵 생성 방법 및 장치
US9135742B2 (en) 2012-12-28 2015-09-15 Microsoft Technology Licensing, Llc View direction determination
US9214138B2 (en) 2012-12-28 2015-12-15 Microsoft Technology Licensing, Llc Redundant pixel mitigation
TWI531213B (zh) * 2013-01-18 2016-04-21 國立成功大學 應用於裸視３ｄ顯示之影像轉換方法與模組
WO2014130039A1 (en) 2013-02-21 2014-08-28 Navteq B.V. Relaying 3d information by depth simulation using 2d pixel displacement
US20160012157A1 (en) * 2013-02-28 2016-01-14 ClearEdge3D, Inc, Apparatus and method for extrapolating observed surfaces through occluded regions
US9305371B2 (en) 2013-03-14 2016-04-05 Uber Technologies, Inc. Translated view navigation for visualizations
US9712746B2 (en) 2013-03-14 2017-07-18 Microsoft Technology Licensing, Llc Image capture and ordering
US9183635B2 (en) * 2013-05-20 2015-11-10 Mitsubishi Electric Research Laboratories, Inc. Method for reconstructing 3D lines from 2D lines in an image
KR20150020953A (ko) 2013-08-19 2015-02-27 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
US9514574B2 (en) 2013-08-30 2016-12-06 Qualcomm Incorporated System and method for determining the extent of a plane in an augmented reality environment
EP3042358A2 (en) 2013-09-03 2016-07-13 3ditize SL Generating a 3d interactive immersive experience from a 2d static image
CN105814903A (zh) * 2013-09-10 2016-07-27 卡尔加里科技股份有限公司 用于分布式服务器侧和客户端侧图像数据渲染的体系结构
US9406138B1 (en) 2013-09-17 2016-08-02 Bentley Systems, Incorporated Semi-automatic polyline extraction from point cloud
CN103500462A (zh) * 2013-10-14 2014-01-08 合肥完美世界网络技术有限公司 一种虚拟游戏场景的图像的提供方法和系统
US9171403B2 (en) 2014-02-13 2015-10-27 Microsoft Technology Licensing, Llc Contour completion for augmenting surface reconstructions
US10282858B2 (en) * 2014-04-18 2019-05-07 The University Of British Columbia Methods and systems for estimating three-dimensional information from two-dimensional concept drawings
US10410429B2 (en) * 2014-05-16 2019-09-10 Here Global B.V. Methods and apparatus for three-dimensional image reconstruction
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10726560B2 (en) * 2014-10-31 2020-07-28 Fyusion, Inc. Real-time mobile device capture and generation of art-styled AR/VR content
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10719939B2 (en) * 2014-10-31 2020-07-21 Fyusion, Inc. Real-time mobile device capture and generation of AR/VR content
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US9600892B2 (en) * 2014-11-06 2017-03-21 Symbol Technologies, Llc Non-parametric method of and system for estimating dimensions of objects of arbitrary shape
KR102350232B1 (ko) * 2014-11-20 2022-01-13 삼성전자주식회사 스테레오 영상 매칭 방법 및 장치
US9396554B2 (en) 2014-12-05 2016-07-19 Symbol Technologies, Llc Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code
US9852351B2 (en) 2014-12-16 2017-12-26 3Ditize Sl 3D rotational presentation generated from 2D static images
US10115035B2 (en) * 2015-01-08 2018-10-30 Sungkyunkwan University Foundation For Corporation Collaboration Vision system and analytical method for planar surface segmentation
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
US9836117B2 (en) 2015-05-28 2017-12-05 Microsoft Technology Licensing, Llc Autonomous drones for tactile feedback in immersive virtual reality
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US9870514B2 (en) 2015-07-02 2018-01-16 Qualcomm Incorporated Hypotheses line mapping and verification for 3D maps
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US9858683B2 (en) * 2015-08-05 2018-01-02 Intel Corporation Method and system of planar surface detection objects in 3d space generated from captured images for image processing
DE102015010264A1 (de) 2015-08-08 2017-02-09 Testo Ag Verfahren zur Erstellung einer 3D-Repräsentation und korrespondierende Bildaufnahmevorrichtung
US9679413B2 (en) 2015-08-13 2017-06-13 Google Inc. Systems and methods to transition between viewpoints in a three-dimensional environment
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US10372968B2 (en) * 2016-01-22 2019-08-06 Qualcomm Incorporated Object-focused active three-dimensional reconstruction
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
US10145955B2 (en) 2016-02-04 2018-12-04 Symbol Technologies, Llc Methods and systems for processing point-cloud data with a line scanner
US10721451B2 (en) 2016-03-23 2020-07-21 Symbol Technologies, Llc Arrangement for, and method of, loading freight into a shipping container
US10262222B2 (en) * 2016-04-13 2019-04-16 Sick Inc. Method and system for measuring dimensions of a target object
US9805240B1 (en) 2016-04-18 2017-10-31 Symbol Technologies, Llc Barcode scanning and dimensioning
EP3252713A1 (en) * 2016-06-01 2017-12-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for performing 3d estimation based on locally determined 3d information hypotheses
US10839535B2 (en) * 2016-07-19 2020-11-17 Fotonation Limited Systems and methods for providing depth map information
US10776661B2 (en) 2016-08-19 2020-09-15 Symbol Technologies, Llc Methods, systems and apparatus for segmenting and dimensioning objects
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10451405B2 (en) 2016-11-22 2019-10-22 Symbol Technologies, Llc Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue
US10354411B2 (en) 2016-12-20 2019-07-16 Symbol Technologies, Llc Methods, systems and apparatus for segmenting objects
US10038894B1 (en) * 2017-01-17 2018-07-31 Facebook, Inc. Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10089750B2 (en) 2017-02-02 2018-10-02 Intel Corporation Method and system of automatic object dimension measurement by using image processing
CN108510536B (zh) * 2017-02-28 2021-09-21 富士通株式会社 多视点图像的深度估计方法和深度估计设备
US10438405B2 (en) * 2017-03-02 2019-10-08 Sony Corporation Detection of planar surfaces for use in scene modeling of a captured scene
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
WO2018204342A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Product status detection system
AU2018261257B2 (en) 2017-05-01 2020-10-08 Symbol Technologies, Llc Method and apparatus for object status detection
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
WO2018201423A1 (en) 2017-05-05 2018-11-08 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
EP3401815B1 (en) * 2017-05-09 2022-12-21 Dassault Systèmes Determining an architectural layout
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
CN107747941B (zh) * 2017-09-29 2020-05-15 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
US10922551B2 (en) * 2017-10-06 2021-02-16 The Nielsen Company (Us), Llc Scene frame matching for automatic content recognition
EP3486607B1 (de) * 2017-11-20 2021-09-01 Leica Geosystems AG Bildbasierte kantenvermessung
JP7145221B2 (ja) 2017-12-22 2022-09-30 マジック リープ， インコーポレイテッド 稠密３ｄ再構成データのキャッシュおよび更新
WO2019140282A1 (en) * 2018-01-11 2019-07-18 Youar Inc. Cross-device supervisory computer vision system
CN108510516A (zh) * 2018-03-30 2018-09-07 深圳积木易搭科技技术有限公司 一种散乱点云的三维线段提取方法及系统
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
CN108921939A (zh) * 2018-07-04 2018-11-30 王斌 一种基于图片的三维场景重建方法
US10733800B2 (en) * 2018-09-17 2020-08-04 Facebook Technologies, Llc Reconstruction of essential visual cues in mixed reality applications
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
WO2020076058A1 (ko) * 2018-10-08 2020-04-16 삼성전자 주식회사 3차원 비디오 컨텐츠를 포함하는 미디어 파일을 생성하는 방법 및 장치 및 3차원 비디오 컨텐츠를 재생하는 방법 및 장치
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
CN110021065A (zh) * 2019-03-07 2019-07-16 杨晓春 一种基于单目相机的室内环境重建方法
EP3959694A4 (en) * 2019-04-24 2022-06-29 Magic Leap, Inc. Perimeter estimation from posed monocular video
CN114245909A (zh) 2019-05-21 2022-03-25 奇跃公司 密集3d重建数据的缓存与更新
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
CN110264508B (zh) * 2019-06-25 2021-01-01 北京理工大学 一种基于凸四边形原则的消影点估计方法
EP3991091A4 (en) 2019-06-26 2023-11-08 Magic Leap, Inc. CAPACING AND UPDATE OF DENSE 3D RECONSTRUCTION DATA
CN114026606A (zh) 2019-06-28 2022-02-08 奇跃公司 用于动态遮挡的快速手部网格划分
CN110458952B (zh) * 2019-08-19 2022-07-15 江苏濠汉信息技术有限公司 一种基于三目视觉的三维重建方法和装置
US11328476B2 (en) * 2019-11-14 2022-05-10 Qualcomm Incorporated Layout estimation using planes
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11468609B2 (en) * 2020-05-11 2022-10-11 Cognex Corporation Methods and apparatus for generating point cloud histograms
CN111768417B (zh) * 2020-06-23 2023-12-05 中南大学 基于单目视觉3d重建技术的铁路货车超限检测方法
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US12008740B2 (en) * 2020-08-12 2024-06-11 Niantic, Inc. Feature matching using features extracted from perspective corrected image
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
KR20220064045A (ko) 2020-11-11 2022-05-18 삼성전자주식회사 영상을 생성하는 방법 및 장치와 영상 생성을 위한 신경망을 트레이닝하는 방법
CN112270737A (zh) * 2020-11-25 2021-01-26 浙江商汤科技开发有限公司 一种纹理映射方法及装置、电子设备和存储介质
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
EP4125045A3 (en) 2021-07-27 2023-04-05 Tata Consultancy Services Limited Method and system for generating 3d mesh of a scene using rgbd image sequence
CN113837943A (zh) * 2021-09-28 2021-12-24 广州极飞科技股份有限公司 图像处理方法、装置、电子设备及可读存储介质
CN114202632A (zh) * 2021-12-03 2022-03-18 北京航空航天大学 网格线性结构恢复方法、装置、电子设备及存储介质
CN114742947B (zh) * 2022-04-11 2024-04-19 中国测绘科学研究院 一种适用于大范围的倾斜三维模型纹理分块重建方法
CN115131459B (zh) * 2022-05-24 2024-05-28 中国科学院自动化研究所 平面布置图重建方法及装置
CN117710603B (zh) * 2024-02-04 2024-04-30 东华理工大学南昌校区 一种直线几何结构约束下无人机图像三维建筑物建模方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246599A (zh) * 2007-01-26 2008-08-20 转换器有限公司 根据2d图像序列进行3d场景重构的方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1991019265A1 (en) * 1990-05-29 1991-12-12 Axiom Innovation Limited Machine vision stereo matching
US6052124A (en) * 1997-02-03 2000-04-18 Yissum Research Development Company System and method for directly estimating three-dimensional structure of objects in a scene and camera motion from three two-dimensional views of the scene
WO1999006956A1 (en) * 1997-07-29 1999-02-11 Koninklijke Philips Electronics N.V. Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system
US20100045816A1 (en) * 1999-05-19 2010-02-25 Rhoads Geoffrey B User Feedback in Connection with Object Recognition
US6526166B1 (en) * 1999-12-29 2003-02-25 Intel Corporation Using a reference cube for capture of 3D geometry
JP2002027289A (ja) * 2000-06-14 2002-01-25 Ureka Networks:Kk ３次元イメージ撮影装置及び方法
AU2002303082A1 (en) * 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
US7130484B2 (en) * 2001-10-15 2006-10-31 Jonas August Biased curve indicator random field filters for enhancement of contours in images
US6985145B2 (en) 2001-11-09 2006-01-10 Nextengine, Inc. Graphical interface for manipulation of 3D models
US7716161B2 (en) * 2002-09-24 2010-05-11 Google, Inc, Methods and apparatus for serving relevant advertisements
US20040196282A1 (en) * 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas
US7277572B2 (en) * 2003-10-10 2007-10-02 Macpearl Design Llc Three-dimensional interior design system
US20070300142A1 (en) * 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
US8239749B2 (en) * 2004-06-25 2012-08-07 Apple Inc. Procedurally expressing graphic objects for web pages
US7627173B2 (en) * 2004-08-02 2009-12-01 Siemens Medical Solutions Usa, Inc. GGN segmentation in pulmonary images for accuracy and consistency
WO2006053271A1 (en) * 2004-11-12 2006-05-18 Mok3, Inc. Method for inter-scene transitions
KR100603603B1 (ko) * 2004-12-07 2006-07-24 한국전자통신연구원 변위 후보 및 이중 경로 동적 프로그래밍을 이용한 스테레오 변위 결정 장치 및 그 방법
US7499586B2 (en) * 2005-10-04 2009-03-03 Microsoft Corporation Photographing big things
US9070402B2 (en) * 2006-03-13 2015-06-30 Autodesk, Inc. 3D model presentation system with motion and transitions at each camera view point of interest (POI) with imageless jumps to each POI
JP4889351B2 (ja) * 2006-04-06 2012-03-07 株式会社トプコン 画像処理装置及びその処理方法
KR20090052889A (ko) * 2006-09-04 2009-05-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지들로부터 깊이 맵을 결정하기 위한 방법 및 깊이 맵을 결정하기 위한 디바이스
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US8472699B2 (en) * 2006-11-22 2013-06-25 Board Of Trustees Of The Leland Stanford Junior University Arrangement and method for three-dimensional depth image construction
US8224122B2 (en) * 2006-12-15 2012-07-17 Microsoft Corporation Dynamic viewing of wide angle images
DE102006062061B4 (de) * 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
US8126273B2 (en) * 2007-04-05 2012-02-28 Siemens Corporation Method for reconstructing three-dimensional images from two-dimensional image data
WO2008144370A1 (en) * 2007-05-16 2008-11-27 Honda Motor Co., Ltd. Camera-projector duality: multi-projector 3d reconstruction
JP5160640B2 (ja) 2007-06-20 2013-03-13 トムソン ライセンシング 画像のステレオ・マッチングのためのシステム及び方法
US8350850B2 (en) * 2008-03-31 2013-01-08 Microsoft Corporation Using photo collections for three dimensional modeling
US8250454B2 (en) * 2008-04-03 2012-08-21 Microsoft Corporation Client-side composing/weighting of ads
EP2279497B1 (en) * 2008-04-14 2016-02-10 Google, Inc. Swoop navigation
US20100045666A1 (en) * 2008-08-22 2010-02-25 Google Inc. Anchored Navigation In A Three Dimensional Environment On A Mobile Device
US20100080411A1 (en) * 2008-09-29 2010-04-01 Alexandros Deliyannis Methods and apparatus to automatically crawl the internet using image analysis
US8194102B2 (en) * 2008-10-06 2012-06-05 Microsoft Corporation Rendering annotations for images
US9098926B2 (en) * 2009-02-06 2015-08-04 The Hong Kong University Of Science And Technology Generating three-dimensional façade models from images
US8933925B2 (en) 2009-06-15 2015-01-13 Microsoft Corporation Piecewise planar reconstruction of three-dimensional scenes
US20110061011A1 (en) * 2009-09-04 2011-03-10 Ramsay Hoguet Three-Dimensional Shopping Lists
US8660355B2 (en) * 2010-03-19 2014-02-25 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery
US8675049B2 (en) * 2011-06-09 2014-03-18 Microsoft Corporation Navigation model to render centered objects using images
US9025860B2 (en) 2012-08-06 2015-05-05 Microsoft Technology Licensing, Llc Three-dimensional object browsing in documents

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246599A (zh) * 2007-01-26 2008-08-20 转换器有限公司 根据2d图像序列进行3d场景重构的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
STEVEN M.SEITZ等: "A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms", 《PROCEEDINGS OF THE 2006 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, vol. 1, 22 June 2006 (2006-06-22), pages 519 - 528, XP010922864, DOI: 10.1109/CVPR.2006.19 *
YURI BOYKOV等: "Fast approximate energy minimization via graph cuts", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 23, no. 11, 30 September 2001 (2001-09-30), pages 1 - 18 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9025860B2 (en) 2012-08-06 2015-05-05 Microsoft Technology Licensing, Llc Three-dimensional object browsing in documents
WO2016058359A1 (zh) * 2014-10-17 2016-04-21 华为技术有限公司 生成三维图像的方法和装置
CN105574926A (zh) * 2014-10-17 2016-05-11 华为技术有限公司 生成三维图像的方法和装置
CN105574926B (zh) * 2014-10-17 2018-05-11 华为技术有限公司 生成三维图像的方法和装置
TWI618409B (zh) * 2015-03-18 2018-03-11 英特爾公司 視頻中之局部變化偵測技術
CN105701821B (zh) * 2016-01-14 2018-07-24 福州华鹰重工机械有限公司 立体图像表面探测匹配方法及装置
CN105701821A (zh) * 2016-01-14 2016-06-22 福州华鹰重工机械有限公司 立体图像表面探测匹配方法及装置
CN106327576B (zh) * 2016-08-10 2019-03-29 周口师范学院 一种城市场景重建方法及系统
CN106327576A (zh) * 2016-08-10 2017-01-11 周口师范学院 一种城市场景重建方法及系统
CN109840950A (zh) * 2017-11-24 2019-06-04 莱卡地球系统公开股份有限公司 真实尺寸3d模型聚集
CN109840950B (zh) * 2017-11-24 2023-02-28 莱卡地球系统公开股份有限公司 得到真实尺寸3d模型的方法、勘测装置
CN110033520A (zh) * 2017-12-24 2019-07-19 达索系统公司 三维场景的可见性函数
CN110033520B (zh) * 2017-12-24 2024-07-02 达索系统公司 三维场景的可见性函数
CN109767487A (zh) * 2019-01-04 2019-05-17 北京达佳互联信息技术有限公司 人脸三维重建方法、装置、电子设备及存储介质
CN117011466A (zh) * 2023-08-08 2023-11-07 苏州三垣航天科技有限公司 一种基于分段平面算法的三维重建方法
CN117011466B (zh) * 2023-08-08 2024-03-29 苏州三垣航天科技有限公司 一种基于分段平面算法的三维重建方法

Also Published As

Publication number Publication date
KR20120031012A (ko) 2012-03-29
AU2010260256A1 (en) 2011-12-01
AU2010260256B2 (en) 2014-06-19
CA2760973C (en) 2017-10-10
CA2760973A1 (en) 2010-12-23
WO2010147929A3 (en) 2011-03-31
JP2012530323A (ja) 2012-11-29
CN102804231B (zh) 2014-08-27
SG175437A1 (en) 2011-12-29
BRPI1010700A2 (pt) 2016-03-15
KR101928575B1 (ko) 2018-12-12
EP2443615A4 (en) 2017-10-25
US20100315412A1 (en) 2010-12-16
EP2443615A2 (en) 2012-04-25
EP2443615B1 (en) 2019-01-30
WO2010147929A2 (en) 2010-12-23
US8933925B2 (en) 2015-01-13

Similar Documents

Publication Publication Date Title
CN102804231B (zh) 三维场景的分段平面重建
US11816907B2 (en) Systems and methods for extracting information about objects from scene information
US9619691B2 (en) Multi-view 3D object recognition from a point cloud and change detection
Dick et al. Modelling and interpretation of architecture from several images
Xu et al. Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor
Tsai et al. Real-time indoor scene understanding using bayesian filtering with motion cues
US10521694B2 (en) 3D building extraction apparatus, method and system
US20100289817A1 (en) Method and device for illustrating a virtual object in a real environment
Ardeshir et al. Geo-semantic segmentation
Sohn et al. An implicit regularization for 3D building rooftop modeling using airborne lidar data
Zhou et al. Three-dimensional (3D) reconstruction of structures and landscapes: a new point-and-line fusion method
Rau et al. Automatic roof model reconstruction from ALS data and 2D ground plans based on side projection and the TMR algorithm
Park et al. Segmentation of Lidar data using multilevel cube code
Sun et al. Oriented point sampling for plane detection in unorganized point clouds
Wang et al. Building3d: A urban-scale dataset and benchmarks for learning roof structures from point clouds
CN111402429B (zh) 一种尺度还原、三维重建方法、系统、存储介质及设备
Zhu et al. Variational building modeling from urban MVS meshes
Croitoru et al. Monocular right-angle building hypothesis generation in regularized urban areas by pose clustering
CN107808160B (zh) 三维建筑物提取方法和装置
Cui et al. Homography‐based traffic sign localisation and pose estimation from image sequence
Ruf et al. Towards real-time change detection in videos based on existing 3D models
Ozcanli et al. Geo-localization using volumetric representations of overhead imagery
Ton et al. 3D Least Squares Based Surface Reconstruction
Chen et al. Integrating topographic features and patch matching into point cloud restoration for terrain modelling
So-Young et al. Segmentation of LiDAR Data Using Multilevel Cube Code

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150429

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150429

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.