CN102057401A - 嵌入到设备中的3d内容聚集 - Google Patents

嵌入到设备中的3d内容聚集 Download PDF

Info

Publication number
CN102057401A
CN102057401A CN2009801224740A CN200980122474A CN102057401A CN 102057401 A CN102057401 A CN 102057401A CN 2009801224740 A CN2009801224740 A CN 2009801224740A CN 200980122474 A CN200980122474 A CN 200980122474A CN 102057401 A CN102057401 A CN 102057401A
Authority
CN
China
Prior art keywords
equipment
content
image
viewpoint
catch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801224740A
Other languages
English (en)
Inventor
B·A·Y·阿尔卡斯
B·D·布鲁尔
M·F·科恩
S·德鲁克
K·法鲁基
G·W·弗莱克
A·J·拉奇尔
S·L·劳勒
D·J·林赛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Priority to CN201611216857.2A priority Critical patent/CN107123141A/zh
Publication of CN102057401A publication Critical patent/CN102057401A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • Information Transfer Between Computers (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

所要求保护的主题提供便于捕捉一部分2维(2D)数据以便在3维(3D)虚拟环境内实现的系统和/或方法。可以捕捉一个或多个2D图像的设备,其中,所述2D图像表示来自由所述设备的朝向规定的观点的物质对象。该设备可以包括内容聚集器,所述内容聚集器可以从由所述设备收集的两个或更多2D图像构建3D图像,其中,所述构建是至少部分地基于对齐与每一个2D图像相关联的每一个对应的观点来进行的。

Description

嵌入到设备中的3D内容聚集
背景
数字成像技术的进步已经使人们能轻松并高效地捕捉大型数字照片集,并将它们存储在压缩存储介质、硬盘驱动器或其他设备中。通常,浏览大型数字照片集涉及呈现该集合中的图像的幻灯片。另外,浏览可以涉及显示数字照片的低分辨率的缩略图的大屏幕。缩略图使用户能同时看见多个照片,但以图像质量和细节为代价。
典型的图像浏览机制不表达照片之间的现实世界关系。例如,给定风景或地标的照片集,没有向用户呈现关于拍摄照片的位置彼此的关系如何的信息。此外,这样的机制不允许基于现实世界关系来在照片之间浏览或在照片之间转换。一般而言,利用传统技术在照片之间浏览涉及理解观点和照片之间的位置的盲目进场(blind approach)。
除数字静止照片之外,常规数码相机还可使用户能够拍摄视频。通常,不管共享内容、图像或场景,分开地管理和查看视频和照片。例如,虽然设备可以收集一个场景的实时视频和静止照片,但是重播这样的收集的数据是分开地执行的。另外,非常像数字静止照片,传统技术利用盲目进场来表达两个或更多视频之间的关系和共享的观点。
发明内容
下面呈现了本发明的摘要,以便提供此处所描述的某些方面的基本概念。此小结不是所要求保护的主题的详尽的概述。既没有指出所要求保护的主题的关键性元素,也没有描述本发明的范围。唯一的目的是以简化形式呈现所要求保护的主题的某些概念,作为稍后呈现的比较详细的描述的前奏。
本发明涉及便于捕捉2维图像以便在3维虚拟环境内实现的系统和/或方法。内容聚集器可以收集和组合多个二维(2D)图像或内容,以创建三维(3D)图像,其中,这样的3D图像可以在虚拟环境中被探索(例如,显示每一个图像和透视点)。例如,可以收集金字塔的图片/照片的集合(例如,金字塔的第一面的第一照片,金字塔的第二面的第二照片,金字塔的第三面的第三照片,以及金字塔的第四面的第四照片),以基于基本上相似表示的数据和/或观点,创建金字塔的3D图像或对象。用户可以检查3D图像,其中,可以选择每一张照片,以显示照片以及其观点(例如,捕捉照片的位置/朝向)。本新发明在诸如数码相机、视频、移动设备、手持设备、便携式数字助理(PDA)、蜂窝式设备等等之类的各种设备中采用2D内容聚集能力。换言之,设备可包括可以收集用于创建3D图像或对象的数据的内容聚集器设置或模式。
此外,本发明可以使用对用户的指南或导航,以捕捉在3D图像或对象内未表示的图像或视频。更进一步,本发明可以允许通过指导和指示要在哪些照片或视频上面捕捉以重新创建3D图像或对象(例如,重新创建或重新构建以前查看的3D图像的一部分)。这样的模式或设置还可以包括优化的拍摄或视频配置,以增强内容聚集能力。例如,内容聚集设置可以提供有关如何捕捉3D图像的单幅照片或视频帧或多幅照片以便重新创建3D图像的指示。
根据本发明的另一方面,该设备可以利用指南(例如,视频、音频等等)来指示并导航用户沿着路径来收集图片、照片或视频。例如,为标识要重新创建与3D图像相关联的图片/照片的准确位置,设备可以利用全球定位系统(GPS)。除允许用户捕捉符合其喜好的图像之外,设备可以警告用户在某一位置拍一对象的照片/图片/视频,以便更新3D图像、3D对象、3D虚拟环境等等,其中,该位置的这样的照片/图片/视频对于3D图像创建是所需的(例如,未表示的)。在所要求保护的主题的其他方面,提供便于利用设备捕捉一部分数据(例如,图像、拍摄、视频等等)以从这样的捕捉到的数据部分构建3D图像或对象的方法。
下面的描述和附图详细地阐述了所要求保护的主题的某些说明性方面。然而,这些方面只是表示可以使用本发明的原理的各种方式中的一些方式,并且所要求保护的主题旨在包括所有这些方面和等效内容。通过与附图一起阅读下面的本发明的详细描述,所要求保护的主题的其他优点和新颖的特点将变得显而易见。
附图简述
图1示出了便于利用设备来捕捉2维(2D)图像以便构建3维(3D)对象的示例性系统的框图。
图2示出了便于利用设备重新创建3D对象的示例性系统的框图。
图3示出了便于通过利用全球定位服务(GPS)来增强利用设备收集2D图像的示例性系统的框图。
图4示出了便于将元数据与从设备收集的数据相关联的示例性系统的框图。
图5示出了根据本发明的便于利用显示技术和/或浏览技术的示例性系统的框图。
图6示出了便于将2D内容聚集技术包括到设备中的示例性系统的框图。
图7示出了用于利用设备来捕捉2维(2D)图像以便构建3维(3D)对象的示例性方法。
图8示出了便于重新创建3D对象或增强涉及3D对象的2D内容的收集的示例性方法。
图9示出了其中可以使用所要求保护的主题的新颖的方面的示例性网络环境。
图10示出了根据所要求保护的主题的可以使用的示例性操作环境。
具体实施方式
现在参考附图来描述所要求保护的主题,所有附图中使用相同的附图标记来指代相同的元素。在以下描述中,为解释起见,阐明了众多具体细节以提供对本发明的全面理解。然而,很明显,所要求保护的主题可以在没有这些具体细节的情况下实施。在其他情况下,以框图形式示出了各个已知的结构和设备以便于描述本发明。
如此处所使用的,术语“组件”、“系统”、“数据存储”、“引擎”、“评估器”、“聚集器”、“环境”等等旨在是指与计算机有关的实体,无论是硬件、软件(例如,运行中的软件)和/或固件。例如,组件可以是,在处理器上运行的进程、处理器、对象、可执行码、程序、函数、库、子例程,和/或计算机或软件和硬件的组合。作为说明,在服务器上运行的应用程序和服务器两者都可以是组件。一个或多个组件可以驻留在进程中,组件可以位于一个计算机内和/或分布在两个或更多计算机之间。
此外,所要求保护的主题可以使用产生控制计算机以实现所公开的主题的软件、固件、硬件或其任意组合的标准编程和/或工程技术而被实现为方法、装置或制品。如这里所使用的术语“制品”可以包含可以从任何计算机可读的设备、载体或介质进行访问的计算机程序。例如,计算机可读介质可以包括,但不仅限于,磁存储设备(例如,硬盘、软盘、磁条…)、光盘(例如,CD、DVD…)、智能卡,以及闪存设备(例如,卡、棒、键驱动器…)。另外,应该理解,可以使用载波携带计算机可读的电子数据,如那些在传输和接收电子邮件或在访问诸如因特网或局域网(LAN)之类的网络时所使用的。当然,本领域的技术人员将会认识到,在不背离所要求保护的主题的范围或精神的前提下可以对这一配置进行许多修改。此外,在此使用词语“示例性”意指用作示例、实例或说明。此处作为“示例性的”所描述的任何方面或设计不一定被理解为优先于或优越于其他方面或设计。
现在转向图形,图1示出了便于利用设备来捕捉2维(2D)图像以便构建3维(3D)对象的系统100。系统100可包括可以捕捉和/或收集内容的设备104,其中,内容可以是图像106的一部分或视频108的一部分两者中的至少一个。此外,设备104还可包括内容聚集器102,该内容聚集器102可以利用捕捉到的内容(例如,图像106的一部分、视频108的一部分等等)构建3D图像或对象。内容聚集器102可以通过至少部分地基于2D内容的对应的观点或视角,对齐这样的2D内容(例如,图像106的一部分、视频108的一部分等等),来构建3D图像或对象。例如,设备104可以从特定观点或视角捕捉或收集内容,其中,这样的观点或视角取决于设备104的朝向。
此外,系统100可包括3D环境110,该3D环境110可包括两个或更多2D图像,每一个2D图像都具有特定观点或视角。可以理解,3D环境110可以被包括到设备104中和/或单独的组件/环境中,和/或其任何合适的组合中。具体而言,可以由设备104内所包括的内容聚集器102聚集或收集2D图像,以便构建3D图像或对象,其中,收集和/或聚集可以基于每一个2D图像观点。如此,可以构建2D图像,以便在3D环境110内或设备104内提供可以被探索、导航、浏览等等的3D图像。3D环境110可以寄宿任何合适的数量的2D内容和/或3D图像或对象。例如,可以在设备104内创建构建的3D对象,然后,将其上传到3D环境。可以理解,构建的3D对象(例如,图像等等)可以来自于任何合适的2D内容,如,但不仅限于,图像、照片、视频(例如,视频的静止帧等等)、音频、图片、媒体数据、相片、元数据、交易卡、表示物理现实世界的一部分的任何媒体、对象的图片、表示项目的内容,描绘实体的内容、现实世界内的物质对象等等。例如,3D对象或图像的构造可以寄宿在该设备104内。在另一示例中,设备104可以捕捉2D内容并将这样的数据传递到3D环境110,其中,环境110可以创建3D对象或图像,并将这样的3D对象或图像传递到设备104。
例如,可以探索3D环境,其中,3D图像或对象可以是立方体(例如,物理现实世界或环境中的物质对象)。一般而言,可以通过将2D内容与共享的观点、2D内容内的覆盖中的重叠(例如,图片A和图片B均者显示立方体的一部分等等)、基本上相似的视角、和/或与2D内容相关联的任何其他关系中的至少一个对齐,来构建3D图像或对象,以便准确地描绘立方体(例如,元数据、标记定义等等)。如此,可以通过组合立方体的第一面的第一图像(例如,观点面向立方体的第一面),立方体的第二面的第二图像(例如,观点面向立方体的第二面),立方体的第三面的第三图像(例如,观点面向立方体的第三面)、立方体的第四面的第四图像(例如,观点面向立方体的第四面),立方体的第五面的第五图像(例如,观点面向立方体的第五面),以及立方体的第六面的第六图像(例如,观点面向立方体的第六面),来创建立方体。如所讨论的,立方体的图像可以共享图像的观点的一部分(例如,图像之间的重叠)。通过基于立方体的图像的观点或视角来聚集这些图像,可以在3D环境110内创建可以被显示、查看、导航、浏览等等的立方体的3D图像。
接着上面的示例,内容聚集器102可以利用从设备104捕捉到的和/或收集的内容,并允许3D图像或对象的无缝且自动的生成供探索、导航、显示等等。设备104可以自动地从收集的2D内容创建3D图像或对象,而非从外部来源(例如,因特网、网络、服务器、外部硬盘驱动器等等)接收这样的内容。在另一示例中,设备104可以自动地从收集的2D内容创建3D图像或对象,并利用来自外部来源的内容补充这样的3D图像或对象。一般而言,本发明允许在设备104内自动收集内容(例如,图像、视频等等)并生成从这样的2D内容构建的3D图像或对象。
另外,系统100可包括任何合适的和/或所需的接口组件(未示出),该组件提供各种适配器、连接器、信道、通信路径等等,以将内容聚集器102和/或设备104集成到几乎任何操作系统和/或数据库系统中和/或彼此集成。另外,该接口组件还可以提供各种适配器、连接器、信道、通信路径等等,用于与内容聚集器102、设备104、图像106的一部分、视频108的一部分、3D环境(未示出)以及与系统100相关联的任何其他设备和/或组件进行交互。
图2示出了便于利用设备重新创建3D对象的系统200。系统200可包括带有所包括的内容聚集器102的设备104。设备104和内容聚集器102的组合可以提供可以被用来构建3D图像或对象的2D图像的无缝捕捉,其中,可以查看、显示、导航、探索3D图像或对象。具体而言,内容聚集器102可以允许基于代表物理现实世界内的对象、场景、风景等等的2D内容的预定义的结构或组织(例如,定义2D内容和这样的内容的布局以便构建对应的3D图像或对象等等的蓝图),重新创建3D图像或对象。一般而言,预定义的结构或组织可以允许3D图像或对象通过系统200被复制。
涉及重新创建3D图像的请求可以由设备104接收,其中,评估器204可以分析该请求以便标识要重新创建3D图像或对象。可以理解,该请求可以与现有3D图像或对象(例如,由3D环境110寄宿的,由外部来源寄宿的,存储在设备104内的,等等)或不是从2D内容创建或构建的3D图像或对象相关联。在任一种情况下,评估器204可以标识是否正在创建新3D图像或对象或正在重新创建现有3D图像或者对象。基于这样的请求,导航组件204可以提供指南或帮助以便创建3D图像或对象。例如,帮助或指南可以与设备104的位置和/或朝向相关联,以便捕捉2D内容。在利用标识的观点、朝向等等捕捉内容之后,设备102内的内容聚集器102可以构建3D图像或对象。可以理解,帮助或指南可以是音频的一部分、视频的一部分、路线、地图上的路线、一组地理方向、文本的一部分,或图形的一部分,和/或可以便于标识设备104的位置、观点和朝向的任何其它合适的数据,以捕捉用于进行3D构建的内容。这样的指南或帮助可以经由设备来传递,其中,该设备可包括扬声器或显示器这两者中的至少一项。
例如,用户可以正在前往他或她希望从2D内容创建或构建3D图像或对象的建筑物。基于这样的希望,用户可以利用带有所包括的内容聚集器的设备来执行这样的任务。用户可以传递请求,其中,该设备可以确定或查明展示必要的2D内容和对应的观点和/或视角的预定义的结构或组织。利用此信息(例如,设备朝向、角度、缩放、视角等等),可以构建3D图像或对象。为了将此信息传递到用户,设备可以提供诸如音频、图形、视频、文本等等之类的任何合适的数据。例如,设备可以利用显示器来示出带有路线和有关在哪里以及从哪一个观点、朝向、角度等等捕捉2D内容的指示的地图。这样的显示还可以指出特定的所希望的细节级别所需的内容量(例如,更多的内容转换为所表示的观点的更高程度等等)。一旦构建,便可以在设备104内构建和使用3D图像或对象。在另一示例中,3D图像或对象可以与3D环境110一起使用。
此外,可以理解,设备104可以自动地查明需要捕捉哪一个或多少2D内容才能构建3D图像或对象。换言之,设备104不必利用预定义的结构或组织。例如,设备104可以实现评估器204以连续地分析捕捉到的2D内容(例如,图像106的一部分、音频108的一部分等等),以判断是否收集了足够的内容。可以进一步理解,每一个3D图像或对象的内容量可以基于复杂性、观点、大小和/或其任何其他合适的特性而不同。
图3示出了便于通过利用全球定位服务(GPS)来增强利用设备收集2D图像的系统300。系统300可包括将2D内容收集与内容聚集器102集成以便创建3D图像或对象的设备104。设备104可以是可捕捉或收集2D内容(例如,图像106的一部分、视频108的一部分等等)的任何合适的设备或组件,如,但不仅限于,数码相机、摄像机、照像机、智能电话、手持式装置、网络摄像头、移动设备、便携式数字助理(PDA)、蜂窝式设备、一次性使用的照像机、设备内集成的照像机(例如,膝上型照像机、台式照像机、汽车照像机等等)、带有图像捕捉能力的计算设备等等。一般而言,系统300可以从2D内容创建3D图像或对象,从2D内容为设备104重新创建现有3D图像或对象,和/或利用从设备104捕捉到的2D内容来补充现有3D图像或对象。
视频108的一部分可以是视频段,该视频段可包括很多视频帧,取决于段的长度,这些视频帧的数量可以达几百或数千。例如,电影可以具有每秒24帧,电视视频可以具有每秒大致30帧,而某些设备每秒可以捕捉几百个帧。各个帧都是单幅静止图像,帧的快速的连续播放允许感觉到细微的运动。然而,单秒内的多个帧就捕捉到的图像而言通常非常相似。因此,内容聚集器102可以利用视频的一部分来生成3D图像或对象。
在系统300补充现有3D图像或对象的一个示例中,评估器204可以检查与特定3D图像或对象相关联的2D内容。基于这样的检查,可以向设备104警告或与其通信,以捕捉可以用于3D图像或对象的补充的2D内容。例如,3D环境110可以寄宿多个2D内容和/或3D图像或对象,其中,可以基于不完整的覆盖、备份要求等等,来补充特定3D图像或对象。评估器204可以判断这样的需求是否存在,其中,导航组件202可以提供指南或帮助以便捕捉这样的所需的2D内容。一般而言,系统300可以允许不完整的或部分3D图像或对象利用获取的2D内容来完成。例如,设备104可以将地图上的路线提供到用户,以便从特定观点捕捉对象的2D图像,因为在现有3D图像或对象中没有表示这样的图像和观点。
系统300可以允许设备104提供3D对象或图像的本地覆盖(例如,2D内容捕捉、2D图像收集等等)或社区系统内的全局覆盖。本地覆盖可以允许设备104捕捉2D内容并创建用于设备104的本地私有的3D对象或图像。全局覆盖可以允许设备104捕捉2D内容并创建与社区共享的3D对象或图像。可以理解,全局覆盖可以是分粒度的,因为可以共享2D内容的一部分、2D内容的集合、3D对象的一部分或3D对象等等。另外,设备104可以启用能被包括到社区系统中的2D内容的一部分,以便表示3D对象或图像。
更进一步,设备104可以利用全球定位系统(GPS)组件302,以便于标识位置、朝向以及观点,以便捕捉2D内容(例如,图像106的一部分、视频108的一部分等等)。可以理解,GPS组件302可以是独立组件(如所描绘的),包括到设备104中,和/或其任何合适的组合。例如,设备104可以是带有照片/视频捕捉能力和提供用于进行位置跟踪的GPS服务的服务的智能电话。GPS组件302可以与导航组件202一起使用,以便提供地理位置、朝向等等,以便捕捉2D内容,以构建3D图像或对象。可以进一步理解,GPS组件302和/或设备104可以利用加速度计(未示出)来与地理位置或地点一起标识特定角度或朝向。
另外,设备104可以利用2D内容捕捉模式,在该模式下,将来自设备104的视图与现有3D对象或图像进行比较,以便标识或定位地理位置。换言之,可以将正在被查看和潜在地被捕捉的内容以及设备110的朝向与代表3D对象的现有2D内容进行比较,其中,比较可以揭示设备的位置。如此,通过利用现有3D对象或图像和所包括的2D内容,可以在没有GPS组件302的情况下确定设备104的地理位置和朝向。
系统300还可以包括数据存储304,该数据存储304可包括涉及设备104、内容聚集器102、图像106的一部分、视频108的一部分、导航组件202、评估器204、GPS组件302等等的任何合适的数据。例如,数据存储304可包括,但不仅限于,2D内容、预定义的结构或组织以对齐3D图像或对象的2D内容、构建的3D图像或对象、内容收集设置(例如,首选项、设置、密码等等)、路线、地图、地理位置、2D内容的朝向、涉及2D内容的观点、2D内容的对齐、用于2D内容收集的指南、收集的图像、收集的视频、3D环境数据(例如,3D图像、3D对象、用户名、密码、现有的2D内容、所需的2D内容等等)、GPS数据、加速度计数据、数据请求等等。
可以理解,数据存储器304可以是,例如,易失性存储器或非易失性存储器,或者可包括易失性和非易失性存储器两者。作为说明,而不是限制,非易失性存储器可包括只读存储器(ROM)、可编程序只读存储器(PROM)、电可编程序只读存储器(EPROM)、电可擦可编程序只读存储器(EEPROM)或闪存。易失性存储器可包括充当外部高速缓冲存储器的随机存取存储器(RAM)。作为说明而不是限制,RAM可以有许多形式,如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDR SDRAM)、增强的SDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)、直接型Rambus RAM(RDRAM),直接型Rambus动态RAM(DRDRAM),以及Rambus动态RAM(RDRAM)。本系统和方法的数据存储器304旨在包括,而不仅限于,这些以及任何其他合适类型的存储器。另外,还可以理解,数据存储器304可以是服务器、数据库、硬盘驱动器、笔式驱动器、外部硬盘驱动器、便携式硬盘驱动器等等。
图4示出了便于将元数据与从设备收集的数据相关联的系统400。系统400可包括设备104,该设备104可以自动捕捉2D内容(例如,图像106的一部分、视频108的一部分等等),并利用内容聚集器102无缝创建从2D内容构建的3D图像或对象,其中,构建是基于根据与2D内容相关联的观点和相关联的视角对齐并组织2D内容来进行的。设备104可包括允许自动收集2D图像的模式或设置,利用所包括的内容聚集器102,2D图像可以被用来构建3D图像或对象。具体而言,这样的模式或设置可以利用现有设备设置和/或配置,以便优化用于3D对象或图像构建的2D内容的捕捉。例如,设备104可包括场景模式(例如,自动、用户定义的、特写镜头、肖像、风景、运动、夜晚、冬季、夏季、夜晚肖像、日落等等)、可选的全景模式(例如,可选的,因为内容聚集器对此设置是稳健的,可以使2D内容更相似等等),照片缝合模式(例如,可选的,因为内容聚集器对此设置是稳健的,可以使2D内容更相似,等等),闪光灯模式(例如,自动闪光灯、闪光灯开,红眼去除,无闪光灯等等),计时器设置,序列模式(例如,连拍、延迟捕捉等等)、曝光补偿、白平衡、色调、光敏性、对比度、锐度等等。这样的设备设置和/或模式可以被自动地优化,由用户进行定义,和/或其任何合适的组合。
系统400还可以包括实时标记组件402,该组件402允许标记从设备104捕捉到的2D内容。实时标记组件402可以用与其相关联的任何合适的元数据追加2D内容和/或3D图像或对象的一部分。具体而言,实时标记组件402可以包括元数据,如,但不仅限于,地理数据的一部分、作者数据的一部分、所有者数据的一部分、安全数据的一部分、时间、日期、角度、观点、设备数据的一部分、缩放级别、缩放、视角、3D对象关联数据的一部分、3D对象内的位置、3D对象内的对齐、类别定义、主题定义、排序、流行度排序、质量排序、帧速率、分辨率、对象表示、纯视图数据的一部分、真正视图数据一部分等等中的至少一项。可以理解,这样的元数据可以被3D环境110、内容聚集器102、设备104、完全不同的设备、完全不同的内容聚集器、社区、网站、网络、服务器、用户、软件的一部分、应用程序、硬件的一部分等等来使用。
图5示出了根据本发明的便于利用显示技术和/或浏览技术的系统500。系统500可包括设备104,该设备104可以捕捉如上文所描述的图像106的一部分或视频108的一部分这两者中的至少一项。系统500还可以包括可以允许与任何合适的数据(例如,3D对象数据、3D图像、2D内容、2D图像等等)进行无缝平移或缩放交互的显示引擎502,其中这样的数据可以包括多种比例或视图,以及一个或多个与其相关联的分辨率。换言之,显示引擎502可以通过允许缩放(例如,放大、缩小等等)和/或平移(例如,向上平移、向下平移、向右平移、向左平移等等)来操纵显示的数据的初始默认视图,其中这样的经缩放或平移的视图可以包括各种分辨率品质。不管涉及的数据量或网络的带宽如何,显示引擎502都可以允许可视信息被平滑地浏览。此外,显示引擎502还可以与任何合适的显示或屏幕一起使用(例如,便携式设备、蜂窝式设备、监视器、等离子电视机、设备显示器等等)。显示引擎502还可以提供下列优点或增强功能中的至少一项:1)导航的速度可以独立于对象(例如,数据)的大小或数量;2)性能可以取决于带宽与屏幕或显示器上的像素的比率;3)视图之间的过渡可以是平滑的;以及4)对于任何分辨率的屏幕,缩放几乎是完美而快速的。
例如,可以以具有特定分辨率的默认视图来查看图像。显示引擎502还可以允许图像被以具有各种分辨率的多种视图或比例(与默认视图相比)进行缩放和/或平移。如此,用户可以放大图像的一部分以获得具有相等或较高分辨率的放大的视图。通过允许图像被缩放和/或平移,图像可以包括可以用各种比例、级别或视图(各自包括一个或多个分辨率)查看或探索的几乎无限的空间或体积。换言之,可以在更加细粒度级别查看图像,而同时独立于平移、缩放等等用平滑过渡维持分辨率。此外,第一视图可能不会展示图像上的信息或数据,直到利用显示引擎502缩放或平移。
浏览引擎504也可以与系统500包括在一起。浏览引擎504可以利用显示引擎502来对于结合因特网、网络、服务器、网站、网页、3D环境(未示出)、3D图像、3D对象等等中的至少一项浏览的任何合适的数据,实现无缝和平滑的平移和/或缩放。应该理解,浏览引擎504可以是独立组件、包括到浏览器中、与浏览器相结合地使用(例如,通过修补程序或固件更新、软件、硬件的传统浏览器等等),和/或其任何合适的组合。例如,浏览引擎504可以将诸如无缝平移和/或缩放之类的因特网浏览功能包括到现有浏览器中。例如,浏览引擎504可以利用显示引擎502来提供在3D对象或图像上无缝缩放和/或平移的增强的浏览,其中可以通过平滑缩放和/或平移,展示各种比例或视图。
如所讨论的,系统500可包括内容聚集器102,该内容聚集器102可以收集多个二维(2D)内容(例如,媒体数据、图像、视频、照片、元数据、交易卡等等),以在设备104和/或3D环境(未示出)内创建可以被探索(例如,显示每一图像和观点)的3D图像或对象。为了向用户提供完整的3D图像或对象,可以将真正的视图(例如,来自图像的纯视图)与合成视图相结合(例如,诸如投影到3D模型上的混合物之类的内容之间的内插)。例如,内容聚集器102可以聚集一个位置或对象的大型照片集、分析这样的照片以寻找相似性、并在重建的3D空间中显示这样的照片以创建3D对象,描绘每一张照片与下一张照片的关系。应该理解,所采集的内容可以来自于各种位置(例如,因特网、本地数据、远程数据、服务器、网络、以无线方式收集到的数据等等)。例如,大型内容集合(例如,几G等等)可以被快速地访问(例如,几秒钟,等等),以便从几乎任何角度或观点查看场景。在另一个示例中,内容聚集器102可以标识基本上类似的内容,拉近以放大,并聚焦于小的细节。内容聚集器102可以提供下列各项中的至少一项:1)从一个场景中走过或飞过以从各种不同角度查看内容;2)独立于分辨率(例如,兆像素、千兆像素,等等),无缝地放大或缩小内容;3)定位相对于其他内容是在哪里捕获内容的;4)定位与当前查看的内容类似的内容;以及5)将内容的集合或特定视图传送到实体(例如,用户、机器、设备、组件等等)。
图6示出了使用智能来便于将2D内容聚集技术包括到设备中的系统600。系统600可包括设备104、内容聚集器104、图像106的一部分,以及视频108的一部分,它们可以基本上类似于在前面的图形中所描述的相应的设备、聚集器、图像,以及视频。系统600还包括智能组件602。智能组件602可以被内容聚集器102和/或设备104用来便于在设备104内捕捉2D内容,以便创建3D图像或对象。例如,智能组件602可以推断3D图像或对象的2D内容、在3D图像或对象内未表示的观点、3D图像或对象所需的补充的2D内容、用于内容聚集的设备优化的设置、用于指示捕捉2D内容的指南或帮助、路线、地图、朝向、观点、视角、角度、地理位置、2D内容的标记、捕捉到的2D内容的元数据、用户偏好、设置等等。
智能组件602可以使用信息价值(VOI)计算,以便标识按各个用户地利用设备捕捉2D内容的最佳指南或帮助。例如,通过利用VOI计算,可以确定捕捉2D内容的最理想的和/或适当的指南或帮助(例如,用户A首选音频方向,用户B喜欢地图上的路线,路线X比路线Y更理想等等)。此外,还可以理解,智能组件602可以通过经由事件和/或数据捕捉到的一组观察结果推理或推断出系统、环境和/或用户的状态。可以使用推断来识别特定上下文或操作,也可以生成,例如状态上的概率分布。推断可以是概率性的,即,基于对数据和事件的考虑,计算在感兴趣状态上的概率分布。推断也可以是指用于从一组事件和/或数据构成较高级别的事件的技术。这样的推断导致从一组观察到的事件和/或存储的事件数据构建新的事件或操作,不管事件在时间上是否紧密相关,以及事件和数据是来自一个还是多个事件和数据源。可以与执行涉及所要求保护的主题的自动的和/或推断操作一起,使用各种分类(经显式地和/或隐式地训练的)方案和/或系统(例如,支持向量机、神经网络、专家系统、贝叶斯信念网络、模糊逻辑、数据合成引擎,等等)。
分类器是将输入属性矢量x=(x1,x2,x3,x4,xn)映射到该输入属于某一个类的置信度的函数,即,f(x)=置信度(类)。这样的分类可以使用基于概率和/或统计的分析(例如,分解成分析效用和成本)来预测或推断用户希望自动地执行的动作。支持矢量机(SVM)是可以使用的分类器的一个示例。SVM通过发现可能的输入的空间中的超曲面来操作,该超曲面试图将触发准则与非触发事件分离。直观地,这使得分类可以校正近乎与训练数据接近但又不完全相同的测试数据。其他有向和无向的模型分类方法包括,例如,朴素贝叶斯、贝叶斯网络、决策树、神经网络、模糊逻辑模型,也可以使用提供不同独立性模式的概率分类模型。如这里所使用的分类还包括被用来开发优先级模型的统计回归。
设备104还可以利用呈现组件604,该呈现组件604提供各种类型的用户界面,以便于用户和耦合到设备104的任何组件之间的交互。如所描绘的,呈现组件604是可以与设备104一起使用的单独实体。然而,可以理解,呈现组件604和/或类似的查看组件可以包括到设备104中和/或作为独立单元。呈现组件604可以提供一个或多个图形用户界面(GUI)、命令行界面等等。例如,可以呈现向用户提供用于对数据进行加载、导入、读取等等操作的区域或手段,并可包括演示这样的操作的结果的区域的GUI。这些区域可以包括已知的文本和/或图形区域,包括对话框、静态控件、下拉菜单、列表框、弹出式菜单、编辑控件、组合框、单选按扭、复选框、按钮开关,以及图形框。另外,还可以使用便于呈现的实用程序,如用于导航的垂直和/或水平滚动条和判断某一区域是否可查看的工具栏按扭。例如,用户可以与耦合到和/或包括到设备104的组件中的一个或多个进行交互。
用户还可以与经由各种设备(诸如,例如,鼠标、滚子球、触摸板、小键盘、键盘、触摸屏、笔和/或话音激话、人体运动检测)选择和提供信息的区域进行交互。通常,可以使用诸如按钮或键盘上的回车键之类的机制来连续输入信息,以便启动搜索。然而,可以理解,所要求保护的主题没有这样的限制。例如,只突出显示一复选框可以启动信息传输。在另一示例中,可以使用命令行界面。例如,命令行界面可以(例如,经由显示器上的文本消息和音频音调)向用户提示经由提供文本消息来提供信息。然后,用户可以提供合适的信息,如与界面提示中所提供的选项相对应字母数字输入或对在提示中提出的问题的回答。可以理解,命令行界面可以与GUI和/或API结合使用。另外,命令行界面还可以与硬件(例如,视频卡)和/或具有有限的图形支持的显示器(例如,黑白、EGA、VGA、SVGA等等),和/或低带宽通信信道结合使用。
图7-8示出了根据所要求保护的主题的方法和/或流程图。为了简洁起见,作为一系列动作描绘和描述了方法。可以理解和明白,本发明不仅限于所示出的动作和/或动作的顺序。例如,一些动作可以按各种顺序和/或并行地进行,并带有其他此处未呈现和描述的其他动作。此外,并非所有的所示出的动作都是实现根据所要求保护的主题的方法所必需的。另外,本领域的技术人员将了解和明白,方法也可以替代地经由状态图或事件表示为一系列相互相关联的状态。另外,还应该进一步理解,下面以及整个说明书中所公开的方法能够存储在一种制品中,以促进将这样的方法传送和传输到计算机中。如这里所使用的术语“制品”可以包含可以从任何计算机可读的设备、载体或介质进行访问的计算机程序。
图7示出了便于利用设备来捕捉2维(2D)图像以便构建3维(3D)对象的方法700。在参考编号702处,可以利用设备来捕捉2维(2D)内容的一部分。设备可以是可以捕捉或收集2D内容的任何合适的设备或组件,如,但不仅限于,数码相机、摄像机、照像机、智能电话、手持式装置、网络摄像头、移动设备、便携式数字助理(PDA)、蜂窝式设备、一次性使用的照像机、设备内集成的照像机(例如,膝上型照像机、台式照像机、汽车照像机等等)、带有图像捕捉能力的计算设备等等。此外,2D内容可以是图像、照片、视频(例如,视频的静止帧等等)、音频、图片、媒体数据、相片、元数据、交易卡、表示物理现实世界的一部分的任何媒体、对象的图片、表示项目的内容、描绘实体的内容,现实世界内的物质对象等等。
在参考编号704处,可以通过基于对应的观点来对齐2D内容的两个或更多部分,来创建3维对象。可以根据要组装可以导航和查看的3D对象的内容的观点或视角,来组合2D内容(例如,3D对象作为整体包括多个2D图像或内容)。在参考编号706处,在设备内进行3D对象的创建。换言之,设备可以捕捉2D内容,并自动地从这样的2D内容来创建3D对象。例如,可以聚集金字塔的2D图片(例如,第一面的第一图片,第二面的第二图片,第三面的第三图片,第四面的第四图片,以及底面的第五图片),以基于用对应的视角和重叠的内容对齐图片,来组装可以在3D虚拟环境中导航或浏览的3D对象。可以理解,聚集的或收集的2D内容可以是任何合适的数量的图像或内容。
图8示出了便于重新创建3D对象或增强涉及3D对象的2D内容的收集的方法800。在参考编号802处,可以接收涉及捕捉2维(2D)内容的一部分的请求。在参考编号804处,可以评估请求,以判断利用设备的2D捕捉是否与重新创建现有3D对象或补充现有3D对象这两者中的至少一项相关联。在参考编号806处,提供一位置的指南和观点以部分地基于确定的2D捕捉来收集2D内容。
例如,帮助或指南可以与设备的位置和/或朝向相关联,以便捕捉2D内容。在捕捉带有标识的观点、朝向等等的内容之后,可以创建3D图像或对象。可以理解,帮助或指南可以是音频的一部分、视频的一部分、路线、文本的一部分、或图形的一部分、地图、和/或可以便于标识设备的位置、观点、角度,和/或朝向,以根据2D捕捉(例如,重新创建或补充)来捕捉内容。例如,设备可以利用显示器来示出带有路线和有关在哪里以及从哪一个观点、朝向、角度等等捕捉2D内容的指示的地图。
为了提供用于实现所要求保护的主题的各个方面的附加的上下文,图9-10以及下面的讨论旨在提供其中可以实现本发明的各个方面的合适的计算环境的简要的、一般描述。例如,可以在这样的合适的计算环境中实现包括从2D图像集合构建3D图像或对象的内容聚集器的设备,如前面的图形所描述。尽管上文是在可以在本地计算机和/或远程计算机上运行的计算机程序的计算机可执行指令的一般上下文中来描述所要求保护的主题的,但是,本领域的技术人员将认识到,本发明也可以与其他程序模块相结合地实现。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构等。
此外,本领域的技术人员将了解,可以利用其他计算机系统配置来实施本发明的方法,包括单处理器和/或多处理器计算机系统,小型计算机、大型计算机,以及个人计算机,手持式计算设备、基于微处理器的和/或可编程的消费电子产品等等,上述每一种设备都可以可操作地与一个或多个相关联的设备进行通信。所要求保护的主题的所说明的方面也可以在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。然而,本发明的某些方面,如果不是所有方面的话,可以在独立计算机上实施。在分布式计算环境中,程序模块可以位于本地和/或远程存储器存储设备中。
图9是所要求保护的主题可以与其进行交互的示例计算环境900的示意框图。系统900包括一个或多个客户机910。客户机910可以是硬件和/或软件(例如,线程、进程、计算设备)。系统900还包括一个或多个服务器920。服务器920也可以是硬件和/或软件(例如,线程、进程、计算设备)。服务器920可以,例如,通过使用本发明,保存执行变换的线程。
客户机910和服务器920之间的一种可能的通信可以呈现用于在两个或更多计算机进程之间传输的数据包的形式。系统900包括通信框架940,该通信框架940可以被用来促进客户机910和服务器920之间的通信。类似地,客户机910可操作地连接到一个或多个客户机数据存储器950,可以使用这些客户机数据存储器950来存储客户机910本地的信息。类似地,服务器920可操作地连接到一个或多个服务器数据存储器930,可以使用这些服务器数据存储器930来存储服务器920本地的信息。
参考图10,用于实现所要求保护的主题的各方面的示例性环境1000可以包括计算机1012。计算机1012包括处理单元1014、系统存储器1016,以及系统总线1018。系统总线1018将系统组件,包括,但不仅限于,系统存储器1016耦合到处理单元1014。处理单元1014可以是各种处理器中的任何一种。还可以使用双微处理器及其他多处理器体系结构作为处理单元1014。
系统总线1018可以是若干类型的总线结构中的任何一种,包括使用各种可用的总线体系结构中的任何一种的存储器总线或存储器控制器、外围总线或外部总线,以及局部总线,总线体系结构包括,但不仅限于,工业标准体系结构(ISA)、微通道体系结构(MCA)、扩展的ISA(EISA)、智能驱动器电子(IDE)、VESA局部总线(VLB)、外围组件互连(PCI)、卡总线、通用串行总线(USB)、高级图形端口(AGP)、个人计算机存储器卡国际联合会总线(PCMCIA)、火线(IEEE 1394),以及小型计算机系统接口(SCSI)。
系统存储器1016包括易失性存储器1020和非易失性存储器1022。基本输入/输出系统(BIOS)通常存储在非易失性存储器1022中,包含例如在启动过程中帮助在计算机1012内的元件之间传输信息的基本例程。作为说明,而不是限制,非易失性存储器1022可包括只读存储器(ROM)、可编程序只读存储器(PROM)、电可编程序只读存储器(EPROM)、电可擦可编程序只读存储器(EEPROM)或闪存。易失性存储器1020包括充当外部高速缓冲存储器的随机存取存储器(RAM)。作为说明而不是限制,RAM可以有许多形式,如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDR SDRAM)、增强的SDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)、直接型Rambus RAM(RDRAM),直接型Rambus动态RAM(DRDRAM),以及Rambus 动态RAM(RDRAM)。
计算机1012还包括可移动的/不可移动的,易失性/非易失性的计算机存储介质。图10示出了例如磁盘存储器1024。磁盘存储器1024包括但不仅限于,诸如磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动器、LS-100驱动器、闪存卡或记忆棒之类的设备。另外,磁盘存储器1024还可包括存储介质,分开地或与其他存储介质相结合,包括,但不仅限于,诸如光盘ROM设备之类的光盘驱动器(CD-ROM)、CD可记录驱动器(CD-R驱动器)、CD可重写驱动器(CD-RW驱动器)或数字多功能盘ROM驱动器(DVD-ROM)。为便于磁盘存储设备1024连接到系统总线1018,通常使用诸如接口1026之类的可移动或不可移动接口。
可以理解,图10描述了在合适的操作环境1000中在用户和所描述的基本计算机资源之间的中介的软件。这样的软件包括操作系统1028。可以存储在磁盘存储器1024上的操作系统1028用于控制和分配计算机系统1012的资源。系统应用程序1030利用由操作系统1028通过存储在系统存储器1016或者存储在磁盘存储器1024上的程序模块1032和程序数据1034对资源的管理。可以理解,所要求保护的主题可以利用各种操作系统或操作系统的组合来实现。
用户通过输入设备1036向计算机1012输入命令或信息。输入设备1036包括,但不限于,诸如鼠标、轨迹球、指示笔、触摸板之类的指示设备、键盘、麦克风、游戏杆、游戏操纵杆、碟形卫星天线、扫描仪、TV调谐器卡、数码相机、数字视频摄像机、网络摄像头等等。这些及其他输入设备通过系统总线1018经由接口端口1038连接到处理单元1014。接口端口1038包括,例如,串行端口、并行端口、游戏端口,以及通用串行总线(USB)。输出设备1040与输入设备1036使用一些相同类型的端口。如此,例如,可以使用USB端口来向计算机1012提供输入,以及从计算机1012向输出设备1040输出信息。提供了输出适配器1042,以示出有诸如监视器、扬声器,以及打印机之类的一些输出设备1040,还有需要专用适配器的其他输出设备1040。输出适配器1042包括,作为说明而不是限制,在输出设备1040和系统总线1018之间提供连接装置的视频卡和声卡。应该注意,其他设备和/或设备的系统提供诸如远程计算机1044之类的输入和输出两种功能。
计算机1012可以使用到诸如远程计算机1044之类的一个或多个远程计算机的逻辑连接,在联网环境中操作。远程计算机1044可以是个人计算机、服务器、路由器、网络PC、工作站、基于微处理器的电器、对等设备或其他公共网络节点等等,并通常包括上文参考计算机1012所描述的许多或全部元件。为了简洁起见,与远程计算机1044一起,只示出了存储器设备1046。远程计算机1044通过网络接口1048在逻辑上连接到计算机1012,然后,经由通信连接1050在物理上连接。网络接口1048包含诸如局域网(LAN)和广域网(WAN)之类的有线或无线通信网络。LAN技术包括光纤分布式数据接口(FDDI)、铜线分布式数据接口(CDDI)、以太网、令牌环网等等。WAN技术包括,但不限于,点对点链路、电路交换网,如综合业务数字网(ISDN)以及其变体,分组交换网络,以及数字用户线(DSL)。
通信连接1050是指用来将网络接口1048连接到总线1018的硬件/软件。尽管用于清楚起见通信连接1050被示为在计算机1012内部,但是,它也可以位于计算机1012外部。连接到网络接口1048所需的硬件/软件包括,只作示例,内部和外部技术,如,调制解调器,包括常规电话分级调制解调器、电缆调制解调器和DSL调制解调器、ISDN适配器,以及以太网网卡。
上文所描述的包括本发明的示例。当然,不可能出于描述所要求保护的主题的目的而描述组件或方法的每个可能的组合,但是,本领域技术人员可以认识到,本发明的许多进一步的组合和置换都是可以的。因此,所要求保护的主题旨在包含在所附权利要求书的精神和范围内的所有这样的更改、修改和变化。
具体来说,对于由上述组件、设备、电路、系统等等执行的各种功能,除非另外指明,否则用于描述这些组件的术语(包括对“装置”的引用)旨在对应于执行所描述的执行此处在所要求保护的主题的示例性方面所示的功能的所描述的组件的指定功能(例如,功能上等效)的任何组件,即使这些组件在结构上不等效于所公开的结构。关于这一点,还应认识到,本发明还包括了具有用于执行所要求保护的主题的各种方法的动作和/或事件的计算机可执行指令的系统以及计算机可读介质。
有多种实现本发明的方式,例如,使应用程序和服务能使用本发明的广告技术的适当的API、工具包、驱动程序代码、操作系统、控件、独立或可下载的软件对象等等。所要求保护的主题还构想从API(或其他软件对象)的观点来看,以及从根据本发明根据广告技术操作的软件或硬件对象的用途。如此,此处所描述的本发明的各种实现可以具有完全以硬件,部分以硬件而部分以软件,以及以软件来实现的方面。
如前所述的系统是利用多个组件之间的交互来描述的。可以了解,这样的系统和组件可以包括这些组件或其中指定的子组件,某些指定的组件或子组件,和/或附加的组件,并根据前述的内容的各种置换和组合。子组件也可以作为可通信地耦合到其他组件的组件来实现,而不是包括在父组件内(层次性)。另外,应该注意,一个或多个组件也可以合并到提供聚合功能的单一组件中,或者也可以分成多个单独的子组件,并且,可以提供诸如管理层之类的任何一个或更多中间层,以可通信地耦合到这样的子组件,以便提供集成的功能。此处所描述的任何组件也可以与一个或多个此处没有专门描述的但本领域技术人员广泛地知道的其他组件进行交互。
此外,尽管可相对于若干实现中的仅一个实现来公开本发明的一个特定特征,但这一特征可以如对任何给定或特定应用所需且有利地与其他实现的一个或多个其他特征相组合。此外,就在“具体实施方式”或者权利要求书中使用术语“包括”、“具有”、“包含”或其变体,以及其他类似的词语而言,这些术语旨在以与术语“包括”相似的方式为包含性的,作为开放的过渡词,而不会排除任何额外的或其他的元素。

Claims (15)

1.一种便于捕捉一部分2维(2D)数据用于构建3维(3D)对象的系统,包括:
捕捉一个或多个2D图像的设备(104),所述2D图像标识来自由所述设备的朝向规定的观点的物质对象;以及
所述设备包括内容聚集器(102),所述内容聚集器从由所述设备收集的两个或更多2D图像构建3D对象,所述构建是至少部分地基于对齐与每一个2D图像相关联的各自相应的观点来进行的。
2.如权利要求1所述的系统,其特征在于,所述内容聚集器通过对齐包括基本上相似的图像的一部分或基本上相似的观点的一部分中的至少一个的两个或更多2D图像来呈现3D对象。
3.如权利要求1所述的系统,其特征在于,所述2D图像是照片、数码照片、所述物质对象的图像、捕捉所述物质对象的视频的一段的帧、或视频的一部分的帧这几项中的至少一个。
4.如权利要求1所述的系统,其特征在于,所述设备还包括分析2D捕捉请求的评估器,所述2D捕捉请求定义用于捕捉2D图像的上下文,并涉及新3D对象的创建、3D对象的重新创建或对现有3D对象的补充中的至少一个。
5.如权利要求4所述的系统,其特征在于,所述评估器利用远程寄宿至少一个3D对象的3D环境来查明所述3D对象是否是所述3D环境内的现有3D对象、以前访问的3D对象或新3D对象这几项中的至少一个。
6.如权利要求5所述的系统,其特征在于,所述设备捕捉至少一个2D图像用于补充现有3D对象,所述捕捉到的2D图像补充现有3D对象,并被传输到所述3D环境。
7.如权利要求6所述的系统,其特征在于,所述评估器标识现有3D对象或以前访问的3D对象的预定义的结构,所述预定义的结构是定义2D内容和这样的2D内容的布局以便构建对应的3D对象的蓝图。
8.如权利要求7所述的系统,其特征在于,所述内容聚集器至少部分地基于评估所述2D图像内所显示的内容,实时地为新3D对象创建预定义的结构。
9.如权利要求8所述的系统,其特征在于,还包括提供一部分指南的导航组件,所述一部分指南根据所述预定义的结构指示捕捉2D图像,以便捕捉所述3D对象的2D内容,所述一部分指南标识地理位置、观点、所述设备的角度、所述设备的朝向,或所述设备的缩放级别这几项中的至少一项。
10.如权利要求9所述的系统,其特征在于,所述一部分指南是音频的一部分、视频的一部分、路线、地图上的路线、一组地理方向、文本的一部分,或图形的一部分这几项中的至少一项。
11.如权利要求1所述的系统,其特征在于,所述设备还包括实时标记组件,所述组件用元数据的一部分追加与3D对象的构建相关联的捕捉到的2D图像。
12.一种便于将3维(3D)对象结构包括在捕捉2维(2D)内容的设备内的计算机实现的方法,包括:
利用设备捕捉2D内容的一部分(702,806);
通过至少部分地基于具有对应的观点的2D内容的两个或更多部分来对齐2D内容的两个或更多部分以创建3D对象,所述3D对象的所述创建是在所述设备内进行的(704,706,806)。
13.如权利要求12所述的方法,进一步包括:
接收涉及利用所述设备捕捉所述2D内容的一部分的请求;
评估所述请求以确定2D捕捉模式,所述2D捕捉模式是重新创建现有3D对象或补充现有3D对象这两项中的至少一项;以及
部分地基于所述确定的2D捕捉模式,提供对收集2D内容的一部分的位置和观点的指南。
14.如权利要求12所述的方法,还包括:
在所述设备内用元数据的一部分追加2D内容的所述捕捉到的部分;以及
基于2D内容的捕捉,优化设备设置,以便构建3D对象。
15.一种设备,包括:
用于捕捉一个或多个2维(2D)图像的装置(104,702),所述2D图像表示来自由所述设备的朝向规定的观点的物质对象;
用于从由所述设备收集的两个或更多2D图像构建3维(3D)对象的装置(102,704,706),所述构建是至少部分地基于对齐与每一个2D图像相关联的每一个对应的观点来进行的;
用于生成对一地理位置的指南的一部分以便捕捉表示3D对象的2D图像的一部分的装置(202,806);
用于经由所述设备上的显示器或所述设备上的扬声器这两者中的至少一项传递指南的所述部分的装置(202,806);
用于利用全球定位服务(GPS)组件来标识一位置以便于生成指南的所述部分的装置(202,302);
用于利用加速度计来标识所述设备的朝向以便于生成指南的所述部分的装置(202);
用于自动地用元数据的一部分追加所述捕捉到的2D图像的装置(402),所述元数据涉及地理位置、内容或与3D对象的关系;以及
用于基于所述2D图像或所述构建的3D对象的特征来优化所述设备上的设备设置的装置(104,102)。
CN2009801224740A 2008-06-12 2009-04-21 嵌入到设备中的3d内容聚集 Pending CN102057401A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611216857.2A CN107123141A (zh) 2008-06-12 2009-04-21 嵌入到设备中的3d内容聚集

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/137,657 US8204299B2 (en) 2008-06-12 2008-06-12 3D content aggregation built into devices
US12/137,657 2008-06-12
PCT/US2009/041228 WO2009151794A1 (en) 2008-06-12 2009-04-21 3d content aggregation built into devices

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201611216857.2A Division CN107123141A (zh) 2008-06-12 2009-04-21 嵌入到设备中的3d内容聚集

Publications (1)

Publication Number Publication Date
CN102057401A true CN102057401A (zh) 2011-05-11

Family

ID=41414841

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2009801224740A Pending CN102057401A (zh) 2008-06-12 2009-04-21 嵌入到设备中的3d内容聚集
CN201611216857.2A Pending CN107123141A (zh) 2008-06-12 2009-04-21 嵌入到设备中的3d内容聚集

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201611216857.2A Pending CN107123141A (zh) 2008-06-12 2009-04-21 嵌入到设备中的3d内容聚集

Country Status (13)

Country Link
US (1) US8204299B2 (zh)
EP (1) EP2283466B1 (zh)
JP (1) JP2011524571A (zh)
KR (1) KR101557297B1 (zh)
CN (2) CN102057401A (zh)
AU (1) AU2009257959B2 (zh)
BR (1) BRPI0912583B1 (zh)
CA (1) CA2722924C (zh)
MX (1) MX2010012826A (zh)
MY (1) MY161994A (zh)
RU (1) RU2491638C2 (zh)
WO (1) WO2009151794A1 (zh)
ZA (1) ZA201007423B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411793A (zh) * 2011-08-10 2012-04-11 上海福家网络科技有限公司 一种三维场景中的物体显示方法
CN103079030A (zh) * 2013-01-30 2013-05-01 清华大学 存储卡及含有该存储卡的3d图像或视频的生成装置
CN104756109A (zh) * 2012-10-26 2015-07-01 谷歌公司 对相关照片进行分组
CN106536004A (zh) * 2014-04-30 2017-03-22 图片动态有限公司 增强的游戏平台

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8346017B2 (en) * 2008-04-30 2013-01-01 Microsoft Corporation Intermediate point between images to insert/overlay ads
US8737721B2 (en) 2008-05-07 2014-05-27 Microsoft Corporation Procedural authoring
US8988439B1 (en) 2008-06-06 2015-03-24 Dp Technologies, Inc. Motion-based display effects in a handheld device
US8678925B1 (en) 2008-06-11 2014-03-25 Dp Technologies, Inc. Method and apparatus to provide a dice application
US8587601B1 (en) * 2009-01-05 2013-11-19 Dp Technologies, Inc. Sharing of three dimensional objects
CN102725688B (zh) * 2009-07-10 2015-04-01 管理前街不同收入阶层的前街投资管理有限公司 使用单成像路径生成三维图像信息的方法和装置
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US9787974B2 (en) 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8593574B2 (en) 2010-06-30 2013-11-26 At&T Intellectual Property I, L.P. Apparatus and method for providing dimensional media content based on detected display capability
US8918831B2 (en) 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US9560406B2 (en) 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
US8994716B2 (en) 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
US8947511B2 (en) 2010-10-01 2015-02-03 At&T Intellectual Property I, L.P. Apparatus and method for presenting three-dimensional media content
US20120197428A1 (en) * 2011-01-28 2012-08-02 Scott Weaver Method For Making a Piñata
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US9310403B2 (en) * 2011-06-10 2016-04-12 Alliance For Sustainable Energy, Llc Building energy analysis tool
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US8947497B2 (en) 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US8837813B2 (en) * 2011-07-01 2014-09-16 Sharp Laboratories Of America, Inc. Mobile three dimensional imaging system
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
WO2013084234A1 (en) * 2011-12-05 2013-06-13 Rotary View Ltd. System and method for generating a stereoscopic 3d presentation from picture sequence emanating from single lens source
WO2013086137A1 (en) 2011-12-06 2013-06-13 1-800 Contacts, Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
US20140358917A1 (en) * 2012-01-23 2014-12-04 Duke University System and method for remote image organization and analysis
US9052208B2 (en) 2012-03-22 2015-06-09 Nokia Technologies Oy Method and apparatus for sensing based on route bias
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US20130314401A1 (en) 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a user for a virtual try-on product
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9177404B2 (en) * 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
US9554049B2 (en) * 2012-12-04 2017-01-24 Ebay Inc. Guided video capture for item listings
US9342929B2 (en) * 2013-01-22 2016-05-17 Microsoft Technology Licensing, Llc Mixed reality experience sharing
US9417697B2 (en) 2013-03-08 2016-08-16 Qualcomm Incorporated 3D translator device
US10278584B2 (en) 2013-03-11 2019-05-07 Carestream Dental Technology Topco Limited Method and system for three-dimensional imaging
EP2973417B1 (en) 2013-03-11 2020-07-15 Carestream Dental Technology Topco Limited A method and system for three-dimensional imaging
US9294757B1 (en) 2013-03-15 2016-03-22 Google Inc. 3-dimensional videos of objects
EP2984448B1 (en) * 2013-04-08 2021-02-24 SNAP Inc. Distance estimation using multi-camera device
US9338440B2 (en) 2013-06-17 2016-05-10 Microsoft Technology Licensing, Llc User interface for three-dimensional modeling
US9201900B2 (en) * 2013-08-29 2015-12-01 Htc Corporation Related image searching method and user interface controlling method
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US9508172B1 (en) * 2013-12-05 2016-11-29 Google Inc. Methods and devices for outputting a zoom sequence
RU2596449C1 (ru) * 2015-06-26 2016-09-10 Общество с ограниченной ответственностью "Производственное объединение "Зарница" Учебный интерактивный стенд
US20170046891A1 (en) * 2015-08-12 2017-02-16 Tyco Fire & Security Gmbh Systems and methods for location identification and tracking using a camera
CA2948761A1 (en) 2015-11-23 2017-05-23 Wal-Mart Stores, Inc. Virtual training system
US10220172B2 (en) 2015-11-25 2019-03-05 Resmed Limited Methods and systems for providing interface components for respiratory therapy
US10732809B2 (en) 2015-12-30 2020-08-04 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US10225511B1 (en) 2015-12-30 2019-03-05 Google Llc Low power framework for controlling image sensor mode in a mobile image capture device
US10523865B2 (en) 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US10824320B2 (en) * 2016-03-07 2020-11-03 Facebook, Inc. Systems and methods for presenting content
WO2017218834A1 (en) 2016-06-17 2017-12-21 Kerstein Dustin System and method for capturing and viewing panoramic images having motion parralax depth perception without images stitching
US10008046B2 (en) * 2016-06-29 2018-06-26 Here Global B.V. Method, apparatus and computer program product for adaptive venue zooming in a digital map interface
US11546381B1 (en) * 2021-11-08 2023-01-03 Beijing Bytedance Network Technology Co., Ltd. Unified data security labeling framework

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1664884A (zh) * 2005-03-02 2005-09-07 西安四维航测遥感中心 城区三维可视与可量测立体地形图制作方法
US20050285875A1 (en) * 2004-06-28 2005-12-29 Microsoft Corporation Interactive viewpoint video system and process
CN1918451A (zh) * 2004-01-16 2007-02-21 微软合并公司 用于从单一图像对3d对象进行测量、建模和地图制作的系统、计算机程序和方法
WO2007041696A2 (en) * 2005-10-04 2007-04-12 Alexander Eugene J System and method for calibrating a set of imaging devices and calculating 3d coordinates of detected features in a laboratory coordinate system
CN1970894A (zh) * 2006-10-26 2007-05-30 上海交通大学 基于激光扫描的沉箱三维场景重建与挖掘机避碰系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5301117A (en) 1991-10-30 1994-04-05 Giorgio Riga Method for creating a three-dimensional corporeal model from a very small original
US5748199A (en) 1995-12-20 1998-05-05 Synthonics Incorporated Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture
GB2317007B (en) 1996-09-04 2000-07-26 Spectrum Tech Ltd Contrast determining apparatus and methods
US6094215A (en) * 1998-01-06 2000-07-25 Intel Corporation Method of determining relative camera orientation position to create 3-D visual images
US6333749B1 (en) 1998-04-17 2001-12-25 Adobe Systems, Inc. Method and apparatus for image assisted modeling of three-dimensional scenes
JP4119529B2 (ja) * 1998-06-17 2008-07-16 オリンパス株式会社 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US6456287B1 (en) 1999-02-03 2002-09-24 Isurftv Method and apparatus for 3D model creation based on 2D images
US7343195B2 (en) * 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
US6571024B1 (en) * 1999-06-18 2003-05-27 Sarnoff Corporation Method and apparatus for multi-view three dimensional estimation
JP3387856B2 (ja) * 1999-08-06 2003-03-17 キヤノン株式会社 画像処理方法、画像処理装置および記憶媒体
US20020158873A1 (en) 2001-01-26 2002-10-31 Todd Williamson Real-time virtual viewpoint in simulated reality environment
US7194112B2 (en) * 2001-03-12 2007-03-20 Eastman Kodak Company Three dimensional spatial panorama formation with a range imaging system
US7146576B2 (en) * 2001-10-30 2006-12-05 Hewlett-Packard Development Company, L.P. Automatically designed three-dimensional graphical environments for information discovery and visualization
US7046840B2 (en) 2001-11-09 2006-05-16 Arcsoft, Inc. 3-D reconstruction engine
US7142726B2 (en) 2003-03-19 2006-11-28 Mitsubishi Electric Research Labs, Inc. Three-dimensional scene reconstruction from labeled two-dimensional images
JP4266736B2 (ja) * 2003-07-31 2009-05-20 キヤノン株式会社 画像処理方法および装置
JP2005174024A (ja) * 2003-12-11 2005-06-30 Canon Inc 画像生成装置及び方法
KR20060131145A (ko) 2005-06-15 2006-12-20 엘지전자 주식회사 이차원 영상을 이용한 삼차원 물체의 렌더링 방법
US7840032B2 (en) 2005-10-04 2010-11-23 Microsoft Corporation Street-side maps and paths
US7605817B2 (en) 2005-11-09 2009-10-20 3M Innovative Properties Company Determining camera motion
US7912257B2 (en) * 2006-01-20 2011-03-22 3M Innovative Properties Company Real time display of acquired 3D dental data
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
WO2007117535A2 (en) 2006-04-07 2007-10-18 Sick, Inc. Parcel imaging system and method
RU2006118145A (ru) * 2006-05-26 2007-12-20 Самсунг Электроникс Ко., Лтд. (KR) Способ и система видеонаблюдения
TWI286715B (en) * 2006-06-21 2007-09-11 Univ Feng Chia System of simulating 3D virtual reality navigation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1918451A (zh) * 2004-01-16 2007-02-21 微软合并公司 用于从单一图像对3d对象进行测量、建模和地图制作的系统、计算机程序和方法
US20050285875A1 (en) * 2004-06-28 2005-12-29 Microsoft Corporation Interactive viewpoint video system and process
CN1664884A (zh) * 2005-03-02 2005-09-07 西安四维航测遥感中心 城区三维可视与可量测立体地形图制作方法
WO2007041696A2 (en) * 2005-10-04 2007-04-12 Alexander Eugene J System and method for calibrating a set of imaging devices and calculating 3d coordinates of detected features in a laboratory coordinate system
CN1970894A (zh) * 2006-10-26 2007-05-30 上海交通大学 基于激光扫描的沉箱三维场景重建与挖掘机避碰系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
K.FUDONO ET.AL: "Interactive 3-D modeling system using a hand-held video camera", 《PROC 14TH SCANDINAVIAN CONF. ON IMAGE ANALYSIS(SCIA2005)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411793A (zh) * 2011-08-10 2012-04-11 上海福家网络科技有限公司 一种三维场景中的物体显示方法
CN104756109A (zh) * 2012-10-26 2015-07-01 谷歌公司 对相关照片进行分组
CN104756109B (zh) * 2012-10-26 2018-03-09 谷歌有限责任公司 对相关照片进行分组
CN103079030A (zh) * 2013-01-30 2013-05-01 清华大学 存储卡及含有该存储卡的3d图像或视频的生成装置
CN106536004A (zh) * 2014-04-30 2017-03-22 图片动态有限公司 增强的游戏平台
CN106536004B (zh) * 2014-04-30 2019-12-13 惠普发展公司,有限责任合伙企业 增强的游戏平台

Also Published As

Publication number Publication date
BRPI0912583A2 (pt) 2015-10-13
ZA201007423B (en) 2012-01-25
US8204299B2 (en) 2012-06-19
EP2283466A1 (en) 2011-02-16
RU2491638C2 (ru) 2013-08-27
WO2009151794A1 (en) 2009-12-17
MX2010012826A (es) 2010-12-07
CN107123141A (zh) 2017-09-01
JP2011524571A (ja) 2011-09-01
KR101557297B1 (ko) 2015-10-06
CA2722924A1 (en) 2009-12-17
AU2009257959A1 (en) 2009-12-17
CA2722924C (en) 2016-08-30
EP2283466A4 (en) 2011-10-26
AU2009257959B2 (en) 2014-06-12
US20090310851A1 (en) 2009-12-17
KR20110015593A (ko) 2011-02-16
MY161994A (en) 2017-05-31
EP2283466B1 (en) 2018-12-05
RU2010150798A (ru) 2012-06-20
BRPI0912583B1 (pt) 2020-02-18

Similar Documents

Publication Publication Date Title
CN102057401A (zh) 嵌入到设备中的3d内容聚集
US10217294B2 (en) Procedural authoring
CN104239408B (zh) 基于由移动设备记录的图像的内容的数据访问
US20200089661A1 (en) System and method for providing augmented reality challenges
US10198846B2 (en) Digital Image Animation
CN110458360B (zh) 热门资源的预测方法、装置、设备及存储介质
EP2551792B1 (en) System and method for computing the visual profile of a place
US20110246561A1 (en) Server apparatus, client apparatus, content recommendation method, and program
US20080165081A1 (en) Multi-frame display system with perspective based image arrangement
CN113766296B (zh) 直播画面的展示方法和装置
CN104205157B (zh) 合作媒体收集系统和方法
CN102129812A (zh) 在街道级图像的上下文中观看媒体
JP2010515965A (ja) 意味論上の画像配置を伴うマルチ−フレーム・ディスプレイ・システム
CN109688451A (zh) 摄像机效应的提供方法及系统
CN111491187B (zh) 视频的推荐方法、装置、设备及存储介质
CN112989214A (zh) 一种旅游信息展示方法及相关设备
CN116319862A (zh) 一种智能匹配数字图书馆的系统及方法
US20210182918A1 (en) Generating 360 degree interactive content
Akers et al. Simulated gold-standard for quantitative evaluation of monocular vision algorithms
Widiyaningtyas et al. Adaptive Campus Virtual Tour using Location-Based Services
Uusitalo et al. A solution for navigating user-generated content
WO2019023959A1 (zh) 一种基于智能终端的空间布局控制方法及空间布局控制系统
KR20240081641A (ko) 인물 인식을 이용하여 성장 일기를 생성하는 방법 및 시스템
CN115619901A (zh) 一种素材剪辑方法、装置、电子设备和存储介质
Lee Interface design and implementation of a collaborative observatory for natural environments

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150727

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150727

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

RJ01 Rejection of invention patent application after publication

Application publication date: 20110511

RJ01 Rejection of invention patent application after publication