CN104520850B - 文档中三维对象浏览 - Google Patents

文档中三维对象浏览 Download PDF

Info

Publication number
CN104520850B
CN104520850B CN201380042074.5A CN201380042074A CN104520850B CN 104520850 B CN104520850 B CN 104520850B CN 201380042074 A CN201380042074 A CN 201380042074A CN 104520850 B CN104520850 B CN 104520850B
Authority
CN
China
Prior art keywords
image
database
images
image objects
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380042074.5A
Other languages
English (en)
Other versions
CN104520850A (zh
Inventor
G·G·茨维格
E·J·斯托尼茨
R·泽里斯基
S·辛哈
J·克普夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN104520850A publication Critical patent/CN104520850A/zh
Application granted granted Critical
Publication of CN104520850B publication Critical patent/CN104520850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/93—Document management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

可获取包括二维(2‑D)图像的表示的文档。可获取指示对2‑D图像的至少一部分的选择的选择指示符。可确定2‑D图像的所选部分与存储在对象数据库中的三维(3‑D)图像对象之间的匹配对应性，匹配对应性基于web爬寻器分析结果。可发起与2‑D图像的所选部分对应的3‑D图像对象的3‑D呈现。

Description

文档中三维对象浏览
背景
电子设备的用户常常搜索可能包括文本和图像的项目。例如，如果用户正在搜索要购买的项目，可能期望首先查看该项目的图片。此外，商家可能希望张贴其产品高品质的图像，期望用户将在视觉上被吸引来立即购买其产品。作为另一示例，在预定旅行的机票之前，用户可能希望查看他们想要访问的地方的图像，来获得对各种环境的“感受”。
发明内容
根据一个大体方面，系统可包括一个或多个处理器以及存储可由这一个或多个处理器执行的指令的至少一个有形计算机可读存储介质。可执行指令可被配置成使至少一个数据处理装置获取查询结果，并基于所获取的查询结果来获取包括表示一图像的第一图像对象的文档。此外，该至少一个数据处理装置可获取表示对该图像的至少一部分的选择的选择指示符。此外，该至少一个数据处理装置可基于之前存储在图像关联数据库索引中的web爬寻器图像匹配分析结果，来确定图像的所选部分与数据库三维(3-D)图像对象之间的匹配对应性。此外，该至少一个数据处理装置可发起与图像的所选部分对应的数据库3-D图像对象的3-D呈现。
根据另一方面，可获取多个数据库三维(3-D)图像对象。数据库3-D图像对象中的每一个对象可表示与对应的二维(2-D)图像相关联的3-D模型。可发起将多个数据库3-D图像对象存储在3-D模型数据库中。可基于web爬寻操作来获取文档，文档包括表示第一2-D图像的图像对象。可确定所获取的图像对象与数据库3-D图像对象中的匹配的一个图像对象之间的匹配对应性。匹配的数据库3-D图像对象可表示与第一2-D图像相关联的匹配3-D模型。可发起将匹配指示符输入到图像关联数据库索引中。匹配指示符可指示包括在文档中的所获取的图像对象与存储在3-D模型数据库中的匹配的数据库3-D图像对象之间的匹配对应性。
根据另一方面，有形地体现在计算机可读存储介质上的计算机程序产品可包括可执行代码，这些代码使至少一个数据处理装置获取包括二维(2-D)图像的表示的文档。此外，该至少一个数据处理装置可获取表示对该2-D图像的至少一部分的选择的选择指示符。此外，该至少一个数据处理装置可经由设备处理器来获取2-D图像的所选部分与存储在对象数据库中的三维(3-D)图像对象之间的匹配对应性，匹配对应性是基于可web爬寻器分析结果的。此外，该至少一个数据处理装置可发起与2-D图像的所选部分对应的3-D图像对象的3-D呈现。
提供本概述是为了以简化的形式介绍将在以下具体实施方式中进一步描述的概念选择。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。一个或多个实现的细节在以下的附图和说明书中阐述。其他特征将从说明书和附图以及权利要求书中显而易见。
附图
图1是用于文档中三维对象浏览的示例系统的框图。
图2是用于文档中三维对象浏览的示例系统的框图。
图3描绘了示例文档中三维对象浏览的示例用户视图。
图4描绘了示例文档中三维对象浏览的示例用户视图。
图5是用于文档中三维对象浏览的示例系统的框图。
图6是用于文档中三维对象浏览的示例系统的框图。
图7是示出图1的系统的示例操作的流程图。
图8是示出图2的系统的示例操作的流程图。
图9是示出图1的系统的示例操作的流程图。
具体实施方式
搜索引擎的用户常常期望所搜索的项目的图像，来提供更享受的视觉(或其它感官)浏览体验。本文讨论的示例技术可提供选择(例如，经由点击、触摸、语音命令或其它姿势)web上的图像中的对象、以及接收该对象的三维(3-D)表示(例如，在web浏览器中弹出)的能力，以便提供如同用户将该对象本身从图片拉出一般的视觉用户体验。例如，用户然后可操纵3-D表示(例如，转动3-D图像)来从不同的角度查看它。例如，用户可查看诸如在哪里购买图像所表示的项目以及其他人关于该项目说了什么的注释。本文讨论的示例技术可因此至少被用于搜索、浏览和广告体验。
根据一示例实施例，当对象被操纵时，对社区注释的链接可鞭策可见，使得用户可查看其他人关于该项目说了什么。例如，如果用户点击PRIUS(普锐斯)的图片，则可向用户提供点击一组对它如何工作的评论、证明、描述等的机会。例如，对象可一般提供维基百科一般的信息集合的入口点，这些信息通过点击该图像在任何图片中的任何出现来访问。根据本文讨论的示例实施例，赞助链接和音频可在对象激活和/或操纵的同时被展示并播放。
根据一示例实施例，服务器或云供应商(或供应商群组)可维护至少一个数据库3-D对象模型，然后发起在图像中对它们的扫描，作为搜索引擎(例如，BING、GOOGLE、YAHOO！)的web爬寻的一部分。根据一示例实施例，当在图像中检测到对象时，后续用户点击(或其它选择动作)可在数据库中实例化3-D模型以便操纵。
如本文进一步讨论地，可维护一个或多个3-D图像对象数据库。例如，与3-D图像对象相关联的图像可被扫描，作为离线web爬寻的一部分。例如，可基于相关联的网页文本中的项目，来确定要扫描的对象集合。
作为另一示例，可按需针对用户最近搜索过的项目扫描图像。例如，如果用户搜索SWINGLINE订书机，可针对SWINGLINE订书机的存在来扫描随后被查看的图像。
如本文进一步讨论地，可维护关联的数据库，该数据库指示存在于特定图像中的对象以及它们出现在何处。如本文进一步讨论地，web浏览器可被修改以在浏览器用户选择(例如，经由点击或其它选择动作)文档中当前显示的图像的一部分时，提供相关联的3-D对象的实例化以及3-D对象的显示。
根据一示例实施例，社区注释可与数据库中的3-D对象相关联。此外，社区注释可与各自相关联的3-D对象相关联地显示。
根据一示例实施例，赞助内容(例如，赞助广告)可在用户操纵实例化的对象时被提供(例如，显示、播放)。
根据一示例实施例，当文档(例如，网页)被浏览时，与数据库中的3-D对象相关联的图像可被显示为“活动对象”。这些对象可被称为“活动”的，因为它们可自发地显示向查看者表示它们可被动画化成3-D的一些属性。例如，当文档(例如，网页)被浏览时，相关联的图像可被显示为自发晃动或移动(或以其它方式突出显示或动画化)。
根据一示例实施例，这样的活动对象可被用作一种形式的广告。例如，诸如TOYOTA的公司可付费来使得只要包括PRIUS的图像被查看，红色的PRIUS的出现就自发地在网页上晃动。例如，这样的活动可吸引用户在其上点击(或其它方式选择图像)以进一步询问产品。
根据一示例实施例，基于上下文的过滤可被用于确定当用户浏览文档时，哪个对象可被激活或动画化。例如，用户上下文(例如，近来的搜索查询、用户的已知爱好)可被用于确定何时允许对象被动画化。例如，如果用户搜索“PRIUS”，然后浏览没有可与TOYOTAPRIUS或HONDA ACCORD中任一匹配的其它信息的页面，则可确定当用户在模棱两可的区域上点击时，将激活PRIUS模型。或者，如果用户浏览包括TOYOTA PRIUS和HONDA ACCORD两者的图像的页面，则可确定将仅激活TOYOTA PRIUS图像，且当该图像被选中时它将以3-D呈现。
如本文进一步讨论地，图1是用于文档中三维对象浏览的系统100的框图。如图1中所示，系统100可包括三维(3-D)对象处理器102，它包括可被配置成获取查询结果106的查询管理器104。例如，可响应于查询108来获取查询结果106。例如，用户110可经由用户输入设备来输入查询108。
根据一示例实施例，3-D对象处理器102或其一个或多个部分可包括可被存储在有形计算机可读存储介质上的可执行指令，如下所讨论。根据一示例实施例，计算机可读存储介质可包括任何数量的存储设备以及任何数量的存储介质类型，包括分布式设备。根据一示例实施例，3-D对象处理器102可关联于一个或多个用户设备来被实现。例如，3-D对象处理器102可在用户设备上被实现为插件或附件。例如，3-D对象处理器102可与服务器通信，如以下进一步讨论。
例如，实体储存库112可包括一个或多个数据库，且可经由数据库接口组件114来访问。数据处理领域的技术人员将理解，存在用于存储本文中所讨论的储存库信息的许多种技术，诸如各种类型的数据库配置(例如关系数据库、分层数据库、分布式数据库)和非数据库配置。
根据一示例实施例，3-D对象处理器102可包括可存储查询结果106的存储器116。在该上下文中，“存储器”可包括被配置成存储数据和/或指令的单个存储器设备或多个存储器设备。此外，存储器116可跨多个分布的存储设备。
根据一示例实施例，用户接口组件118可管理用户110与3-D对象处理器102之间的通信。用户110可与接收设备120相关联，接收设备120可与显示器122和其它输入/输出设备相关联。例如，显示器122可被配置成经由内部设备总线通信或经由至少一个网络连接与接收设备120通信。
根据示例实施例，显示器122可被实现为平面屏幕显示器、印刷形式显示器、二维显示器、三维显示器、静态显示器、运动显示器、传感器显示器(诸如触觉输出、听觉输出以及任何其它形式输出)以用于与用户(例如，用户110)通信。
根据一示例实施例，3-D对象处理器102可包括网络通信组件124，网络通信组件124可管理3-D对象处理器102与可经由至少一个网络126和3-D对象处理器102通信的其它实体之间的网络通信。例如，网络126可包括因特网、至少一个无线网络、或至少一个有线网络的至少其中之一。例如，网络126可包括蜂窝网络、无线电网络或可支持用于3-D对象处理器102的数据传输的任何类型的网络。例如，网络通信组件124可管理3-D对象处理器102与接收设备120之间的网络通信。例如，网络通信组件124可管理用户接口引擎118与接收设备120之间的网络通信。
根据一示例实施例，3-D对象处理器102或其一个或多个部分可经由关联于用户设备的浏览器插件来被实现。
文档获取组件128可被配置成基于所获取的查询结果106来获取包括表示图像134的第一图像对象132的文档130。例如，图像134可包括二维(2-D)图像。
选择器组件136可被配置成获取表示对图像134的至少一部分的选择的选择指示符138。
图像匹配组件140可被配置成基于之前存储在图像关联数据库索引146中的web爬寻器图像匹配分析结果，来经由设备处理器142确定图像134的所选部分与数据库三维(3-D)图像对象144之间的匹配对应性。
在该上下文中，“处理器”可包括被配置成处理与处理系统关联的处理指令的单个处理器或多个处理器。处理器由此可包括以并行方式和/或分布式方式处理指令的一个或多个处理器。尽管设备处理器142在图1中被描绘为在3-D对象处理器102外部，但数据处理领域的技术人员将理解，设备处理器142可被实现为单个组件和/或可位于3-D对象处理器102和/或其任何元件的内部或外部的分布式单元。
例如，系统100可包括一个或多个处理器142。例如，系统100可包括存储可由一个或多个处理器执行的指令的至少一个有形计算机可读存储介质，可执行指令被配置成使至少一个数据处理装置执行与包括在系统100中的各个示例组件相关联的操作，如本文所讨论地。例如，一个或多个处理器142可被包括在至少一个数据处理装置中。数据处理领域的技术人员将理解，存在可根据本文的讨论配置的处理器和数据处理装置的许多配置，而不背离这样的讨论的精神。
在本上下文中，“组件”可指的是可被配置成执行某些操作的指令或硬件。这样的指令可被包括在指令的组成群组内，或可跨多于一个群组分布。例如，与第一组件的操作相关联的一些指令可被包括在与第二组件(或更多组件)的操作相关联的指令的群组中。
3-D呈现组件148可被配置成发起与图像134的所选部分对应的数据库3-D图像对象144的3-D呈现。
例如，可维护数据库3-D图像对象144的对象数据库150。例如，3-D图像对象144可包括3-D模型。例如，可以与搜索引擎或web爬寻器相关联地维护3-D图像对象144的数据库150。例如，3-D模型可经由旋转摄影、激光扫描、诸如KINECT输入设备、LIFECAM相机的3-D相机设备、由各个用户生成的计算机辅助设计(CAD)模型等来被输入到数据库150。例如，制造商和/或零售商可能希望上传与其当前的产品供应相关联的3-D模型。
例如，web爬寻器可检测与图像中的3-D模型相关联的对象。例如，web爬寻器可基于包括在web文档中的图像字幕来检测相关联的对象。
根据一示例实施例，3-D呈现组件148可被配置成发起基于与图像134的所选部分相关联的3-D弹出图像的呈现，来发起3-D呈现。
例如，图像匹配组件140可被配置成基于web爬寻器图像匹配分析结果和基于上下文152来确定匹配对应性，上下文152基于以下一项或多项：查询108、位于所获取的文档130中在所获取的第一图像对象132的预定邻近程度内的文本、与所获取的文档130相关联的标题、经由引用所获取的文档130的源来获取的信息、或与所获取的第一图像对象132相关联的存储地址指示符。
注释组件154可被配置成获取与数据库3-D图像对象144相关联的一个或多个注释156。例如，注释156可包括社区注释，诸如各种用户体验、评论和/或与数据库3-D图像对象144相关联的证明。例如，这样的注释156可从各个用户直接获取，或可从诸如社交网络应用或“维基”型源的其它源获取。例如，注释156可包括描述性项目，它们描述与数据库3-D图像对象144相关联的3-D图像的各个部分。
例如，注释156可包括项目的各个部分的名称，诸如相机、动物、结构、电子小工具等，它们可经由数据库3-D图像对象144被描绘为3-D图像。例如，注释156可包括结构或建筑物的名称，它们可经由数据库3-D图像对象144按群组被描绘为3-D图像。例如，当用户在诸如与数据库3-D图像对象144对应的2-D图像的对象上点击时，可随3-D呈现来显示注释156。
例如，注释156可包括文本、音频和/或任何其它感官数据，诸如变化的压力、变化的温度、所显示的对象的色彩修改、崩塌的墙壁、烟雾、蒸汽、气味等。
根据一示例实施例，图像对象检索组件158可被配置成向对象数据库150发起对与图像134的所选部分对应的数据库3-D图像对象144的检索。
根据一示例实施例，3-D呈现组件148可被配置成伴随所获取的注释156发起所检索到的与图像134的所选部分对应的数据库3-D图像对象144的3-D呈现。
根据一示例实施例，注释组件154可被配置成从用户、市场营销应用、社交网络应用或注释数据库中的一个或多个获取与数据库3-D图像对象144相关联的一个或多个注释156。
根据一示例实施例，注释156的至少一部分可包括一个或多个图像场所指示符160，这些指示符指示数据库3-D图像对象144内与注释156的部分中所包括的注释156中的每一个相关联的场所。
根据一示例实施例，3-D呈现组件148可被配置成伴随注释156的部分发起与图像134的所选部分对应的检索到的数据库3-D图像对象144的3-D呈现，该注释部分与检索到的数据库3-D图像对象144内的所指示的场所相关联地显示。
根据一示例实施例，用户操纵组件162可被配置成从用户输入设备获取操纵指示符164。3-D呈现组件148可被配置成基于所接收到的操纵指示符164，发起与图像134的所选部分对应的数据库3-D图像对象144的3-D呈现。
例如，3-D呈现组件146可被配置成基于与数据库3-D图像对象144相关联的多个不同3-D旋转图像视图的3-D呈现，来发起数据库3-D图像对象144的3-D呈现。例如，操纵指示符164可包括与输入设备上的双向用户移动相关联的坐标。例如，如果用户110将鼠标移动到右边，操纵指示符164可包括与向右移动的鼠标相关联的变化的坐标，操纵指示符164且可由3-D呈现组件148使用来发起对数据库3-D图像对象144的3-D呈现以指示相关联的3-D图像的右旋转。
例如，操纵指示符164可指示指向相关联的3-D图像的用户变形动作。例如，用户110可查看与“现货”婚戒相关联的3-D图像，且如有需要，可变形戒指的各个部分来选择来定制戒指。例如，用户110然后可发起定制的戒指到3-D打印设备的打印。例如，3-D打印版本然后可被用作实际定制的婚戒的模具。数据处理领域的技术人员将理解，存在用于这样的变形活动的许多其它应用，而不背离本文讨论的精神。
根据一示例实施例，3-D呈现可经由数据库3-D图像对象144的3-D打印来完成。例如，3-D打印机可从诸如3D-SYSTEMS和DESKTOP FACTORY的公司购得。
作为另一示例，用户110可使3-D图像变形成不同的3-D图像，然后可发起将该不同的3-D图像存储到对象数据库150中。
示例动画组件166可被配置成发起一个或多个活动图像的指示的呈现。例如，呈现可包括与一个或多个活动图像相关联的晃动活动的呈现，或与一个或多个活动对象相关联的一个或多个活动图像视觉指示符的呈现。例如，为指示的呈现而对一个或多个活动图像的选择基于以下一项或多项：与查询(170)相关联的属性168、从用户简档172获取的属性、与近来的查询历史174相关联的属性、从社交网络信息176获取的属性、从赞助内容180的一个或多个赞助商178获取的属性、或从图像关联数据库索引获取的匹配信息。
例如，用户110可发起对搜索项目(诸如“玩具鸟”)的web搜索。例如，与web搜索相关联的web浏览器可发起在所有检索到的网页中所搜索项的出现的激活(例如，经由动画)。例如，动画可吸引用户的注意力以选择(例如，点击)和操纵与2-D图像相关联的3-D呈现。
根据一示例实施例，赞助内容组件182可被配置成，基于以下一项或多项来发起与图像134的所选部分对应的赞助内容180的输出：伴随一个或多个活动图像的指示的3-D呈现发起赞助内容180的输出，或伴随数据库3-D图像对象144的3-D呈现发起赞助内容180的输出。
例如，当用户选择或在对象上点击时，用户可经历(例如，查看、收听、感觉)赞助链接和/或收听赞助音频，或经历可与所选对象相关联的其它感官活动。例如，赞助内容180可被显示为对与赞助商相关联的网页的链接，或作为对赞助内容180的查看者可用的销售和折扣的广告。根据一示例实施例，赞助内容180可包括赞助的音轨，诸如商业广告或产品证明，伴随数据库3-D图像对象144的3-D呈现和/或一个或多个活动图像的指示的3-D呈现。
根据如图2中所示的另一方面，3-D对象服务器202可包括数据库获取组件204，该组件可被配置成获取多个数据库3-D图像对象206。数据库3-D图像对象206中的每一个对象可表示与对应的二维(2-D)图像208相关联的三维(3-D)模型。例如，3-D对象服务器202可与3-D对象处理器102通信。例如，3-D对象服务器202可与3-D对象处理器102直接或经由一个或多个网络通信。
根据一示例实施例，3-D对象处理器202或其一个或多个部分可包括可被存储在计算机可读存储介质上的可执行指令，如下所讨论。根据一示例实施例，计算机可读存储介质可包括任何数量的存储设备以及任何数量的存储介质类型，包括分布式设备。
例如，实体储存库212可包括一个或多个数据库，且可经由数据库接口组件214来访问。数据处理领域的技术人员将理解，存在用于存储本文中所讨论的储存库信息的许多种技术，诸如各种类型的数据库配置(例如关系数据库、分层数据库、分布式数据库)和非数据库配置。
根据一示例实施例，3-D对象服务器202可包括可存储数据库3-D图像对象206的存储器216。如上所述，“存储器”可包括被配置成存储数据和/或指令的单个存储器设备和多个存储器设备。此外，存储器216可跨多个分布的存储设备。
根据一示例实施例，用户接口组件218可管理用户220与3-D对象服务器202之间的通信。用户218可与接收设备220相关联，接收设备120可与显示器222和其它输入/输出设备相关联。例如，显示器222可被配置成经由内部设备总线通信或经由至少一个网络连接与接收设备220通信。
根据示例实施例，显示器222可被实现为平面屏幕显示器、印刷形式显示器、二维显示器、三维显示器、静态显示器、运动显示器、传感器显示器(诸如触觉输出、听觉输出以及任何其它形式输出)以用于与用户(例如，用户218)通信。
根据一示例实施例，3-D对象服务器202可包括网络通信组件224，网络通信组件124可管理3-D对象服务器202与可经由至少一个网络226和3-D对象服务器202通信的其它实体之间的网络通信。例如，网络226可包括因特网、至少一个无线网络、或至少一个有线网络的至少其中之一。例如，网络226可包括蜂窝网络、无线电网络或可支持用于3-D对象服务器102的数据传输的任何类型的网络。例如，网络通信组件224可管理3-D对象服务器202与接收设备220之间的网络通信。例如，网络通信组件224可管理用户接口引擎218与接收设备220之间的网络通信。
数据库存储组件228可发起经由设备处理器230将多个数据库3-D图像对象206存储在对象数据库232中。例如，对象数据库232可包括3-D模型数据库。
如上所述，“处理器”可包括被配置成处理与处理系统关联的处理指令的单个处理器或多个处理器。处理器由此可包括以并行方式和/或分布式方式处理指令的一个或多个处理器。尽管设备处理器230在图2中被描绘为在3-D对象服务器202外部，但数据处理领域的技术人员将理解，设备处理器230可被实现为单个组件和/或可位于3-D对象服务器102和/或其任何元件的内部或外部的分布式单元。
文档获取组件234可基于web爬寻操作来获取文档238，文档238包括表示第一2-D图像208的图像对象240。
匹配管理器242可确定所获取的图像对象240与数据库3-D图像对象206中匹配的一个对象之间的匹配对应性，匹配的数据库3-D图像对象206表示与第一2-D图像208相关联的匹配的3-D模型。
例如，利用底层场景的公共3-D几何的、用于浏览和组织的流行站点的大型相片集合的系统在Noah Snavely、Steven M.Seitz、Richard Szeliski的“Photo tourism:Exploring photo collections in 3D(相片旅行：在3D中探索相片集合)”，ACM图形学汇刊(SIGGRAPH会议记录)，25(3)，2006，第835-846页中讨论。其中讨论的方法是基于从图像本身确定拍摄者的位置和方向以及底层场景的稀疏3D几何表示的。
例如，匹配管理器242还可确定数据库3-D图像对象206与从附加源获取的图像之间的匹配。例如，匹配管理器242还可确定数据库3-D图像对象206与从视频获取的帧或从用户输入获取的图像之间的匹配。
索引输入管理器244可发起将匹配指示符246输入到图像关联数据库索引248中，该匹配指示符指示包括在文档238中所获取的图像对象240与存储在对象数据库232中的匹配的数据库3-D图像对象206之间的匹配对应性。
根据一示例实施例，在索引期间，潜在的匹配可基于在网页上搜索在搜索引擎对一项目的搜索不久之后查看的该项目来受到限制。另外，与图像相关联的文本可用于进一步限制潜在匹配的集合。根据一示例实施例，在运行时，在搜索引擎对特定项目的搜索的上下文中，可执行后续的验证步骤，且如果验证成功，可仅激活或动画化搜索到的对象。
根据一示例实施例，相关联的文本和用户搜索历史可被用于协助识别(例如，回答问题“在这一图像中出现了什么？”)，潜在地降低了识别对检测的比率(例如，回答问题“在这一图像中有MICROSOFT XBOX控制台吗？”)。具体地，只要用户提交搜索引擎查询或访问购物网站的产品页面，就可确定在后续查看的图像和视频中要搜索什么。
根据一示例实施例，确定匹配对应性包括确定所获取的图像对象240的一部分与数据库3-D图像对象206中匹配的一个之间的匹配对应性，匹配的3-D图像对象206表示与第一2-D图像208的一部分相关联的3-D图像模型。
根据一示例实施例，发起匹配指示符246的输入包括发起将匹配指示符246输入到图像关联数据库索引248中，该匹配指示符指示包括在文档238中所获取的图像对象240的一部分与存储在对象数据库232中的匹配的数据库3-D图像对象206之间的匹配对应性。
根据一示例实施例，确定匹配对应性包括基于以下一项或多项确定所获取的图像对象240与数据库3-D图像对象206中匹配的一个之间匹配对应性：所获取的文档238中所获取的图像对象240的上下文250、从用户获取的匹配选择252或与所获取的图像对象240相关联的存储地址指示符254。
根据一示例实施例，上下文250可包括以下一项或多项：所获取的文档238中位于所获取的图像对象240预定的邻近程度内的文本、与文档238相关联的标题、或经由引用所获取的文档238的源来获取的信息。
根据一示例实施例，存储地址指示符254包括统一资源定位符(URL)。例如，URL可包括所获取的图像对象240本身的URL，或它可包括所获取的文档238的URL。
例如，所获取的文档238可包括以下一项或多项：网页、视频文件、包括一个或多个嵌入图像的文本文档、包括一个或多个嵌入图像的电子邮件消息、或包括一个或多个附加图像的文档。例如，如果所获取的文档238包括视频文件，则确定匹配对应性可包括确定包括在视频文件中的2-D帧与数据库3-D图像对象206中匹配的一个之间的匹配对应性，匹配的数据库3-D图像对象206表示与2-D帧的至少一个部分对应的3-D图像模型。
根据一示例实施例，3-D对象请求组件260可被配置成接收对所请求的数据库3-D图像对象206中的一个的请求262，其中请求262包括与表示第二2-D图像208的第二图像对象240相关联的指示符。3-D对象请求组件260可基于访问存储在图像关联数据库索引248中的第二匹配指示符246，来获取所请求的数据库3-D图像对象206，其中第二匹配指示符246指示第二图像对象240与存储在对象数据库232中的所请求的数据库3-D图像对象206之间的匹配对应性。
根据一示例实施例，注释获取组件264可被配置成获取与数据库3-D图像对象206中的第一个数据库3-D图像对象相关联的多个注释266。
注释获取组件264可将注释266和指示符存储在注释数据库268中，该指示符指示数据库3-D图像对象206中的第一个数据库3-D图像对象与多个注释266之间的关联。
根据一示例实施例，接收请求262可包括接收对数据库3-D图像对象206中的第一个数据库3-D图像对象的请求262。
根据一示例实施例，获取所请求的数据库3-D图像对象206可包括获取所请求的数据库3-D图像对象206，并发起从注释数据库268检索相关联的多个注释266。
根据一示例实施例，获取与数据库3-D图像对象206中的第一个数据库3-D图像对象相关联的多个注释266可包括从用户、市场营销应用或社交网络应用中的一个或多个获取与数据库3-D图像对象206中的第一个数据库3-D图像对象相关联的多个注释266。
根据一示例实施例，获取与数据库3-D图像对象206中的第一个数据库3-D图像对象相关联的多个注释266可包括获取指示在数据库3-D图像对象206中的第一个数据库3-D图像对象内与多个注释266中的每一个相关联的场所的图像场所指示符270。
根据本文讨论的示例实施例，因特网上制造的项目的2-D图像可与3-D对象相关联，用户可旋转该3-D对象、从所有角度查看以及与之交互。例如，制造商和工匠可生成其产品的3-D模型并将其上传到对象数据库232中。由于搜索引擎对网页索引以便搜索，可扫描嵌入的图像，且可确定数据库对象的存在。随后，当浏览器用户在图像中的对象之一上点击时，全3-D模型可弹出页面供用户与之交互。当用户旋转对象时，他/她还可查看社区注释(例如，审阅、体验和一般信息)以及赞助链接和商业信息(例如，哪里购买产品以及定价)。根据本文讨论的示例实施例，用户上下文可被用于确定要在图像内激活哪些对象，以及当对象被操纵时要显示什么信息。
例如，用户上下文可被用于过滤可以与3-D呈现一起向用户显示的注释156。根据一示例实施例，供向特定用户显示的注释156可被限于从用户的社交网络“朋友”接收到的注释、或可与特定用户的已知兴趣相关的注释156。
图3描绘了示例文档中三维对象浏览的示例用户视图。如图3a中所示，浏览器窗口302包括搜索文本框304。如图3a中所示，用户在搜索文本框304中输入了对于“数码相机”的搜索查询。如图3a中所示，八个搜索结果出现在浏览器窗口302中，指示包括各个数码相机的2-D图像的各个检索到的项目的品牌和价格范围。
如图3b中所示，激活了检索到的图像中的三个，由活动箭头308、310、312所指示，这些箭头被示为围绕相应的数码相机。根据本文讨论的示例实施例，与活动箭头308、310、312相关联的图像可随动画特征(例如，“晃动”或旋转运动)来显示，以进一步向用户告知与活动箭头308、310、312相关联的图像可被选择来进行3-D激活。
还如图3b所示，赞助内容314可被显示，该内容与关联于活动箭头308、310和/或312的图像相关联。例如，可向网页显示链接，这些链接可提供与关联于活动箭头308、310、312的图像相关联的项目的进一步信息。
如图3c中所示，用户选择了与活动箭头312相关联的图像(例如，“品牌H”)，且相关联的数码相机的3-D弹出图像316被显示。如图3c中所示，注释318也可被显示，指示相关联的数码相机的各个特征、指示各个特征(例如，闪光灯热靴、模式选择器、镜头释放钮、调整轮、快门释放钮)在相机上的位置。例如，浏览器可访问索引248来确定哪个数据库3-D图像对象208匹配与活动箭头312相关联的图像，以提供所确定的数据库3-D图像对象206的3-D呈现。例如，浏览器还可从注释数据库268检索相关联的注释266以便随3-D弹出图像316显示(使用相关联的图像场所指示符270)注释316。
用户可操纵所显示的3-D弹出图像316来获取图3d、3e、3f、3g和3h的旋转视图，或浏览器可自发地提供旋转的视图。如图3d、3e、3f、3g和3h中所示，注释316可由浏览器与数码相机中可出现或不出现在旋转视图中各部分对齐而变化。
图4描绘了示例文档中三维对象浏览的示例用户视图。如图4a中所示，浏览器窗口402包括搜索文本框404。如图4a中所示，用户在搜索文本框404中输入了对于“纽约市”的搜索查询。如图4a中所示，与帝国大厦和周围建筑物的图像406一起显示指示“纽约市景观”的结果。如图4a中所示，字幕408指示该图像示出了帝国大厦，而链接410指示了通过选择链接410的关于帝国大厦的进一步信息可用性。
如图4b中所示，激活了检索到的图像406，由活动箭头412所指示，该箭头被示为围绕图像406。根据本文讨论的示例实施例，与活动箭头412相关联的图像可随动画特征(例如，“晃动”或旋转运动)来显示，以进一步向用户告知与活动箭头412相关联的图像可被选择来进行3-D激活。
如图4c中所示，用户选择了与活动箭头相关联的图像，且帝国大厦的3-D弹出图像414被显示。用户可操纵所显示的3-D弹出图像414来获取图4d、4e、4f、4g、4h、4i和4j的旋转视图，或浏览器可自发地提供旋转的视图。如图4d、4e、4f、4g、4h、4i和4j中所示，旋转视图可从每一相应的旋转视图示出纽约市中围绕帝国大厦的各个建筑物。
尽管未在图4c、4d、4e、4f、4g、4h、4i和4j中所示，赞助内容也可随激活对象提供。例如，音频描述可伴随各个视图以解说当视图旋转时可能进入视图的地标或与相关联的景色的各个部分相关联的史实。作为另一示例，对旅游信息的解说可被提供，以向用户告知可进行的各种旅行安排(例如，附近的宾馆、饭店、演出)。
图5是用于文档中三维对象浏览的示例系统的框图。如图5所示，客户机502可与云系统504通信。例如，客户机502可包括随用户设备上的浏览器安置的浏览器插件。如图5中所示，客户机502包括查询组件506(例如，查询管理器104)、查看组件508和注释组件510(例如，注释组件154)。
还如图5中所示，云系统504包括图像数据库512、索引514(例如，索引146、248)、对象数据库516(例如，对象数据库150、232)和图像匹配数据库518。图像匹配数据库518可确定并跟踪哪些对象存在于图像中以及在何处。例如，图像匹配数据库518可将图像的URL与一组对象及其在图像中的位置和方向相关联。
如图5中所示，查询组件506可访问图像数据库512来确定与可被包括在所获取的文档中的(或可作为帧从视频中提取的)2-D图像相关联的匹配的3-D图像对象。
还如图5所示，云系统504包括与对象数据库516相关联的引入组件520。例如，用户可将3-D图像对象手动输入到对象数据库516中，如本文进一步讨论地。查看组件508可访问对象数据库来获取3-D图像对象以便激活可被包括在所获取的文档中的2-D图像(例如，经由3-D呈现组件148)。
注释数据库522可存储与3-D图像对象相关联的注释(例如，注释156、266)。如图5中所示，注释组件510可访问注释数据库522来存储和检索注释。如本文进一步讨论地，指示相关联的3D图像上的位置的与注释相关联的场所信息(例如，图像场所指示符160)可随注释存储在注释数据库522中。
图6是用于文档中三维对象浏览的示例系统的框图。根据一示例实施例，图6可提供用于文档中三维对象浏览的示例系统的概览。
如图6中所示，对象扫描组件602可向对象数据库604(例如，对象数据库150、232)提供3-D图像对象。如本文进一步讨论地，3-D图像对象可从各个源获取。例如，商家可提供3-D图像对象以与其当前的产品供应对应。
作为其它示例，爱好者、收藏者、玩家和艺术家可上传对象以显示在web上，而3-D图像对象可被扫描以对应于这些上传的对象。例如，汽车所有者可为由该汽车所有者在EBAY或AUTOTRADER上投放的二手车广告利用三维对象。例如，青年人可共享FACEBOOK上的青少年三维帖子。作为又一示例，著名地标和日常地点的三维演绎可被嵌入在诸如BINGMAPS或GOOGLE MAPS的地图服务中。
根据一示例实施例，PHOTOSYNTH可被用于将多张相片合成为3-D表示。作为一示例，各个爱好者可能能够访问(例如，爱好者的1966CAMARO(大黄蜂))相片的集合，从中合成对象。
根据一示例实施例，对3-D模型创建，至少从FOTOROBOT、SPINME和SNAP36可使用转盘(turntable)摄影技术。例如，AUTODESK PHOTOFLY应用允许用户在没有转盘的情况下从相片创建3-D模型。另外，ARQSPIN与用于采用蜂窝电话创建3-D模型的IPHONE应用相关联。此外，激光扫描可被用于获取3-D模型。
Web爬寻组件606可从对象数据库604和网页608获取信息，确定对象数据库604中的3-D图像对象以及可被包括在网页608中的图像之间的关联。Web爬寻组件606然后可向图像/对象索引610提供关联信息，以及向web索引612提供关联和其它爬寻信息。
用户查询614可被提供给搜索引擎616，搜索引擎616然后可提供页面结果618作为处理用户查询614的结果。Web浏览器620可获取页面结果618(例如，作为查询结果106，该结果包括文档130)。Web浏览器620可确定包括在页面结果中的图像对象132与数据库3-D图像对象之间的匹配(经由图像/对象索引610)且可发起从对象数据库604检索匹配的数据库3-D图像对象144。
根据一示例实施例，浏览器插件或附件可被实现以解释所注释的图像、访问数据库后端、动画化对象的出现以及显示赞助广告和社区注释。例如，图1的3-D对象处理器102可包括这样的浏览器插件或附件的功能。例如，在搜索引擎搜索的上下文中，浏览器620可发起对搜索引擎(例如，BING、GOOGLE)的调用。在显示图像之前，浏览器620可检查索引610来确定在图像中是否存在任何对象。浏览器620然后可实现动画功能，并访问对象数据库604以检索相关的3-D模型。浏览器620然后可访问社区注释数据库626以显示注释。浏览器620然后可访问赞助注释数据库(在图6中未被显示为单独的数据库)以显示赞助注释。
页面结果618和匹配的数据库3-D图像对象144的至少一部分可向用户显示622(例如，经由3-D呈现组件148)。如图6中所示，用户还可向注释数据库626(例如，注释数据库268)提供用户注释624。如本文进一步讨论地，用户可在该用户正在查看与数据库3-D图像对象144之一相关联的3-D图像的呈现的同时提供用户注释(例如，注释156)，使得图像场所指示符160可被获取并随用户注释624存储在注释数据库626中。如本文进一步讨论地，存储在注释数据库626中的注释还可供web浏览器620使用以便与对应的数据库3-D图像对象144相关联地显示，来作为对用户622的显示。
根据一示例实施例，图6的系统可分析3-D图像中描绘的对象的对称性，然后将出现在初始2-D视图中的色彩和其它视觉属性转换成3-D图像的各种旋转视图。例如，用户可提交查询以搜索“AIRBUS A320”。用户可获取A320飞机的2-D图像，该飞机主要是白的，有蓝色的尾翼，针对的是显示跑道、山丘和天空的背景。如果用户选择该图像，可呈现用户可旋转的飞机的3-D版本。例如，基于自动利用对象的对呈现，并将相同的涂装投影到两侧，飞机的单张相片的白色和蓝色涂装可被转换成3-D模型供用户交互。
作为另一示例，用户可搜索“FORD F-150”，并查看“视频”分类下的结果。根据一示例实施例，当用户悬停在任何视频上时，小预览可开始播放。预览可描绘红色的F-150沿公路驾驶。如果用户选择(例如，点击)该皮卡车，该视频可暂停，且该卡车可被描绘为3-D呈现。例如，用户可旋转卡车并从任何角度查看它，且当用户将其放回时，视频可继续。
根据一示例实施例，如果用户再次停止视频并右击，则新窗口可显示(例如，在显示器的角落中)，F-150的其它图像闪过。例如，用户可输入示例对象门户。如果用户在该对象门户上点击，则他/她可被定向到跨web取得的其它F-150图像的集合。
图7是示出根据示例实施例的图1的系统的示例操作的流程图。在图7a的示例中，查询结果可被获取(702)。例如，查询管理器104可获取查询结果106，如上所述。
基于所获取的查询结果，包括表示一图像的图像对象的文档可被获取(704)。例如，文档获取组件128可获取文档130，如上所述。
表示对图像的至少一部分的选择的选择指示符可被获取(706)。例如，选择器组件136可获取选择指示符138，如上所述。
可基于之前存储在图像关联数据库索引中的web爬寻器图像匹配分析结果，来确定图像的所选部分与数据库三维(3-D)图像对象之间的匹配对应性(708)。例如，图像匹配组件140可经由设备处理器142确定图像134的所选部分与数据库3-D图像对象144之间的匹配对应性，如上所述。
与图像的所选部分对应的数据库3-D图像对象的3-D呈现可被发起(710)。例如，3-D呈现组件148可发起数据库3-D图像对象144的3-D呈现，如上所述。
例如，可响应于查询来获取查询结果(712)。
根据一示例实施例，发起3-D呈现可包括发起与图像的所选部分相关联的3-D弹出图像的呈现(714)。例如，3-D呈现组件148可基于发起与图像134的所选部分相关联的3-D弹出图像的呈现，来发起数据库3-D图像对象144的3-D呈现，如上所述。
例如，可基于web爬寻器图像匹配分析结果和上下文来确定匹配对应性，上下文基于以下一项或多项：查询、位于所获取的文档中在所获取的第一图像对象的预定邻近程度内的文本、与所获取的文档相关联的标题、经由引用所获取的文档的源来获取的信息、或与所获取的第一图像对象相关联的存储地址指示符(716)。
根据一示例实施例，操纵指示符可从用户输入设备获取(718)。例如，用户操纵组件162可从用户输入设备获取操纵指示符164，如上所述。
根据一示例实施例，发起3-D呈现可包括基于所接收到的操纵指示符，发起与图像的所选部分对应的数据库3-D图像对象的3-D呈现(720)。例如，3-D呈现组件148可基于所接收到的操纵指示符164，发起与图像134的所选部分对应的数据库3-D图像对象144的3-D呈现，如上所述。
例如，发起3-D呈现可包括基于与数据库3-D图像对象相关联的多个不同3-D旋转图像视图的3-D呈现，来发起与图像的所选部分对应的数据库3-D图像对象的3-D呈现。例如，3-D呈现组件148可基于与数据库3-D图像对象144相关联的多个不同3-D旋转图像视图的3-D呈现，来发起与图像134的所选部分对应的数据库3-D图像对象144的3-D呈现，如上所述。
根据一示例实施例，在图7c的示例中，与数据库3-D图像对象相关联的一个或多个注释可被获取(724)。例如，注释组件154可获取与数据库3-D图像对象144相关联的一个或多个注释156，如上所述。
根据一示例实施例，可发起从对象数据库检索与图像的所选部分对应的数据库3-D图像对象(726)。例如，图像对象检索组件158可发起从对象数据库150检索与图像134的所选部分对应的数据库3-D图像对象144，如上所述。
例如，发起3-D呈现可包括伴随所获取的注释发起与图像的所选部分对应的检索到的数据库3-D图像对象的3-D呈现(728)。例如，3-D呈现组件148可伴随所获取的注释156发起与图像134的所选部分对应的检索到的数据库3-D图像对象144的3-D呈现，如上所述。
与数据库3-D图像对象相关联的一个或多个注释可从用户、市场营销应用、社交网络应用或注释数据库中的一个或多个获取(730)。
注释的至少一部分可包括一个或多个图像场所指示符，这些指示符指示数据库3-D图像对象内与注释的部分中所包括的每一个注释相关联的场所(732)。例如，注释156的至少一部分可包括一个或多个图像场所指示符160，这些指示符指示数据库3-D图像对象144内与部分中所包括的注释156中的每一个相关联的场所，如上所述。
根据一示例实施例，发起3-D呈现可包括伴随与检索到的与图像的所选部分对应的数据库3-D图像对象内所指示的场所相关联显示的注释的部分发起所检索到的数据库3-D图像对象的3-D呈现。例如，3-D呈现组件148可被配置成伴随与所检索到的与图像134的所选部分对应的数据库3-D图像对象144内所指示的场所相关联显示的注释156的部分发起数据库3-D图像对象144的3-D呈现。
根据一示例实施例，在图7d的示例中，查询结果可响应于查询获取(736)。可基于以下一项或多项来发起对一个或多个活动图像的指示的呈现：发起对与一个或多个活动图像相关联的晃动活动的呈现，或发起与一个或多个活动图像相关联的一个或多个活动图像视觉指示符的呈现(738)。为指示的呈现而对一个或多个活动图像的选择基于以下一项或多项：与查询相关联的属性、从用户简档获取的属性、与近来的查询历史相关联的属性、从社交网络信息获取的属性、从赞助内容的一个或多个赞助商获取的属性、或从图像关联数据库索引获取的匹配信息(740)。
根据一示例实施例，与图像的所选部分对应的赞助内容的输出可基于以下一项或多项发起：伴随一个或多个活动图像的指示的3-D呈现发起赞助内容的输出，或伴随数据库3-D图像对象的3-D呈现发起赞助内容的输出(742)。例如，赞助内容组件182可发起与图像134的所选部分对应的赞助内容180的输出，如上所述。
图8是示出根据示例实施例的图2的系统的示例操作的流程图。在图8a的示例中，多个数据库三维(3-D)图像对象可被获取，数据库3-D图像对象中的每一个表示与对应的二维(2-D)图像相关联的3-D模型(802)。例如，数据库获取组件204可获取多个数据库3-D图像对象206，如上所述。
可发起将多个数据库3-D图像对象存储在3-D模型数据库中(804)。例如，数据库存储组件228可发起经由设备处理器230将多个数据库3-D图像对象206存储在对象数据库232中，如上所述。
可基于web爬寻操作来获取文档，文档包括表示第一2-D图像的图像对象(806)。例如，文档获取组件234可基于web爬寻操作来获取文档238，文档238包括表示第一2-D图像208的图像对象240，如上所述。
可确定所获取的图像对象与数据库3-D图像对象中的匹配的一个数据库3-D图像对象之间的匹配对应性，匹配的数据库3-D图像对象表示与第一2-D图像相关联的匹配的3-D模型(808)。例如，匹配管理器242可确定所获取的图像对象240与数据库3-D图像对象206中匹配的一个之间的匹配对应性，如上所述。
发起将匹配指示符的输入到图像关联数据库索引中，该指示符指示包括在文档中的所获取的图像对象与存储在3-D模型数据库中的匹配的数据库3-D图像对象之间的匹配对应性(810)。例如，索引输入管理器244可发起将匹配指示符246输入到图像关联数据库索引248中，该匹配指示符指示包括在文档238中所获取的图像对象240与存储在对象数据库232中的匹配的数据库3-D图像对象206之间的匹配对应性，如上所述。
如上所述，在图8b的示例中，确定匹配对应性可包括确定所获取的图像对象的一部分与数据库3-D图像对象中的匹配的一个数据库3-D图像对象之间的匹配对应性，匹配的3-D图像对象206表示与第一2-D图像的一部分相关联的3-D图像模型(812)。发起匹配指示符的输入包括发起将匹配指示符输入到图像关联数据库索引中(814)，该匹配指示符指示包括在文档中所获取的图像对象的一部分与存储在3-D模型数据库中的匹配数据库3-D图像对象之间的匹配对应性。
例如，确定匹配对应性包括基于以下一项或多项来确定所获取的图像对象与数据库3-D图像对象中的匹配的一个数据库3-D图像对象之间匹配对应性：所获取的文档中所获取的图像对象的上下文、从用户获取的匹配选择或与所获取的图像对象相关联的存储地址指示符(816)。
例如，上下文可包括以下一项或多项：所获取的文档中位于所获取的图像对象预定的邻近程度内的文本、与文档相关联的标题、或经由引用所获取的文档的源来获取的信息(818)。
例如，所获取的文档可包括以下一项或多项：网页、视频文件、包括一个或多个嵌入图像的文本文档、包括一个或多个嵌入图像的电子邮件消息、或包括一个或多个附加图像的文档(820)。根据一示例实施例，如果所获取的文档包括视频文件，则确定匹配对应性可包括确定包括在视频文件中的2-D帧与数据库3-D图像对象中的匹配的一个数据库3-D图像对象之间的匹配对应性，匹配的数据库3-D图像对象表示与2-D帧的至少一个部分对应的3-D图像模型(822)。
根据一示例实施例，在图8c的示例中，可接收对所请求的数据库3-D图像对象之一的请求，其中该请求包括与表示第二2-D图像的第二图像对象相关联的指示符(824)。例如，3-D对象请求组件260可被配置成接收对所请求的数据库3-D图像对象206之一的请求262，如上所述。
根据一示例实施例，可基于访问存储在图像关联数据库索引中的第二匹配指示符，来获取所请求的数据库3-D图像对象，其中第二匹配指示符可指示第二图像对象与存储在3-D模型数据库中的所请求的数据库3-D图像对象之间的匹配对应性(826)。例如，3-D对象请求组件260可获取所请求的数据库3-D图像对象206，如上所述。
可获取与数据库3-D图像对象中的第一个数据库3-D图像对象相关联的多个注释(828)。例如，注释获取组件264可被配置成获取与数据库3-D图像对象206中的第一个数据库3-D图像对象相关联的多个注释266，如上所述。例如，可将注释和指示符存储在注释数据库中(830)，该指示符指示数据库3-D图像对象中的第一个数据库3-D图像对象与多个注释之间的关联。例如，注释获取组件264可将注释266和指示符存储在注释数据库268中，该指示符指示数据库3-D图像对象206中的第一个数据库3-D图像对象与多个注释266之间的关联。
例如，获取与数据库3-D图像对象中的第一个数据库3-D图像对象相关联的多个注释可包括从用户、市场营销应用或社交网络应用中的一个或多个获取与数据库3-D图像对象中的第一个数据库3-D图像对象相关联的多个注释(832)。
例如，获取与数据库3-D图像对象中的第一个数据库3-D图像对象相关联的多个注释可包括获取指示在数据库3-D图像对象中的第一个数据库3-D图像对象内与多个注释中的每一个相关联的场所的图像场所指示符(834)。
图9是示出根据示例实施例的图1的系统的示例操作的流程图。在图9a的示例中，可获取包括二维(2-D)图像的文档(902)。例如，文档获取组件128可获取文档130，如上所述。指示对2-D图像的至少一部分的选择的选择指示符可被获取(904)。例如，选择器组件136可获取指示对图像134的至少一部分的选择的选择指示符138，如上所述。
可确定2-D图像的所选部分与存储在对象数据库中的三维(3-D)图像对象之间的匹配对应性，匹配对应性基于web爬寻器分析结果(906)。例如，图像匹配组件140可确定图像134的所选部分与数据库3-D图像对象144之间的匹配对应性，匹配对应性基于web爬寻器分析结果，如上所述。
与2-D图像的所选部分对应的3-D图像对象的三维(3-D)呈现可被发起(908)。例如，3-D呈现组件148可发起与图像134的所选部分对应的数据库3-D图像对象144的3-D呈现，如上所述。
根据一示例事实，文档获取组件128可基于除搜索查询以外的源获取文档130。因此，3-D呈现组件148可基于从任何源(即，不限于搜索引擎结果)获取的文档发起数据库3-D图像对象144的3-D呈现。例如，用户可导航到诸如AMAZON的市场，并可经历可与所查看的AMAZON产品相关联的数据库3-D图像对象144的3-D呈现。
根据一示例实施例，可基于与对象数据库相关联的数据库索引中的至少一个条目来确定2-D图像的所选部分与3-D图像对象之间的匹配对应性(910)。
例如，在图9b的示例中，可发起对与3-D图像对象相关联的注释信息的显示(912)。例如，3-D呈现组件148可伴随注释156发起与图像134的所选部分对应的数据库3-D图像对象144的3-D呈现，如上所述。
例如，注释信息可包括以下一项或多项：广告信息、与3-D图像对象相关联的描述性信息、与所获取的文档相关联的社交媒体信息(914)。例如，所获取的文档可包括以下一项或多项：网页、视频文件、包括一个或多个嵌入图像的文本文档、包括一个或多个嵌入图像的电子邮件消息、或包括一个或多个附加图像的文档(916)。例如，如果所获取的文档包括视频文件，则对2-D图像的至少一部分的选择可包括对视频文件的帧图像的至少一部分的选择(918)。
2-D图像的动画化显示可基于以下一项或多项发起：确定2-D图像的至少一部分匹配存储在对象数据库中的3-D图像对象、与查询相关联的属性、从用户简档获取的属性、与近来的查询相关联的属性、从社交网络信息获取的属性、或从赞助内容的一个或多个赞助商获取的属性(920)。例如，动画化组件166可发起对2-D图像134的动画化显示，如上所述。
根据一示例实施例，与2-D图像的所选部分对应的3-D图像对象的3-D呈现可经由包括在用户浏览器中的浏览器插件来基于以下一项或多项发起：发起与2-D图像的所选部分相关联的3-D弹出图像的呈现、发起同与2-D图像的所选部分对应的3-D图像对象相关联的多个不同的3-D旋转图像视图的3-D呈现、或发起与2-D图像的所选部分对应的3-D图像对象的3-D呈现、基于从用户输入设备获取的操纵指示符(922)。
数据处理领域的技术人员将理解，存在用于浏览文档中的3-D对象的多种方式，而不背离本文讨论的精神。
多年来，在数据处理环境中一直考虑顾客隐私和机密。因此，用于在文档中使用3D对象浏览的示例技术可使用用户输入和/或用户提供的数据，用户经由一个或多个订阅协议(例如，“服务条款”(TOS)协议)向相关联的应用或与浏览相关联的服务提供了许可。例如，用户可提供同意使其输入/数据在设备上传送和存储，尽管明确指数(例如，经由用户接受文本协议)每一方可控制传送和/或存储如何进行，以及如果有则可维持什么级别的存储或存储的持续时间。
在此描述的各种技术的各实现可以实现为数字电子电路，或计算机硬件、固件、软件或它们的组合(例如，被配置成执行指令以执行各种功能的装置)。各实现可被实现为体现在传播信号中的计算机程序，或实现为计算机程序产品，即可有形地体现在信息载体中(例如在机器可用或有形机器可读存储设备(例如，诸如通用串行总线(USB)存储设备等磁性或数字介质、磁带、硬盘驱动、紧致盘、数字视频盘(DVD)等等))的计算机程序，用于由数据处理设备(例如，可编程的处理器、计算机或多个计算机)的执行或控制数据处理设备的操作。诸如以上描述的计算机程序等的计算机程序能以任何形式的编程语言(包括编译、解释或机器语言)撰写，并能以任何形式部署，包括作为独立程序或作为模块、组件、子例程、或其他适于在计算环境中使用的单元。计算机程序可被有形地体现为机器可使用或机器可读存储设备(例如，计算机可读介质)上的可执行代码(例如，可执行指令)。可实现以上讨论的技术的计算机程序可被部署以在一个站点处的一个计算机或多个计算机上执行或跨多个站点分布并通过通信网络相互连接。
方法步骤可由一个或多个执行计算机程序以通过操作输入数据和生成输出来执行函数的可编程处理器执行。一个或多个可编程处理器可并行地执行指令，和/或可被以分布式配置来安排以进行分布式处理。本文讨论的示例功能还可由一个或多个硬件逻辑组件执行，且装置可至少部分被实现为一个或多个硬件逻辑组件。例如，不作为限制，可使用的硬件逻辑组件的说明性类型可包括：现场可编程门阵列(FPGA)、程序专用集成电路(ASIC)、程序专用标准产品(ASSP)、片上系统(SOC)系统以及复杂可编程逻辑器件(CPLD)。
适于执行计算机程序的处理器可包括，作为示例，通用和专用微处理器以及任何类型的数字计算机的任意一个或多个处理器。一般地，处理器接收来自只读存储器或随机存取存储器或两者的指令和数据。计算机的元件可包括至少一个处理器以供执行指令以及一个或多个存储器设备以供存储指令和数据。一般地，计算机还可包括或可被操作地耦合以接收来自一个或多个大容量存储设备(例如，磁性、磁光盘、或光盘)的数据或将数据传送到大容量存储设备以供存储数据或两者。适于实现计算机程序指令和数据的信息载体包括所有形式的非易失存储器，包括，作为示例，半导体存储设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内置硬盘或可移动盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或被合并到专用逻辑电路中。
为了提供与用户的交互，各实现可在具有用于向用户显示信息的显示设备(例如，阴极射线管(CRT)、液晶显示器(LCD)、或等离子监视器)以及用户能借此向计算机提供输入的键盘和定点设备(例如，鼠标或追踪球)的计算机上实现。其他种类的设备也能被用以提供与用户的交互；例如，向用户提供的反馈可以是任何形式的感官反馈，例如视觉反馈、听觉反馈或触觉反馈。例如，可经由任何形式的感官输出来提供输出，这些感官输出包括(但不限于)视觉输出(例如，视觉手势、视频输出)、音频输出(例如，语音、设备声音)、触觉输出(例如，触摸、设备移动)、温度、气味等。
此外，来自用户的输入可按照任何形式来接收，包括声音、语音或触觉输入。例如，可经由任何形式的感官输入来从用户接收输入，这些感官输入包括(但不限于)视觉输入(例如，手势、视频输入)、音频输入(例如，语音、设备声音)、触觉输入(例如，触摸、设备移动)、温度、气味等。
此外，自然用户界面(NUI)可被用于与用户接口。在这一上下文中，NUI可指的是使得用户能够以“自然”方式与设备交互而无需受诸如鼠标、键盘、遥控等输入设备强加的人为约束的任何接口技术。
NUI技术的示例可包括依赖于语音识别、触摸和指示笔识别、屏幕上和屏幕附近的姿势识别、空中姿势、头部和眼睛跟踪、话音和语音、视觉、触摸、姿势、以及机器智能的那些技术。示例NUI技术包括但不限于：触敏显示、话音和语音识别、意图和目的理解、使用深度相机(如立体相机系统、红外相机系统、RGB(红、绿、蓝)相机系统及其组合)的运动姿势检测、使用加速度计/陀螺仪的运动姿势检测、面部识别、3D显示、头部、眼睛和注视跟踪、浸入式增强现实和虚拟现实系统，所有这些都提供更自然的用户接口，以及用于使用电场传感电极(如脑电图仪(EEG)和相关技术)的传感大脑活动的技术。
实现可在包括后端组件(例如，作为数据服务器)的计算系统中实现、或可在包括中间软件层组件(例如，应用程序服务器)的计算系统中实现、或可在包括前端组件(例如，具有客户借此能与实现交互的图形用户界面或web浏览器的客户计算机)的计算系统中实现、或可在包括这样的后端、中间软件层或前端组件的任意组合的计算系统中实现。组件可通过数字数据通信的任何形式或介质(例如，通信网络)相互连接。通信网络的示例包括局域网(LAN)和广域网(WAN)，例如，因特网。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述特定特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。尽管如此处所述的示出了所描述的各个实现的某些特征，但对本领域技术人员来说，可以发生许多修改、替换、改变和等效技术方案。因此，应当理解，所附权利要求旨在覆盖落入各实施例的范围之内的所有这些修改和改变。

Claims (10)

1.一种用于文档中三维对象浏览的系统，包括：
一个或多个处理器；
存储可由所述一个或多个处理器执行的指令的至少一个有形计算机可读存储介质，所述可执行指令被配置成使得至少一个数据处理装置：
获取查询结果；
基于所获取的查询结果，获取包括表示图像的第一图像对象的文档；
获取表示对所述图像的至少一部分的选择的选择指示符；
基于之前存储在图像关联数据库索引中的web爬寻器图像匹配分析结果，确定所述图像的所选部分与数据库三维(3-D)图像对象之间的匹配对应性；以及
发起与所述图像的所选部分对应的所述数据库3-D图像对象的3-D呈现。
2.如权利要求1所述的系统，其特征在于，所述可执行指令被配置成使得所述至少一个数据处理装置：
获取与所述数据库3-D图像对象相关联的一个或多个注释；
发起从对象数据库对与所述图像的所选部分对应的所述数据库3-D图像对象的检索，其中
发起所述3-D呈现包括伴随所获取的注释发起与所述图像的所选部分对应的检索到的数据库3-D图像对象的3-D呈现。
3.如权利要求1所述的系统，其特征在于，所述可执行指令被配置成使得所述至少一个数据处理装置：
响应于查询获取所述查询结果；
基于以下一项或多项来发起对一个或多个活动图像的指示的呈现：
发起与所述一个或多个活动图像相关联的晃动活动的呈现，或
发起与所述一个或多个活动图像相关联的一个或多个活动图像视觉指示符的呈现，其中
为所述指示的呈现而对所述一个或多个活动图像的选择是基于以下一项或多项的：
与所述查询相关联的属性，
从用户简档获取的属性，
与近来的查询历史相关联的属性，
从社交网络信息获取的属性，
从赞助内容的一个多个赞助商获取的属性，或者
从所述图像关联数据库索引获取的匹配信息；以及
所述可执行指令被配置成使得所述至少一个数据处理装置基于以下一项或多项来发起与所述图像的所选部分对应的赞助内容的输出：
伴随所述一个或多个活动图像的指示的3-D呈现发起所述赞助内容的输出，或
伴随所述数据库3-D图像对象的3-D呈现发起所述赞助内容的输出。
4.一种用于文档中三维对象浏览的方法，包括：
获取多个数据库三维(3-D)图像对象，所述数据库3-D图像对象中的每一个表示与对应的二维(2-D)图像相关联的3-D模型；
经由设备处理器发起将所述多个数据库3-D图像对象存储在3-D模型数据库中；
基于web爬寻操作来获取文档，所述文档包括表示第一2-D图像的图像对象；
确定所获取的图像对象与所述数据库3-D图像对象中的匹配的一个数据库3-D图像对象之间的匹配对应性，所述匹配的数据库3-D图像对象表示与所述第一2-D图像相关联的匹配的3-D模型；以及
发起将匹配指示符的输入到图像关联数据库索引中，所述匹配指示符指示包括在所述文档中的所获取的图像对象与存储在所述3-D模型数据库中的所述匹配的数据库3-D图像对象之间的匹配对应性。
5.如权利要求4所述的方法，其特征在于：
确定所述匹配对应性包括确定所获取的图像对象的一部分与所述数据库3-D图像对象中的匹配的一个数据库3-D图像对象之间的匹配对应性，所述匹配的3-D图像对象表示与所述第一2-D图像的一部分相关联的3-D图像模型，其中
发起所述匹配指示符的输入包括发起将所述匹配指示符输入到所述图像关联数据库索引中，所述匹配指示符指示包括在文档中的所获取的图像对象的一部分与存储在所述3-D模型数据库中的所述匹配数据库3-D图像对象之间的匹配对应性。
6.如权利要求4所述的方法，其特征在于：
确定所述匹配对应性包括基于以下一项或多项确定所获取的图像对象与所述数据库3-D图像对象中的匹配的一个数据库3-D图像对象之间的匹配对应性：
所获取的文档中的所获取的图像对象的上下文，
从用户获取的匹配选择，或者
与所获取的图像对象相关联的存储地址指示符。
7.如权利要求4所述的方法，其特征在于：
所获取的文档包括以下一项或多项：
网页,
视频文件，
包括一个或多个嵌入图像的文本文档，
包括一个或多个嵌入图像的电子邮件消息，或者
包括一个或多个附加图像的文档，其中
如果所获取的文档包括所述视频文件，则确定所述匹配对应性包括确定包括在所述视频文件中的2-D帧与所述数据库3-D图像对象中的匹配的一个数据库3-D图像对象之间的匹配对应性，所述匹配的数据库3-D图像对象表示与所述2-D帧的至少一个部分对应的3-D图像模型。
8.如权利要求4所述的方法，其特征在于，进一步包括：
获取与所述数据库3-D图像对象中的第一个数据库3-D图像对象相关联的多个注释；以及
将所述注释和指示符存储在注释数据库中，所述指示符指示所述数据库3-D图像对象中的所述第一个数据库3-D图像对象与所述多个注释之间的关联。
9.如权利要求8所述的方法，其特征在于：
获取与所述数据库3-D图像对象中的所述第一个数据库3-D图像对象相关联的所述多个注释；以及
从以下一项或多项获取与所述数据库3-D图像对象中的所述第一个数据库3-D图像对象相关联的所述多个注释：
用户，
市场营销应用，或
社交网络应用。
10.一种计算机可读存储介质，所述计算机可读存储介质包括可执行代码的计算机程序产品，所述可执行代码使得至少一个数据处理装置：
获取包括二维(2-D)图像的表示的文档；
获取指示对所述2-D图像的至少一部分的选择的选择指示符；
经由设备处理器，获取所述2-D图像的所选部分与存储在对象数据库中的三维(3-D)图像对象之间的匹配对应性，所述匹配对应性基于web爬寻器分析结果；以及
发起与所述2-D图像的所选部分对应的所述3-D图像对象的3-D呈现。
CN201380042074.5A 2012-08-06 2013-08-02 文档中三维对象浏览 Active CN104520850B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/567,105 2012-08-06
US13/567,105 US9025860B2 (en) 2012-08-06 2012-08-06 Three-dimensional object browsing in documents
PCT/US2013/053323 WO2014025627A1 (en) 2012-08-06 2013-08-02 Three-dimensional object browsing in documents

Publications (2)

Publication Number Publication Date
CN104520850A CN104520850A (zh) 2015-04-15
CN104520850B true CN104520850B (zh) 2018-08-07

Family

ID=48980358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380042074.5A Active CN104520850B (zh) 2012-08-06 2013-08-02 文档中三维对象浏览

Country Status (11)

Country Link
US (1) US9025860B2 (zh)
EP (1) EP2880563A1 (zh)
JP (1) JP6235014B2 (zh)
KR (1) KR102138389B1 (zh)
CN (1) CN104520850B (zh)
AU (1) AU2013299972B2 (zh)
BR (1) BR112015002603A2 (zh)
CA (1) CA2879676C (zh)
MX (1) MX348644B (zh)
RU (1) RU2654133C2 (zh)
WO (1) WO2014025627A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8933925B2 (en) 2009-06-15 2015-01-13 Microsoft Corporation Piecewise planar reconstruction of three-dimensional scenes
US9025860B2 (en) 2012-08-06 2015-05-05 Microsoft Technology Licensing, Llc Three-dimensional object browsing in documents
US20140156704A1 (en) * 2012-12-05 2014-06-05 Google Inc. Predictively presenting search capabilities
US10067634B2 (en) 2013-09-17 2018-09-04 Amazon Technologies, Inc. Approaches for three-dimensional object display
US10592064B2 (en) 2013-09-17 2020-03-17 Amazon Technologies, Inc. Approaches for three-dimensional object display used in content navigation
US20150082145A1 (en) * 2013-09-17 2015-03-19 Amazon Technologies, Inc. Approaches for three-dimensional object display
US9827714B1 (en) 2014-05-16 2017-11-28 Google Llc Method and system for 3-D printing of 3-D object models in interactive content items
CN104768069B (zh) * 2015-04-02 2017-10-03 天脉聚源(北京)传媒科技有限公司 一种数据投影方法、装置及系统
US9679413B2 (en) 2015-08-13 2017-06-13 Google Inc. Systems and methods to transition between viewpoints in a three-dimensional environment
US10719193B2 (en) * 2016-04-20 2020-07-21 Microsoft Technology Licensing, Llc Augmenting search with three-dimensional representations
US10275944B2 (en) 2017-03-22 2019-04-30 International Business Machines Corporation Three dimensional visualization of system components and data
US10523921B2 (en) * 2018-04-06 2019-12-31 Zspace, Inc. Replacing 2D images with 3D images
US10523922B2 (en) * 2018-04-06 2019-12-31 Zspace, Inc. Identifying replacement 3D images for 2D images via ranking criteria
US20200272750A1 (en) * 2019-02-27 2020-08-27 Sourcecode Technology Holdings, Inc. Methods and systems for extending row-level security policies
WO2021061652A1 (en) * 2019-09-23 2021-04-01 Aquent Llc Methods and apparatus for assessing candidates for visual roles
JP2022063606A (ja) * 2020-10-12 2022-04-22 Ｔｅｓｎｏｌｏｇｙ株式会社 プログラム、ブラウザおよび画像ファイル
US11836205B2 (en) * 2022-04-20 2023-12-05 Meta Platforms Technologies, Llc Artificial reality browser configured to trigger an immersive experience
US11755180B1 (en) 2022-06-22 2023-09-12 Meta Platforms Technologies, Llc Browser enabled switching between virtual worlds in artificial reality
CN116468860B (zh) * 2023-06-20 2023-08-11 子亥科技(成都)有限公司 一种三维模型文件生成方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101004748A (zh) * 2006-10-27 2007-07-25 北京航空航天大学 基于二维草图的三维模型检索方法
CN102027504A (zh) * 2008-03-21 2011-04-20 谷歌公司 轻量级三维显示
CN102483760A (zh) * 2009-08-31 2012-05-30 微软公司 视觉搜索和三维结果

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7989991A (en) 1990-05-29 1991-12-31 Axiom Innovation Limited Machine vision stereo matching
JPH05159001A (ja) * 1991-05-31 1993-06-25 Kao Corp 図形情報の検索装置
US6052124A (en) 1997-02-03 2000-04-18 Yissum Research Development Company System and method for directly estimating three-dimensional structure of objects in a scene and camera motion from three two-dimensional views of the scene
EP0928460B1 (en) 1997-07-29 2003-01-29 Philips Electronics N.V. Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system
US20100045816A1 (en) 1999-05-19 2010-02-25 Rhoads Geoffrey B User Feedback in Connection with Object Recognition
US6526166B1 (en) 1999-12-29 2003-02-25 Intel Corporation Using a reference cube for capture of 3D geometry
CA2331572A1 (en) 2000-02-29 2001-08-29 National Research Council Of Canada Electronic commerce using object characterization data sets
JP2002027289A (ja) 2000-06-14 2002-01-25 Ureka Networks:Kk ３次元イメージ撮影装置及び方法
JP3945160B2 (ja) * 2000-12-25 2007-07-18 日本電気株式会社 情報提供サーバ、クライアント、情報提供システムの処理方法、及びプログラムを記録した記録媒体
AU2002303082A1 (en) 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
US7130484B2 (en) 2001-10-15 2006-10-31 Jonas August Biased curve indicator random field filters for enhancement of contours in images
US6985145B2 (en) 2001-11-09 2006-01-10 Nextengine, Inc. Graphical interface for manipulation of 3D models
US7716161B2 (en) 2002-09-24 2010-05-11 Google, Inc, Methods and apparatus for serving relevant advertisements
US20040196282A1 (en) 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas
US7277572B2 (en) 2003-10-10 2007-10-02 Macpearl Design Llc Three-dimensional interior design system
AU2004307162A1 (en) * 2003-10-29 2005-05-12 Qualcomm Incorporated High data rate interface
KR100915250B1 (ko) * 2003-11-12 2009-09-03 콸콤 인코포레이티드 향상된 링크 제어를 제공하는 고속 데이터 레이트 인터페이스
US20070300142A1 (en) 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
US8239749B2 (en) 2004-06-25 2012-08-07 Apple Inc. Procedurally expressing graphic objects for web pages
US7627173B2 (en) 2004-08-02 2009-12-01 Siemens Medical Solutions Usa, Inc. GGN segmentation in pulmonary images for accuracy and consistency
KR20070086037A (ko) 2004-11-12 2007-08-27 목3, 인크. 장면 간 전환 방법
KR100603603B1 (ko) 2004-12-07 2006-07-24 한국전자통신연구원 변위 후보 및 이중 경로 동적 프로그래밍을 이용한 스테레오 변위 결정 장치 및 그 방법
JP2006309722A (ja) * 2005-03-31 2006-11-09 National Institute Of Information & Communication Technology 三次元モデルを利用した写真検索・閲覧システム及び同プログラム、写真を利用した三次元モデル表示・操作システム及び同プログラム
US7499586B2 (en) 2005-10-04 2009-03-03 Microsoft Corporation Photographing big things
US9070402B2 (en) 2006-03-13 2015-06-30 Autodesk, Inc. 3D model presentation system with motion and transitions at each camera view point of interest (POI) with imageless jumps to each POI
JP4889351B2 (ja) 2006-04-06 2012-03-07 株式会社トプコン 画像処理装置及びその処理方法
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US8472699B2 (en) 2006-11-22 2013-06-25 Board Of Trustees Of The Leland Stanford Junior University Arrangement and method for three-dimensional depth image construction
US8224122B2 (en) 2006-12-15 2012-07-17 Microsoft Corporation Dynamic viewing of wide angle images
DE102006062061B4 (de) 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
US7877706B2 (en) 2007-01-12 2011-01-25 International Business Machines Corporation Controlling a document based on user behavioral signals detected from a 3D captured image stream
US8126273B2 (en) 2007-04-05 2012-02-28 Siemens Corporation Method for reconstructing three-dimensional images from two-dimensional image data
US8172407B2 (en) 2007-05-16 2012-05-08 Honda Motor Co., Ltd. Camera-projector duality: multi-projector 3D reconstruction
US20100220932A1 (en) 2007-06-20 2010-09-02 Dong-Qing Zhang System and method for stereo matching of images
US8350850B2 (en) 2008-03-31 2013-01-08 Microsoft Corporation Using photo collections for three dimensional modeling
US8250454B2 (en) 2008-04-03 2012-08-21 Microsoft Corporation Client-side composing/weighting of ads
CN102067179A (zh) 2008-04-14 2011-05-18 谷歌公司 俯冲导航
US20100045666A1 (en) 2008-08-22 2010-02-25 Google Inc. Anchored Navigation In A Three Dimensional Environment On A Mobile Device
US20100080411A1 (en) 2008-09-29 2010-04-01 Alexandros Deliyannis Methods and apparatus to automatically crawl the internet using image analysis
US20110181961A1 (en) 2008-09-30 2011-07-28 Toshiyuki Imai Mold, Method of Manufacturing Mold, Method of Manufacturing Wafer Lens, and Wafer Lens
US8194102B2 (en) 2008-10-06 2012-06-05 Microsoft Corporation Rendering annotations for images
US20120101359A1 (en) 2009-01-30 2012-04-26 Koninklijke Philips Electronics N.V. Fixation using multiple cusions of two different types
US9098926B2 (en) 2009-02-06 2015-08-04 The Hong Kong University Of Science And Technology Generating three-dimensional façade models from images
US8933925B2 (en) 2009-06-15 2015-01-13 Microsoft Corporation Piecewise planar reconstruction of three-dimensional scenes
US20110061011A1 (en) 2009-09-04 2011-03-10 Ramsay Hoguet Three-Dimensional Shopping Lists
KR20110048618A (ko) * 2009-11-03 2011-05-12 엘지전자 주식회사 이동 통신 단말기에서의 양안시차를 이용한 3차원 입체 이미지 표시 방법 및 이를 적용한 이동 통신 단말기
US8660355B2 (en) 2010-03-19 2014-02-25 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery
US20110314419A1 (en) * 2010-06-22 2011-12-22 Microsoft Corporation Customizing a search experience using images
US8675049B2 (en) 2011-06-09 2014-03-18 Microsoft Corporation Navigation model to render centered objects using images
US9025860B2 (en) 2012-08-06 2015-05-05 Microsoft Technology Licensing, Llc Three-dimensional object browsing in documents

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101004748A (zh) * 2006-10-27 2007-07-25 北京航空航天大学 基于二维草图的三维模型检索方法
CN102027504A (zh) * 2008-03-21 2011-04-20 谷歌公司 轻量级三维显示
CN102483760A (zh) * 2009-08-31 2012-05-30 微软公司 视觉搜索和三维结果

Also Published As

Publication number Publication date
EP2880563A1 (en) 2015-06-10
KR102138389B1 (ko) 2020-07-27
JP6235014B2 (ja) 2017-11-22
US20140037218A1 (en) 2014-02-06
US9025860B2 (en) 2015-05-05
MX2015001733A (es) 2015-11-18
AU2013299972A1 (en) 2015-02-12
MX348644B (es) 2017-06-22
CA2879676C (en) 2020-07-07
AU2013299972B2 (en) 2018-04-05
RU2015103909A (ru) 2016-08-27
CN104520850A (zh) 2015-04-15
RU2654133C2 (ru) 2018-05-16
KR20150041075A (ko) 2015-04-15
JP2015531921A (ja) 2015-11-05
CA2879676A1 (en) 2014-02-13
BR112015002603A2 (pt) 2017-08-08
WO2014025627A1 (en) 2014-02-13

Similar Documents

Publication Publication Date Title
CN104520850B (zh) 文档中三维对象浏览
US11403829B2 (en) Object preview in a mixed reality environment
US11422671B2 (en) Defining, displaying and interacting with tags in a three-dimensional model
US11200617B2 (en) Efficient rendering of 3D models using model placement metadata
US10789747B2 (en) Customized visualizations
US9916002B2 (en) Social applications for augmented reality technologies
US9535945B2 (en) Intent based search results associated with a modular search object framework
US20150242525A1 (en) System for referring to and/or embedding posts within other post and posts within any part of another post
US20170220591A1 (en) Modular search object framework
CN105229566A (zh) 增强现实系统中指示观察或视觉图案
EP2940607A1 (en) Enhanced search results associated with a modular search object framework
US10282904B1 (en) Providing augmented reality view of objects
US11432046B1 (en) Interactive, personalized objects in content creator's media with e-commerce link associated therewith
US20140108400A1 (en) System and method for storing and accessing memorabilia
JP2022110057A (ja) ビジュアルサーチのためのデジタル補足関連付けおよび検索
US20160034978A1 (en) Method, system and apparatus for associating merchant-supplied information with a fixed reference point in a virtual three-dimensional world
TW202341033A (zh) 用於提供頁面之電子設備的操作方法及支援該操作方法之電子設備
CN111127166A (zh) 基于图片的购买系统、方法、介质及设备
WO2015050561A1 (en) System and method for storing and accessing memorabilia

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20171016

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant