CN101675450A

CN101675450A - 照片生成的3-d可导航店面

Info

Publication number: CN101675450A
Application number: CN200880014970A
Authority: CN
Inventors: B·A·Y·阿尔卡斯; J·R·杜吉; R·F·格拉诺维特; J·夏夫利
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2007-05-08
Filing date: 2008-05-01
Publication date: 2010-03-17
Anticipated expiration: 2028-05-01
Also published as: JP5086427B2; WO2008140960A1; CN101675450B; JP2010527072A; US20080278481A1; TW200847035A; EP2145311A4; EP2145311A1

Abstract

提出了用于创建照片生成的可导航店面的技术。这些技术包括接收图像并通过图像匹配算法来处理这些图像。这些图像可包括例如用照相机拍摄的照片。另外，这些图像用标识符标签来标记以与相关或附近图像关联在一起。此外，可以将产品/服务信息与图像相关联，以便对特定图像的选择使得该产品/服务信息被显示。

Description

照片生成的3-D可导航店面

背景

当前零售商在设立电子商务站点时通常使用他们所销售的产品的照片。通常，照片和物理店铺环境之间只有很少或没有关系。尽管已经证明这是成功的模型，但它不允许零售商使消费者沉浸在他们的店铺中。这一模型还需要大量工作来设置产品、拍摄照片、以及构建电子商务站点。此外，这一模型还需要许多零售商不想花费的一定级别的努力和投资。

另外，像Second Life等环境作为新虚拟市场而涌现，但它们是真正虚拟的，意味着真实照片和图像在其中未被正常表示，并且用于创建这些在线店铺的工具对于不熟悉技术的人员而言通常是不易使用的。例如，这些虚拟店铺中的3D购物环境通常是使用计算机建模工具来手动创作的。

可以证明，对销售者而言，具有允许他们仅仅从物理店铺的照片来创建店铺环境的轻量级非技术性工具是有益的。还可以证明，将各个项目的照片直接集成到店铺环境的照片中是有益的。这些技术和方法适用于小店铺、商店、市场、贸易展览和博览会。这些技术还适用于即兴的销售环境，如现场旧货出售，或适用于通过在线服务列出来进行销售或推销的项目。

概述

提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。提出了用于创建照片生成的可导航店面的技术。这些技术包括接收图像并通过图像匹配算法来处理这些图像。这些图像可包括例如用照相机拍摄的照片。另外，这些图像用标识符标签来标记以与相关或附近图像关联在一起。此外，可以将产品/服务信息与图像相关联，以使对特定图像的选择使得该产品/服务信息被显示。

附图简述

以下将参考所附附图详细描述本发明的各说明性实施例，附图通过引用结合于此，并且其中：

图1是用于实现本发明的实施例的示例性系统的实施例的框图；

图2示出根据本发明的一实施例的其上标记有所标识的关键点的图像的实施例；

图3示出根据本发明的一实施例的用于在3-D照片生成的可导航图像环境的UI呈现所选图像的重叠的最佳邻居图像的方法300的实施例；

图4A呈现示出如何计算左侧和右侧最佳邻居度量的实施例的两个图像；

图4B示出图像A和内部图像A(AI)之间的关系的实施例；

图5示出用于在2-D照片生成的可导航图像环境中在用户界面内呈现相似图像的方法的实施例；

图6A、6B、6C和6D示出用于在2-D照片生成的可导航图像环境中在所选图像周围呈现所选图像的相似图像的UI的实施例；

图7是根据本发明的一实施例的用于创建照片生成的可导航店面的示例性方法的流程图；

图8A示出包括3-D可导航图像环境部分和产品/服务信息部分的网站UI的实施例；

图8B示出包括2-D可导航图像环境部分的分散视图和产品/服务信息部分的网站UI的实施例；

图9是根据本发明的一实施例的用于管理照片生成的可导航店面的方法的流程图；以及

图10是根据本发明的一实施例的用于管理照片生成的可导航店面的另一方法的流程图。

详细描述

此处所提出的发明是题为“User Interface for Navigating ThroughImages(用于导航图像的用户界面)”的第11/461,280号专利申请(此后称为‘280申请)的扩展。本发明用于将可导航3-D环境中的照片(如在‘280专利中所描述的)经由标签绑定到可呈现在线内容。这一概念是可以将照片组自动地内置到可导航3-D环境中(如在‘280专利中所描述的)，并且可以对该环境中的照片进行链接以随它们一起显示动态内容。观看者仅仅通过在走查3D环境时选择不同的照片，就可以向他们呈现相关联的内容——尤其是产品细节。这些细节可以允许他们购买产品，获得样本或附加信息，或查看相关广告。可应用3D照片匹配技术来以与应用于静止图像的方式相类似的方式来移动图像；移动图像可以在3D环境中保持固定或可以是移动的。

如本领域技术人员可以理解的，本发明的各实施例可被特别具体化为：方法、系统或计算机程序产品。因此，这些实施例可采用硬件实施例、软件实施例或者结合软件和硬件的实施例的形式。在一个实施例中，本发明采用包括其上包含计算机可使用指令的一个或多个计算机可读介质的计算机程序产品的形式。

计算机可读介质包括易失性和非易失性介质两者、可移动和不可移动介质，并构想可由数据库、交换机和各种其它网络设备读取的介质。网络交换机、路由器以及相关组件本质上是常规的，与这些组件通信的手段也是如此。作为示例而非限制，计算机可读介质包括计算机存储介质和通信介质。

计算机存储介质或机器可读介质包括以用于存储信息的任何方法或技术来实现的介质。存储信息的示例包括计算机可使用指令、数据结构、程序模块以及其它数据表示。计算机存储介质包括但不限于：RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)、全息介质或其它光盘存储、磁带盒、磁带、磁盘存储、以及其它磁存储设备。这些存储器组件可瞬间、临时或永久地存储数据。

通信介质通常将计算机可使用指令(包括数据结构和程序模块)存储在已调制数据信号中。术语“已调制数据信号”指的是设置或更改其一个或多个特征以在信号中编码信息的已传播信号。示例性已调制数据信号包括载波或其它传输机制。通信介质包括任何信息传递介质。作为示例而非限制，通信介质包括有线介质，诸如有线网络或直接连线连接，以及无线介质，诸如声学、红外线、无线电、微波、扩频和其它无线介质技术。以上介质的组合被包括在计算机可读介质的范围内。

图1是用于实现本发明的一实施例的示例性系统100的一实施例的框图。系统100包括诸如客户机102和图像配置设备(ICD)106等设备。每一设备包括通信接口。该通信接口可以是可允许设备直接连接到任何其它设备或允许该设备通过网络104连接到另一设备的接口。网络104可包括，例如，局域网(LAN)、广域网(WAN)、或因特网。在一实施例中，设备可经由无线接口通过网络104连接到另一设备。

客户机102可以是或者可包括执行包括web浏览、搜索、电子邮件(email)和其它任务在内的各种任务、应用程序以及功能的台式或膝上型计算机、启用网络的蜂窝电话(具有或不具有媒体捕捉/回放能力)、无线电子邮件客户端或其它客户端、机器、或者设备。客户机102还可以是任何便携式媒体设备，诸如数码相机设备、数字摄像机(具有或不具有静止图像捕捉功能)、诸如个人音乐播放器和个人视频播放器等媒体播放器、以及任何其它便携式媒体设备。客户机202还可以是或者可包括诸如工作站等运行微软MacOS^TM、Unix^TM、Linux、Xenix^TM、IBM AIX^TM、惠普UX^TM、Novell Netware^TM、Sun微系统Solaris^TM、OS/2^TM、BeOS^TM、Mach^TM、Apache^TM、OpenStep^TM或其它操作系统或平台的服务器。

3-D和2-D照片生成的可导航图像环境的创建

如上所述，本发明是‘280专利申请的扩展。以下描述可由本发明在创建3-D和2-D照片生成的可导航图像环境时使用的‘280申请的各方面。

在一实施例中，ICD 106还可以是或者可包括诸如工作站等运行微软

MacOS^TM、Unix^TM、Linux、Xenix^TM、IBM AIX^TM、惠普UX^TM、Novell Netware^TM、Sun微系统Solaris^TM、OS/2^TM、BeOS^TM、Mach^TM、Apache^TM、OpenStep^TM或其它操作系统或平台的服务器。在另一实施例中，ICD 106可以是在客户机102内实现的计算机硬件或软件组件。ICD 106可包括图像文件系统108、聚集器组件110、关键点检测器112、关键点分析器114、以及用户界面配置器(UIC)116。在本发明的各实施例中，ICD 106内的各组件(110、112、114和116)中的任一个可被集成到ICD 106内的一个或多个其它组件中。在其它实施例中，ICD 106内的各组件和文件系统108中的一个或多个可以在ICD 106的外部。

聚集器组件110可被配置成聚集客户机机器的用户所上传的多个图像。在一个实施例中，这些图像可以是用照相机(数字或非数字)拍摄的照片。一旦聚集了图像，则随后可以将它们存储在108图像文件系统中。在一实施例中，这些图像可以按照相似性来分组和存储在图像文件系统108内。

在一实施例中，图像之间的相似性可以使用每一图像的关键点来确定。图像的关键点可用于标识图像中可能相对于拍摄图像的位置不变的点。关键点检测器112可用于检测图像内的关键点。关键点检测器112可以使用各种算法来确定图像内的关键点。在一实施例中，关键点检测器112可以使用比例不变特征变换(SIFT)算法来确定图像内的关键点。一旦在图像内检测到关键点，则可以向该关键点分配可将该关键点与其它关键点进行区分的特定标识符。每一图像连同其对应的关键点和关键点的所分配的标识符随后可以存储在图像文件系统108中。

在一实施例中，图像之间的相似性可以通过彼此具有许多共同的关键点标识符的图像来确定。通常，所拍摄的具有相同的地理位置、地理标志、建筑物、雕像、物体、或图像中所描绘的任何其它区分特征的图像将可能具有相似或重叠的关键点，并且因此将在图像文件系统108内被分组在一起。因此，图像文件系统108中可以存储许多组图像，其中每一组可以包含多个相似图像。

关键点分析器114可用于分析每一图像的关键点，以确定每一组中的哪些图像彼此最相似。例如，关键点分析器114可被配置成使用各种算法来确定与所选图像最相似的图像的已排序次序。在另一示例中，关键点分析器114可用于确定距离所选图像任意远的在所选图像的右侧、左侧、上方、或下方的最佳邻居图像。此外，关键点分析器114可用于确定最能表示所选图像的任何放大或缩小倍率的放大或缩小版本的最佳邻居图像。

UIC 116可用于向客户机发送图像，客户机将在用户界面(UI)内向用户呈现这些图像。UIC 116可以取决于来自用户的请求和关键点分析器114所作出的任何判定来确定要呈现哪些图像以及呈现它们的方式。UIC116可以通过使用布局算法来做出其关于如何呈现图像的判定。

图2示出根据本发明的一实施例的其上标记有所标识的关键点的图像的实施例。图像A、B和C各自都在其上标识了关键点。每一图像内的每一关键点可以具有所分配的标识符，其中超过一个图像中的相同关键点可以具有相同的标识符。图像A包含分别与图像B中的关键点212、214、216、218和220相同的关键点202、204、206、208和210。如此，每一相同的关键点可以具有相同的标识符。来自图像A的关键点204、206、208和210分别与来自图像C的关键点232、234、236和238相同，其中每一相同的关键点可以具有相同的标识符。关键点214、216、218、220、222、224、226和228分别与关键点232、234、236、238、242、244、246和248相同，其中每一相同的关键点可以具有相同的标识符。

一旦将图像上传到图像文件系统108并根据其对应的关键点进行了分组，则用户可以开始在3-D照片生成的可导航图像环境中导航所上传的图片。本发明可以允许客户机的用户与ICD 106连接，以查看图像文件系统108中存储的一个或多个图像。在一实施例中，可以在用户的客户机上向他呈现UI，以从存储在图像文件系统108中的多个图像中选择感兴趣的特定图像。本发明可被配置成允许用户从用户客户机的UI内的所选图像在任何方向上导航。在用户选择UI内的图像时，可以存在允许用户输入方向的选项，如向左、向右、向上、向下、放大、或缩小以从所选图像导航到另一图像。一旦用户选择了方向，则本发明可被配置成确定图像文件系统108内最能呈现在指定方向上在所选图像的旁边的图像的表示的最佳邻居图像。最佳邻居图像可包括所选图像的重叠部分。最佳邻居图像可以距离所选图像任意远来在所选图像的右侧、左侧、上方、或下方等任何方向上确定。此外，可以确定最能表示所选图像的任何放大或缩小倍率的放大或缩小版本为最佳邻居图像

图3示出根据本发明的一实施例的用于呈现3-D照片生成的可导航图像环境的UI中的所选图像的重叠的最佳邻居图像的方法300的实施例。在操作302处，标识第一所选图像。在一实施例中，用户可以使用例如客户机机器102的诸如鼠标、键盘、语音识别设备、或触摸屏等输入设备来在UI内选择图像。在操作304处，标识始自所选图像的方向。在一实施例中，用户可以使用例如客户机机器102的诸如鼠标、键盘、语音识别设备、或触摸屏等输入设备来选择方向。在操作306处，可以基于该方向来对图像文件系统中的每一其它图像计算最佳邻居度量。在一实施例中，最佳邻居度量可以表示所选图像和对比图像之间相对于该方向的由关键点差所测量的距离。同样，对比图像可以是来自其它图像的当前与所选图像进行比较的图像。在一实施例中，对比图像可以从与所选图像相同的组内的图像中选择。在另一实施例中，对比图像是从图像文件系统108内的所有图像中选择的。

计算最佳邻居度量可以取决于所选择的特定方向。在一实施例中，可以对每一方向使用不同的算法来计算所选图像和对比图像的最佳邻居度量。另外，可存在超过一种类型的、每一方向可被配置来用于计算两个图像的最佳邻居度量的算法。

以下两种算法可分别用于计算所选图像的右侧或左侧方向的最佳邻居度量：

(1)ND_{右(所选图像，对比图像)}＝总关键点_{(所选图像右半部分)}-共同关键点_{(对比图像左半} _{部分，所选图像右半部分)}

(2)ND_{左(所选图像，对比图像)}＝总关键点_{(所选图像左半部分)}-共同关键点_{(对比图像右半部} _{分，所选图像左半部分)}

算法1计算表示所选图像和对比图像之间的右侧邻居距离的最佳邻居度量。算法1表明为计算所选图像和对比图像之间的右侧邻居距离(“ND_{右(所选图像，对比图像)}”)，该算法从所选图像的右半部分中所标识的关键点总数(“总关键点_{(所选图像右半部分)}”)中减去对比图像的左半部分和所选图像的右半部分共同具有的关键点总数(“共同关键点_{(对比图像左半部分，所选图像右半部分)}”)。

算法2计算表示所选图像和对比图像之间的左侧邻居距离的最佳邻居度量。算法2表明为计算所选图像和对比图像之间的左侧邻居距离(“ND_{左(所选图像，对比图像)}”)，该算法从所选图像的左半部分中所标识的关键点总数(“总关键点_{(所选图像左半部分)}”)中减去对比图像的右半部分和所选图像的左半部分共同具有的关键点总数(“共同关键点_{(对比图像右半部分，所选图像左半部分)}”)。同样，对于算法1和算法2两者，共同关键点可以通过标识所选图像和对比图像内的具有相同的分配标识符的关键点来确定。

图4A呈现示出如何计算左侧和右侧最佳邻居度量的实施例的两个图像。首先，将描述用于计算右侧最佳邻居度量的实施例。假定图像A是所选图像而图像B是对比图像。在计算从图像A到图像B的右侧邻居距离时，每一图像可以垂直地分成两半。可以确定在对比图像的左半部分和所选图像的右半部分中所找到的共同关键点。在该示例中，有4个共同关键点。随后可以标识在图像A的右半部分中找到的总关键点，在该示例中是4个关键点。随后可以从在图像A的右半部分中所标识的关键点总数中减去共同关键点。在该示例中，结果是右侧最佳邻居度量0。在一实施例中，最佳邻居度量越小，则判断对比图像越是所选方向的良好的最佳邻居。

现在，将描述用于计算左侧最佳邻居度量的实施例。假定图像B是所选图像而图像A是对比图像。同样，两个图像可以垂直地分成两半。可以确定在对比图像的右半部分和所选图像的左半部分中所找到的共同关键点。在该示例中，有4个共同关键点。随后可以标识在图像B的左半部分中找到的总关键点，在该示例中是9个关键点。随后可以从在图像B的左半部分中所标识的关键点总数中减去共同关键点。在该示例中，结果是右侧最佳邻居度量5。同样，最佳邻居度量越小，则判断对比图像越是所选方向的良好的最佳邻居。因此，与图像A作为图像B的左侧最佳邻居图像相比，图像B可被认为是图像A的更好的右侧最佳邻居图像。

以下两种算法可分别用于计算所选图像的上方和下方的最佳邻居度量：

(3)ND_{上(所选图像，对比图像)}＝总关键点_{(所选图像上部)}-共同关键点_{(对比图像下部，所选图} _像上部)

(4)ND_{下(所选图像，对比图像)}＝总关键点_{(所选图像下部)}-共同关键点_{(对比图像上部，所选图} _像下部)

算法3计算表示所选图像和对比图像之间的上部邻居距离的最佳邻居度量。算法3表明为计算所选图像和对比图像之间的上部邻居距离(“ND_{上(所选图像，对比图像)}”)，该算法从所选图像的上半部分中所标识的关键点总数(“总关键点_{(所选图像上半部分)}”)中减去对比图像的下半部分和所选图像的上半部分共同具有的关键点总数(“共同关键点_{(对比图像下半部分，所选图像上半部分)}”)。

算法4计算表示所选图像和对比图像之间的下部邻居距离的最佳邻居度量。算法4表明为计算所选图像和对比图像之间的下部邻居距离(“ND_{下(所选图像，对比图像)}”)，该算法从所选图像的下半部分中所标识的关键点总数(“总关键点_{(所选图像下半部分)}”)中减去对比图像的上半部分和所选图像的下半部分共同具有的关键点总数(“共同关键点_{(对比图像上半部分，所选图像下半部分)}”)。同样，对于算法3和算法4两者，共同关键点可以通过标识所选图像和对比图像内的具有相同的分配标识符的关键点来确定。

在计算上部和下部最佳邻居度量时，每一图像的上半部分和下半部分可以通过将每一图像水平地划分成两半来确定。然而，所有其它计算以与以上描述的在计算左侧和右侧最佳邻居度量时完全一样的方式来完成。在一实施例中，在标识位于任何图像的左半部分、右半部分、上半部分、或下半部分的关键点时，如果关键点正好位于图像的分界线上，则该算法可被配置成包括该关键点作为该半部分的关键点总计数的一部分。在其它实施例中，该算法可被配置成将该关键点从该半部分的关键点总计数中丢弃。

以下两种算法可分别用于计算对应于从所选图像放大或缩小的方向的最佳邻居度量：

(5)ND_{外(所选图像，对比图像)}＝总关键点_{(所选图像)}-共同关键点_{(内部对比图像，所选图像)}

(6)ND_{内(所选图像，对比图像)}＝总关键点_{(内部所选图像)}-共同关键点_{(对比图像，所选图像)}

算法5计算表示所选图像和对比图像之间的向外邻居距离的最佳邻居度量，其中向外邻居距离可用于表示将描绘所选图像的缩小版本的图像。算法5表明为计算所选图像和对比图像之间的向外邻居距离(“ND_{外(所选图} _{像，对比图像)}”)，该算法从整个所选图像中所标识的关键点总数(“总关键点_{(所选图像)}”)中减去内部对比图像和整个所选图像共同具有的关键点总数(“共同关键点_{(内部对比图像，所选图像)}”)。在一实施例中，内部对比图像可以是对比图像的具有与该对比图像相同的中心点的任何片段/部分。在其它实施例中，内部对比图像可以具有与对比图像不同的中心点。内部对比图像可以是例如对比图像的四分之一。图4B示出图像A和内部图像A(AI)之间的关系的实施例。

算法6计算表示所选图像和对比图像之间的向内邻居距离的最佳邻居度量，其中向内邻居距离可用于表示将描绘所选图像的放大版本的图像。算法6表明为计算所选图像和对比图像之间的向内邻居距离(“ND_{内(所选图} _{像，对比图像)}”)，该算法从内部所选图像中所标识的关键点总数(“总关键点_{(内部所选图像)}”)中减去对比图像和整个所选图像共同具有的关键点总数(“共同关键点_{(对比图像，所选图像)}”)。在一实施例中，内部所选图像可以是所选图像的具有与对比图像相同的中心点的一个片段/部分。在其它实施例中，内部对比图像可以具有与对比图像不同的中心点。内部所选图像可以是例如对比图像的四分之一。同样，对于算法5和算法6两者，共同关键点可以通过标识所选图像和对比图像内的具有相同的分配标识符的关键点来确定。

在一实施例中，在标识位于内部图像内的关键点时，如果关键点正好位于内部图像的分界线上，则该算法可被配置成包括该关键点作为该内部图像的关键点的总计数的一部分。在其它实施例中，该算法可被配置成将该关键点从该内部图像的关键点总计数中丢弃。

回头参考图3，一旦对每一其它图像计算了最佳邻居度量，则在操作308处，确定该方向的最佳邻居图像。在一实施例中，具有最低最佳邻居度量的图像可被认为是所选图像在该方向上的最佳邻居。在一实施例中，在存在多个具有相同的最低最佳邻居度量的图像的情况下，可以随机选择这些图像中的一个作为最佳邻居图像。在其它实施例中，在存在多个具有相同的最低邻居度量的图像的情况下，最佳邻居图像可以通过评估一些因素来选择，这些因素诸如但不限于，图像分辨率、焦距、相机角度、在一天中拍摄该图像的时间、该图像拍摄了有多久、以及图像的流行度。在一实施例中，流行度可以从一些因素中来确定，这些因素诸如但不限于：选择了该图像的用户数；以及用户将该图像保持显示在其屏幕上的秒数。在其它实施例中，流行度可用于在除存在多个具有同样的最低邻居度量的图像之外的情况下确定最佳邻居图像。例如，在其它情况下将具有较低的所计算的最佳邻居度量的流行图像可以超过具有较高的所计算的最佳邻居度量的图像而被选为最佳邻居。在操作310处，一旦确定了最佳邻居图像，则可以在UI中向用户呈现该最佳邻居图像。

图5示出根据本发明的一实施例的用于在2-D照片生成的可导航图像环境中在用户界面内呈现相似图像的方法500的实施例。本发明可以允许客户机的用户与ICD 106连接，以查看图像文件系统108中存储的一个或多个图像。在一实施例中，可以在用户的客户机上向他呈现UI，以从存储在图像文件系统108中的多个图像中选择感兴趣的特定图像。在操作502处，标识第一所选图像。在一实施例中，用户可以使用例如客户机机器102的诸如鼠标、键盘、语音识别设备、或触摸屏等输入设备来在UI内选择图像。在操作504处，标识所选图像内的关键点集合。在一实施例中，如果先前在所选图像最初被聚集到图像文件系统108中时已经确定了该所选图像的关键点，则标识关键点可包括标识与该所选图像一起存储的对应的关键点。在另一实施例中，一旦选择了所选图像，则标识所选图像中的关键点可以在运行时用关键点检测器112来完成。

在操作506处，标识图像文件系统108内的其它图像的关键点。在一实施例中，其它图像可包括与所选图像处于相同的组内的图像。在另一实施例中，其它图像可包括图像文件系统108内的所有图像。在一实施例中，如果先前在其它图像最初被聚集到图像文件系统108中时已经确定了这些其它图像的关键点，则标识关键点可包括标识与这些其它图像中的每一个一起存储的对应的关键点。在另一实施例中，一旦选择了所选图像，则标识其它图像中的关键点可以在运行时用关键点检测器112完成。

在操作508处，可以确定所选图像与每一其它图像的相似性度量。相似性度量可用于确定所选图像与每一其它图像的相似性水平。在一实施例中，相似性度量可以表示所选图像和对比图像之间的由关键点差所测量的距离。对比图像可以是来自其它图像的当前与所选图像进行比较的图像。在其它实施例中，相似性度量可以通过采用某些距离分量的考虑来确定。这些距离分量可包括但不限于：所选图像和对比图像的相机位置之间的欧几里得距离；对应于拍摄/摄制所选图像和对比图像的方向的向量之间的夹角；和/或所选图像和对比图像的焦距之间的差。此外，在其它实施例中，相似性度量可以使用非空间距离分量来确定。这些非空间距离分量可包括但不限于：图像亮度、一天中的时间、光照方向、以及元数据相关因素。

本发明可被配置成利用多个不同类型的算法来确定以上列出的相似性度量的各个不同实施例。例如，在要确定的相似性度量是所选图像和对比图像之间的由点差所测量的距离时，可以使用若干不同类型的算法。一种这样的方法如下：

(7)距离_{(所选图像，对比图像)}＝总关键点_{(所选图像+对比图像)}-(2x共同关键点)

以上算法7表明为确定所选图像和对比图像之间的由点差所测量的距离(“距离_{(所选图像，对比图像)}”)，该算法从所选图像和对比图像两者中标识的总关键点的和(总关键点_{(所选图像+对比图像)})中减去所选图像和对比图像共同具有的关键点数量的两倍(“(2x共同关键点)”)。共同关键点可以通过标识所选图像和对比图像内的具有相同的分配标识符的关键点来确定。

现在将参考图2来说明使用以上算法确定相似性度量的示例。假定图像A是所选图像，而图像B和C是将与图像A进行比较的其它图像。在图像B是对比图像时，可以确定图像A包含分别与图像B中的关键点212、214、216、218和220相同的关键点202、204、206、208和210。因此，图像A和图像B具有5个共同关键点。图像A总共包含5个关键点而图像B总共包含9个关键点，这意味着在两个图像中总共标识了14个关键点。因此，通过遵循算法1，相似性度量将是14-(2x 5)，这将等于4，其中4将表示图像A和图像B之间的由点差所测量的距离。

在图像C是对比图像时，可以确定图像A包含分别与来自图像C的关键点232、234、236和238相同的关键点204、206、208和210。因此，图像A和图像C具有4个共同关键点。图像A总共包含5个关键点而图像C总共包含10个关键点，这意味着在两个图像中总共标识了15个关键点。因此，通过遵循算法1，相似性度量将是15-(2x 4)，这将等于7，其中7将表示图像A和图像C之间的由点差所测量的距离。

在确定相似性度量以发现由所选图像和对比图像之间的关键点差所测量的距离时，两个图像之间的距离越小，则判断它们越相似。例如，图像A和图像B之间的距离是4而图像A和图像C之间的距离是7。因此，与图像C相似于图像A相比，判断图像B与图像A更相似。在将算法1应用于图像B和图像C时，确定距离是3，这将意味着与每一图像相似于图像A相比，图像B和图像C彼此更相似。

返回到图5，在操作510处，可以基于与所选图像相比较的其它图像的所确定的对应的相似性度量来对它们进行排序。在一实施例中，其它图像可以使用每一图像的对应的相似性度量来以相似性的降序来排序。一旦对其它图像进行了排序，则在操作512处，可以在用户客户机的UI内的2-D环境中以已排序次序在所选图像周围呈现其它图像。

图6A、6B、6C和6D示出用于在2-D照片生成的可导航图像环境中在所选图像周围呈现所选图像的相似图像的UI的实施例。图6A-6D中的每一个示出称为“分散(splatter)视图”的图像组织。图6A示出其中在所选图像周围的同心带中呈现已排序的其它图像的实施例，其中所选图像由图像“0”表示。每一条带可被配置成包含将要呈现给用户的指定数量的其它图像。这些其它图像能以相似性的降序置于带1-10中，其中与所选图像最相似的其它图像最接近于所选图像来呈现。例如，标记为“1”的带包含与所选图像最相似的其它图像，而标记为“10”的带包含与所选图像最不相似的其它图像。

在一实施例中，每一条带可包含具有对应的相似性度量的其它图像。例如，标记为“1”的带可包含具有对应相似性度量0的其它图像，标记为“2”的带可包含具有对应相似性度量1的其它图像，标记为“3”的带可包含具有对应相似性度量2的其它图像，等等。在另一实施例中，各带可包含一定范围的相似性度量。在这样的实施例中，标记为“1”的带可包含具有相似性度量0-2的其它图像，标记为“2”的带可包含具有相似性度量3-5的其它图像，等等。

当在用户的UI内呈现图像时，可以用缩放以适合用户的屏幕空间的方式来呈现图像。如图6A所示，用户的屏幕空间602是宽屏。如此，在所选图像的左侧和右侧比在所选图像的下方和上方呈现更多的其它图像带。然而，如图6B所示，具有较高且较窄的屏幕空间604的用户可以通过在所选图像的下方和上方比在所选图像的左侧和右侧呈现更多的带，来缩放各同心带以适合该类型的屏幕空间。

图6C示出用于在所选图像周围呈现该所选图像的相似图像的另一实施例。如在图6C中所示，具有较高相似性排序的图像被呈现为距所选图像0较近，并且比具有较低相似性排序的更远离所选图像0的图像大。

图6D示出用于在所选图像周围呈现该所选图像的相似图像的又一实施例。如图6D所示，可以用螺旋格式在所选图像的周围呈现各个图像。最相似的图像(如每一其它图像的所计算的相似性度量所确定的)可以在部分“1”中呈现。其余的其它图像可以按相关性的降序来在升序编号的部分中呈现，其中所呈现的图像的相似性水平随编号部分的上升而下降。同样，其它图像在所选图像周围的布置可以通过每一其它图像相对于所选图像的对应的相似性度量来确定。同样，如在图6D中所示，具有较高相似性排序的图像(更接近所选图像)可以呈现为比具有较低相似性排序(较远离所选图像)的图像大。在又一实施例中，可以用螺旋格式在所选图像的周围呈现包含多个图像的带。在这样的实施例中，各带可包含具有相同的相似性度量的其它图像，或各带可包含对应于特定范围的相似性度量的其它图像范围；例如，第一条带可包含具有在0和5之间的相似性度量的其它图像。

3-D和2-D照片生成的可导航店面的创建

现在已经解释了用于创建3-D和2-D照片生成的可导航图像环境的技术，本部分将讨论3-D和2-D照片生成的可导航店面的创建。3-D和2-D照片生成的可导航店面各自可分别采用以上讨论的3-D和2-D照片生成的可导航图像环境。照片生成的可导航店面可由操作用于销售商品和/或服务的商务环境的任何实体来使用。这种商务环境包括但不限于，店铺、商店、贸易展览会、博览会、制造商的仓库、诸如现场旧货出售等即兴商务环境。

照片生成的可导航店面可以合并到商务环境的操作者或操作者代理所管理的商务网站中。照片生成的可导航店面可包括产品和服务的图像，如同它们出现在物理商务环境内一样。这些图像例如可以是用照相机(数字或非数字)拍摄的产品和/或服务的图像。照片生成的可导航店面可允许用户导航并浏览商务环境，如同他们实际在该商务环境的物理位置处一样。例如，名为“店铺1”的店铺，其可以是具有与Best Buy相似的产品和服务的电子店铺，可以具有网站www.store1.com。该网站可以具有用户可以在该网站上选择的“照片生成的可导航店面”选项，该选项可以允许用户浏览3-D或2-D照片生成的图像环境，这些图像是在“店铺1”店铺中收集的。

在网站的UI的第一部分中，可以存在该店铺的实际3-D或2-D照片生成的可导航图像环境。用户可以浏览该店铺各部中的每一部的通道，包括例如电视、CD、家用电器以及视频游戏，如同他们实际走过这些通道一样。用户可以基于用照相机收集的图像来如同它们出现在物理店铺的架上一样来查看实际产品。在网站的UI的第二部分中，可以存在呈现与用户所选图像中所示的产品或服务相关的信息的网页。例如，如果用户导航到显示用于出售的特定蜂窝电话的图像，则该第二部分可以显示该电话的名称、型号以及价格。另外，关于可为该蜂窝电话购买的不同服务计划的信息也可以在该第二部分中显示。

图7是根据本发明的一实施例的用于创建照片生成的可导航店面的示例性方法700的流程图。在框702处，接收一个或多个图像。接收到的图像可以是在商务环境中拍摄的产品或服务的图像。这些图像可以是用照相机拍摄的这些产品或服务的照片。在一实施例中，图像由ICD 106(图1)来接收。在这样的实施例中，可以通过用户将图像从他/她的照相机上传到ICD 106来接收该图像。在操作704处，通过ICD 106处理每一图像。在处理图像时，标识每一图像的关键点并对这些关键点分配标识符以将一个关键点与另一个进行区分。每一关键点标识符与每一对应的图像相关联并与其一起存储在图像文件系统108中。

在操作706处，用标识符(标签id)标记接收到的图像。标签id是用作一个或多个图像与关于图像内的产品/服务的描述信息之间的链接的标识符。相关描述信息可以显示在网站的UI的第二部分中，在UI的显示可导航3-D或2-D照片生成的图像环境的第一部分的旁边。标签id可以是任何词、短语、产品/服务号或id、或用于区分图像的其它描述性机制。标签id可以使用诸如键盘或鼠标等输入设备来手动地从用户接收，或标签id可以由用户通过使用语音识别输入系统来接收。用户可以简单地向语音识别系统讲出每一对应的图像的标签id。一旦接收到图像的标签id，则将该标签id与图像相关联并将其与该图像一起存储在图像文件系统108中。

在一实施例中，基于所选图像的关键点来将标签id与该所选图像相关联。例如，代替将关键点与特定图像的图像文件名相关联，关键点可以与特定图像的标签id相关联。这具有附加优点，使得ICD 106可以将同一标签id应用于具有与所标记的图像相似的关键点的图像。ICD 106可以使用用于确定从一个图像到另一个图像应用同一标签id所需的共同关键点的阈值数的算法。所以，代替必须手动地标记上传到图像文件系统108中的每一图像，用户可以选择标记具有特定产品的图像的一个实例，并且该标签id可被应用于包含同一产品的其它图像。因此，一旦将一组相关产品/服务信息与一个所选图像的标签id进行了关联，则同一产品/服务信息可以应用于用同一标签id标记的其它图像并与其相关联。

在单个图像中存在多个产品的情况下，标签id还帮助标识图像中的各产品何时在图像文件系统108内具有表示特定产品的更接近视图的对应图像。例如，第一图像可包含通道中的具有待售的索尼、三星、和松下电视机的架子。用户可能希望查看示出索尼电视机的更接近视图的图像，但不知道如何导航到该更接近视图的图像。假定存在只具有索尼电视机的更接近视图的图像，如果这一图像具有标签id，则该标签id可以与第一图像(包含索尼、三星、和松下电视机的图像)的示出索尼电视机的区域相关联。

在将标签id与第一图像的该区域进行了关联之后，可以实现通知用户图像文件系统108中存在表示索尼电视机的更接近视图的图像的方法。例如，在一个实施例中，发光圈或其它标识符可以置于第一图像内的索尼电视机的周围或旁边，以通知用户存在索尼电视机的更接近视图的图像。在这样的实施例中，如果用户在第一图像的显示索尼电视机的区域上点击他的鼠标光标，则可以检索包含索尼电视机的更接近视图的图像并显示给用户。如果第一图像内的其它电视机具有带标签id的对应的更接近视图图像，则这也可以成立。其它电视机的代表性标签id可以与第一图像的显示该特定电视机的区域相关联，并且如果用户访问第一图像内的对应的产品，则可以向用户显示更接近视图图像。在另一实施例中，到较大图像中显示的产品的更接近视图图像的链接可以在网站的UI的第二部分中显示。例如，代替在3-D或2-D照片生成的可导航图像环境内设置某种类型的标识机制来通知用户存在第一图像内的产品的更接近视图图像，可以在网站UI的第二部分中放置到每一更接近视图图像的链接。一旦用户选择了第二部分中的链接，则随后可以在3-D或2-D照片生成的可导航图像环境(第一部分)中向他/她呈现更接近视图图像。因此，其中显示多个产品的图像可具有与该图像的其中显示每一产品的不同区域相关联的多个标签id。

在操作708处，将所标记的图像与关于每一图像中所示的产品或服务的产品/图像信息相关联。通过将图像的标签id或诸如图像文件名等其它标识符与例如产品/服务信息相关联并将与该图像的关联存储在图像文件系统108中，来将该图像与一组产品/服务信息相关联。产品/服务信息可被存储在图像文件系统108中或存储在可以位于ICD 106的内部或外部的单独的数据库内。产品/服务信息可包括关于在3-D或2-D照片生成的可导航图像环境部分内的图像中显示的产品或服务的任何类型的多媒体数据。例如，产品/服务信息可包括产品/服务的上下文描述、用于购买该产品/服务的支付服务、用于播放与该产品/服务相关的音频或视频内容的音频和/或视频文件、物理商务环境的可以与该产品/服务相关或不相关的特定区域的实况网络摄像头馈源、允许用户向商务环境的代表发送即时消息的即时信使、或任何其它多媒体数据项目。在一实施例中，显示产品/服务信息的第二部分包括显示多媒体内容的网页。

因为3-D或2-D照片生成的可导航图像环境部分中的图像与第二UI部分中的产品/服务信息相关联，所以可以配置本发明使得在这两部分之间存在双向通信。双向通信方便在第一UI部分(3-D或2-D照片生成的可导航图像环境)中采取的动作影响第二UI部分中所显示的事物(产品/服务信息)的能力，反之亦然。例如，通过选择第一UI部分中的图像，可以检索与该图像内的产品的标签id相关联的产品/服务信息并将其显示在第二UI部分中。例如，ICD 106可以确定在第一部分中选择了图像或图像的一部分，标识与所选图像或部分相关联的标签id，搜索包含产品/服务信息的数据库以检索具有与所标识的标签id相关联的多媒体数据的网页，并在第二UI部分中显示所检索的多媒体数据。在另一示例中，第二UI部分可被配置成显示到第一UI部分中的图像中所显示的一个或多个产品的更接近视图图像的链接。对特定链接的选择可以使得ICD 106例如检索并在第一UI部分中显示与所选链接相关联的更接近视图图像。

图8A和8B是商务环境的用于显示照片生成的可导航店面的网站的实施例。图8A示出包括3-D照片生成的可导航图像环境部分802和产品/服务信息部分806的网站UI 800的实施例。在该3-D照片生成的可导航图像环境802中，可以存在用户可以用他/她的鼠标光标来选择以允许该用户导航到所选图像808的左侧、右侧、上方、下方或从中放大或缩小的选项(未示出)。在另一实施例中，本发明可被配置成接受来自键盘或其它输入设备的特定输入控制来向ICD 106通知例如用户想要导航的方向。一旦接收到方向，可以显示当前所选图像808的下一最佳邻居图像。如图所示，对图像808的选择使得关于图像808内的产品的产品信息显示在产品/服务信息部分806中。如上所述，该产品信息可以使用标签id来与图像808相关联。在一实施例中，如图所示，可以在3-D照片生成的可导航图像环境部分802的部分804中显示与所选图像808相似的一行图像。部分804中显示的图像可以基于与所选图像808共享的共同关键点。

图8B示出包括2-D照片生成的可导航图像环境部分812的分散视图并且还包括产品/服务信息部分814的网站UI 810的实施例。如图所示，对图像816的选择使得关于图像816内的产品的产品信息被显示在产品/服务信息部分814中。如上所述，该产品信息可以使用标签id来与图像816相关联。在一实施例中，对部分812内的图像的选择可以使得该图像呈现在3-D照片生成的可导航图像环境中。如在图8A和8B中所示，产品/服务信息部分显示在3-D或2-D照片生成的可导航图像环境的左侧。然而，在其它实施例中，产品/服务信息部分可被显示在3-D或2-D照片生成的可导航图像环境的上方、下方或右侧。

图9是根据本发明的一实施例的用于管理照片生成的可导航店面的方法900的流程图。在操作902处，接收第一图像。在一实施例中，该第一图像由ICD 106来接收。该第一图像可以合并到照片生成的可导航图像环境(3-D或2-D)中。在操作904处，在第一图像内标识一个或多个关键点。例如，可以使用ICD 106来标识关键点。在操作906处，基于第一图像的关键点来向第一图像分配标签标识符。在操作908处，将标签标识符与关于第一图像内的项目的描述信息相关联。在操作910处，将标签标识符与描述信息的关联存储在数据库中。

图10是根据本发明的一实施例的用于管理照片生成的可导航店面的另一方法1000的流程图。在操作1002处，接收访问照片生成的可导航图像环境(3-D或2-D)内的图像的请求。在一实施例中，该请求由ICD 106来接收。在操作1004处，标识与该图像相关联的一个或多个标签标识符。在操作1006处，定位与标签标识符相关联的描述信息。该描述信息可以存储在例如数据库中，其中描述位置与数据库中的标签标识符相关联。在操作1008处，在图形用户界面中提供描述信息。

虽然已在此详细示出并描述了本发明的具体实施例，但应该理解，可对本发明做出各种改变和修改而不背离本发明的范围和意图。此处所描述的实施例在所有方面都旨在是说明性而非限制性的。没有背离本发明范围情况下的本发明的各替换实施例对本领域技术人员将变得显而易见。

从前述内容可知，本发明很好地适用于实现前述的所有目的和目标，并且具有对于该系统和方式是显而易见的和固有的其它优点。可以理解，特定的特征和子组合是有用的，并且可以在不参考其它特征和子组合的情况下使用。

Claims

1.一个或多个其上包含计算机可使用指令的计算机可读介质，所述计算机可使用指令用于执行管理照片生成的可导航店面的方法，所述方法包括：

接收第一图像(902)，所述第一图像合并到照片生成的可导航图像环境中；

在所述第一图像内标识一个或多个关键点(904)；

基于所述一个或多个关键点中的至少一个来向所述第一图像分配标签标识符(906)；

将所述标签标识符与关于所述第一图像中的至少一个项目的描述信息相关联(908)；以及

将所述标签标识符与所述描述信息的关联存储在数据库中(910)。

2.如权利要求1所述的介质，其特征在于，所述方法还包括当在所述照片生成的可导航图像环境中选择所述图像时提供所述描述信息。

3.如权利要求2所述的介质，其特征在于，所述描述信息在与所述照片生成的可导航图像环境分开的用户界面部分中提供。

4.如权利要求3所述的介质，其特征在于，所述描述信息包括到第二图像的链接。

5.如权利要求4所述的介质，其特征在于，所述方法还包括在选择所述链接时在所述照片生成的可导航图像环境中提供所述第二图像。

6.如权利要求1所述的介质，其特征在于，所述方法还包括如果除所述第一图像之外的一个或多个图像与所述第一图像共同具有预定数量的关键点，则向该一个或多个其它图像分配所述标签标识符，并且当在所述照片生成的可导航图像环境中选择该一个或多个其它图像中的至少一个时提供所述描述信息。

7.如权利要求1所述的介质，其特征在于，所述方法还包括将所述描述信息与所述第一图像相关联，并且当在所述照片生成的可导航图像环境中选择与所述第一图像共同具有预定数量的关键点的一个或多个图像时提供所述描述信息。

8.如权利要求1所述的介质，其特征在于，所述方法还包括将所述标签id与第三图像的至少一个区域相关联。

9.如权利要求8所述的介质，其特征在于，所述方法还包括当在所述照片生成的可导航图像环境中选择所述第三图像的所述区域时提供所述描述信息。

10.如权利要求9所述的介质，其特征在于，所述方法还包括在选择所述第三图像的所述区域时在所述照片生成的可导航图像环境中提供所述第一图像。

11.一个或多个其上包含用于执行管理照片生成的可导航店面的方法的计算机可使用指令的计算机可读介质，所述方法包括：

接收访问照片生成的可导航图像环境内的图像的请求(1002)；

标识与所述图像相关联的一个或多个标签标识符(1004)；

定位与所述一个或多个标签标识符相关联的描述信息(1006)；以及

在图形用户界面中提供所述描述信息(1008)。

12.如权利要求11所述的介质，其特征在于，所述方法还包括：

标识与所述图像共同具有预定数量的关键点的一个或多个其它图像；以及

在所述图形用户界面中与所述图像一起提供所述一个或多个其它图像。

13.如权利要求11所述的介质，其特征在于，所述照片生成的可导航图像环境在所述图形用户界面的第一部分中提供，并且所述描述信息在所述图形用户界面的第二部分中提供。

14.如权利要求11所述的介质，其特征在于，所述描述信息包括到第二图像的链接。

15.如权利要求14所述的介质，其特征在于，所述方法还包括在选择所述链接时在所述照片生成的可导航图像环境中提供所述第二图像。

16.一种包含在一个或多个计算机可读介质上并且可在计算机上执行以在显示屏上呈现照片生成的可导航店面的图形用户界面，所述图形用户界面包括：

被配置成显示包括至少一个图像(804)的照片生成的可导航图像环境的第一屏幕区域(802)；以及

被配置成在选择所述至少一个图像时显示与该至少一个图像内的至少一个项目相关的描述信息的第二屏幕区域(806)。

17.如权利要求16所述的图形用户界面，其特征在于，所述第一屏幕区域显示与所述至少一个图像共同具有预定数量的关键点的一个或多个其它图像。

18.如权利要求16所述的图形用户界面，其特征在于，在选择第二图像的某一区域时在所述照片生成的可导航图像环境中显示所述至少一个图像，其中所述第二图像的所述区域与所述至少一个图像的标签标识符相关联。

19.如权利要求16所述的图形用户界面，其特征在于，所述描述信息包括到第三图像的链接。

20.如权利要求19所述的图形用户界面，其特征在于，在选择所述链接时在所述第一屏幕区域中显示所述第三图像。