CN103930901A - 基于图像内容的自动标记生成 - Google Patents

Abstract

提供了从具有可辨认对象的图像的照片（或视频）中自动提取数据和给照片（或视频）自动加标记的方法。图像识别与包括地理和日期/时间信息的所提取元数据的组合被使用来找出和识别照片或视频中的对象。在找到对于所识别的对象的匹配的标识符后，用与所识别的对象相关联且相对应的一个或多个关键字给照片或视频自动加标记。

Description

基于图像内容的自动标记生成

背景技术

随着数码相机变得越来越普遍，以及数字存储装置变得越来越便宜，在用户的收集（collection）（或库）中的相片(“照片”)和视频的数目也将呈指数级增加。

对那些照片进行归类是费时的，而且让用户快速找出他们生活中特定时刻的图像是一种挑战。当前，在数码照片的整理、保存和搜索中使用标记作为辅助。加标记涉及到给数字数据指派关键字的过程。然后可以按照关键字或‘标记’来组织数字数据。例如，数码照片的主题可被使用来创建关键字，然后这些关键字可以作为一个或多个标记而与该数码照片相关联。

虽然标记可以人工地加到特定的数码照片上以帮助照片的归类和搜索，但当前只有几种加到照片的自动标记。例如，大多数相机给数码照片指派日期和时间的自动标记。另外，越来越多的相机正包括地理位置来作为照片的自动标记的一部分。最近，已经开发了软件解决方案来提供对于照片中的人的自动识别（并且匹配于特定的身份）。

然而，用户当前只限于通过日期、地理、人标记和人工添加的标记来查询照片。

发明内容

提供了用于给数码照片和视频自动指派标记的方法。不是仅仅具有可由相机自动指派给照片的、来自提供日期、时间和地理位置的元数据的标记，而是可以从照片或视频中自动提取附加信息，并且可以把与该附加信息相关联的关键字或代码作为标记自动指派给该照片或视频。这个附加信息可包括不能直接从图像和与图像相关联的元数据明显地得到的信息。

例如，从图像中可以提取关于某些条件的信息，包括但不限于天气、地理地标、建筑地标和显著的环境特征。在一个实施例中，照片的时间和地理位置元数据被使用来提取对于该特定的位置和时间的天气。所述提取可以通过查询天气数据库以确定对于在拍摄照片时的特定位置和时间的天气而被执行。在另一个实施例中，照片的地理位置元数据和图像识别被使用来提取地理和建筑地标。在再一个实施例中，图像识别被使用来从图像提取显著的环境特征（包括背景、色彩、色调和亮度）和已知的物理对象，且根据所提取的特征和对象把标记自动指派给照片。

按照一个实施例，当在某个照片中识别一个或多个确定的条件时，关键字或对象标识符的数据库可被提供来用作为标记。当一个特定的条件被识别时，与该特定的条件相关联的一个或多个关键字或对象标识符被自动指派为对于该照片的标记。

之前与特定的照片相关联的标记可被使用来生成附加标记。例如，日期信息可被使用来生成与该日期相关联的带有关键字的标记，诸如季节、学校学期、假期和有报道价值的事件。

在另一个实施例中，所识别的对象可以通过知名度进行排名，且该排名被反映为附加标记。另外，在辨认所识别的对象时使用的数据库可包括各种水平的特异性（specificity）/粒度（granularity）。

本概要被提供来以简化的形式介绍概念的选择，这些概念还将在下面的详细说明中进行描述。本概要既不打算确认所要求保护的主题的关键特征或必要特征，也不打算被使用来限制所要求保护的主题的范围。

附图说明

图1图示按照本发明的某些实施例的自动标记生成过程。

图2图示按照本发明的某些实施例的图像识别过程。

图3显示按照本发明的某些实施例的自动标记生成过程的流程。

图4图示按照本发明的实施例的、用于自动标记生成过程的、通过从照片中提取建筑地标而生成标记的过程。

图5图示按照本发明的实施例的、用于自动标记生成过程的、通过从照片中提取地理地标而生成标记的过程。

具体实施方式

描述了用于进行与照片相关联的一个或多个标记的自动生成的技术。自动添加标记可以发生在数码照片（或视频）被装载到或以别的方式传送到可被存储在本地、远端或分布式数据库的照片集时。在其它实施例中，自动添加标记可以在用户发起时发生，以便给现有的照片加标记。

图像可包括但不限于在照片或视频帧中所出现的对象、形状和特征的视觉代表。按照某些实施例，图像可以由数码相机捕获（以照片的形式或作为视频的一部分），并且它可以以由数码相机的图像传感器定义的像素的形式被实现。在一些实施例中，术语“照片图像”在这里被用来指数码照片的图像，与照片所关联的元数据或其它元素相对，并且它可以与术语“图像”互换使用，而不背离本发明的某些实施例的范围。术语“照片”、“图像”和“照片图像”的意义从它们的上下文中将容易理解。

在某些实施例中，当在这里被使用时，图像可以是指由数码相机的图像传感器得到的电数值的视觉代表。图像文件（和数码照片文件）可以是指计算机可读的并且在存储设备中可存储的图像的形式。在某些实施例中，图像文件可包括但不限于.jpg、.gif和.bmp文件。图像文件可以被重建，以便在例如显示设备或衬底上（例如，通过打印在纸上）提供视觉代表（“图像”）。

虽然某些示例性实施例可能是参照照片描述的，但应当理解，这些实施例也可以适用于任何图像（甚至于不是由相机捕获的那些图像）。而且，本主题技术可应用于静止图像（例如，相片）和运动图像（例如，视频），并且可把音频成分包括到文件。

被写入到数码照片文件中的元数据常常包括标识谁拥有该照片（包括版权和联系信息）和创建该文件的相机（和设置）的信息，以及说明性信息，诸如用于使得文件在用户的计算机上和/或在互联网上可搜索的、关于照片的关键字。某些元数据由相机编写，而其它元数据在数码照片文件从相机、存储器设备或另外的计算机转送到计算机（或服务器）后，由用户人工输入或由软件自动输入。

按照本发明的某些实施例，图像及其元数据被使用来生成附加元数据。附加元数据是通过从图像和用于图像的元数据进行提取或推断而被生成的。用于图像的元数据可包括拍摄图像的地理位置和日期，以及与图像相关联的、可得到的任何其它信息。用于图像的元数据可以是图像本身的一部分或可以分开地提供。当元数据是图像本身的一部分时，在图像的数字文件被使用来生成附加元数据之前，首先从图像的数字文件提取数据。附加元数据一旦被生成就可以回过来与原先的图像相关联或被使用于其它用途。提取的和/或创建的元数据和附加元数据可以作为标记而与原先的图像相关联。

一种类型的标记是关键字标记。关键字标记可以结合对一个或多个图像执行操作而被使用，诸如像根据具有匹配于特定准则的关键字的标记而归类、搜索和/或检索图像文件。

图1图示按照本发明的某些实施例的自动标记生成过程。

参照图1，接收具有图像及其对应的元数据的照片100。本发明的实施例的自动加标记过程可以在接收到照片后自动开始。例如，所述过程可以在用户上载照片图像文件到照片共享站点后开始。作为另一个例子，所述过程可以在用户把照片从相机装载到用户的计算机后开始。作为再一个例子，用户的移动电话可包括用于自动标记生成的应用，其中加标记过程可以在通过使用移动电话的相机来捕获图像或选择所述应用后开始。

在接收照片后，提取与照片相关联的元数据110。元数据的提取可包括读取和分析与照片相关联的元数据的具体类型。可被提取的元数据的类型可包括但不限于：可交换的图像文件格式（EXIF）、国际新闻电信理事会（IPTC）和可扩展的元数据平台（XMP）。

除了元数据提取110以外，还执行图像识别120，以便识别和辨认照片图像中的形状和对象。在图像识别执行期间所使用的特定的图像识别算法可以是对于特定的应用或处理约束条件可得到的、任何适当的图像或模式识别算法。图像识别算法可能受用于提供照片中的对象与已知对象的匹配的可用数据库限制。作为一个例子，图像识别算法可牵涉到图像的预处理。预处理可包括但不限于：调节图像的对比度、转换到灰度和/或黑白、剪切、重新定尺寸、旋转、以及它们的组合。

按照某些图像识别算法，诸如(但不限于)色彩、尺寸或形状那样的有区别的特征可被选择来用于检测特定的对象。当然，可以使用提供对象的有区别的特性的多个特征。为了确定图像中对象的边缘（或边界），可以执行边缘检测（或边界识别）。在图像识别算法中可以进行形态研究（morphology），以对像素组实施动作，包括去除不想要的分量。另外，可以执行区域的噪声减小和/或填充。

作为图像识别算法的一个实施例的一部分，一旦在图像中找到/检测到一个或多个对象（和它们的相关联的性质），就可以在图像中定位所述一个或多个对象的每个对象，然后对其进行分类。可以通过按照涉及到有区别的特征的特定技术规范来评估所定位的对象，而对所定位的对象进行分类（即，被辨认为特定的形状或对象）。特定的技术规范可包括数学计算（或关系）。作为另一个例子，代替（或附加于）在图像中定位可识别的对象，可以执行模式匹配（pattern matching）。可以通过把图像中的单元和/或对象与“已知的”（先前辨认的或分类的）对象和单元相比较而完成匹配。计算和/或比较的结果（例如，数值）可被归一化，以代表对于分类的最佳拟合（fit），其中比起较低数字（例如，0.2）的归一化的结果来说，较高的数字（例如，0.9）表示被正确地分类为特定的形状或对象的较高或然率。阈值可被使用来给所辨认的对象指派标签。按照各种实施例，图像识别算法可以利用神经网络（NN）和其它学习算法。

应当理解的是，虽然所描述的实施例和例子中的某一些可能参考了照片，但这不应当被解释为把所描述的实施例和例子限制于照片。例如，视频信号可以由这里描述的某些系统接收，并经历如按照本发明的某些实施例描述的自动标记生成过程。在一个实施例中，可以接收视频信号的一个或多个视频帧，其中视频帧可包括图像和元数据，并且可以执行图像识别和元数据提取。

在一个实施例中，可以对于图像执行第一遍识别步骤，以辨认在图像中存在基本形状或对象。一旦基本形状或对象被辨认，就执行第二遍识别步骤，以得到对形状或对象的更具体的辨认。例如，第一遍识别步骤可辨认出在照片中存在有建筑物，而第二遍识别步骤可辨认具体的建筑物。在一个实施例中，辨认在照片中存在有建筑物的步骤可以通过在照片与可供执行图像识别的机器/设备使用的一组图像或模式之间进行的模式匹配而完成。在某些实施例中，用于第一遍识别步骤的模式匹配的结果可足以辨认具有足够的特异性的形状或对象，这样使得不执行附加的识别步骤。

在某些实施例中，在图像识别过程期间，提取的元数据可被使用来例如通过提供关于照片中的形状或对象可能是什么的线索而帮助实行图像识别。在对于第一遍/第二遍过程的建筑物例子中，从元数据中提取的地理信息可被使用来帮助辨认具体的建筑物。在一个实施例中，图像识别120的执行可以通过使用图2所示的图像识别过程来实行。参照图2，基本图像识别算法可被使用来辨认图像中的对象221。这个图像识别算法被称为“基本的”，以指示在步骤221中的图像识别过程没有在使用提取的元数据，并且不应当被解释为仅仅指示过分简单化的或以别的方式受限制的过程。图像识别算法可以是可供特定的应用或处理约束条件使用的、任何适当的图像或模式识别算法，并且它也可牵涉到图像的预处理。一旦从图像中辨认出对象，就可以使用所提取的元数据211通过查询数据库（例如，“标识数据库(DB)”)222，来获得用于所辨认的对象的名称或标签。数据库可以是包含名称和/或标签、在通过查询设定的约束条件内提供对于对象的标识的任何适当数据库。由标识DB查询而产生的名称和/或标签然后可被使用来查询包含图像的数据库（例如，“图片DB”），以便找到与名称和/或标签相关联的图像223。由图片DB搜索而产生的图像然后可被使用来执行模式匹配224，以便更具体地辨认图像中的对象。在某些实施例中，可以针对由图片DB搜索而产生的对象的图像有多类似于在经历图像识别过程的图像中所辨认的对象来提供分数。

使用以上的建筑物例子和相对于图2描述的、按照图像识别过程的实施例的图像识别过程，基本图像识别221可被使用来辨认目标“建筑物”，而且算法可以返回例如“建筑物”、“灰色建筑物”或“高的建筑物”。当提取的元数据211是拍摄照片处的经度和纬度时（可以在~10²英尺量级的范围内），标识DB的查询222可以是“找出接近于这个地理位置的所有的建筑物”（其中地理位置是通过使用由所提取的元数据提供的经度和纬度而被辨认的）。然后，可以查询图片DB 223，以“找出对于那些特定建筑物中的每个建筑物的所有已知的图片”（其中特定的建筑物是来自标识DB的查询的、所辨认的建筑物）。然后可以执行模式匹配224，以比较由图片DB的查询得到的图像与经历图像识别过程的图像，来确定是否有特别明显的或接近的匹配。

在另外的实施例中，当在单个图像中辨认出多个对象时，也可以识别对象相互之间的相对位置。例如，可以执行高级的识别步骤，以识别所辨认的船是在所辨认的河上或所辨认的人是在所辨认的池中。

回到图1，所提取的元数据和在照片中识别/辨认的对象然后可以通过被使用于向数据库查询相关信息，而被用来获得对于该照片的附加信息130。为了获得来自查询的结果，可以执行字词匹配。这个步骤可包括使用地理信息、日期/时间信息、图像中的辨认的对象或它们的各种组合来查询各种各样的数据库，以便获得关于照片中的对象和在照片中或附近发生的事件的相关信息。数据库查询的结果可以被接收140，并被用作为对于照片的标记150。例如，具有2011年11月24日的提取日期、在美国的提取位置和在桌子上煮熟的火鸡的被识别对象的照片可以导致“感恩节”的附加信息标记，而在美国以外的提取位置对于相同的图像就不一定导致“感恩节”的附加信息标记。作为另一个例子，具有2008年美国总统选举的提取日期和被识别为总统奥巴马的图像的照片可以导致“总统选举”的附加信息标记，或者如果时间也匹配，则附加信息标记可包括“总统候选人所做的提名演讲”。

图3图示按照本发明的某些实施例的自动加标记过程。类似相对于图1描述的过程，接收到具有图像301和对应的元数据302的照片。提取从元数据202中可得到的任何地理信息（310）和对应的日期/时间信息（320）。如果没有地理信息和日期/时间信息可得到，则可以返回空结果（作为结束过程）。另外，图像301被输入到图像分类器330，该图像分类器扫描已知的对象（即，由图像分类器使用的数据库中已被定义的和/或编目的对象），并辨认和提取在图像中的任何已知的物理对象。

图像分类器使用形状和项目（对象）的数据库来从图像中提取尽可能多的数据。图像分类器可以搜索和识别各种各样的对象、形状和/或特征（例如，色彩）。对象包括但不限于面孔、人、产品、角色、动物、植物、显示的文本和图像中其它可区分的内容。数据库可包括与可识别的形状和项目（对象）相关联的对象标识符（元数据）。在某些实施例中，图像分类器的灵敏度可以使得即使在图像中只有部分形状或对象的一部分是可得到的情形下也能够识别对象。从图像分类器过程获得的元数据可被用作为对于照片的标记。元数据可以被写回到照片中或以别的方式与照片相关联，并且被存储（335）。

从所提取的元数据和从图像分类器过程获得的元数据，可以通过利用元数据的组合而自动生成附加标记。例如，图像可以经历一遍或多遍，以辨认和提取各种各样的识别的特征。在辨认和提取各种各样的识别的特征期间，代表所识别的特征被正确地辨认的概率的置信度值可作为与照片相关联的标记的一部分被提供。置信度值可以作为图像识别算法的一部分被生成。在某些实施例中，置信度值是当把图像中的特征/对象与基础特征（base feature）（或特定的技术规范）匹配时，由图像识别算法生成的匹配权重（它可以被归一化）。例如，当图像中被搜索的有区别的特性是：整个图片是蓝色，但在匹配算法中使用了具有不同的蓝色色调的某个图像时，所生成的置信度值将依赖于所使用的算法和所述图像之间的增量（delta）。在一种情形中，如果该算法识别边缘和颜色，则结果可能指示90%匹配，而在另一种情形中，如果该算法只针对边缘，而没有针对颜色，则结果可能指示100%匹配。

在某些实施例中，置信度值可以是以带有置信度水平的表格的形式。表格可以作为标记本身的一部分被存储。在一个实施例中，表格可包括属性和相关联的确定性。例如，给定某种蕉（plantain）的照片（其中不清楚该种蕉是芭蕉还是香蕉），照片（在经历按照本发明的实施例的自动标记生成过程后）可以用下面的表格1加标记。应当理解，该表格仅仅提供来用于举例说明的目的，不应当被解释为限制形式、组织或属性选择。

表格1

属性	确定性
		水果	1
香蕉	0.8
		芭蕉	0.8
热狗	0

对于以上的例子，当用户在搜索香蕉的照片时，可以随表格1一起获得芭蕉的照片。在某些情形下，用户能够去除在表格中的、用户认为是不正确的任何属性，并且把用户认为是正确的属性的置信度值（或确定性）改变成100%（或1）。在某些实施例中，被校正的表格和照片可以在图像匹配算法中被使用，以使得图像识别算法能够更准确。

回到图3，在一个实施例中，提取的地理信息被使用来帮助实行一遍地标识别（340）以便辨认和提取任何识别的地标（地理的或建筑的），通过该遍地标识别，图像被输入。置信度值也可以与从该遍地标识别生成的标记相关联。从该遍地标识别生成的标记可以被写回到照片图像文件中或以别的方式与图像相关联，并且被存储（345）。

在另外一个实施例中，访问天气数据库，以便通过使用地理信息和日期/时间信息的提取的元数据而外推在图像被捕获的时间/位置处的天气/温度信息（350）。天气/温度信息可以被写回到照片中或以别的方式与图像相关联，并且被存储（355）。从每个过程生成的自动标记可被存储在同一个或分开的存储单元中。

多个数据库可以被自动标记生成系统使用。由标记生成系统使用的数据库可以是本地数据库或与其它系统相关联的数据库。在一个实施例中，可以包括具有关键字或对象标识符的数据库，这些关键字或对象标识符在一个或多个特定的条件（诸如（但不限于）天气、地理地标和建筑地标）被确定为在照片中存在时，被用作为标记。这个数据库可以是由图像分类器使用和/或访问的数据库的一部分，或是与该数据库分开的。供本主题的自动标记生成过程的某些实施例来访问和使用的数据库可包括对于搜索引擎可得到的任何适当的数据库，从而使得能进行在图像与标记之间的匹配。

把地理标识信息（作为元数据）加到照片的过程可以称为“加地理标记”。通常，地理标记包括地理位置信息，诸如捕获照片的位置的纬度和经度坐标。自动加地理标记典型地涉及到当捕获用于照片的图像时，使用具有地理定位系统(GPS)的设备（例如，数码静止相机、数字视频摄像机、带有图像传感器的移动设备），这样使得当捕获的图像被本地存储在图像捕获设备（和/或被上载到远端数据库）时，该GPS坐标与所捕获的图像相关联。在另外的情形中，可以使用CellID(也称为CID，它是用于特定的蜂窝电话运营者站或扇区的蜂窝网小区的识别号)来指示位置。按照本发明的某些实施例，可以完成用于地理和建筑地标的专门的自动加地理标记。

作为第一个例子，数码照片的日期/时间和位置信息可以从数码照片的元数据中和通过使用日期/时间和位置代码进行搜索的数据库中被提取。数据库可以是天气数据库，其中对于在从数码照片提取的位置处和日期/时间的天气的查询返回对于该特定的位置和时间的有关天气的信息（或代码）。例如，查询的结果可以提供可被用作为标记的天气代码和/或描述，诸如，“以晴为主”、“阳光明媚”、“晴朗”、“晴好”、“局部多云”、“多云”、“大部多云”、“下雨”、“阵雨”、“小雨”和“雷雨”。当然，也可得到或使用其它天气描述，这取决于被搜索的数据库。例如，天气代码可包括其它与天气有关的描述符，诸如，“冷”、“热”、“干燥”和“潮湿”。也可以包括季节信息。

在某些情形下，被搜索的天气数据库可能未存储针对查询中所使用的确切位置和时间的天气信息。在这样情形的一个实施例中，可以执行最佳匹配搜索，并可以提供对于该位置和日期/时间的可能最佳匹配的天气信息（随置信度值一起）。例如，天气数据库可包含按照城市的、对于每个小时更新的天气信息。然后该天气数据库的查询可以返回对于该位置所处的城市或最接近的城市的（例如，位置可以是在指定的城市边界外面）、对于最接近于正被搜索的特定时间的（多个）时间的天气信息。

一旦照片被用来自天气数据库的天气信息加标记，那么对于“帮我找出正在下雪时拍摄的图片”的查询就将包括具有自动生成的“下雪”的天气标记的照片。

如上所述，除了使用与照片相关联的元数据（和其它标记）以外，还对照片图像进行图像识别以提取特征信息，并且把与所识别的对象或特征相关联的标记自动指派给照片。

作为一个例子，可以通过使用图像（或模式）识别来从照片中提取显著的环境特征。占主导的色彩可以被辨认，并被用作为标记。图像识别算法可以搜索天空是否是照片中的显著的特征，以及照片中有什么颜色或其它突出的部分（highlight）。例如，图像识别可以自动辨认“蓝色天空”或“红色天空”或“绿色草地”，并且照片可以用这些项目加标记。

作为第二个例子，使用图像识别可以自动提取已知的物理对象，并且在其中发现那些已知的物理对象的照片可以自动用所述已知的物理对象的名称加标记。在某些实施例中，图像识别可被使用来找出尽可能多的对象，并且适当地给照片自动加标记。如果由图像识别算法检测到棒球棒、或足球、或高尔夫俱乐部、或狗，则可以把带有这些项目的标记自动加到照片上作为标记。另外，对象可以按显著性（prominence）自动进行排名。如果该图像的大部分被确定为具有椅子，但也识别到桌子上放着一个小棒球（在图像上桌子的一小部分是可看见的），则照片可被标记以“椅子”、“棒球”和“桌子”。在另外的实施例中，可以包括额外的标记，带有主体是（或多半是）椅子的指示符。

取决于图像可识别的对象的特定的数据库，标记的粒度可以逐步进展（evolve）。例如，数据库可以具有可识别的对象的逐渐增加的粒度，诸如 “汽车”到“BMW汽车”到“BMW Z4汽车”。

作为第三个例子，已知的地理地标可以被确定，并且信息可以通过使用图像识别和加地理标记的组合来从照片提取。来自照片图像本身的数据可以经由图像识别来提取以及经图像识别的形状或对象被与在对应于从照片的元数据或地理标记提取的位置信息的位置处或其附近的已知的地理地标进行比较。这可以通过查询包含地理地标信息的数据库而完成。例如，数据库可以与具有已知的河流、湖泊、山脉和山谷的名称和地理位置的地图相关联。一旦识别出地理地标处在照片中，并且地理地标的名称被确定，就可以用该地理地标名称给照片自动加标记。

例如，照片图像中水体的存在可以通过使用图像识别而被识别。把在相片中有水的识别和与相片相关联的地理标记——其指示照片图像被捕获时的位置是处在或接近特定的熟知的水体——相组合，可以导致对于该照片的熟知水体名称的标记的自动生成。例如，具有大的水体和指示在英国沿泰晤士河的位置的地理标记的照片可以被用“泰晤士河”与“河流”自动加标记。图4图示了一个这样的过程。参照图4，显示河上日出的照片图像401的图像识别可以导致关于河流402处在图像401中的确定。在确定照片图像上有河流后，这个信息然后可以从图像中被提取，并且被应用为标记，和/或在生成附加元数据时被使用。例如，对于 “河流”402的更具体的辨认可以通过使用照片的对应的元数据403而获得。元数据403可包括各种各样的信息，诸如位置元数据和日期时间元数据。

对于地理地标标记生成，位置元数据（来自元数据403）与经图像识别的被辨认出的对象（402）的组合被使用来生成附加元数据。这里，元数据403指示靠近密西西比河的某个位置（未示出），且经图像识别的对象是河流。这导致标识符“密西西比河”的生成，它可被用作为照片的标记。

在某些实施例中，诸如当没有地理信息提供对于某个特定地理地标的名称时，被识别为河流的形状或对象可以用“河流”加标记。类似地，被识别为海滩的形状或对象可以用“海滩”或“海岸”加标记。

作为第四个例子，也可以通过使用图像识别与加地理标记的组合而从照片中确定已知的建筑地标。来自照片图像本身的数据可以经由图像识别来提取且经图像识别的形状或对象被与在对应于从照片的元数据或地理标记提取的位置信息的位置处或其附近的已知建筑地标进行比较。这可以通过查询包含建筑地标信息的数据库而完成。一旦识别出建筑地标处在照片中，并且建筑地标的名称被确定，就可以用该建筑地标的名称给照片自动加标记。包括艾菲尔铁塔、中国的长城或吉萨（Giza）的大金字塔的建筑地标由于它们的独特的形状和/或特征而可被识别。照片中特定结构的存在可以通过使用图像识别而被识别，并且用与该结构或特征相关联的字词给照片加标记。从搜索数据库确定的特定结构的名称可以是附加标记。

例如，如果图像识别导致确定金字塔处于照片中以及照片的加地理标记指示照片是在吉萨的金字塔附近拍摄的，那么照片除了“金字塔” 以外还可以用 “吉萨的金字塔”（或“吉萨的大金字塔”）加标记。图5图示了一个这样的过程。参照图5，对显示在艾菲尔铁塔底座前面的人的照片图像501的图像识别可以导致关于某个建筑物结构502是在图像501中的确定。通过确定在照片图像上有建筑物结构，这个信息于是可以从图像中提取，并被应用为标记，和/或在生成附加元数据时被使用。在这种信息被提取（例如，在照片图像中有建筑物结构）的某些实施例中，照片可以被加上与“建筑物结构”的经图像识别的对象相关联的一个字词或多个字词的标记。对于“建筑物结构”的更具体的辨认可以通过使用照片的对应的元数据503而实现。元数据503可包括各种各样的信息，诸如位置元数据和日期时间元数据。在某些实施例中，照片的元数据503还可包括相机特定的元数据和任何用户生成的或其它自动生成的标记。与照片相关联的元数据503的这个列表不应当被解释为限制或要求与照片相关联的特定信息，且仅仅打算举例说明某些共同的元数据。

对于建筑地标标记生成，位置元数据（来自元数据503）和经图像识别的被辨认出的对象（502）的组合被使用来生成附加元数据。这里，元数据503指示靠近艾菲尔铁塔的位置（未示出），以及经图像识别的对象是建筑物结构。这导致标识符 “艾菲尔铁塔”的生成，它可被用作为该照片的标记。

可以进行类似的过程来自动生成可识别的对象的标记。例如，如果在照片上识别出高速公路，则照片可被标记为“高速公路”。如果一件已知的艺术品被识别，则照片可用该件艺术品的名称加标记。例如，罗丹（Rodin）的雕塑“思想者”（the Thinker）的照片可以用“思想者” 和“罗丹”来加标记。已知的对象数据库可以是图像识别程序可访问的一个数据库或多个数据库。

在一个实施例中，可以在访问被用拍摄照片的位置加标记或与该位置相关联的图像的数据库之后，进行图像识别处理，使得附加数据集能够用于比较。

在牵涉到运动图像（例如，视频）的例子中，实时视频流（具有音频和视频分量）可被输入，并按照从指派的帧经图像识别的和提取的数据被自动加标记。环境声音也可以经历识别算法，以便把声音的特征作为标记附着到视频。作为一些例子，可以执行语音和音调识别、音乐识别和声音识别（例如，汽车喇叭声、钟楼钟声、鼓掌声）。通过辨认视频中话音的音调方面，视频可以用诸如“愤怒”那样的基于感情的词语自动加标记。

除了这里提供的例子以外，应当理解，可以使用任何数目的技术来检测图像内的对象，并搜索数据库以找出有关该检测到的对象的信息，该信息然后可以作为标记与图像相关联。

以上的例子不打算对这里结合自动生成与图像相关联的一种或多种类型的标记所描述的技术的使用或功能性的范围提出任何限制。

在某些实施例中，发生自动加标记的环境包括用户设备和通过网络与用户设备通信的标记生成器供应者。网络可以是，但不限于，蜂窝网（例如，无线电话网）、互联网、局域网（LAN）、广域网（WAN）、WiFi网或它们的组合。用户设备可包括但不限于计算机、移动电话、或可以存储和/或显示照片或视频并经由网络发送和访问内容（包括照片或视频）的其它设备。标记生成器供应者被配置成接收来自用户设备的内容和执行自动标记生成。在某些实施例中，标记生成器供应者与文件共享供应者--诸如照片共享供应者--通信，或者是文件共享供应者的一部分。标记生成器供应者可包括提供和实行程序模块的部件。这些部件（它们可以是本地的或分布式的）可包括但不限于处理器（例如，中央处理单元（CPU））和存储器。

在一个实施例中，自动加标记可以经由直接作为用户设备（它包括能够实行程序模块的部件，诸如处理器和存储器）的一部分的程序模块而被完成。在某些这样的实施例中，不使用标记生成器供应者。而是，用户设备通过网络与数据库供应者（或其它的其上存储有数据库的用户或供应者设备）通信，或访问被存储在或被连接到用户设备的数据库。

这里阐述的某些技术可以是在由一个或多个计算机或其它设备执行的计算机可执行指令（诸如程序模块）的一般上下文中进行描述的。通常，程序模块包括例行程序、程序、对象、构件和执行特定的任务或实施特定的抽象数据类型的数据结构。在各种实施例中，程序模块的功能性可以在计算系统或计算环境中按想要的那样被组合或分布。本领域技术人员将会意识到，这里描述的技术可能适合用于其它通用和专用的计算环境和配置。计算系统、环境和/或配置的例子包括但不限于：个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、可编程消费电子设备、以及包括任何上述系统或设备的分布式计算环境。

本领域技术人员应当意识到，计算机可读介质包括可拆卸和非可拆卸结构/器件，它们可被使用于存储诸如计算机可读指令、数据结构、程序模块和由计算系统/环境使用的其它数据那样的信息，具有易失性和非易失性存储器、基于磁性的结构/器件、基于光学的结构/器件的形式，并且可以是能由用户设备访问的任何可得到的介质。计算机可读介质不应当被解释为或解译为包括任何传播的信号。

在本说明书中对于“一个实施例”、“某个实施例”、“示例性实施例”等等的任何提法是指结合该实施例所描述的具体的特征、结构或特性都被包括在本发明的至少一个实施例中。这样的词组在说明书中各种地方的出现不一定都是指同一个实施例。另外，这里公开的任何发明或它的实施例的任何单元或限制可以与任何的和/或所有的其它单元或限制（独个地或以任何组合地）或这里所公开的任何其它发明或它的实施例进行组合，并且所有这样的组合预期是属于本发明的范围内，而不受限于这样的组合。

应当理解，这里描述的例子和实施例仅仅是用于举例说明的目的，本领域技术人员可以鉴于此提出各种修改或改变，它们应当被包括在本申请的精神和范围内。

Claims (10)

1.一种自动标记生成的方法，包括：

从与图像相关联的图像文件中提取元数据，所述元数据包括与该图像被捕获的位置有关的地理信息，以及任选地还包括与该图像被捕获的时间有关的日期和时间信息；

执行图像识别，以便辨认图像中的一个或多个对象、形状、特征或纹理；

用与所述一个或多个对象、形状、特征或纹理有关的信息或代码自动给图像加标记；

通过以下步骤确定所述一个或多个对象、形状、特征或纹理中的被辨认的对象或形状的对应细节：

　　使用与该被辨认的对象或形状有关的信息或代码以及该地理信息来查询至少一个数据库，以便将该被辨认的对象或形状以及该图像被捕获的位置与该对象或形状以及该图像被捕获的位置有关的对应细节进行匹配，或

　　使用与该被辨认的对象或形状有关的信息或代码以及该日期和时间信息来查询至少一个数据库，以便将该被辨认的对象或形状以及该图像被捕获的时间与该对象或形状以及该图像被捕获的时间有关的对应细节进行匹配，或

　　使用与该被辨认的对象或形状有关的信息或代码以及该地理信息与日期和时间信息来查询至少一个数据库，以便将该被辨认的对象或形状以及该图像被捕获的位置和该图像被捕获的时间与该对象或形状以及该图像被捕获的位置和该图像被捕获的时间有关的对应细节进行匹配；以及

用与所述对应细节有关的信息或代码自动给该图像加标记。

2.按照权利要求1的方法，其中执行图像识别来辨认图像中的一个或多个对象、形状、特征或纹理使用了从图像文件中提取的地理信息。

3.按照权利要求1-2的任一项的方法，包括执行地标识别来辨认图像中的一个或多个地标；以及

用与所述一个或多个地标有关的信息或代码自动给图像加标记。

4.按照权利要求3的方法，其中执行地标识别包括：

通过使用与在执行图像识别期间所辨认的图像中的被选择的一个或多个对象有关的信息或代码、以及从图像文件中提取的地理信息，来查询建筑或地理地标的数据库。

5.按照权利要求1-4的任一项的方法，还包括：

通过使用从与图像相关联的图像文件中提取的地理信息与日期和时间信息，来确定在图像被捕获的位置处和在图像被捕获的日期和时间期间出现的对应的事件条件，以便查询至少一个数据库；以及

用与所述对应的事件条件有关的信息或代码自动给图像加标记。

6.一种计算机可读介质，其上存储有在被执行时执行权利要求1-5的任一项的方法的指令。

7.一种计算机可读介质，包括在其上存储的用于执行自动标记生成的计算机可读指令，所述指令包括步骤用于：

从与图像相关联的图像文件中提取元数据，所述元数据包括与该图像被捕获的位置有关的任何地理信息，所述图像包括照片或视频的帧；

执行图像识别，以便辨认图像中的对象；

通过以下步骤确定对应于该对象和该图像被捕获的位置的至少一个特定的条件：

　　向数据库查询匹配于该对象和该图像被捕获的位置的至少一个特定的条件，以及

　　从数据库接收与所述至少一个特定的条件相关联的信息或代码；以及

用与所述至少一个特定的条件相关联的信息或代码自动给该图像加标记。

8.按照权利要求7的计算机可读介质，其中所述指令还包括步骤用于：

在执行图像识别以辨认图像中的对象后，用与图像中的该对象相关联的字或代码自动给图像加标记。

9.按照权利要求7-8的任一项的计算机可读介质，其中执行图像识别还包括使用从图像文件中提取的元数据来帮助辨认对象。

10.按照权利要求7-9的任一项的计算机可读介质，其中从图像文件中提取的元数据包括与图像被捕获的时间有关的日期和时间信息；以及

其中与所述至少一个特定的条件相关联的信息或代码包括事件信息或代码、天气信息或代码、地理地标信息或代码、建筑地标信息或代码、或它们的组合。