CN101535996A - 用于识别由数字图像捕获的对象的方法和设备 - Google Patents

Abstract

由数字图像捕获的对象通过以下步骤自动识别：确定捕获数字图像的位置；检索多个与所述确定位置相关联的候选对象；比较由所述数字图像捕获的对象与所述检索的多个候选对象中每一个，以识别所述对象。可以选定候选图像中一个，并且用来创建捕获图像的拼贴以及更完整的对象图像。

Description

用于识别由数字图像捕获的对象的方法和设备

技术领域

本发明涉及一种用于识别由数字图像捕获的对象的方法和设备。

背景技术

现存的图像管理方案的主要缺陷涉及缺乏允许数字图像的自动乃至半自动注释的工具。随着每天捕获的数字图像量几乎指数型增长，需要先进的解决方案来适当地管理和注释这些图像，同时利用日益普及的在线图片管理方案。

存在许多管理方案，例如US2002/0071677，其中图像被捕获的位置用来检索关于图像的描述性数据。然而，如果某个位置处有超过一个对象时，系统不能单独从该位置准确地识别图像的主题。WO03/052508涉及一种系统的实例，该系统使用位置数据作为标签来自动注释/标记图像，并且还包括分析器，以辨别由图像捕获的对象。这种图像分析器通常是复杂的并且在处理图像时是缓慢的。

另一个问题是，在用户希望合成在前景中具有较小对象(例如一个或多个人)，以及在背景中具有较大对象(例如建筑物)的图像时。由于捕获设备所允许的范围或限制，通常背景中的对象太大以至于不能在单个的图像中捕获，在这种情况下，用户捕获场景的若干个图像，并且随后在家中的计算机上将它们一起拼接为拼贴(collage)。

已知的软件工具(比如PTGui和PhotoStitch)向用户提供创建拼贴的帮助。一般地，它们工作如下。首先，用户选择多个有吸引力的图像。第二，用户使用工具将图像布局。第三，工具识别每两个相邻图像的重叠区域。第四，工具通过平移、缩放、旋转、亮度/对比度调节等等来平滑重叠区域。最后，工具从拼接图像中收获拼贴图像。

然而，这样的工具遇到的问题在于，当相邻图像没有足够的重叠区域时(被移位或者根本没有被捕获)，工具很难自动校准图像，并且通常要求用户手动地限定重叠区域，这易于出现误差。而且，用于拼接的图像可以通过不同的变焦设置来拍摄，并且在图像拼接期间很难消除在图像捕获期间景深方面的差异。而且，使用广角镜头拍摄的图像造成远景失真，这在拼接期间也很难校正。

发明内容

本发明试图提供一种简化、更快速的系统，用于基于数字图像自动注释的位置数据自动且准确地识别由数字图像捕获的对象，以及用于将图像拼接以创建拼贴(collage)。

根据本发明的一个方面，这可以通过识别由数字图像捕获的对象的方法来实现，该方法包括以下步骤：确定捕获数字图像的位置；检索多个与确定位置相关联的候选对象；比较由数字图像捕获的对象与检索的多个候选对象中每一个，以识别对象。

根据本发明的另一方面，这也可以通过用于识别由数字图像捕获的对象的设备来实现，设备包括：用于确定捕获数字图像位置的装置；用于检索多个与确定位置相关联的候选对象的装置；用于比较由数字图像捕获的对象与检索的多个候选对象中每一个、以识别对象的比较器。

因此，简化的系统用来识别由数字图像捕获的对象，因为捕获图像时确定的位置用来将候选对象限制于那些与该位置相关联的候选对象，并且与这些所选的候选对象比较，从而使得过程准确且更加快速。

所述比较可以简单地通过比较包含与确定位置相关联的对象的数字图像来实现，一旦已经识别了对象，与对象相关联的附加元数据可以从不同的来源检索并且附加到图像上。

其他信息(比如天气、时间和日期)可以在捕获图像时收集，并且可以在比较对象以提高对象的识别准确性时考虑。

另外，为了改善准确性，捕获的图像可以增加到从中选择候选图象的图像数据库中。

位置可以通过GPS或在集成照相机的蜂窝式电话的情况下通过具有无线电收发机或基站的三角测量(triangulation)来确定。

可以选择捕获识别的对象的候选图像，并且可以匹配对象的特征，以拼接候选图像和数字图像，从而创建拼贴。

附图说明

为了更加全面地理解本发明，现在将参考附图说明以下实施例，在附图中：

图1是根据本发明实施例的设备的简化示意图；

图2是根据本发明实施例选择候选对象的步骤的例子；以及

图3是根据本发明实施例、在识别时利用附加数据补充元数据的实例。

图4、5、6(a)、6(b)和6(c)示出本发明的另一个实施例，其中，识别的对象用来创建拼贴；

图7示出在图像捕获设备上而不是在远程服务器上创建拼贴；

图8(a)、8(b)、8(c)和8(d)示出根据本发明第二实施例的创建拼贴的步骤。

具体实施方式

参照图1，设备包括服务器101。服务器101包括第一、第二和第三输入端子103、105、107。第一输入端子103经接口111连接到候选数据库109。候选数据库109的输出连接到对象识别单元113。对象识别单元113还连接到第二输入端子105，并且提供输出给检索单元115。检索单元115的输出连接到数据库编辑器117。数据库编辑器117连接到第三输入端子107。数据库编辑器117的输出连接到图像数据库119。数据库管理器121连接到图像数据库119。图像数据库119包括多个用户特定区域123_1、123_2、123_3。

现在将参照图2和3来描述设备的工作。

捕获数字图像。图像捕获仪器可以是与移动电话集成的相机。当捕获图像时，收集比如位置、时间和日期的信息，并作为元数据附加到图像上。位置可以通过众所周知的技术(比如，GPS或具有多个基站的三角测量)来确定。位置元数据放置在第一输入端子103上，捕获的图像放置在第二输入端子105上，并且图像及其相关联的元数据(包括位置)放置在第三输入端子107上。

捕获图像的位置元数据经接口111输入到候选数据库109。候选数据库109包括多个候选对象的图像及其相关联的位置数据的存储。候选数据库109可以以许多可替代的方式来组织。在一个实例中，图像通过已知的位置分等级地存储，例如，国家在第一级、城市在第二级、街道在第三级、以及建筑物/对象在第四级。例如，如果作为元数据附加到图像上的位置信息是原始的(例如，允许定位拍摄图像的街道乃至城市或地区)，这样的组织可能是尤其有用的。可替代地，可以保持确切的地理位置，即，在数据库中所有辨别对象的地理位置列表。如果位置信息是精确的，该组织结构可能尤其有用，并且因此将减少搜索空间，即，执行识别所用的候选对象的数量。

如图2所示，用于在巴黎城市中的街道纽约大道(Avenue de NewYork)处捕获的图像的多个候选对象被从候选数据库109中检索。因为对象埃菲尔铁塔(Effel Tower)和夏佑宫(Palais de Chaillot)从该街道是可见的，所以这两个对象的图像作为可能的候选提供给对象识别单元113。

对象识别单元113将从候选数据库109中检索的候选对象的图像与放置在第二输入端子105上的当前图像相比较。这可以利用任何已知的对象辨别算法来执行，比如，如由R.Pope在1994年1月，不列颠哥伦比亚大学，计算机科学系，Technical Report 94-04，a surveyof recent research，Model-based object recognition中公开的对象辨别算法。对象识别单元113输出对象的身份，其可以由检索单元115用来访问其他资源，以检索与识别对象相关联的附加数据。可替代地，附加数据(高级元数据)可以由用户手动地输入。

由检索单元115访问的不同资源可以包括因特网资源，比如维基百科(Wikipedia)，例如，埃菲尔铁塔的辨别图像可以从维基百科中的入口“埃菲尔铁塔”触发检索；Yahoo！旅行，例如，饭店的辨别图像可以触发用户对饭店的评价、评论和价格信息的检索；或官方对象的网站，例如，博物馆的官方网站可以触发关于该博物馆的信息(例如，当前展出、营业时间、等等)的检索。它可以包括比如协同注释的资源，其中由其他用户手动制作的现存注释可以被检索并且附加到图像的元数据上。可以限定优选用户组(例如，参与同一旅行的用户，朋友或家庭等等)，以便这些注释仅仅由该组的用户检索。另外，天气信息(在捕获位置处、捕获时间处的天气)可以从(例如)因特网天气服务中检索。

图3示出了在其中这样的高级元数据被检索并合并用于饭店识别图像的过程。在这种情况下，Yahoo！旅行用来检索该饭店的说明和评价，以及天气因特网服务用于确定天气条件；这些将与由先前用户输入的注释和评论结合，并附加到图像上。

检索的高级元数据输出到数据库编辑器117。捕获的图像和现存的元数据(比如，位置、日期和时间)由数据库编辑器117放置在由检索单元115检索的高级元数据上，并且增加到图像数据库119的用户特定存储区域123_1中。存储的图像也可以增加到候选数据库109中，用作候选对象。于是，捕获的图像可以在请求时经数据库管理器121从图像数据库119中搜索和检索。

本发明实施例的设备和方法的性能将通过下面的操作进一步改善：使用精确的位置信息，因为位置信息(捕获图像的地方)越精确，对象辨别将会越精确。这是因为位置越精确，借以执行对象辨识的候选对象的组将会越受限。例如，如果位置提供具有街道级的准确性，辨别将在图像和位于同一街道的对象(例如，建筑物)的数据库子集之间发生。

时间信息可以用于描述在一天的不同时刻的对象；例如，(如光已经在建筑物的正面点亮)建筑物在白天或在夜晚看起来将会不同。如果对于一天的不同时间，相同对象的若干个实例存在于数据库中，可以根据捕获图像的时间来选择候选项用于对象识别。

可以使用日期信息。根据一年的时间，对象可以具有不同的外观；例如，建筑物在圣诞节或其他节日可以具有特别的装饰，或者在冬天期间覆盖雪。此外，如果相同对象的不同实例存在于根据在一年中其外观反映对象的不同视角的数据库中，这可以有助于改善用于对象识别的候选选择。

如上所述，天气信息可以自动检索，并且作为元数据附加到图片上。与时间信息有助于改善对象辨别的方式相同，该信息可以有助于改善对象辨别：根据例如天气是晴朗还是多云，某些对象的不同实例可以存在于数据库中。

另外，成功识别的对象可以增加到候选数据库109中。在来自若干用户的图像已经上传到候选数据库109之后，这将有助于改善随着时间推移而进行的对象识别过程的质量。这是因为，将存在相同对象的更多的实例，并且因此用于对象辨别的候选对象的组将更大。这也将有助于适应对象可能随时间推移而经历的变化(例如，建筑物的一部分可能在重建中或已经重建或上漆或重新装饰)。原则上，没有正确分类的(或没有由用户正确识别的)对象将不会降低辨别速率，因为如果对象的足够实例存在于数据库中，他们将被认为是界外值(outlier)，并且置于识别过程之外。

面部检测可以用来排除具有大面部的图像。在确定图像中面部的存在和位置之后，该信息可以用来防止在其中面部封闭了大部分对象的那些图像参与到对象识别过程中并且避免其存储在候选数据库109中。于是，这样的图像将不会选为用于对象识别的候选。

上述对象识别技术可以用在拼接图像中，以创建拼贴并提供更完整的图像。

如图4所示，用户选择图像401作为用于拼贴的初始图像。例如，图像发送到图1的服务器101。如上所述，执行对象辨别，以识别图像中的对象。随后，识别对象的参考图像及其关联的元数据(包括对象的特征点和确切的尺寸)被检索并发送回图像捕获仪器。

在图像捕获仪器上，执行面部检测，以确定感兴趣的人的位置。随后，还没有被捕获的对象的区域被确定。

估计捕获设备必须指向以覆盖缺失区域的方向。对于需要捕获的每一个图像，在捕获仪器的显示器边缘设置助视器，以帮助用户指引捕获仪器。如图5所示，空白区域需要由图像填充，以创建对象埃菲尔铁塔的完整视图。

随后，简单地要求用户引导捕获仪器，以便图像如图6(a)、6(b)和6(c)的顺序所示近似地符合显示器中的助视器。重复该操作直到图5所示的空区域完整为如图6(c)所示。

如果仪器具有足够的资源，上述技术可以在图像捕获仪器而不是远程服务器上实施，如图7所示。这帮助用户简单地通过显示可视信号来选择下一个要捕获的图像，所述可视信号指示何时方向足够地接近所要求的位置。

因为需要几秒钟来完成过程，所以在已经捕获了第一图像之后，只要第一图像在随后的图像上拼接，个体可以移动。另一方面，即使图像中捕获的个体不需要在拼贴过程期间是静态的，该过程也不会花费太长时间，或者天然的移动对象(例如云)可能移动太多并且损害所生成的拼贴的质量。

该问题可以通过用户从存储在仪器中的图像集合中选择图像来克服，如图8(a)所示。随后，该图像用作拼贴的初始图像。用户合成并捕获第二图像，图8(b)。图像捕获仪器执行边缘检测，以确定背景上的对象边界。因此，在图像捕获仪器的预览显示中，如图8(b)所示，突出显示边缘，并且预测了未被图像捕获的对象部分的边缘。为了将图像增加到拼贴中，用户聚焦在先前图像的相邻区域。仪器实时地执行边缘检测和边缘匹配分析。它首先检测在预览显示中对象的边缘。接下来它试图发现显示器中对象边缘的某部分是否匹配/扩展图8(a)的所选图像中的对象边缘，并且如果是，系统将突出显示匹配/扩展的部分。利用该可视化向导，用户可以捕获下一个图像。

随后重复上述操作，并且如图8(c)所示，捕获第三图像，以完成如图8(d)所示的拼贴。

虽然已经在附图中示出并在前述描述中描述了本发明的优选实施例，但是应当理解，本发明不限于所公开的实施例，而是能够在不脱离如以下权利要求陈述的本发明的范围的情况下进行许多修改。本发明在于每一个新颖的典型特征和典型特征的每一个组合。权利要求中的附图标记不限制它们的保护范围。使用动词“包括”及其结合不排除存在不同于权利要求中陈述的元件。在元件之前使用冠词“一”不排除存在多个这样的元件。

对于本领域技术人员显而易见的是，“装置”意味着包括在工作中执行或设计成执行特定功能的任何硬件(比如分立的或集成的电路或电子元件)或软件(比如程序或程序的一部分)，所述执行不管是单独地还是与其他功能结合，不管是孤立地还是与其他元件合作。本发明可以借助于包括若干个不同的元件的硬件并借助于适当编程的计算机来实现。在列举了若干个装置的设备权利要求中，这些装置的若干个可以通过一个以及相同项硬件来表现。“计算机程序产品”将理解为意味着存储在计算机可读介质上(例如，软盘)的、经网络(比如，因特网)可下载的或以任何其他方式销售的任何软件。

Claims (12)

1.一种识别由数字图像捕获的对象的方法，该方法包括以下步骤：

-确定捕获数字图像的位置；

-检索多个与所述确定位置相关联的候选对象；

-比较由所述数字图像捕获的对象与所述检索的多个候选对象中每一个，以识别所述对象。

2.根据权利要求1的方法，其中，

检索多个候选对象的步骤包括：检索多个捕获所述多个候选对象的候选数字图像，

并且，比较由所述数字图像捕获的对象的步骤包括：比较所述数字图像与所述检索的多个候选数字图像。

3.根据权利要求1的方法，其中所述方法进一步包括以下步骤：

-检索与所述识别对象相关联的数据；以及

-使得所述数据与所述数字图像关联。

4.根据权利要求1的方法，其中当比较由所述数字图像捕获的对象时考虑附加信息。

5.根据权利要求4的方法，其中所述附加信息包括与在所述数字图像被捕获时的天气、时间和日期相关的信息。

6.根据权利要求1的方法，其中所述多个候选对象存储在数据库中并且所述识别对象增加到所述数据库中。

7.根据权利要求1的方法，其中所述方法进一步包括以下步骤：

检测所述数字图像中的面部，并且

其中比较由所述数字图像捕获的对象的步骤包括：从所述数字图像中移除所述检测的面部。

8.根据权利要求1的方法，其中位置包括地址和确切的地理位置。

9.一种计算机程序产品，其包括多个用于实施根据前述权利要求中任意一项的方法的程序代码部分。

10.用于识别由数字图像捕获的对象的设备，该设备包括：

-用于确定捕获数字图像位置的装置；

-用于检索多个与所述确定位置相关联的候选对象的装置；

-用于比较由所述数字图像捕获的对象与所述检索的多个候选对象中每一个，以识别所述对象的比较器。

11.根据权利要求10的设备，其中设备进一步包括用于存储所述多个候选对象的存储装置。

12.根据权利要求11的设备，其中设备进一步包括：

用于使用已经识别的对象更新所述存储装置的装置。

Images