CN102750554A - 信息处理装置、对象识别方法、程序和终端装置 - Google Patents

信息处理装置、对象识别方法、程序和终端装置 Download PDF

Info

Publication number
CN102750554A
CN102750554A CN2012100709589A CN201210070958A CN102750554A CN 102750554 A CN102750554 A CN 102750554A CN 2012100709589 A CN2012100709589 A CN 2012100709589A CN 201210070958 A CN201210070958 A CN 201210070958A CN 102750554 A CN102750554 A CN 102750554A
Authority
CN
China
Prior art keywords
characteristic quantity
image
input picture
database
lighting condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100709589A
Other languages
English (en)
Inventor
福地正树
芦原隆之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102750554A publication Critical patent/CN102750554A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种信息处理装置、对象识别方法、程序和终端装置，该装置包括：数据库，该数据库存储两个或更多个图像的特征量，该数据库被配置为使得用于识别每一图像中的对象的识别信息和与所述对象成像的照明条件相关的属性值与每一图像的特征量相关联；获取单元，该获取单元被配置用于获取由成像装置拍摄的输入图像；以及识别单元，该识别单元被配置用于通过将从所述输入图像中确定的特征量与在所述数据库中存储的每一图像的特征量相比较，来识别所述输入图像中的对象，其中，在所述数据库中存储的特征量包括同一对象的、在不同照明条件下拍摄的多个图像的特征量。

Description

信息处理装置、对象识别方法、程序和终端装置
技术领域
本发明涉及信息处理装置、对象识别方法、程序和终端装置。
背景技术
近些年来，随着图像识别技术的进步，通过图像特征量的匹配来识别在从相机输入的图像中的对象的位置和姿态已经变得可能。这样的对象识别的一种应用是AR(Augmented Reality，增强现实)应用。在AR应用中，可以显示多种信息(例如，广告信息、导航信息或用于游戏的信息)，使得它覆盖在真实世界中存在的建筑物、道路或其他对象的图像上。
参考文献1(David G.Lowe，“Distinctive Image Features fromScale-Invariant Keypoints”，the International Journal of Computer Vision，2004年)提出了一种被称为SIFT(Scale Invariant Feature Transform，尺度不变特征变换)的方法，用于提取图像的特征量，该方法具有相对于图像噪声的提高的鲁棒性、尺度上的改变和旋转。参考文献2(MustafaOezuysal，“Fast Keypoint Recognition using Random Ferns”，IEEETransactions on Pattern Analysis and Machine Intelligence，卷32，Nr.3，第448-461页，2010年3月)提出了具有低处理成本的、被称为随机Ferns的方法，该方法用于使用具有低处理性能的便携终端等来提取图像的特征量。
发明内容
然而，在实际使用对象识别的场景中，拍摄图像的照明条件的改变是降低识别精度的很大的因素。例如，室外对象看起来的样子会根据诸如季节、一天中的时间或气候条件等显著地改变。这样，会出现下述现象：当AR应用试图覆盖关于室外对象的信息时，从输入图像中确定的特征量不匹配预先注册的特征量，结果是不能精确地识别对象。虽然根据参考文献1中描述的SIFT而确定的特征量相对于照明条件上的改变鲁棒到一定程度，但是难以充分地吸收对象看起来的样子的显著改变。而且，通常难以完全对室外照明条件的各种改变来建模。
根据上述情况，期望提供可以在拍摄图像的照明条件改变的情况下精确地识别图像中的对象的信息处理装置、对象识别方法、程序和终端装置。
根据本公开的一个实施例，提供了一种信息处理装置，该装置包括：数据库，用于存储两个或更多个图像的特征量，所述数据库被配置为使得用于识别每一图像中的对象的识别信息和与成像所述对象的照明条件相关的属性值与每一图像的特征量相关联；获取单元，被配置用于获取由成像装置拍摄的输入图像；以及识别单元，被配置用于通过将从所述输入图像中确定的特征量与所述数据库中存储的每一图像的所述特征量相比较，来识别所述输入图像中的对象。在所述数据库中存储的特征量包括同一对象在不同照明条件下拍摄的多个图像的特征量。
所述获取单元可以获取用于表示拍摄所述输入图像的照明条件的照明条件数据，所述信息处理装置可以进一步包括过滤单元，所述过滤单元被配置用于从所述数据库中存储的所述两个或更多个图像的所述特征量中提取在与由所述照明条件数据表示的照明条件接近的照明条件下拍摄的图像的特征量，并且所述识别单元可以将由所述过滤单元提取的所述图像的所述特征量与从所述输入图像确定的所述特征量相比较。
所述照明条件可以包括与拍摄每一图像的气候相关的第一条件。
所述获取单元可以基于用于表示已拍摄了所述输入图像的成像装置的位置的位置数据与拍摄或获取所述输入图像时的日期和时间，来获取用于所述第一条件的所述照明条件数据。
所述照明条件可以包括与当拍摄每一图像时的日期或时间相关的第二条件。
所述信息处理装置可以进一步包括通信单元，该通信单元被配置用于接收从终端装置发送的所述输入图像，并且向所述终端装置发送关于由所述识别单元识别的对象的信息。
所述信息处理装置可以进一步包括通信单元，该通信单元被配置用于接收从终端装置发送的所述输入图像，并且向所述终端装置发送由所述识别单元识别的对象的信息。所述获取单元可以从与所述终端装置不同的装置来获取所述照明条件数据。
在所述数据库中，用于表示每一图像中的对象的位置的属性值可以进一步与每一图像的特征量相关联，所述获取单元进一步获取用于表示已拍摄了所述输入图像的成像装置的位置的位置数据，并且所述过滤单元可以仅提取在接近由所述位置数据表示的所述成像装置的位置的位置处拍摄的对象的图像的特征量。
所述获取单元可以进一步获取用于表示已拍摄了所述输入图像的所述成像装置的位置的位置数据或用于表示拍摄所述输入图像的照明条件的照明条件数据中的至少一个，所述信息处理装置可以进一步包括计数单元，该计数单元被配置用于以与所述成像装置的位置或所述照明条件相关的预定单位、对由所述识别单元执行的对每一对象的识别的频率进行计数，且所述识别单元参考由所述计数单元针对与新获取的输入图像对应的所述成像装置的位置或照明条件而计数的所述频率，并且优先将具有高频的对象的图像的特征量与从所述输入图像中确定的所述特征量相比较。
根据本公开的另一个实施例，提供了一种用于信息处理装置中的对象识别方法，所述信息处理装置包括数据库，所述数据库存储两个或更多个图像的特征量，所述数据库被配置为使得用于识别每一图像中的对象的识别信息和与成像所述对象的照明条件相关的属性值与每一图像的特征量相关联，并且在所述数据库中存储的所述特征量包括同一对象的在不同照明条件下拍摄的多个图像的特征量，所述对象识别方法包括：获取由成像装置拍摄的输入图像；以及通过将从所述输入图像中确定的特征量与在所述数据库中存储的每一图像的所述特征量相比较，来识别所述输入图像中的对象。
根据本公开的另一个实施例，提供了一种程序，用于使得控制信息处理装置的计算机作为下述单元来工作，所述信息处理装置包括数据库，所述数据库存储两个或更多个图像的特征量，所述数据库被配置为使得用于识别每一图像中的对象的识别信息和与成像所述对象的照明条件相关的属性值与每一图像的特征量相关联：获取单元，该获取单元获取由成像装置拍摄的输入图像；以及识别单元，该识别单元被配置用于通过将从所述输入图像中确定的特征量与在所述数据库中存储的每一图像的所述特征量相比较，来识别在所述输入图像中的对象。在所述数据库中存储的所述特征量包括同一对象的在不同照明条件下拍摄的多个图像的特征量。
根据本公开的另一个实施例，提供了一种终端装置，该终端装置包括：通信单元，所述通信单元被配置用于与包括数据库的信息处理装置进行通信，所述数据库存储两个或更多个图像的特征量，所述数据库被配置为使得用于识别在每一图像中的对象的识别信息和与成像所述对象的照明条件相关的属性值与每一图像的特征量相关联，并且所述数据库存储同一对象的在不同照明条件下拍摄的多个图像的特征量；以及控制单元，被配置用于从所述通信单元向所述信息处理装置发送由成像装置拍摄的图像或从所拍摄的图像中确定的特征量以及关于拍摄所述图像的照明条件的数据。
所述控制单元可以在执行增强现实应用时从所述通信单元向所述信息处理装置发送所拍摄的图像或所述特征量以及关于所述照明条件的所述数据。
如上所述，根据本公开的信息处理装置、对象识别方法、程序和终端装置可以在拍摄图像的照明条件改变的情况下精确地识别图像中的对象。
附图说明
图1是示出可以被应用本技术的对象识别系统的概览的示意图；
图2A是示出输入图像的第一示例的示意图；
图2B是示出输入图像的第二示例的示意图；
图2C是示出输入图像的第三示例的示意图；
图3是示出根据第一实施例的终端装置的示例性配置的框图；
图4是示出根据第一实施例的对象识别服务器的示例性配置的框图；
图5是示出根据第一实施例的数据库的示例性结构的示意图；
图6是示出根据第一实施例的对象识别处理的示例性流程的流程图；
图7是示出根据第二实施例的终端装置的示例性配置的框图。
图8是示出根据第二实施例的对象识别服务器的示例性配置的框图；
图9A是图示用于获取照明条件数据的方法的第一示例的示意图；
图9B是图示用于获取照明条件数据的方法的第二示例的示意图；
图9C是图示用于获取照明条件数据的方法的第三示例的示意图；
图10是示出根据第二实施例的数据库的示例性结构的示意图；
图11是示出根据第二实施例的对象识别处理的示例性流程的流程图；
图12是示出位置过滤处理的示例性流程的流程图；
图13是示出照明条件过滤处理的示例性流程的流程图；
图14是图示过滤结果的示例的示意图；
图15是示出根据第三实施例的对象识别服务器的示例性配置的框图；
图16是示出频率计数数据的示例性结构的示意图；以及
图17是示出根据第三实施例的对象识别处理的示例性流程的流程图。
具体实施方式
以下参考附图来详细描述本公开的优选实施例。注意，在本说明书和附图中，用相同的附图标记来表示具有基本上相同的功能和结构的结构元件，并且省略对这些结构元件的重复描述。
根据本公开的一个实施例，提供了一种信息处理装置，该装置包括：数据库，该数据库存储两个或更多个图像的特征量，该数据库被配置为使得用于识别每一图像中的对象的识别信息和与所述对象成像的照明条件相关的属性值与每一图像的特征量相关联；获取单元，该获取单元被配置用于获取由成像装置拍摄的输入图像；以及识别单元，该识别单元被配置用于通过将从所述输入图像中确定的特征量与在所述数据库中存储的每一图像的特征量相比较，来识别所述输入图像中的对象。其中，在所述数据库中存储的特征量包括同一对象的、在不同照明条件下拍摄的多个图像的特征量。
作为一个具体实施例，所述获取单元还获取用于表示拍摄所述输入图像的照明条件的照明条件数据，所述信息处理装置进一步包括过滤单元，所述过滤单元被配置用于从在所述数据库中存储的所述两个或更多个图像的特征量中提取在与所述照明条件数据表示的照明条件接近的照明条件下拍摄的图像的特征量，并且所述识别单元将由所述过滤单元提取的图像的特征量与从所述输入图像中确定的特征量相比较。
作为一个具体实施例，所述照明条件包括与拍摄每一图像的气候相关的第一条件。
作为一个具体实施例，所述获取单元基于用于表示已经拍摄了所述输入图像的成像装置的位置的位置数据与当拍摄或获取所述输入图像时的日期和时间来获取用于所述第一条件的照明条件数据。
作为一个具体实施例，所述照明条件包括与当拍摄每一图像时的日期或时间相关的第二条件。
作为一个具体实施例，所述信息处理装置进一步包括通信单元，该通信单元被配置用于接收从终端装置发送的输入图像，并且向所述终端装置发送关于由所述识别单元识别的对象的信息。
作为一个具体实施例，所述信息处理装置进一步包括通信单元，该通信单元被配置用于接收从终端装置发送的输入图像，并且向所述终端装置发送由所述识别单元识别的对象的信息，其中所述获取单元从与所述终端装置不同的装置获取所述照明条件数据。
作为一个具体实施例，在所述数据库中，用于表示在每一图像中的对象的位置的属性值进一步与每一图像的特征量相关联，所述获取单元进一步获取用于表示已经拍摄了所述输入图像的所述成像装置的位置的位置数据，并且所述过滤单元仅提取在接近由所述位置数据表示的所述成像装置的位置的位置处拍摄的对象的图像的特征量。
作为一个具体实施例，所述获取单元进一步获取用于表示已经拍摄了所述输入图像的所述成像装置的位置的位置数据或用于表示拍摄所述输入图像的照明条件的照明条件数据中的至少一个，所述信息处理装置进一步包括计数单元，该计数单元被配置用于以与所述成像装置的位置或所述照明条件相关的预定单位、对由所述识别单元执行的对每一对象的识别的频率进行计数，并且所述识别单元参考由所述计数单元针对与新获取的输入图像对应的所述成像装置的位置或照明条件而计数的所述频率，并且优先将频率高的对象的图像的特征量与从所述输入图像中确定的特征量相比较。
根据本公开的另一实施例，提供了一种用于信息处理装置中的对象识别方法，所述信息处理装置包括数据库，所述数据库存储两个或更多个图像的特征量，所述数据库被配置为使得用于识别每一图像中的对象的识别信息和与成像所述对象的照明条件相关的属性值与每一图像的特征量相关联，并且在所述数据库中存储的所述特征量包括同一对象的、在不同照明条件下拍摄的多个图像的特征量，所述对象识别方法包括：获取由成像装置拍摄的输入图像；以及通过将从所述输入图像中确定的特征量与所述数据库中存储的每一图像的特征量相比较来识别所述输入图像中的对象。
根据本公开的该实施例，还提供了一种程序，该程序用于使得控制信息处理装置的计算机发挥下述单元的作用，所述信息处理装置包括数据库，所述数据库存储两个或更多个图像的特征量，所述数据库被配置为使得用于识别每一图像中的对象的识别信息和与成像所述对象的照明条件相关的属性值与每一图像的特征量相关联：获取单元，该获取单元获取由成像装置拍摄的输入图像；以及识别单元，该识别单元被配置用于通过将从所述输入图像中确定的特征量与所述数据库中存储的每一图像的所述特征量相比较，来识别所述输入图像中的对象，其中，在所述数据库中存储的所述特征量包括同一对象的、在不同照明条件下拍摄的多个图像的特征量。
根据本公开的另一实施例，提供了一种终端装置，该终端装置包括：通信单元，所述通信单元被配置用于与包括数据库的信息处理装置进行通信，所述数据库存储两个或更多个图像的特征量，所述数据库被配置为使得用于识别每一图像中的对象的识别信息和与成像所述对象的照明条件相关的属性值与每一图像的特征量相关联，并且所述数据库存储同一对象的、在不同照明条件下拍摄的多个图像的特征量；以及控制单元，该控制单元被配置用于从所述通信单元向所述信息处理装置发送由成像装置拍摄的图像或从所拍摄的图像中确定的特征量以及关于拍摄所述图像的照明条件的数据。
作为一个具体实施例，当执行增强现实应用时，所述控制单元从所述通信单元向所述信息处理装置发送所拍摄的图像或所述特征量和关于所述照明条件的数据。
将以下面的顺序来描述“具体实施方式”。
1.第一实施例
1-1.系统概述
1-2.终端装置的示例性配置
1-3.服务器的示例性配置
1-4.处理流程
1-5.第一实施例的总结
2.第二实施例
2-1.终端装置的示例性配置
2-2.服务器的示例性配置
2-3.处理流程
2-4.第二实施例的总结
3.第三实施例
3-1.服务器的示例性配置
3-2.处理流程
3-3.第三实施例的总结
<1.第一实施例>
[1-1.系统概述]
图1是示出可以被应用本技术的对象识别系统的概览的示意图。参见图1，其中示出根据第一实施例的对象识别系统1。对象识别系统1包括终端装置100和对象识别服务器200。
终端装置100是向对象识别服务器200发送要进行对象识别的图像的装置。终端装置100可以是由用户携带的便携终端，诸如智能电话或PDA(个人数字助理)等。或者，终端装置100可以是其他类型的装置，诸如PC(个人计算机)、数字家用电器、游戏机或数字相机等。
在图1的示例中，终端装置100具有成像装置120。成像装置120通过成像真实空间1来产生图像。终端装置100向对象识别服务器200发送由成像装置120产生的图像。然后，终端装置100从对象识别服务器200接收关于所发送的图像中的对象的信息。终端装置100将从对象识别服务器200接收的信息用于例如AR应用或其他类型的应用。
注意，成像装置120可以是与终端装置100分离地设置的装置。例如，终端装置100可以经由连接导线或诸如USB(通用串行总线)等可拆卸介质来获取使用数字照相机拍摄的图像，并且向对象识别服务器200发送所获取的图像。
对象识别服务器200是向终端装置100提供对象识别服务的信息处理装置。对象识别服务器200连接到网络3，并且与终端装置100进行通信。网络3可以是因特网或诸如内联网的专用网络。对象识别服务器200从终端装置100接收图像，并且识别所接收的图像中的对象。然后，对象识别服务器200向终端装置100发送关于识别的对象的信息。
由对象识别服务器200基于对图像特征量的检查来进行对象识别。对象识别服务器200在其数据库中存储有在真实空间中存在的各个对象的图像的特征量，并且通过将输入图像的特征量与数据库中的每一图像的特征量相比较，来识别从终端装置100接收的输入图像中的对象。
图2A至2C的每一附图示出从终端装置100向对象识别服务器200发送的输入图像的示例。在图2A中所示的输入图像Im01、在图2B中所示的输入图像Im02和在图2C中所示的输入图像Im03是同一对象5的图像。对象5是室外建筑物。然而，拍摄输入图像Im01、Im02和Im03的照明条件不同，并且每一图像中的对象看起来的样子也不同。例如，输入图像Im01是在阳光充足的日子的早晨拍摄的图像。在输入图像Im01中，对象5具有由另一个建筑物投射的阴影。输入图像Im02是在多云天的中午拍摄的图像。在输入图像Im02中，对象5没有由另一个建筑物投射的阴影。输入图像Im03是在阳光充足的日子的夜晚拍摄的图像。在输入图像Im03中，对象5反射来自多个灯的光。
当输入在照明条件如上所述改变的情况下拍摄的图像时，在从输入图像中确定的特征量和预先学习的对象图像的特征量之间存在大的差别。因此，会出现下述现象：不能精确地识别在给定的照明条件下拍摄的输入图像中的对象。当不能精确地识别输入图像中的对象时，会变得难以正常地操作基于对象识别的结果而提供的应用。因此，在本说明书中，以下详细描述在配置图像的照明条件改变的情况下使得能够对图像中的对象进行鲁棒识别的技术。
[1-2.终端装置的示例性配置]
图3是示出根据第一实施例的终端装置100的示例性配置的框图。参见图3，终端装置100包括通信单元110、成像装置120、输入单元140、显示单元150、存储单元160和控制单元170。
(通信单元)
通信单元110在控制单元170的控制下与对象识别服务器200进行通信。例如，通信单元110向对象识别服务器200发送对象识别请求(下述)。对象识别请求可以包括要进行对象识别的输入图像和从输入图像中确定的特征量。另外，通信单元110从对象识别服务器200接收响应于对象识别请求而发送的对象识别的结果。
(成像单元)
成像装置120是与图1中示例性地示出的成像装置120对应的相机模块。成像装置120通过使用诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)等图像传感器来成像真实空间而产生图像。
(输入单元)
输入单元140是由用户使用来操作终端装置100或向终端装置100输入信息的输入装置。输入单元140可以例如包括键盘、小键盘、鼠标、按钮、开关或触摸板等。输入单元140还可以包括：识别图像中的用户的姿势的姿势识别模块或者识别由用户发出的音频命令的音频识别模块。
(显示单元)
显示单元150是包括LCD(液晶显示器)、OLED(有机发光二极管)或CRT(阴极射线管)等的显示模块。在显示单元150的屏幕上，显示应用基于通信单元110接收的对象识别的结果来提供的图像(例如，通过将AR对象覆盖于拍摄图像中的特定对象上而获得的图像)。显示单元150可以是终端装置100的一部分或与终端装置100分离地被提供。另外，显示单元150可以是用户戴着的HMD(Head Mounted Display，头部安装的显示器)。
(存储单元)
存储单元160使用诸如半导体存储器或硬盘等存储介质来存储用于由终端装置100执行的处理的程序和数据。例如，存储单元160存储从成像装置120输出的图像。存储单元160还存储关于通信单元110从对象识别服务器200接收的输入图像中的对象的信息。
(控制单元)
控制单元170对应于诸如CPU(中央处理单元)或DSP(数字信号处理器)等处理器。控制单元170通过执行在存储单元160或其他存储介质中存储的程序来使得终端装置100的整体功能运行。例如，控制单元170在用户通过输入单元140启动AR应用时使得成像装置120拍摄真实空间的图像。接下来，控制单元170使得通信单元110向对象识别服务器200发送对象识别请求。对象识别请求可以包括作为输入图像的由成像装置120拍摄的图像(或其他图像)。替代地，控制单元170可以从拍摄的图像中确定特征量，并且使得对象识别请求包括所确定的特征量。控制单元170在从对象识别服务器200接收到作为对象识别的结果的、关于输入图像中的对象的信息时，基于该信息来操作AR应用。关于输入图像中的对象的信息可以例如是输入图像中的对象的ID、对象的位置和姿态、或者要在输入图像中的对象上覆盖/显示的附加信息等。然后，控制单元170产生AR应用的图像，并且在显示单元150上显示所产生的图像。
[1-3.服务器的示例性配置]
图4是示出根据第一实施例的对象识别服务器200的示例性配置的框图。参见图4，对象识别服务器200包括通信单元210、数据获取单元220、数据库230和图像识别单元240。
(通信单元)
通信单元210经由网络3与终端装置100进行通信。例如，通信单元210接收从终端装置100发送的上述对象识别请求。对象识别请求包括：由终端装置100的成像装置120或其他成像装置拍摄的输入图像；或从输入图像中确定的特征量。当图像识别单元240响应于对象识别请求而识别了输入图像中的对象时，通信单元210向终端装置100发送关于对象的信息。
(数据获取单元)
数据获取单元220获取上述的输入图像或从由通信单元210接收的输入图像中确定的特征量。然后，数据获取单元220向图像识别单元240输出所获取的输入图像或特征量。注意，数据获取单元220可以不经由通信单元210，而是从例如直接连接到对象识别服务器200的成像装置或存储介质获取输入图像或特征量。
(数据库)
数据库230是使用诸如半导体存储器或硬盘等存储介质存储两个或更多个图像的特征量的数据库。在数据库230中，用于识别每一图像中的对象的识别信息和与成像对象的照明条件相关的属性值与每一图像的特征量相关联。数据库230存储同一对象的在不同的照明条件下拍摄的多个图像。
图5是示出根据这个实施例的数据库230的示例性结构的示意图。参见图5，数据库230具有几个数据项：“对象ID”、“特征量ID”、“地点”、“日期”、“时间”、“气候”和“特征量集”。“对象ID”是用于识别预先学习的每一图像中的对象的标识符。取代图5中示例性所示的标识符的字符串，还可以将表示对象的位置的位置坐标用作识别信息。“特征量ID”是用于唯一地标识数据库230中存储的特征量集的标识符。在这个实施例中，可以对单个“对象ID”存在多个“特征量ID”。“地点”、“日期”、“时间”和“气候”是与每一特征量集相关联的属性。“地点”是拍摄与每一特征量集对应的图像的位置(点或区域)的位置坐标。“日期”是拍摄到与每一特征量集对应的图像时的日期。“时间”是拍摄与每一特征量集对应的图像时的时间。“气候”表示拍摄与每一特征量集对应的图像时的气候。在“特征量集”中，存储关于每一特征量集的实体的数据。每一特征量集可以是例如根据SIFT或随机Ferns从学习图像(包括已知对象的图像)中确定的一组特征量。
在图5的示例中，特征量ID“F11”、“F12”和“F13”是位于相同位置的同一对象B1的图像的特征量集的ID。然而，这三个特征量集在拍摄相应图像时的日期、时间或气候中的至少一个上是不同的。这样的日期、时间和气候是与照明条件相关的属性的示例。如上所述，数据库230预先存储同一对象的在不同照明条件下拍摄的多个图像的特征量。注意，在数据库230中，不必为诸如位置、日期、时间和气候等属性项目中的一些项目定义属性值。在图5的示例中，特征量ID“F31”的地点、日期和时间的值是“任意”。例如可以为可在多个地点出现的对象的图像的特征量集定义这样的数据，所述多个地点例如为特许连锁商店、公共汽车站的标志或交通信号灯等。
(图像识别单元)
图像识别单元240通过将从输入图像中确定的特征量与数据库230中存储的每一图像的特征量相比较，来识别输入图像中的对象。例如，当数据获取单元220获取输入图像时，图像识别单元240根据诸如SIFT或随机Ferns等特征量确定方法，从输入图像中确定特征量。然后，图像识别单元240将所确定的输入图像中的特征量与数据库230中存储的每一图像的特征量相比较。然后，图像识别单元240识别与最佳地匹配输入图像的特征量的特征量相关联的对象ID与对象的位置和姿态，作为对象识别的结果。或者，图像识别单元240可以识别与以高于给定水平的水平而匹配输入图像的特征量的特征量相关联的多个对象的对象ID与对象的位置和姿态的列表，作为对象识别的结果。然后，图像识别单元240使得通信单元210向终端装置100发送作为识别结果的、关于输入图像中的对象的信息。要发送到终端装置100的信息可以包括由图像识别单元240识别的对象的对象ID与位置和姿态(或其列表)以及附加信息(例如，要在对象上覆盖/显示的信息)。
[1-4.处理流程]
图6是示出根据该实施例的、由对象识别服务器200执行的对象识别处理的示例性流程的流程图。
参见图6，首先，数据获取单元220获取从终端装置100发送的对象识别请求中包括的输入图像(步骤S100)。接着，图像识别单元240从由数据获取单元220获取的输入图像中确定特征量(步骤S102)。注意，当对象识别请求包括输入图像的特征量时，取代步骤S100和S102，数据获取单元220可以获取输入图像的特征量。
接下来，图像识别单元240针对在数据库230中存储的每一特征量ID来重复从步骤S106至步骤S110的处理(步骤S104)。
在步骤S106中，图像识别单元240将在步骤S102中确定的输入图像的特征量与从数据库230获取的特征量集(以下称为“关注特征量(focusedfeature quantity)”)相比较(步骤S106)。图像识别单元240在比较处理中进行对关注特征量中所包括的特征点坐标的三维仿射变换(Three-dimensional affine transformation)，并且例如确定所述变换后的特征点坐标与输入图像的特征点坐标最佳匹配的对象的位置和姿态。另外，图像识别单元240计算用于表示处于该位置和姿态的特征量的匹配程度的匹配分数。然后，图像识别单元240确定所计算的匹配分数是否大于预定阈值(步骤S108)。在此，如果匹配分数大于阈值，则图像识别单元240将关注特征量的特征量ID以及位置和姿态、匹配分数暂时存储在存储器内(步骤S110)。
其后，在针对数据库230中存储的多个特征量ID的循环终止时，图像识别单元240基于存储器中暂时存储的特征量ID的列表，向通信单元210输出对象识别的结果(步骤S112)。在此输出的对象识别的结果可以包括与匹配分数排名第一的特征量ID相关联的对象ID(或与匹配分数排名第一至第N的特征量ID相关联的对象ID)、相应的位置和姿态以及附加信息。
[1-5.第一实施例的总结]
至此已参考图1至6详细描述了根据第一实施例的终端装置100和对象识别服务器200。根据这个实施例，对象识别服务器200在从终端装置接收到对象识别请求时，将从输入图像中确定的特征量与数据库中存储的每一图像的特征量相比较。数据库包括同一对象的在不同照明条件下拍摄的多个图像的特征量。因此，即使在拍摄输入图像的照明条件以各种方式发生改变的情况下，输入图像匹配在多种照明条件中的任何一种下拍摄的学习图像的概率也会增大，因此，可以更精确地识别输入图像中的对象。
<2.第二实施例>
在上述第一实施例中，预先在数据库中存储单个对象的在不同照明条件下拍摄的多个图像的特征量。在该情况下，用于对象识别的特征量比较处理所需的时间会变长。因此，在这个部分中，将描述用于减少比较处理所需时间的机制，作为第二实施例。
[2-1.终端装置的示例性配置]
图7是示出根据第二实施例的终端装置300的示例性配置的框图。参见图7，终端装置300包括通信单元110、成像装置120、定位单元330、输入单元140、显示单元150、存储单元160和控制单元370。
定位单元330是测量终端装置300的成像装置120的位置的定位模块。例如，定位单元330可以是GPS模块，其在接收到GPS(全球定位系统)信号时测量终端装置300的纬度、经度和高度。或者，定位单元330可以是定位传感器，其基于从无线接入点接收到的无线电信号的强度来测量终端装置300的位置。另外，定位单元330还可以包括地磁传感器，该地磁传感器测量成像装置120的透镜的方位。
如同根据第一实施例的控制单元170那样，控制单元370通过执行在存储单元160或其他存储介质中存储的程序，来使得终端装置300的整体功能运行。另外，在这个实施例中，控制单元370可以将有助于提高对象识别服务器400执行的对象识别处理的效率的数据添加到从通信单元110发送给对象识别服务器400的对象识别请求。例如，如下文参考特定示例所述的，用于表示定位单元330测量的位置的位置数据可以被加到对象识别请求。该位置数据可以包括用于表示成像装置120的方位的方位数据。另外，还可以向对象识别请求添加与拍摄输入图像的照明条件相关的、诸如日期和时间或气候等的数据。
[2-2.服务器的示例性配置]
图8是示出根据第二实施例的对象识别服务器400的示例性配置的框图。参见图8，对象识别服务器400包括通信单元210、数据获取单元420、数据库430、图像识别单元440和过滤单元450。
(数据获取单元)
如同根据第一实施例的对象识别服务器200的数据获取单元220那样，数据获取单元420获取在由通信单元210接收的对象识别请求中所包括的输入图像或该输入图像的特征量。在这个实施例中，数据获取单元420进一步获取用于表示拍摄输入图像的照明条件的照明条件数据。数据获取单元420可以经由通信单元210从终端装置300获取照明条件数据。或者，数据获取单元420可以响应于对象识别请求而从另一装置获取照明条件数据。将参考图9A至9C来描述使用数据获取单元420获取照明条件数据的方法的三个示例。
图9A是图示用于获取照明条件数据的方法的第一示例的示意图。参见图9A，终端装置300向对象识别服务器400发送仅包括输入图像(或输入图像的特征量)的对象识别请求。对象识别服务器400的数据获取单元420在接收到对象识别请求时，访问诸如NTP(Network Time Protocol，网络时间协议)等外部时间服务器(或参考服务器中的时钟)，并且获取输入图像的接收日期和时间。然后，数据获取单元420根据获取的接收日期和时间来确定照明条件数据。
图9A示出照明条件数据422a。照明条件数据422a具有两个数据项“日期”和“一天中的时间”。“日期”是接收输入图像时的日期。“一天中的时间”是用于表示一天中输入图像的接收时间所属的时间的时段。作为示例，可以将“一天中的时间”划分如下。
-一天中的时间的划分-
1：黎明之前(0至3点)
2：黎明(3点至日出)
3：早晨(日出至9点)
4：中午之前(9至12点)
5：下午早期(12至15点)
6.傍晚(15点至日落)
7.夜晚(日落至21点)
8：午夜(21至24点)
图9B是图示用于获取照明条件数据的方法的第二示例的示意图。参见图9B，终端装置300向对象识别服务器400发送包括输入图像(或输入图像的特征量)和位置数据的对象识别请求。对象识别服务器400的数据获取单元420在接收到对象识别请求时，访问外部时间服务器或参考服务器中的时钟，并且获取输入图像的接收日期和时间。或者，终端装置300可以使得对象识别请求进一步包括拍摄输入图像时的日期和时间。对象识别请求中所包括的位置数据表示拍摄输入图像的成像装置的位置(例如成像装置的纬度和经度，以下称为“成像位置”)。接下来，数据获取单元420访问外部气候信息服务器，并且获取气候数据，该气候数据表示在拍摄或获取输入图像时的日期和时间、成像位置处的气候。气候数据可以包括诸如太阳辐射量、云量和每小时的降雨量等。然后，数据获取单元420根据所获取的日期和时间以及气候数据来确定照明条件数据。
图9B示出示例性的照明条件数据422b。照明条件数据422b具有三个数据项“日期”、“一天中的时间”和“气候”。“气候”可以是通过向预定函数内代入气候数据中所包括的太阳辐射量、云量和每小时的降雨量的值而得出的分段代码(例如，以“晴朗和阳光充足”气候为顶级的10个级值)。
图9C是图示用于获取照明条件数据的方法的第三示例的示意图。参见图9C，用户当从终端装置300向对象识别服务器400发送对象识别请求时，输入用于表示当前气候的信息(例如为10级分段代码，其中以“晴朗和阳光充足”气候为顶级)。然后，终端装置300访问外部时间服务器或查看终端中的时钟，并且获取在该时间点处的日期和时间。然后，终端装置300向对象识别服务器400发送对象识别请求，该对象识别请求包括输入图像(或输入图像的特征量)、日期和时间与气候数据。对象识别服务器400的数据获取单元420在接收到对象识别请求时确定照明条件数据。
图9C示出示例性特征量数据422c。特征量数据422c具有三个数据项“日期”、“一天中的时间”和“气候”。“日期”是对象识别请求中包括的日期。“一天中的时间”是用于表示一天中的、对象识别请求中包括的时间所属的时间的时间段。“气候”是在对象识别请求中包括的气候的分段。
注意，数据获取单元420可以使用其他方法来获取照明条件数据，而不限于图9A至9C的示例。由数据获取单元420获取的照明条件数据包括与拍摄输入图像时的日期或时间相关的条件(以下称为“时间条件”)或与拍摄输入图像时的气候相关的条件(以下称为“气候条件”)中的至少一个。时间条件可以包括与日期和一天中的时间不同类型的数据(例如，季节、月或星期)。另外，可以通过与图9A至9C中示例性示出的那些不同的分段来表示气候条件。
(数据库)
如同根据第一实施例的数据库230那样，数据库430是存储两个或更多个图像的特征量的数据库。在数据库430中，用于识别每一图像中的对象的识别信息和与拍摄对象的照明条件相关的属性值也与每一图像的特征量相关联。数据库430存储的同一对象的、在不同的特征量下拍摄多个图像。
图10是示出根据这个实施例的数据库430的示例性结构的示意图。参见图10，数据库430具有作为与特征量相关的属性项目的三个数据项：“日期”、“一天中的时间”和“气候”。“日期”是拍摄与每一特征量集对应的图像时的日期。“一天中的时间”是用于表示一天中拍摄每一特征量集所对应的图像时的时间所属的时间(例如，上述的8级分段代码)。“日期”和“一天中的时间”构成时间条件。“气候”是拍摄与每一特征量集对应的图像时的气候的分段(例如，上述的10级分段代码)。在图10的示例中，仅通过分段代码来指示“一天中的时间”和“气候”。
(图像识别单元)
如同根据第一实施例的对象识别服务器200的图像识别单元240那样，图像识别单元440通过将从输入图像中确定的特征量与数据库430中存储的每一图像的特征量相比较，来识别输入图像中的对象。注意，在这个实施例中，图像识别单元440仅参考由过滤单元450提取的特征量。
(过滤单元)
过滤单元450从数据库430中存储的图像的特征量中提取在与由数据获取单元420获取的照明条件数据表示的照明条件接近的照明条件下拍摄的图像的特征量。在该情况下，过滤单元450可进一步仅提取在与由数据获取单元420获取的成像位置接近的位置处拍摄的对象的图像的特征量。
[2-3.处理流程]
(对象识别处理)
图11是示出根据这个实施例的由对象识别服务器400执行的对象识别处理的示例性流程的流程图。
参见图11，首先，数据获取单元420获取从终端装置300发送的对象识别请求中包括的输入图像(步骤S202)。当对象识别请求包括用于表示已经拍摄输入图像的成像装置的位置的位置数据时，数据获取单元420还获取位置数据(步骤S204)。然后，数据获取单元420获取照明条件数据(步骤S206)。
接下来，过滤单元450执行下述的位置过滤处理，并且从数据库430中存储的图像的特征量中提取在与成像位置接近的位置处拍摄的对象的图像的特征量(步骤S210)。
接下来，过滤单元450执行下述的照明条件过滤处理，并且进一步从已经进行了位置过滤处理的图像的特征量中提取在与照明条件数据所表示的照明条件接近的照明条件下拍摄的图像的特征量(步骤S220)。
接下来，图像识别单元440从由数据获取单元420获取的输入图像中确定特征量(步骤S232)。注意，当对象识别请求包括输入图像的特征量时，取代步骤S202和S232，数据获取单元420可以获取输入图像的特征量。
接下来，图像识别单元440针对已经进行了照明条件过滤处理的图像的特征量中所包括的每一特征量ID，来执行从步骤S236至步骤S240的处理(步骤S234)。
在步骤S236中，图像识别单元440将关注特征量与在步骤S232中确定的输入图像的特征量相比较(步骤S236)。然后，图像识别单元440确定作为比较的结果而计算的匹配分数是否在预定阈值以上(步骤S238)。在此，如果匹配分数在阈值以上，则图像识别单元440暂时在存储器中记录关注特征量的特征量ID与位置和姿态以及匹配分数(步骤S240)。
其后，在针对特征量ID的循环结束时，图像识别单元440基于在存储器中暂时存储的特征量ID的列表，向通信单元210输出对象识别的结果(步骤S242)。
(位置过滤处理)
图12是示出图11的步骤S210中的位置过滤处理的示例性流程的流程图。
参见图12，过滤单元450针对数据库430中存储的每一特征量ID来重复从步骤S212至步骤S216的处理(步骤S211)。
在步骤S212中，过滤单元450确定关于关注特征量ID的数据是否包括位置属性的值(步骤S212)。通过图10的数据示例中的项目“地点”来表示位置属性的值。在图10的示例中，关于特征量ID“F31”的数据不具有位置属性的值。如果关于关注特征量ID的数据包括位置属性的值，则过滤单元450根据由关注特征量ID的位置属性所指示的位置与输入图像的成像位置之间的差来计算位置分数(步骤S213)。同时，如果关于关注特征量ID的数据不包括位置属性的值，则过滤单元450将位置分数设置为0(步骤S214)。
接下来，过滤单元450确定位置分数是否在预定阈值以下(步骤S215)。在此，如果位置分数在阈值以下，则过滤单元450将关注特征量的特征量ID添加到候选者列表(步骤S216)。
其后，在针对数据库430中存储的多个特征量ID的循环结束时，过滤单元450输出候选者列表，作为位置过滤处理的结果(步骤S217)。
(照明条件过滤处理)
图13是示出图11的步骤S220中的照明条件过滤处理的示例性流程的流程图。
参见图13，过滤单元450针对由位置过滤处理输出的候选者列表中所包括的每一特征量ID来重复从步骤S222至步骤S226的处理(步骤S221)。注意，当位置过滤处理被省略时，则重复针对数据库430中存储的每一特征量ID的处理。
在步骤S222中，过滤单元450确定关于关注特征量ID的数据是否包括照明条件属性的值(步骤S222)。如果关于关注特征量ID的数据包括照明条件属性的值，则过滤单元450针对日期、一天中的时间的时间段和气候分段中的每一个，来计算关注特征量的属性值和照明条件数据中所描述的输入图像的属性值之间的差。然后，过滤单元450通过加权所述差值并且将这些加权差值相加在一起来计算照明条件分数(步骤S223)。另外，如果关于关注特征量ID的数据不包括照明条件属性的值，则过滤单元450将照明条件分数设置为0(步骤S224)。
接着，过滤单元450确定照明条件分数是否在预定阈值以下(步骤S225)。在此，如果照明条件分数在阈值以下，则过滤单元450将关注特征量的特征量ID添加到候选者列表(与位置过滤处理中的候选者列表不同的新列表)(步骤S226)。
其后，在循环结束时，过滤单元450输出新的候选者列表，作为照明条件过滤处理的结果(步骤S227)。
注意，由对象识别服务器400执行的处理的顺序不限于上述流程图中所示的顺序。例如，对象识别服务器400可以在位置过滤处理之前执行照明条件过滤处理。替代地，对象识别服务器400可以仅执行位置过滤处理或照明条件过滤处理中的一个。
另外，位置过滤处理和照明条件过滤处理中的过滤条件不限于上述示例。例如，取代在照明条件过滤处理中将单个照明条件分数与阈值相比较，过滤单元450可将日期、一天中的时间段和气候分段中的每一个的差值与每一阈值相比较。在该情况下，过滤单元450可以一个、两个或三个差值在阈值以下的关注特征量的特征量ID添加到候选者列表。
(处理结果的示例)
图14是图示这个实施例中的位置过滤处理和照明条件过滤处理的结果的示例的示意图。
图14的上部视图示出图像Im11、Im12、Im21和Im41，这些图形以符号的方式来表示在位置过滤处理之前、在数据库430中存储的四个图像的特征量。图像Im11是在阳光充足的日子的早晨拍摄的对象B1的图像。图像Im12是在多云日子的中午拍摄的对象B1的图像。图像Im21是在阳光充足的日子的早晨拍摄的对象B2的图像。图像Im41是在阳光充足的日子拍摄的对象B4的图像。注意，在真实空间中，对象B4的位置接近对象B1。
在此，假定在阳光充足的日子从终端装置300接收到包括对象B1的输入图像的对象识别请求。对象识别请求包括用于指示接近对象B1的成像位置的位置数据。响应于这样的对象识别请求，过滤单元450执行位置过滤处理。然后，从候选者列表中排除不接近对象B1的对象B2的图像Im21的特征量。图14的中间部分的视图示出位置过滤处理后剩余的图像Im11、Im12和Im41。
而且，过滤单元450执行照明条件过滤处理。然后，从候选者列表排除在多云日子拍摄的图像Im12的特征量。图14的下部视图示出在照明条件过滤后仅剩余的图像Im11和Im41。
然后，图像识别单元440将图像Im11和Im41的特征量与从输入图像中确定的特征量相比较，并且识别出输入图像包括对象B1。
[2-4.第二实施例的总结]
至此已经参考图7至14详细描述了根据第二实施例的终端装置300和对象识别服务器400。根据这个实施例，在由对象识别服务器400执行的对象识别之前，从数据库选择性地提取在与拍摄输入图像的照明条件接近的照明条件下拍摄的图像的特征量。然后，仅针对所提取的图像的特征量进行对象识别处理。数据库包括同一对象的在不同照明条件下拍摄的多个图像的特征量。因此，能够提高对输入图像中的对象的识别的精度，同时抑制在拍摄输入图像的照明条件以各种方式发生改变的情况下特征量比较处理所需时间上的增加。
拍摄输入图像的照明条件包括与拍摄每一图像时的日期或时间相关的时间条件或与拍摄每一图像的气候相关的气候条件中的至少一个。这样的条件是对图像中的对象看起来的样子具有显著影响的条件。因此，通过基于时间条件或气候条件的接近度来进行过滤，能够有效地提取对于对象识别有意义的图像的特征量。
可以从终端装置向服务器提供关于时间条件和气候条件的数据，或者，可以由服务器从与终端装置不同的装置获取关于时间条件和气候条件的数据。当从与终端装置不同的装置获取关于时间条件和气候条件的数据时，可以简化终端装置的实现方式。因此，可以使用降低的开发成本来实现上述的机制。
注意，对象识别服务器400还可以另外在数据库430中注册从终端装置300获取的输入图像的特征量，同时将它们与输入图像的成像位置和照明条件相关联。另外，在注册的过程中，还可以与用户一起检查对象识别的结果是否正确，并且仅当接收到肯定反馈时才在数据库430中注册输入图像的特征量。
<3.第三实施例>
在这个部分中，将描述用于进一步减少比较处理所需的时间的机制，作为第三实施例。
[3-1.服务器的示例性配置]
图15是示出根据第三实施例的对象识别服务器500的示例性配置的框图。参见图15，对象识别服务器500包括通信单元210、数据获取单元420、数据库430、图像识别单元540、过滤单元450、计数单元560和频率存储器570。
(计数单元)
计数单元560以与输入图像的成像条件或拍摄输入图像的照明条件相关的预定单位，对由图像识别单元540执行的对每一对象的识别的频率进行计数。与成像位置相关的预定单位例如可以是通过在网格上划分成像装置可能位于的地理区域而获得的区域。与照明条件相关的预定单元例如可以是一天中的时间中的每一时间段、气候的每一分段或其组合。然后，计数单元560用于表示计数的结果的频率计数数据存储在频率存储器570内。
(频率存储器)
频率存储器570使用诸如半导体存储器或硬盘等存储介质来存储表示由计数单元560计数的每一对象的识别频率的频率计数数据。
参见图16，其中示例性地示出了频率计数数据572。频率计数数据具有四个数据项：“区域ID”、“照明条件分段”、“对象ID”和“频率”。“区域ID”是用于唯一地识别通过划分而得到的每一区域的标识符。“照明条件分段”是与关联于照明条件的单位对应的分段。“对象ID”是由图像识别单元540识别的对象的对象ID。“频率”表示针对对应的“区域ID”、“照明条件分段”和“对象ID”的组合来计数的频率的值。
(图像识别单元)
如同根据第一实施例的对象识别服务器200的图像识别单元240那样，过滤单元450通过将从输入图像中确定的特征量与数据库430中存储的每一图像的特征量相比较，来识别输入图像中的对象。另外，在这个实施例中，图像识别单元540还可以仅选择由过滤单元450提取的特征量来作为要比较的目标特征量。而且，在这个实施例中，图像识别单元540参考针对与新获取的输入图像对应的成像位置或照明条件中的至少一个的、由计数单元560计数的每一对象的频率，并且优先将具有高频的对象的图像的特征量与从输入图像中确定的特征量相比较。
例如，在图16中示例性示出的频率计数数据572中，针对区域A1和照明条件分段L1，计数单元560计数的对象B2(50)的频率最高，对象B5(10)的频率第二高，并且对象B7(8)的频率第三高。因此，如果新获取的输入图像是在属于照明条件分段L1的照明条件下、在区域A1中拍摄的图像，则图像识别单元540优先将对象B2的图像的特征量与输入图像的特征量相比较。然后，如果优先比较的图像的特征量指示大于预定阈值的匹配分数，则图像识别单元540识别出输入图像中包括指示匹配分数的对象。
[3-2.处理流程]
图17是示出根据这个实施例的由对象识别服务器500执行的对象识别处理的示例性流程的流程图。
参见图17，首先，数据获取单元420获取从终端装置300发送的对象识别请求中包括的输入图像(步骤S302)。然后，数据获取单元420获取在对象识别请求中包括的位置数据(步骤S304)。而且，数据获取单元420获取照明条件数据(步骤S306)。
接着，图像识别单元540基于由数据获取单元420获取的位置数据和照明条件数据，从频率存储器570中获取与成像位置所属的区域和照明条件分段对应的频率计数数据(步骤S308)。接下来，图像识别单元540以频率降低的顺序将所获取的数据中所包括的对象ID排序(步骤S310)。
接着，图像识别单元540从由数据获取单元420获取的输入图像中确定特征量(步骤S312)。注意，当对象识别请求包括输入图像的特征量时，取代步骤S302和S312，数据获取单元420可以获取输入图像的特征量。
接下来，图像识别单元540从数据库430中获取与在步骤S310中排序的频率计数数据内的顶部的未处理的对象ID对应的图像的特征量(步骤S314)。在此获取的图像的特征量可以是通过照明条件过滤处理提取的图像的特征量。
接下来，图像识别单元540将获取的特征量与在步骤S312确定的输入图像的特征量相比较(步骤S316)。然后，图像识别单元540确定作为比较的结果而计算的匹配分数是否在预定阈值以上(步骤S318)。在此，如果匹配分数不在阈值以上，则处理返回到步骤S314，并且针对与具有次最高频率的对象ID对应的图像的特征量重复该处理。
同时，如果匹配分数在阈值以上，则图像识别单元540识别出输入图像中包括由已经进行比较处理的对象ID所标识的对象。然后，图像识别单元540向通信单元210输出对象识别的结果(步骤S320)。另外，计数单元560基于新的对象识别的结果来更新频率存储器570中所存储的频率计数数据(步骤S322)。
[3-3.第三实施例的总结]
至此已经参考图15至17详细描述了根据第三实施例的对象识别服务器500。根据这个实施例，以与输入图像的成像位置和照明条件相关的预定单位来计数对每一对象的识别的频率。然后，当获取新的输入图像时，优先将频率高(该频率是针对与输入图像对应的成像位置或照明条件来计数)的对象的图像的特征量与从输入图像中确定的特征量相比较。即，当将在统计上被预测为以高概率匹配输入图像的图像的特征量与输入图像的特征量相比较时，能够进一步减少输出对象识别的结果的时间。
注意，当存在过去执行的、针对在基本上相同位置(及成像装置的相同方位)处拍摄的输入图像的对象识别的结果时，图像识别单元540可以向作为对象识别请求的发送源的终端装置300原样提供过去执行的对象识别的结果，而不重新进行特征量比较处理。
虽然已经参考附图详细描述了本公开的优选实施例，但是本公开并不限于此。对于本领域的技术人员显然的是，能够进行各种修改或改变，只要它们在所附的权利要求或其等同的技术范围内即可。应当明白，这样的修改或改变也在本公开的技术范围内。
注意，在本说明书中描述的终端装置和对象识别服务器可以是单个的独立装置。另外，可以使用软件、硬件或软件和硬件的组合中的任何一个来实现由每一装置执行的一系列控制处理。构成软件的程序被预先存储于设置在每一装置内部或外部的存储介质内。然后，当被执行时，每一程序被读入RAM(随机存取存储器)内，并且被诸如CPU(中央处理单元)等处理器执行。
本公开包含与2011年3月25日提交于日本专利局的日本优先权专利申请JP 2011-067961中公开的主题相关的主题，该日本申请的整体内容通过引用被包含在此。

Claims (13)

1.一种信息处理装置，包括：
数据库，该数据库存储两个或更多个图像的特征量，该数据库被配置为使得用于识别每一图像中的对象的识别信息和与所述对象成像的照明条件相关的属性值与每一图像的特征量相关联；
获取单元，该获取单元被配置用于获取由成像装置拍摄的输入图像；以及
识别单元，该识别单元被配置用于通过将从所述输入图像中确定的特征量与在所述数据库中存储的每一图像的特征量相比较，来识别所述输入图像中的对象，
其中，在所述数据库中存储的特征量包括同一对象的、在不同照明条件下拍摄的多个图像的特征量。
2.根据权利要求1所述的信息处理装置，其中
所述获取单元还获取用于表示拍摄所述输入图像的照明条件的照明条件数据，
所述信息处理装置进一步包括过滤单元，所述过滤单元被配置用于从在所述数据库中存储的所述两个或更多个图像的特征量中提取在与所述照明条件数据表示的照明条件接近的照明条件下拍摄的图像的特征量，并且
所述识别单元将由所述过滤单元提取的图像的特征量与从所述输入图像中确定的特征量相比较。
3.根据权利要求2所述的信息处理装置，其中，所述照明条件包括与拍摄每一图像的气候相关的第一条件。
4.根据权利要求3所述的信息处理装置，其中，所述获取单元基于用于表示已经拍摄了所述输入图像的成像装置的位置的位置数据与当拍摄或获取所述输入图像时的日期和时间来获取用于所述第一条件的照明条件数据。
5.根据权利要求2所述的信息处理装置，其中，所述照明条件包括与当拍摄每一图像时的日期或时间相关的第二条件。
6.根据权利要求1所述的信息处理装置，进一步包括通信单元，该通信单元被配置用于接收从终端装置发送的输入图像，并且向所述终端装置发送关于由所述识别单元识别的对象的信息。
7.根据权利要求2所述的信息处理装置，进一步包括通信单元，该通信单元被配置用于接收从终端装置发送的输入图像，并且向所述终端装置发送由所述识别单元识别的对象的信息，其中
所述获取单元从与所述终端装置不同的装置获取所述照明条件数据。
8.根据权利要求2所述的信息处理装置，其中
在所述数据库中，用于表示在每一图像中的对象的位置的属性值进一步与每一图像的特征量相关联，
所述获取单元进一步获取用于表示已经拍摄了所述输入图像的所述成像装置的位置的位置数据，并且
所述过滤单元仅提取在接近由所述位置数据表示的所述成像装置的位置的位置处拍摄的对象的图像的特征量。
9.根据权利要求1所述的信息处理装置，其中
所述获取单元进一步获取用于表示已经拍摄了所述输入图像的所述成像装置的位置的位置数据或用于表示拍摄所述输入图像的照明条件的照明条件数据中的至少一个，
所述信息处理装置进一步包括计数单元，该计数单元被配置用于以与所述成像装置的位置或所述照明条件相关的预定单位、对由所述识别单元执行的对每一对象的识别的频率进行计数，并且
所述识别单元参考由所述计数单元针对与新获取的输入图像对应的所述成像装置的位置或照明条件而计数的所述频率，并且优先将频率高的对象的图像的特征量与从所述输入图像中确定的特征量相比较。
10.一种用于信息处理装置中的对象识别方法，所述信息处理装置包括数据库，所述数据库存储两个或更多个图像的特征量，所述数据库被配置为使得用于识别每一图像中的对象的识别信息和与成像所述对象的照明条件相关的属性值与每一图像的特征量相关联，并且在所述数据库中存储的所述特征量包括同一对象的、在不同照明条件下拍摄的多个图像的特征量，所述对象识别方法包括：
获取由成像装置拍摄的输入图像；以及
通过将从所述输入图像中确定的特征量与所述数据库中存储的每一图像的特征量相比较来识别所述输入图像中的对象。
11.一种程序，用于使得控制信息处理装置的计算机发挥下述单元的作用，所述信息处理装置包括数据库，所述数据库存储两个或更多个图像的特征量，所述数据库被配置为使得用于识别每一图像中的对象的识别信息和与成像所述对象的照明条件相关的属性值与每一图像的特征量相关联：
获取单元，该获取单元获取由成像装置拍摄的输入图像；以及
识别单元，该识别单元被配置用于通过将从所述输入图像中确定的特征量与所述数据库中存储的每一图像的所述特征量相比较，来识别所述输入图像中的对象，
其中，在所述数据库中存储的所述特征量包括同一对象的、在不同照明条件下拍摄的多个图像的特征量。
12.一种终端装置，包括：
通信单元，所述通信单元被配置用于与包括数据库的信息处理装置进行通信，所述数据库存储两个或更多个图像的特征量，所述数据库被配置为使得用于识别每一图像中的对象的识别信息和与成像所述对象的照明条件相关的属性值与每一图像的特征量相关联，并且所述数据库存储同一对象的、在不同照明条件下拍摄的多个图像的特征量；以及
控制单元，该控制单元被配置用于从所述通信单元向所述信息处理装置发送由成像装置拍摄的图像或从所拍摄的图像中确定的特征量以及关于拍摄所述图像的照明条件的数据。
13.根据权利要求12所述的终端装置，其中，当执行增强现实应用时，所述控制单元从所述通信单元向所述信息处理装置发送所拍摄的图像或所述特征量和关于所述照明条件的数据。
CN2012100709589A 2011-03-25 2012-03-16 信息处理装置、对象识别方法、程序和终端装置 Pending CN102750554A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011067961A JP2012203668A (ja) 2011-03-25 2011-03-25 情報処理装置、物体認識方法、プログラム及び端末装置
JP2011-067961 2011-03-25

Publications (1)

Publication Number Publication Date
CN102750554A true CN102750554A (zh) 2012-10-24

Family

ID=46877388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100709589A Pending CN102750554A (zh) 2011-03-25 2012-03-16 信息处理装置、对象识别方法、程序和终端装置

Country Status (3)

Country Link
US (1) US8977055B2 (zh)
JP (1) JP2012203668A (zh)
CN (1) CN102750554A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106685941A (zh) * 2016-12-19 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种优化ar注册的方法、装置及服务器
CN107666481A (zh) * 2017-09-06 2018-02-06 宇龙计算机通信科技(深圳)有限公司 一种ar目标的注册方法和设备
CN108109164A (zh) * 2017-12-08 2018-06-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN110569691A (zh) * 2018-06-06 2019-12-13 佛山市顺德区美的电热电器制造有限公司 图像识别方法及装置、服务器、存储介质、家电设备
CN110781334A (zh) * 2018-07-24 2020-02-11 丰田自动车株式会社 信息处理设备和信息处理方法
CN111465963A (zh) * 2017-10-10 2020-07-28 Cy游戏公司 用于确认对象物的获取的系统、服务器、程序和方法
CN112313643A (zh) * 2018-06-21 2021-02-02 谷歌有限责任公司 基于检索/创建的数字媒体文件预测潜在相关的主题

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014081770A (ja) * 2012-10-16 2014-05-08 Sony Corp 端末装置、端末制御方法、情報処理装置、情報処理方法、およびプログラム
US9298970B2 (en) * 2012-11-27 2016-03-29 Nokia Technologies Oy Method and apparatus for facilitating interaction with an object viewable via a display
JP2014170314A (ja) * 2013-03-01 2014-09-18 Toshiba Corp 情報処理システム、情報処理方法およびプログラム
WO2014181324A1 (en) 2013-05-05 2014-11-13 Trax Technology Solutions Pte Ltd. System and method of monitoring retail units
WO2015036056A1 (en) * 2013-09-16 2015-03-19 Metaio Gmbh Method and system for determining a model of at least part of a real object
WO2015114621A1 (en) 2014-02-02 2015-08-06 Trax Technology Solutions Pte. Ltd. System and method for panoramic image processing
US10402777B2 (en) 2014-06-18 2019-09-03 Trax Technology Solutions Pte Ltd. Method and a system for object recognition
US20170200068A1 (en) * 2014-06-18 2017-07-13 Trax Technology Solutions Pte. Ltd. Method and a System for Object Recognition
WO2016048743A1 (en) * 2014-09-22 2016-03-31 Sikorsky Aircraft Corporation Context-based autonomous perception
JP6765791B2 (ja) * 2015-08-25 2020-10-07 キヤノン株式会社 パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体
JP2017046324A (ja) * 2015-08-28 2017-03-02 株式会社オプティム ユーザ端末、物体認識サーバ、通知方法及びユーザ端末用プログラム
US10049500B2 (en) * 2015-09-22 2018-08-14 3D Product Imaging Inc. Augmented reality e-commerce for home improvement
JP6528723B2 (ja) 2016-05-25 2019-06-12 トヨタ自動車株式会社 物体認識装置、物体認識方法及びプログラム
JP2017215664A (ja) * 2016-05-30 2017-12-07 サン電子株式会社 端末装置
CN106251404B (zh) * 2016-07-19 2019-02-01 央数文化(上海)股份有限公司 方位跟踪方法、实现增强现实的方法及相关装置、设备
EP3504663B1 (en) * 2016-08-26 2024-08-14 Nokia Technologies Oy Method, apparatus and computer program for removing weather elements from images
US10436593B2 (en) * 2016-11-08 2019-10-08 Reem Jafar ALATAAS Augmented reality assistance system for the visually impaired
JP6991771B2 (ja) * 2017-07-31 2022-01-13 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN108513139B (zh) * 2018-04-02 2020-05-29 腾讯科技（深圳）有限公司 视频直播中的虚拟对象识别方法、装置、存储介质和设备
US11403880B2 (en) * 2018-06-26 2022-08-02 Wildfaces Technology Limited Method and apparatus for facilitating identification
JP6780682B2 (ja) * 2018-09-20 2020-11-04 日本電気株式会社 情報取得システム、制御装置及び情報取得方法
CN109886092B (zh) * 2019-01-08 2024-05-10 平安科技（深圳）有限公司 对象识别方法及其装置
JP2022025694A (ja) * 2020-07-29 2022-02-10 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および画像送受信システム
US11928662B2 (en) * 2021-09-30 2024-03-12 Toshiba Global Commerce Solutions Holdings Corporation End user training for computer vision system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080101723A1 (en) * 2006-10-26 2008-05-01 Microsoft Corporation Coverage-Based Image Relevance Ranking
CN101535996A (zh) * 2006-11-14 2009-09-16 皇家飞利浦电子股份有限公司 用于识别由数字图像捕获的对象的方法和设备
CN101561874A (zh) * 2008-07-17 2009-10-21 清华大学 一种人脸图像识别的方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463426B1 (en) * 1997-10-27 2002-10-08 Massachusetts Institute Of Technology Information search and retrieval system
US6389181B2 (en) * 1998-11-25 2002-05-14 Eastman Kodak Company Photocollage generation and modification using image recognition
US6792136B1 (en) * 2000-11-07 2004-09-14 Trw Inc. True color infrared photography and video
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
US6961061B1 (en) * 2002-04-19 2005-11-01 Weather Central, Inc. Forecast weather video presentation system and method
US7496228B2 (en) * 2003-06-13 2009-02-24 Landwehr Val R Method and system for detecting and classifying objects in images, such as insects and other arthropods
JP4531501B2 (ja) * 2003-09-29 2010-08-25 富士フイルム株式会社 照合システム及びそのプログラム
US7349830B2 (en) * 2003-11-20 2008-03-25 Microsoft Corporation Weather profiles
US8503800B2 (en) * 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US7756866B2 (en) * 2005-08-17 2010-07-13 Oracle International Corporation Method and apparatus for organizing digital images with embedded metadata
JP4429236B2 (ja) * 2005-08-19 2010-03-10 富士通株式会社 分類ルール作成支援方法
JP4553138B2 (ja) * 2005-09-28 2010-09-29 株式会社デンソー 顔画像認証装置
US7860320B2 (en) * 2006-06-26 2010-12-28 Eastman Kodak Company Classifying image regions based on picture location
US8315463B2 (en) * 2006-11-14 2012-11-20 Eastman Kodak Company User interface for face recognition
US8090212B1 (en) * 2007-12-21 2012-01-03 Zoran Corporation Method, apparatus, and system for reducing blurring of an image using multiple filtered images
US7814061B2 (en) * 2008-01-24 2010-10-12 Eastman Kodak Company Method for preserving privacy with image capture
JP5493455B2 (ja) * 2009-05-01 2014-05-14 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP4807439B2 (ja) * 2009-06-15 2011-11-02 株式会社デンソー 霧画像復元装置及び運転支援システム
US8503767B2 (en) * 2009-09-16 2013-08-06 Microsoft Corporation Textual attribute-based image categorization and search
KR101164353B1 (ko) * 2009-10-23 2012-07-09 삼성전자주식회사 미디어 콘텐츠 열람 및 관련 기능 실행 방법과 장치
US8332429B2 (en) * 2010-06-22 2012-12-11 Xerox Corporation Photography assistant and method for assisting a user in photographing landmarks and scenes
US8775400B2 (en) * 2010-06-30 2014-07-08 Microsoft Corporation Extracting facts from social network messages
US8532336B2 (en) * 2010-08-17 2013-09-10 International Business Machines Corporation Multi-mode video event indexing
US20120051726A1 (en) * 2010-08-31 2012-03-01 King Kevin J Apparatus, systems, and methods for emulating example photographs

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080101723A1 (en) * 2006-10-26 2008-05-01 Microsoft Corporation Coverage-Based Image Relevance Ranking
CN101535996A (zh) * 2006-11-14 2009-09-16 皇家飞利浦电子股份有限公司 用于识别由数字图像捕获的对象的方法和设备
CN101561874A (zh) * 2008-07-17 2009-10-21 清华大学 一种人脸图像识别的方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106685941A (zh) * 2016-12-19 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种优化ar注册的方法、装置及服务器
CN107666481A (zh) * 2017-09-06 2018-02-06 宇龙计算机通信科技(深圳)有限公司 一种ar目标的注册方法和设备
CN111465963A (zh) * 2017-10-10 2020-07-28 Cy游戏公司 用于确认对象物的获取的系统、服务器、程序和方法
CN111465963B (zh) * 2017-10-10 2023-11-24 Cy游戏公司 用于确认对象物的获取的系统、服务器、程序和方法
CN108109164A (zh) * 2017-12-08 2018-06-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN110569691A (zh) * 2018-06-06 2019-12-13 佛山市顺德区美的电热电器制造有限公司 图像识别方法及装置、服务器、存储介质、家电设备
CN112313643A (zh) * 2018-06-21 2021-02-02 谷歌有限责任公司 基于检索/创建的数字媒体文件预测潜在相关的主题
CN110781334A (zh) * 2018-07-24 2020-02-11 丰田自动车株式会社 信息处理设备和信息处理方法
CN110781334B (zh) * 2018-07-24 2023-09-29 丰田自动车株式会社 信息处理设备和信息处理方法

Also Published As

Publication number Publication date
US8977055B2 (en) 2015-03-10
US20120243739A1 (en) 2012-09-27
JP2012203668A (ja) 2012-10-22

Similar Documents

Publication Publication Date Title
CN102750554A (zh) 信息处理装置、对象识别方法、程序和终端装置
CN105637530B (zh) 一种使用众包视频的3d模型更新的方法及系统
CN103632626B (zh) 一种基于移动互联网的智能导游实现方法、装置及移动客户端
US20180373940A1 (en) Image Location Through Large Object Detection
CN102006548A (zh) 信息提供方法、设备和系统、信息显示方法和移动终端
TWI623907B (zh) 公車資訊查詢、回饋方法、行動終端以及伺服器
CN101535996A (zh) 用于识别由数字图像捕获的对象的方法和设备
CN102915326A (zh) 一种基于gps和图像搜索技术的移动终端景物辨识系统
CN104641399A (zh) 用于创建环境并用于共享环境中基于位置的体验的系统和方法
WO2012138585A2 (en) Event determination from photos
KR20090019184A (ko) 전자지도에 포함된 이미지 파일을 이용한 이미지 재생장치, 이의 재생 방법 및 상기 방법을 실행하기 위한프로그램을 기록한 기록매체.
US20160188991A1 (en) System and method of determining building numbers
US9672223B2 (en) Geo photo searching based on current conditions at a location
US9396584B2 (en) Obtaining geographic-location related information based on shadow characteristics
JP5544250B2 (ja) 表示画像検索方法
CN105243142A (zh) 一种基于增强现实与可视计算的智能信息推送方法
CN103077248A (zh) 一种云端图片处理方法及系统
CN111832579B (zh) 地图兴趣点数据处理方法、装置、电子设备以及可读介质
CN103491631A (zh) 基于二维码和wifi信号的室内定位系统和方法
CN111899548A (zh) 室内停车场寻车方法及系统、存储介质及平台
CN105808789A (zh) 一种结合地理位置的信息搜索引擎
EP3580690B1 (en) Bayesian methodology for geospatial object/characteristic detection
CN111008864A (zh) 一种营销码与商户之间的铺设关系的确定方法、装置及电子设备
CN104750792A (zh) 一种用户特征的获取方法及装置
Pedersen et al. Geolocating traffic signs using crowd-sourced imagery

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121024

WD01 Invention patent application deemed withdrawn after publication