CN106030612A - 提供照片热图 - Google Patents

提供照片热图 Download PDF

Info

Publication number
CN106030612A
CN106030612A CN201580009262.7A CN201580009262A CN106030612A CN 106030612 A CN106030612 A CN 106030612A CN 201580009262 A CN201580009262 A CN 201580009262A CN 106030612 A CN106030612 A CN 106030612A
Authority
CN
China
Prior art keywords
photo
thermal map
information
heatmap
heatmap information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580009262.7A
Other languages
English (en)
Other versions
CN106030612B (zh
Inventor
尼尔斯·克吕克迈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN106030612A publication Critical patent/CN106030612A/zh
Application granted granted Critical
Publication of CN106030612B publication Critical patent/CN106030612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

实施方式大体上涉及提供照片热图。在一些实施方式中，方法包括收集与至少一个对象相关联的照片，其中，照片被收集自多个用户。方法进一步包括确定与该照片相关联的热图信息。方法进一步包括基于该热图信息来生成热图，其中，该热图指示与至少一个对象相关联以及与一个或多个地理区域相关联的量。

Description

提供照片热图
相关申请的交叉引用
本申请要求2014年2月18日提交的美国非临时申请14/182,687的优先权，其通过引用合并入本文，如同出于一切目的而在本申请中完整阐述。
背景技术
诸如建造水坝、砍伐森林、建立自然保护区、防治污染等的各种活动已经影响了世界各地的环境。一个影响已经改变了各种动物的种群。例如，取决于环境的变化，特定物种可能已经变得濒危或不再濒危。另一个影响已经使动物由于环境的变化而寻找新的栖息地。例如，如果森林被砍伐，则其栖息者为了生存必须寻找新的栖息地。
发明内容
实施方式大体上涉及提供照片热图。在一些实施方式中，方法包括：收集与至少一个对象相关联的照片，其中，照片被收集自多个用户。方法进一步包括：确定与该照片相关联的热图信息。方法进一步包括：基于该热图信息来生成热图，其中，该热图指示与至少一个对象相关联以及与一个或多个地理区域相关联的量。
进一步关于所述方法，在一些实施方式中，所述热图信息包括用于每个照片的地理位置信息。在一些实施方式中，所述热图信息包括用于每个照片的时间戳信息。在一些实施方式中，所述热图信息包括与所述至少一个对象相关联的元数据。在一些实施方式中，所述至少一个对象是动物。在一些实施方式中，所述方法进一步包括：在所述照片中识别所述至少一个对象；以及确定与包含所述至少一个对象的照片相关联的热图信息。在一些实施方式中，所述方法进一步包括基于与包含所述至少一个对象的所述照片相关联的时间戳信息来更新所述热图。在一些实施方式中，所述方法进一步包括基于与包含所述至少一个对象的所述照片相关联的地理位置信息来更新所述热图。在一些实施方式中，所述方法进一步包括：基于一个或多个准则来向目标用户显示所述热图；以及基于用户输入来更新所述热图。
在一些实施方式中，方法包括：收集与至少一个对象相关联的照片，其中，所述照片被收集自多个用户。所述方法进一步包括：确定与所述照片相关联的热图信息，其中，所述热图信息包括用于每个照片的地理位置信息和时间戳信息。所述方法进一步包括：基于所述热图信息来生成热图，其中，所述热图指示与所述至少一个对象相关联以及与一个或多个地理区域相关联的量。所述方法进一步包括：基于与包含所述至少一个对象的照片相关联的时间戳信息来更新所述热图。
进一步关于所述方法，在一些实施方式中，所述热图信息包括与所述至少一个对象相关联的元数据。在一些实施方式中，所述方法进一步包括基于与包含所述至少一个对象的所述照片相关联的地理位置信息来更新所述热图。在一些实施方式中，所述方法进一步包括基于一个或多个准则来向用户显示所述热图，以及基于用户输入来更新所述热图。
在一些实施方式中，系统包括一个或多个处理器，以及被编码在一个或多个有形介质中以用于由所述一个或多个处理器执行的逻辑。所述逻辑当被执行时能够操作来执行操作，所述操作包括：收集与至少一个对象相关联的照片，其中，所述照片被收集自多个用户；确定与所述照片相关联的热图信息；以及基于所述热图信息来生成热图，其中，所述热图指示与所述至少一个对象相关联以及与一个或多个地理区域相关联的数量。
进一步关于所述系统，在一些实施方式中，所述热图信息包括用于每个照片的地理位置信息。在一些实施方式中，所述热图信息包括用于每个照片的时间戳信息。在一些实施方式中，所述热图信息包括与所述至少一个对象相关联的元数据。在一些实施方式中，所述至少一个对象是动物。在一些实施方式中，所述逻辑当被执行时可进一步操作来执行操作，所述操作包括：在所述照片中识别所述至少一个对象；以及确定与包含所述至少一个对象的所述照片相关联的热图信息。在一些实施方式中，所述逻辑当被执行时可进一步操作来执行以下操作，所述操作包括：基于与包含所述至少一个对象的所述照片相关联的时间戳信息来更新所述热图。
附图说明
图1图示了可以被用于实现本文所述的实施方式的示例性网络环境的框图。
图2图示了根据一些实施方式的用于提供照片热图的示例简化流程图。
图3图示了根据一些实施方式的动物的示例照片。
图4图示了根据一些实施方式的热图信息。
图5图示了根据一些实施方式的示例热图。
图6图示了根据一些实施方式的示例热图，该示例热图与图5的热图相似但是处于不同的日期。
图7图示了根据一些实施方式的与动物相关联的示例用户界面。
图8图示了可以被用于实现本文所述的实施方式的示例服务器设备的框图。
具体实施方式
本文所述的实施方式提供照片热图。在各种实施方式中，系统收集与诸如动物、植物等的对象相关联的照片，其中所述照片收集自从多个用户。然后，系统确定与照片相关联的热图信息。在一些实施方式中，热图信息包括每个照片的地理位置信息、每个照片的时间戳信息、以及与对象相关联的元数据。然后，系统基于热图信息生成热图，其中所述热图指示与对象相关联以及与一个或多个地理区域相关联的量或种群密度。
在一些实施方式中，系统基于与包含对象的照片相关联的时间戳信息和/或基于与包含对象的照片相关联的地理位置信息，进一步更新热图。在一些实施方式中，系统基于一个或多个准则来向用户显示热图，并且基于用户输入来更新热图。
在各种实施方式中，热图使得用户能够使用照片来估计物种随时间的增长速率。热图也使得用户能够使用照片来观察特定物种的栖息地随时间的变化。
图1图示了可以被用于实现本文所述的实施方式的示例网络环境100的框图。在一些实施方式中，网络环境100包括系统102，系统102包括服务器设备104和社交网络数据库106。在各种实施方式中，术语系统102与短语“社交网络系统”可以互换使用。网络环境100也包括客户端设备110、120、130、和140，其可以经由系统102来相互通信。网络环境100也包括网络150。
为了便于说明，图1对于系统102、服务器设备104、以及社交网络数据库106中的每一个都示出了一个框，并且针对客户端设备110、120、130、和140示出了四个框。框102、104、和106可以表示多个系统、服务器设备、和社交网络数据库。此外，可以存在任意数目的客户端设备。在其他实施方式中，网络环境100可以不一定具有所示出的全部组件，和/或作为替代，或者可以具有其它元件，包括替代本文示出的那些类型或者除了其之外的其它类型的元件。
在各种实施方式中，用户U1、U2、U3、和U4可以使用相应的客户端设备110、120、130、和140相互通信。例如，用户U1、U2、U3、和U4可以使用相应的客户端设备110、120、130、和140来向系统102提供照片以及查看热图。
在本文所述的各种实施方式中，系统102的处理器致使本文所述的要素(例如，热图、用于热图的控制等等)在一个或多个显示屏的用户界面上显示。
虽然本文中在社交网络系统的场境下描述了一些实施方式，但是这些实施方式可以应用在除了社交网络之外的场境中。例如，实施方式可以普遍地应用于搜索引擎。例如，系统102可以在独立计算机、平板计算机、智能电话等上执行本文所述的实施方式。
图2图示了根据一些实施方式的用于提供照片热图的示例简化流程图。如下面所更详细描述的，系统102生成热图，所述热图示出在特定地理区域中特定对象的出现频率，所述特定对象诸如动物或植物的物种。在各种实施方式中，热图是数据的图形表示，其中在矩阵或表格中包含的个体值被表示为颜色或阴影。在各种实施方式中，颜色对应于测量的等级。例如，红色或浓阴影可以对应于测量的高等级。黄色或淡阴影可以对应于测量的低等级。如下面所更详细描述的，与特定地理位置相关联的特定对象的照片的较多数量对应于测量的较高等级。与特定地理位置相关联的特定对象的照片的较少数量对应于测量的较低等级。注意，术语“热”不暗指将温度可视化，而是将出现频率等的其他量可视化。如下面所更详细描述的，在各种实施方式中，这样的量可以包括种群或种群密度等。系统102也提供用户界面以使得用户能够查看热图以及操控热图的多个方面。
参照图1和图2这两者，在框202启动方法，其中系统102收集与至少一个对象相关联的照片，其中照片被收集自多个用户。在一些实施方式中，当用户将图像上传到系统102时和/或在用户将图像添加到照片簿之后，系统102接收来自用户的照片。在一些实施方式中，系统102使得用户的相机设备(例如智能电话)能够在相机设备捕获照片时自动将图像上传到系统102。在一些实施方式中，为了收集照片，系统102可以搜索与系统102相关联的现有数据库和/或系统102可访问的现有数据库。因此，系统102可以收集大量的照片以及与特定对象相关联的照片数据。
在各种实施方式中，系统102首先在照片中识别对象(例如，诸如特定动物的目标对象)。然后，系统102将该对象与至少一个类别或分类相关联。例如，类别可以是各个分类中的一个(例如，鬃狮蜥、灰熊等)。然后，系统102识别包含与该类别相关联的对象的其他照片，并且检索那些被识别的照片。
图3图示了根据一些实施方式的动物的示例照片300。在此特定示例中，照片300示出被称为鬃狮蜥(bearded dragon)的动物302。此外，被示出为覆盖了照片300的方框304指示动物302的分类。例如，方框304示出域(domain)、界(domain)、门(phylum)、纲(class)、目(order)、亚目(suborder)、科(family)、亚科(subfamily)和属(genus)。这些是示例类别。在一些实施方式中，方框304不需要示出所有的这些类别。在一些实施方式中，方框304可以包括其他分类。例如，在一些实施方式中，方框304还可以示出对象的种。
在各种实施方式中，系统102通过首先识别目标对象(例如动物302等)来确定这样的信息。系统102可以利用任何合适的识别算法来确定内容(例如特定对象)是否在给定照片(例如照片300)中被示出或者在多个照片中被示出。下面更详细地描述了识别算法的示例实施方式。
为了便于说明，本文在与对象相关联的照片的场境下描述一些实施方式。在各种实施方式中，对象可以表示对象分类或类别。例如，多个照片可以包括鬃狮蜥的图像，其中每个照片都示出鬃狮蜥。一个照片中示出的特定鬃狮蜥可以与另一个照片中示出的鬃狮蜥不同。换言之，对象(例如鬃狮蜥)可以表示动物的分类(例如，诸如鬃狮蜥的属)。
虽然图3所示对象是鬃狮蜥，但是对象可以是任何类型的动物群，包括鸟类、哺乳动物、爬行动物等。例如，在下面的一些示例实施方式中，对象是灰熊。对象也可以是任何类型的植物群，包括植物、树木等。对象也可以包括其他对象，例如建筑、历史遗迹，或者是可以拍摄并且摄影者感兴趣的任何项目。
这些实施方式和其他实施方式也可以应用于与多个对象相关联的多个照片。类似地，这些实施方式和其他实施方式也可以应用于与不同对象相关联的不同照片。
在框204中，系统102确定与照片相关联的热图信息。在一些实施方式中，热图信息可以包括用于每个照片的地理位置信息。在一些实施方式中，热图信息可以包括用于每个照片的时间戳信息。在一些实施方式中，热图信息可以包括与照片中的对象相关联的元数据。
图4图示了根据一些实施方式的热图信息400。如图所示，热图信息400包括与照片300相关联的地理位置信息402。地理位置信息402可以包括GPS纬度(latitude)、GPS精度(longitude)、GPS海拔(altitude)等。
热图信息400也包括时间戳信息404。时间戳信息404可包括月、日、年、小时、分钟、秒等。
热图信息400也包括与照片中的对象相关联的元数据。例如，关于鬃狮蜥的示例，热图信息可已包括分类信息，诸如结合图3所述的分类信息(例如域、界、门、纲、目、亚目、科、亚科、属、种等)
热图信息400也包括其他元数据。这样的元数据可以包括与照片相关联的其他信息，例如照片的位置、文件大小、尺寸等。这样的元数据可以包括与被用于拍摄该照片的相机设备相关联的信息(例如，相机品牌、相机型号等)。
如上所述，虽然在特定动物(例如鬃狮蜥)的场境下描述了示例对象，但是在各种实施方式中，对象可以是任何类型的动物群，包括鸟类、哺乳动物、爬行动物等等。在各种实施方式中，对象也可以是任何类型的植物群，包括植物、树木等等。在各种实施方式中，对象也可以是任何类型的无生命对象，例如建筑、历史遗迹，或者是可以拍摄并且摄影者感兴趣的任何项目。
在框206中，系统102基于热图信息来生成热图。例如，在一些实施方式中，系统102可以访问包括与目标对象(例如灰熊)相关联的地理位置的地图。然后，系统102将与对象相关联的照片映射到地图。在各种实施方式中，系统102可以基于与特定区域相关联的照片的出现，利用预定的阴影、图案、颜色、颜色方案等将地理区域(例如地图的一部分)加上阴影。热图示出在不同位置处拍摄的照片的数量。因此，在各种实施方式中，热图指示与至少一个对象相关联以及与一个或多个地理区域相关联的量。在各种实施方式中，所述量可以是种群密度。下面结合图5和图6来更详细地描述热图的示例实施方式。
图5图示了根据一些实施方式的示例性热图500。如图所示，热图500指示与对象(例如灰熊)相关联以及与一个或多个地理区域相关联的量。在各种实施方式中，照片的数目指示并反映种群密度。例如，在特定地理区域中拍摄的灰熊的众多照片指示在该地理区域中灰熊的较高种群密度。因此，热图的阴影/颜色将反映较多数目的照片，并且因此反映较高的种群密度。相反，在特定地理区域中拍摄的灰熊的较少照片指示在该地理区域中灰熊的较低种群密度。因此，热图的阴影/颜色将反映较少数目的照片，并且因此反映较高的种群密度。在各种实施方式中，所述量是种群或种群密度。例如，地图上的阴影区域502指示灰熊位于该处并且在该处被人们拍摄的位置。在各种实施方式中，阴影或颜色的程度指示特定对象的种群密度。此处，具有较浓阴影的地理区域指示较高的种群密度。具有较不浓阴影的区域指示中等的种群密度。具有淡阴影的区域指示较低的种群密度。
在各种实施方式中，系统102还基于各种信息来更新热图。例如，系统102可以至少部分地基于与包含至少一个对象的照片相关联的时间戳信息来更新热图。在一些实施方式中，系统102还可以至少部分地基于与包含至少一个对象的照片相关联的地理位置信息来更新热图。在各种实施方式中，系统102可以基于时间戳信息与地理位置信息的组合来更新热图。随着系统102收集给定对象的更多照片，系统102对热图进行更新。
在一些实施方式中，系统102还可以致使日历504被显示在用户界面上。在此示例中，日历504示出日期2012年5月16日，其是与此特定热图相对应的日期。例如，在一些实施方式中，热图表示关于2012年5月16日的所拍摄的灰熊的照片。例如，在一些实施方式中，照片可以是在2012年5月16日拍摄的照片。在一些实施方式中，照片可以是2012年5月16日之前的预定时间框架(frame)(例如，日、月、年等等)或日期范围期间拍摄的照片。
在一些实施方式中，系统102还可以致使控制506被显示在用户界面上。如此特定示例所示，控制506是滑块。控制506使得用户能够改变日期以便了解热图如何基于时间来变化，。
图6图示了根据一些实施方式的示例热图600，示例热图600与图5的热图500相似但是处于不同的日期。如图所示，日历504示出不同的日期2014年2月5日。此外，控制506已经被移到了右边。
如图所示，热图600示出阴影区域602，阴影区域602指示与图5的热图500的种群密度相比不同的种群密度。换言之，与2012年5月16日相比，拍摄了较少的与2014年2月5日相关联的灰熊照片。
在一些实施方式中，与给定日期相关联的给定热图指示在该给定日期的给定对象的种群密度。如上所指示，被用于生成热图的照片和/或热图信息可以与预定的时间框架或日期范围相关联。例如，在一些实施方式中，日期范围可以包括范围从该日期之前一个月直到该日期的照片以及关联的热图信息。取决于特定实施方式，特定的时间框架(例如，(一个或多个)日、(一个或多个)月、(一个或多个)年等)或日期范围可以不同。
如图5和图6所示，实施方式使得用户能够使特定物种种群的成长可视化。使用控制506(或者在日历504上)改变日期导致系统102仅使用在该日或者在预定时间范围中拍摄的照片来重建热图。热图使得用户能够使诸如动物群、植物群等的对象的种群密度随时间的变化可视化。因为热图是基于照片，所以用户能够作出关于环境的假设。例如，给定用户能够具有对于动物、植物等的种群以及这些项目的位置的变化的认识。此外，实施方式提供有用的信息以供用户了解为了拍摄特定对象的照片要去哪游历。
在一些实施方式中，系统102基于一个或多个准则来向用户显示热图。例如，如在上述示例中所描述的，用户准则可包括日期。在一些实施方式中，系统102基于用户输入来更新热图。例如，如同在上述示例中所描述的，用户输入可以包括滑块控制的用户移动。
系统102可以使得用户能够输入其他准则和输入以便生成和显示热图。下面结合图7来更详细地描述示例实施方式。
图7图示了根据一些实施方式的与动物相关联的示例用户界面700。在此示例中，用户界面700提供关于灰熊的信息。系统102可以响应于用户将信息(例如“灰熊(grizzlybear)”)输入至搜索栏内来致使这样的信息被显示。在一些实施方式中，系统102可以使得灰熊信息连同其他搜索结果一起被显示(例如，显示到搜索结果列表的侧)。
在一些实施方式中，系统102可以使得控制702被显示在与对象相关联的信息接近处。响应于用户选择控制702(例如点击控制702)，系统102随后致使诸如图5的热图500的热图被显示。
使用灰熊示例，如果用户搜索“灰熊”，则热图显示拍摄了该物种的照片的地点。如上所指示，在特定地理区域中拍摄的照片的密度反映了目标对象(例如灰熊)的种群密度。然后，用户能够使用时间滑块来了解多年来种群和栖息地中的多少已经改变。例如，该可视化数据可以使得用户能够估计2008年在附近建设的机场或者2011年的野火对灰熊的影响。
在另一个示例中，目前，野生动物组织经由报纸或邮件接触公民并要求他们来确定和计算作为健康环境的指示生物的蝴蝶或其他昆虫或者从其越冬地返回的鸟类的数量。这样的方法的作用随着这些人对于物种的知识以及参与的愿望而起伏。本文所述的实施方式利用鸟类、昆虫、花卉、或者自然中的任何其他对象的照片。这样的照片由众多用户和爱好者拍摄，并且这样的照片经由热图为野生动物组织提供充裕的数据。本文所述的实施方式利用了由成千上万人用他们的相机、智能电话、平板计算机等每天拍摄的照片。
实施方式也可以应用于所有种类的对象，其中增长(growth)信息和位置信息可能对用户有价值。例如，这样的对象可以包括建筑、历史遗迹、诸如豪车的消费品。因此，本文所述的实施方式使得用户能够关于众多对象做出经济学假设。
本文所述的实施方式提供各种益处。例如，实施方式使得用户能够使用照片来估计物种随时间的增长率。例如，用户能够查看在给定热图中特定物种的种群随时间的变化。实施方式也使得用户能够使用照片来观察特定物种的栖息地随时间的变化。例如，用户能够查看在给定热图中特定物种的种群随时间的移动。这些益处/优点利用了系统对在全世界不同区域中的众多对象(例如，动物群、植物群等)的照片的持续收集。
虽然可以以特定顺序呈现步骤、操作、或计算，但是在特定实施方式中可以改变顺序。取决于特定实施方式，步骤的其他排序也是可能的。在一些特定实施方式中，在本说明书中示出为顺序式的多个步骤可以同时被执行。此外，一些实施方式可以不具有所示的全部步骤和/或代替所示步骤或除其之外，可以具有其他步骤。
虽然本文中将系统102描述为执行实施方式中所述的步骤，但是系统102的任何合适的组件或组件的组合，或者与系统102相关联的任何合适的处理器或多个处理器可以执行所述的步骤。
在各种实施方式中，系统102可以利用各种识别算法来识别图像中的对象、地标等。这样的识别算法可以是系统102不可缺少的部分。系统102也可以访问由软件提供的识别算法，所述软件在系统102外部并且系统102访问所述软件。
在各种实施方式中，系统102获得对象的参考图像，其中每个参考图像包括与已知的对象或对象的类别相关联的对象的图像。对象是已知的，原因在于系统102具有用户的身份信息，例如对象的名称和其他对象信息。在一些实施方式中，例如，参考图像可以是用户已经上传的对象图像。在一些实施方式中，参考图像可以是基于一组参考图像的合成。
在一些实施方式中，为了识别对象，系统102可以将对象(例如对象的图像)与对象的参考图像进行比较并且进行匹配。注意，术语“对象”与短语“对象的图像”被可互换地使用。为了便于说明，在本文所述的一些示例实施方式中对一个对象的识别进行描述。这些实施方式也可以应用于待识别的多个对象中的每个对象。
在一些实施方式中，为了识别与图像中的对象相似的任何一个或多个参考图像，系统102可以搜索参考图像。在一些实施方式中，对于给定的参考图像，系统102可以在用于分析的图像中从对象的图像提取特征，并且然后将这些特征与一个或多个参考图像的特征进行比较。例如，系统102可以分析诸如面部特性、身体特性等的对象特征的相对位置、大小、和/或形状。在一些实施方式中，系统102可以使用从分析所集中的数据，将图像中的对象与具有匹配特征或相似特征的一个或多个参考图像进行匹配。在一些实施方式中，系统102可以将多个参考图像准则化，并且将来自这些图像的对象数据压缩为具有信息(例如对象特征数据)的合成表示，并且然后将图像中的对象与合成表示相比较以用于面部识别。
在一些场景中，图像中的对象可能和与相同类别中的对象相关联的多个参考图像相似。因此，会有很高可能与图像中的对象相关联的对象是与参考图像相关联的相同对象。
在一些实施方式中，为了促进对象识别，系统102可以使用基于特征辨别(discrimination)的几何识别算法。系统102也可以使用基于统计方法的光度算法，所述统计方法将对象特征提炼为用于比较的值。当将图像中的对象与一个或多个参考进行比较时也可以使用几何方法与光度方法的组合。
可以使用其他识别算法。例如，系统102可以使用识别算法，所述识别算法使用如下算法中的一个或多个：主成分分析、线性判别分析、弹性束图匹配、隐含马尔科夫(Markov)模型、以及动态链接匹配。将理解，系统102可以使用其他已知或者以后开发的识别算法、技术、和/或系统。
在一些实施方式中，系统102可以生成输出，所述输出指示图像中的对象与给定参考图像匹配的可能性(或概率)。在一些实施方式中，可以将输出表示为度量(或数值)，诸如与图像中的对象匹配给定参考图像的置信度相关联的百分比。例如，值1.0可以表示100％匹配置信度。例如，当被比较的图像完全相同或者几乎完全相同时，会发生这种情况。该值可以更低，例如当存在50％匹配机会时该值为0.5。其他类型的输出也是可能的。例如，在一些实施方式中，输出可以是用于匹配的置信度分值。
为了便于说明，在识别算法的场境下描述了上述的一些示例实施方式。为了实现本文所述的实施方式，可以使用各种识别算法和/或视觉搜索系统来识别诸如地标、徽标、实体、事件、面部等对象。
图8图示了可以被用于实现本文所述的实施方式的示例服务器设备800的框图。例如，可以使用服务器设备800来实现图1的服务器设备104以及执行本文所述的方法实施方式。在一些实施方式中，服务器设备800包括处理器802、操作系统804、存储器806、以及输入/输出(I/O)接口808。服务器设备800也包括社交网络引擎810和媒体应用812，其可以被存储在存储器806中或者被存储在任何其他合适的存储位置或计算机可读介质上。媒体应用812提供指令，所述指令使得处理器802能够执行本文所述的功能和其他功能。
为了便于说明，图8对于处理器802、操作系统804、存储器806、I/O接口808、社交网络引擎810、以及媒体应用812中的每个都示出了一个框。这些框802、804、806、808、810、和812可以表示多个处理器、操作系统、存储器、I/O接口、社交网络引擎、以及媒体应用。在其他实施方式中，服务器设备800可以不具有所示的全部组件，和/或可以具有代替本文所示的元件或除其以外的包括其他类型的元件的其他元件。
虽然已经关于其特定实施例对本说明书进行了描述，但是这些特定实施例仅作为说明而不是限制。示例中所说明的概念可以被应用于其他示例和实施方式。例如，本文中在社交网络系统的场境中描述了一些实施方式。但是，可以在除了社交网络之外的场境中应用本文所述的实施方式。例如，实施方式可以本地地应用于个体用户。
注意，如本领域的技术人员所公知的，在本公开中所述的功能块、方法、设备、和系统可以被整合，或者被划分为系统、设备、和功能块的不同组合。
可以使用任何合适的编程语言和编程技术来实现特定实施例的例程。可以采用不同的编程技术，诸如面向过程的编程技术或面向对象的编程技术。例程可以在单个处理设备上执行，或者可以在多个处理器上执行。虽然可以以特定顺序来呈现步骤、操作、或计算，但是在不同的特定实施例中可以改变顺序。在一些特定实施例中，在本说明书中示出为顺序进行的多个步骤可以被同时执行。
“处理器”包括对数据、信号、或其他信息进行处理的任何合适的硬件和/或软件系统、机构、或组件。处理器可包括有通用中央处理器、多个处理单元、用于实现功能的专用电路的系统、或其他系统。处理不必限于地理位置，或者不必具有时间限制。例如，处理器可以以“实时”、“离线”、在“批处理模式”等方式来执行它的功能。可以通过不同(或相同)的处理系统在不同时间以及在不同位置来执行多个部分的处理。计算机可以是与存储器通信的任何处理器。存储器可以是任何合适的数据存储、存储器、和/或非暂时性计算机可读存储介质，包括：电子存储设备，诸如随机存取存储器(RAM)、只读存储器(ROM)、磁存储设备(硬盘驱动器等)、闪存、光存储设备(CD、DVD等等)、磁盘或光盘，或者适合于存储供处理器执行的指令的其他有形介质。软件指令也能够被包含在电子信号中，并作为电子信号来提供，例如处于从服务器(例如分布式系统和/或云计算系统)递送的软件即服务(SaaS)形式的电子信号。

Claims (20)

1.一种方法，包括：
收集与至少一个对象相关联的照片，其中，所述照片被收集自多个用户；
确定与所述照片相关联的热图信息，其中，所述热图信息包括每个照片的地理位置信息和时间戳信息；
基于所述热图信息来生成热图，其中，所述热图指示与所述至少一个对象相关联以及与一个或多个地理区域相关联的量；以及
基于与包含所述至少一个对象的照片相关联的时间戳信息来更新所述热图。
2.根据权利要求1所述的方法，其中，所述热图信息包括与所述至少一个对象相关联的元数据。
3.根据权利要求1所述的方法，进一步包括：基于与包含所述至少一个对象的所述照片相关联的地理位置信息来更新所述热图。
4.根据权利要求1所述的方法，进一步包括：
基于一个或多个准则来向用户显示所述热图；以及
基于用户输入来更新所述热图。
5.一种方法，包括：
收集与至少一个对象相关联的照片，其中，所述照片被收集自多个用户；
确定与所述照片相关联的热图信息；以及
基于所述热图信息来生成热图，其中，所述热图指示与所述至少一个对象相关联以及与一个或多个地理区域相关联的量。
6.根据权利要求5所述的方法，其中，所述热图信息包括每个照片的地理位置信息。
7.根据权利要求5所述的方法，其中，所述热图信息包括每个照片的时间戳信息。
8.根据权利要求5所述的方法，其中，所述热图信息包括与所述至少一个对象相关联的元数据。
9.根据权利要求5所述的方法，其中，所述至少一个对象是动物。
10.根据权利要求5所述的方法，进一步包括：
识别所述照片中的所述至少一个对象；以及
确定与包含所述至少一个对象的所述照片相关联的所述热图信息。
11.根据权利要求5所述的方法，进一步包括：基于与包含所述至少一个对象的所述照片相关联的时间戳信息来更新所述热图。
12.根据权利要求5所述的方法，进一步包括：基于与包含所述至少一个对象的所述照片相关联的地理位置信息来更新所述热图。
13.根据权利要求5所述的方法，进一步包括：
基于一个或多个准则来向目标用户显示所述热图；以及
基于用户输入来更新所述热图。
14.一种系统，包括：
一个或多个处理器；以及
被编码在一个或多个有形介质中以用于由所述一个或多个处理器执行的逻辑，并且所述逻辑当被执行时能够操作来执行操作，所述操作包括：
收集与至少一个对象相关联的照片，其中，所述照片被收集自多个用户；
确定与所述照片相关联的热图信息；以及
基于所述热图信息来生成热图，其中，所述热图指示与所述至少一个对象相关联以及与一个或多个地理区域相关联的量。
15.根据权利要求14所述的系统，其中，所述热图信息包括每个照片的地理位置信息。
16.根据权利要求14所述的系统，其中，所述热图信息包括每个照片的时间戳信息。
17.根据权利要求14所述的系统，其中，所述热图信息包括与所述至少一个对象相关联的元数据。
18.根据权利要求14所述的系统，其中，所述至少一个对象是动物。
19.根据权利要求14所述的系统，其中，所述逻辑当被执行时能够进一步操作来执行操作，所述操作包括：
识别所述照片中的所述至少一个对象；以及
确定与包含所述至少一个对象的所述照片相关联的所述热图信息。
20.根据权利要求14所述的系统，其中，所述逻辑当被执行时能够进一步操作来执行操作，所述操作包括：基于与包含所述至少一个对象的所述照片相关联的时间戳信息来更新所述热图。
CN201580009262.7A 2014-02-18 2015-02-04 提供照片热图 Active CN106030612B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/182,687 2014-02-18
US14/182,687 US9727582B2 (en) 2014-02-18 2014-02-18 Providing photo heat maps
PCT/US2015/014365 WO2015126623A1 (en) 2014-02-18 2015-02-04 Providing photo heat maps

Publications (2)

Publication Number Publication Date
CN106030612A true CN106030612A (zh) 2016-10-12
CN106030612B CN106030612B (zh) 2019-11-01

Family

ID=52484588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580009262.7A Active CN106030612B (zh) 2014-02-18 2015-02-04 提供照片热图

Country Status (3)

Country Link
US (1) US9727582B2 (zh)
CN (1) CN106030612B (zh)
WO (1) WO2015126623A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11048779B2 (en) 2015-08-17 2021-06-29 Adobe Inc. Content creation, fingerprints, and watermarks
US10366433B2 (en) 2015-08-17 2019-07-30 Adobe Inc. Methods and systems for usage based content search results
US10592548B2 (en) 2015-08-17 2020-03-17 Adobe Inc. Image search persona techniques and systems
US10475098B2 (en) 2015-08-17 2019-11-12 Adobe Inc. Content creation suggestions using keywords, similarity, and social networks
US10878021B2 (en) * 2015-08-17 2020-12-29 Adobe Inc. Content search and geographical considerations
US10853983B2 (en) 2019-04-22 2020-12-01 Adobe Inc. Suggestions to enrich digital artwork
WO2021216904A1 (en) * 2020-04-23 2021-10-28 Pictometry International Corp. Systems and methods for automated structure modeling from digital imagery

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101390414A (zh) * 2006-02-24 2009-03-18 雅虎公司 由用户定义的私人地图
CN102063472A (zh) * 2010-12-10 2011-05-18 北京大学 图片搜索方法、图片搜索系统、客户端和服务器
CN103137007A (zh) * 2011-11-22 2013-06-05 任逍遥数位资讯有限公司 主题地图产生系统及其方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7461077B1 (en) * 2001-07-31 2008-12-02 Nicholas Greenwood Representation of data records
TWI290660B (en) 2005-10-26 2007-12-01 Asia Optical Co Inc Image retriever with GPS functions, and image processing method thereof
US8543454B2 (en) * 2011-02-18 2013-09-24 Bluefin Labs, Inc. Generating audience response metrics and ratings from social interest in time-based media
US8737728B2 (en) 2011-09-30 2014-05-27 Ebay Inc. Complementary item recommendations using image feature data
US9007373B2 (en) 2011-10-12 2015-04-14 Yale University Systems and methods for creating texture exemplars
RU2014126446A (ru) 2011-12-19 2016-02-10 БЁДЗ ИН ЗЕ ХЭНД, Эл-Эл-Си Способ и система для совместного использования данных об объекте
US8996305B2 (en) 2012-06-07 2015-03-31 Yahoo! Inc. System and method for discovering photograph hotspots
US9529917B2 (en) * 2013-05-21 2016-12-27 Saleforce.com, inc. System and method for generating information feed based on contextual data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101390414A (zh) * 2006-02-24 2009-03-18 雅虎公司 由用户定义的私人地图
CN102063472A (zh) * 2010-12-10 2011-05-18 北京大学 图片搜索方法、图片搜索系统、客户端和服务器
CN103137007A (zh) * 2011-11-22 2013-06-05 任逍遥数位资讯有限公司 主题地图产生系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WANG JIGNYA ET AL: "observing the natural world with Flickr", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS》 *

Also Published As

Publication number Publication date
US20150234864A1 (en) 2015-08-20
WO2015126623A1 (en) 2015-08-27
US9727582B2 (en) 2017-08-08
CN106030612B (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
CN106030612A (zh) 提供照片热图
Leonelli et al. Data and society: A critical introduction
Rivas-Torres et al. A methodology for mapping native and invasive vegetation coverage in archipelagos: An example from the Galápagos Islands
Hodgson et al. Drones count wildlife more accurately and precisely than humans
Swinfield et al. Accurate measurement of tropical forest canopy heights and aboveground carbon using structure from motion
US20210125732A1 (en) System and method with federated learning model for geotemporal data associated medical prediction applications
US11803959B2 (en) Individual plant recognition and localization
Chang-Martínez et al. Modeling historical land cover and land use: a review from contemporary modeling
Tagle Casapia et al. Identifying and quantifying the abundance of economically important palms in tropical moist forest using UAV imagery
Chadwick et al. Automatic delineation and height measurement of regenerating conifer crowns under leaf-off conditions using uav imagery
Chim et al. Land use change detection and prediction in upper Siem Reap River, Cambodia
US20220358265A1 (en) Realistic plant growth modeling
CN112764128A (zh) 显示天气数据的方法、服务器、计算机设备及可读介质
Stefanidou et al. Fuel type mapping using object-based image analysis of DMC and Landsat-8 OLI imagery
Tyc et al. Integration of remote sensing data into a composite voxel model for environmental performance analysis of terraced vineyards in tuscany, Italy
Velasquez-Camacho et al. Remotely sensed tree characterization in urban areas: a review
Chan et al. Application of multi-species photo-ID database management systems: a user’s perspective
Albuquerque et al. Remotely piloted aircraft imagery for automatic tree counting in forest restoration areas: a case study in the Amazon
Lovitt et al. A New U-Net Based Convolutional Neural Network for Estimating Caribou Lichen Ground Cover from Field-Level RGB Images
Scarth et al. Operational application of the landsat timeseries to address large area landcover understanding
Osińska-Skotak et al. The methodology for identifying secondary succession in non-Forest Natura 2000 habitats using multi-source airborne remote sensing data
Bratic et al. High-resolution land cover classification: cost-effective approach for extraction of reliable training data from existing land cover datasets
Dávid et al. Sensitivity of spring phenology simulations to the selection of model structure and driving meteorological data
Puttinaovarat et al. Oil Palm Bunch Ripeness Classification and Plantation Verification Platform: Leveraging Deep Learning and Geospatial Analysis and Visualization
Hart Monitoring New Zealand's native bees: a collaborative approach using image analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant