CN106255966A - 使用店面辨识来识别待考察实体 - Google Patents

使用店面辨识来识别待考察实体 Download PDF

Info

Publication number
CN106255966A
CN106255966A CN201480078615.4A CN201480078615A CN106255966A CN 106255966 A CN106255966 A CN 106255966A CN 201480078615 A CN201480078615 A CN 201480078615A CN 106255966 A CN106255966 A CN 106255966A
Authority
CN
China
Prior art keywords
candidate image
image
candidate
similarity score
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480078615.4A
Other languages
English (en)
Inventor
周舒畅
李昕
罗晟
陈鹏
李剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN106255966A publication Critical patent/CN106255966A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • G06F18/2113Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments

Abstract

本发明提供用于店面辨识的系统和方法。调查员或者其他用户能够访问在计算设备上实现的应用。实体的店面的源图像能够由调查员使用图像捕捉设备(例如,数字相机)来捕捉。特征匹配过程能够被用于将源图像与地理区域中的店面的多个候选图像相比较,并且返回最接近匹配的候选图像的列表。由应用返回的每个候选图像能够被注释有指示该源图像与该候选图像的相似度的相似度分值。调查员能够使用所述相似度分值以及所述候选图像来确定商店是否先前曾被考察过。用户能够与应用相交互,以指示实体是否需要被考察。

Description

使用店面辨识来识别待考察实体
技术领域
本公开大体上涉及数据采集,并且更特别地涉及使用店面辨识来识别待考察实体以用于数据采集。
背景技术
地理信息系统能够提供对已经根据其元素的地理坐标而被存储和索引的数据的归档、检索和操纵。地理信息系统能够提供与地理区域中的各种企业和实体相关联的信息,诸如企业名称、地址、营业时间、菜单、以及其他信息。一种用于采集这样的信息的方法能够通过使用现场调查员来完成。现场(例如亲临企业或者其他实体)的调查员能够通过拜访企业或者其他实体并且采集信息来采集针对地理区域中的各种企业和其他实体的信息。使用现场调查员来采集有关企业和其他实体的信息能够使存储在地理信息系统中的企业或者实体信息的详细性和准确性提高。
发明内容
本公开的实施例的多个方面和优点将在下文的描述中被部分阐述,或者可以从说明书中习得,或者可以通过实践这些实施例而习得。
本公开的一个示例方面涉及一种识别地理区域中的待考察实体的计算机实现的方法。所述方法包括:由一个或多个计算设备,接收所捕捉到的地理区域中的实体的店面的源图像。所述源图像由图像捕捉设备捕捉。所述一个或多个计算设备包括一个或多个处理器。所述方法进一步包括:由所述一个或多个计算设备,访问所述地理区域中的店面的多个候选图像,并且由所述一个或多个计算设备,将所述源图像与所述多个候选图像相比较,以确定所述多个候选图像中的每一个候选图像的相似度分值。所述方法进一步包括:由所述一个或多个计算设备,至少部分地基于所述多个候选图像中的每一个候选图像的所述相似度分值,选择所述多个候选图像的子集,并且由所述一个或多个计算设备,提供所述多个候选图像的所述子集,以用于显示在显示设备上。所述多个候选图像的所述子集中的每个候选图像被提供,以用于连同该候选图像的相似度分值一起显示。所述方法进一步包括:由所述一个或多个计算设备,接收指示用户选择所述待考察实体的数据。
本公开的其他示例方面涉及系统、装置、有形的非暂时性计算机可读介质、用户界面、存储器设备、以及用于识别地理区域中的待调查实体的电子设备。
参照下文的描述以及所附权利要求,将更好地理解各实施例的这些和其他特征、方面以及优点。并入本说明书中并且构成其一部分的附图说明本公开的实施例并且与描述一起用来解释相关原理。
附图说明
在本说明书中,参照附图,阐述针对本领域普通技术人员对实施例的详细讨论,其中:
图1描绘出待使用根据本公开的示例实施例的系统和方法来考察的地理区域;
图2描绘出根据本公开的示例实施例的用于识别待考察实体的源图像的示例捕捉;
图3和图4描绘出根据本公开的示例实施例的用于识别待考察实体的示例用户界面;
图5描绘出根据本公开的示例实施例的用于识别待考察实体的示例方法的过程流程图;
图6描绘出根据本公开的示例实施例的示例基于计算机的系统。
具体实施方式
现将详细参照实施例,在图中图示其中一个或多个示例。每个示例都以解释实施例而非限制本公开的方式来提供。实际上,对本领域技术人员显而易见的是,在不背离本公开的精神和范围的情况下,能够对实施例作出各种修改和变化。譬如,图示或描述为一个实施例的一部分的特征能够与另一个实施例一起使用以产生又一个实施例。因此,本公开的方面旨在覆盖这样的修改和变化。
概述
一般地,本公开的示例方面涉及用于识别地理区域中的待考察实体的系统和方法。现场(例如,亲临商店或者企业)的调查员能够通过拜访实体并且采集信息来采集与地理区域中的企业或者其他实体相关联的信息(例如,菜单、企业名称、地址、营业时间等)。在企业以及其他实体开门、关门以及迁移时,调查员可能需要周期性地重新拜访该地理区域以更新与地理区域相关联的清单。当重新拜访地理区域时,调查员可能需要确定企业或者其他实体是否已经发生变化,以致需要对实体执行新的数据采集。此外,与企业或者其他实体相关联的地理信息(例如,在地理信息系统中)可能不足以准确地用来识别在特定位置处的特定企业或者实体。
企业或者其他实体自从最后一次考察以来是否已经发生变化的一个指标能够是与特定位置相关联的店面是否已经发生变化。如本文中所用,店面是指包括指示企业或者其他实体的一个或多个特征的建筑物的外部和/或内部、位置或者其他场所的至少一个部分。例如,店面能够是与实体相关联的建筑物的外立面或者空间。店面还能够是企业或者其他实体位于其中的建筑物或者路边的招牌或者其他标牌。对于调查员而言,会难以识别已发生变化或更新的店面,这是因为调查员在进行调查之前可能尚未拜访过该地理区域并且/或者因为有过多企业位于该地理区域中。作为结果,调查员可能必须查阅与地理区域相关联的所有以前的企业清单,以确定企业是否已经发生变化,这会是繁琐耗时并且容易出错的过程。
根据本公开的示例方面,提供计算机实现的系统和方法,以帮助辨识企业或者其他实体是否以前曾被拜访和考察过。更特别地,调查员或者其他用户能够访问在计算设备上所实现的应用,所述计算设备诸如智能电话、平板、可佩戴计算设备、膝上型计算机、桌面型计算机或者其他适当的计算设备。实体的店面的一个或多个源图像能够由调查员使用图像捕捉设备(例如,数字相机)来捕捉。特征匹配过程能够被使用于将一个或多个源图像与地理区域中的店面的多个候选图像相比较,并且返回最接近匹配的候选图像的列表。由应用返回的每个候选图像能够被注释有指示源图像与候选图像的相似度的相似度分值。调查员能够使用该相似度分值以及所返回的候选图像来确定商店是否以前曾被拜访和考察过。用户能够与应用相交互,以指示实体是否需要被考察。
作为示例,调查员能够访问在调查员的智能电话或者其他设备上所实现的应用。调查员能够识别待调查的地理区域,诸如待调查的特定街道的名称。应用能够获得地理区域中的诸如以前曾被考察的实体的企业以及其他实体的店面的多个候选图像(例如,通过网络从远程服务器获得)。多个候选图像能够是限定数目的图像,诸如100个图像或者更少。当调查员到达该地理区域时,调查员能够使用数字相机(例如,与用户的智能电话或者其他设备集成的数字相机)来捕捉该地理区域中的企业或者其他实体的店面的一个或多个图像。由调查员所捕捉到的图像能够与多个候选图像相比较。应用能够返回最接近匹配的多个候选图像的子集。
应用能够在与用户的智能电话或者其他设备相关联的显示设备上的用户界面中显示源图像以及多个候选图像的子集。针对每个返回的候选图像,相似度分值能够被显示。基于匹配的接近度,相似度分值能够被设定颜色和/或大小。譬如,针对接近的匹配,相似度分值能够被呈现成绿色,否则能够被呈现成红色。调查员能够查阅所返回的图像的子集以及相似度分值,以确定企业是否以前曾被考察过。用户然后能够向应用提供用户输入,指示企业是否需要被考察。
在本公开的示例实施方式中,使用诸如尺度不变特征变换(SIFT)特征匹配过程的特征匹配过程,将源图像与多个候选图像相比较。为减少误匹配,能够使用诸如极线约束或者角度约束的几何约束,来实现特征匹配过程。采用多个候选图像中的限定数目的候选图像(例如,100个图像或更少),利用几何约束的特征匹配过程能够易于在诸如智能电话或者其他用户设备的本地设备上实现,而无需用于远程处理数据的网络连接。通过这种方式,根据本公开的示例方面的系统和方法能够在确定位于远程区域中的企业或者其他实体是否需要被考察的过程中为调查员提供有用的工具。
本文中所讨论的各种实施例可以访问和分析有关用户的个人信息,或者使用个人信息,诸如由用户捕捉的源图像和/或位置信息。在一些实施例中,用户可以被要求安装应用或者选择设置,以便获得本文中所述技术的益处。在一些实施例中,在存储或者使用某些信息或者数据之前,能够通过一个或多个方式对其进行处理,使得删除个人可识别信息。例如,用户的身份可以被处理,使得没有个人可识别信息能够针对用户而被确定。
示例店面辨识应用
现将参照附图,更加详细地讨论本公开的示例方面。图1描绘了示例地理区域100,其包括位于街道115上的多个企业110。地理信息系统(例如,地图绘制应用、虚拟地球应用等)能够索引和存储与地理区域100中的多个企业110中的每一个企业相关联的数据。譬如,地理信息系统能够包括指示地址、企业名称、营业时间、菜单等的数据。地理信息系统的用户能够被呈现有这样的信息,譬如,当在与地理信息系统相关联的用户界面(例如,浏览器)中查看地理区域100的影像(例如,地图影像、航空影像、卫星影像、三维模型等)时。
能够至少部分地使用譬如现场调查员来采集与企业110相关联的信息,以用于在地理信息系统中使用。例如,现场调查员 120能够亲自去到地理区域100并且拜访多个企业110以执行考察并且采集与这些多个企业110相关联的信息。现场调查员120能够携带用户设备130,诸如智能电话、平板、移动设备、可佩戴计算设备或者其他适当的计算设备。现场调查员120能够将信息输入用户设备130,诸如与多个企业110相关联的信息。所采集的信息能够再被提供给地理信息系统。
在对地理区域100的考察期间,调查员120可能需要确定是否考察位于地理区域100中的特定企业110。譬如,如果企业自从对地理区域100的先前考察以来已经发生变化或者迁移,则调查员120可能需要进行对新的企业110的考察。根据本公开的示例方面,调查员120能够访问在用户设备130上实现的店面辨识应用,以确定地理区域100中的企业110是否需要被考察。
更具体地,调查员120能够使用诸如在用户设备130上实现的数字相机的适当图像捕捉设备来捕捉地理区域100中的企业110的店面的源图像。例如,图2描绘了由作为用户设备130的一部分来实现的数字相机135所捕捉的示例源图像140。源图像140是从处于或靠近地平面的角度来捕捉的,并且包括企业110的店面118。店面118能够包括与企业110相关联的各种识别特征。譬如,店面118能够包括将企业识别为“A企业”的标牌150。在特定实施例中,多个源图像能够被捕捉以提高下文将更加详细地讨论的匹配过程的准确性。
源图像140能够被上传至在用户设备130上实现的店面辨识应用。一旦源图像140被接收,应用便能够将源图像140与地理区域中的店面的多个候选图像相比较。在特定实施方式中,多个候选图像是与先前曾被考察过的实体相关联的店面的图像。店面的多个候选图像能够是先前采集的图像,诸如所捕捉到的地理区域100中的企业110的街道水平的图像(图1)。街道水平的图像能够包括由地理区域中的相机从处于或靠近地平面的角度所捕捉的图像。多个候选图像能够由店面辨识应用从诸如与地理信息系统相关联的web服务器的远程设备来访问,或者能够从用户设备130上的本地存储区来访问。
在一个特定实施方式中,调查员120能够在去地理区域100之前从远程设备将多个候选图像下载到用户设备130。譬如,在去地理区域100之前,调查员120能够向能够访问候选图像的远程设备或系统提供请求,所述候选图像包括指示一个或多个待调查地理区域的数据。基于指示所述一个或多个待考察地理区域的数据,多个候选图像能够被识别。譬如,地理定位于地理区域内的店面的候选图像能够被识别。候选图像的数目能够被限定,诸如被限定成100个候选图像。已识别的候选图像能够被下载并且被本地存储于用户设备130上。通过这种方式,店面辨识应用能够在实地由用户设备130来实现,而无需网络连接。
在用户设备130上实现的店面辨识应用能够使用计算机实现的特征匹配过程,将诸如源图像140的源图像与多个候选图像相比较。特征匹配过程能够尝试将源图像140中所描绘的一个或多个特征(例如,文本)与候选图像中所描绘的特征相匹配。在特定实施方式中,店面辨识应用能够使用采用一个或多个几何约束来实施的尺度不变特征转换(SIFT)特征匹配过程来比较图像。对限定数目的候选图像的使用能够促进在用户设备130处本地实施特征匹配过程。在不背离本公开的范围的情况下,能够使用其他特征匹配技术(例如,用于文本的光学字符识别技术)。
使用特征匹配过程,店面辨识应用能够生成每个候选图像的相似度分值。每个候选图像的相似度分值能够指示一个或多个源图像(例如,源图像140)与候选图像的相似度。在一个特定实施方式中,候选图像的相似度分值能够至少部分地基于源图像与候选图像之间的匹配特征的数目和/或类型而被确定。
店面辨识应用能够至少部分地基于多个候选图像中的每一个的相似度分值来识别多个候选图像的子集。所述子集能够包括所述多个候选图像中的一个或多个。在一个特定实施方式中,识别子集是通过基于相似度分值将多个候选图像排名成优先级顺序(例如,从最高相似度分值到最低相似度分值来排名候选图像)以及识别所述多个候选图像中以优先级顺序排名最高的一个或多个候选图像作为子集。
店面辨识应用能够在与用户设备130相关联的显示设备上呈现的用户界面中呈现一个或多个源图像以及已识别的所述多个图像的子集。调查员120能够将所述一个或多个源图像与所返回的所述子集中的候选图像相比较,以确定企业是否需要被考察。根据本公开的特定方面,所述多个图像的所述子集能够以通过基于每个候选图像的相似度分值来排名多个候选图像所确定的优先级顺序而被呈现在用户界面中。此外,每个候选图像能够连同该候选图像的相似度分值一起被呈现。能够至少部分地基于相似度分值的阈值来选择相似度分值在用户界面中的颜色。譬如,当相似度分值超过阈相似度分值时,该相似度分值能够以第一颜色(例如,绿色)来呈现。譬如,当相似度分值未超过阈相似度分值时,该相似度分值能够以第二颜色(例如,红色)来呈现。
调查员120能够查阅和分析在店面辨识应用的用户界面中所呈现的候选图像的子集以及关联的相似度分值,以确定企业是否需要被考察。如果确定出特定企业需要被考察,则调查员120能够提供与店面辨识应用的用户交互,所述用户交互指示用户选择供考察的企业。指示对供考察企业的用户选择的数据能够被通信至远程设备,诸如与地理信息系统相关联的远程设备(例如,服务器)。
图3描绘了根据本公开的示例实施例的与店面辨识应用相关联的示例用户界面200。用户界面200能够被呈现在用户设备130的显示器上。如图所示,用户界面200呈现所捕捉到的店面的源图像210。用户界面200还呈现候选图像220的子集。根据通过排名候选图像220(例如,基于相似度分值)所确定的优先级顺序,显示候选图像220的子集。通过使用适合的用户交互,诸如触摸手势(例如,手指滑动),能够访问子集中另外的候选图像220。
如图所示,相似度分值230连同候选图像220的该子集中的每一个候选图像一起被显示在该子集中。譬如,相似度分值41连同第一候选图像222一起被显示,并且相似度分值11连同第二候选图像224一起被显示。如图所示,连同第一候选图像22一起显示的相似度分值41能够以特定的颜色(例如,绿色)和大小而被显示,以指示接近的匹配。在一个特定的示例实施方式中,当相似度分值超过相似度分值的阈值时,该相似度分值能够以特定的颜色和大小而被显示。
调查员能够查阅在用户界面200中所显示的源图像210、候选图像220的子集、和/或相似度分值230,以确定是否存在接近的匹配。如果如图3所示存在接近的匹配,则调查员能够确定与源图像210中所描绘的店面相关联的企业不需要被考察。调查员能够向用户界面200提供适合的交互或者输入以指示企业不需要被考察。
图4描绘了与不同的源图像212相关联的示例用户界面200。如图所示,用户界面200呈现源图像210并且还呈现候选图像240的子集。根据通过排名候选图像240(例如,基于相似度分值)所确定的优先级顺序,显示候选图像240的子集。通过使用适合的用户交互,诸如触摸手势(例如,手指滑动),能够访问该子集中另外的候选图像240。
如图所示,相似度分值250连同候选图像240的子集中的每一个一起被显示在该子集中。譬如,相似度分值10连同第一候选图像242一起被显示,并且相似度分值10连同第二候选图像244一起被显示。调查员能够查阅在用户界面200中所显示的源图像212、候选图像240的子集、和/或相似度分值250,以确定是否存在接近的匹配。如果如图4所示没有接近的匹配,则调查员能够确定与源图像212中所描绘的店面相关联的企业已经发生变化并且需要被考察。调查员能够向用户界面200提供适合的交互或者输入,选择待考察的企业或者其他实体。
用于识别待考察实体的示例方法
图5描绘了根据本公开的示例方面的用于识别地理区域中的待考察企业的示例方法(300)。该方法(300)能够通过一个或多个计算设备来实现,诸如图6中所描绘的计算设备中的一个或多个。此外,出于说明和讨论目的,图5描绘了以特定顺序所执行的步骤。使用本文中所提供的公开内容的本领域普通技术人员将理解到,在不背离本公开的范围的情况下,本文中所公开的方法或过程中的任何一个的步骤能够通过各种方式来修改、重新布置、省略或者扩展。
在(302),所述方法包括接收指示待考察地理区域的数据。譬如,用户能够与在用户设备上实现的店面辨识应用相交互,以选择待考察的特定地理区域(例如,街道)。替选地,与用户设备相关联的定位系统能够提供指示用户设备的位置/地点的信号。在(304),能够基于用户选择获得多个候选图像。譬如,店面辨识应用能够从远程设备向譬如用户设备请求和下载地理区域中的店面的多个候选图像。
在(306),能够接收所捕捉到的店面的一个或多个源图像。譬如,调查员能够使用实现为用户设备的一部分的数字相机来捕捉地理区域中的店面的源图像。店面的一个或多个源图像中的每一个都能够从处于或靠近地平面并且面对店面的角度捕捉到。一个或多个源图像能够由店面辨识应用来访问并且被处理以确定与店面相关联的企业或者实体是否需要被考察。
更特别地,在(308),能够使用计算机实现的特征匹配过程将一个或多个源图像与多个候选图像相比较,以确定候选图像中的每一个候选图像的相似度分值。例如,特征匹配过程能够基于譬如颜色和/或强度将一个或多个源图像与每个候选图像之间的特征相匹配。一个示例特征匹配过程包括SIFT特征匹配过程。在该示例实施例中,能够从源图像以及候选图像中的每一个候选图像中提取特征,以提供对于源图像以及每个候选图像中的每一个的描述。能够将所提取的特征进行比较以识别匹配。在特定实施方式中,特征匹配过程能够实施几何约束以减少误匹配。几何约束能够是极线约束或者角度约束。
候选图像的相似度分值能够基于特征匹配过程来推导出并且能够指示源图像与候选图像的相似度。在一个示例实施方式中,至少部分地基于源图像与候选图像之间的匹配特征的数目来确定相似度分值。在根据特征之间匹配的置信度来确定相似度分值的过程中,能够将每个匹配特征加权。
一旦已确定候选图像的相似度分值,便能够基于多个候选图像中的每一个候选图像的相似度分值来识别多个候选图像的子集(310)。例如,能够将具有最高相似度分值的一个或多个候选图像选择为候选图像的子集。在特定实施方式中,识别候选图像的子集能够包括至少部分地基于每个候选图像的相似度分值而将多个候选图像排名成优先级顺序,以及识别所述多个候选图像中以优先级顺序排名最高的一个或多个候选图像作为子集。
在(312),提供已识别的子集以便在用户界面中显示。能够将已识别的子集连同源图像一起显示,以供调查员进行视觉比较。此外,能够将该子集中的每个候选图像注释有针对该候选图像所确定的相似度分值。能够基于匹配的接近度来选择连同候选图像一起显示的相似度分值的大小和颜色。例如,针对接近匹配能够用大字号以绿颜色来呈现较高的相似度分值,而用小字号以红颜色来呈现较低的相似度分值,以促进调查员对接近匹配的辨识。
在(314),所述方法能够包括接收指示用户选择待考察实体的数据。譬如,如果调查员基于查阅源图像、候选图像的子集、和/或相似度分值而确定出实体尚未发生变化,则调查员能够提供指示该调查员将该实体选择为不需要被考察的数据。如果调查员基于查阅源图像、候选图像的子集、和/或相似度分值而确定出实体已经发生变化,则调查员能够提供指示该调查员选择该待考察实体的数据。
用于识别待考察实体的示例计算系统
图6描绘了计算系统400,其能够被使用于实现根据本公开的示例方面的用于识别待考察实体的方法和系统。系统400能够使用客户端-服务器架构来实现,该架构包括计算设备410,其通过网络440与一个或多个服务器430(例如,web服务器)通信。系统400能够使用其他适当的架构来实现,诸如单个计算设备。
该系统能够包括计算设备410。计算设备410能够是任何适当类型的计算设备,诸如通用型计算机、专用型计算机、膝上型、桌面型计算机、移动设备、智能电话、平板计算机、可穿戴计算设备、具有一个或多个处理器的显示器、或者其他适当的计算设备。计算设备410能够包括一个或多个处理器412以及一个或多个存储器设备414。
一个或多个处理器412能够包括任何适当的处理设备,诸如微处理器、微控制器、集成电路、逻辑设备、一个或多个中央处理单元(CPU)、专用于高效地呈现图像或者执行其他专门计算的图形处理单元(GPU)和/或其他处理设备。一个或多个存储器设备414能够包括一个或多个计算机可读介质,包括但不限于非暂时性计算机可读介质、RAM、ROM、硬盘驱动器、闪速驱动器、或者其他存储器设备。
一个或多个存储器设备414存储可通过一个或多个处理器412来访问的信息,包括能够通过一个或多个处理器412来执行的指令416。譬如,存储器设备414能够存储指令416,以便实现配置成根据本公开的示例方面来识别供考察的实体的店面辨识模块420。一个或多个存储器设备414还能够包括数据418,其能够通过一个或多个处理器412来检索、操纵、创建、或者存储。譬如,数据418能够包括多个候选图像、相似度分值、源图像等。
应领会到,术语“模块”是指用于提供所需功能的计算机逻辑。因此,模块能够被实现在控制通用处理器的硬件、专用电路、固件和/或软件中。在一个实施例中,模块是存储在存储设备上、加载到一个或多个存储器设备中并且通过一个或多个处理器来执行或者能够从计算机程序产品提供的程序代码文件,例如被存储在诸如RAM、硬盘或者光或磁介质的有形的计算机可读存储介质中的计算机可执行指令。当软件被使用时,任何适当的编程语言或者平台都能够被使用于实现模块。
计算设备410能够包括各种输入/输出设备,用于提供并且从用户接收信息,诸如触摸屏、触控板、数据输入键、扬声器和/或适用于语音识别的麦克风。譬如,计算设备410能够具有显示器424,用于提供根据本公开的示例实施例的店面辨识应用的用户界面。
计算设备410能够进一步包括整合的图像捕捉设备422,诸如数字相机。根据本公开的示例实施例,图像捕捉设备422能够被配置成捕捉店面的源图像。图像捕捉设备422能够包括用于捕捉一系列图像/视频的视频能力。
计算设备410能够进一步包括定位系统。定位系统能够包括用于确定客户端设备的位置的一个或多个设备或者电路。例如,通过使用卫星导航定位系统(例如,GPS系统、伽利略定位系统、全球导航卫星系统(GLONASS)、北斗卫星导航定位系统)、惯性导航系统、航位推测系统、基于IP地址、通过使用到蜂窝塔或者WiFi热点的三角测量和/或邻近、或者低功率(例如,BLE)信标等和/或用于确定位置的其它适当技术,定位设备能够确定实际或相对位置。
计算设备还能够包括使用于通过网络440与一个或多个远程计算设备(例如,服务器430)通信的网络接口。网络接口能够包括用于与一个或多个网络交互的任何适当的组件,例如包括发射器、接收器、端口、控制器、天线、或者其他适当的组件。
系统400包括服务器430,诸如web服务器。服务器430能够托管地理信息系统435或者与其通信。服务器430能够使用任何适当的计算设备来实现。服务器430能够具有一个或多个处理器和存储器。服务器430还能够包括使用于通过网络440与计算设备410通信的网络接口。网络接口能够包括用于与一个或多个网络对接的任何适当的组件,例如包括发射器、接收器、端口、控制器、天线或者其他适当的组件。
服务器430能够通过网络440与计算设备410交换数据。网络440能够是任何类型的通信网络,诸如局域网(例如,内联网)、广域网(例如,因特网)、蜂窝网络、或者其一些组合。网络440还能够包括计算设备410与服务器430之间的直接连接。一般地,使用任何类型的有线和/或无线连接、使用各种通信协议(例如,TCP/IP、HTTP、SMTP、FTP)、编码或格式(例如,HTML、XML)和/或保护方案(例如,VPN、安全的HTTP、SSL),能够经由网络接口来承载服务器430与计算设备410之间的通信。
本文中所讨论的技术涉及服务器、数据库、软件应用和其他基于计算机的系统以及采取的动作和送至和来自这样的系统的信息。本领域普通技术人员将认识到,基于计算机的系统的固有灵活性允许允许对组件之间和之中的任务和功能进行各种各样的可能配置、组合以及划分。譬如,本文中所讨论的服务器进程可以使用单个服务器或者组合工作的多个服务器来实现。数据库和应用可以被实现在单个系统上或者被分布于多个系统。分布的组件可以依序或并行操作。
尽管已参考具体的示例实施例详细描述了本发明的主题,但应领会到,本领域技术人员在获得对前述内容的理解后可以容易地产生这样的实施例的替选、变化、和等价方案。因此,作为示例而非限制,提出本公开的范围,并且如对于本领域普通技术人员将显而易见的,本主题公开并不排除包含对本主题的这样的修改、变化和/或添加。

Claims (20)

1.一种识别地理区域中的待考察实体的计算机实现的方法,包括:
由一个或多个计算设备接收所捕捉到的地理区域中的实体的店面的源图像,所述源图像由图像捕捉设备捕捉,其中,所述一个或多个计算设备包括一个或多个处理器;
由所述一个或多个计算设备访问所述地理区域中的店面的多个候选图像;
由所述一个或多个计算设备将所述源图像与所述多个候选图像相比较,以确定所述多个候选图像中的每一个候选图像的相似度分值;
由所述一个或多个计算设备至少部分地基于所述多个候选图像中的每一个候选图像的所述相似度分值,识别所述多个候选图像的子集;
由所述一个或多个计算设备提供所述多个候选图像的所述子集以用于显示在显示设备上呈现的用户界面中,所述多个候选图像的所述子集中的每个候选图像被提供以用于连同该候选图像的所述相似度分值一起显示在所述用户界面中;以及
由所述一个或多个计算设备接收指示用户选择待考察实体的数据。
2.根据权利要求1所述的计算机实现的方法,其中,所述方法进一步包括:由所述一个或多个计算设备提供所述源图像以用于连同所述多个候选图像的所述子集以及每个候选图像的所述相似度分值一起显示在所述用户界面中。
3.根据权利要求1所述的计算机实现的方法,其中,所述方法包括:
由所述一个或多个计算设备接收指示待考察地理区域的数据;以及
由所述一个或多个计算设备至少部分地基于对所述待考察地理区域的用户选择,获得所述多个候选图像。
4.根据权利要求1所述的计算机实现的方法,其中,使用特征匹配过程将所述源图像与所述多个候选图像相比较。
5.根据权利要求1所述的计算机实现的方法,其中,每个候选图像的所述相似度分值是至少部分地基于所述源图像与使用特征匹配过程所识别的所述候选图像之间的匹配特征的数目来确定的。
6.根据权利要求5所述的计算机实现的方法,其中,所述特征匹配过程包括尺度不变特征变换(SIFT)特征匹配过程。
7.根据权利要求5所述的计算机实现的方法,其中,所述特征匹配过程是使用几何约束来实施的。
8.根据权利要求7所述的计算机实现的方法,其中,所述几何约束包括极线约束或者角度约束。
9.根据权利要求1所述的计算机实现的方法,其中,由所述一个或多个计算设备至少部分地基于所述多个候选图像中的每一个候选图像的所述相似度分值来识别所述多个候选图像的子集,包括:
由所述一个或多个计算设备至少部分地基于每个候选图像的所述相似度分值,将所述多个候选图像排名成优先级顺序;以及
由所述一个或多个计算设备识别所述多个候选图像中以所述优先级顺序排名最高的一个或多个候选图像作为所述子集。
10.根据权利要求1所述的计算机实现的方法,其中,所述方法包括:由所述一个或多个计算设备至少部分地基于相似度分值的阈值,对于所述多个候选图像的所述子集中的每个候选图像,选择用于显示在所述用户界面中的所述相似度分值的颜色。
11.根据权利要求1所述的计算机实现的方法,其中,所述地理区域是街道。
12.根据权利要求11所述的计算机实现的方法,其中,所述实体的位于所述街道上的企业。
13.一种计算系统,包括:
图像捕捉设备;
显示设备;
一个或多个处理器;
一个或多个存储器设备,所述一个或多个存储器设备存储计算机可读指令,所述计算机可读指令当由所述一个或多个处理器来执行时使得所述一个或多个处理器执行操作,所述操作包括:
接收由所述图像捕捉设备所捕捉到的地理区域中的实体的店面的源图像;
从所述一个或多个存储器设备,访问所述地理区域中的店面的多个候选图像;
将所述源图像与所述多个候选图像相比较,以确定所述多个候选图像中的每一个候选图像的相似度分值;
至少部分地基于所述多个候选图像中的每一个候选图像的所述相似度分值,识别所述多个候选图像的子集;
提供所述多个候选图像的所述子集以用于显示在所述显示设备上呈现的用户界面中,所述多个候选图像的所述子集中的每个候选图像被提供以用于连同该候选图像的所述相似度分值一起显示在所述用户界面中;以及
接收指示用户选择待考察实体的数据。
14.根据权利要求13所述的计算系统,其中,所述操作进一步包括:提供所述源图像以用于连同所述多个候选图像的所述子集以及每个候选图像的所述相似度分值一起显示在所述用户界面中。
15.根据权利要求13所述的计算系统,其中,所述操作进一步包括:
接收指示待考察地理区域的数据;以及
经由网络接口,至少部分地基于对所述待考察地理区域的用户选择,获得所述多个候选图像。
16.根据权利要求13所述的计算系统,其中,使用特征匹配过程将所述源图像与所述多个候选图像相比较,每个候选图像的所述相似度分值是至少部分地基于所述源图像与使用所述特征匹配过程所识别的所述候选图像之间的匹配特征的数目来确定的。
17.根据权利要求13所述的计算系统,其中,所述操作包括:至少部分地基于相似度分值的阈值,对于所述多个候选图像的所述子集中的每个候选图像,选择用于显示在所述用户界面中的所述相似度分值的颜色。
18.存储计算机可读指令的一个或多个有形的非暂时性计算机可读介质,所述计算机可读指令当由一个或多个处理器来执行时使得所述一个或多个处理器执行操作,所述操作包括:
接收由所述图像捕捉设备所捕捉到的地理区域中的实体的店面的源图像;
访问所述地理区域中的店面的多个候选图像;
将所述源图像与所述多个候选图像相比较,以确定所述多个候选图像中的每一个候选图像的相似度分值;
至少部分地基于所述多个候选图像中的每一个候选图像的所述相似度分值,识别所述多个候选图像的子集;
提供所述多个候选图像的所述子集,以用于显示在所述显示设备上所呈现的用户界面中;
提供所述子集中的每个候选图像的所述相似度分值,以用于连同所述多个候选图像的所述子集一起显示在所述用户界面中;以及
接收指示用户选择待考察实体的数据。
19.根据权利要求18所述的有形的非暂时性计算机可读介质,其中,所述操作进一步包括:提供所述源图像,以用于连同所述多个候选图像的所述子集以及每个候选图像的所述相似度分值一起显示在所述用户界面中。
20.根据权利要求18所述的有形的非暂时性计算机可读介质,其中,使用特征匹配过程将所述源图像与所述多个候选图像相比较,所述特征匹配过程包括使用几何约束来实施的尺度不变特征变换(SIFT)特征匹配过程,每个候选图像的所述相似度分值是至少部分地基于所述源图像与使用所述特征匹配过程所识别的所述候选图像之间的匹配特征的数目来确定的。
CN201480078615.4A 2014-04-30 2014-04-30 使用店面辨识来识别待考察实体 Pending CN106255966A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/076592 WO2015165071A1 (en) 2014-04-30 2014-04-30 Identifying entities to be investigated using storefront recognition

Publications (1)

Publication Number Publication Date
CN106255966A true CN106255966A (zh) 2016-12-21

Family

ID=54358028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480078615.4A Pending CN106255966A (zh) 2014-04-30 2014-04-30 使用店面辨识来识别待考察实体

Country Status (4)

Country Link
US (1) US20170039450A1 (zh)
EP (1) EP3138018A4 (zh)
CN (1) CN106255966A (zh)
WO (1) WO2015165071A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189087A (zh) * 2018-02-22 2019-08-30 阿里巴巴集团控股有限公司 一种数据处理方法及计算设备
CN110475503A (zh) * 2017-03-30 2019-11-19 富士胶片株式会社 医疗用图像处理装置及内窥镜系统以及医疗用图像处理装置的工作方法
CN111382635A (zh) * 2018-12-29 2020-07-07 杭州海康威视数字技术股份有限公司 一种商品类别识别方法、装置及电子设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339193B1 (en) * 2015-11-24 2019-07-02 Google Llc Business change detection from street level imagery
CN107038589B (zh) 2016-12-14 2019-02-22 阿里巴巴集团控股有限公司 一种实体信息验证方法及装置
JP7309849B2 (ja) * 2018-07-24 2023-07-18 マジック リープ, インコーポレイテッド 画像ディスプレイデバイスの位置特定マップを決定および/または評価するための方法および装置
US11012730B2 (en) * 2019-03-29 2021-05-18 Wipro Limited Method and system for automatically updating video content
CN110633803B (zh) * 2019-08-16 2023-06-02 创新先进技术有限公司 一种线下信息核实的方法和系统
CN114580392B (zh) * 2022-04-29 2022-07-29 中科雨辰科技有限公司 一种识别实体的数据处理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411615A (zh) * 2010-10-31 2012-04-11 微软公司 识别实体的物理位置
US8189925B2 (en) * 2009-06-04 2012-05-29 Microsoft Corporation Geocoding by image matching
CN102915326A (zh) * 2012-08-30 2013-02-06 杭州藕根科技有限公司 一种基于gps和图像搜索技术的移动终端景物辨识系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8942483B2 (en) * 2009-09-14 2015-01-27 Trimble Navigation Limited Image-based georeferencing
US8600966B2 (en) * 2007-09-20 2013-12-03 Hal Kravcik Internet data mining method and system
US8315423B1 (en) * 2007-12-28 2012-11-20 Google Inc. Providing information in an image-based information retrieval system
US8385591B1 (en) * 2009-04-28 2013-02-26 Google Inc. System and method of using images to determine correspondence between locations
US9001252B2 (en) * 2009-11-02 2015-04-07 Empire Technology Development Llc Image matching to augment reality
US8559731B2 (en) * 2010-01-18 2013-10-15 International Business Machines Corporation Personalized tag ranking
US8706718B2 (en) * 2010-09-10 2014-04-22 Room 77, Inc. Searching a database that stores information about individual habitable units
US8467810B2 (en) * 2010-11-29 2013-06-18 Navteq B.V. Method and system for reporting errors in a geographic database
US9874454B2 (en) * 2011-01-13 2018-01-23 Here Global B.V. Community-based data for mapping systems
US20130212094A1 (en) * 2011-08-19 2013-08-15 Qualcomm Incorporated Visual signatures for indoor positioning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189925B2 (en) * 2009-06-04 2012-05-29 Microsoft Corporation Geocoding by image matching
CN102411615A (zh) * 2010-10-31 2012-04-11 微软公司 识别实体的物理位置
CN102915326A (zh) * 2012-08-30 2013-02-06 杭州藕根科技有限公司 一种基于gps和图像搜索技术的移动终端景物辨识系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110475503A (zh) * 2017-03-30 2019-11-19 富士胶片株式会社 医疗用图像处理装置及内窥镜系统以及医疗用图像处理装置的工作方法
US11412917B2 (en) 2017-03-30 2022-08-16 Fujifilm Corporation Medical image processor, endoscope system, and method of operating medical image processor
CN110189087A (zh) * 2018-02-22 2019-08-30 阿里巴巴集团控股有限公司 一种数据处理方法及计算设备
CN111382635A (zh) * 2018-12-29 2020-07-07 杭州海康威视数字技术股份有限公司 一种商品类别识别方法、装置及电子设备
CN111382635B (zh) * 2018-12-29 2023-10-13 杭州海康威视数字技术股份有限公司 一种商品类别识别方法、装置及电子设备

Also Published As

Publication number Publication date
EP3138018A4 (en) 2017-10-11
US20170039450A1 (en) 2017-02-09
EP3138018A1 (en) 2017-03-08
WO2015165071A1 (en) 2015-11-05

Similar Documents

Publication Publication Date Title
US10643062B2 (en) Facial recognition pet identifying system
CN106255966A (zh) 使用店面辨识来识别待考察实体
US11294981B2 (en) System and method for large scale crowdsourcing of map data cleanup and correction
CN110139158B (zh) 视频以及子视频的生成方法、装置、电子设备
US11335087B2 (en) Method and system for object identification
US9208382B2 (en) Methods and systems for associating a keyphrase with an image
US8265871B1 (en) Mobile record information entry and geotagging
US9786010B2 (en) Homeowners insurance application process using geotagged photos
US10083186B2 (en) System and method for large scale crowdsourcing of map data cleanup and correction
CN107909668B (zh) 一种签到方法及终端设备
WO2016199662A1 (ja) 画像情報処理システム
JP6530794B2 (ja) 空間オブジェクト検索並べ替え方法及びクラウドシステム
JP6517293B2 (ja) ロケーションベース空間オブジェクト遠隔管理方法及びロケーションベース空間オブジェクト遠隔管理システム
CN110083762B (zh) 房源搜索方法、装置、设备及计算机可读存储介质
US11144760B2 (en) Augmented reality tagging of non-smart items
US20150371430A1 (en) Identifying Imagery Views Using Geolocated Text
JP6600674B2 (ja) 移動オブジェクト仮想情報遠隔管理方法及び移動オブジェクト仮想情報遠隔管理システム
KR20190124436A (ko) 영상 기반 건물 검색 방법 및 장치
US20130273969A1 (en) Mobile app that generates a dog sound to capture data for a lost pet identifying system
CN110390279A (zh) 坐标识别方法、装置、设备、及计算机可读存储介质
JP7023338B2 (ja) 蔵書管理システム
CN115205892A (zh) 流浪宠物寻主方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Google Inc.

Address before: California, USA

Applicant before: Google Inc.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20161221

RJ01 Rejection of invention patent application after publication