CN105009114B - 预测性地呈现搜索能力 - Google Patents

预测性地呈现搜索能力 Download PDF

Info

Publication number
CN105009114B
CN105009114B CN201380071568.6A CN201380071568A CN105009114B CN 105009114 B CN105009114 B CN 105009114B CN 201380071568 A CN201380071568 A CN 201380071568A CN 105009114 B CN105009114 B CN 105009114B
Authority
CN
China
Prior art keywords
search
computing device
type
geographical location
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380071568.6A
Other languages
English (en)
Other versions
CN105009114A (zh
Inventor
托马斯·詹金斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN105009114A publication Critical patent/CN105009114A/zh
Application granted granted Critical
Publication of CN105009114B publication Critical patent/CN105009114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/023Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24575Query processing with adaptation to user needs using context
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6263Protecting personal data, e.g. for financial or medical purposes during internet communication, e.g. revealing personal data from cookies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition

Abstract

示例技术和系统可以获得与计算设备的地理位置相关联的一种或多种搜索类型。在一个示例中,一种技术可以包括由移动计算设备确定该移动计算设备的地理位置,并且获得与该地理位置相关联的一种或多种搜索类型。响应于获得该一种或多种搜索类型,该技术还可以包括由该移动计算设备输出图形用户界面以供显示,该图形用户界面至少包括与该地理位置相关联的一种或多种搜索类型的指示。

Description

预测性地呈现搜索能力
背景技术
当前的基于图像的视觉搜索技术倾向于在提供了某种类型的图像输入(例如,条形码)时工作良好,但是在提供其它图像输入(例如,毛衣)时则表现不佳。因此,无法针对给定用户场境(context)正确识别最优搜索工具或技术会导致不精确或不适用的搜索结果。
发明内容
在一个示例中,一种方法包括由移动计算设备确定该移动计算设备的地理位置,获得与该地理位置相关联的一种或多种搜索类型,并且响应于获得该一种或多种搜索类型,由该移动计算设备输出图形用户界面以供显示,该图形用户界面至少包括与该地理位置相关联的一种或多种搜索类型的指示。
在另一个示例中,一种计算设备包括一个或多个处理器;设备位置模块,其能够由该一个或多个处理器进行操作以确定该移动计算设备的地理位置;和预测模块,其能够由该一个或多个处理器进行操作以获得与该地理位置相关联的一种或多种搜索类型,并且响应于获得该一种或多种搜索类型输出图形用户界面以供显示,该图形用户界面至少包括与该地理位置相关联的一种或多种搜索类型的指示。
在另外的示例中,一种包括指令的计算机可读存储介质,该指令当被执行时,配置计算设备的一个或多个处理器以确定该移动计算设备所位于的地理位置,获得与该地理位置相关联的一种或多种搜索类型,并且响应于获得该搜索类型输出与该地理位置相关联的一种或多种搜索类型的指示以供显示。
在另外的示例中,一种系统包括用于确定该移动计算设备的地理位置的装置,用于获得与该地理位置相关联的一种或多种搜索类型的装置,和用于响应于获得该一种或多种搜索类型而输出图形用户界面以供显示的装置,该图形用户界面至少包括与该地理位置相关联的一种或多种搜索类型的指示。
附图说明
图1是图示出依据本公开的一个或多个方面的被配置为预测性地呈现选择搜索能力的示例计算设备的概念图。
图2是图1的示例计算设备的框图。
图3是图示输出图形内容以便在远程设备进行显示的示例计算设备的框图。
图4是图示示例系统的概念图,该系统包括计算设备以及被配置为经由该计算设备预测性地呈现选择搜索能力的联网服务器。
图5是图示计算设备的示例操作的流程图。
图6是图示计算设备的另一个示例操作的流程图。
图7和8是图示与计算设备进行通信的联网服务器的示例操作的流程图。
具体实施方式
本公开描述了用于预测性地提供与计算设备的地理位置相关联的搜索结果的技术。
在一些位置,某些搜索能力是特别相关的。例如,艺术博物馆中的用户可能想要使用基于图像的视觉搜索而识别艺术品。类似地,商店中的用户可能希望使用计算设备来执行基于图像的视觉搜索以识别产品和/或条形码以便进行比较购物或调查。在所公开技术的一些实施方式中,计算设备可以使用该计算设备的当前地理位置来向用户提供具体搜索能力建议。该计算设备因此甚至可以在用户甚至可能并不知道该计算设备被配置为提供诸如基于图像的视觉搜索的这种搜索能力时向用户提供搜索能力建议。
使用预测用户界面系统,计算设备能够提供指示计算设备的能力的图形用户界面,和/或相关联的联网服务器,以响应于与计算设备以及计算设备的用户可用的搜索类型相关的预测而执行相关搜索。该计算设备(例如,移动计算设备,诸如移动电话、智能电话、平板电脑、智能手表或笔记本计算机)可以使用一个或多个传感器和/或该计算设备可用的位置特定数据来确定该计算设备所处的地理位置。在一个示例中,计算设备可以经由网络向联网设备(例如,联网服务器)传送地理位置。该联网设备可以确定与该计算设备的地理位置相关联的一种或多种搜索类型并且将该搜索类型传送回该计算设备。可替换地,该计算设备可以确定与该地理位置相关联的一种或多种搜索类型。以这种方式,计算设备和/或联网服务器可以包括预测模块,其被配置为确定与计算设备的地理位置相关联的一种或多种搜索类型。
响应于获得所确定的与地理位置相关联的搜索类型,该计算设备可以输出该一种或多种搜索类型的指示以供显示。例如,该计算设备可以输出搜索类型的指示以便在显示设备进行显示。示例搜索类型可以包括视觉搜索,诸如条形码扫描能力、快速响应码扫描能力、图像识别器能力或光学字符识别能力。响应于接收到选择搜索类型之一的用户输入,计算设备可以获得搜索输入(例如,由计算设备的光学传感器针对所选择的视觉搜索类型而获得的图像)并且将搜索输入经由网络传送至联网设备。该计算设备随后可以从该联网设备接收一个或多个搜索结果并且输出搜索结果以供显示。
除了获得与计算设备所处的地理位置相关联的搜索类型之外或者可替换地,搜索类型可以基于其它信息。例如,搜索类型可以基于时间,诸如一天中的当前时间、一周中的某天、一年中的某月或者甚至一年中的某个季节。在另一个示例中,搜索类型可以基于与计算设备相关联的日历事件。该系统的预测用户界面因此可以被配置为获得特定于不同标准或不同标准的组合的搜索类型。不同标准可以指示预测用户界面可以针对其确定搜索类型的具体场境。在一个示例中,计算设备的预测模块可以确定与计算设备的地理位置以及在确定该地理位置的同时所发生的日历事件相关联的搜索类型。该计算设备和/或联网服务器因此可以被配置为识别特定搜索类型在何时可能适用于给定地理位置。
本公开的一个或多个方面可能仅在用户已经明确启用了这样的功能时才能够进行操作。例如,计算设备2仅可以在用户已经明确同意使用这样的数据的情况下才获得计算设备2的地理位置和/或将其传送至联网设备。此外,所获得的图像仅可以在用户已经同意这样的数据被这样使用之后才被传送至联网设备和/或被用来生成搜索结果。以这种方式,用户可以对如这里所描述的任意和全部数据收集和数据传输进行控制。用户可以在任意时间同意任意数据的收集和/或传输或者撤销同意。此外,本公开的各个方面可以被用户禁用。
图1是图示出依据本公开的一个或多个方面的被配置为预测性地呈现选择搜索能力的示例计算设备2的概念图。在图1的示例中,计算设备2被描述为移动电话。然而,在其它示例中,计算设备2可以是个人数字助理(PDA)、台式计算机、膝上计算机、平板计算机、便携式游戏设备、便携式媒体播放器、相机、电子书阅读器、手表或者其它类型的计算设备。
如图1所示,计算设备2可以包括用户界面设备(UID)、用户界面(UI)模块6、搜索模块8、设备位置模块10和预测模块12。UI模块6、搜索模块8、设备位置模块10和预测模块12可以使用驻留在计算设备2中并且在其上执行的软件、硬件或者硬件和软件二者的组合来执行这里所描述的操作。计算设备2在一些示例中可以利用一个或多个处理器来执行模块6、8、10和12。在其它示例中,计算设备2可以将模块6、8、10和12作为在至少一个计算设备2处的基础硬件上执行的虚拟机来执行。
计算设备2的UID 4可以用作计算设备2的输入设备和/或输出设备。例如,计算设备2的UID 4可以包括存在敏感输入设备,诸如被配置为接收来自计算设备2的用户的触觉用户输入的触摸屏。在一些示例中,存在敏感输入设备可以是或者包括存在敏感显示器,后者还输出显示以供用户观看。UID 4可以接收作为一次或多次敲击和/或手势的触觉用户输入。UID 4可以响应于用户利用手指或输入笔触摸或指向UID 4的一个或多个位置而检测到敲击或其它手势。UID 4可以使用各种技术来实施。例如,UID 4可以使用电阻触摸屏、表面声波触摸屏、电容触摸屏、投射电容触摸屏、压力敏感屏幕、声音脉冲识别触摸屏或者另一种存在敏感显示技术来实施。
UID 4可以包括液晶显示(LCD)点阵显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、电子墨水或者能够向计算设备2的用户输出可视信息的类似的单色或彩色显示器的任意一种或多种。UID 4可以呈现用户界面(例如,用户界面14),其可能与计算设备2所提供的功能相关。例如,UID 4可以呈现各种功能和应用,诸如电子消息应用、相机应用、日历应用、地图应用,以及用于从互联网或任意网络访问并下载信息的互联网浏览器。在另一个示例中,UID 4可以呈现与计算设备2的功能和操作相关的选项的菜单,诸如屏幕亮度以及计算设备2的其它可配置设置。
计算设备2可以被配置为向UID 4输出一个或多个图像用户界面(GUI)以便在UID4进行显示。GUI可以包括在UID 4的各个位置进行显示的图形元素。例如,图1图示了预测信息GUI 14,其可以包括预测卡16作为示例图形元素,该示例图形元素可以作为预测信息GUI14的一部分而被包括。预测信息GUI 14是预测模块12能够输出以便在UID 4进行显示的GUI。预测模块12还能够在预测信息GUI 14输出至少一些预测信息。预测卡16可以包括预测模块12和/或联网服务器或其它设备的模块所预测为有用、相关或者计算设备2的用户以其它方式感兴趣的信息。如图1的示例中所示的,预测卡16可以包括与对象相关的信息,其可以包括对象的简短文本概要。此外,预测卡16可以包括表示对象的图标或图片。虽然所确定的搜索类型可以在预测卡16内进行呈现,但是计算设备2可以经由其它用户界面输出与计算设备2的所确定的位置相关联的一个或多个搜索类型的指示以供显示和/或呈现。
如这里总体上描述的,计算设备2和/或计算设备2所能够到达的计算设备(例如,联网服务器、云计算系统等)可以确定与计算设备2所处的地理位置相关联的搜索类型。以这种方式,与计算设备2相关联的显示器可以显示所确定的搜索类型的指示。响应于接收到对所确定的搜索类型的选择以及针对搜索类型的搜索输入,计算设备2可以获得与该搜索输入相关联的一个或多个搜索结果。在视觉搜索类型的示例中,计算设备2可以获得与相机(例如,计算设备2的图像传感器)所获得的对象的图像相关联的搜索结果。确定与诸如计算设备2的地理位置的一个或多个标准相关联的搜索类型可以使得计算设备2能够提供可能适合计算设备2的用户的搜索类型。
在一个示例中,计算设备2可以被配置为确定计算设备2的地理位置。计算设备2还可以获得与计算设备2所处的地理位置相关联的一个或多个搜索类型。响应于获得该一个或多个搜索类型,计算设备2可以被配置为输出图形用户界面以供显示(例如,预测信息GUI14)。预测信息GUI 14可以包括与地理位置相关联的一种或多种搜索类型的至少一种指示(例如,搜索类型指示18)。UI设备4可以被配置为使用预测信息GUI 14所表示的所选择搜索类型而接收对搜索类型的选择或者一些其它用户输入以获得搜索结果。
在一些示例中,设备位置模块10可以被配置为确定计算设备2的地理位置。该地理位置可以指示计算设备2位于何处。该地理位置可以由各种不同数据来表示。经度和纬度坐标可以表示地理位置。可替换地,地理位置可以由州、城市、邻居、建筑物或者计算设备2的位置的其它指示来表示。例如,计算设备2可以包括全球定位系统(GPS)无线电,其被配置为接收GPS信号(例如,从GPS卫星)。设备位置模块10可以分析GPS无线电所接收到的GPS信号以确定计算设备2的当前地理位置。计算设备2还可以包括被配置为接收蜂窝无线电信号的蜂窝无线电。除GPS信号之外或可替换地,设备位置模块10可以对蜂窝无线电所接收的蜂窝无线电信号进行分析以确定计算设备2的地理位置。在其它示例中,设备位置模块10可以分析与已知位置的网络接入点相关联的WiFi信号或其它网络信号以估计计算设备2的地理位置。以这种方式,设备位置模块10可以获得一个或多个数据点以确定计算设备2的地理位置。计算设备2可以包括任意数量的无线电或传感器设备,它们接收包括设备位置模块10可以利用其进行分析以确定计算设备2的地理位置的数据的信号。设备位置模块10可以使用信号或数据的任意组合来确定计算设备2的地理位置。
在一些示例中,所确定的计算设备2的地理位置的分辨率或准确性可能会影响到计算设备2获得与计算设备2的实际位置相关联的适当搜索类型的能力。换句话说,地理位置的低分辨率确定可能无法提供计算设备2位于何处的准确指示。由于地理位置的不准确指示可能导致获得并不与计算设备2的实际位置相关联的搜索类型,所以计算设备2可以被配置为在地理位置的分辨率低于预定阈值时停止获得或输出以便显示搜索类型。停止搜索类型可以包括并不输出搜索类型或经由预测信息GUI 14输出错误消息。
设备位置模块10可以响应于来自软件应用的请求或者以动态的方式基于各种输入以周期性的间隔确定计算设备2的地理位置。例如,设备位置模块10可以以预定间隔更新计算设备2的地理位置(例如,每秒钟一次、每分钟一次等)。在另一个示例中,设备位置模块10可以响应于接收到来自软件模块或联网设备的请求而确定该地理位置。例如,预测模块12可以基于用户动作或其它输入而请求当前地理位置。在可替换示例中,设备位置模块10可以响应于一个或多个输入超出相应阈值而确定计算设备2的地理位置。例如,设备位置模块10可以响应于来自加速计和/或陀螺仪的输出超出指示计算设备2的移动的阈值而更新地理位置。
在一些示例中,预测模块12可以基于计算设备10的地理位置生成预测卡(或者预测信息GUI 14的另一种特征)。预测卡16可以包括搜索类型指示18,其是基于计算设备2的地理位置所确定的搜索类型的指示。如图1所示,搜索类型指示18表示视觉搜索类型。然而,一个或多个搜索类型指示18可以在预测卡16中提供,并且每个搜索类型指示可以指示计算设备2所能够执行的不同搜索类型能力。在其它示例中,搜索类型指示18可以由预测信息GUI 14以不同于预测卡16的格式来提供(例如,通知、与可用搜索类型相关的单独窗口、应用用户界面的一部分等)。一个或多个设备可以确定与计算设备2的当前位置相关联的一种或多种搜索类型。
在一个示例中,计算设备2可以被配置为通过确定与地理位置相关联的一种或多种搜索类型而获得一种或多种搜索类型。计算设备2可以存储或获得位置集合,其中每个位置与一种或多种搜索类型相关联。该位置集合可以被称作白名单位置并且可以定期或者响应于来自预测模块12的请求进行更新。在一些示例中,预测模块12可以被配置为基于所确定的计算设备2的地理位置而确定计算设备2在物理上位于接近于白名单位置。在其它示例中,设备位置模块10可以确定所确定的地理位置与白名单位置的接近度。计算设备2可以被配置有某些搜索类型可能与之特别相关的位置的列表(例如,位置白名单)。可替换地,白名单位置的列表可以被存储并且由与计算设备2进行通信的联网服务器进行访问。也就是说,白名单位置可以是视觉搜索能力或其它搜索能力与之相关的位置。换句话说,一种或多种的各种类型的搜索可能与特定地理位置相关联。
一种类型的搜索可以是视觉搜索,其利用一个或多个光学传感器来获得一个或多个图像。视觉搜索能力的示例包括条形码扫描器、快速响应(QR)码扫码器、图像识别器以及光学字符识别。其它搜索能力可以包括音频和文本搜索能力。每个白名单位置可以与一种或多种搜索类型相关联,诸如视觉搜索、音频搜索和/或文本搜索。此外,每个白名单位置可以与一种或多种能力或搜索类型的子类型(例如,条形码扫码器、QR码扫码器、图像识别器和光学字符识别或视觉搜索)相关联。
白名单位置可以对应于特定的GPS坐标并且可以与有关位于该位置或其附近的对象的信息相关联,上述信息包括与特定建筑物、商业场所、产品或者位于该位置或其附近的其它对象相关的名称、类型或其它信息。例如,白名单位置可能与书店相关联。书店经常包括具有条形码的物品,其可能非常适于进行视觉搜索。因此,该位置可以包括在白名单内并且与条形码扫码器能力的搜索类型相关联。在另一个示例中,白名单位置可能与餐厅相关联。然而,餐厅可能并不包括非常适合或适于视觉搜索类型的对象(例如,食物)。换句话说,视觉搜索可能无法得出准确的搜索结果。因此,该餐厅的位置可以不被包括在白名单内。
计算设备2可以被配置为通过首先将地理位置与预定地理位置集合(例如,白名单位置)进行比较来确定与该地理位置相关联的一种或多种搜索类型。计算设备2可以随后通过将该地理位置与白名单位置中的一个或多个进行匹配或使得它们以其它方式相关而确定哪些搜索类型与计算设备2的地理位置相关联。如果该地理位置与两个或更多的白名单位置相匹配或以其它方式与之相关,预测模块12可以提供与所有匹配的白名单位置相关联的每种搜索类型。
在其它示例中,计算设备2可以被配置为响应于确定计算设备2位于距白名单位置的阈值距离以内(例如,在100米、3个街区、2英里以内等)的地理位置而确定其接近于该白名单位置。设备位置模块10可以确定计算设备2的地理位置并且定期、以预定间隔、响应于地理位置的变化或者响应于来自预测模块12的请求而将经更新的地理位置提供给预测模块12。使用该地理位置,预测模块12可以确定计算设备2位于接近或并不接近于白名单位置(例如,位于该位置或其附近,诸如在预定距离以内)。可替换地,设备位置模块10可以被配置为确定计算设备2位于接近或并不接近于白名单位置并且向预测模块12提供与计算设备2的位置相关联的位置信息(例如,地理位置)。如果设备位置模块10确定计算设备2并非位于白名单位置或其附近,则设备位置模块10可以为预测模块12提供计算设备2并非位于白名单位置或其附近的指示(例如,预测模块12将不会提供任何搜索类型指示18)。
预测模块12可以被配置为从设备位置模块10接收位置信息(例如,所确定的地理位置),并且基于所接收到的信息确定是否生成包括(例如,指示)视觉搜索能力的预测用户界面。如果所接收到的信息包括计算设备2并未位于白名单位置或其附近的指示,则预测模块12可以确定并不应当生成具有具体搜索能力的预测用户界面,并且避免或者停止生成这样的预测用户界面。例如,如果预测模块12确定计算设备2的地理位置并未位于图1的预测卡16中所引用的艺术博物馆或其附近,则预测模块12可以避免生成预测卡16而使得预测卡16并不包括在预测信息GUI 14内。在其它示例中,预测模块12可以仅在没有搜索类型与所检测到的地理位置相关联的时候避免包括搜索类型指示18。
如果所接收到的位置信息指示计算设备2位于白名单位置或其附近,则预测模块12可以生成预测卡以便包括在预测用户界面(例如,预测信息GUI 14)中。预测卡16可以包括从设备位置模块10所接收的位置信息的至少一部分,诸如所确定的地理位置或者地理位置的表示形式。例如,预测卡16可以包括建筑物名称、商业场所名称或者街道地址而不是经纬度坐标形式的地理位置。预测模块12随后可以基于该位置信息确定预测卡16内应当包括什么搜索类型。所包括的搜索类型的示例可以是在预测卡16内所提供的计算设备2和/或相关联的联网服务器的一种或多种视觉搜索能力或视觉搜索能力的指示。例如,响应于确定计算设备2位于艺术博物馆(白名单位置)或其附近,预测模块12可以被配置为确定视觉搜索类型与该艺术博物馆相关联,因为使用图像(例如,使用计算设备2的相机部件或其它光学传感器所捕捉的图像)搜索艺术品是相关的视觉搜索能力。也就是说,使用图像对艺术品进行视觉搜索是与计算设备2的地理位置相关或相关联的视觉搜索能力。预测模块12可以至少包括被确定为与预测卡16内所示出的位置相关的视觉搜索能力的指示(例如,搜索类型指示18的视觉搜索)。预测模块12可以至少向UI模块6发送所生成的预测卡(例如,预测卡16)的指示以便由UID 4在GUI 14内输出。
能够应用于计算设备2的目前环境的一种或多种搜索类型可能并不局限于计算设备2的地理位置。例如,可以使用附加标准来确定哪些搜索类型可以生成适当的搜索结果。在一个示例中,预测模块12可以基于计算设备2的地理位置以及计算设备2的类型来确定预测卡16的一种或多种搜索类型。计算设备的类型可以指示可用传感器(例如,光学传感器或麦克风)、传感器质量、处理速度、可用存储器、操作系统版本或者计算设备2的任意其它软件或硬件能力。例如,视觉搜索类型在计算设备2并不包括光学传感器(例如,相机)或者该光学传感器出故障的情况下并不适用。以这种方式,计算设备的类型还可以包括一个或多个组件的当前操作状态。
在其它示例中,预测模块12可以基于当前时间来确定一种或多种搜索类型。该当前时间可以是预测模块12确定一种或多种搜索类型时的当前时间或者在其间确定地理位置的当前时间。在任一种情况下,预测模块12可以使用当前时间进一步指定某些搜索类型在何时适于生成准确的搜索结果。例如,与白名单位置的地标相关联的视觉搜索类型在无法良好限定该地标的图像时的夜间可能并不是有效的搜索工具。在另一个示例中,条形码搜索能力的搜索类型可能仅在商户向顾客开放的时候才适用于商户位置。因此,预测模块12可以使用当前时间以至少部分确定与地理位置相关联的一种或多种搜索类型。
每个白名单位置可以具有与每种搜索类型相关联的时间范围。除此之外或可替换地,预测模块12可以使用当前时间以及搜索类型的场境、位置的场境或者另外的数据库来将搜索类型与所确定的地理位置处的适当时间相关联。例如,如果该地理位置与商户相关联,则预测模块12可以搜索商户营业时间并且基于该商户是否向顾客开放而确定搜索类型。预测模块12还可以使用当前时间来识别可应用于确定适当搜索类型的日间和夜间时间、一周内的某天、一个月、一个季度或者甚至一年。
当前时间还能够被用来将搜索时间与关联于计算设备12的已安排的事件进行关联。预测模块12可以从与计算设备2相关联的日历或事件日程(例如,与计算设备2的用户相关联的账户)获得信息。已安排的事件可以指示在确定计算设备2的地理位置的所识别时间的特定兴趣或应用的搜索类型。例如,已安排的事件可以指示购物行程、艺术博物馆事件或者能够对其应用特定搜索类型的任意其它事件。预测模块12可以基于已安排的事件从与计算设备2的地理位置相关联的一种或多种搜索类型中进行选择。以这种方式,预测模块12可以识别与相同白名单位置相关联的多种搜索类型中的哪一种能够应用于该已安排的事件。可替换地,预测模块12可以使用已安排的事件在对应于计算设备2的地理位置的两个或更多白名单位置之间进行选择。例如,如果艺术博物馆和书店都在计算设备2的地理位置的阈值距离内被识别,如果当前时间的已安排的事件指示参观艺术博物馆,则预测模块12可以选择与该艺术博物馆相关联的搜索类型。
如这里所描述的,UI设备4可以被配置为显示预测卡16以及预测卡内的一个或多个搜索类型指示18。响应于接收到用户对预测卡16内所呈现的搜索类型指示18的选择,搜索模块8能够基于所选择的搜索类型执行搜索。预测信息GUI 14还可以提供附加特征。例如,GUI 14可以包括搜索栏26,其无论预测模块12预测了任何搜索类型都接受文本和/或语音搜索请求。GUI 14还可以包括返回图标20、主页图标22和近期应用图标24。UI模块6可以响应于接收到对返回图标20的选择而输出之前的屏幕或应用。UI模块6可以响应于接收到对主页图标22的选择而输出主页屏幕。UI模块6还可以响应于接收到对近期应用图标24的选择而输出之前所执行的应用的列表。
虽然计算设备2可以确定与计算设备2的地理位置相关联的一种或多种搜索类型,但是联网服务器(例如,联网设备)也可以执行一种或多种搜索类型的确定中的一部分或全部。例如,计算设备2可以被配置为通过经网络向联网服务器传送所确定的计算设备2的地理位置而获得一种或多种搜索类型。联网服务器可以包括类似于计算设备2的预测模块12的预测模块。响应于接收到计算设备2的地理位置,联网服务器可以针对与该地理位置相关联的搜索类型而搜索一个或多个库集。响应于确定了搜索类型,联网服务器随后可以将该搜索类型传送回计算设备2而使得计算设备2接收到与所确定的地理位置相关联的搜索类型。
利用联网服务器来确定与计算设备2的地理位置相关联的搜索类型可以使得计算设备2能够将处理要求卸载到联网服务器。此外,联网服务器可以访问与位置集合中的每个白名单位置相关联的搜索类型的近期更新数据库。在一些示例中,联网服务器可以被配置为确定计算设备2的地理位置。设备位置模块10可以获得与计算设备2的位置相关的数据并且将该数据传送至联网服务器。除此之外或可替换地,联网服务器可以从计算设备2与之连接的一个或多个蜂窝网络塔或其它接入点获得数据。该联网服务器随后可以确定地理位置,将该地理位置传送回计算设备2,和/或将与所确定的地理位置相关联的一种或多种搜索类型传送回计算设备2。
计算设备2可以输出一种或多种所确定的搜索类型以供显示并且可以接收选择搜索类型之一的用户输入的指示。响应于对搜索类型的选择,搜索模块8可以基于所选择的搜索类型发起搜索。例如,搜索模块8可以提示用户以输入对应于所选择的搜索类型的一个或多个搜索项。搜索模块8随后可以在计算设备2的存储器内执行搜索和/或将该搜索项传送至联网服务器以从该联网服务器获得搜索结果。UI设备4可以输出所获得的搜索结果以供显示。例如,UI设备4可以在类似于或包括预测卡16的一个或多个预测卡内输出搜索结果。该搜索结果可以包括一个或多个可选择链接以提供与搜索结果相关的附加信息。
例如,UI设备4可以接收选择在预测卡16内所呈现的视觉搜索类型的用户输入。计算设备2可以通过一个或多个光学传感器获得用于视觉搜索的一个或多个图像。在一些示例中,计算设备2可以响应于接收到选择视觉搜索类型的用户输入而获得图像。在其它示例中,计算设备2可以响应于选择了视觉搜索类型(例如,搜索类型指示18)而输出相机应用。该相机应用可以是独立应用或者嵌入在预测卡18和/或预测信息GUI 14中。计算设备2可以响应于请求每个相应图像的用户输入而获得图像。响应于获得该图像,计算设备2可以将该图像传送至联网服务器而使得该联网服务器能够基于所获得图像的搜索项而生成一个或多个搜索结果。计算设备2随后可以基于至少一个所传送的图像从联网服务器接收至少一个搜索结果。搜索模块8随后可以输出包括至少一个搜索结果的指示的GUI 14以便由UI设备4进行显示。
在其它示例中,计算设备2可以被配置为在用户请求基于对象的搜索之前输出图像内所识别的对象的指示。以这种方式,计算设备2可以指示哪些视觉对象可以返回搜索结果。响应于UI设备4接收到选择预测卡16内所呈现的视觉搜索类型指示的用户输入,计算设备2可以开始从一个或多个光学传感器获得图像。响应于获得图像,UI模块6可以输出相应的所获得的图像中的每一个以便在UI设备4进行显示。例如,UI模块6可以在预测卡16和/或GUI 14的窗口内输出图像。该窗口可以被描述为直播窗口而使得在该直播窗口内所呈现的图像大致在光学传感器获得该图像的时间实时或近似实时地进行呈现。
响应于获得该图像,搜索模块8还可以将每个相应图像传送至联网设备(例如,联网服务器)以便进行图像识别。该联网服务器可以针对所识别的对象而对每个图像进行分析。所识别的对象可以是可以在视觉搜索期间针对其获得搜索结果的对象。虽然可以将完整分辨率的图像传送至联网服务器以便进行对象识别,但是这样的传输可能要求高的数据带宽。在一些示例中,计算设备2可以针对每个所获得的图像生成低分辨率图像并且传送该低分辨率图像以便进行对象识别。在其它示例中,高或低分辨率图像可以仅被定期发送以便进行图像识别。由于大多数连续图像可能包括类似对象,所以可能需要比全部更少的图像就足以识别出图像内的对象。例如,计算设备2可以每秒一次、每五秒一次、每十秒一次地传送图像,等等。如果图像以高于预定图像传输频率的速率被捕捉,则计算设备2可以选择以传输频率所获得的图像以便发送至网络服务器。并未被传送的图像可以由UI设备4进行呈现,在呈现之前或之后被丢弃,或者被存储在缓冲器中以供后续使用。
响应于识别出所接收图像内的对象,联网服务器可以传送图像内所识别的对象(或多个所识别的对象)的指示。响应于从联网服务器接收到一个或多个所识别的对象的指示,UI模块4可以输出GUI 14以用于包括基于所识别的对象发起搜索的提示的显示。发起搜索的提示可以包括邻近于呈现所获得的图像的窗口的可选择图标。在一些示例中,计算设备2可以在UI设备4所显示的图像内的所识别的对象周围叠加红色边框,指向所识别的对象的箭头,所识别的对象的文本描述,或者在图像内所识别的对象的一些其它指示。如果在相同图像内识别出多个不同对象,则每个对象可以由特定于每个对象的单独可选择提示所识别。以这种方式,计算设备2可以被配置为接收指定要对其进行搜索的所识别的对象的用户输入。
一旦对象被识别并且相应提示在UI设备4进行显示,计算设备2可以被配置为接收该提示的选择以基于与该提示相关联的所识别的对象而发起搜索。响应于接收到对该提示的选择,计算设备2可以被配置为传送图形用户界面中用于发起搜索的提示的指示。联网服务器随后可以基于与搜索提示相关联的图像或图像中的对象执行搜索。以这种方式,用于搜索的搜索项可以包括所获得的图像中的一个或多个对象。计算设备2可以从联网服务器接收基于与所选择的搜索提示相关联的一个或多个所识别的对象的至少一个搜索结果。响应于接收到该搜索结果,搜索模块8可以输出该搜索结果以便在GUI 14内的UI设备4进行显示。在一些示例中,GUI 14可以在预测卡16或类似于预测卡16的另一个预测卡中呈现搜索结果。计算设备2可以继续获得图像以基于其它所获得的图像和/或图像内所识别的对象来执行后续搜索。在可替换示例中,联网服务器可以针对所获得的图像内识别的任意对象自动进行搜索并且将搜索结果传送至计算设备2以供显示。
虽然联网服务器在总体上被描述为生成搜索结果,但是可替换地或除此之外,计算设备2可以提供针对任何所选择的搜索类型的搜索结果。例如,搜索模块8可以被配置为搜索计算设备2的一个或多个存储器和/或搜索模块8能够经由网络进行访问的库集。以这种方式,搜索模块8可以获得包括从联网库集、联网服务器和/或计算设备2的存储器所检索到的事项的搜索结果。计算设备2可以将搜索项传送至联网服务器以获得针对任意所选择的搜索类型的搜索结果。例如,音频文件和/或文本串也可以被用作其相应搜索类型的搜索项。
这里所描述的搜索结果可以使用一个或多个搜索引擎来生成。例如,计算设备2的搜索模块8和/或一个或多个联网服务器所执行的搜索模块可以采用一种或多种算法来获得与搜索项相关的信息。在一些示例中,搜索引擎可以特定于预测模块12所预测的搜索类型,诸如视觉搜索。搜索引擎可以在本地进行操作(例如,在计算设备2或联网服务器)和/或通过一个或多个网络进行操作。
以这种方式,本公开的技术可以使得计算设备能够以更具指向性的方式并且在以一般性指示(例如,“视觉搜索”)呈现能力而并不考虑到计算设备2的位置的情况下相比能力可能明显更为清晰的环境中揭示具体的搜索能力(例如,视觉搜索能力)。本公开的技术还使得计算设备2能够向本来并不知道计算设备的视觉搜索能力的用户提示视觉搜索能力。
本公开的各个方面可能仅在用户已经明确启用这样的功能时才能够进行操作。例如,在用户已经同意使用例如计算设备2的地理位置或者计算设备2的光学传感器所获得的图像的任意数据的情况下,该数据可以被用来获得搜索类型和/或与图像内的一个或多个对象相关的搜索结果。用户可以在任意时间同意任意数据的收集和/或传输或者撤销同意。
此外,本公开的各个方面可以被用户禁用。因此,用户可以选择防止计算设备2收集和/或传送与计算设备2相关联的位置信息、所获得的图像或者与计算设备2所位于或用户所在的位置相关的任意其它信息。此外,用户可以防止计算设备2在没有确认的情况下传送能够识别出用户的信息。计算设备2可以呈现请求用户选择传送任意或全部信息的一个或多个屏幕。以这种方式,用户可以对何种信息—如果存在—被传送至联网服务器或其它计算设备进行控制。更具体地,可以基于用户的隐私偏好而对本公开的所有方面应用隐私控制,以尊重与计算设备2或任意其它计算设备的使用或者本公开所描述的功能相关的用户的隐私偏好。
图2是图示示例计算设备2的框图。以下在图1的上下文内描述图2的计算设备2。在其它示例中,与图2所示的那些相比,计算设备2可以包括更少、另外或不同的组件。例如,虽然用户界面设备4(“UID 4”)在图2中被示为与计算设备2整合,但是在其它实施方式中,UID4例如可以通过有线或无线数据连接操作耦接至计算设备2。如图2中的示例所示,计算设备2包括UID 4、一个或多个处理器40、一个或多个输入设备42、一个或多个通信单元44、一个或多个输出设备46以及一个或多个存储设备48。在该示例中,计算设备2的存储设备48还包括UI模块6、搜索模块8、设备位置模块10、预测模块12和操作系统52。通信信道50可以对组件4、6、8、10、12、40、42、44、46、48和52中的每一个进行互连以便进行组件间通信(物理地、通信地和/或操作地)。在一些示例中,通信信道50可以包括系统总线、网络连接、处理间通信数据结构或者用于传输数据的任意其它方法。
计算设备2的一个或多个输入设备42可以接收输入。输入的示例为触觉、音频和视频输入。在一个示例中,计算设备2的输入设备42包括存在敏感显示器、触摸敏感显示器、鼠标、键盘、语音响应系统、视频相机、麦克风或者用于检测来自人或机器的输入的任意其它类型的设备。存在敏感显示器可以包括存在敏感输入设备和显示设备。此外,输入设备42可以包括一个或多个光学传感器,诸如数字相机。该一个或多个光学传感器可以获得用于视觉搜索的图像。麦克风可以获得用于音频搜索的音频信息。
计算设备2的一个或多个输出设备46可以生成输出。输出的示例是触觉、音频和视频输出。在一个示例中,计算设备2的输出设备46包括存在敏感显示器(其可以包括显示设备)、声卡、视频图形适配器卡、扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)或者用于向人或机器生成输出的任意其它类型的设备。
计算设备2的一个或多个通信单元44可以通过在一个或多个网络(例如,图4的网络160)上传送和/或接收网络信号而经由该一个或多个网络与外部设备(例如,联网服务器,诸如图4的联网服务器162)进行通信。例如,计算设备2可以使用通信单元44在诸如蜂窝无线电网络的无线电网络上传送和/或接收无线电信号。同样,通信单元44可以在诸如GPS网络的卫星网络上传送和/或接收卫星信号。通信单元44的示例包括网络接口卡(例如,诸如以太网卡)、光学收发器、射频收发器、GPS接收器或者能够发送和/或接收信息的任意其它类型的设备。通信单元44的其它示例可以包括在移动设备中所采用的GPS、3G、4G和WiFi无线电以及通用串行总线(USB)控制器。
图2的UID 4可以包括存在敏感显示器。计算设备2可以使用存在敏感显示器作为输入设备和输出设备。例如,UID 4的存在敏感显示器包括触摸屏(例如,存在敏感输入设备),其被配置为从计算设备2的用户接收触觉用户输入。UID 4的存在敏感显示器还包括能够向计算设备2的用户输出可见信息的发光二极管(LED)显示器(例如,显示设备)。UID 4可以在存在敏感显示器上呈现用户界面,诸如图1的预测GUI 14,其可以与计算设备2所提供的功能相关。例如,UID 4的存在敏感显示器可以呈现各种功能和应用,诸如电子消息客户端、地图应用、用于从互联网访问并下载信息的互联网浏览器以及社交媒体应用。在另一个示例中,UID 4的存在敏感显示器可以呈现与计算设备2的功能和操作相关的选项的菜单,诸如屏幕亮度或者其它可配置的移动电话设置。
在一些示例中,存在敏感显示器可以检测位于存在敏感显示器的屏幕和/或其附近的物体。作为一个非限制性示例范围,存在敏感显示器可以检测在该存在敏感显示器的物理屏幕2英寸或更少以内的诸如手指或输入笔之类的物体。该存在敏感显示器可以确定在该存在敏感显示器处或其附近检测到该物体的位置(例如,(x,y)坐标)。在另一个非限制性示例范围中,存在敏感显示器可以检测距该存在敏感显示器的物理屏幕6英寸或更少的物体,并且也可能是其它示例性范围。该存在敏感显示器可以使用电容、电感和/或光学识别技术来确定该物体(例如,用户的手指)所选择的位置。在一些示例中,如参考输出设备46所描述的,存在敏感显示器使用触觉、音频或视频刺激提供输出。
计算设备2内的一个或多个存储设备48可以存储在计算设备2的操作期间的使用所需的信息。在一些示例中,存储设备48的主要目的在于作为短期而非长期的计算机可读存储介质。计算设备2上的存储设备48可以被配置为作为易失性存储器而进行信息的短期存储并且因此在其关闭时并不保留所存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)以及本领域已知的其它形式的易失性存储器。存储设备48可以进一步被配置为作为非易失性存储器空间进行信息的长期存储并且在电源开关周期之后保留信息。非易失性存储器的示例包括磁性硬盘、光盘、软盘、闪存或者多种形式的电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器。存储设备48可以存储与UI模块6、搜索模块8、设备位置模块10、预测模块12和操作系统52相关联的程序指令和/或数据。
一个或多个处理器40可以在计算设备2内实施功能和/或执行指令。例如,计算设备2上的处理器40可以读取并执行由存储设备48所存储的执行UI模块6、搜索模块8、设备位置模块10和预测模块12的功能的指令。处理器40所执行的这些指令可以使得计算设备2在程序执行期间在存储设备48内存储信息,诸如与搜索模块8、设备位置模块10和预测模块12相关联的通知、通知对象和/或信息。处理器40可以执行模块6、8、10和12的指令以确定计算设备2的地理位置,生成预测用户界面(例如,GUI 14),执行视觉搜索等。也就是说,模块6、8、10和12可以由处理器40进行操作以执行各种动作,包括生成和输出预测用户界面。在其它示例中,一个或多个处理器40可以执行模块6、8、10和12中的任意一个的指令以请求联网服务器执行(或至少部分执行)在这里归于模块6、8、10和12的任意功能。
如图1中所描述的,预测模块12可以被配置为确定与计算设备2的地理位置相关联的一个或多个搜索类型。例如,预测模块12可以将计算设备2的地理位置与地理位置集合进行比较。该地理位置集合中的地理位置可以与一种或多种搜索类型相关联。因此,预测模块12可以基于该地理位置与所存储的位置集合的比较而确定与计算设备2所位于的地理位置相关联的一种或多种搜索类型。地理位置集合可以存储在存储设备48中和/或预测模块12可以从联网服务器或库集获得地理位置集合。
在一些示例中,预测模块12可以基于计算设备2的地理位置以及一个或多个附加标准来确定一种或多种搜索类型。例如,预测模块12可以从存储设备48获得计算设备2的类型。计算设备的类型可以指示可用传感器、处理器、存储器或者任意其它能力。预测模块12随后可以确定对应于计算设备2的地理位置以及该计算设备的类型的搜索类型。
在一些示例中,预测模块12可以用来确定与计算设备2所位于的地理位置相关联的搜索类型。在其它示例中,联网服务器或另一个联网设备可以确定与所确定的计算设备2的地理位置相关联的一种或多种搜索类型。例如,预测模块12可以将所确定的地理位置经由通信单元44传送至联网服务器(例如,图4的联网服务器162)。在联网服务器确定了搜索类型之后,通信单元44可以接收所确定的与计算设备2的地理位置相关联的搜索类型。预测模块12可以输出所确定的搜索类型的指示以便由输出设备46进行显示。
虽然计算设备2的组件在图2的示例中被图示为在共用外壳之内,但是一个或多个组件可以另外有线或无线地接合至计算设备2。例如,输出设备26(例如,显示设备)可以在物理上与计算设备2分开。在其它示例中,光学传感器可能并不处于计算设备2的外壳之内。
图3是图示依据本公开的一种或多种技术的输出图形内容以便在远程设备进行显示的示例计算设备的框图。图形内容一般可以包括可以被输出以供显示的任意视觉信息,诸如文本、图像、运动图像群组等。图3所示的示例包括计算设备100(例如,图1和2的计算设备2的示例)、存在敏感显示器101、通信单元110、投影仪120、投影仪屏幕122、平板设备126和视觉显示设备130。虽然出于图1和2中的示例的目的而被示为独立计算设备2,但是计算设备一般可以是包括处理器或者用于执行软件指令的其它适当计算环境的任意组件或系统,而且例如并且不需要包括存在敏感显示器。
如图3的示例中所示,计算设备100可以是包括如关于图2的处理器40所描述的功能的处理器。在这样的示例中,计算设备100可以通过通信信道102A操作耦接至存在敏感显示器101,上述通信信道102A可以是系统总线或其它适当连接。计算设备100还可以通过通信信道102B操作耦接至在以下进一步描述的通信单元110,上述通信信道102B也可以是系统总线或其它适当连接。虽然在图3中被单独作为示例示出,但是计算设备100可以通过任意数量的一个或多个通信信道操作耦接至存在敏感显示器101和通信单元110。
在诸如之前在图1-2中所图示的其它示例中,计算设备100可以是便携式或移动设备,诸如移动电话(包括智能电话)、膝上计算机等。在一些示例中,计算设备100可以是台式计算机、平板计算机、智能电视平台、相机、个人数字助理(PDA)、服务器、大型机等。
如图3所示的存在敏感显示器101可以包括显示设备103和存在敏感输入设备105。显示设备103例如可以从计算设备100接收数据并且显示图形内容。在一些示例中,存在敏感输入设备105可以使用电容、电感和/或光学识别技术确定存在敏感显示器101处的一个或多个用户输入(例如,连续手势、多点触控手势、单点触控手势等),并且使用通信信道102A将这样的用户输入的指示发送至计算设备100。在一些示例中,存在敏感输入设备105在物理上可以位于显示设备103的顶端,而使得当用户将输入单元定位于显示设备103所显示的图形元素上方时,存在敏感输入设备105所在的位置对应于该显示设备103上显示该图形元素的位置。
如图3所示,计算设备100还可以包括通信单元110和/或与之操作耦接。通信单元110可包括如图2所描述的通信单元44的功能。通信单元110的示例可以包括网络接口卡、以太网卡、光学收发器、射频收发器或者能够发送和接收信息的任意其它类型的设备。这样的通信单元的其它示例可以包括蓝牙、3G和WiFi无线电、通用串行总线(USB)接口等。计算设备100还可以包括为了简明和说明的目的而并未在图3中示出的一个或多个其它设备和/或与它们操作耦接,上述其它设备例如输入设备、输出设备、存储器、存储设备等。
图3还图示了投影仪120和投影仪屏幕122。其它这样的投影设备的示例可以包括电子白板、全息显示设备和用于显示图形内容的任意其它适当设备。投影仪120和投影屏幕122可以包括使得相应设备能够与计算设备100进行通信的一个或多个通信单元。在一些示例中,该一个或多个通信单元可以使得能够在投影仪120和投影仪屏幕122之间进行通信。投影仪120可以从计算设备100接收包括图形内容的数据。投影仪120可以响应于接收到该数据而将该图形内容投影到投影仪屏幕122上。在一些示例中,投影仪120可以使用光学识别或其它适当技术确定投影仪屏幕处的一个或多个用户输入(例如,连续手势、多点触控手势、单点触控手势等),并且使用一个或多个通信单元向计算设备100发送这样的用户输入的指示。
在一些示例中,投影仪屏幕122可以包括存在敏感显示器124。存在敏感显示器124可以包括如本公开中所描述的UI设备4的功能子集或其全部功能。在一些示例中,存在敏感显示器124可以包括另外的功能。投影仪屏幕122(例如,电子白板)可以从计算设备100接收数据并且显示图形内容。在一些示例中,存在敏感显示器124可以使用电容、电感和/或光学识别技术确定投影仪屏幕122处的一个或多个用户输入(例如,连续手势、多点触控手势、单点触控手势等),并且使用一个或多个通信单元向计算设备100发送这样的用户输入的指示。
图3还图示了平板设备126和视觉显示设备130。平板设备126和视觉显示设备130均可以包括计算和连接能力。平板设备126的示例可以包括电子阅读器设备、可变换笔记本设备、混合板设备等。视觉显示设备130的示例可以包括电视、计算机监视器等。如图3所示,平板设备126可以包括存在敏感显示器128。视觉显示设备130可以包括存在敏感显示器132。存在敏感显示器128、132可以包括如本公开中所描述的UI设备4的功能子集或其全部功能。在一些示例中,存在敏感显示器128、132可以包括附加功能。在任意情况下,存在敏感显示器132例如可以从计算设备100接收数据并且显示图形内容。在一些示例中,存在敏感显示器132可以使用电容、电感和/或光学识别技术确定投影仪屏幕处的一个或多个用户输入(例如,连续手势、多点触控手势、单点触控手势等),并且使用一个或多个通信单元向计算设备100发送这样的用户输入的指示。
如以上所描述的,在一些示例中,计算设备100可以输出图形内容以便在存在敏感显示器101进行显示,后者通过系统总线或其它适当通信信道耦接至计算设备100。计算设备100还可以输出图形内容以便在一个或多个远程设备进行显示,诸如投影仪120、投影仪屏幕122、平板设备126和视觉显示设备130。例如,计算设备100可以执行一个或多个指令以依据本公开的技术而生成和/或修改图形内容。计算设备100可以向计算设备100的通信单元—诸如通信单元110—输出包括图形内容的数据。通信单元110可以将该数据发送至一个或多个远程设备,诸如投影仪120、投影仪屏幕122、平板设备126和/或视觉显示设备130。以这种方式,计算设备100可以输出图形内容以便在一个或多个远程设备进行显示。在一些示例中,一个或多个远程设备可以在包括在相应远程设备之中和/或与之操作耦接的存在敏感显示器处输出图形内容。
在一些示例中,计算设备100可能并不在操作耦接至计算设备100的存在敏感显示器101处输出图形内容。在其它示例中,计算设备100可以输出图形内容以便在通过通信信道102A耦接至计算设备100的存在敏感显示器101以及一个或多个远程设备处进行显示。在这样的示例中,该图形内容在每个相应设备处可以基本上同时显示。例如,可能由于向远程设备发送包括图形内容的数据的通信延时而引入一定延迟。在一些示例中,计算设备100所生成并且输出以便在存在敏感显示器101进行显示的图形内容可能与被输出以便在一个或多个远程设备进行显示的图形内容显示有所不同。
计算设备100可以使用任意适当通信技术发送和接收数据。例如,计算设备100可以使用网络链路112A操作耦接至外部网络114。图3所示的每个远程设备可以通过相应网络链路112B、112C和112D之一操作耦接至外部网络114。外部网络114可以包括网络集线器、网络交换机、网络路由器等,它们操作地互相耦接因此在图3所示的计算设备100和远程设备之间提供信息交换。在一些示例中,网络链路112A-112D可以是以太网、ATM或其它网络连接。这样的连接可以是无线和/或有线连接。
在一些示例中,计算设备100可以使用直接设备通信118操作耦接至图3中所包括的一个或多个远程设备。直接设备通信118可以包括计算设备100使用有线或无线通信而通过其直接与远程设备发送并接收数据的通信。也就是说,在直接设备通信118的一些示例中,计算设备100所发送的数据在远程设备处被接收之前可能并不被一个或多个另外的设备进行转发,反之亦然。直接设备通信118的示例可以包括蓝牙、近场通信、通用串行总线、WiFi、红外等。图3所示的一个或多个远程设备可以通过通信链路116A-116D与计算设备100操作耦接。在一些示例中,通信链路112A-112D可以是使用蓝牙、近场通信、通用串行总线、红外等的连接。这样的连接可以是无线和/或有线连接。
依据本公开的技术,计算设备100可以使用外部网络114操作耦接至视觉显示设备130。响应于确定了计算设备100的地理位置,计算设备100或联网设备可以确定与该地理位置相关联的一种或多种搜索类型。计算设备100随后可以输出所确定的搜索类型以便在存在敏感显示器132或者图3的任意其它显示器进行显示。此外,响应于接收到针对所选择的搜索类型的搜索结果,计算设备100可以输出搜索结果以便在存在敏感显示器132或者图3的任意其它显示器进行显示。以这种方式,计算设备100所输出的任意图形用户界面或对象可以通过这里所描述的任意类型的显示器进行显示。
图4是图示示例系统150的概念图,其包括计算设备152以及被配置为经由该计算设备152预测性地向用户呈现选择搜索能力的联网服务器162。虽然计算设备152可以确定与计算设备152的地理位置相关联的一种或多种搜索类型(如这里参考图1和2的计算设备2所描述的),但是联网服务器162(例如,联网设备)可以确定与计算设备152的地理位置相关联的搜索类型或者在该确定的至少一部分中对计算设备152进行辅助。例如,一旦联网服务器162执行了搜索类型确定,计算设备152就可以经由显示设备154向用户呈现所确定的搜索类型。
如图4所示,系统150包括计算设备152、网络160、联网服务器162和库集164。在一些示例中,计算设备152是便携式计算设备(例如,移动电话、智能电话、上网本、笔记本、平板设备或智能手表)或者是其一部分。在其它示例中,计算设备152可以是数字相机、音乐播放器或者用户可以携带或者在不同位置之间移动的任意其它设备的至少一部分。在一些示例中,计算设备152可以类似于图1和2的计算设备2。计算设备152还可以连接至网络160(例如,有线或无线网络)。虽然网络160可以是单个网络,但是网络160可以表示允许计算设备152与联网服务器162进行通信的两个或更多网络。
计算设备152可以包括显示设备154、前置相机158、麦克风156和扬声器157。显示设备154可以包括一个或多个输入设备和/或输出设备,而使得用户能够与计算设备12进行通信。在一个示例中,显示设备154可以包括触摸屏界面(例如,包括存在敏感输入设备的存在敏感显示器)。在其它示例中,显示设备154可以包括显示器以及一个或多个按钮、输入板、操纵杆、鼠标、触觉设备或者能够将用户动作转化为对计算设备152进行控制的电信号的任意其它设备。在任意示例中,用户可以与显示设备154或任意其它输入设备进行交互以在这里所描述的处理之前或期间提供输入。
前置相机158可以使得计算设备152能够捕捉计算设备152周围的诸如人、风景和物体之类的环境的图像(例如,静态图像和/或视频)。前置相机158可以包括能够生成高分辨率图像的一个或多个光学传感器。例如,该光学传感器可以包括多于一百万像素(一兆像素传感器)、多于五百万像素(五兆像素传感器)或者甚至多于一千万像素(十兆像素传感器)。在一些示例中,计算设备152可以包括部署在计算设备152的任意表面上或者使用线缆耦接至计算设备152的两个或更多相机。可替换地,前置相机158可以被置于计算设备152的前方或其它表面上。
麦克风154可以被配置为捕捉计算设备152周围的声音,诸如用户话音、来自其它人的话音以及环境声音。扬声器157可以被配置为生成并向用户传递音频,诸如联系人话音或其它声音。在一些示例中,计算设备152可以包括多于一个的麦克风156和扬声器157。虽然麦克风156和扬声器157可以位于计算设备152的外壳之上或之内,但是麦克风156和/或扬声器157可以经由一个或多个线缆电耦接至计算设备152。麦克风156是音频输入的示例而扬声器157则是音频输出的示例。在其它示例中,计算设备152可以包括另外或可替换的音频输入和音频输出,包括被配置为从所附接的设备接受音频或者向所附接的设备传递音频的传感器或直接电连接。
计算设备152和联网服务器162可以协同工作以基于计算设备152的地理位置向用户提供预测搜索类型。计算设备152可以确定计算设备所位于的地理位置。计算设备152可以包括设备位置模块,其例如从GPS卫星、蜂窝网络接入点或局域网接入点,或者能够从其获得有关计算设备152的位置的数据的任意其它设备获得数据。使用该数据,计算设备152可以确定计算设备152的当前地理位置。计算设备152还可以适当更新地理位置。在一些示例中,计算设备152可以将与计算设备152的位置相关的数据传送至联网服务器162,联网服务器162可以确定计算设备152的地理位置并且联网服务器162可以将所确定的地理位置传送回计算设备152。
计算设备152可以经由网络160将地理位置信息166传送至联网服务器162以便获得与所确定的地理位置相关联的一种或多种搜索类型。地理位置信息166可以包括所确定的地理位置或者地理位置的指示。响应于接收到地理位置信息166,联网服务器162可以确定与计算设备152的地理位置相关联的一种或多种搜索类型。例如,联网服务器162可以在诸如库集164的一个或多个库集中搜索将搜索类型与相应地理位置相关联的一个或多个数据库。联网服务器162可以将计算设备152的地理位置与库集164中所存储的一个或多个位置集合进行比较,并且选择与相当于计算设备152的地理位置的位置相关联的搜索类型。例如,联网服务器162可以针对在距计算设备152的地理位置阈值地理距离以内的每个位置从位置集合中选择搜索类型。联网服务器162可以包括与图1中的计算设备2的预测模块相类似的预测模块以确定搜索类型。
一旦联网服务器162已经针对所接收到的计算设备152的地理位置而确定了适当一种或多种搜索类型,联网服务器162就可以经由网络160向计算设备152传送搜索类型信息168。搜索类型信息168可以包括所确定的搜索类型或搜索类型的指示。在一些示例中,搜索类型信息168可以包括针对其选择搜索类型的地理位置的指示。如果联网服务器162确定没有搜索类型与计算设备152的地理位置相关联,则搜索类型信息168可以包括指示该地理位置并不与任何特定搜索类型相关联的消息。
计算设备152可以呈现从联网服务器162所接收的搜索类型。响应于接收到选择所确定的搜索类型之一的指示的用户输入,计算设备152可以获得一个或多个针对该搜索类型的搜索项(例如,针对视觉搜索类型的图像)。计算设备152可以将该搜索项作为搜索请求经由网络160传送至联网服务器162,以便获得与该搜索项相关的一个或多个搜索结果。联网服务器162可以搜索一个或多个库集(例如,库集164)、计算设备或者任意其它资源以确定搜索结果。联网服务器162随后可以通过经由网络160向计算设备152传送搜索结果以便例如在显示设备进行显示而对该搜索请求作出响应。在一些示例中,除此之外或可替换地,计算设备152可以响应于搜索请求生成搜索结果。以这种方式,该搜索结果可以包括从计算设备152和/或能够经由网络160进行访问的库集或其它设备所获得的结果。
从计算设备152进行地理位置信息166或任意其它数据的传输可能要求计算设备152与联网服务器162之间使用网络160进行连接。计算设备152和联网服务器162都可以连接至网络160。网络160可以被体现为互联网、无线网络、有线网络、蜂窝网络或光纤网络中的一个或多个。换句话说,网络160可以是促成两个或更多设备之间的数据输送的任意数据通信协议。联网服务器162还可以连接至库集164以便存储位置集合以及相关联的搜索类型、可搜索信息或者与这里所描述的功能相关的任意其它数据。联网服务器162和库集164均可以分别包括一个或多个服务器或数据库。以这种方式,联网服务器162和库集164可以被体现为基于计算设备152所位于的地理位置而确定一个或多个搜索类型所必须的任意硬件。联网服务器162可以包括一个或多个服务器、台式计算机、大型机、小型计算机,或者能够执行计算机指令并存储数据的其它计算设备。在一些示例中,这里可归于联网服务器162的功能可能被归于用于相应功能的相应的不同服务器。库集164可以包括一个或多个存储器、库集、硬盘或者任意其它数据存储设备。在一些示例中,库集164可以被包括在联网服务器162之内。
库集164可以包括在云存储之中或者作为云存储进行描述。换句话说,与相应搜索类型相关联的位置集合可以被存储在云中的一个或多个位置(例如,一个或多个库集164)。联网服务器162可以访问云并且检索对应于计算设备152的地理位置的适当搜索类型。在一些示例中,库集164可以包括关系数据库管理系统(RDBMS)软件。在一个示例中,库集164可以是关系数据库并且使用本领域已知的结构化查询语言(SQL)进行访问。库集164可替换地可以存储在单独联网计算设备上并且可以由联网服务器162通过网络接口或系统总线进行访问。库集164在其它示例中可以是对象数据库管理系统(ODBMS)、在线分析处理(OLAP)数据库或者其它适当数据管理系统。
图5是图示依据本公开的一个或多个方面的示例计算设备的示例操作的流程图。诸如图1和2所示的计算设备2以及图3所示的计算设备100的计算设备可以执行图5的处理。在一些情况下,诸如图1和2的计算设备2的处理器40的计算设备的一个或多个处理器也可以执行图5的处理。出于说明的目的,以下在图1和2的计算设备2的上下文内对图5进行描述。
计算设备2—更具体地是设备位置模块10—被配置为确定计算设备2所位于的地理位置(170)。该地理位置可以被称作与计算设备2或者计算设备2的地理位置相关联。设备位置模块10可以基于GPS信号、蜂窝无线电信号(例如,用于进行蜂窝塔三角测量)、WiFi信号或者本领域已知的其它信号或技术来确定地理位置。预测模块12随后可以获得与计算设备2的地理位置相关联的一种或多种搜索类型(172)。获得搜索类型可以包括确定搜索类型或者从确定该搜索类型的联网设备接收该搜索类型。
在一个示例中,计算设备2的预测模块12可以将计算设备2的地理位置与位置集合(例如,白名单)进行比较以确定计算设备2是否接近于该集合中的白名单位置之一。白名单位置中的每一个可以与可用于或者适用于该特定位置的一种或多种搜索类型相关联。作为一个示例,预测模块12可以确定与关联于书店的位置相当的地理位置。书店经常包括具有条形码的物品。因此,预测模块12可以被配置为确定视觉搜索的条形码扫码器功能与计算设备2的地理位置相关。响应于确定了计算设备2接近于白名单位置,预测模块12可以被配置为确定一种或多种搜索类型与地理位置相关联。在其它示例中,计算设备2可以通过将计算设备2的地理位置经由网络传送至联网服务器并且接收该联网服务器所确定的一种或多种搜索类型而获得搜索类型。
响应于获得与计算设备2的地理位置相关联的一种或多种搜索类型,预测模块12可以生成可以包括信息的预测用户界面元素,上述信息包括与地理位置相关联的一种或多种搜索类型的指示(174)。在视觉搜索类型的一个示例中,预测用户界面可以包括与地理位置相关的指示和/或被确定为与地理位置特别相关的视觉搜索能力的指示。预测模块12可以至少将所生成的预测用户界面元素的指示提供至UI模块6,后者使得UID 4输出预测GUI14,其在预测卡16内包括视觉搜索指示18。然而,该搜索类型可以被输出以便以各种不同格式进行呈现。在一些示例中,UID 4响应于用户输入而输出预测用户界面14。
如这里所描述的,所确定的搜索类型可以包括各种不同搜索类型。例如,搜索类型可以包括视觉搜索类型、音频搜索类型、文本搜索类型,或者与计算设备2所能够接收的输入的类型相关的任意其它搜索类型。此外,每种搜索类型可以包括特定于可以针对更多信息所执行的搜索的子类型或能力。例如,视觉搜索类型可以对应于条形码扫描能力、快速响应码扫描能力、图像识别器能力和光学字符识别能力中的一种或多种。
图6是图示计算设备的另一种示例操作的流程图。诸如图1和2所示的计算设备2以及图3所示的计算设备100的计算设备可以执行图6的处理。在一些情况下,诸如图1和2所示的计算设备2的处理器40的计算设备的一个或多个处理器也可以执行图6的处理。出于说明的目的,以下在图1和2的计算设备2的上下文内对图6进行描述。虽然图6的示例涉及执行视觉搜索类型的搜索,但是可以以类似方式执行针对任意搜索类型的搜索。
计算设备2—更具体地是设备位置模块10—被配置为确定计算设备2所位于的地理位置(180)。设备位置模块10可以基于GPS信号、蜂窝无线电信号(例如,用于进行蜂窝塔三角测量)、WiFi信号或者本领域已知的其它信号或技术来确定地理位置。预测模块12随后可以经由通信单元44而将所确定的地理位置经由网络传送至联网设备(例如,联网服务器)(182)。该联网设备随后可以确定与所传送的地理位置相关联的一种或多种搜索类型。
通信单元44随后可以经由网络从联网设备接收一种或多种所确定的搜索类型(184)。通信单元44可以将搜索类型或搜索类型的指示输送至预测模块12。预测模块12随后可以输出预测GUI以供显示,其包括一种或多种搜索类型的指示(186)。该GUI可以包括如图1的示例中所示的预测卡。只要计算设备2并未接收到选择任何所显示的搜索类型的用户输入(框188的“否”分支),预测模块12就可以继续输出包括搜索类型的指示的预测GUI(186)。
响应于接收到选择所显示的搜索类型之一—诸如视觉搜索类型—的用户输入(框188的“是”分支),计算设备2可以利用诸如相机的光学传感器而获得一个或多个图像(190)。响应于获得该一个或多个图像,搜索模块8可以被配置为经由网络向联网设备传送搜索请求以及一个或多个所获得的图像(192)。所传送的图像可以被用作搜索请求的搜索项。在一些示例中,搜索模块8或者计算设备2的另一个组件可以向确定与计算设备2的地理位置相关联的搜索类型的联网设备有所不同的联网设备传送该图像。在联网设备响应于搜索请求获得搜索结果之后,计算设备2可以接收对应于所传送的图像中的一个或多个所识别的对象的搜索结果(194)。例如,如果视觉搜索类型被局限于更为具体的视觉搜索能力,诸如条形码能力,则该搜索结果可以被局限于对应于图像中所识别的任意条形码对象的条形码结果。
计算设备2可以针对另外的搜索类型或者计算设备2的更新地理位置而重复图6中所描述的技术或者该技术的一部分。换句话说,设备位置模块10和/或预测模块12可以响应于识别计算设备2的地理位置的变化而发起后续搜索类型的确定。可替换地,可以基于计算设备2的最近地理位置而连续确定搜索类型,并且预测模块12可以响应于识别搜索类型已经发生变化而更新搜索类型的输出。
图7和8是图示与计算设备进行通信的联网服务器(联网设备)的示例操作的流程图。图7和8的操作可以对应于从诸如图6的计算设备2的计算设备所传送的信息。图7和8的处理可以由一个或多个联网服务器所执行,诸如图4所示的联网服务器162。出于说明的目的,图7和8以下在图4的联网服务器162和系统150的上下文内进行描述。还将对计算设备152进行描述,但是这里所描述的计算设备2或任意其它计算设备可以类似地与联网服务器162进行通信。
如图7所示,联网服务器162可以从计算设备152接收所确定的地理位置(例如,地理位置信息)(200)。地理位置可以指示计算设备152在确定地理位置时所处的位置。响应于接收到该地理位置,联网服务器162确定与所接收到的计算设备152的地理位置相关联的一种或多种搜索类型(202)。例如,联网服务器162可以将该地理位置与库集164所存储的位置集合(例如,白名单位置)进行比较。联网服务器可以选择与该位置集合中的相对应位置相关联的一种或多种搜索类型。
响应于确定与该地理位置相关联的一种或多种搜索类型,联网服务器162可以将所确定的搜索类型(例如,搜索类型信息)经由网络160传送至计算设备152(204)。如果联网服务器162无法确定与该地理位置相关联的任何搜索类型,则联网服务器162可以向计算设备152传送搜索类型的空集的指示。联网服务器162可以针对任意所接收的地理位置重复图7的技术。
图8可以特定于针对视觉搜索类型生成搜索结果。如图8所示,联网服务器162可以被配置为从计算设备152接收视觉搜索请求以及一个或多个图像(206)。联网服务器162随后可以对一个或多个所接收的图像执行对象识别以识别一个或多个对象(208)。所识别的对象可以是可以针对其生成搜索结果的对象。在一些示例中,联网服务器162可以针对对应于库集164中所存储的所识别的对象集合的任意对象而分析一个或多个图像。联网服务器162可以利用任意的一种或多种对象识别算法来执行对象识别处理。
响应于在图像之一内识别出对象(框210的“是”分支),联网服务器162可以基于所识别的对象生成搜索结果(212)。以这种方式,所识别的对象可以被用作一个或多个搜索项。响应于生成该搜索结果,联网服务器162将该搜索结果经由网络160传送至计算设备162。响应于确定并未在图像之一内识别出对象(框210中的“否”分支),联网服务器162可以生成指示没有从所接收的图像识别出对象的消息(214)。响应于生成该消息,联网服务器162经由网络160将该消息作为搜索结果传送至计算设备162。联网服务器162可以针对从计算设备152所接收的每种视觉搜索请求重复图8的技术。
本公开提供了一个或多个示例。示例1:一种方法,包括由移动计算设备确定移动计算设备的地理位置,获得与该地理位置相关联的一种或多种搜索类型,并且响应于获得该一种或多种搜索类型,由该移动计算设备输出图形用户界面以供显示,该图形用户界面至少包括与该地理位置相关联的一种或多种搜索类型的指示。
示例2:示例1的方法,其中获得与该地理位置相关联的一种或多种搜索类型包括由该移动计算设备确定与该地理位置相关联的一种或多种搜索类型。
示例3:示例2的方法,其中确定与该地理位置相关联的一种或多种搜索类型包括由该移动计算设备将该地理位置与地理位置集合进行比较,并且由该移动计算设备并且至少部分基于该比较确定与该地理位置相关联的一种或多种搜索类型。
示例4:示例2和3中任一个的方法,其中确定与该地理位置相关联的一种或多种搜索类型包括由该移动计算设备确定该移动计算设备的地理位置在距与该一种或多种搜索类型相关联的位置的阈值距离之内。
示例5:示例2至4中任一个的方法,其中确定该一种或多种搜索类型包括基于该地理位置以及该移动计算设备的类型确定一种或多种搜索类型。
示例6:示例2至5中任一个的方法,其中确定该一种或多种搜索类型包括基于该地理位置、在其间确定该地理位置的当前时间以及与该移动计算设备相关联的已安排的事件确定该一种或多种搜索类型。
示例7:示例1至6中任一个的方法,其中获得与该地理位置相关联的一种或多种搜索类型包括由该移动计算设备并且经由网络将该地理位置传送至联网设备,并且从该联网设备接收与该地理位置相关联的一种或多种搜索类型。
示例8:示例1至7中任一个的方法,其中该一种或多种搜索类型包括对应于条形码扫描能力、快速响应码扫描能力、图像识别器能力和光学字符识别能力中的一种或多种的视觉搜索类型。
示例9:示例1至8中任一个的方法,进一步包括接收选择与该地理位置相关联的一种或多种搜索类型之一的用户输入,其中所选择的搜索类型包括视觉搜索类型;由至少一个光学传感器获得一个或多个图像;由该移动计算设备并且经由网络将一个或多个图像传送至联网设备;从该联网设备并且基于该一个或多个图像中的至少一个接收至少一个搜索结果;并且由该移动计算设备输出图形用户界面以供显示,该图形用户界面包括该至少一个搜索结果的指示。
示例10:示例1至9中任一个的方法,其中该移动计算设备包括智能电话、平板电脑和智能手表之一。
示例11:一种移动计算设备,包括一个或多个处理器;设备位置模块,其能够由该一个或多个处理器进行操作以确定该移动计算设备的地理位置;和预测模块,其能够由该一个或多个处理器进行操作以获得与该地理位置相关联的一种或多种搜索类型,并且响应于获得该一种或多种搜索类型输出图形用户界面以供显示,该图形用户界面至少包括与该地理位置相关联的一种或多种搜索类型的指示。
示例12:示例11的移动计算设备,其中该预测模块能够由该一个或多个处理器进行操作以确定与该地理位置相关联的一种或多种搜索类型。
示例13:示例11和12中任一个的移动计算设备,其中该预测模块能够由该一个或多个处理器进行操作以将该地理位置与地理位置集合进行比较,并且至少部分基于该比较确定与该地理位置相关联的一种或多种搜索类型。
示例14:示例11至13中任一个的移动计算设备,其中该预测模块能够由该一个或多个处理器进行操作以从存储器获得该移动计算设备的类型,并且基于该地理位置以及该移动计算设备的类型确定该一种或多种搜索类型。
示例15:示例11至14中任一个的移动计算设备,进一步包括通信单元,其中该预测模块能够由该一个或多个处理器进行操作以经由该通信单元和网络将该地理位置传送至联网设备,并且从该联网设备并且经由该通信单元接收与该地理位置相关联的一种或多种搜索类型。
示例16:示例11至15中任一个的移动计算设备,其中该一种或多种搜索类型包括对应于条形码扫描能力、快速响应码扫描能力、图像识别器能力和光学字符识别能力中的一种或多种的视觉搜索类型。
示例17:示例11至16中任一个的移动计算设备,进一步包括输入设备,其用于接收选择与地理位置相关联的一种或多种搜索类型之一的用户输入,其中所选择的搜索类型包括视觉搜索类型;至少一个光学传感器,其用于获得一个或多个图像;和通信单元,其用于经由网络将一个或多个图像传送至联网设备并且从该联网设备并且基于该一个或多个图像中的至少一个接收至少一个搜索结果,其中该预测模块能够由该一个或多个处理器进行操作以输出图形用户界面以供显示,该图形用户界面包括该至少一个搜索结果的指示。
示例18:一种包括指令的计算机可读存储介质,该指令当被执行时,配置计算设备的一个或多个处理器以确定移动计算设备所位于的地理位置,获得与该地理位置相关联的一种或多种搜索类型,并且响应于获得该搜索类型输出与该地理位置相关联的一种或多种搜索类型的指示以供显示。
示例19:示例18的计算机可读存储介质,其中在被执行时配置一个或多个处理器以获得与该地理位置相关联的一种或多种搜索类型的指令包括以下指令,所述指令在被执行时配置一个或多个处理器以从存储器获得地理位置集合,将计算设备所位于的地理位置与该地理位置集合进行比较,并且至少部分基于该比较确定与该计算设备所位于的该地理位置相关联的一种或多种搜索类型。
示例20:示例18和19中任一个的计算机可读存储介质,其中在被执行时配置一个或多个处理器以获得与该地理位置相关联的一种或多种搜索类型的指令包括以下指令,所述指令在被执行时配置一个或多个处理器以经由网络将该地理位置传送至联网设备并且从该联网设备接收与该地理位置相关联的一种或多种搜索类型。
示例21:示例18至20中任一个的计算机可读存储介质,进一步包括指令,所述指令当被执行时,配置该一个或多个处理器以接收选择与该地理位置相关联的一种或多种搜索类型之一,其中所选择的搜索类型包括视觉搜索类型,由至少一个光学传感器获得一个或多个图像,经由网络将该一个或多个图像传送至联网设备,从该联网设备并且基于该一个或多个图像中的至少一个接收至少一个搜索结果,并且输出该至少一个搜索结果的指示以供显示。
在一个或多个示例中,这里所描述的功能可以以硬件、软件、固件或者它们的任意组合来实施。如果以软件来实施,则该功能可以作为一个或多个指令或代码存储在计算机可读介质上或者通过该计算机可读介质进行传送,并且由基于硬件的处理单元所执行。计算机可读媒介可以包括对应于诸如数据存储媒介的有形介质的计算机可读存储媒介,或者包括例如根据通信协议而促成计算机程序从一处输送至另一处的任意介质的通信媒介。以这种方式,计算机可读媒介通常可以对应于(1)可以是非暂时性的有形计算机可读存储媒介,或者(2)诸如信号或载波的通信介质。数据存储媒介可以是能够由一个或多个计算机或一个或多个处理器所访问以检索指令、代码和/或数据结构以便实施本公开中所描述的技术的任意可用媒介。计算机程序产品可以包括计算机可读介质。
作为示例而非限制,这样的计算机可读存储媒介可以包括RAM、ROM、EEPROM、CD-ROM或者其它光盘存储、磁盘存储或者其它磁性存储设备、闪存,或者能够被用来以指令或数据结构的形式存储所期望的程序代码并且能够由计算机进行访问的任意其它介质。而且,任意连接被适当地称作计算机可读介质。例如,如果指令使用同轴线缆、光纤线缆、双绞线、数字订户线路(DSL)或者诸如红外、无线电和微波的无线技术而从网站、服务器或者其它远程来源进行传送,则该同轴线缆、光纤线缆、双绞线、DSL或者诸如红外、无线电和微波的无线技术包括在介质的定义之内。然而,应当理解的是,计算机可读存储媒介和数据存储媒介并不包括连接、载波、信号或者其它瞬时媒介,而是另外针对非瞬时、有形存储媒介或者计算机可读存储设备。如这里所使用的,磁盘或光盘包括紧致盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘和蓝光盘,其中磁盘通常以磁性方式再现数据,而光盘则利用激光再现数据。以上的组合也应当包括在计算机可读存储媒介的范围之内。
指令可以由一个或多个处理器所执行,诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA),或者其它等同的集成或分立逻辑电路。因此,如这里所使用的,术语“处理器”可以是指任意的上述结构或者适用于这里所描述的技术的实施方式的任意其它结构。此外,在一些方面,这里所描述的功能可以在专用硬件和/或软件模块内提供。而且,该技术能够完全在一个或多个电路或逻辑元件中实施。
本公开的技术可以在各种设备或装置中实施,包括无线手机、集成电路(IC)或IC集合(例如,芯片组)。在本公开中描述了各种组件、模块或单元以强调被配置为执行所公开技术的设备的功能方面,而并非必然要求由不同的硬件单元来实现。相反,如以上所描述的,各种单元可以在硬件单元中进行组合或者由交互操作的硬件单元的组合结合适当的软件和/或固件来提供,上述硬件单元包括如以上所描述的一个或多个处理器。

Claims (9)

1.一种用于预测性地呈现搜索能力的方法,包括:
在用户已经在移动设备处发起基于图像的搜索以前:
获得指示至少包括与所述移动设备相关联的地理位置的当前场境的数据,所述地理位置是所述移动设备位于的位置,
使用指示至少包括与所述移动设备相关联的所述地理位置的所述当前场境的所述数据确定所述移动设备在物理上位于接近于预定义的地理位置,
响应于确定所述移动设备在物理上位于接近于所述预定义的地理位置:
访问为多个预定义的地理位置中的每个预定义的地理位置关联所述预定义的地理位置的相应的基于图像的搜索类型的库集,并且其中,所述相应的基于图像的搜索类型定义多个候选基于图像的搜索类型,每个候选基于图像的搜索类型分别调用图像搜索系统的搜索类型能力,所述图像搜索系统的所述搜索类型能力不同于由每个其他候选基于图像的搜索类型调用的搜索类型能力;
从所述库集获得数据,所述数据指示来自多个候选基于图像的搜索类型中的特定基于图像的搜索类型,所述特定基于图像的搜索类型由预测模型识别为可能与至少包括与所述移动设备相关联的所述地理位置的所述当前场境相关,所述识别基于所述地理位置在所述预定义的地理位置的阈值距离内并且所述预定义的地理位置与所述特定基于图像的搜索类型相关联的确定,并且
提供包括用于发起所述特定基于图像的搜索类型的基于图像的搜索的控件的用户界面,所述特定基于图像的搜索类型由所述预测模型识别为可能与至少包括与所述移动设备相关联的所述地理位置的所述当前场境相关。
2.根据权利要求1所述的方法,其中所述用户界面还包括用于选择将被传送以供所述基于图像的搜索的特定数据的附加控件。
3.根据权利要求1所述的方法,其中所述用户界面还包括用于限制所述移动设备传送所述基于图像的搜索的用户的个人可识别信息的附加控件。
4.根据权利要求1所述的方法,其中所述用户界面还包括用于基于在所述用户界面处的一个或多个输入识别所述特定基于图像的搜索类型的附加控件。
5.根据权利要求1所述的方法,其中与所述移动设备相关联的所述当前场境包括以下中一个或多个:白名单位置集合中的所述移动设备的地理位置、当前时间、日历事件、一周内的某天、一个月、一个季度和一年。
6.根据权利要求1所述的方法,其中由所述预测模型识别为可能与所述当前场境相关的所述特定基于图像的搜索类型对应于特定搜索引擎。
7.一种用于预测性地呈现搜索能力的移动计算设备,所述移动计算设备包括一个或多个处理器,所述一个或多个处理器被配置为执行根据权利要求1至6中任一项所述的方法。
8.一种包括指令的计算机可读存储介质,所述指令当被执行时,配置计算设备的一个或多个处理器以执行根据权利要求1至6中任一项所述的方法。
9.一种用于预测性地呈现搜索能力的系统,所述系统包括用于执行根据权利要求1至6中任一项所述的方法的装置。
CN201380071568.6A 2012-12-05 2013-12-05 预测性地呈现搜索能力 Active CN105009114B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261733873P 2012-12-05 2012-12-05
US61/733,873 2012-12-05
US13/901,540 2013-05-23
US13/901,540 US20140156704A1 (en) 2012-12-05 2013-05-23 Predictively presenting search capabilities
PCT/US2013/073361 WO2014089319A2 (en) 2012-12-05 2013-12-05 Predictively presenting search capabilities

Publications (2)

Publication Number Publication Date
CN105009114A CN105009114A (zh) 2015-10-28
CN105009114B true CN105009114B (zh) 2018-07-24

Family

ID=50826547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380071568.6A Active CN105009114B (zh) 2012-12-05 2013-12-05 预测性地呈现搜索能力

Country Status (4)

Country Link
US (4) US20140156704A1 (zh)
EP (1) EP2929466A2 (zh)
CN (1) CN105009114B (zh)
WO (1) WO2014089319A2 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9973565B2 (en) * 2013-05-06 2018-05-15 Samsung Electronics Co., Ltd. Temporary applications for mobile devices
KR20150029185A (ko) * 2013-09-09 2015-03-18 삼성전자주식회사 애플리케이션 제공 방법 및 장치
US20150178409A1 (en) * 2013-12-22 2015-06-25 Microsoft Corporation Art search results
JP2017027312A (ja) * 2015-07-21 2017-02-02 キヤノン株式会社 情報処理装置、送信方法、および、プログラム
JP1617939S (zh) * 2017-10-17 2018-11-12
US11275807B2 (en) * 2017-11-07 2022-03-15 Google Llc React to location changes on web pages
US20230093468A1 (en) * 2021-09-20 2023-03-23 International Business Machines Corporation Cognitive image searching based on personalized image components of a composite image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101437039A (zh) * 2007-11-15 2009-05-20 华为技术有限公司 一种移动搜索的方法、系统和设备
CN101535994A (zh) * 2006-09-17 2009-09-16 诺基亚公司 提供标准真实世界到虚拟世界的链接的方法、装置和计算机程序产品
CN102484769A (zh) * 2009-08-24 2012-05-30 三星电子株式会社 移动装置以及与移动装置交换信息的服务器

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7174301B2 (en) * 2000-10-23 2007-02-06 Costar Group, Inc. System and method for accessing geographic-based data
US20090132316A1 (en) * 2000-10-23 2009-05-21 Costar Group, Inc. System and method for associating aerial images, map features, and information
US20030095681A1 (en) * 2001-11-21 2003-05-22 Bernard Burg Context-aware imaging device
US20040006425A1 (en) * 2002-07-03 2004-01-08 Terragraphix, Inc. System for communicating and associating information with a geographic location
US8150617B2 (en) * 2004-10-25 2012-04-03 A9.Com, Inc. System and method for displaying location-specific images on a mobile device
US8463249B2 (en) * 2005-09-14 2013-06-11 Jumptap, Inc. System for targeting advertising content to a plurality of mobile communication facilities
JP2007219615A (ja) * 2006-02-14 2007-08-30 Sony Corp 検索装置、検索方法、プログラム
US20080010273A1 (en) * 2006-06-12 2008-01-10 Metacarta, Inc. Systems and methods for hierarchical organization and presentation of geographic search results
KR100785928B1 (ko) 2006-07-04 2007-12-17 삼성전자주식회사 멀티모달 정보를 이용한 사진 검색 방법 및 사진 검색시스템
US8086622B2 (en) * 2007-08-29 2011-12-27 Enpulz, Llc Search engine using world map with whois database search restrictions
US8077915B2 (en) * 2007-10-12 2011-12-13 Sony Ericsson Mobile Communications Ab Obtaining information by tracking a user
JP4502005B2 (ja) * 2007-12-27 2010-07-14 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置及びコンピュータプログラム
US8126643B2 (en) * 2007-12-28 2012-02-28 Core Wireless Licensing S.A.R.L. Method, apparatus and computer program product for providing instructions to a destination that is revealed upon arrival
US8086048B2 (en) * 2008-05-23 2011-12-27 Yahoo! Inc. System to compile landmark image search results
US8098894B2 (en) * 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator
US8260775B2 (en) * 2010-01-12 2012-09-04 Microsoft Corporation Geotemporal search
US20110184953A1 (en) * 2010-01-26 2011-07-28 Dhiraj Joshi On-location recommendation for photo composition
US8495057B2 (en) * 2010-05-17 2013-07-23 Microsoft Corporation Image searching with recognition suggestion
US20120117051A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation Multi-modal approach to search query input
US8832233B1 (en) * 2011-07-20 2014-09-09 Google Inc. Experience sharing for conveying communication status
EP2783305A4 (en) * 2011-11-24 2015-08-12 Microsoft Technology Licensing Llc MULTIMODAL INTERACTIVE IMAGE SEARCH
US8812029B1 (en) * 2012-04-11 2014-08-19 WhitePages, Inc. Automated user check-in utilizing mobile computing devices
US8660541B1 (en) * 2012-04-11 2014-02-25 WhitePages, Inc. Provision of location-based venue information
US9025860B2 (en) * 2012-08-06 2015-05-05 Microsoft Technology Licensing, Llc Three-dimensional object browsing in documents
US8935246B2 (en) * 2012-08-08 2015-01-13 Google Inc. Identifying textual terms in response to a visual query
US9843623B2 (en) * 2013-05-28 2017-12-12 Qualcomm Incorporated Systems and methods for selecting media items
WO2014200468A1 (en) * 2013-06-12 2014-12-18 Thomson Licensing Context based image search
US9195703B1 (en) * 2013-06-27 2015-11-24 Google Inc. Providing context-relevant information to users
US10289742B2 (en) * 2013-08-22 2019-05-14 Sensoriant, Inc. Method and system for addressing the problem of discovering relevant services and applications that are available over the internet or other communications network
US9292764B2 (en) * 2013-09-17 2016-03-22 Qualcomm Incorporated Method and apparatus for selectively providing information on objects in a captured image
US9786016B2 (en) * 2014-02-28 2017-10-10 Microsoft Technology Licensing, Llc Image tagging for capturing information in a transaction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101535994A (zh) * 2006-09-17 2009-09-16 诺基亚公司 提供标准真实世界到虚拟世界的链接的方法、装置和计算机程序产品
CN101437039A (zh) * 2007-11-15 2009-05-20 华为技术有限公司 一种移动搜索的方法、系统和设备
CN102484769A (zh) * 2009-08-24 2012-05-30 三星电子株式会社 移动装置以及与移动装置交换信息的服务器

Also Published As

Publication number Publication date
US20240111805A1 (en) 2024-04-04
CN105009114A (zh) 2015-10-28
US20210349936A1 (en) 2021-11-11
EP2929466A2 (en) 2015-10-14
US11886495B2 (en) 2024-01-30
WO2014089319A3 (en) 2014-10-23
US11080328B2 (en) 2021-08-03
US20160335290A1 (en) 2016-11-17
US20140156704A1 (en) 2014-06-05
WO2014089319A2 (en) 2014-06-12

Similar Documents

Publication Publication Date Title
CN105009114B (zh) 预测性地呈现搜索能力
CN102754097B (zh) 用于呈现内容的第一人世界视图的方法和装置
US8675912B2 (en) System and method for initiating actions and providing feedback by pointing at object of interest
US20160335139A1 (en) Activity triggers
US9020537B2 (en) Systems and methods for associating virtual content relative to real-world locales
CN108595275B (zh) 一种提示信息推送的方法及终端
CN103069370A (zh) 用于在增强现实中自动地生成建议的信息层的方法、装置和计算机程序产品
JP2010287059A (ja) 移動端末、サーバ装置、コミュニティ生成システム、表示制御方法およびプログラム
CN103916473B (zh) 行程信息处理方法及相关装置
US20140195968A1 (en) Inferring and acting on user intent
AU2017219142A1 (en) Location Based Augmented Reality Property Listing Method, Software and System
US20200226695A1 (en) Electronic business card exchange system and method using mobile terminal
RU2691223C2 (ru) Платформа персональных логических возможностей
JP6046874B1 (ja) 情報処理装置、情報処理方法、プログラム
JP6599674B2 (ja) 情報処理システム、情報処理プログラム、情報処理装置、情報処理方法、相関関係情報データ、記憶媒体、相関関係情報の生成方法
US10095480B2 (en) Automatic code generation for crowdsourced automatic data collection
US9582542B2 (en) Device and content searching method using the same
CN108351891A (zh) 基于计算装置的属性的信息排名
EP3388958B1 (en) Method and system for managing viewability of location-based spatial object
JP2023090773A (ja) 情報処理装置、情報システム、情報処理方法、およびプログラム
CN105917329B (zh) 信息显示装置和信息显示程序
US9965529B2 (en) Maintaining search context
KR20200088199A (ko) 모바일 단말기를 이용한 전자명함 교환 시스템 및 방법
KR102142858B1 (ko) 지도 정보 제공 방법 및 장치
JP2022118554A (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant