CN105045793B - 图像处理客户端 - Google Patents

Abstract

本公开的实施例涉及图像处理客户端。图像辨识方法采用计算机生成的和手动的图像审核两者以生成特征化图像的图像标签。该计算机生成的和手动的图像审核可以顺序地或并行地被执行。所生成的图像标签可以被实时地提供至请求者，被用来选择广告，和/或被用作互联网搜索的基础。在一些实施例中，所生成的图像标签被用作所升级的图像审核的基础。计算机生成的图像审核的置信度可以被用来确定是否执行手动图像审核。

Description

图像处理客户端

相关申请的交叉引用

本申请是在2014年5月1日递交的具有申请号14/267,840的名为“图像处理”的美国非临时申请的部分延续，其继而要求在2013年5月1日递交的临时申请61/956,927的优先权；本申请进一步要求以下美国临时专利申请的优先权和权益：

在2014年4月4日递交并具有申请号61/975,691的“视觉搜索”；

在2014年4月7日递交并具有申请号61/976,494的“视觉搜索广告”；

在2014年5月1日递交并具有申请号61/987,156的“图像处理”；

在2014年7月31日递交并具有申请号62/031,397的“图像处理中的实时目标选择”；

在2014年10月27日递交并具有申请号62/069,160的“分布式图像处理”；以及

在2014年11月25日递交并具有申请号62/084,509的“选择性图像处理”。

所有以上专利申请通过引用被并入本文。

技术领域

本申请处于图像处理的领域，更具体地，处于特征化图像的内容的领域。

背景技术

通常从图像中提取信息比从文本数据中提取信息更难。然而，一大部分信息在图像中被找到。自动的图像辨识系统的可靠度高度取决于图像的内容。例如，光学字符辨识比面部辨识更可靠。图像辨识的目标是对图像添加标签。标签指的是特征化图像的内容的标签(单词)的识别。例如，汽车的图像可以被添加有单词“汽车”、“福特格拉纳达(FordGranada)”或“具有损坏前灯的白色1976年福特格拉纳达”的标签。这些标签包括不同数量的信息，并可由此在用途上变化。

发明内容

本申请的实施例包括添加图像标签的双管齐下的方法。第一个方法是在图像上执行自动的图像辨识。该自动的图像辨识导致图像的审核(review)。该图像审核包括识别图像的内容的一个或多个标签并且可选地还包括表示自动图像识别的可靠度的置信度的度量。该对图像添加标签的方法中的第二个方法包括图像的手动添加标签。手动添加标签包括人观看每个图像、考虑图像的内容并且手动地提供表示图像内容的标签。自动的图像辨识具有分析每个图像的时间上或金钱上的成本可以相对低的优点。图像的手动标签添加具有更高的准确度和可靠度的优点。

本发明的实施例结合了自动图像辨识和手动图像辨识两者。在一些实施例中，自动图像辨识首先被执行。产生的图像审核通常既包括特征化图像的一个或多个标签也包括这些标签在准确度上的置信度的度量。如果置信度高于预定阈值，那么这些标签与该图像关联并被提供作为添加标签过程的输出。如果置信度低于预定阈值，那么该图像的手动审核被执行。手动审核导致特征化图像的内容的附加和/或不同标签。在一些实施例中，自动的图像辨识和图像的手动审核被并行地执行。如果自动图像辨识导致一个或多个标签具有高于预定阈值的置信度则手动审核被可选地取消或终止。

在一些实施例中，图像的辨识可以被升级。图像辨识过程的升级包括针对表示图像的内容的进一步或改进的标签的要求。例如，如果自动图像辨识导致标签“白车”，该辨识的升级可以导致标签“白色福特格拉纳达”。在一些实施例中，升级的审核利用专家人类审核者。例如，以上示例可以包括利用具有汽车的专业知识的人类审核者。人类审核者的专业知识的其它示例在本文的其它地方被讨论。

本发明的各种实施例包括导向改进图像辨识的准确度同时还最小化成本的特征。通过举例的方式，这些特征包括人口审核者的有效利用、图像标签的实时递送、和/或图像辨识的无缝升级。本文公开的图像辨识的方法被可选地用来生成适于执行互联网搜索和/或选择广告的图像标签。例如，在一些实施例中，图像标签被自动地用来执行谷歌搜索和/或基于谷歌的AdWords而卖广告。

本发明的各种实施例包括图像处理系统，该图像处理系统包括被配置为在通信网络上传送图像和图像标签的I/O；自动识别接口，被配置为将图像向自动识别系统传送并且接收来自自动识别系统的图像的计算机生成的审核，该计算机生成的审核包括识别图像的内容的一个或多个标签；目的地逻辑，被配置为确定将图像发送到的第一目的地，以用于由第一人类审核员对该图像进行第一手动审核；图像张贴逻辑，被配置为将图像张贴至目的地；审核逻辑，被配置为接收来自目的地的图像的手动审核并且接收计算机生成的审核，该手动审核包括识别图像的内容的一个或多个图像标签；响应逻辑，被配置为向通信网络提供计算机生成的审核的图像标签以及手动审核的图像标签；存储器，被配置为存储图像；以及微处理器，被配置为至少执行目的地逻辑。

本发明的各种实施例包括处理图像的方法，该方法包括接收来自图像源的图像；向自动图像识别系统分配图像；接收来自自动图像识别系统的计算机生成的审核，该计算机生成的审核包括被自动图像识别系统指派给该图像的一个或多个图像标签和置信度的度量，该置信度的度量是被指派至图像的图像标签正确地特征化图像的内容的置信度的度量；将图像置于图像队列中；确定目的地；将用于手动审核的图像张贴至第一目的地，该第一目的地包括人类图像审核员的显示设备；以及接收来自目的地的图像的手动图像审核，该图像审核包括被人类图像审核员指派至图像的一个或多个图像标签，该一个或多个图像标签特征化图像的内容。

本申请的各种实施例包括图像源，其包括被配置为采集图像的相机；显示器，被配置为向用户呈现图像；眼跟踪逻辑，被配置为检测用户的一个或多个眼睛的动作；可选的图像标记逻辑，被配置为将标记置于图像上，该标记被配置为指示图像的特定子集并且响应于所检测的动作；显示逻辑，被配置为实时地将标记显示在图像上；I/O，被配置为提供图像至计算机网络；以及处理器，被配置为至少执行显示逻辑。

本申请的各种实施例包括图像源，其包括被配置为采集图像的相机；显示器，被配置为向用户呈现图像；眼跟踪逻辑，被配置为检测用户的一个或多个眼睛的动作；图像标记逻辑，被配置使用户指示图像的特定子集并且突出该子集内的对象，该指示响应于所检测的动作；显示逻辑，被配置为实时地将所突出的显示在图像上；I/O，被配置为向计算机网络提供图像和特定子集的指示；以及处理器，被配置为至少执行显示逻辑。

本发明的各种实施例包括图像源，其包括被配置为采集图像的相机；显示器，被配置为向用户呈现图像；选择逻辑，被配置用于选择；图像标记逻辑，被配置使用户指示图像的特定子集并且突出该子集内的对象，该指示响应于所检测的手指；I/O，被配置为向计算机网络提供图像和特定子集的指示；显示逻辑，被配置为实时地显示图像并且响应于图像显示从计算机网络接收的图像标签，该图像标签特征化图像的内容；以及处理器，被配置为执行至少显示逻辑。

本发明的各种实施例包括图像处理系统，该图像处理系统包括被配置为在通信网络上传送图像序列和图像标签的I/O；可选的自动识别接口，被配置为将图像序列向自动识别系统传送并且接收来自自动识别系统的图像的计算机生成的审核，该计算机生成的审核包括识别图像的内容的一个或多个标签；目的地逻辑，被配置为确定将图像序列发送至的第一目的地，以用于由第一人类审核者对该图像序列进行第一手动审核；图像张贴逻辑，被配置为将图像序列张贴至目的地；审核逻辑，被配置为接收来自目的地的图像序列的手动审核并且可选地接收计算机生成的审核，该手动审核包括识别图像序列内的动作的一个或多个图像标签；响应逻辑，被配置为向通信网络提供计算机生成的审核的图像标签以及手动审核的图像标签；存储器，被配置为存储图像序列；以及微处理器，被配置为至少执行目的地逻辑。

本发明的各种实施例包括处理图像的方法，该方法包括：在图像处理服务器经由通信网络接收来自远程客户端的图像的一个或多个第一描述符；将所接收的第一描述符与本地存储在图像处理服务器的第二描述符比较以确定是否第一描述符匹配第二描述符的集合；响应于第一描述符与第二描述符的集合相匹配，获取与第二描述符的集合相关联而存储的一个或多个图像标签；并且向客户端提供一个或多个图像标签。

本发明的各种实施例包括在图像处理服务器处理图像的方法，该方法包括：接收来自远程客户端的图像和特征化该图像的数据；确定针对图像的目的地，该目的地与人类图像审核者相关联，该目的地的确定基于特征化图像的数据与人类审核者的专长之间的匹配；将图像张贴至所确定的目的地；接收来自目的地的特征化图像的一个或多个图像标签；并且向客户端提供一个或多个图像标签。

本发明的各个实施例包括处理图像的方法，该方法包括：接收来自移动设备的特征化图像的数据，该数据特征化包括所识别的图像的或图像的描述符的特征的图像；基于特征化图像的数据生成图像标签；向移动设备提供图像标签。

本发明的各种实施例包括处理图像的方法，该方法包括：使用便携设备接收图像；使用便携设备的处理器识别图像的特征；经由通信网络向远程图像处理服务器提供特征；接收来自图像处理服务器的基于特征的图像标签；并且在便携设备的显示器上显示图像标签。

本发明的各种实施例包括处理图像的方法，该方法包括：使用便携设备接收图像；使用便携设备的处理器识别图像的特征；基于所识别的特征导出图像描述符；经由通信网络向远程图像处理服务器提供描述符；接收来自图像处理服务器的基于描述符的图像标签；并且在便携设备的显示器上显示图像标签。

本发明的各种实施例包括处理图像的方法，该方法包括：使用便携设备接收图像；使用便携设备的处理器识别图像的特征；基于所识别的特征导出图像描述符；将图像描述符与之前存储在便携设备上的图像描述符的集合比较以确定是否在图像描述符与所存储的图像描述符的集合之间存在匹配；如果在图像描述符与所存储的图像描述符的集合之间存在匹配则从便携设备的存储器获取与图像描述符的集合相关联的一个或多个图像标签；将所获取的一个或多个图形标签显示在便携设备的显示器上。

本发明的各种实施例包括处理图像的方法，该方法包括：使用便携设备接收图像；使用便携设备的处理器识别图像的特征；基于所识别的特征导出图像描述符；将图像描述符与之前存储在便携设备上的图像描述符的集合比较以确定是否在图像描述符与所存储的图像描述符的集合之间存在匹配；基于在图像描述符与所存储的图像描述符的集合之间的匹配分类图像；向远程图像处理服务器发送图像和图像的分类；接收基于图像的一个或多个图像标签；并且将一个或多个图像标签显示在便携设备的显示器上。

本发明的各种实施例包括图像处理系统，其包括被配置为在通信网络上传送图像和图像标签的I/O；图像分级器，被配置为确定用于对图像添加标签的优先级；目的地逻辑，被配置为确定将图像发送到的第一目的地以用于被第一人类审核者对图像的第一手动审核；图像张贴逻辑，被配置为将图像张贴至目的地；审核逻辑，被配置为接收来自目的地的图像的手动审核，该手动审核包括识别图像的内容的一个或多个图像标签；存储器，被配置为将一个或多个图像标签存储在数据结构中；以及微处理器，被配置为至少执行图像分级器。

本发明的各种实施例包括图像处理系统，其包括被配置为在通信网络上接收图像的I/O；图像分级器，被配置为确定图像的优先级并且确定是否基于该优先级对图像添加标签和/或如何对图像添加标签；用于对图像添加标签以产生特征化图像的一个或多个图像标签的手动或自动装置；存储器，被配置为在数据结构中存储图像以及特征化图像的一个或多个图像标签；以及微处理器，被配置为至少执行图像分级器。

本发明的各种实施例包括图像处理系统，其包括被配置为在通信网络上接收图像的I/O；图像分级器，被配置为确定图像的优先级并且基于该优先级选择对图像添加标签的过程；用于对图像添加标签以产生特征化图像的一个或多个图像标签的装置；存储器，被配置为在数据结构中存储图像以及特征化图像的一个或多个图像标签；以及被配置为至少执行图像分级器的微处理器。

本发明的各种实施例包括图像处理系统，其包括被配置为在通信网络上传送图像和图像标签的I/O；图像分级器，被配置为确定用于基于包括图像的视频被观看多少次来对图像添加标签的优先级；目的地逻辑，被配置为确定将图像发送到的目的地以用于被人类审核者对图像的手动审核；图像张贴逻辑，被配置为将图像张贴至目的地；审核逻辑，被配置为接收来自目的地的图像的手动审核，该手动审核包括识别图像的内容的一个或多个图像标签；存储器，被配置为将一个或多个图像标签存储在数据结构中；以及微处理器，被配置为至少执行图像分级器。

本发明的各种实施例包括处理图像的方法，该方法包括接收来自图像源的图像；向自动图像识别系统分配图像；接收来自自动图像识别系统的计算机生成的审核，该计算机生成的审核包括被自动图像识别系统指派至该图像的一个或多个图像标签和置信度的度量，该置信度的度量是被指派至图像的图像标签正确地特征化图像的内容的置信度的度量；基于置信度的度量将优先级指派至图像；基于优先级确定图像应当被手动标签；将用于手动审核的图像张贴至第一目的地，该第一目的地包括人类图像审核员的显示设备；以及接收来自目的地的图像的手动图像审核，该图像审核包括被人类图像审核者指派至图像的一个或多个图像标签，被人类图像审核者指派的该一个或多个图像标签特征化图像的内容。

本发明的各种实施例包括处理图像的方法，该方法包括接收来自图像源的图像；使用微处理器自动地确定图像的优先级；基于优先级确定图像应当怎样被添加标签；对图像添加标签以产生一个或多个标签，该一个或多个标签特征化图像的内容；并且将该图像和该一个或多个标签存储在数据结构中。

附图说明

图1图示了根据本发明的各种实施例的图像处理系统。

图2图示了根据本发明的各种实施例的图像采集屏幕。

图3图示了根据本发明的各种实施例的基于图像分析的搜索结果。

图4图示了根据本发明的各种实施例的处理图像的方法。

图5图示了根据本发明的各种实施例的处理图像的可替代方法。

图6图示了根据本发明的各种实施例的管理审核者池的方法。

图7图示了根据本发明的各种实施例的实时地接收图像标签的方法。

图8图示了根据本发明的各种实施例的升级图像审核的方法。

图9图示了根据本发明的各种实施例的包括电子眼镜的图像源120A的示例。

图10图示了根据本发明的各种实施例的处理图像源上的图像的方法。

图11图示了根据本发明的各种实施例的基于图像描述符处理图像的方法。

图12图示了根据本发明的各种实施例的使用反馈处理图像的方法。

图13和14图示了根据本发明的各种实施例的基于图像描述符提供图像标签的方法。

图15图示了根据本发明的各种实施例的按优先级排序图像标签的方法。

具体实施方式

图1图示了根据本发明的各种实施例的图像处理系统110。图像处理系统110被配置用于对图像添加标签并且可以包括一个或多个分布式计算设备。例如，图像处理系统110可以包括位于地理上不同地点的一个或多个服务器。图像处理系统110被配置为经由网络115进行通信。网络115可以包括多种的通信网络，诸如互联网和/或蜂窝电话系统。网络115通常被配置为使用诸如IP/TCP、FTP等标准协议传送数据。被图像处理系统110处理的图像从图像源120(单独标记为120A、120B等)被接收。图像源120可以包括被连接至互联网和/或个人移动计算设备的计算源。例如，图像源120A可以是被配置为提供社交网站或图片分享服务的网络服务器。图像源120B可以是智能电话、相机、可穿戴相机、电子眼镜或其它便携图像采集设备。图像源可以被统一资源定位符、互联网协议地址、MAC地址、蜂窝电话标识符和/或类似物所识别。在一些实施例中，图像处理系统110被配置为接收来自大量图像源120的图像。

由图像处理系统110执行的图像标签的部分包括向目的地125(分别标记为125A、125B等)发送图像。目的地125是人类图像审核者的计算设备并且通常在地理上远离图像处理系统110。目的地125至少包括显示器和数据输入设备，诸如触摸屏、键盘和/或麦克风。例如，目的地125可以是与图像处理系统110不同的建筑物、城市、州和/或国家。目的地125可以包括个人计算机、平板电脑、智能电话等。在一些实施例中，目的地125包括被特别配置为促进图像的审核的(计算)应用。该应用被可选地从图像处理系统110提供至目的地125。在一些实施例中，图像处理系统110被配置用于人类图像审核者从目的地125登录用户账号。目的地125通常与个体审核者相关联并且可以被互联网协议地址、MAC地址、登录会话标识符、蜂窝电话标识符和/或类似物所识别。在一些实施例中，目的地125包括音频至文本转换器。由人类图像审核者在若干目的地125提供的图像标签数据被发送至图像处理系统110。图像标签数据可以包括文本图像标签、包括语言化标签的音频数据、和/或诸如升级请求或不适当(明确的)材料标识之类的非标签信息。

图像处理系统110包括被配置用于与外部系统通信的I/O(输入/输出)130。I/O130包括路由器、交换机、调制解调器、防火墙、和/或类似物。I/O 130被配置为接收来自图像源120的图像，向目的地125发送图像，接收来自目的地125的标签数据，并且可选地向图像源120发送图像标签。I/O 130包括通信硬件以及可选地包括应用程序接口(API)。

图像处理系统110进一步包括存储器135。存储器135包括被配置用于诸如图像、图像标签、计算指令以及其它本文所讨论的数据之类的数据的非暂时性储存的硬件。例如，存储器135可以包括随机存取存储器(RAM)、硬盘驱动器、光储存介质和/或类似物。存储器135被配置为通过使用特定的数据结构、索引、文件结构、数据访问例程、安全协议和/或类似物而存储特定的数据(如本文所描述)。

图像处理系统110进一步包括至少一个处理器140。处理器140是诸如电子微处理器之类的硬件设备。处理器140被配置为通过硬件、固件或将软件指令载入处理器140的寄存器而执行特定功能。图像处理系统110可选地包括多个处理器140。处理器140被配置为执行本文讨论的各种类型的逻辑。

由图像处理系统110接收的图像首先被存储在图像队列145中。图像队列145是存储在存储列表中的待审核的图像的有序列表。存储在图像队列145中的图像通常与用于引用图像的图像标识符相关联地被存储并且可以具有不同的优先级。例如，从图片分享网站接收的图像可以具有比从智能电话接收的图像更低的优先级。通常，相对于针对一些其它目的使用的图像标签的那些图像，针对请求者正在等待接收实时地表示图像的图像标签的那些图像被给予更高的优先级。图像队列145可选地被存储在存储器135中。

在图像队列145中，图像被可选地与图像标识符或索引以及其它与每个图像关联的数据相关联地存储。例如，图像可以与关于图像源120中的一个的源数据相关联。源数据可以包括诸如全球定位系统坐标、街道和/或城市名、邮编、和/或类似物的地理信息。源数据可以包括互联网协议地址、统一资源定位符、账户名、智能电话的标识符、和/或类似物。源数据可以进一步包括关于使用在图像源120的成员上的语言、请求的优先级、搜索请求(例如，基于从图像产生的图像标签进行互联网搜索的请求)、和/或类似物的信息。

在一些实施例中，在图像队列145以内的图像被与图像的特定子集的指示相关联地存储，该子集通常包括特定兴趣的项目。例如，图像标签的请求者可以对获得关于图像的特定子集的内容的图像标签感兴趣。当图像包括数个对象时这可以发生。为了说明，考虑在一只手指上有戒指的手的图像，用户可能希望标识该戒指为感兴趣的特定区域。本发明的一些实施例包括被配置使用户通过点击对象或触摸图像源120B的显示器上的对象而指定感兴趣的特定项目的应用。该指定通常在向图像处理系统110发送图像之前发生。

如果图像被与图像的特定子集具有特别重要性的指示相关联地存储，那么图像标记逻辑147可选地被用来将标记置于图像上。标记被布置以突出特定的子集。该标记可以通过修改图像对应于子集的像素而做出，并且该标记允许人类图像审核者专注在所标记的子集上。例如，在图像被张贴至一个或多个目的地125之前，图像可以被标记有矩形或圆形。例如，突出图像的子集或图像以内的对象可以包括向对象或子集应用过滤器(filter，滤镜)，和/或改变对象或子集的颜色。在可替代实施例中，图像标记逻辑147被包括在配置为在一个或多个图像源120或目的地125上执行的应用以内。图像标记逻辑147包括存储在非暂时性计算机可读介质上的硬件、固件、和/或软件。如在本文的其它地方所讨论的，标记逻辑147可选地被配置为随图像正在被生成而将标记实时地布置于图像上。

在一些实施例中，标记逻辑147被配置为使用在图像以内被检测的图像特征来识别可被标记的特定对象。图像特征的检测在本文的其它地方被讨论并且可选地是发生在客户方上(例如，在图像源120A上)的图像处理的一部分。例如，诸如边缘之类的特征可以使用图像源120A的处理器被检测到。这些特征可以首先被用在突出检测的对象并且随后也从图像源120A发送至图像处理系统110，在该处它们随后被用来生成作为处理图像的部分的图像描述符。在该方法中，图像的自动处理被分配在图像源120A、图像处理系统110和/或自动识别系统152之间。

在处理器140的控制下，在图像队列145内的图像被提供至自动识别接口150。图像因而被提供作为它们在图像队列145中的优先级和位置的函数。自动识别接口150包括被配置为将图像，并且可选地将与该图像相关联的任何数据传送至自动识别系统152的逻辑。该逻辑是存储在计算机可读介质上的硬件、固件、和/或软件。自动识别接口150进一步可以被配置为接收来自自动识别系统152的图像的计算机生成的审核，该计算机生成的审核包括识别图像的内容的一个或多个图像标签。在一些实施例中，自动识别接口150被配置为经由网络115以适用于自动识别系统152的应用程序接口(API)的格式传送图像和数据。在一些实施例中，自动识别系统152被包括在图像处理系统110中，并且自动识别接口150包括例如在操作系统内或局域网上的系统调用。

自动识别系统152是被配置为审核图像而不需要基于每个图片的人工输入的计算机自动系统。自动识别系统152的输出是计算机生成的图像审核(例如，不需要基于每个图片的人工输入产生的审核)。这种系统的初步的示例在本领域中是已知的。例如，参见Kooaba、Clarifai、AlchemyAPI和Catchoom。自动识别系统152通常被配置为基于在图像内检测到的形状、字符和/或图案自动地识别二维图像内的对象。自动识别系统152可选地被配置为执行光字符辨识和/或条形码释义。在一些实施例中，自动识别系统152与现有技术的系统的不同之处在于自动识别系统152被配置为提供计算机生成的审核，该审核基于(多个)图像子集指示和/或图像源数据，其在本文中的其它地方进行讨论。

自动识别系统152可选地被配置为确定从不同的图像源接收的图像的拷贝是否已经被添加标签。例如，相同的图像可以被包括在多个网页中。如果图像从这些网页中的第一个网页被提取并被添加标签，自动识别系统152可以辨识该图像已经被添加标签并且向图像的每个被发现的实例自动地指派这些标签。辨识图像已经被添加标签可选地包括将图像、图像的部分、或表示图像的数据与之前添加标签的图像的数据库进行比较。图像可以之前已经被自动地或手动地添加标签。

除了一个或多个图像标签，由自动识别系统152生成的计算机生成的审核可选地包括表示一个或多个图像标签正确地识别图像的内容的置信度的置信度的度量。例如，主要是字符或可易于辨识的形状的图像的计算机生成的审核可以具有比由抽象或不清楚的形状组成的图像的计算机生成的审核更大的置信度度量。不同的自动图像辨识系统可以产生对于不同类型的图像的不同的置信度级别。自动识别接口150和自动识别系统152可选地处于被第三方执行的自动识别的实施例中。

图像处理系统110进一步包括审核者池155和被配置为管理审核者池155的审核者逻辑157。审核者池155包括人类图像审核者的池(例如，群组或集合)。每个人类图像审核者通常与目的地125的不同成员相关联。例如，目的地125的不同成员中的每个成员可以已知被不同的人类图像审核者操作或被不同人类图像审核者的账号登录。存储器135被可选地配置为存储审核者池155。在一些实施例中，被包括在审核者池155中的人类图像审核者被分类为“活跃”和“不活跃”。为了本公开的目的，活跃的人类图像审核者被认为是目前正在提供图像标签或已经指示他们准备好以最小时延提供图像标签的人类图像审核者。在既包括活跃的也包括不活跃的人类图像审核者的实施例中，活跃的审核者被提供图像以审核。活跃的审核者的数量可以响应于对图像审核的要求实时地变得适度。例如，人类图像审核者的分类可以基于图像队列145中的未审核图像的数量从不活跃改变为活跃。不活跃的审核者是尚未活跃的审核者，其已让图像的审核失效和/或已经指示他们无法审核图像。不活跃的审核者可请求变成活跃的审核者。当需要附加的活跃人类图像审核者时，已经做出这种请求的不活跃的审核者可以被重新分类作为活跃的人类图像审核者。哪些不活跃的审核者被重新分类作为活跃的审核者的确定可选地取决于审核者分数(在本文中的其它地方讨论)。

审核者逻辑157被配置为管理审核者池155。该管理可选地包括人类图像审核者作为活跃或不活跃的分类。例如，审核者逻辑157可以被配置为监视人类图像审核者开始审核图像的时间，并且如果预定最大审核时间(本文称为图像失效时间)，将人类图像审核者的分类从活跃改变为不活跃。在另一示例中，审核者逻辑157可以被配置为计算针对人类图像审核者的审核分数。在一些实施例中，审核分数标记由特定人类图像审核者执行的图像审核的完整性、速度和/或准确度。该审核分数可以基于审核次数和偶然的测试图像被计算或改变。例如，这些测试图像可以被置于已经在之前被不同的人类图像审核者审核过的图像队列145中。该审核分数还可以是与人类图像审核者相关联的货币成本的函数。审核者逻辑157包括存储在非暂时性计算机可读介质上的硬件、固件、和/或软件。在一些实施例中，审核者分数由人类调解者手动地确定。这些人类调解者审核图像和由人类图像审核者指派给这些图像的标签。可选地将审核的图像的统计采样发送至调解者并且调解者将向图像的标签指派分数。该分数可选地被用在确定审核者分数。

在一些实施例中，审核者逻辑157被配置为实时地监视人类图像审核者的状态。例如，审核者逻辑157可以被配置为监视由在目的地125A的审核者输入的个别单词或击键的输入。该监视可以被用来确定哪些审核者正在活跃地审核图像，哪些审核者刚刚才完成图像的审核，和/或哪些审核者在若干秒或分钟后还未提供标签输入。使用音频设备的标签单词的输入还可以被审核者逻辑157所监视。

在一些实施例中，审核者池155的成员与人类图像审核者具有专长或特殊知识的专业相关联。例如，审核者可以是汽车领域的专家并与该专业相关联。其它专业可以包括艺术、植物、动物、电子、音乐、食物医疗专业、服装、服装配件、精品等。如本文中的其它地方所讨论的，审核者的专业可以被用来在初始手动审核期间和/或在审核升级期间选择该审核者。

与人类图像审核者相关联的审核分数和/或专业可选地被审核者逻辑157用来确定当需要附加的活跃审核者时哪个不活跃的审核者要被变为活跃。审核者逻辑157包括存储在非暂时性计算机可读介质上的硬件、固件、和/或软件。

图像处理系统110进一步包括目的地逻辑160。目的地逻辑160被配置为确定要向其发送图像以用于手动审核的一个或多个目的地(例如，目的地125)。每个目的地125与审核者池155的相应的人类图像审核者相关联。由目的地逻辑160做出的确定可选地基于在所确定的目的地的人类图像审核者的特性。目的地可以是人类图像审核者的计算设备、智能电话、平板计算机、个人计算机等。在一些实施例中，目的地是浏览器，审核者已经从该浏览器登录图像处理系统110。在一些实施例中，确定目的地包括确定目的地125中的一个目的地的MAC地址、会话标识符、互联网协议和/或统一资源定位符。目的地逻辑160包括存储在非暂时性计算机可读介质上的硬件、固件和/或软件。

通常，目的地逻辑160被配置为确定与如由审核者逻辑157确定的活跃的而不是不活跃的人类图像审核者相关联的目的地125。目的地逻辑160通常还被配置为基于审核者的审核分数确定目的地125。例如，比起具有较低的审核者分数的审核者而言，具有较高分数的那些审核者可以被选择用于较高优先级的审核。因而，目的地125的成员的确定可以基于审核者分数和图像审核优先级两者。

在一些实施例中，目的地逻辑160被配置为基于相关联的审核者的输入活动的实时监视来确定目的地125中的一个或多个成员。如本文中的其它地方所讨论的，该监视可以由审核者逻辑157执行，并且可以包括由人类图像审核者输入的个别单词或击键的检测。在一些实施例中，目的地逻辑160被配置为相比起在人类图像审核者目前正在键盘上敲入图像标签的目的地125B，青睐选择在人类图像审核者刚刚完成图像的审核的目的地125A。

在一些实施例中，目的地逻辑160被配置为使用经由自动识别系统152接收的图像标签以确定目的地125的一个或多个成员。例如，如果“汽车”的图像标签经由自动识别接口150被接收，那么目的地逻辑160可以使用该信息以选择与具有在汽车领域专业的人类图像审核者相关联的目的地125的成员。

图像审核的值还可以在用于手动审核的目的地的选择中被考虑。例如，高值的图像审核可导致与具有相对高的审核分数的人类图像审核者相关联的目的地的确定，同时较低值的图像审核可导致与具有相对较低的审核分数的人类图像审核者相关联的目的地的确定。在一些实施例中，对于一些图像审核，目的地逻辑160被配置为在目的地125之间选择以便于最小化需要审核图像的时间，例如最小化时间直至手动审核的图像标签被提供至网络115。

目的地逻辑160可选地被配置为针对单个图像确定多个目的地。例如，第一目的地可以被选择，并且之后接着升级请求，第二目的地可以被确定。升级请求可以来自与第一目的地相关联的人类图像审核者或来自图像源120A。在一些实施例中，目的地逻辑160被配置为确定多个目的地，图像将被并行地张贴至该多个目的地。例如，每个均与不同的人类图像审核者相关联的两个、三个或更多个目的地可以被确定并且同样的图像被并行地张贴至所有确定的目的地。如在本上下文中使用的，“并行”意为图像在从第一目的地接收到审核的任何部分之前至少被张贴到第二目的地。

在各种实施例中，存在各种原因使得两个或更多目的地可以被目的地逻辑160所确定。例如，对升级的审核的请求可以请求具有特定专业的人类图像审核者。参考汽车示例，首先被标签有“白车”标签的图像可导致对更多信息的升级请求。目的地逻辑160可以被配置为随后选择与具有在汽车领域专业的人类图像审核者(例如，可以提供“1976福特格拉纳达”标签的审核者)相关联的目的地。升级请求指示图像以进一步的审核为准，例如，图像需求进一步的审核或可以从进一步的审核中获益。升级请求可以被诸如旗、命令或数据值等的计算对象所表示。

当图像的手动审核耗费太多时间时，可需要第二目的地的另一实例出现。通常，在分配的时间段以内图像的标签添加应当发生，否则该审核被认为失效。分配的时间段可选地是图像审核的优先级的函数。那些旨在实时发生的审核可具有相比起较低优先级审核而言较短的时间段。如果图像的审核失效，图像处理系统110可选地被配置为向与由目的地逻辑160确定的目的地相关联的附加人类图像审核者提供图像。

当第一人类审核者做出升级请求时，可需要第二目的地的另一实例出现。例如，导致“汽车”的标签的升级审核的请求可来自提供标签“汽车”的人类图像审核者。虽然该示例是简单化的，其它示例可包括更深奥的主题的图像，诸如封装的集成电路。

图像处理系统110进一步包括图像张贴逻辑165，其被配置为将用于手动审核的图像张贴至由目的地逻辑160确定的目的地125。张贴通常包括经由网络115将图像传送至一个或多个目的地125。在各种实施例中，图像张贴逻辑165被进一步配置为向目的地125提供与图像相关联的信息。例如，图像张贴逻辑165可以张贴图像以及图像的子集的指示(例如，子集识别)、由图像标记逻辑147标记的图像、识别图像的源的信息(例如，在本文中其它地方讨论的源数据)、图像的审核的优先级、图像失效期、与图像相关联的位置信息和/或类似物。如本文中的其它地方所讨论的，源数据可以包括统一资源定位符、全球定位坐标、经度和纬度、账户标识符、互联网协议地址、社交账户、图片分享账户和/或类似物。

在一些实施例中，图像张贴逻辑165被配置为在大约同一时间向多于一个的目的地125提供用于手动审核的图像。例如，图像可以被并行地提供至目的地125A和目的地125B。例如，“并行递送”意为在从目的地125A和125B两者被接收回标签信息之前，图像被提供至这些目的地125。

在一些实施例中，图像张贴逻辑165被配置为在从自动识别系统152接收图像标签之前向一个或多个目的地125提供用于手动审核的图像。可替代地，在一些实施例中，图像张贴逻辑165被配置为在向目的地125中的一个或多个张贴图像之前等待直到用于图像的计算机生成的审核从自动识别系统152被接收。在这些实施例中，计算机生成的审核(包括图像标签)可选地还被张贴至与图像相关联的目的地125中的一个或多个。

图像张贴逻辑165可选地被配置为一起张贴图像以及图像的标识符。图像张贴逻辑165包括存储在非暂时性计算机可读介质上的硬件、固件和/或软件。

图像处理系统110进一步包括被配置为管理图像的手动和自动审核的审核逻辑170。该管理包括监视审核的进度、接收来自自动识别系统152和/或目的地125的审核。所接收的审核包括如在本文中的其它地方所讨论的图像标签。在一些实施例中，审核逻辑170被配置为基于置信度的度量控制向目的地125中的一个目的地的图像张贴。置信度的度量表示已经被接收的一个或多个图像标签正确的置信度。该一个或多个图像标签可以从自动识别系统152和/或目的地125中的一个目的地被接收。例如，在一些实施例中，如果由自动识别系统152的图像审核的置信度大于预定阈值，那么审核逻辑170可以确定图像的手动审核是不必要的。该预定阈值可以是图像审核的值的、图像审核的优先级的、可用的目的地125的数量和质量的、和/或类似物的函数。审核逻辑170包括存储在非暂时性计算机可读介质上的硬件、固件、和/或软件。

在一些实施例中，如果图像被并行地发送至自动识别系统152以及发送至目的地125中的一个或多个，那么具有高于预定阈值的置信度的来自自动识别系统152的审核的接收可导致由审核逻辑170取消在目的地125中的一个或多个处的手动审核。同样地，如果图像被并行地发送至多个目的地125，并且图像审核从这些目的地125中的第一个目的地被接收，那么审核逻辑170可选地被配置为取消在其它目的地125处的针对图像的审核请求。在一些实施例中，审核逻辑170被配置为一旦击键或单词从目的地125中的第一个目的地被接收则取消在其它目的地125处的审核请求。

在一些实施例中，审核逻辑170被配置为实时地监视人类图像审核者的活动。该监视可以包括接收来自目的地125的基于逐个单词的或单个击键的审核输入。如本文中其它地方所讨论的，随着单词和/或击键被审核逻辑170接收，它们可选地被传送至图像源120中的一个。手动审核者的活动的监视可以被用来确定图像的审核何时失效和/或完成手动图像审核的进度。人类图像审核者的状态可以实时地由审核逻辑170向审核者逻辑157提供。使用该状态，审核者逻辑157可以将审核者的状态从活跃的改变为不活跃的、调节审核者的所存储的审核分数、确立或改变针对审核者的专业、和/或类似。

在一些实施例中，审核逻辑170被配置为通过接收置信度的度量(例如，图像审核的准确度的度量)并且向目的地逻辑160和/或图像张贴逻辑165发送响应信号而控制图像向目的地125的张贴。由此，审核逻辑170可以被配置为基于置信度的度量控制向目的地125中的一个或多个目的地的图像张贴。置信度的度量表示一个或多个图像标签正确地识别图像的内容的置信度。在一些实施例中，审核逻辑170被配置为接收来自手动图像审核者的包括除了图像标签以外的其它信息的审核。例如，审核逻辑170可以接收来自人类图像审核者的升级请求并且导致升级的图像审核被请求。审核逻辑170可选地被配置为处理接收在手动或计算机生成的审核中的其它非标签信息。该信息可以包括不恰当(例如，淫秽的)图像的识别、未包括可识别对象的图像的识别、已经向错误专业的审核者发送的图像的识别、和/或类似识别。

在一些实施例中，审核逻辑170被配置为通过比较来自多个源的相同图像的图像审核来调节图像审核的置信度。这些图像审核可以全部是计算机生成的、全部是手动的审核、或包括至少一个计算机生成的审核和至少一个手动的审核。

在一些实施例中，审核逻辑170被配置为提供作为第一(计算机生成的或手动的)审核的部分接收的图像标签并且向在目的地125B处的人类图像审核者提供所接收的图像标签。在目的地125B上执行的代理(例如，浏览器或特殊目的的应用)可选地被配置为向目的地125B的显示器提供第一审核的图像标签。以该方式，在目的地125B处的人类图像审核者可以编辑(增加、删除和/或替换)第一审核的图像标签。例如，从目的地125A接收的图像标签可以提供至目的地125B以用于修改。

在一些实施例中，审核逻辑170被配置为基于这些图像审核所用的时间、这些图像审核的准确度、以及从目的地125接收的图像审核的结果来计算审核分数。

在一些实施例中，审核逻辑170被配置为使用响应逻辑175向图像的源(例如，图像源120中的一个)提供图像审核。当基于逐个字符的或逐个单词的图像审核完成时，图像审核可以被提供。当基于逐个字符地或逐个单词地提供时，随字符或单词从人类图像审核者被接收，图像标签可选地被提供至图像的源。可选地，响应逻辑175被配置为经由网络115提供图像审核。

图像审核不必被返回至图像源120中的一个。例如，如果图像源120A是图片分享服务或社交网络网站，来自图像源120A的图像的图像审核可以与图片分享服务或社交网络网站上的账户相关联地被储存。该储存可以在存储器135中或在图像处理系统110外部的位置，诸如在容纳该网站的网络服务器处。图像审核可选地既被返回至图像源120中的一个也被储存在其它地方。

在一些实施例中，响应逻辑175被配置为基于在计算机生成的和/或手动的图像审核中接收的图像标签而执行搜索。该搜索的结果可以被提供至图像的源，例如，图像源120A或120B。例如，在一些实施例中，用户使用智能电话利用图像源120A的相机来创建图像。该图像被提供至图像处理系统110，其使用自动识别系统152和目的地125A生成图像的图像审核。该图像审核包括随后被自动地用来执行图像标签的互联网搜索(例如，谷歌或雅虎搜索)的图像标签。该互联网搜索的结果随后被提供至用户的智能电话。

在一些实施例中，响应逻辑175被配置为向广告系统180提供计算机生成的和/或手动的审核的图像标签。广告系统180被配置为基于图像标签选择广告。所选择的广告可选地被提供至用来生成图像标签的图像的源。例如，响应逻辑175可以向广告系统180提供标签“具有损坏的头灯的1976福特格拉纳达”，作为响应，广告系统180可以针对替换头灯选择广告。如果被用来生成这些标签的图像的源是网址，广告可以在该网址上被显示。特别地，如果图像的源是图片分享或社交网络网站的账户，那么广告可以在该账户上被显示。广告系统180可选地被包括在图像处理系统110中。广告系统180可选地被配置为响应于特定的标签为提供广告报价。广告系统180可选地包括谷歌的Adwords。

图像处理系统110可选地进一步包括被配置为从图像源120的成员提取用于标签添加的图像的内容处理逻辑185。内容处理逻辑185被配置为解析包括图像以及可选地包括文本的网页，并从这些网页中提取用于标签添加的图像。产生的图像标签可以随后被提供至广告系统180以用于选择可以被置于从其中提取图像的网页的广告。在一些实施例中，内容处理逻辑185被配置为仿真浏览器功能以便于加载将通常显示在网页上的图像。这些图像可以被显示在与特定账户相关联的网页、社交网站、图片分享网站、博客网站、新闻网站、约会网站、运动网站、和/或之类网站。内容处理逻辑185可选地被配置为解析元数据标签以便于识别图像。

内容处理逻辑185可选地被配置为解析作为图像的被置于相同网页上的文本。该文本可以被自动识别系统152用在图像的标签添加，与图像的内容结合。例如，内容处理逻辑185可以被配置为识别图像的字幕、关于图像做出的评论、涉及图像的文本、网页主题或标题、图像内标签的人或物、图像内的文本(如由光学字符辨识(OCR)确定的)、和/或类似物。由内容处理逻辑185解析的文本或其子集可以被用来改进标签的速度和/或质量。所解析的文本被提供至自动识别系统152和/或提供至目的地125中的一个目的地以用于被人类审核者添加标签。在一些实施例中，自动识别系统152被配置为在用于图像的标签的生成中使用所提供的文本。例如，所提供的文本可以被用来提供文本、识别词典、本体论、语言、和/或信息，其提供自动地和/或手动地生成的图像标签的准确度、精确度、计算效率、和/或其它质量。所提供的文本通常不依赖于仅仅作为所生成的标签的源，但被用作输入以改进图像的处理。由此，产生的标签可以包括除了在所提供的文本中发现的那些之外的单词。

在一些实施例中，图像张贴逻辑165被配置为向目的地125提供在与图像相同的网页上发现的图像和文本两者。例如，在公园的女孩和自行车的图像可以具有字幕“山地车销售”或评论“生日快乐朱莉”。在目的地125，该文本可以与图像一起被呈现给人类审核者。人类审核者可以使用该信息来更好地理解图像的重点和/或上下文，并由此提供更好的图像标签。同样地，在一些实施例中，自动识别接口150被配置为向自动识别系统152提供在与图像相同的网页上发现的图像和文本两者。在自动识别系统152处，所提供的文本被用来基于图像的内容改进图像的自动标签。在以上示例中，所提供的文本可以向自动识别系统152建议应当在自行车上或朱莉上放置突出。这可导致迥异的标签，如“Schwinn自行车”或“生日女孩”。

图像处理系统110可选地进一步包括图像分级器190。图像分级器190被配置为确定用于标签图像的等级(例如，优先级)。优先级可以被用来确定(如果真要的话)如何标签图像。例如，优先级的确定可以基于图像的源、图像被加载至网页上的次数、图像在网页上的位置、图像在网页上被观看的次数、在其上包括图像的网页的数目、包括图像的一个或多个网页的分级、包括图像的网页的标识、在包括图像的网页上的第二图像的分级、包括图像的网页的所有者、包括图像的网页的域名、包括图像的网页上的关键词、在包括图像的网页上发现的文本、在包括图像的网页上发现的元数据、图像在网页上被点击的次数、其它图像在网页上被点击的次数、图像是否是视频的一部分、使用自动识别系统152自动地生成的图像标签、这些示例的任意组合、和/或类似。图像分级器190包括以存储在计算机可读介质上的硬件、固件、和/或软件为形式的逻辑。图像分级器190包括以存储在计算机可读介质上的硬件、固件、和/或软件为形式的逻辑。在各种实施例中，由图像分级器190确定的优先级包括两个级别(标签或无标签)、三个级别(自动标签、手动标签、或无标签)、十个优先级级别、或一些其它分级方案。

目的地逻辑160可选地被配置为基于图像的优先级选择图像的手动标签添加的目的地。

在那些实施例中，其中图像在网页上被加载的次数被用来确定优先级、该数量可以是每固定时间段的，诸如每天或每月。该数量可以通过包括网页上的Java或HTML脚本的行被确定，如本领域已知的。图像在网页上的位置可以被认为一些图像可在图像被观看之前需要观看者向下滚动。由此，图像实际上被观看的次数可以被用来计算图像的优先级。通常，更大的优先级被指派给更经常被观看的图像。图像分级器190可选地被配置为基于图像在网页上或其它网页上被点击的次数和/或其它图像在网页上被点击的次数向图像指派优先级。图像分级器190可选地被配置为基于图像在多于一个网页上被观看的次数确定优先级。例如，如果图像在25个不同的网页上被发现，那么在所有的网页上观看的总数可以被用来确定针对图像的优先级。在一些实施例中，图像分级器190被配置为基于图像在浏览器中被加载的次数确定优先级。

流行的图像可以被包括在若干网页中。例如，在社交媒体网站上广泛分享的图像可以被包括在若干网站上。图像分级器190可以被配置为根据图像被包括在其上的网页的数量和/或包括通向该图像的链接的网页的数量计算图像的优先级。图像分级器190可选地被配置为识别被包括在多个网页上的(本可能不相关的)图像。在一些实施例中，图像分级器190被配置为使用第三方服务，诸如TinEye.com，来确定图像被放置在其上的网页的数量。通常，在其上包括图像的网页的数量越大，被指派给该图像的优先级就越大。

在一些实施例中，图像分级器190被配置为基于包括图像的一个或多个网页的分级计算图像的优先级。例如，如果网页在搜索引擎中分级很高、被大量的其它网页链接、或者在一些其它标准下良好分级的，那么在该网页上的图像可以被给予以该网页的分级为函数的优先级。通常，分级越高，网页具有的分级越高，被指派给网页上的图像的优先级越大。网页分级可选地从诸如搜索引擎之类的第三方源获得。

图像分级器190可选地被配置为基于包括图像的网页的标识向图像指派优先级。例如，比起在针对相同的网站的另一网页处的图像而言，针对URL的主页上的图像可以被指派更大的优先级。此外，图像可以基于在其上包括图像的网页的特定类型而被指派优先级。例如，比起在公司网站或个人博客上的图像而言，在社交网络网站上的图像可以被给予更高的优先级。在另一示例中，相对于其它类型的网页而言，在诸如dictionary.com或Wikipedia.com之类的参考网页上的图像可以被给予更高的优先级。被指派至图像的优先级可选地是基于网页的拥有者的标识。

在一些实施例中，图像分级器190被配置为以在网页上的第二图像的优先级为函数确定在相同网页上的第一图像的优先级。例如，如果第二图像具有高优先级，第一图像的优先级可以被相应地增大。

图像分级器190可选地被配置为基于在其上包括图像的网页的其它内容向图像指派优先级。例如，如果网页包括文本和/或元数据，在该文本或元数据中的特定术语或关键词的存在可以被用来指派图像的优先级。特定地，如果网页包括有价值的关键词，那么在该网页上的图像可以被指派更高的优先级。关键词的估计的货币价值与用于广告或一些其它目的的单词的价值相关联，例如，在谷歌的上有价值的单词。包括会被Adwords较高地估值的术语的网页上的图像可以被指派适当地高的优先级。这些术语的使用的频率以及它们在网页上的数量还可以被图像分级器190考虑确定图像优先级。所考虑的文本和/或元数据可以被包括在网页的URL中、在图名中、在对图做出的评论中、在被第三方向图像指派的标签中，在人名、品牌名、商标、企业名、涉及图像的文本附近，和/或类似。

在一些实施例中，图像分级器190被配置为接收使用光学字符辨识从图像导出的文本并且基于该文本确定针对图像的优先级。例如，图像分级器190可以接收通过使用自动识别系统152处理图像而生成的文本，并基于该文本向图像指派优先级。在一些实施例中，图像分级器190被配置为向网页上的第一图像给出更高的优先级，相对于在该网页的更下方出现的图像而言。

图像分级器190进一步被配置为确定(如果真要做的话)如何基于所指派的优先级对图像添加标签。例如，最低优先级的图像可根本不被标签。具有稍微更高优先级的图像可以使用自动识别系统152被添加标签，并且具有更高优先级的图像可以由人类审核者在目的地125中的一个目的地处被添加标签。那些具有足够高优先级的、要被人类审核者添加标签的图像可选地进一步被分成较高优先级群组和较低优先级群组，在较高优先级群组中的被给予更多关注并被人类审核者更加彻底地或谨慎地做出标签添加。图像张贴逻辑165可选地被配置为向目的地125中的成员提供图像和图像的优先级的指示。

在一些实施例中，图像被首先使用自动识别系统152所处理。随后，该图像可以基于针对图像的优先级和由自动识别系统152执行的自动标签添加中的置信度两者被发送至目的地125中的一个或多个成员。例如，如果图像具有相对低的优先级，那么用于向人类审核者发送图像的置信度标准被设置为相对低。(低置信度标准意味着自动标签添加可能被认为是足够的并且该图像不用于人类分析而被发送。)如果图像具有相对高的优先级，那么用于向人类审核者发送图像的置信度标准相对较高。因而，高优先级图像要求更高的置信度以仅仅依赖自动标签添加，并且更可能被发送至人类审核者。

可被图像分级器190针对图像选择的处理路径例如包括a)根本不添加标签，b)仅仅使用自动识别系统152添加标签，c)基于重要性和/或产生标签的置信度，使用具有可选的人类跟进的自动识别系统152添加标签，d)自动标签添加之后跟着对该自动标签添加的人类审核，e)由人类审核者添加标签，和/或f)基于由要被人类审核者考虑的建议的级别由人类审核者添加标签。这些处理路径至少部分基于由图像分级器190向图像指派的优先级而被选择。这些处理路径的任意组合可以在各种不同的实施例中被发现。在一些实施例中，对被用来标签图像的处理的类型进行控制的结果导致可能更有价值的那些图像具有更大可能性被标签。作为结果，人类标签资源被应用至最高优先级——最有价值的图像。

在一些实施例中，图像分级器190被配置为基于与图像相邻或在其上显示的广告多经常被点击而指派针对图像的优先级。例如，如果图像处于经常被观看的网页上但是位于该图像之上的广告很少地被点击，那么该图像可以被给予相对高的优先级以用于标签。在该示例中，图像可以被添加标签多于一次。如果基于初始标签的广告并未以预期的频率被点击，那么该图像可以被重新加标签。重新加标签可选地由人类审核者执行，该人类审核者经由图像张贴逻辑165接收图像和初始(不适当的)标签。人类审核者可以使用该信息提供改进的标签。

图2图示了根据本发明的各种实施例的图像采集屏210。如图所示的图像采集屏210例如由在智能电话、电子眼镜或其它图像源120上执行的应用而生成。图像采集屏210包括被配置为采集图像、标签感兴趣的特定区域并且接收图像标签的特征。特别地，图像采集屏210包括被配置为拍照的快门按钮220。一旦图片被拍下，其被可选地经由网络115自动地发送至图像处理系统110以用于标签添加。图像采集屏210可选地进一步包括被配置为在图像以内突出感兴趣的点的矩形。矩形230是通过使用用户输入设备在屏上选择和/或拖拽是可控制的(例如，可移动的)。在典型的智能电话上，该用户输入设备可以包括响应于手指触摸的触摸屏。如本文中其它地方所描述的，感兴趣的点/区域可被提供至与要被添加标签的图像相关联的图像处理系统110。

图像采集屏210进一步包括显示先前采集的图像和产生的图像标签的场240。在该示例中，示出先前采集的图像包括没有矩形230的相同的白色杯子以及包括“白色星巴克咖啡杯(White Starbucks Coffee Cup)”的图像标签。还被示出的是所称“滑动以用于选项(Slide for options)”的文本。

图3图示了根据本发明的各种实施例的基于图像分析的搜索结果。这些结果可选地被自动地或响应于选择图2所示的“滑动以用于选项”输入而显示。它们可以通过在图像标签上自动地执行互联网搜索而被生成。图3图示的是赞助广告310、相关图像320和其它搜索结果330。搜索结果可选地使用广告系统180而生成并且图像标签使用图像处理系统110被生成。用户可以选择回顾先前添加标签的图像。该历史可以被储存在图像源120A上或在存储器135中。

图4图示了根据本发明的各种实施例的处理图像的方法。在这些方法中，图像被接收。该图像被提供至自动识别系统152和目的地125中的至少一个目的地两者。作为结果，计算机生成的和手动生成的图像审核两者被产生。在图4中图示的方法可选地使用图1中图示的系统的实施例被执行。图4至图8中图示的方法步骤可以以多种可替代顺序被执行。

在接收图像步骤410中，图像被图像处理系统110所接收。该图像可选地经由网络115从图像源120中的一个接收。该图像可以是诸如TIF、JPG、PNG、GIF等标准格式。该图像可以是形成视频的图像序列的一系列图像中的一个图像。该图像可已经被用户使用相机采集。该图像可已经被用户从电影或电视节目中采集。在一些实施例中，接收图像步骤410包括用户使用图像采集应用来采集图像并将该图像向图像处理系统110传送。该应用可以被置于相机、电视、视频显示设备、多媒体设备、和/或类似物以内。接收图像步骤410可选地使用内容处理逻辑185被促进。

在一个说明性的示例中，图像从图像序列(例如，视频)中被接收。该视频被显示在监视器、电视、护目罩、眼镜或其它显示设备上。该视频可选地经由诸如youtube.com或之类的视频流服务被接收和/或在浏览器内被显示。显示系统内的逻辑(例如，图像源120A内的图像标记逻辑147)被配置使得用户指示该视频内的图像的特定子集。相同的逻辑可以被配置为接收响应于图像标签从图像生成而被选择的广告并且将该广告显示在视频上或与该视频同时显示。基于图像标签的广告的选择在本文中的其它地方被进一步讨论。

特别地，使用该系统，用户可以选择视频或电影内的用于标签添加的对象并且作为回应可选地接收特征化该对象的标签。用户还可以或可替代地接收基于该标签所选择的广告。该广告可以连同视频实时地被显示(例如，作为覆盖或添加的视频序列)或经由其它通信通道(例如，电子邮件)被提供至用户。在一个说明性的示例中，用户看见在视频内的他们喜欢的对象。他们选择该对象并且该选择在接收图像步骤410中被接收。作为响应，他们接收与该对象相关的广告。随着视频在显示器上被观看，广告作为视频上的覆盖、条或字幕被实时地显示。广告可选地是交互式的，由于其包括做出购买的链接。

在一些实施例中，在图像内的对象可以包括被配置为辅助识别该对象的特定特性。例如，数据位的特定模式可以在图像内或在图像的对象内被编码。这些数据位可以为图像标签编码。

在可选的接收子集识别步骤415中，识别图像的一个或多个子集的数据被图像处理系统110接收。通常，一个或多个子集包括特定兴趣的项目位于其中的一组图像像素。该一个或多个子集可以被所接收的图像上的像素位置、屏幕坐标、区域和/或点识别。在一些实施例中，该子集被用户使用图像源120中的一个图像源的光标或触摸屏所选择。

在可选的接收源数据步骤420中，在接收图像步骤410中被接收的、关于图像的源的源数据被图像处理系统110接收。如本文中其它地方所讨论的，源数据可以包括地理信息、互联网协议地址、统一资源定位符、账户名、智能电话的标识符、关于在图像源120的成员上使用的语言的信息、搜索请求、用户账户信息、和/或类似。在一些实施例中，源数据被运行图像源120的应用/代理自动地发送。例如，全球定位系统坐标可以在智能电话上被自动地生成并被提供至图像处理系统100。

在可选的接收源分析优先级步骤425中，在接收图像步骤410中被接收的、用于图像的标签的优先级被图像处理系统110接收。在一些实施例中，优先级被图像源120A的用户手动地输入。在一些实施例中，优先级取决于为图像的审核付出代价的量。在一些实施例中，优先级取决于图像源120A的类型。例如，与从手持移动设备接收的图像相比，从静态网站接收的图像可以被自动地给予较低的优先级。与其源被移动电话号码识别的图像相比，其源由统一资源定位符识别的图像可以被给予较低的优先级。由此，优先级可选地由在接收源数据步骤420中被接收的源数据导出。

在步骤410-425被接收的图像和数据可选地被一起接收并且可选地被储存在存储器135中。

在分配图像步骤430中，图像以及可选地在步骤415-425中被接收的任何相关联的数据经由自动识别接口150被分配至自动识别系统152。该分配可以在图像处理系统110以内或者经由网络115。

在接收自动响应步骤435中，计算机生成的图像审核从自动识别系统152被接收。计算机生成的图像审核包括被自动识别系统152指派给图像的一个或多个图像标签。计算机生成的图像审核还包括置信度的度量。该置信度的度量是被指派给图像的图像标签正确地特征化图像的内容的置信度的度量。例如，相对于抽象形状的图像，主要包括可易于辨识的字符的图像可以接收更高的置信度的度量。

在可选的确定置信度步骤440中，在图像审核中包括的置信度的度量与一个或多个预定级别相比较。该预定级别可选地是图像审核的优先级、图像审核的价格、图像的源、和/或类似物的函数。在可选的确信？步骤445中，如果计算机生成的图像审核的置信度高于(多个)预定阈值该过程则继续到可选的执行搜索步骤450，如果计算机生成的图像的置信度低于(多个)预定阈值则继续到排队图像步骤460。确定置信度步骤440可选地使用审核逻辑170被执行。

在执行搜索步骤450中，被指派给图像的图像标签被用来执行搜索。例如，图像标签“福特车”可以被用来使用单词“福特”和“车”来自动地执行谷歌搜索。

在提供结果步骤455中，被指派给图像的图像标签以及可选地在执行搜索步骤450中被执行的搜索的结果被提供至图像审核的请求者。例如，如果图像从图像源120A被接收并且图像源120A是智能电话，那么图像标签和搜索结果通常被提供至智能电话。如果图像从诸如网站之类的图像源120中的成员被接收，图像标签和可选的搜索结果可以被提供至网站的主机、至第三方、至广告系统180、和/或类似物。在一些实施例中，图像标签被自动地添加至网站，使得图像标签是可搜索的，例如，可以被搜索以找到所审核的图像。

在排队图像步骤460中，图像被布置于图像队列145中。该布置可选地包括使用图像标记逻辑147标记图像的子集。如本文的其它地方所描述的，标记通常被配置为识别图像中的特定兴趣的对象。图像队列145中的图像的提升可以取决于图像的审核的优先级、图像的源、可用的人类图像审核者、计算机生成的图像的审核的置信度的度量、和/或类似物。

在确定目的地步骤465中，目的地125中的一个或多个成员被确定以用于图像的手动审核。目的地的确定可选地基于在从自动识别系统152被接收的计算机生成的图像审核中被包括的图像标签；可选地基于在不同目的地120处的人类图像审核者的专业；可选地基于这些人类图像审核者的审核分数，和/或基于本文讨论的其它标准。在一些实施例中，确定目的地步骤465基于特征化图像的数据和人类审核者的专业。特征化图像的数据可以是图像特征、图像描述符、和/或从其导出的信息。如本文中其它地方所讨论的，图像特征和/或图像描述符可选地与图像一起从图像源120中的成员被接收。由其导出的信息可以被生成在图像源120的成员处、在图像处理系统110处和/或在自动识别系统152处。

在张贴图像步骤470中，图像被张贴至在确定目的地步骤465中被确定的目的地125中的至少一个目的地。在一些实施例中，张贴图像步骤470包括将图像并行地张贴至多于一个目的地125。该图像可选地经由网络115被张贴并且可选地与以下所列的一起被张贴：突出图像的子集的标记、用于图像的源数据、在图像的审核失效之前的时间、用于从自动识别系统152接收的图像的图像标签、和/或类似物。

在接收审核步骤475中，图像的手动审核从(多个)所确定的目的地125中的一个或多个中被接收。该手动的图像审核可以包括被人类图像审核者指派至图像的一个或多个图像标签。该一个或多个图像标签表示图像的内容。该手动审核还可以包括升级请求、不可审核的图像的指示、图像不恰当的指示、审核失效的指示、和/或类似。

在图像被加标签？的步骤480中，该方法的进展取决于图像标签是否在接收审核步骤475中被接收。如果特征化图像的内容的图像标签被接收，那么该方法可选地继续至执行搜索步骤450以及提供结果步骤455。在这些步骤中，在手动图像审核以及可选地计算机生成的图像审核中包括的图像标签被使用。在计算机生成的图像审核中的图像标签的使用可以取决于该审核的置信度度量。

如果在步骤445中置信度度量被发现为高于(多个)预定阈值，步骤460-475是可选的。

在可选的升级？步骤485中，该方法的进展取决于升级请求是否已经被接收。如果这样的请求已经被接收，那么方法继续至确定目的地步骤465，其中目的地125的第二/不同的成员被确定。该确定可以取决于在手动图像审核中被接收的图像标签，该手动图像审核在接收审核步骤475中被接收。升级请求可以从人类图像审核者被接收或从图像审核的请求者(从图像源120A或120B等)被接收。在请求者已经有机会审核在提供结果步骤455中被提供的图像标签之后，升级请求可以被接收。例如，请求者可以首先接收包括“白车”的图像标签并随后请求审核升级，因为他们期望有进一步的信息。审核升级可以导致图像被提供至具有在汽车领域专业的人类图像审核者。该人类图像审核可以添加至存在的图像标签以产生“白车、1976福特格拉纳达”。在一些实施例中，当请求审核升级时，请求者可以添加指示图像的子集的源数据。例如，审核者可以希望指示在损坏的头灯上的特定兴趣。这用于将人类图像审核者注意力导向图像的该特征，产生包括“损坏的头灯”的标签，并导致导向用于1976福特格拉纳达的损坏的头灯的搜索(执行搜索步骤450)。

在一些实施例中，升级请求被审核逻辑170自动地生成。例如，如果图像审核出现得太简要，例如仅仅为“车”，那么审核逻辑170可以自动地初始化审核升级。在一些实施例中，升级请求的自动生成基于手动图像审核内的关键词的存在。例如，某些审核专业与关键词的列表相关联。在一些实施例中，当这些关键词中的一个关键词被接收在手动图像审核中并且自动审核升级被初始化。审核升级优选地包括具有与接收到的关键词相关联的专业的人类图像审核者。在特定示例中，一个专业包括“汽车”并且与关键词“车”、“卡车”、“货车”、“敞篷车”和“福特”相关联。当这些关键词中的一个关键词被接受在手动图像审核中时，审核逻辑170与审核逻辑157协商以确定具有在“汽车”专业的人类图像审核者是否目前是活跃的。如果是活跃的，那么自动升级被初始化并且图像被发送至具有“汽车”专业的审核者的目的地125B。

如果没有升级请求做出，那么在终止步骤490，该过程完成。

图5图示了根据本发明的各种实施例的处理图像的可替代方法。在这些方法中，步骤430-445中的至少一些与步骤460-475中的至少一些被并行地执行。在步骤460-475中的手动图像审核可以在步骤430-445的计算机生成的审核完成之前开始因而手动图像审核在获知计算机生成的审核的置信度度量之前开始。如果在确信？步骤445置信度度量被发现为高于(多个)预定阈值，那么步骤460-475可选地被终止。

图6图示了根据本发明的各种实施例的管理审核者池的方法。在该方法中，审核者的状态可以基于他们审核图像的水平被改变。所图示的步骤可以是图4和图5图示的方法的部分或与图4和图5图示的方法一致地被执行。例如，它们可以在接收图像步骤410与接收审核步骤475之间被部分执行。图示的方法包括向目的地125中的多于一个目的地发送图像。

在接收图像步骤410中，图像被接收。如在本文中其它地方讨论的，图像可以经由网络115在图像处理系统110处被接收。图像可以由相机生成和/或从网页获得。在一些实施例中，图像与关于该网页多经常被观看的信息一起被接收。

在选择第一目的地步骤610中，第一目的地被选择以用于图像的手动或自动分析。选择第一目的地步骤610使用目的地逻辑160被执行并且是确定目的地步骤465的实施例。如在本文中其它地方所描述的，针对图像的目的地的确定基于各种因素，包括人类审核者的状态和与审核者相关联的分数。例如，通常与活跃的审核者相关联的目的地125的成员将被选择，而不是没有活跃的审核者的目的地。所选择的目的地可以是目的地125的成员和/或自动识别系统152。

在张贴图像步骤470中，在接收图像步骤410中接收的图像被张贴至目的地125的所选择的成员。如在本文中其它地方讨论的，图像的张贴可以包括经由网络115使用诸如TCP或UDP之类的标准网络协议传送图像。

在可选的监视步骤620中，审核者逻辑170被用来监视在选择第一目的地步骤610中选择的目的地125的成员处的图像的手动图像审核的进度。监视可以包括检测人类审核者的输入、图像审核所用的时间、特征化图像的所提供的单词的数量、和/或类似。监视可选地包括测量标签图像所用的时间。其中检测包括人类审核者的输入的检测，监视可以是基于逐个击键的、基于逐个单词的和/或基于逐行的。由此，审核者逻辑170可以被配置为一次接收特征化图像字符、单词或行的数据。

在移除步骤620，图像在选择第一目的地步骤610中选择的目的地125的成员处从处理中被移除。“移除”可以包括在目的地125的所选择的成员处通知人类审核者他或她不再主要负责审核图像，将主要责任的人类审核者解除(而不必通知人类审核者)，将图像从人类审核者的显示器移除，和/或类似。在一些实施例中，移除步骤630包括仅仅将人类审核者置于分级中以具有针对审核图像的次级的或共享的责任。例如，如果与在选择第一目的地步骤610中选择的目的地125的成员相关联的人类审核者具有针对审核图像的主要责任，该责任现在可以被共享或指派给与目的地125的其它成员相关联的其它审核者。在该情况下，“移除”的是主要责任。

如果图像的手动审核用了太久的话，移除步骤630可以发生。例如，如果在监视步骤620中发现了审核者在预定时间之后并未开始输入，那么移除步骤630可以被执行。针对移除步骤630的触发事件的其它示例包括与目的地125的所选择的成员的通信丢失、针对图像的审核的分配超出预定时间、从人类审核者接收不恰当或不合适的图像、从人类审核者接收不准确(未特征化图像)的图像标签、从第一人类审核者至第二人类审核者的推荐、图像审核的升级请求、和/或类似。

在选择第二目的地步骤640中，目的地125的第二成员(或自动识别系统152)使用目的地逻辑160被选择。第二成员可以基于以上关于选择第一目的地步骤610和确定目的地步骤465所讨论的任何标准被选择。此外，在一些实施例中，第二成员的选择可以基于由与目的地125的第一成员相关联的人类审核者的特定推荐。例如，第一人类审核者可以识别图像的内容为第二人类审核者的专业并且可以将该图像推荐给与第二人类审核者相关联的目的地125的成员。在选择第二目的地步骤640中的目的地125的第二成员的选择可选地取决于使用自动识别系统152的图像的自动处理。

在另一张贴图像步骤470中，图像被张贴至在选择第二目的地步骤640中所选择的目的地125的成员。在一些实施例中，多于一个人类审核者可以并行地审核图像。他们可以独立地或合作地执行审核。一个审核者可以具有图像的审核的主要责任或者每个审核者可以具有同等的责任。一个审核者可以具有对一个或多个其它审核者的监督责任。在一些实施例中，在监视步骤620和/或移除步骤630之前，选择第二目的地步骤640被执行并且图像被张贴至目的地125的两个或更多成员。

在接收审核步骤475中，图像的审核(例如，图像标签)如在本文中其它地方所讨论的般被接收。审核通常包括特征化图像的内容的图像标签。审核可以从目的地125中的多于一个目的地接收。例如，特征化图像的标签可以从在选择第一目的地步骤610和选择第二目的地步骤640两者中被选择的目的地125的成员中被选择。随字符或单词被(多个)人类审核者提供，接收审核步骤475可选地实时地被执行。

在可选的关联标签步骤650中，特征化图像的一个或多个图像标签与图像相关联地被储存。所储存的标签可选地包括被多于一个的人类审核员提供的标签并且可以被储存在存储器135中。如在本文中其它地方所述的，标签可以进一步被提供至图像源120的成员(例如，在提供结果步骤455的实施例中)或用来使用广告系统180选择广告。标签还可以被提供至自动识别系统152并提供自动图像辨识过程的训练。

图7图示了根据本发明的各种实施例的实时地接收图像标签的方法。这些方法可选地被图像处理系统110执行并且图像标签可以是手动图像审核的结果。这些方法可以与本文描述的其它方法相一致，例如作为图4所示的方法的部分。该方法以张贴图像步骤470开始，在该步骤中，图像被提供至目的地125的一个或多个成员，如本文中其它地方所讨论的。图7中所示的方法可选地以接收图像步骤410为先，在该步骤中图像从远程计算设备中被接收。

在接收输入步骤710中，输入从目的地125的一个或多个成员接收。该输入通常包括由人类审核者提供的字符。例如，输入可以是由人类审核者在目的地125A处输入的字符。通常，随图7中所示的其它步骤被执行，接收图像步骤710被继续。

在检测第一单词步骤720中，单词在接收输入步骤710中被接收的输入中被检测。该单词可以被诸如ASCII空格之类的空格符或回车的存在所检测。拼写检查可选地在检测的单词上被执行。如果单词不被包括在拼写检查词典中，那么校正的尝试可以被做出或者人类审核者可以被通知辨识单词失败。

在检测第一单词步骤720中的单词的检测导致递送第一单词步骤730的执行，在该步骤730中单词被传送至图像的源。例如，一旦单词被检测到，其可被实时地提供至图像源120A。在图像源120A，该单词可以向用户显示。比起在显示图像标签的集合之前等待直到图像标签的整个集合被接收到而言，一次显示一个单词可以提供图像的分析发生在较短的时间量的印象。

在检测第二单词步骤740中，第二单词在接收输入步骤710中被接收的输入中被检测。再次地，单词可以被空白符的存在所检测并且可以在将第一单词提供至图像源120A处的用户之后发生。第一和第二单词两者被期待为特征化图像的标签。在检测第二单词步骤740的第二单词的检测触发了递送第二单词步骤750，在步骤750中第二单词被递送至图像源，例如，图像源120A。检测第二单词步骤740和递送第二单词750可以被重复用于第三、第四和附加的单词，每个单词作为图像标签的部分。

在检测完成步骤760中，指示图像的处理完成的数据被接收，该处理完成例如为检测到的单词包括要被人类审核者提供的全部单词(图像标签)。该数据可以包括诸如“/endtags”、ASCII回车、和/或类似的元数据标签。通常，检测完成步骤760在一个、两个或更多图像标签已经被接收之后发生。在可选的关联标签步骤650中，所接收的图像标签与图像相关联和/或与图像一起被存储，如本文中其它地方所讨论的。

虽然图7图示了单词在一次的检测和递送，在可替代的实施例中，单独的击键被检测和递送。接收输入步骤710可以与步骤720-740和/或750并行地继续。步骤710-760可以作为接收审核步骤475的部分被包括，在本文中的其它地方被讨论。

图8图示了根据本发明的各种实施例的升级图像审核的方法。在这些方法中，图像接收图像审核的多于一个阶段。接着第一审核(阶段1)，图像审核被升级并被进一步审核(阶段2)。用于升级的请求可以被自动地生成，被第一人类审核者发起，和/或响应于来自图像的源的请求。第一和第二审核两者可以是手动的，即有人类审核者执行的。可替代地，第一审核可以是自动的并且一个或多个随后的审核可以是手动的，或者第一审核可以是手动的并且一个或多个随后的审核是自动的。

在接收图像步骤410中，图像被接收。目的地125的第一成员被选择用于在选择第一目的地步骤610中的图像。该图像随后在张贴图像步骤470中被张贴。这些步骤在本文中的其它地方被讨论。

在接收第一审核步骤810中，图像的第一审核被接收。该第一审核可以包括特征化图像的内容的一个或多个图像标签。例如，响应于包括黑色蜘蛛的图像的图片，图像审核可以包括单词“黑蜘蛛”；或者响应于包括红色汽车的图像，图像可以包括单词“红车”。接收第一审核步骤可选地是接收审核步骤475的实施例，并且可以包括图像标签的实时通信，如关于图7所讨论的。

在一些实施例中，第一审核可以包括由执行第一图像审核的人类审核者所提供的、图像的处理应当被升级的指示。例如，第一人类审核者可以手动地指示针对第二(可选地专门化的)人类审核者的专长领域。例如，第一人类审核者可以提供“红车”图像标签并建议由具有汽车专长的审核者执行升级的审核。可替代地，第一审核可以包括被认为特别有价值的图像标签。例如，指示图像包括婚礼服装的可能性为72％的自动审核可以触发自动升级至手动审核，因为图像标签“婚礼服装”潜在地比其它图像标签具有更大的商业价值。在一些实施例中，该自动升级被审核逻辑170执行并且基于是否相对重要或有价值的关键词被存储在存储器135中的列表。该列表可以包括关键词和它们的价值的关联的度量。如本文中其它地方所讨论的，由审核逻辑170执行的自动升级可选地基于使用自动识别系统152和/或预测图像多经常将被观看的信息而自动生成的图像标签。这些因素可选地使用最大化使用人类审核者标签图像的潜在价值的算法并且基于这些标签提供广告而被应用。更有价值的图像标签的示例可以与鞋、车、珠宝、旅行目的地、书、游戏、衣服、假期、食物、饮料、不动产、银行、事故等相关。

在一些实施例中，图像审核的升级是自动的。例如，“黑蜘蛛”的标签可以自动地导致包括向具有特定专长(例如，蜘蛛专家)的人类审核者发送图像的图像审核的升级。特定的植物或动物生命的识别通常包括(取决于)位置信息，因为植物或动物的位置可以是对于恰当的识别而言重要的。

在一些实施例中，如本文中其它地方所讨论的，升级审核可以由原始请求图片被审核的人请求。例如，图像源120A的用户可以提供狗的图像并且接收包括“黑狗”的图像标签。用户可以随后通过提供单词“培育？”来要求进一步的细节。在该情况下，图像审核可以被升级并被发送至具有狗的培育的特定指示的人类审核者。在一些实施例中，用户用于升级被收费或者被要求具有高级账户以便于请求升级。用户在请求图像审核升级时可以指定图像的特定部分。

升级请求的存在(自动和/或手动地生成)在检测升级请求步骤820中被检测。检测可以基于从图像源120的成员、从目的地125的成员、自动识别接口150、和/或从诸如审核逻辑170、内容处理逻辑185或响应逻辑175之类的图像处理系统110的部件接收的数据或命令。

在选择第二目的地步骤640中，目的地逻辑160被用来选择目的地125的第二成员和/或自动识别系统152以用于图像的审核。该选择可以基于第一目的地步骤610基于的标准的任意一个，以及图像标签和/或从第一审核产生的其它信息。例如，目的地125的第二成员的选择可以基于，至少部分基于在第一图像审核中手动或自动地生成的图像。特别地，“黑蜘蛛”的标签可以被，目的地逻辑160使用以选择与具有蜘蛛的识别的专长的人类审核者相关联的目的地125的成员。在另一示例中，目的地125的第二成员的选择可以基于由请求图像审核的用户提供的单词。特别地，如果第一审核产生图像标签“白鞋”并且用户响应以“品牌？”，那么目的地逻辑160可以使用该信息选择与具有鞋品牌的专长的人类审核者相关联的目的地125的成员。

在选择第二目的地步骤640的一些实施例中，目的地逻辑160被配置为可能选择自动识别系统152以用于图像的第二审核，而不是选择目的地125的成员。例如，当图像已经被标签有演员的名字并且升级请求要求“电影名？”时，这可能发生。在这样的情况下，图像可以在电影图像的库中被搜索。相同的方法可以被采取以用于诸如货币、绘画、车型、商标、条形码、QR码、致命人士等的其它可重现的对象。

在张贴图像步骤470的另一实例中，图像被张贴至目的地125的第二所选择的成员或者自动识别系统152以用于图像的第二审核。在接收第二审核步骤830，特征化图像的内容的图像标签通常被接收。接收第二审核步骤830可选地是接收审核步骤475的实施例。可替代地，指示图像因为某些原因不能被标签的附加参照或其它信息可以被接收。图像标签从图像被张贴到的目的地125的成员或自动识别系统152被接收。如果需要的话，步骤820、640、470和830可以被重复。

在关联标签步骤650中，所接收的图像标签与图像相关联和/或被提供至图像的源，如本文中其它地方所讨论的。

在图8所示的方法的一个示例性示例中，图像从网页被接收。图像被发送至自动识别系统152以用于自动审核。自动审核的结果包括图像标签“戒指”。该标签使用审核逻辑170被处理并被识别为潜在有价值的图像以用于在广告中使用。如本文中其它地方所讨论的，该识别可选地还基于诸如图像多经常在网页上被观看之类的其它因素。作为识别的结果，图像的审核被自动地升级并被发送至与具有珠宝专长的人类审核者相关联的目的地125的成员。该人类审核者修改图像标签已包括“金的结婚戒指”并且这些标签与图像相关联。这些图像标签可以随后被用来使用本文中其它地方描述的系统和方法来选择广告。

在图8所示的方法的一个示例性示例中，图像从在移动设备上执行的应用被接收。该图像包括街景并被发送至目的地125A以用于被人类审核者审核。人类审核者以图像标签“街景”做出响应并且这些标签被提供至移动设备。对审核升级的请求随后从移动设备被接收。该请求包括文本“车型？”并且图像的部分的识别包括车。作为该请求的结果，图像、文本和识别被发送至目的地125A或者目的地125的另外的成员以用于进一步的手动审核。进一步的审核导致图像标签“1909型号T”，其随后被转发至移动设备。

在图8所示的方法的一个示例性示例中，图像从计算设备被接收。该图像包括放在盘上的多张纸币并被发送至目的地125A以用于手动审核。产生的标签包括“白盘上的美国货币”并被发送至计算设备。对于图像审核升级的请求被接收。该请求包括“多少？”作为该请求的结果，图像被发送至自动识别系统152，在该处自动货币识别逻辑被用来识别货币的量并且可选地提供总数。该信息随后被发送回计算设备。

在图8所示的方法的一个示例性示例中，图像从移动设备被接收。该图像包括植物树叶并被发送至目的地125A。在目的地125A处的人类审核者提供图像标签“绿叶”并且还升级图像审核。作为升级和图像标签的结果，图像被发送至目的地125B，其与具有植物学专长的第二人类图像审核者相关联。目的地125B的选择部分地基于图像标签“绿叶”。并行地，图像标签“绿叶”被发送至移动设备。在目的地125B处，第二人类图像审核者向已经存在的图像标签添加单词(标签)“毒葛”。这些附加的标签随后还被发送至移动设备。在移动设备上，单词“绿叶”首先被显示并且随后一旦可用单词“毒葛”被添加至显示器。

图8所示的方法可选地被用在与本文描述的其它方法相一致。例如，图像标签可以被用在本文中其它地方描述的竞拍标签步骤1560中。标签可以被用来选择广告并且广告被提供至用于与图像一起在网页上显示的远程浏览器。

图9图示了根据本发明的各种实施例的包括电子眼镜的图像源120A的示例。电子眼镜包括被人穿戴的眼镜。示例包括谷歌的“谷歌眼镜”、的“M100智能眼镜”、Innovega的iOptik^TM隐形眼镜、和/或类似。这些系统被配置为允许用户在同时间观看真实世界和电子显示器两者。电子眼镜还可以包括诸如Oculus VR的Oculus Rift^TM之类的虚拟真实系统。这些类型的系统使用电子显示器将图像向用户显示，但并不提供真实世界的同时直接观看。直接观看时不被用于观看而数字化的观看，例如，通过眼镜或镜片的观看。

通常，电子眼镜提供了当图像在电子眼镜中或通过电子眼镜被观看时用户可以实时地选择图像的子集的交互界面。如本文中使用的，“实时”选择意为图像在其被采集时以仅仅无关紧要的时延被观看。例如，实时地观看的图像可以被相机采集并且使用图像引擎处理并以仅仅从电子处理次数产生的时延被显示。实时观看允许用户随着图像被观看通过移动图像采集设备将感兴趣的对象定位在观看的图像以内。因而，实时观看排除了在观看之前已经被存储相当一段时间的图像的观看。

如图9所示，图像源120A包括被配置为采集图像的相机910。所采集的图像可以包括静止图像或包括图像序列的视频。显示器920被配置为将所采集的图像呈现给相机910的用户。在一些实施例中，诸如图像源120A是智能电话的那些实施例，显示器920包括被配置为用作相机910的取景器的触摸屏，以显示所采集的图像并且显示图像采集屏210(本文中其它地方所描述的)。显示逻辑925被配置为管理图像的显示以及显示器920上的其它内容。显示逻辑925可以包括存储在计算机可读介质上的硬件、固件、和/或软件。

在图9所示的实施例中，图像源120A进一步包括被配置用于图像源120的用户指示所采集的图像的子集的选择逻辑930。该指示可以随着图像正被显示和/或被采集在显示器920上而实时地在图像采集屏210内被做出。如本文中其它地方所讨论的，这样的指示被做出以选择在图像内的感兴趣的特定对象。跟着选择，图像的子集可选地使用图像标记逻辑147被标记，如本文其它地方所讨论的。图像标记逻辑147可以被使用向如显示器920内显示的图像添加标记。由此，用户可以看见已经被标记的位置。选择逻辑930可选地被配置用于用户重新标记图像的子集，直到用户对选择满意。

在一些实施例中，选择逻辑930包括追踪逻辑935以追踪用户眼睛的移动。追踪逻辑935可选地被包括在电子眼镜中。眼睛追踪可以包括检测双眼的聚焦点、一个或多个眼睛的方向(眼球方向)、一个或多个眼睛的聚焦、眨眼、眼球移动、和/或类似。追踪逻辑935可选地被配置为将用户眼睛的状态与所采集的图像内的位置相关联。表示相机910与选择逻辑930的物理因素之间的地理关系的地理数据被用来将用户眼睛的状态与使用相机910所采集的图像内的位置相关联。

追踪逻辑935可选地包括指向用户的眼镜的第二相机。该相机可以被安装在电子眼镜上或作为图像源120的其它实施例的部分。例如，被配置用于追踪用户的眼睛的追踪逻辑935可以被包括在网络相机中、智能电话中、计算机监视器中、电视中、平板计算机中、和/或类似物中。

在一些实施例中，追踪逻辑935被配置为检测一个或多个眼睛的眨眼。例如，追踪逻辑935可以被配置为检测单眼眨眼或眨眼的模式。当这样的时间被检测时，选择逻辑930可以基于从追踪逻935接收的眼位置数据选择图像内的位置，或者可替代地选择在目前观看的图像的中心的位置。

一旦图像已经使用标记逻辑147和选择逻辑930被标记，该标记的位置和/或区域可以在显示器920内的标记的图像上被显示给用户。例如，在标记位置处加上红色的“X”的图像可以在图像采集屏210内被显示给用户。在一些实施例中，用户可以随后使用确认逻辑940确认选择。确认逻辑940可选地响应于追踪逻辑935。例如，确认可以使用眨眼或其它眼动作、音频命令、口头命令、或触摸命令被提供。在一些实施例中，追踪逻辑935被配置为检测并理解为命令眼睛进入不自然位置(例如，内斜视)的移动。这样的移动可以被用来提供确认命令。确认可选地先于向网络115发送图像被要求。

在一些实施例中，选择逻辑930包括被配置为追踪除了眼睛之外的某些东西的追踪逻辑935。例如，追踪逻辑335可以被配置为检测用户的指点的手指(pointing finger)、穿戴在手指或手腕上的电子设备、和/或类似物。在这些实施例中，选择逻辑930被配置为基于所检测的对象推断图像内的位置。在一个实施例中，追踪逻辑935被配置为检测在图像内指点的手指的位置并且推断要被选择的位置在手指的尖端处。用户可以指点在其视野内的对象，向图像源120A提供音频、基于眼睛的和/或基于触摸的命令，并且指点的手指的位置将被用来做出图像内的位置的选择。在一个实施例中，追踪逻辑935被配置为检测无线电子设备相对于图像源120A的位置并且推断要被选择的位置沿着无线电子设备和图像源120A的部分之间的线。

图像源120A进一步包括被配置用于图像源120A经由网络115传送至图像处理系统110的I/O 945。I/O 945可以包括有线的和/或无线的连接。例如，在一些实施例中，I/O被配置为使用蓝牙^TM连接从电子眼镜向蜂窝电话无线地通信并且随后用于使用Wifi或蜂窝服务将通信从蜂窝电话被转发至网络115。

图像源120进一步包括被配置为存储使用相机910、地理数据、账户数据、和/或类似采集的图像的存储器135的实施例。存储器135包括诸如随机存取存储器(RAM)或只读存储器(ROM)之类的非暂时性存储器。存储器135通常包括被配置为存储所采集的图像和这些图像内的标记位置的数据结构。

图像源120进一步包括处理器950。处理器950是被配置为执行计算指令的数字处理器。例如，在一些实施例中，处理器950被编码有计算指令以执行显示逻辑925、选择逻辑930、图像标记逻辑147和/或追踪逻辑935。处理器950可选地包括特定用途集成电路(ASIC)或可编程逻辑阵列(PLA)。

图像源120可选地进一步包括对象追踪逻辑955。对象追踪逻辑955被配置为在一系列图像内追踪感兴趣的对象的移动。例如，在一些实施例中，用户可以使用选择逻辑930以选择被要求获得其信息的图像的子集或图像的方面。该子集可以包括一个或多个像素。对象追踪逻辑955被配置为使用自动(基于计算机的)图像解释逻辑以识别占用所选择的子集的特定对象。该对象可以是人、机动车、动物或任何其它对象。所选择的对象的边界或其它像素可选地被对象追踪逻辑955在显示器920中突出。该突出随对象在一系列图像内移动可以追踪对象并且可以包括改变像素的特性。该突出可选地与显示器上的对象一起移动。图像的一个方面可以是图像内对象的品牌、获得图像的电影、图像的内容的位置等。在一些实施例中，图像的方面可以使用诸如“鞋品牌？”、“电影？”、“演员？”、“位置”、“培育？”等文本被指定为感兴趣的。这种指定可以在对图像添加标签的原始请求中和/或升级请求中被提供。

在一些实施例中，从图像源120至图像处理系统100被传送的图像是包括短视频序列的一系列图像的部分。这些视频序列可以使用本文中其它地方描述的系统和方法来添加标签。对视频序列添加标签的一个优点是(多个)标签可以特征化发生在视频中的特定动作。例如，花样滑冰运动员的标签可以特征化特定的跳跃(勾手两周等)，其在视频中比在静止图像中更好地识别。各种实施例包括图像序列的长度上的特定限制，例如，视频必须不多于3、5、7或10秒。

虽然图9所示的实施例包括电子眼镜，这些实施例可以被适配为具有眼追踪技术的任何设备，包括手机、视频显示监视器(例如计算机或电视屏幕)、平板式计算机、广告显示器等。例如，图9所示的图像源120A的实施例包括具有被配置为确定用户正在观看电视屏幕的哪一部分的眼追踪相机的电视。

图像源120A可选地进一步包括被配置为执行用于标签图像目的的一个或多个步骤的图像处理逻辑960。图像处理逻辑960可选地被配置为通过执行这些在图像源120A本地的一个或多个步骤而减小图像处理系统110上的负载。例如，图像处理逻辑960可以被配置用于执行图像的标签的初始步骤并随后将这些初始步骤的结果发送至图像处理系统110以用于生成图像标签。在一些实施例中，图像处理逻辑960能够完成一些但不必是全部图像的标签过程。图像处理逻辑960包括存储在计算机可读介质上的硬件、固件和/或软件。例如，一些实施例包括被特定地配置为执行本文所讨论的图像处理逻辑960的功能的处理器950的实例。

在一些实施例中，图像处理系统110被配置为向图像源120提供图像处理逻辑960。这可选地经由诸如苹果的应用商店“App Store”。适用的话，向图像源120的成员提供图像处理逻辑960是本文所示的各种方法中的可选步骤。处理逻辑960可以被提供作为进一步包括本文所讨论的其它逻辑(例如，关于图9所讨论的逻辑)的计算机指令或“应用(app)”。

在一些实施例中，图像处理逻辑960被配置为识别图像内的特定特征。特征识别包括确定是否图像内的特定点是或不是给定类型的特征的部分。特征的类型包括但不限于边缘、角落、斑点(blob)和脊(ridge)。通常特征是图像的用于识别图像的内容的目的的“有趣的”或“有用的”部分。图像处理逻辑960可以被配置为执行若干不同特征检测算法中的一个或多个。在一些实施例中，图像处理逻辑960被配置为基于可用的处理能力和/或图像的内容从若干不同的算法中选择。已知的特征检测算法的示例包括“Canny”、“Sobel”、“Harris&Stephens/Plessy”、“SUSAN”、“Shi&Tomasi”、“阶层曲线曲率”、“FAST”、“高斯-拉普拉斯”、“海赛(Hessian)行列式”、“MSER”、“PCBR”和“灰度斑点(grey-level blobs)”。这些类型的算法在计算设备上被执行并且其它这样的算法将对本领域的普通技术人员显而易见。特征识别的结果包括在图像内的特定位置的特定特征类型的识别。这可以在“特征描述符”或“特征向量”等中被编码。特征检测的结构还可以包括表示在其处特征被识别的置信度水平的值。

在一些实施例中，图像处理逻辑960进一步被配置为基于所识别的图像特征计算图像描述符。图像描述符是图像的内容的视觉特征并且包括诸如形状、颜色、纹理和动作(视频中的)的特性。图像描述符可以是特定描述符域的部分，诸如与脸部辨识或货币辨识相关的描述符。图像描述符的导出通常基于图像特征。例如，3D形状描述符的导出可以基于所检测的边缘特征。图像描述符可以特征化图像内的一个或多个所识别的对象。

被用在特定实施例中的特定图像特征和图像描述符取决于使用的特定图像辨识算法。大量图像辨识算法在本领域是已知的。在一些实施例中，图像处理逻辑960和/或图像处理系统110被配置为首先尝试图像特征的识别和各种类型的图像描述符的导出，并且随后基于在其处图像描述符被导出的置信度水平从多个可替代图像处理算法中选择。例如，如果脸部辨识域中的图像描述符被导出具有高水平的置信度，那么特定于脸部辨识的图像处理算法可以被选择以从这些图像描述符中生成图像标签。

在包括图像处理逻辑960的那些实施例中，标签图像的任务可以分配在图像源120与图像处理系统110之间。任务如何被分配可以是固定的或可以是动态的。在分配是固定的实施例中特定的步骤与特定的设备相一致地被执行。在分配是动态的实施例中，步骤的分配例如可以响应于通信带宽、图像类型(静止或视频)、图像源120A上的处理能力、图像处理系统110上的当前负载、在目的地125处的图像审核者的可用性、步骤在图像源120上被完成的置信度、和/或呈现在图像源120A上的图像描述符数据。这些因素的任意组合被用来动态地分配处理步骤的分发。例如，如果图像描述符的导出以图像源120A上的低程度的置信度(相对于预定需求)发生，那么图像特征和/或图像可能被传送至图像处理系统110以用于使用更强力的或可替代的图像处理算法来导出图像描述符。相对比，如果图像描述度的导出在具有足够程度的置信度的图像源120A上发生，那么该步骤通常不需要在图像处理系统110上被执行。

如果图像处理步骤被图像处理逻辑960在图像源120A上成功地执行，图像和/或这些步骤的结果可以使用I/O 945被传送至图像处理系统110。例如，在一些实施例中，图像和图像描述符两者均被传送至图像处理系统110。图像描述符可以被用在自动对图像添加标签的尝试或可被提供至在一个或多个目的地125处的人类图像审核者。图像描述符可以被用来识别描述符域并且该域随后被用来选择图像被发送至的目的地125的成员。例如，“机动车”的描述符域可以被用来选择具有机动车专长的图像审核。基于图像描述符将图像分类进域中可以发生在图像处理系统110或图像处理逻辑960上。

在一些实施例中，图像的自动标签添加基于所导出的图像描述符被尝试。在各种实施例中，这使用图像处理逻辑960和/或自动识别系统152可以发生。分类可选地通过比较从具有与不同类别相关联的图像描述符的库的图像中导出的图像描述符而发生。例如，识别机动车形状的图像描述符可以与相关于“机动车”类别的之前所存储的图像描述符相匹配。如果该类别适合(类别、范围等)类别的识别可以足够自动地选择用于图像的标签。例如，匹配类别“儿童脸”的那些的图像描述符可以足够生成标签“儿童的脸”。

通常，图像处理系统110包括与相对于图像源120A的不同类别相关联的图像描述符的更大的库。这些库可选地被存储在图像处理系统110的存储器135或图像源120A或自动识别系统152中。存储在图像源120A中的图像描述符的库可选地基于使用图像源120A先前处理的图像。例如，如果多个来自图像源120A的图像被识别为具有关于货币的标签和描述符，在货币域/类别的描述符的库可以被存储在图像源120A的存储器135中。这些描述符可以与诸如“5美元钞票”之类的标签相关联。当具有描述符的相同集合的新图像被接收时，图像处理逻辑960可选地被配置为使用关联的标签自动地对图像添加标签。虽然描述符库可以从图像处理系统110被接收，或者可以使用从图像处理系统110接收的图像标签被开发，以上示例中的标签不取决于与图像处理系统110的实时通信。

在各种实施例中，特征化图像描述符和分类和/或标签之间的关系的数据可以在图像处理系统110、图像源120A、目的地125A和/或自动识别系统152上被开发。一旦被开发，数据可以被传送以改进和/或补充在任何其它设备处的库。

虽然所说明的系统示出了主从式架构，在可替代实施例中图像源120和目的地125以端对端架构被连接。在这些实施例中，图像处理系统110中所示的要素的任意组合可以被包括在图像源120和/或目的地125中。图像源120中的一个可以在从图像源120中的另一个接收的图像上执行本文所讨论的图像标签添加和处理任务。

图10图示了根据本发明的各种实施例的处理至少部分在图像源120A上的图像的方法。图10所示的方法可以包括执行在图像源120A上的一系列不同处理步骤。例如，那些涉及图像描述符的步骤可选地在图像处理系统110上被执行。

在接收图像步骤1010中，图像被图像源120A所接收。图像可以从被包括在图像源120A中的相机、从图像源120B、从网络115、从图像处理系统110、从无线设备、从存储器设备、和/或类似物被接收。所接收的图像可选地是形成视频的图像序列中的一个图像。

在识别特征步骤1020中，图像处理逻辑960被用来识别所接受的图像内的图像特征。如本文中其它地方所讨论的，识别图像特征的方法在本领域中是已知的。识别特征步骤1020可以应用这些方法的一个、两个或更多个。特征的识别可选地包括反映特征识别的所估计的准确度和/或完整性的置信度水平。

在可选的发送特征步骤1030中，在识别特征步骤1020中被识别的图像特征被发送至图像处理系统110。特征可以与或不与关联的图像一起被发送并且可以经由网络115被发送。如果发送特征步骤1030被包括在该方法中，该方法可选地接下来继续进行生成/接收标签步骤1070，在该步骤1070中用于图像的标签从图像处理系统110被接收。图像处理逻辑960可选地被配置为基于在识别特征步骤1020中被计算的特征的置信度水平执行发送特征步骤1030。例如，如果置信度低于阈值，步骤可以被执行并且图像和特征两者均被发送。

在可选的导出描述符步骤1040中，图像处理逻辑960被用来从在识别特征步骤1020中被识别的图像特征中导出图像描述符。如本文中所讨论的，各式各样的方法在本领域中都是已知的以用于导出图像描述符。在一些实施例中，导出描述符步骤1040包括使用多于一种方法。导出可以包括反映描述符导出的所估计的准确度和/或完整性的置信度水平。所导出的描述符的类型和内容通常取决于所使用的(多个)图像辨识算法。

在可选的发送描述符步骤1050中，在导出描述符步骤1040中被导出的图像描述符被发送至图像处理系统110。图像描述符可以与或不与关联的图像一起被发送并且可以经由网络115被发送。如果发送描述符步骤1050被包括在该方法中，该方法可选地接下来继续进行生成/接收标签步骤1070，在该步骤1070中用于图像的标签从图像处理系统110被接收。图像处理逻辑960可选地被配置为基于在导出描述符步骤1040中被导出的图像特征的置信度水平执行发送描述符步骤1050。例如，如果置信度低于阈值，步骤可以被执行并且图像和特征两者均被发送。

在可选的比较描述符步骤1060中，在导出描述符步骤1040中被导出的一个或多个图像描述符与本地存储的一个或多个图像描述符相比较。如本文的其它地方所讨论的，这些本地存储的图像描述符与图像类别和/或图像标签相关联。比较可以包括反映匹配的质量的特性的计算。

在一些实施例中，发送描述符步骤1050和比较描述符步骤160两者被执行。在该情况下，图像描述符的处理可以发生在图像源125A和图像处理系统110两者上。同样地，在一些实施例中，发送特征步骤1030和导出描述符步骤1040两者被执行并且图像特征在系统/设备两者上被处理。

在指派/接收标签步骤1070中，特征化图像的图像标签被生成和/或接收。例如，如果图像、图像特征或图像描述符已经被发送至图像处理系统110，那么对应的标签可以从指派/接收标签步骤1070中的图像处理系统100被接收。如果在比较描述符步骤1060中所导出的描述符与本地存储的描述符之间的匹配被发现，那么与本地所匹配的存储的图像描述符相关联的标签从本地存储器被获取并且指派给图像。对于相同的图像标签可以既被本地指派也被本地接收。图像标签可选地使用图像特征和/或描述符被生成，例如，没有图像处理系统110接收实际的图像。

在一些实施例中，指派/接收标签步骤1070包括将分类指派给图像，向图像处理系统110发送图像和分类，并且从图像处理系统110接收回对应的标签。标签可以使用图4所示的方法被识别。分类可以被图像处理系统100使用以使用自动识别系统152和/或在目的地125A处的人类审核者生成标签。

所指派的和/或接收标签(和/或其它结果)在提供结果步骤455中被提供，如本文中其它地方所讨论的。

图11图示了根据本发明的各种实施例的基于图像描述符处理图像的方法。该方法同城在图像源120中的一个上被执行。在示例性实施例中，步骤1010、1020、1040和1060被执行，如本文中其它地方所描述的。在分类图像步骤1110中，正被处理的图像基于在导出描述符步骤1040中被导出的一个或多个图像描述符与先前存储在图像源120中的一个上的图像描述符之间的匹配。被指派给图像的类别或多个类别是与先前所存储的匹配的图像描述符相关联的类别或多个类别。

在发送步骤1120中，图像和被指派给该图像的类别或多个类别被发送至图像处理系统110。该图像在那如本文中其它地方所描述的被处理以产生被指派给图像的图像标签。该处理可选地包括使用类别或多个类别以选择人类图像审核或辅助自动地标签图像。

在接收标签步骤1130中，被指派给图像的标签被在该处执行接收图像步骤1010的图像源120中的一个所接收。标签随后被呈现在提供结果步骤455中。

图12图示了根据本发明的各种实施例的使用反馈处理图像的方法。该方法可选地在图像源120A上被执行并且包括图像源120A与图像处理系统110之间的多个通信以便于改进图像的标签。在提供图像步骤1210中，图像从图像源120A被提供至图像处理系统110。

在接收第一响应步骤1220中，第一响应从图像处理系统110被接收。该响应可以包括一个或多个标签。在提供反馈步骤1230中，关于所接收的图像标签的反馈从图像源120A被提供至图像处理系统110。该反馈可选地被图像源120A的人类用户手动输入并且可以包括升级请求，如本文中其它地方所讨论的。反馈可以包括包括对所接收的标签的一个或多个标签的校正。例如，反馈可以包括标签中的一个标签不表示图像的指示。反馈可以包括图像的分类。

在可选的接收第二响应步骤1240中，第二响应从图像处理系统110被接收。第二响应通常使用在提供反馈步骤1230中提供的反馈被生成。在一个示例中，考虑到玩具车的图像，第一响应包括标签“车”，反馈包括术语“玩具”并且第二响应包括标签“费雪超级货车(Fisher-Price Superwagon)”。图12所示的方法可选地被用来改进图像标签的准确度。

图13和图14图示了根据本发明的各种实施例的基于图像描述符提供图像标签的方法。在图13中，图像描述符被用来生成随后在计算网络上被传送至图像描述符的源的图像标签。在图14中，图像描述符被用来确定用于图像的目的地125。在图13和图14中所示的方法可选地与本文中其它地方说明的方法结合地被执行。例如，这些方法的步骤可以与在图4中所示的那些相结合。

特别地，参照图13，在接收描述符步骤1310中，特征化图像的一个或多个图像描述符在图像处理系统110处被接收。这些图像描述符可选地被接收但没有关联的图像。仅接收描述符通常比接收图像要求更小的带宽。图像描述符可选地经由网络115从图像源120A被接收并且使用图10或11中所示的方法被生成。

在比较描述符步骤1320中，所接收的图像描述符与先前在图像处理系统110处存储(例如，存储在存储器135中)的一个或更多图像描述符相比较。该比较被做出以确定所接收的描述符中的任何是否匹配所存储的描述符。所存储的描述符与一个或多个图像标签和/或分类相关联地被存储。例如，所存储的描述符的一个集合可以与图像标签“橡树”相关联。

在获取标签步骤1330中，响应于所接受的描述符与所存储的描述符之间的匹配一个或多个图像标签被接收。所获取的图像标签是与所匹配的集合相关联的那些。

在提供标签步骤1340中，所获取的图像标签被提供回所接收的描述符的源，例如，至图像源120A。它们可在那被呈现给用户或以其它方式如本文中其它地方所描述的被处理。

图14图示了图像和特征化该图像的数据在图像处理服务器110处被处理的方法。在接收图像和数据步骤1410中，图像和特征化该图像的数据在图像处理服务器110处被接收。特征化图像的数据例如可以包括特征化图像的图像描述符或者图像的分类。图像和特征化数据可选地从图像源125A被接收。接收图像和数据步骤1410可选地是接收图像步骤410和接收源数据步骤420的实施例。

在确定目的地步骤1420中，用于图像的目的地基于特征化图像的数据被确定。目的地可以是目的地125和/或自动识别系统152中的一个。例如，如果特征化图像的数据包括特定分类并且所确定的目的地可以是与具有在该分类的专长的人类图像审核相关联的目的地125中的一个。确定目的地步骤1420可选地是确定目的地步骤465的实施例。

在张贴图像步骤1430中，图像以及可选地分类被传送至所确定的目的地。在接收标签步骤1440中，一个或多个图像标签被接收。图像标签基于图像并被选择以特征化图像。在提供标签步骤1340中，图像标签被提供至图像的源，例如，图像源125A。张贴图像步骤1430可选地是张贴图像步骤470的实施例。

图15图示了根据本发明的各种实施例的按优先级排序图像标签添加的方法。在这些方法中，图像分级器190被用来向图像指派优先级并且该优先级被用来确定图像如何被添加标签，如果其要被添加标签的话。在接收图像步骤410中，图像在图像处理系统110被接收，如本文中其它地方所讨论的。图像可以来自于图像源120中的一个，并且可以通过针对图像爬取(crawling)网页所接收。在一些实施例中，图像源120中的一个或多个包括被配置为爬取网站并从这些网站获取图像的逻辑。与图像一起被接收的信息可以包括关于从其中获取图像的网页的数据。例如，图像可以与来自网页的元数据和文本、指示网页多经常被加载(观看)的数据、网页的URL、和/或图像优先级可以根据其被确定的任何其它数据一起被接收，如本文中其它位置所讨论的。

在指派优先级步骤1520中，图像分级器190被用来自动地将优先级指派给所接收的图像。优先级可选地被从1至100的数值、被字幕等级或类似表示。优先级可选地暗示了图像的(顺序的)分级。如本文中其它地方所描述的，优先级可以基于各种因素被确定。

在确定处理步骤1530中，对图像添加标签(处理)的方法被确定。确定是基于图像的所指派的优先级的。在一些实施例中，具有最低优先级的图像根本不被处理(添加标签)。标签添加的方法包括自动添加标签和/或由人类审核者手动添加标签，如本文中其它地方所讨论的。

在可选的自动加标签步骤1540中，图像使用自动识别系统152被添加标签。自动加标签步骤1540可选地在确定处理步骤1530中确定的标签添加的方法并不包括自动识别系统152的使用的实施例中。自动加标签步骤1540可选地先于指派优先级步骤1520被执行。例如，图像可以使用自动识别系统152被标签，并且勇于自动生成的标签的置信度水平可以随后被用在指派优先级步骤1520中以确定用于手动(人类)添加标签的优先级。如果自动生成的标签的置信度是高的，那么用于手动添加标签的优先级可以被设定得较低，并且如果置信度相对较低，那么用于手动添加标签的优先级可以被设置得相对高。

在可选的手动加标签步骤1550中，图像被发送至目的地125中的一个以用于由人类审核者添加标签。图像可以与使用自动识别系统152和/或各种其它信息生成的标签一起被发送，如本文中其它地方所描述的。手动加标签步骤1550可以包括图6至图8所示的步骤中的任何步骤。

在可选的竞拍标签步骤1560中，广告被指派给图像以用于在网页上显示。该网页可选地是图像在接收图像步骤410中从其处被获得的网页。随着针对网页的请求被接收，竞拍标签步骤1560可选地被实时地执行。在该时刻，被指派给图像的(多个)标签可以被竞拍给愿意提供用于将广告置于该图像上面或旁边的最大报酬的一方。竞拍标签步骤1560可选地使用广告系统180被执行并且竞拍过程可以被诸如谷歌的之类的第三方所管理。

在可选的重新加标签步骤1570中，图像被重新添加标签。重新加标签步骤1570可以包括被指派给图像的(多个)广告与期待的点击率相比多经常被点击的分析。例如，如果基于第一标签被指派给图像的广告未以预期的点击率被点击，那么标签可能不是该图像的最优表示。该图像可以被重新添加标签以尝试改进被添加标签的广告的点击率。重新加标签步骤1570可以包括本文中公开的标签添加方法的任何一个，例如关于图6-8和15所讨论的那些方法。重新加标签步骤1570可以使用从第一标签产生的标签不是最优的知识。

由图15所示的方法还可以被应用至图像序列，例如，视频。图像序列可以被呈现在浏览器中或使用各种可替代应用。例如，视频可以从诸如youtube.com之类的网站或从诸如Netflix、Comcast有线电视、直播电视、Ruku或Hulu之类的流服务被提供至图像源120的成员。被用来确定视频内的图像是否应当被手动添加标签的因素包括：视频多经常被观看和/或所期待的标签的估计值。所期待的标签可以使用自动识别系统152、视频内的对话、伴随视频的文本(例如，描述、字幕或标题)、和/或类似物被图像的自动审核所指示。广告可以是在图像序列的开始或结束被附加或在图像序列中被接合的视频。因而，广告和视频可以相关联地被一起呈现。广告可以包括置于图像序列的部分、通常是包括所添加标签的图像的部分上的覆盖。

多个实施例在本文中特定地说明和/或描述。然而，将领会的是修改和变化被以上的教导所覆盖并且在所附权利要求的范围以内而不偏离其精神和意在的范围。例如，本文公开的图像可选地是视频的视频序列的部分。人类图像审核可以使用音频输入在目的地125处提供图像标签。音频输入可以使用置于目的地125上的音频至文本转换逻辑和/或图像处理系统110而实时地被转换为文本。图像标签可选地被拼写检查逻辑所处理。如本文使用的，术语“实时”意为没有非必要的时延，使得用户可以容易地等待完成。本文所描述的系统和方法可选地被用来对音频内容添加标签，诸如音乐或对话。该音频内容可以是视频的部分或以其它方式关联于图像。在一些实施例中，音频内容被自动地转换为文本并且该文本被用来辅助手动地或自动地对图像添加标签。从音频内容生成的文本可以以与本文为在包括图像的网页中找到的文本所描述的那些相似的方式被使用以辅助对图像添加标签。

本文所讨论的实施例说明了本发明。由于本发明的这些实施例参照说明被描述，所描述的方法和/或特定的结构的各种修改或适配对于本领域技术人员而言可变得显而易见。依赖本发明的教导以及通过其这些教导已经推进本领域的所有的这些修改、适配或变化被认为处于本发明的精神和范围以内。因而，这些描述和附图不应当被认为是限制的意义，因为要理解的是本发明绝不仅限于所说明的实施例。

本文涉及的计算系统(例如，图像处理系统110、图像源120和目的地125)可以包括集成电路、微处理器、个人计算机、服务器、分布式计算系统、通信设备、网络设备、或类似设备，以及以上的各种组合。计算系统还可以包括易失行和/或非易失行存储器，诸如随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、磁介质、光介质、纳米介质、硬盘、压缩盘、数字化通用光盘(DVD)、和/或被配置用于诸如在数据库中储存模拟或数字信息的其它设备。以上所指的逻辑的各种示例可以包括硬件、固件、或存储在计算机可读介质上的软件、或其组合。如本文使用的计算机可读介质明确地排除了纸。本文指出的方法的计算机执行的步骤可以包括储存在计算机可读介质上的一组指令，当被执行时使得计算系统执行该步骤。被编程以依照来自程序软件的指令执行特定功能的计算系统是用于执行那些特定功能的特殊用途计算系统。当执行那些特定功能时被特殊用途计算系统操作的数据至少被电气地保存在计算系统的缓冲器中，利用每次对所储存的数据的改变将特殊用途计算系统从一个状态物理地改变至下一个状态。本文讨论的逻辑可以包括存储在计算机可读介质上的硬件、固件、和/或软件。该逻辑可以在电子设备中被执行以产生特殊用途计算系统。

Claims (6)

1.一种处理图像的方法，所述方法包括：

使用便携设备接收图像；

使用所述便携设备的处理器识别所述图像的特征；

确定所识别的特征不包括用来生成所述图像的描述符所需的最小特征集合，并且作为响应经由通信网络将所述特征和所述图像提供至远程图像处理服务器；

基于所述特征和所述图像从所述远程图像处理服务器接收一个或多个图像标签；以及

将所述一个或多个图像标签显示在所述便携设备的显示器上。

2.一种处理图像的方法，所述方法包括：

使用便携设备接收图像；

使用所述便携设备的处理器识别所述图像的特征；

确定所识别的特征不包括用来生成所述图像的描述符所需的最小特征集合，并且作为响应经由通信网络将所述图像提供至远程图像处理服务器；

基于所述图像从所述远程图像处理服务器接收图像标签；以及

将所述图像标签显示在所述便携设备的显示器上。

3.根据权利要求2所述的方法，其中接收所述图像包括使用所述便携设备的相机采集所述图像。

4.根据权利要求2所述的方法，其中识别所述特征包括识别所述图像内的边缘或脸。

5.一种移动设备，包括：

相机，被配置为采集图像；

显示器，被配置为显示所述图像；

图像处理逻辑，被配置为生成识别所述图像的特征的数据，并且进一步被配置为确定所识别的特征是否包括用来生成所述图像的描述符所需的最小特征集合，并且进一步被配置为如果所识别的特征至少包括所述最小特征集合，则将所述特征提供至远程图像处理服务器，并且否则将所述图像发送至所述远程图像处理服务器；

数字I/O，被配置为将所识别的特征或所述图像传送至所述远程图像处理服务器并且从所述远程图像处理服务器接收一个或多个图像标签，所述一个或多个图像标签基于所识别的特征或所述图像；

存储器，被配置为储存所述图像；

显示逻辑，被配置为将所述一个或多个图像标签呈现在所述图像上；以及

微处理器，被配置为至少执行所述图像处理逻辑。

6.根据权利要求5所述的移动设备，其中所述显示逻辑被配置为显示使用所述一个或多个图像标签所选择的广告。