CN102402582B - 提供与相关媒体项相关联的对象和个体之间的关联 - Google Patents

Abstract

本发明涉及提供与相关媒体项相关联的对象和个体之间的关联。各实施例将标识和/或报告特征作为管理产品和/或服务的各方面的一部分来提供，但是并不限于此。在一实施例中，计算机实现方法使用一个或多个搜索参考来标识与该一个或多个搜索参考相对应的媒体项以及与每一媒体项相关联的一个或多个个体。在一个实施例中，该方法提供将一个或多个图像当作一个或多个搜索关键词输入来使用，以标识媒体集中的相关图像的搜索和标识服务，该服务包括将任何描绘个体的信息与搜索关键词输入相关联。在一个实施例中，计算系统用于将关联、报告、和/或显示服务作为通过使用一个或多个搜索参考搜索整个图像集来管理资产的一部分来提供，该图像集用作通过将与图像及所述一个或多个搜索参考相关联的各个体间的关联进行特征化来确定产品或服务如何被使用的一部分。包括并可使用其他实施例。

Description

提供与相关媒体项相关联的对象和个体之间的关联

技术领域

本发明涉及提供与相关媒体项相关联的对象和个体之间的关联的方法和系统。

背景技术

计算和联网的进步已促成了诸如协作和社交网络应用程序环境等在线应用程序环境范例的连续成功。例如，在线社交网络现在能够捕捉大量的人口统计学信息，这些人口统计学信息可出于各种目的而被使用。例如，可以向尝试以针对性的方式来销售其产品或服务的公司出售和销售某些有用的用户信息。由于具有如此大量的信息，对公司产品和/或服务正如何被使用和/或描绘的管理和管控变得较难。不幸地是，每一公司都需要执行昂贵而耗时的研究来确定某些公司资产是如何被使用或关联的，诸如例如品牌或产品线的设计或标志是如何被描绘的等。复杂性和成本与规模相混合，并且对品牌的各个使用或与品牌的关联的管理可变得极其昂贵。

发明内容

提供本发明内容是为了以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

各实施例将标识和/或报告特征作为管理产品和/或服务的各方面的一部分来提供，但是并不限于此。在一实施例中，计算机实现方法使用一个或多个搜索参考来标识与该一个或多个搜索参考相对应的媒体项以及与每一媒体项相关联的一个或多个个体。在一个实施例中，该方法提供将一个或多个图像用作一个或多个搜索关键词输入来标识媒体集中的相关图像的搜索和标识服务，该服务包括将任何所描绘个体的信息与搜索关键词输入相关联。在一个实施例中，计算系统用于将关联、报告、和/或显示服务作为以下各项来提供：通过使用一个或多个搜索参考搜索整个图像集来管理资产的一部分；通过将与图像相关联的每一个体和所述一个或多个搜索参考之间的关联进行特征化来确定产品或服务的正如何被使用的一部分。包括并可使用其他实施例。

通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。可以理解，前述一般描述和以下详细描述均仅是说明性的，并且不限制所要求保护的本发明。

附图说明

图1是示例性计算环境的框图。

图2是示出示例性过程的流程图。

图3是示出示例性过程的流程图。

图4描绘了多个示例性参考搜索图像或关键词。

图5描绘了多个示例性参考搜索图像或关键词。

图6是对包括图形与文本增强的示例性匹配图像的显示。

图7是对包括图形与文本增强的示例性匹配图像的显示。

图8是示出用于实现此处所描述的各个实施例的示例性计算环境的框图。

具体实施方式

各实施例提供用于部分地基于搜索关键词标识过程来提供报告和其他服务的系统、方法及其他操作特征和功能，该搜索关键词标识过程使用了与某信息库相关联的数据表示或结构。在一实施例中，计算系统包括图像处理和报告引擎，该引擎使用一个或多个搜索关键词输入或参考来定位被包括为在线库的一部分的相关图像。在一个实施例中，计算系统可用于部分地基于将搜索关键词输入的各方面与在存储集中包括的媒体项的各部分进行比较来标识相关媒体项。例如，计算系统可连同各个搜索关键词输入一起用作确定特定品牌正如何被在线媒体集中的用户使用或者正如何与在线媒体集中的用户相关联的一部分。在一个实施例中，计算系统可用于提供可出于进一步的搜索、报告和/或显示的目的而被使用的信息输出。例如，如将进一步描述地，系统可分析任何相关媒体项的各方面，这包括结构化标识边界，以部分地量化媒体项内容，其中包括提供复杂的查询报告特征。

在一实施例中，系统被配置来：提供对诸如嵌入式和非嵌入式照片和/或视频等图像信息的整个集合进行扫描的服务；标识与诸如例如参考图像和/或短语等搜索参考相关联的相关媒体项。例如，该服务可利用包括光学字符识别(OCR)操作、图像匹配操作、和/或其他标识特征的处理特征来标识与主存在计算网络上的所上传图像相关联的文本信息、人、动物、和/或图形。

在一个实施例中，该服务包括部分地基于与用来标识相关或“匹配”图像的搜索参考或关键词的某种关联(例如，相邻于相同集合(例如，社交团体等)内的另一图像的邻近性/距离)来标识图像中的个人的方法。例如，该服务可用于在确定在图像或视频帧中捕捉到的文本、个人和/或图形与表示已知的品牌、标记、标语或其他源标识符的一个或多个搜索参考相关时，将该图像或视频帧标识为是相关的。一旦例如诸如视频帧或图像等媒体项被标识为是相关的，服务可用于提取并存储任何关联元数据，该元数据包括与项目拥有者和/或其他个人有关的人口统计学信息或者与相关媒体项相关联的位置。

图1是示例性计算环境100的框图。示例性计算环境100中的组件包括部分地基于对特定来源或其他标识符的使用来提供比较性处理、报告、和/或呈现特征的功能，但并不限于此。在一实施例中，环境100中的组件可被用来标识包括诸如商标设计或文字标记、品牌、标记、标语、标志、图形表示、和/或其他潜在的营业权标识符等某种来源标识符的在线站点集中的相关图像。

如图1所示出地，在一实施例中，环境100包括搜索参考组件102、搜索引擎组件或搜索引擎104、匹配信息组件106、和/或信息集合组件或信息集合108，但并不限于此。示例性计算环境100包括处理单元、存储器、软件、和/或其他组件和特征。搜索引擎104使用可从搜索参考组件102处访问的和/或可直接用搜索请求来提交的搜索关键词来标识相关数据表示，该相关数据表示包括图像和图像部分、文件和文件部分、以及能够包括所利用的搜索关键词中的所有或部分的其他数据表示。

如以下将进一步讨论地，搜索引擎104可用于部分地基于关联搜索关键词来返回与每一相关搜索结果相关联的信息。例如，作为理解某些产品正如何被使用的一部分，企业可上传任何相关标记、标语等参考图像来用作搜索包括图像文件及其部分、视频文件及其部分、静止图像、音频和其他数据表示的媒体集的一部分。参考图像可被搜索引擎104使用来部分地标识产品或服务正如何被与诸如信息集合108之类的媒体集相关联的个体所使用和/或感知。

信息集合108并不限于任何单个组件或存储库，而是可包括分布式和世界范围内的集合，诸如与万维网相关联的存储库和被主存的集合。作为一个示例，用户可在管控对知识产权(诸如例如产品商标等)的使用时，使用客户端(诸如浏览器应用程序或操作系统组件等)上传感兴趣的一个或多个图像或文件(诸如例如品牌标记描绘或产品图像等)来作为搜索参考。搜索引擎104可将在搜索参考组件102中包含的信息用作定位相关媒体项的一部分，但并不限于此。

在一实施例中，搜索引擎104将一个或多个搜索关键词或参考用作搜索操作的一部分，以标识在包括一个或多个数据表示(包括视频、图像、数据和元数据)的信息库中存储的一个或多个相关媒体项。例如，搜索引擎104可使用OCR、模式匹配、脸部识别、和其他数据和/或图像处理方法来标识包括搜索关键词的所有或某一可标识部分的相关媒体项。

在一个实施例中，搜索引擎104用于捕捉包括元数据的与每一相关媒体项相关联的信息以及与关联于该相关媒体项的一个或多个个体的关联。例如，搜索引擎104可检索与相关媒体项相关联的任何用户(包括在相关媒体项中捕捉到的创作用户、所标记的用户和/或所标识的用户)的简档信息。在一个实施例中，搜索引擎104可用于收集与可能松散地连接至所标识的/所标记的用户的用户相关联的信息。例如，部分地基于特定的一个或多个相关媒体项或，搜索引擎104可捕捉在相关图像中标识的用户的所有朋友的列表。作为另一示例，搜索引擎104可用于捕捉与在相关图像中标记的用户出现在相同相册中的用户的列表。

搜索引擎104可用于将每一相关媒体项、捕捉到的信息以及关联搜索关键词相关联，这包括在存储介质中存储每一关联或映射以及捕捉到的信息。在一个实施例中，搜索引擎104可用于定义在每一相关媒体项(或其部分)、捕捉到的信息和/或搜索关键词之间的映射，以便通过无需多次存储相关媒体项、简档数据和/或搜索关键词来提高对存储的使用。或者，搜索引擎104可用于将捕捉到的信息连同每一相关媒体项一起存储到诸如例如数据库服务器或者其他在线或本地资源等某个专用存储中。

如以下将进一步讨论地，搜索引擎104可被用来使用搜索关键词或参考的各方面来定位相关媒体项，以及提供与描绘于或关联于相关媒体项的个体相关联的包括简档和关系信息的信息。在一实施例中，搜索引擎104可包括要进一步细化相关媒体项搜索的过滤特征。例如，可用参数来启用搜索引擎104以过滤图像搜索过程，诸如仅搜索包括个人的媒体文件、仅搜索在某一时间范围内(例如，在上个月等)创建的媒体文件、仅搜索来自具体地理位置的媒体文件和/或仅搜索具体的搜索图像、具体的图形和/或具体的搜索短语。搜索引擎104可结合搜索任何信息库来使用，但并不限于在此描述的任何示例或实施例。

继续参考图1，在一实施例中，搜索引擎104使用多个搜索参考来：使用一个或多个OCR和模式识别算法来定位包括在媒体集中的相关媒体项；部分地基于每一搜索参考来标识每一相关媒体项的相关部分；收集在每一相关媒体项中描绘的每一个体的简档信息；对于每一相关媒体项，确定在每一所描绘的个体和关联搜索参考之间的关联；以及相对例如某一站点集或各站点集的集合，存储包括简档信息和/或关联搜索参考的每一相关媒体项的关联。

在一个实施例中，搜索引擎104使用诸如参考图像和/或短语输入等搜索关键词输入来定位相关媒体项。例如，搜索引擎104可使用图像参考数据库中所包含的参考图像以及短语参考数据库中所包含的参考短语来标识个体及其与产品品牌的关联，这包括收集与每一相关图像相关联的个体的信息。搜索图像示例可包括，但不限于，产品、产品标记、地标、标识和/或其他标识特征。媒体库的物理对象描绘可包括在对象从多个角度或在多个方向中出现时的描绘。搜索短语示例可包括用字母数字式的字符、街道符号、标签上的文字、或在媒体项中出现的其他文本来书写的产品标志。

对搜索引擎104的使用的一个示例示出了众多能力中的一些。假设某公司想要了解消费者对某种产品或品牌的使用。该公司可将例如产品标签(例如参见图4和5)的图像上传到搜索参考组件102中。可将一个或多个所上传的图像用作参考搜索图像。该公司还可指定要查找的任何感兴趣的文字或短语。可将所指定的文字或短语存储在搜索参考组件102中或者将其分开地提交。可将短语中的一个或多个用作搜索短语。

在一个实施例中，环境100中的组件可使用各种已知的或开发中的OCR算法、模式匹配算法、和/或其他处理技术来扫描整个数据表示集合(例如，图像和视频的媒体库)，以定位相关媒体项。可将二维、三维或其他维度的场景的数据表示作为标识一个或多个公司资产(诸如产品线或品牌)的一部分来进行扫描。用于在文件中存储图像的示例性格式包括图形交换格式(GIF)、标签图像文件格式(TIFF)、联合图像专家组(JPEG)、二进制交换文件格式(BIFF)、位图(bmp)等。例如，搜索引擎104可被实现为在与所主存的社交网络应用程序相关联的服务器上运行，该所主存的社交网络应用程序包括含由该社交网络应用程序中的用户上传的数字图像的整个目录的媒体库。

如上所述，搜索引擎104可用于检测在一个或多个之前上传的图像和/或当前提交的图像之间的匹配和/或具体的相关性关联。例如，如果搜索引擎104根据每一已实现OCR算法、模式匹配算法和/或其他类似的处理技术标识了具有高于指定阈值的匹配强度的图像，则搜索引擎104记录每一“匹配”图像和在该图像中所标记的用户的人口统计学信息。一些社交网络应用程序提供允许用户标记图像中描绘的用户的功能。在一个实施例中，搜索引擎104可将人口统计学信息和匹配图像编译成可搜索的数据库。例如，公司可能想要查看以被在加利福尼亚州、俄勒冈州和华盛顿州的年龄在18-26岁的男性使用的产品为特征的照片的集合。而且，搜索用户可使用相关图像的信息来挖掘(drill down)和引出(elicit)更多的知识。例如，作为使用由搜索引擎104所提供的信息的交互式分析体验的一部分，用户可从特定产品或相关图像项所出现的州的热图开始，随后可选择使用位置过滤器(例如，西海岸)来进行挖掘，然后用性别过滤器(例如，仅男性)再根据年龄等来进行挖掘。

在另一实施例中，搜索引擎104构建与所上传的图像、视频和/或音频数据表示相关联的信息的媒体库，以供存储在匹配信息组件106中。在包括但不限于针对以下用户的关联的各种情况下，搜索引擎104可将一个或多个用户简档与所上传的图像、视频和/或音频数据表示相关联：创作或上传了媒体项的用户；在媒体项中标识的用户(例如，脸部识别、统计图像匹配等)；被标记为出现在媒体项中的用户；出现在与具体的媒体项邻近的另一媒体项中的用户(例如，用户出现在相同的在线影集、文件夹、或站点集内的另一照片中)；在相同地理位置同时记录媒体项的用户；和/或其他情况和条件。可将媒体库实现为在本地存储的和/或在服务器上存储的、并经由网络或多个网络来进行访问的媒体文件的集合。

在一个实施例中，用户简档包括与用户有关的人口统计学信息，该信息包括但不限于：年龄、当前的住处、当前的工作地址、职业、头衔、兴趣、状态、关系等。在一个实施例中，每一媒体文件包括和/或映射至元数据，诸如媒体项所记录或存储的地理位置(例如，地理标记、定位器服务/应用程序等)、记录的日期与时间、和/或可交换图像文件(EXIF)数据(例如，照相机的制造商和型号、快门速度、闪光等)。在一个实施例中，匹配信息组件106包括含要报告的关于其中找到了搜索图像和/或搜索短语的媒体项的信息的数据库。在一个实施例中，对于每一搜索图像和/或搜索短语，数据库中的记录可包括各相关媒体项或者该媒体项的参考或映射、和/或在媒体文件中找到或标记的所有用户的用户简档或其参考或映射。

在一实施例中，环境100中的各组件提供基于网络的服务，该服务用于快速地标识被包括为已部分地基于一个或多个参考搜索输入而被标识的相关媒体项的一部分的一个或多个个体与一个或多个对象之间的关系。在某些情况下，可报告、存储和/或显示在个体和/或对象之间的关系信息。在一个实施例中，可将匹配图像存储为仅包括被标识为是相关的媒体项的相关部分或多个部分。

在一实施例中，搜索引擎104可包括用于为在相关媒体项中捕捉到的每一个所标识的个体和/或对象创建边界标识符和/或关联的功能。可将边界标识符结构化成不同的几何维度、颜色和/或形状。可提供个人匹配边界标识符来标识在相关媒体项中捕捉到的用户。可提供对象匹配边界标识符来标识在相关媒体项中捕捉到的对象。也可将对象匹配边界标识符结构化成不同的几何维度、颜色和/或形状。结合一个或多个搜索参考来使用各种处理和标识技术，可解析出(resolve)所标识的用户和/或对象。可将图像、图像部分和/或数据流中的图像部分标识为是相关的，以供进行进一步地搜索和分析。

在一个实施例中，可考虑使用边界标识符的各部分来确定与对应于某参考关键词的对象的用户关联(诸如例如对某种产品品牌或类型的偏好等)的相关性。也可使用边界部分(例如，点和位置)来确定在一个或多个所标识的个体和所标识的对象之间的相对距离。例如，可使用各重叠的边界标识符来确定用户对产品的物理处理。可检查某些边界关联来得到相关性的程度(例如，高度相关、相关、有些相关、不相关等)。可检索关于各个用户的个人匹配边界标识符之间的关系的其他数据和元数据，以确定与相关对象、某一其他对象、另一个体和/或某一其他媒体项的相关性关联。可报告和/或显示某默认文本信息和/或用户配置信息，以向某一搜索或发现用户提供信息性的信息。

示例性计算系统包括用于根据标识各相关媒体项和确定与其的各种关联的方法来进行操作的合适的编程装置。合适的编程装置包括指示计算机系统或设备执行方法中的各步骤的任何装置，例如包括由处理单元和耦合到计算机存储器的各算术逻辑电路组成的系统，该系统具有在计算机存储器中进行存储的能力，该计算机存储器包括配置来存储数据和程序指令的电子电路。示例性计算机程序产品能与任何合适的数据处理系统一起使用。尽管以上描述了一定数量和类型的组件，但可以理解，可根据各个实施例而包括其他数量和/或类型和/或结构。因此，根据所期望的实现，还可将组件功能进一步进行划分和/或将其与其他组件功能组合在一起。

图2是示出示例性过程200的流程图。在一实施例中，过程200包括提供标识、报告、和/或其他服务的功能，该功能包括标识包括一个或多个个体与一个或多个搜索参考或关键词的关联的数据表示，但并不限于此。尽管针对图2中的示例性流程图描述了一定数量和次序的操作，但可以理解，可根据所期望的实现而使用其他数量和/或次序。

在202处，过程200将一个或多个搜索图像用作输入参考，该输入参考作为标识被包括为媒体集或其他库的一部分的相关媒体项的一部分。例如，服务顾客可上传作为由在线社交网络集中的用户来确定对特定服务或产品的使用或关联的一部分的一个或多个图形、文本、图像、和/或其他搜索关键词参数。可使用所上传的搜索关键词参数来标识在该集合中包含的相关媒体项以及与每一相关媒体项相关联的个体(诸如在与关联于感兴趣的搜索关键词的一个或多个对象具有某种关系的图像中描绘的个体)。作为示例，顾客可上传品牌图像和文本作为标识与作为销售研究程序的一部分的特定品牌相关联的相关图像的一部分。在一个实施例中，过程200在202处用于参考例如按照顾客、品牌、或某一其他准则来聚合的搜索关键词站点集，以标识要在搜索和/或标识过程中使用的特定搜索关键词。

在204处，过程200用于标识与每一相关媒体项相关联的个体。例如，过程200可用于标识已在相关图像中标记出的、创作了相关图像的、在相关图像中标识出的、和/或以其他方式在相关图像中被描述或描绘的用户。作为标识操作的一部分，在各个实施例中，过程200可用于通过使用各种图像匹配算法来扫描以查找相关搜索图像，以确定在给定媒体项中是否存在搜索图像或关键词、或某一部分。例如，过程可使用图像匹配算法来确定品牌标记或其某一部分是否是以JPEG或其他文件来描绘的。过程200可使用可配置的或可参数化的算法，使得搜索用户可任选地设定用于接受匹配项目的置信度阈值。

作为比较性分析的一部分，过程200所利用的算法还可采用各技术来：部分地匹配诸如脸部和/或骨架特征等图像或图像部分：调整媒体文件的光照条件、方向、聚焦、视角等；预过滤某图像中的影像；和/或在尝试将搜索图像标识为“匹配”或相关之前预编译媒体项。过程200还可使用OCR技术和/或辅助算法来确定给定媒体项中是否存在搜索短语。在一替换实施例中，过程200可用于记录在OCR过程中发现的任何或所有文本，而不管该文本是否存在于指定的搜索短语数据库中。

在206处，过程200用于确定在与每一相关媒体项相关联的任何个体和一个或多个搜索参考之间的关联。例如，可使用过程200来标识所描绘的个体是拿着与搜索关键词产品标签相关联的产品或其他个人，还是在该产品或其他个人的附近。部分地依赖于每一关联，过程200可向搜索顾客提供包括所标识或所标记的个体对特定产品的使用等的更多的信息，该信息可在管理对品牌的销售和管控时提供重要的证据。

在一个实施例中，过程200包括使用定界或描述过程来确定与每一搜索参考相关联的个体和对象之间的关系。例如，过程200可使用模式匹配和特征识别算法来使用各种几何边界(例如，椭圆形、正方形、矩形、自由形式等)、颜色、引线等来定界和标识与特定搜索关键词相关联的每一个体的头部和/或其他身体部分以及产品或标签。过程200可使用边界(包括其上到处分布的点)来捕捉和量化所描绘的用户和关联搜索关键词的各关系方面(参见图6和7)。作为一个示例，过程200可使用所形成的边界来标识在某个所描绘的产品和所标记的个体之间的物理邻近性，诸如在量化物理邻近性或其他关系时使用最接近的边界点比较。

在208处，过程200用于将每一相关媒体项的关联存储在一个或多个数据结构中。例如，过程200可将各搜索关键词、个体简档信息、和/或所标识的图像之间的映射连同任何定界信息和/或所确定的关系信息一起存储。在一实施例中，过程200在208处用于将相关媒体项(诸如例如被标识为与搜索关键词的匹配的图像等)连同与该相关媒体项中描绘的个体相关联的元数据(诸如例如简档信息等)以及关联搜索关键词(诸如例如参考图像和/或短语等)一起存储。在另一实施例中，过程200在208处用于将每一相关媒体项与任何关联关键词之间的映射连同与该相关媒体项中描绘的个体相关联的元数据一起存储。在210处，过程200用于搜索所填充的数据结构，以发现关于对与特定搜索参考相关联的特定产品和/或服务的使用的更多信息。其它实施例是可用的。

图3是示出示例性过程300的流程图。在一实施例中，过程300包括将搜索关键词和包括与相关媒体项相关联的个体的相关媒体项相关联的功能，但并不限于此。例如，过程300可使用产品和/或服务品牌等输入搜索图像来标识包括与感兴趣的产品和/或服务相关联的品牌标识符的媒体项。尽管针对图3中的示例性流程图描述了一定数量和次序的操作，但可以理解，可根据所期望的实现而使用其他数量和/或次序。

在302处，过程300用于使用诸如标记图像、设计图像、产品照片、图形呈现、品牌图像等一个或多个参考搜索图像来扫描整个媒体集以标识某图像或文件集中的相关搜索图像。在304处，过程300使用OCR过程来从一个或多个搜索图像中提取文字或短语。在306处，过程300用于扫描整个媒体集以标识包括从搜索图像中提取的文字和/或短语的相关搜索短语。在一个实施例中，过程300可使用一个或多个服务组件来处理作为标识相关图像的一部分的传入搜索图像，该相关图像被包括为所主存的图像集的一部分。

在一个实施例中，过程300可参考和使用每一顾客的专用存储，该专用存储包括要被当作监控对特定知识产权(IP)资产(诸如例如与产品品牌或标签相关联的商标等)的使用和/或与该特定知识产权资产的关联的一部分来使用的相关搜索图像和/或短语参考。每一顾客或用户可周期性地更新与媒体集相关联的专用搜索图像数据库和/或搜索短语数据库，以删除搜索参考或包括要在扫描媒体集中的文件时使用的新的和/或经修改的搜索图像和/或短语。

在308处，过程300用于收集在相关搜索图像中包括的和/或与相关搜索图像相关联的任何用户的简档信息。例如，过程300可使用在线目录服务和/或数据结构来获取以下用户的简档信息：在该相关搜索图像中标记的用户、该相关搜索图像的作者或拥有者、和/或在与该相关搜索图像相关联的其他图像中描绘的用户。在310处，过程300用于在图像匹配库中记录每一相关搜索图像或其在站点集中的位置以及任何关联信息。该图像匹配库可被搜索来揭示关于特定搜索图像的使用和/或关联以及任何所标识的用户的附加信息。

图像匹配库可部分地被过程300用来量化在所描绘的用户和与参考搜索图像和/或短语相关联的一个或多个资产之间的关系。在一个实施例中，过程300包括使用定界算法和呈现来标识与每一搜索参考相关联的个体和对象，以供进行显示。例如，过程300可使用图像处理特征来定界每一个体的头部和双手，以及定界与特定搜索关键词相关联的每一产品或标签。可使用引线和标识标签(参见例如图6和7)来指向和量化每一经定界的个体和对象。

过程300可包括计算和使用边界(包括其上到处分布的点)来确定在所描述的用户和与关联搜索关键词相对应的关联对象之间的关系。作为一个示例，过程300可使用计算出的边界通过使用边界点比较来确定邻近性或其他关系的程度来标识某一所描绘的产品和个人之间的物理邻近性。作为另一个示例，过程300可使用给定大小(包括估计)的参考边界来计算在个人和产品之间的真实世界邻近性估计。例如，假设一相对较平的焦平面，通过使用用搜索参考在相关照片中检测个人的头部的已知标识方法，以及将平均的头部大小用作参数，过程300可计算该照片中任何两个对象(包括搜索参考和个人的头部)之间的距离。其它实施例是可用的。

图4描绘了多个示例性参考搜索图像或关键词400-406。在一实施例中，可将参考搜索图像和/或短语关键词用作搜索和标识过程的一部分，该搜索和标识过程包括评估诸如例如图像或数据流的部分等相关媒体项中的对象和个体之间的关联。在一个实施例中，可将每一参考搜索图像和/或文字标记与特定的产品或服务和/或产品或服务品牌的来源相关联。如上所述地，可将产品或服务的参考图形、参考照片、图片的参考扫描等用作参考搜索图像。可使用参考搜索图像的所有或某一部分来标识和定位各相关媒体项。

作为一个示例，COCA COLA(可口可乐)公司或某代理可将搜索图像400-406作为注册如下服务的一部分来提交：即用于标识包括可能与特定商业计划或销售程序相关的图像和视频的体集中的项目的服务。例如，搜索图像400-406可将不同的颜色方案、图形和/或字体作为获取用于标识包括与搜索图像400-406中的一个或多个相关联的所描绘的用户以及产品和/或服务的相关媒体项的广泛相关性搜索的一部分来包括。所注册的用户还可将一个或多个竞争、附属和/或特许公司的搜索图像和/或短语作为揭示包括关联用户的特征的特定品牌的使用或关联的一部分来提交，以用于更多的搜索目的。

图5描绘了多个示例性参考搜索图像或关键词500-504。在一实施例中，可将参考搜索图像和/或短语关键词用作搜索和标识过程的一部分，该搜索和标识过程包括评估在与如例如图像或数据流的一分等相关媒体项相关联的对象和个体之间的关联。在一个实施例中，可将每一参考搜索图像和/或文字标记与特定产品或服务品牌以及该产品或服务品牌的来源相关联。可使用参考搜索图像的所有或某一部分来标识和定位相关媒体项。

作为另一个示例，PEPSI(百事)公司或某代理可将搜索图像500-504作为注册如下服务的一部分来提交：即标识包括可能与特定搜索请求相关的图像和视频的体集中的项目的服务。例如，搜索图像500-504可将不同的颜色方案、图形、和/或字体作为获取用于标识包括与搜索图像500-504中的一个或多个相关联的所描绘的用户以及产品和/或服务的相关媒体项的广泛相关性搜索的一部分来包括。

所注册的用户还可将一个或多个竞争、附属和/或经销公司的搜索图像和/或短语作为揭示对特定品牌的使用或与特定品牌关联以及任何关联用户的特征的一部分来提交，以用于更多的搜索目的。示例性图像可包括大学标记、会议标记、和其他来源标识象征中的所有或一部分。例如，品牌标识符可被部分地用来标识品牌、标记、标志和/或已被捕捉来在社交网络站点上的照片中使用的其他相关图像部分。例如，专用搜索和/或标识服务可被集成在每一集合中，并可被注册用户使用。

图6是如以下所讨论的包括图形与文本增强的示例性匹配图像600的显示。在一实施例中，基于网络的服务允许用户快速地标识包括为相关媒体项的一部分的一个或多个个体和一个或多个对象之间的关系。在一些情况中，还可报告和/或显示在个体和/或对象之间的关系信息。如所示出地，作为搜索和标识过程的一部分，相关结果显示包括匹配图像600。在一个实施例中，可将匹配图像存储为仅包括被标识为是相关的媒体项的相关部分或多个部分。

如图6所示出地，已提供了第一匹配边界标识符602来标识用户604，并且已提供了第二匹配边界标识符606来标识与一个或多个搜索关键词相关联的对象608。如前面所讨论地，结合一个或多个搜索关键词(例如，类似于图4-5的搜索图像)来使用图像处理和其他标识技术，可解析出所标识的用户604和/或对象608。可将一个或多个图像或数据流的各部分标识为一个或多个相关媒体项(例如，匹配图像600)，以用于进行更多的搜索和分析。

在一个实施例中，可考虑使用边界标识符的各部分来确定与对应于某参考关键词的对象的用户关联(诸如例如对某产品或服务品牌或类型的偏好等)的相关性。例如，可使用各重叠的边界标识符来确定用户对产品的物理处理。也可使用边界部分来确定在一个或多个所标识的个体和所标识的对象之间的相对距离。

提供引线610和612来分别指向第一匹配边界标识符602和第二匹配边界标识符606。可与每一引线一起来报告和/或显示某默认文本信息，以向某搜索或发现用户提供信息性的信息。在一个实施例中，搜索用户可配置用于选择其他类别和/或类型的标识信息的文本显示。例如，用户可选择要与匹配图像一起报告和显示的其他简档属性。

如所示出地，用户604已被标识为是所标记的个人“Steve Jones”。对象608已被标识为匹配参考图像：图像01422。对于该示例，已收集和/或显示了地理标签和记录信息的时间。尽管示出了某些示例性描述部分，但可理解，也可包括其他的文本描述部分，并用部分地依赖于要向每一顾客或用户提供的多个信息的匹配图像数据来填充这些其他的文本描述部分。

图7是如以下所讨论的对包括图形与文本增强的示例性匹配图像700的显示。在一实施例中，基于网络的服务允许用户快速地标识在被包括为相关媒体项和/或一搜索关键词或多个搜索关键词的一部分的一个或多个个体和一个或多个对象之间的关系。在一些情况中，还可报告和/或显示在个体和/或对象之间的关系信息。如所示出地，作为搜索和标识过程的一部分，相关结果显示包括匹配图像700。在一个实施例中，可将匹配图像存储为仅包括被标识为是相关的媒体项的相关部分或多个部分。

如图7所示出地，匹配图像700包括个人匹配边界标识符702-710。在一个实施例中，可部分地基于所描绘的个体和/或图像记录者或拥有者的位置而将个人匹配边界标识符702-710结构化成不同的几何维度和/或形状。已提供了个人匹配边界标识符702-710来标识用户712-720。已提供了对象匹配边界标识符722-726来标识与一个或多个搜索关键词相关联的对象728-732。也可将对象匹配边界标识符722-726结构化成不同的几何维度和/或形状。如以上所讨论地，结合一个或多个搜索关键词来使用图像处理和其他标识技术，可解析出所标识的用户712-720和对象728-732。可将一图像或多个图像或数据流的各部分标识为相关媒体项或多个相关媒体项(例如，匹配图像700)，以供进行进一步搜索和分析。

在一个实施例中，可考虑使用边界标识符的各部分来确定与对应于某参考关键词的对象的用户关联(诸如例如对某种产品品牌或类型的偏好等)的相关性。例如，可使用各重叠的边界标识符来确定用户对产品的物理处理。也可使用边界部分来确定在一个或多个所标识的个体和所标识的对象之间的相对距离。

例如，如图7中所示出地，个人匹配边界标识符704和对象匹配边界标识符724是重叠的，并且可被标记为是高度相关的用户关联。个人匹配边界标识符702和对象匹配边界标识符722并不是重叠的，但它们可基于邻近性比较而相关联，因此可将用户712和对象728标记为是有些相关的用户关联。与用户720相关联的用户匹配边界标识符710看上去并没有与对象边界标识符相关联，因此可根据某相关性等级而被标记为是较低相关的。

可检索和/或查明关于用户716的用户匹配边界标识符706和用户718的用户匹配边界标识符708之间的关系的进一步的数据，以确定与对象732或某其他对象的相关性关联。可连同每一引线一起来报告和/或显示某默认文本信息，以向某搜索或发现用户提供信息性的信息。在一个实施例中，搜索用户可配置对文本显示来选择其他类别和/或类型的标识信息。例如，用户可选择要与匹配图像一起报告和显示的其他简档属性。

如所示出地，已将用户712-720标识为是所标记的个人“Chris Miller”、“Joe Smith”、“Lucy Davis”、“Jennifer Stewart”和“John Doe”。已将对象728-732标识为匹配两个参考图像：图像01422和图像01424。尽管示出了某些示例性标识符，但可理解，可捕捉其他标识信息，并用部分地依赖于所提供的某一数量和/或类型的信息的匹配图像数据来填充该其他标识信息。其它实施例是可用的。

尽管在此描述了某些实施例，但其他实施例是可用的，并且不应该用所描述的各实施例来限制权利要求书。针对各个实施例的示例性通信环境可包括对安全网络、非安全网络、混合网络和/或某其他网络或各网络的组合的使用。作为示例而非限制，该环境可包括诸如有线网络或直接线连接之类的有线介质，和/或诸如声学、射频(RF)、红外线和/或其他有线和/或无线介质和组件之类的无线介质。除了计算系统、设备等以外，可将各个实施例实现为计算机过程(例如，方法)、计算机程序产品或计算机可读介质之类的制品、计算机可读存储介质和/或作为各种通信结构的一部分。

此处所使用的术语计算机可读介质可包括计算机存储介质。计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块、或其他数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。系统存储器、可移动存储和不可移动存储都是计算机存储介质示例(即，存储器存储)。计算机存储介质可以包括，但不限于，RAM、ROM、电可擦除只读存储器(EEPROM)、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、磁带盒、磁带、磁盘存储或其它磁性存储设备、或可用于存储信息且可以由计算设备访问的任何其它介质。任何这样的计算机存储介质都可以是设备的一部分。

此处所使用的术语计算机可读介质还可包括通信媒介。通信媒介可由诸如载波或其他传输机制的已调制数据信号中的计算机可读指令、数据结构、程序模块、或其他数据来体现，并且包括任何信息传递介质。已调制数据信号可描述具有以对信号中的信息进行编码的方式来设定或改变的一个或多个特征的信号。作为示例而非限制，通信介质包括有线介质，诸如有线网络或直接线连接，以及无线介质，诸如声学、射频、红外线和其他无线介质。

此处描述的各实施例和示例不旨在是限制性的，并且其他实施例也是可用的。此外，上述各组件可被实现为联网、分布式和/或其他计算机实现环境的一部分。这些组件可以经由有线、无线、和/或通信网络的组合来通信。网络组件和/或各组件之间的耦合可包括任何类型、数量和/或组合的网络，且相应的网络组件包括但不限于广域网(WAN)、局域网(LAN)、城域网(MAN)、专有网络、后端网络等。

客户计算设备/系统和服务器可以是任何类型和/或组合的基于处理器的设备或系统。另外，服务器功能可包括许多组件并包括其他服务器。在单个时态中描述的计算环境的组合可包括这种组件的多个实例。尽管特定实施例包括软件实现，但它们不限于此并且它们涵盖硬件或混合硬件/软件解决方案。其他实施例和配置是可用的。

示例性操作环境

现在参考图8，以下讨论旨在提供可以在其中实现本发明的实施例的合适计算环境的简要、一般的描述。尽管将在结合在个人计算机上的操作系统上运行的应用程序执行的程序模块的一般上下文中描述本发明，但本领域的技术人员可以认识到，本发明也可结合其他类型的计算系统和程序模块实现。

一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其它类型的结构。此外，本领域的技术人员可以明白，本发明方法可以使用其他计算机系统配置来实现，包括手持式设备、多处理器系统、基于微处理器或可编程的消费电子产品、小型计算机、大型计算机等。本发明也可以在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备两者中。

现在参考图8，将描述用于本发明的各实施例的说明性操作环境。如图8所示，计算机2包括通用台式计算机、膝上型计算机、手持式计算机、或能执行一个或多个应用程序的其他类型的计算机。计算机2包括至少一个中央处理单元8(“CPU”)、包括随机存取存储器18(“RAM”)和只读存储器(“ROM”)20的系统存储器12、以及将存储器耦合至CPU 8的系统总线10。基本输入/输出系统存储在ROM 20中，所述基本输入/输出系统包含帮助在诸如启动期间在计算机内元件之间传递信息的基本例程。计算机2还包括用于储存操作系统24、应用程序、以及其他程序模块的大容量存储设备14。

大容量存储设备14通过连接至总线10的大容量存储控制器(未示出)连接到CPU 8。大容量存储设备14及其相关联的计算机可读介质为计算机2提供非易失性的存储。尽管此处包含的计算机可读介质的描述指的是大容量存储设备，诸如硬盘或CD-ROM驱动器，但本领域的技术人员应明白，计算机可读介质可以是可由计算机2访问或利用的任何可用介质。

作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以存储如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其它固态存储器技术、CD-ROM、数字多功能盘(“DVD”)或其它光学存储、磁带盒、磁带、磁盘存储或其它磁性存储设备、或能用于存储所需信息且可以由计算机2访问的任何其它介质。

根据本发明的各实施例，计算机2可以使用通过诸如局域网、因特网等的网络4与远程计算机的逻辑连接在联网环境中操作。计算机2可以通过连接至总线10的网络接口单元16来连接到网络4。应当明白，网络接口单元16也可用于连接至其它类型的网络和远程计算系统。计算机2也可包括输入/输出控制器22，用于接收和处理来自多个其他设备，包括键盘、鼠标等(未示出)的输入。类似地，输入/输出控制器22可将输出提供给显示屏、打印机、或其他类型的输出设备。

如以上简要地提及的，许多程序模块和数据文件可以被存储在计算机2的大容量存储设备14和RAM 18中，包括适用于控制联网的个人计算机的操作的操作系统24，诸如位于华盛顿州雷德蒙市的微软公司的WINDOWS操作系统。大容量存储设备14和RAM 18还可以存储一个或多个程序模块。具体地，大容量存储设备14和RAM18可存储诸如文字处理、电子表格、绘画、电子邮件和其他应用程序和/或程序模块等应用程序。

应当明白，本发明的各种实施例可被实现为(1)运行于计算机系统上的一系列计算机实现的动作或程序模块，和/或(2)计算机系统内互连的机器逻辑电路或电路模块。该实现是取决于实现本发明的计算系统的性能要求来选择的。因此，包括相关算法的逻辑操作可被不同地称为操作、结构设备、动作或模块。本领域技术人员将认识到，这些操作、结构设备、动作和模块可以用软件、固件、专用数字逻辑、以及其任意组合实现，而不背离如本文中阐述的权利要求内陈述的本发明精神和范围。

尽管已经结合各示例性实施例描述了本发明，但本领域普通技术人员将理解，可以在所附权利要求的范围内对其作出许多修改。因此，并非旨在以任何方式将本发明的范围限于以上的说明，而是应该完全参照所附权利要求书来确定。

Claims (10)

1.一种用于提供搜索服务的方法，包括：

将搜索关键词（102）用作作为搜索操作的一部分的搜索参考；

使用所述搜索关键词来搜索包括一个或多个数据表示的信息库（108），以标识一个或多个相关媒体项，所述一个或多个数据表示包括视频和图像数据以及元数据，每一相关媒体项包括与所述搜索关键词（102）相对应的部分；

捕捉与每一相关媒体项相关联的信息，该信息包括与关联于每一相关媒体项的一个或多个个体相关联的数据和元数据；

将每一相关媒体项和捕捉到的信息与所述搜索关键词（102）相关联，包括使用一个或多个个人匹配边界标识符来标识与每一相关媒体项相关联的一个或多个个人以及使用一个或多个对象匹配边界标识符来标识与每一相关媒体项相关联的一个或多个对象，并且使用所述一个或多个个人匹配边界标识符与所述一个或多个对象匹配边界标识符之间的边界点比较来确定所述一个或多个个人与所述一个或多个对象之间的关联；以及

将每一关联存储在存储（106）中。

2.如权利要求1所述的方法，其特征在于，还包括将包括图像、图形和文本参考的多个搜索关键词（102）与相关视频、图像和数据流的一部分中的一个或多个相关联。

3.如权利要求1所述的方法，其特征在于，还包括标识与每一相关媒体项相关联的所述一个或多个个体，所述每一相关媒体项描绘了与所述搜索关键词（102）相关联的对象的所有或某一部分；定界每一个体和对象；以及收集与所述一个或多个经定界的个体相关联的简档信息，以用于相关性评估。

4.如权利要求1所述的方法，其特征在于，还包括对于给定的搜索关键词（102），使用包括图像匹配操作和光学字符识别（OCR）操作的处理特征来标识并存储每一相关媒体项的信息，该信息包括创作用户、上传用户、所识别的个体、以及所标记的个体中的一个或多个的简档信息。

5.如权利要求1所述的方法，其特征在于，还包括部分地基于在所述相关媒体中捕捉的、与所述搜索关键词（102）相关联的一个或多个经定界的个体与经定界的对象之间的边界点评估来标识与产品或服务的用户关联的重要性。

6.如权利要求1所述的方法，其特征在于，还包括使用包括一个或多个参考图像的搜索关键词（102），所述一个或多个参考图像包括品牌标识符、名称、商标名称、标记、标语、或设计方案。

7.一种用于提供搜索服务的系统（100），包括：

计算机实现的搜索组件（104），该组件使用多个搜索参考来：

使用一个或多个特征识别和模式识别算法来定位包括在媒体集中的相关媒体项；

部分地基于每一搜索参考来标识每一相关媒体项的相关部分；

确定与每一相关媒体项相关联的每一个体的简档信息；

对于每一相关媒体项，确定与每一搜索参考相关联的每一个体和对象之间的相关性关联，包括使用一个或多个个人匹配边界标识符来标识与每一相关媒体项相关联的一个或多个个人以及使用一个或多个对象匹配边界标识符来标识与每一相关媒体项相关联的一个或多个对象，并且使用所述一个或多个个人匹配边界标识符与所述一个或多个对象匹配边界标识符之间的边界点比较来确定所述一个或多个个人与所述一个或多个对象之间的关联；

存储每一相关媒体项的所述相关性关联。

8.如权利要求7所述的系统（100），其特征在于，所述搜索组件（104）使用所述多个搜索参考关联多个搜索图像参考，所述多个搜索图像参考包括在图像或图像集中所包括的图形和文本表示。

9.如权利要求7所述的系统（100），其特征在于，所述搜索组件（104）收集与每一相关媒体项相关联的人口统计学、地理和时间信息中的一个或多个，以及标识在包括产品名称、品牌、标记或标志的相关图像中所包括的搜索关键词的各方面。

10.一种用于提供搜索服务的方法，包括：

使用包括参考图像的所有或某一部分的搜索关键词（102）来标识包括与所述搜索关键词（102）相关联的一个或多个关联个体和对象的各相关数据表示；

检索使用所述搜索关键词（102）来标识的每一相关数据表示中的每一关联个体的简档信息；

对于每一关联数据表示，使用经定界的标识部分来确定每一关联个体与所述搜索关键词（102）之间的关联，包括使用一个或多个个人匹配边界标识符来标识与每一相关媒体项相关联的一个或多个个人以及使用一个或多个对象匹配边界标识符来标识与每一相关媒体项相关联的一个或多个对象，并且使用所述一个或多个个人匹配边界标识符与所述一个或多个对象匹配边界标识符之间的边界点比较来确定所述一个或多个个人与所述一个或多个对象之间的关联；以及

在存储（106）中存储每一相关数据表示的每一关联。