CN102483745B - 共同选择图像分类 - Google Patents
共同选择图像分类 Download PDFInfo
- Publication number
- CN102483745B CN102483745B CN200980160571.9A CN200980160571A CN102483745B CN 102483745 B CN102483745 B CN 102483745B CN 200980160571 A CN200980160571 A CN 200980160571A CN 102483745 B CN102483745 B CN 102483745B
- Authority
- CN
- China
- Prior art keywords
- image
- theme
- score value
- quoting
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/313—Selection or weighting of terms for indexing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
- G06F18/41—Interactive pattern learning with a human teacher
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
基于主题分值来为共同选择图像加标签,该主题分值是共同选择图像与引用图像属于的第一主题的相关性的度量。基于与引用图像相关联的引用标签来识别引用图像属于的第一主题。共同选择图像是在用户会话期间继对引用图像的选择之后被选择用于展现的图像。基于关于用户会话的选择数据来识别共同选择图像,在所述用户会话中引用图像被选择用于展现。基于共同选择图像的选择的频率来生成主题分值。可以对关于第二主题的图像搜索结果进行过滤以移除被加标签为属于第一主题的图像,或可以对图像搜索结果重新排序以基于图像属于的主题来调整图像被引用的展现位置。
Description
技术领域
本公开涉及数据处理,具体地涉及图像分类。
背景技术
用户可以通过将搜索查询提交给搜索引擎来定位在因特网上可获得的图像。搜索查询可以是文本查询,其包括描述用户正试图定位的图像主题的词。搜索系统识别对应于该主题的图像,并且提供包括对所识别的图像的引用的图像搜索结果。图像可以例如基于与图像相关联的标签和/或在图像与其一起展现的网页上的图像附近出现的文本来识别。
所识别的图像可以是例如与网页一起展现的图像。许多不同类别的网页可以包括响应于搜索查询而识别的图像。例如,图像与可以由许多不同个体发布的网页一起提供,所述网页诸如网络博客(“博客”)、社交网络页面以及新闻组。在单个域(例如,www.example.com)内,可能存在数千网页,其中的许多具有不同的单独作者。
由于大量不同作者创建位于同一域中的网页,可能困难的是,将通过该域提供的图像分类为属于共同主题。例如,在单个博客域内,用户可能发布针对范围从运动到政治、养育建议或甚至露骨(例如,色情)主题的主题的博客。因此,如果通过共同域可获得的每一个图像被分类为属于共同主题,则图像可能没有被准确分类。
与图像相关联的标签和/或在图像附近出现的文本可能不准确地描述图像的主题或在不同主题之间是有歧义的。例如,在博客中出现的贝比鲁斯的图像可以与文本“贝比”相关联。虽然该文本与图像有关,但是可能的是,图像可能是贝比鲁斯、扮演贝比鲁斯的演员、在名为“贝比”的电影中主演的小猪的,或甚至露骨图像。
提供与用户查询的主题较不相关的图像可能减少图像搜索结果的质量。当包括露骨内容(例如,色情描绘)的图像在对未针对该露骨内容的查询作出响应的搜索结果中被引用时,这尤其如此。例如,对正搜索贝比鲁斯的图像的用户而言,包括露骨图像的响应于对“贝比电影”的搜索查询的搜索结果可能显著降低搜索结果的质量。
当图像被准确分类,使得与用户查询不相关的图像可以被过滤或抑制时,可以提高图像搜索结果的质量。
发明内容
图像分类系统对图像选择数据进行分析以基于先前选择的图像属于的主题来对图像分类并且加标签(to label)。然后可以使用这些标签来过滤图像搜索结果,以移除对与除搜索查询针对的主题外的主题更相关的图像的引用。另外,可以使用标签来过滤针对主题(例如,露骨内容)的所有图像,除非用户选择使对这些图像的引用展现。还可以使用标签来基于图像属于的主题来调整图像在图像搜索结果中引用的展现位置。
总的来说,在本说明书中描述的主题的一个方面可以在包括以下动作的方法中实现:为引用图像获取引用标签,引用标签是指定引用图像属于的第一主题的标签;在数据处理系统中识别在其期间引用图像被选择用于展现的用户会话,每一个用户会话是图像的选择被关联成会话集的时段;在数据处理系统中为引用图像识别在用户会话期间被选择用于展现的共同选择图像,共同选择图像是继对引用图像的选择之后被选择的图像;对于每一个共同选择图像,在数据处理系统中,基于对关于引用图像的共同选择图像的选择的频率来生成主题分值,主题分值表示共同选择图像与第一主题的相关性的度量;以及将具有满足阈值主题分值的主题分值的共同选择图像加标签为属于第一主题。本方面的这个和其他实施例包括对应的系统、装置和计算机程序产品。
这些和其他实施例可以可选地包括以下特征中的一个或多个。该方法可以进一步包括以下动作:为用户会话识别对引用图像的第一选择时间;识别对在用户会话期间选择的共同选择图像的随后选择时间;以及仅将具有在相对于第一选择时间的阈值时间段内的随后选择时间的图像识别为共同选择图像,其中用户会话具有会话时间段,以及阈值时间段小于会话时间段。
主题分值可以通过为共同选择图像获取初始主题分值来生成,每一个初始主题分值是图像与第一主题的初始相关性度量;为共同选择图像获取共同选择数据,共同选择数据指定相对于对引用图像或其他共同选择图像的选择的对共同选择图像的选择;基于初始主题分值和共同选择数据的函数来为共同选择图像计算更新的主题分值;确定是否已发生停止条件;当尚未发生停止条件时,基于共同选择数据和先前计算的更新的主题分值来计算另外的更新的主题分值;当已发生停止条件时,基于更新的主题分值来对共同选择图像进行分类;以及其中加标签基于更新的主题分值。
本发明的特定实施例可以被实现,以实现以下优势中的一个或多个。基于相对于引用主题的引用图像的共同选择数据,可以将未分类的图像属于的主题识别为属于引用主题。可以将被识别为属于引用主题的图像从图像搜索结果过滤出。相对于没有被识别为属于引用主题的图像,属于引用主题的图像可以被选择用于在图像搜索结果中的更高或更低展现位置处展现。基于相对于引用主题的引用图像的共同选择数据,可以用对应于引用主题的标签为图像加标签。基于在对具有为色情的较高可能性的图像的选择之后的对图像的随后选择,可以将图像识别并加标签为色情图像。图像语料库中的每一个图像可以基于其相对于引用主题的引用图像的选择的选择来被分类。
在附图和下面的描述中阐述了本发明的一个或多个实施例的细节。本发明的其他特征、方面和优势从描述、附图和权利要求将变得显而易见。
附图说明
图1是在其中搜索系统提供搜索服务的示例环境的框图。
图2是用于将图像分类到主题的示例过程的流程图。
图3是在其中生成并索引用户会话数据的示例环境。
图4是使用选择数据来生成的加权图的图示。
图5是用于生成加权图的示例过程的流程图。
图6A是其中可以存储并跟踪图像集的主题分值的示例表。
图6B是其中可以存储定义共同选择矩阵的共同选择数据的示例表。
图7A-7D是在迭代的主题分值生成过程的不同点处的示例加权图。
图8是用于迭代地生成主题分值的示例过程。
各附图中相同的参考数字和标记指示相同的元素。
具体实施方式
图像分类系统对图像选择数据进行分析以基于先前选择的图像属于的主题来对图像分类并且加标签。然后可以使用这些标签来过滤图像搜索结果,以移除对与除搜索查询针对的主题外的主题更相关的图像的引用。另外,可以使用标签来过滤针对主题(例如,露骨内容)的所有图像,除非用户选择使对这些图像的引用展现。
在下面描述了在其中提供搜索服务的在线环境。关于该在线环境,将基于选择数据来为图像加标签的图像分类系统描述为搜索系统的子系统。然而,图像分类子系统可以独立于图像搜索系统实现。
图1是在其中搜索系统110提供搜索服务的示例环境100的框图。示例环境100包括网络,诸如局域网(LAN)、广域网(WAN)、因特网或其组合,其连接网站104、用户设备106和搜索系统110。在线环境100可以包括成千上万的网站104和用户设备106。
网站104是与域名相关联并且由一个或多个服务器托管的一个或多个资源。示例网站是以超文本标记语言(HTML)格式化的网页集合,其可以包含文本、图像、多媒体内容和例如脚本的编程元素。每一个网站104由发布者维护,所述发布者例如管理和/或拥有该网站的实体。
资源是可以由网站104通过网络102提供并且与资源地址相关联的任何数据。资源包括HTML页面、字处理文档以及可移植文档格式(PDF)文档、图像、视频以及馈给源,仅列出一些。资源可以包括内容,例如字、短语、图像和声音,以及可以包括嵌入式信息(诸如元信息和超链接)和/或嵌入式指令(诸如JavaScript脚本)。
每一个资源具有能够被唯一识别的可寻址的存储位置。可寻址的位置由诸如统一资源定位符(URL)的资源定位符寻址。
用户设备106是受用户控制并且能够通过网络102请求并接收资源的电子设备。示例用户设备106包括个人计算机、移动通信设备和能够通过网络102发送并接收数据的其他设备。用户设备106典型地包括便于通过网络102发送及接收数据的用户应用,诸如web浏览器。
为了便于搜索这些资源,搜索系统110通过爬取并索引发布者在网页104上提供的资源来识别资源。关于资源的数据可以基于数据与之相对应的资源来索引。资源的索引的以及可选地缓存的副本被存储在索引缓存112中。
用户设备106将搜索查询109提交给搜索系统110。作为响应,搜索系统110访问索引缓存112,以识别与搜索查询109相关的资源。搜索系统110以搜索结果111形式识别资源,并且以搜索结果页的形式将搜索结果111返回给用户设备106。搜索结果111是搜索系统110生成、识别对特定搜索查询作出响应的资源并且包括指向该资源的链接的数据。示例搜索结果111可以包括网页标题、从网页提取的文本摘录或图像的部分以及网页的URL。
对于文本内容的搜索,搜索结果基于与搜索结果所识别的资源有关的分值来排名,所述分值诸如信息检索(“IR”)分值,以及可选地每一个资源相对于其他资源的独立排名(“页面排名”分值)。在一些实施方式中,IR分值从与搜索查询109和资源相对应的特征向量的点积来计算,以及搜索结果的排名基于为IR分值和页面质量分值的组合的相关性分值。搜索结果111根据这些相关性分值来排序,并且按照该顺序提供给用户设备。
对于针对图像并且使用文本查询作为输入的搜索,搜索系统110可以将资源的相关性分值与嵌入在资源中的图像的相关性反馈分值相组合。示例相关性反馈分值是当图像在搜索结果中引用时从该图像的选择率得到的分值。然后使用这些组合分值来展现针对嵌入在资源中的图像的搜索结果。
用户设备106例如以一个或多个网页的形式接收搜索结果页,并且呈现所述页面以向用户展现。响应于用户在用户设备106处选择搜索结果中的链接,用户设备106请求该链接所识别的资源。托管该资源的网站104从用户设备106接收对该资源的请求,并且将该资源提供给发出请求的用户设备106。
在用户会话期间提交的搜索查询109被存储在诸如历史数据存储114的数据存储中。指定响应于在用户会话期间提供的搜索结果而采取的动作的选择数据也被存储在诸如历史数据存储114的数据存储中。这些动作可以包括搜索结果是否被选择和/或与选择相关联的“停留时间”(即在选择和随后选择之间的时间段)。可以使用存储在历史数据存储114中的数据来将在用户会话期间提交的搜索查询109映射到在搜索结果111中识别的资源和用户采取的动作,例如在用户会话期间选择用于展现的排序的资源列表。
用户会话是期间指定关于资源采取的动作的数据与共同会话标识符相关联的时段。该用户会话的时段可以由时间、采取的动作的数量或用户动作的一些其他描述来度量。例如,用户会话可以包括在一分钟、一小时、一天或任何其他时间段期间关于资源的用户动作。类似地,用户会话可以包括阈值数量的对资源的用户选择。
每一个用户会话可以与唯一会话标识符相关联。唯一会话标识符可以例如基于以下的一个或多个来生成:用户设备标识符、用户会话的时间指示符以及指示用户会话的语境的其他数据(例如,用户会话产生自的地理区域)。用户设备标识符可以是例如与用户会话与之相对应的用户设备106相关联的匿名标识符,诸如已被匿名的cookie(即,充作用户会话的标识符的匿名文本串)。因此,可以使在用户会话期间发生的动作与动作产生自的特定用户设备106失去关联。
将在特定用户会话期间发生的动作,诸如对图像的选择,与相同唯一会话标识符相关联。另外,可以将在特定用户会话期间发生的每一个动作与指示动作发生的时间的另外时间数据相关联。该时间可以是绝对时间,诸如动作发生的格林尼治时间,或相对于用户会话的开始的时间或相对于另一个用户动作的时间。
指定在每一个用户会话期间发生的动作的用户会话数据可以被存储在诸如历史数据114的数据存储中。可以使用用户会话数据来识别在特定用户会话期间按顺序选择的图像,以及基于其顺序选择来识别属于共同主题的图像。
搜索系统110包括图像分类子系统120。在一些实施方式中,图像分类子系统120包括被配置成基于用户会话数据来将图像分类到主题的一个或多个处理器。图像分类子系统120对用户会话数据进行分析以识别继对引用图像的选择之后选择的图像。引用图像是被预分类有已知主题的图像,例如具有指定引用图像属于的主题的标签的图像。在特定用户会话期间继对引用图像的选择之后选择的图像被称为关于引用图像的共同选择图像。
用户在特定用户会话期间选择的图像通常更可能属于同一主题。因此,关于引用图像的共同选择图像比不是关于引用图像的共同选择图像的图像更可能属于与引用图像相同的主题。例如,为关于色情引用图像的共同选择图像的图像比不是关于色情图像的共同选择图像的图像更可能是色情图像。类似地,为关于非色情引用图像被共同选择的图像更可能是非色情图像。因此,为关于引用图像或引用图像集的频繁共同选择图像的图像可以以高置信度被分类为属于与引用图像相同的主题。
在一些实施方式中,图像分类子系统120生成主题分值,该主题分值表示共同选择图像属于与引用图像相同的主题的可能性。共同选择图像的主题分值可以例如基于以下来生成:该图像与引用图像被共同选择的频率和相对于对引用图像的选择的对该图像的共同选择的接近度(例如,在选择之间的时间或动作)。分别参考图2和图6-7描述了生成主题分值的方法。
具有阈值主题分值的共同选择图像被识别为属于与引用图像相同的主题。阈值主题分值例如可以被指定为绝对主题分值、或在其他阈值(例如,具有最高M个主题分值的图像)之中的最高N百分比的主题分值。
图像分类子系统120可以用对应于主题的文本数据为被识别为属于与引用图像相同的主题的共同选择图像加标签。替选地,指示共同选择图像属于主题的由数据位表示的主题标志可以被设置并且存储在与索引缓存112中的共同选择图像相关联的存储器位置处。进而,共同选择图像可以被识别为该主题的新的引用图像,使得继对该新的引用图像的选择之后对其他图像的选择将是该其他图像也属于该主题的指示。该分类过程可以传播通过图像语料库,直到阈值数量的图像或所有图像已被分类。
在一些实施方式中,对搜索查询109作出响应的图像搜索结果111可以基于经由图像分类系统120的分类来被过滤或重新排序来展现。例如,可以使识别被识别为色情图像的图像的分类数据(例如,标签或主题标志)对搜索系统110可用。搜索系统110可以使用该分类数据来对响应于搜索查询109的图像搜索结果进行分析,以确定由图像搜索结果引用的任何图像是否是色情图像。对色情图像的引用可以被移除或在搜索结果的不太显著的位置处展现,以增加搜索结果的质量。这样的修改可以受支配于用户偏好。
类似地,为搜索查询109生成的图像搜索结果可以基于标签来排除或选择待在图像搜索结果中引用的图像。例如,搜索系统110可以使用存储在与索引缓存112中的图像相关联的存储器位置处的标签数据来获取与搜索查询109相关的图像。与和搜索查询109更相关的标签相关联的图像可以被识别为比与和搜索查询109不太相关的图像相关联的图像与搜索查询109更相关。
例如,如果图像分类子系统120用文本数据“棒球”为贝比鲁斯的图像加标签,则贝比鲁斯的图像将比对“小猪电影”的搜索查询109与对“棒球”的搜索查询109更相关。因此,对贝比鲁斯的图像的引用将在对“棒球”的图像搜索结果中出现更高,以及可以不在搜索查询“小猪电影”的图像搜索结果中出现。
图2是用于将图像分类到主题的示例过程200的流程图。过程200可以例如由图1的图像分类子系统120来实现。
为引用图像获取引用标签(202)。在一些实施方式中,引用标签是指定引用图像属于的引用主题的标签。引用标签例如可以是指示引用主题的文本标签或主题标志。例如,对应于引用主题的引用标签可以由被设置为指定的二进制值的与引用主题相对应的数据位表示。替选地,引用标签可以是与引用标签相对应的文本数据。例如,可以用文本“露骨”或“色情”来为色情图像加标签。
在一些实施方式中,人力评估器可以识别色情图像,并且用将该图像识别为色情图像的引用标签来为该色情图像加标签。在其他实施方式中,机器能够识别色情图像,并且相应地用引用标签来为其加标签。进而,评估器能够对引用标签验证准确性。
引用标签可以从存储对应于图像的标签的数据存储获取,或基于与图像相关联的数据来生成。图像的标签可以使用图像处理技术来确定图像的视觉特征是否指示色情图像和/或使用文本分析来确定与图像相关联的文本是否指示色情图像,来生成。
引用图像的引用标签可以例如基于图像处理技术来生成。在一些实施方式中,可以将图像的视觉特征(即,颜色和/或纹理)与先前已用引用标签加标签或已被识别为属于引用标签表示的主题(例如,被识别为色情图像)的图像的视觉特征进行比较。例如,识别色情图像的一种方法是识别图像的为“皮肤像素”(即,具有与肤色相对应的色彩值的像素)的像素部分(例如,数量或百分比)。当该像素部分超过阈值时,可以将图像识别为色情图像,并且用对应于色情主题的引用标签为其加标签。
引用标签还可以例如基于位于在引用图像与其一起展现的网页上的引用图像附近的文本数据来生成。例如,可以对在引用图像的阈值数量的像素内出现的文本进行分析,以识别可能与引用图像相关的主题。引用标签还可以基于与引用图像相关联的其他文本来生成。例如,引用标签可以基于包括在引用图像的文件名中的文本、指向图像的链接的锚文本或与引用图像明确相关联的文本来生成。
发布者可以将文本与引用图像明确相关联,以便于将图像识别为与对特定主题的搜索查询相关。例如,发布者可以对棒球运动员的图像指定文本“棒球”,以增加该图像响应于包括词语“棒球”的搜索查询而被识别的可能性。
在一些实施方式中,要求引用图像的引用标签具有准确描述引用图像的内容的阈值可能性。图像的标签的准确性可以例如基于标签反馈来确定。标签反馈是从用户获取的、为图像指定引用标签或提供在标签和引用图像之间的相关性的度量的数据。
标签反馈可以从已被请求为图像加标签或确认图像的现有标签的用户接收。替选地,标签反馈可以从被提供图像并且被请求选择图像与其最相关和/或最不相关的主题的匿名用户接收。例如,可以向用户提供图像和M个主题的列表。用户可以选择M个主题中的与图像最相关或最准确描述图像的内容的一个。可以聚集与图像的内容最相关的主题的用户选择来确定图像属于的主题。例如,如果阈值百分比的用户将特定主题选择为与图像最相关,则可以将该特定主题选择为图像属于的主题。
还可以对标签反馈进行分析来确定引用图像的现有标签是准确的可能性。图像的现有标签是准确的可能性可以基于将现有标签识别为用于图像的准确标签的用户反馈的一部分。例如,如果阈值百分比的用户反馈指示现有标签是用于图像的准确标签,则可以将现有标签识别为引用图像的引用标签。进而,可以将引用图像识别为属于引用标签指定的主题。
在一些实施方式中,将图像识别为属于引用图像指定的主题的部分用户反馈可以用作引用图像对于主题的强度的度量。例如,标签是准确的可能性可以用作图像是属于标签指定的主题的引用图像的概率。图像是引用图像的可能性可以进而用作识别图像作为标签所指定的主题的引用图像的强度的权重。如在下面参考图4所述的,当为其他图像生成主题分值时,可以使用图像作为引用图像的强度。
识别在其期间引用图像被选择用于展现的用户会话(204)。在其期间图像被选择用于展现的该用户会话可以通过识别与关于引用图像的选择数据相关联的唯一会话标识符来识别。例如,可以为引用图像获取存储在图1的历史数据114中的选择数据。进而,可以对与选择数据相关联的唯一会话标识符进行分析来识别在其期间引用图像被选择用于展现的用户会话。参考图3更详细地描述了关于用户会话的选择数据的生成。
识别在用户会话期间被选择用于展现的关于引用图像的共同选择图像(206)。在一些实施方式中,共同选择图像可以基于关于与用户会话的唯一会话标识符相关联的图像的选择数据来识别。例如,可以获取图1的历史数据114中的与关于引用图像的唯一会话标识符相关联的选择数据。对选择数据进行分析以识别与引用图像共同选择的图像。例如,可以对包括在关于图像的选择数据中的时间数据进行分析来确定图像是在对引用图像的选择之前还是之后被选择用于展现。继对引用图像的选择之后被选择用于展现的图像被识别为共同选择图像。
对引用图像是否在另一个用户会话期间被选择作出确定(208)。该确定可以例如通过确定关于引用图像的选择数据是否与另一个唯一会话标识符相关联来作出。当关于引用图像的选择数据与另一个唯一会话标识符相关联时,引用图像可以被识别为在另一个用户会话期间被选择。如果引用图像在另一个用户会话期间被选择,则识别在该用户会话期间被选择用于展现的关于引用图像的共同选择图像(206)。
当引用图像在另一个用户会话期间未被选择时或在所有的另外用户会话已被识别之后,基于相对于对引用图像的选择的对共同选择图像的选择来为每一个共同选择图像生成主题分值(210)。在一些实施方式中,主题分值是共同选择图像与主题的相关性的度量。继对引用图像的选择之后的对共同选择图像的每一个选择增加了共同选择图像与引用图像相关、因此属于与引用图像相同的主题的可能性。例如,在对引用图像的选择之后比另一个共同选择图像被更频繁选择的共同选择图像比更少频繁选择的共同选择图像可能与和引用图像相同的主题更相关。
共同选择图像与引用图像相关的可能性还可以基于与共同选择图像的选择相关联的停留时间。例如,具有比另一个共同选择图像更长的停留时间的共同选择图像更可能与和引用图像相同的主题相关,因为用户以更长停留时间花费更多的时间查看共同选择图像。
共同选择图像与引用图像相关的可能性还可以基于对共同选择图像的选择与对引用图像的选择的接近度。选择的接近度可以以时间单位、用户动作的数量或用户会话的任何其他描述来度量。
例如,为在对引用图像的选择之后被选择的第一图像的共同选择图像比为在对引用图像的选择之后被选择的第四图像的另一个共同选择图像更可能与和引用图像相同的主题相关。因此,在对引用图像的选择之后被首先选择的共同选择图像比稍后选择的共同选择图像更可能属于与引用图像相同的主题。
在一些实施方式中,图像必须在相对于对引用图像的选择的阈值时间段内被选择,以被识别为共同选择图像。例如,当用户会话持续时间长于在其内随后选择的图像被识别为共同选择图像的时段时,可以使用阈值时间段来确定在对引用图像的选择之后被选择的图像是否是关于该引用图像的共同选择图像。
在一些实施方式中,共同选择图像的主题分值可以是对共同选择图像的选择相对于对引用图像的选择的频率和/或接近度的函数的结果。例如,主题分值可以是在对引用图像的选择之后的对共同选择图像的总选择的总和。类似地,主题分值可以对应于图像相对于其被共同选择的引用图像的数量。例如,是关于十个引用图像的共同选择图像的图像可以具有“10”的主题分值,而是关于五个引用图像的共同选择图像的图像可以具有“5”的主题分值。
共同选择图像的每一个选择可以由指示该选择相对于对引用图像的选择的接近度的因子赋予权重。例如,每一个选择可以由因子1/(选择数量)赋予权重,使得紧接在对引用图像的选择之后的对共同选择图像的选择将具有1(即,1/1)的权重。类似地,在对引用图像的选择之后的第二和第三共同选择图像将分别具有1/2和1/3的权重。为了示例目的,提供了所描述的权重因子。权重因子可以是共同选择图像选择相对于对引用图像的选择的接近度的任何比率或函数。
在一些实施方式中,可以通过使用加权图来映射相对于对引用图像的选择的对共同选择图像的选择,来便于为共同选择图像生成主题分值。引用图像和共同选择图像由加权图中的节点来表示,以及表示共同选择图像的顺序选择的边连接节点。参考图4-5更详细地描述了加权图的生成。
为具有满足阈值主题分值的主题分值的共同选择图像加标签(212)。在一些实施方式中,当主题分值满足或超过阈值主题分值时,满足阈值主题分值。阈值主题分值例如可以被指定为绝对主题分值、或在其他阈值(例如,具有最高M个主题分值的图像)之中的最高N百分比的主题分值。
在一些实施方式中,为共同选择图像加标签以将共同选择图像识别为属于与引用图像相同的主题。例如,可以将匹配引用图像的引用标签的文本数据与共同选择图像相关联。替选地,可以设置用于共同选择图像的主题标志来将共同选择图像识别为属于与引用图像相同的主题。可以将标签存储在与共同选择图像相关联的存储器位置处,并且使其对诸如搜索系统的其他系统或子系统可用。
图3是在其中生成并索引用户会话数据的示例环境300。图像分类子系统120和搜索系统110在图3中被表示为直接通信,但是图像分类子系统120和搜索系统110可以被实现成通过网络102通信。
用户会话一般由用户设备106发起。例如,用户设备106可以通过网络102提交图像搜索查询或对搜索结果的另一个请求。请求可以与唯一会话标识符相关联,并且例如由搜索引擎110处理。搜索引擎110向用户设备106提供对搜索查询作出响应的图像搜索结果302。图像搜索结果302包括结果图像302-1-302-N,其是对已被搜索系统110识别为与搜索查询相关的图像的引用(例如,缩略图)。
识别搜索查询的用户会话数据和由图像搜索结果引用的图像与用户会话的唯一会话标识符相关联,并且被存储在历史数据114中。用户会话数据可以包括时间数据,其指示用户会话被发起的时间(例如,搜索查询被接收的时间)和/或向用户设备106提供搜索结果111的时间。
用户设备106的用户可以从图像搜索结果302选择结果图像302-1-302-N中的一个或多个。对结果图像302-1-302-N的每一个选择生成对所选择的结果图像所指定的资源位置的请求。例如,对结果图像302-1的选择可以生成对结果图像302-1所引用的图像与其一起展现的网页的请求。进而,可以向用户设备106提供网页以供展现。
通过网络将对结果图像302-1-302-N的每一个选择作为选择数据304提供给图像搜索系统110。选择数据304包括指定唯一会话标识符的数据(例如,ID1、ID2、...、ID3),所述唯一会话标识符识别对应于选择的用户会话。选择数据304还包括例如基于对图像结果302-1-302-N的选择,识别被选择用于展现的图像的数据(例如,IS11、IS12、...、IS1N)。选择数据304可以进一步包括指定图像中的每一个被选择用于展现的时间的时间数据。
选择数据304由搜索系统110通过网络102获取,并且被存储在历史数据114的与唯一会话标识符相关联的存储器位置处。选择数据304可以为请求图像的每一个用户设备106并且在每一个用户会话持续时间期间获取。因此,关于用户设备106在多个用户会话期间选择的每一个图像的选择数据可从历史数据114访问。
在一些实施方式中,图像分类子系统120使用选择数据来构建加权图400,以映射相对于对引用图像的选择的对共同选择图像的总计选择。进而,可以使用加权图400来对共同选择图像进行分类。
图4是使用选择数据来生成的加权图400的图示。在一些实施方式中,加权图400由图像分类系统120生成。例如,图像分类系统120可以从历史数据120获取选择数据,其指定在多个用户会话期间对引用图像的选择和对关于引用图像的共同选择图像的选择。图像分类子系统120定义加权图400中的节点,其表示引用图像和共同选择图像。进而,图像分类子系统120基于选择数据来生成并递增在表示随后选择的节点的节点之间的边权重。一旦加权图400被生成,其可以用于基于连接到表示对其他共同选择的节点和对引用图像的共同选择图像的节点的加权边来对该共同选择图像进行分类。
加权图400包括引用节点402,该引用节点402表示正为其识别共同选择图像的引用图像。在一些实施方式中,引用节点402表示被识别为色情图像的图像,例如因为该图像被识别为属于色情主题。如在上面参考图2所论述的,引用图像属于的主题可以例如基于与引用图像相关联的引用标签或另一个主题指示符来识别。
加权图400可以包括另外的引用图像460和480。当另外的引用图像440和460被识别并且被包括在加权图中时,基于相对于引用图像中的每一个的对共同选择图像的选择,来为引用图像402、460和480中的每一个识别共同选择图像以及为到共同选择图像的边赋予权重。另外的引用图像460和480可以表示也被识别为属于引用主题(例如,色情图像)的图像或被识别为不属于引用主题(例如,不是色情图像)的图像。
加权图还包括节点410-420,其表示关于引用图像的共同选择图像。例如,节点410-420中的每一个表示为关于引用图像402的共同选择图像的图像。
表示按顺序选择的图像的节点在加权图中由边连接。例如,边450将节点402连接到节点410,其表示对引用图像和由节点410表示的共同选择图像的顺序用户选择。类似地,边451表示继对由节点410表示的共同选择图像的选择之后的对由节点411表示的共同选择图像的顺序选择。
边起源自的节点被称为源节点,以及边在其终止的节点被称为目的节点。继续上面的示例,边450的源节点是引用节点402,以及目的节点是节点410。类似地,节点410是边451的源节点,而节点411是目的节点。加权图400中的每一条边由指向目的节点的箭头表示。
双向边指示对由节点表示的图像的相互顺序选择。例如,引用节点402和418由双向边452连接。双向边452指示对引用图像的用户选择,后跟对节点418表示的共同选择图像的选择和对引用图像的第二选择。替选地,替代双向边,可以使用一对单向边。
边中的每一个可以具有权重,其指示分别由源和目的节点表示的图像的顺序选择的数量。例如,如果由节点410表示的图像在对引用图像的选择之后被选择10次,则边450可以具有与10个选择相对应的权重。
边的权重可以响应于每一个所识别的选择而被增加例如常数增量,或权重可以基于选择的数量的函数来增加。例如,边的权重可以对应于由源和目的节点所表示的图像的顺序选择的数量或权重可以是顺序选择的数量的对数函数或指数。
紧接在对引用图像的选择之后的对共同选择图像的选择可以比在对一个或多个其他共同选择图像的选择之后被选择的图像更指示与引用图像相关的图像。例如,节点412表示在对引用图像402和节点410表示的共同选择图像的选择之后被选择的共同选择图像。因此,由于选择节点410表示的图像的居间动作,对节点412表示的图像的选择可以比对节点410表示的图像的选择较不指示图像与引用图像402的相关性。
在一些实施方式中,每一条边的权重可以基于其与引用图像的接近度来调整。例如,边权重可以基于其与引用节点402的接近度通过提升因子来提升。例如对于将引用节点402连接到表示共同选择节点的节点510、417、418和419的边,提升因子可以是最高的。例如基于在边和引用节点之间的节点的数量,对于与引用节点402较不接近的边,可以降低提升因子。
在一些实施方式中,边的权重或响应于选择边权重增加的量可以基于关于共同选择图像的引用节点的引用权重。引用权重是规范化或调整在对引用图像的选择之后的图像选择的重要性的因子。引用权重可以基于对关于引用图像的标签反馈进行分析来确定引用图像被准确识别为属于引用主题的可能性。
例如,基于标签反馈,引用图像402可以以0.7的概率(例如,标签反馈中的70%将引用图像402识别为色情图像)被识别为色情图像,而引用图像460可以以0.6的概率被识别为色情图像。因此,引用图像402可以被分配0.7的引用权重,而引用图像480可以被分配0.6的引用权重。
例如可以使用引用权重来调整到共同选择图像的边权重被增加的递增量。基于引用图像属于主题的可能性来调整边权重被增加的递增量,便于对关于具有属于引用主题的不同可能性的不同引用图像的共同选择图像的边权重的直接比较。
继续上面的示例,引用图像402比引用图像460具有更高的为色情图像的可能性。因此,紧接在对引用图像402的选择之后的对图像的选择比紧接在对引用图像460的选择之后的对另一个图像的选择更指示所选择的图像是色情图像。因此,关于引用图像402的共同选择图像(例如,418)的边(例如,452)的权重响应于单个选择将比关于引用图像460的共同选择图像(例如,560)的边(例如,570)的权重响应于单个选择增加更多。边权重的这些增加表示这些引用图像402和460中的每一个被准确识别为色情图像的相对可能性。
在一些实施方式中,一旦构建了图,就基于识别节点所表示的图像属于引用主题的可能性的机器过程来为节点中的每一个分配初始权重。然后基于共同选择数据来调整初始权重。
如上所述,图像中的每一个属于引用主题的可能性可以基于对图像的视觉特征、与图像相关联的文本和指示图像属于的主题的其他数据的分析来确定。在这些实施方式中,对于其来说节点是源的边可以以类似于上述方式的方式基于该节点的引用权重被赋予权重。
图5是用于生成加权图的示例过程500的流程图。加权图用于基于在共同用户会话期间图像被选择的图像选择顺序和接近度来识别图像间的关系。加权图被生成来包括表示引用图像的引用节点和表示共同选择图像的节点。加权图包括表示在共同用户会话期间对图像的顺序选择的边。关于许多不同用户会话的选择数据可以被聚焦并且在加权图中表示。过程500参考单个引用图像来描述,但是可以利用许多不同引用图像来实现。过程500可以例如由图1的图像分类子系统120来实现。
在加权图中将引用图像表示为引用节点(502)。在一些实施方式中,引用图像是被识别为属于引用主题的图像。例如,引用图像可以是基于与和引用图像相关联的色情主题相对应的引用标签被识别为色情图像的图像。引用图像可以例如从存储图像和对应于图像的标签的数据存储来识别。遍及过程500的描述,表示图像的节点可以由与其表示的图像相同的特征(例如,引用标签和选择数据)来表征。因此,可替换地提及表示图像的节点和图像自身。
识别期间引用图像被选择的用户会话(504)。在一些实施方式中,用户会话可以基于关于引用图像的选择数据来识别。例如,对引用图像的选择可以从关于引用图像的选择数据识别。进而,可以使用与关于引用图像的选择数据相关联的唯一会话标识符来识别具有与相同的唯一会话标识符相关联的选择数据的其他图像。关于引用图像的选择数据可以例如从历史数据存储114获取。
一旦识别了在其中引用图像被选择的用户会话,就识别在用户会话期间对共同选择图像的随后选择(506)。如上所述,对共同选择图像的随后选择可以基于与和引用图像相同的唯一会话标识符相关联的选择数据来识别。关于用户会话的选择数据可以包括指定对共同选择图像的选择相对于对引用图像的选择发生的时间的时间数据。因此,可以使用时间数据来将共同选择图像识别为在共同用户会话期间在对引用图像的选择之后的时间被选择的图像。
例如,如果引用图像在2009年1月1日上午12:00被选择,则具有与和引用图像相同的唯一会话标识符相关联的选择数据和具有指定晚于2009年1月1日上午12:00的另一个时间的时间数据的每一个图像是关于引用图像的共同选择图像。
在一些实施方式中,仅仅在对引用图像的选择之后的阈值时间段内被选择的共同选择图像被识别为关于引用图像的共同选择图像。阈值时间段便于使用为具有长于期间共同选择图像待被识别的时间段的持续时间的用户会话获取的选择数据。
例如,可能已为具有一小时的持续时间的用户会话获取了选择数据。然而,在特定应用中,共同选择图像可以被定义为仅仅在对引用图像的选择的10分钟内被选择的那些图像。在这种情况下,可以使用阈值时间段来确定在该一个小时用户会话期间被选择的图像是否可以被识别为关于引用图像的共同选择图像。例如,可以将在对该图像的选择和对引用图像的选择之间的时间与阈值时间段进行比较。如果在相对选择之间的时间小于或等于阈值,则该图像被识别为关于引用图像的共同选择图像。
在一些实施方式中,关于特定用户会话的选择数据可以包括在用户会话期间被选择的图像的列表。该列表可以例如按照图像在用户会话期间被选择的顺序来排序。因此,一旦在关于用户会话的选择数据中识别对引用图像的选择,在引用图像之后被引用的每个图像就可以被识别为共同选择图像。
识别表示共同选择图像的节点(508)。在一些实施方式中,例如在计算机存储器中,响应于第一识别的选择来定义表示共同选择图像的节点。在这些实施方式中,在计算机存储器中定义表示共同选择图像的节点之后,可以从该节点被定义在的计算机存储器位置识别该节点。例如,节点可以响应于初始识别的选择在加权图中定义,然后为共同选择图像的随后识别的选择在加权图中识别。在其他实施方式中,图像语料库中的每一个图像最初由加权图中的节点表示,而不考虑图像是否是共同选择图像。
当识别对共同选择图像的选择时,节点可以例如基于与共同选择图像相对应并且与节点相关联的唯一标识符(例如,URL)来识别。例如,唯一图像标识符可以为每一个共同选择图像生成,并且与图像和其对应的节点相关联。当识别对共同选择图像的选择时,与唯一标识符相关联的节点可以被识别为表示共同选择图像。共同选择图像中的每一个由加权图中的独立节点表示,以及加权图中的节点可以表示在单个或多个用户会话期间关于引用图像的共同选择图像。
为共同选择图像递增边权重(510)。在一些实施方式中,当生成加权图时,在每一个节点间的边权重可以被初始化为0(即,在节点之间不存在边)。因此,对共同选择图像的第一顺序选择将生成具有与一个标准单位相对应的权重(例如,权重1)的边。对共同选择图像的另外顺序选择将类似地以与标准单位相对应的递增量递增连接节点的边的权重。如上所述,边权重被递增的权重可以基于以下来调整:提升因子、节点的引用权重或用于调整正对其递增边权重的选择的相对重要性的另一个因子。
对共同选择图像的另外选择是否仍然关于该用户会话作出确定(512)。另外选择可以是紧接在对引用图像的选择之后的选择或继对其他图像的选择之后的选择。另外选择可以例如基于选择与对应于用户会话的唯一会话标识符相关联来识别。
当对共同选择图像的另外选择仍然关于该用户会话时,识别表示另一个共同选择图像的节点(508)。当对共同选择图像的另外选择不再关于该用户会话时,对引用图像是否在另一个用户会话期间被选择作出可选选择(514)。如上所述,对引用图像的另一个选择可以例如基于关于引用图像的选择数据来识别。当对引用图像的另一个选择被识别时,识别在用户会话期间的对共同选择图像的随后选择(506)。当没有被识别到对引用图像的另一个选择时,过程500结束(516)。
一旦生成加权图,就可以对其进行更新以表示对引用图像的另外选择和关于另外引用图像的共同选择图像。加权图可以基于更新条件被满足来周期性更新。更新条件例如可以是自最后更新起的指定量的时间、用户动作、用户会话或其他度量。
可以基于加权图中的连接到表示图像的节点的边来为共同选择图像生成主题分值。如参考图2所描述的,在一些实施方式中,特定图像的主题分值可以是连接到表示图像的节点的边权重的总和。当图像的主题分值满足阈值主题分值时,将该图像加标签为属于主题。进而,该图像可以被识别为新的引用图像,并且在加权图中被定义如此。
在其他实施方式中,可以为加权图中的节点所表示的图像中的每一个迭代地生成主题分值,直到停止条件发生。如下所述,迭代地生成主题分值以便于遍及加权图传播主题分值。
例如,当在一个或多个迭代期间图像中的每一个的主题分值的改变小于阈值改变(即,趋同)时,停止条件可以发生。在这些实施方式中,主题分值可以基于引用图像和/或其他图像属于引用主题的可能性和关于图像的共同选择数据来迭代地生成。图像中的每一个属于引用主题的可能性可以被表示为主题分值的向量。初始主题分值例如可以对应于上述引用权重。
图6A是其中可以存储并跟踪图像集的主题分值的示例表600。表600包括列602,在其中存储识别加权图中的每一个节点的节点标识符。表600还包括列604,在其中存储与列602中识别的节点相对应的主题分值。表600中提供的主题分值是分别与节点标识符702a-702e相对应的节点的初始主题分值。
初始主题分值表示列602中识别的节点所表示的每一个图像属于引用主题的初始可能性。主题分值可以是从0.00至1.00的值,其中具有主题分值0.00的图像是已知不属于引用主题的图像,以及具有主题分值1.00的图像是已知属于引用主题的图像。
在一些实施方式中,被识别为属于引用主题的图像(即,引用图像)的初始主题分值中的每一个可以被最初设置为1.0,而其他图像的初始主题分值被设置为0.0或一些其他默认值。通过下述迭代过程,可以为最初未被识别为属于引用主题的图像中的每一个计算最终主题分值。
在其他实施方式中,基于图像中的每一个的属于引用主题的初始可能性,为图像中的每一个指定初始主题分值。图像中的每一个属于引用主题的初始可能性可以例如基于以下来确定:标签反馈、图像分析技术和文本分析技术,其每一个在上面参考图2被描述。
在一些实施方式中,关于图像的共同选择数据可以为在一个或多个用户会话期间共同选择图像定义共同选择矩阵。例如,关于每一个图像对的共同选择数据可以是N×N共同选择矩阵中的值,其中N是在一个或多个用户会话期间选择的图像的数量。
关于图像对的共同选择数据例如可以指定图像中的一个在对另一个图像的选择之后的顺序选择率或用于图像对的另一个选择度量(例如,总计顺序选择)。共同选择数据可以是定向或单向的。在一些实施方式中,关于图像对的共同选择数据可以对应于加权图中的连接表示图像的节点对的边的权重。
图6B是其中可以存储定义共同选择矩阵的共同选择数据的示例表650。表650包括关于在一个或多个用户会话期间选择的每一个节点(例如,702a-702e)的行和列。关于每一个图像对(例如,节点702a和节点702c)的共同选择数据占据与该对中的图像中的每一个相对应的单元格。当共同选择数据对图像对不可获得时,可以将值“0.00”输入与表示图像的节点对相对应的单元格中。如在上面参考图2所描述的,关于图像对的共同选择数据可以例如基于关于用户会话的选择数据来识别。
可以使用来自表600的主题分值和来自共同选择矩阵650的共同选择数据来为已在一个或多个用户会话中共同选择的图像识别最终主题分值。例如,可以迭代地计算节点的主题分值和共同选择矩阵的乘积,直到停止条件发生。
图7A-7D是在迭代的主题分值生成过程的不同点处的示例加权图。迭代过程可以例如由图1的图像分类子系统120来执行。图7A-7D图示了相对于单个引用主题的图像的单个主题分值的识别。然而,关于其他引用主题的主题分值可以在加权图700或具有与加权图700中的节点相对应的节点的另一个图中计算。
参考图7A,加权图700由图像分类子系统120生成,其包括与图6A的初始主题分值相对应的节点702a-e的初始主题分值。例如,加权图700包括分别用于节点702a和702b的初始主题分值“0.00”和“1.00”。节点702c-e每一个具有初始主题分值“0.50”。类似地,在每一个节点对之间的边具有与在图6B的表650中指定的共同选择数据相对应的权重。使用这些初始主题分值和共同选择数据,图像分类子系统120可以例如基于初始主题分值和共同选择数据的乘积来为节点702a-702e所表示的图像中的每一个生成更新的主题分值。
参考图7B,加权图700示出了在迭代的主题分值生成过程的一次迭代之后节点702a-e中的每一个的更新的主题分值。在该示例中,节点702a-b的主题分值被分别固定在“0.00”和“1.00”。节点702a的主题分值被固定在“0.00”,因为节点702a表示的图像最初被识别为不属于引用主题。节点702b的主题分值被固定在“1.00”,因为节点702b表示的图像最初被识别为属于引用主题(即,引用主题的引用图像)。
例如,基于由共同选择矩阵和初始主题分值的乘积产生的向量的值,节点702c-e的更新的主题分值现分别为“0.25”、“0.73”和“0.53”。节点702a和702c与其他节点相比的相对较高幅度(“0.7”)的共同选择数据导致节点702c的更新的主题分值(“0.25”)比节点702c的初始主题分值(“0.5”)更接近于节点702a的主题分值(“0.00”)。类似地,节点702b和702d与其他节点相比的相对较高值(“0.7”)的共同选择数据给予节点702d比其他节点的主题分值更接近于节点702b的主题分值(“1.00”)的主题分值(“0.73”)。节点702e以及节点702b和702d中的每一个的共同选择数据的值(“0.5”)比节点702e以及节点702a和702c中的每一个的共同选择数据的值(“0.4”)稍微更高。因此,节点702e的更新的主题分值增加稍微接近节点702b和702d的主题分值。
在一些实施方式中,图像分类子系统120用图7B的更新的主题分值来替换节点702a-e的初始主题分值。例如,可以使用更新的主题分值来重写存储在图6B的表600中的初始主题分值。然后使用更新的主题分值和共同选择数据来例如通过计算更新的主题分值和共同选择数据的乘积,为节点生成另外更新的主题分值。
参考图7C,加权图700示出了在经由图像分类子系统120的迭代的主题分值生成过程的两次迭代之后节点702a-e的更新的主题分值。节点702c的更新的主题分值增加了“0.01”至“0.26”。节点702d的更新的主题分值增加了“0.01”至“0.74”。节点702e的更新的主题分值增加了“0.01”至“0.54”。在一些实施方式中,当在随后迭代之间的每一个更新的主题分值的改变低于诸如“0.01”的特定阈值时,图像分类子系统120停止迭代的主题分值生成。
参考图7D,加权图700示出了在经由图像分类子系统120的迭代的主题分值生成过程的四次迭代之后节点702a-e的更新的主题分值。节点702d的更新的主题分值增加了“0.01”至“0.75”。节点702a-e的更新的主题分值在第四次迭代之后每一个已在“0.01”内趋同。因此,图像分类子系统120停止迭代的主题分值生成过程,并且输出节点702a-e所表示的图像的主题分值。
替选地,图像分类子系统可以在阈值数量的迭代之后停止迭代过程。阈值数量的迭代可以是例如加权图中的两个特定节点之间的节点的数量的函数。
图8是用于迭代地生成主题分值的示例过程800。过程800可以例如由图1的图像分类子系统120来实现。
为图像组获取初始主题分值(802)。在一些实施方式中,图像组包括在一个或多个用户会话期间被共同选择的图像。每一个图像的初始主题分值是指定该图像属于引用主题的可能性的值。如参考图2所描述的,初始主题分值可以例如基于对图像、与图像相关联的文本和/或关于图像的标签反馈数据的分析来获取。
可以为图像中的每一个或图像子集指定初始主题分值。当为图像中的每一个指定初始主题分值时,值可以是在“0.00”和“1.00”之间,其中值“0.00”指示已知不属于引用主题的图像,以及值“1.00”指示已知属于引用主题的图像。
当为图像子集指定初始主题分值时,图像子集可以仅包括已知属于引用主题的那些图像。例如,图像中的已知属于引用主题的每一个(即,引用主题的引用图像)可以具有“1.00”的初始主题值,而每个其他图像具有“0.00”的初始主题值。可以使用初始主题分值来定义主题分值的向量,其中每一个初始主题分值是向量的组分。
获取图像组的共同选择数据(804)。在一些实施方式中,共同选择数据指定图像组中的每一个图像对的相对选择率。例如,如果从对另一个图像的每10个选择里,特定图像被选择八次,则该特定图像相对于另一个图像的相对选择率可以被指定为“0.8”。如参考图2所描述的,共同选择数据可以例如基于关于用户会话的选择数据来获取。如在上面参考图6B所描述的,可以使用共同选择数据来定义共同选择矩阵。
为图像组计算更新的主题分值(806)。在一些实施方式中,每一个图像的主题分值是主题分值和共同选择数据的函数的结果。例如,可以计算主题分值向量和共同选择矩阵的乘积来生成主题分值向量,其指定图像中的每一个的更新的主题分值。
对停止条件是否已发生作出确定(808)。在一些实施方式中,当对更新的主题分值中的每一个的改变低于阈值改变(即,主题分值趋同)时,停止条件发生。对更新的主题分值的改变可以是相对于一个或多个先前迭代中的主题分值的。例如,在一个迭代期间对每一个主题分值的绝对改变或在多个迭代期间的窗口平均改变。如上所述,在其他实施方式中,停止条件可以是完成阈值数量的迭代。
当停止条件已发生时,基于更新的主题分值对图像组进行分类(810)。在一些实施方式中,具有至少阈值主题分值的图像被分类为属于引用主题。在其他实施方式中,具有在最高部分的主题分值之中的主题分值的阈值数量的图像被分类为属于引用主题。最高部分的主题分值例如可以是整数数量的最高主题分值或最高百分比的主题分值。
将被分类为属于引用主题的图像与对应于引用主题的标签相关联(812)。在一些实施方式中,标签是与引用主题相对应的文本数据。例如,可以将被识别为色情图像的图像与文本“露骨的”或“色情的”相关联。在其他实施方式中,被识别为属于引用主题的图像可以具有被设置为指示该图像属于主题的二进制值的数据标志。
在上面描述了关于节点的若干示例值。例如,表示属于引用主题的图像的节点可以被分配“1.0”的值,而表示不属于引用类的图像的节点可以被分配“0.0”的初始值。另外,节点可以被分配与节点所表示的图像属于引用主题的可能性相对应的值。虽然为示例目的提供了这些值,可以将其他值分配给表示图像的节点。例如,表示属于引用主题的图像的节点可以被分配“1.0”的值,而不属于引用主题的图像可以被分配“-1.0”的值。类似地,可以将表示图像属于引用主题的可能性的替选值分配给节点。在上面的描述同样适用于将值分配给节点的任何方式。
在本说明书中描述的本发明的实施例和所有功能操作可以以数字电子电路,或者以计算机软件、固件或硬件,包括在本说明书中公开的结构以及其结构等价物,或者以以上的一个或多个的组合来实现。可以将本发明的实施例实现为一个或多个计算机程序产品,即一个或多个计算机程序指令模块,其被编码在计算机可读介质上、由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是计算机可读存储设备、机器可读存储基片、存储器设备、产生机器可读传播信号的物质成分、或以上的一个或多个的组合。术语“数据处理装置”包含用于处理数据的所有装置、设备以及机器,包括例如可编程处理器、计算机、或多个处理器或计算机。除硬件外,装置可以包括创建用于讨论中的计算机程序的执行环境的代码,例如构成处理器固件、协议堆栈、数据库管理系统、操作系统、或以上的一个或多个的组合的代码。传播信号是非自然生成的信号,例如机器生成的电的、光学或电磁的信号,其被生成以编码用于传输到适当接收器装置的信息。
计算机程序(也称作程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写,包括编译或解释语言,并且其可以以任何形式部署,包括作为独立程序或作为模块、组件、子程序或适于在计算环境中使用的其他单元。计算机程序不必对应于文件系统中的文件。可以将程序存储在保持其他程序或数据的文件(例如,存储在标记语言文档中的一个或多个脚本)的一部分、专用于讨论中的程序的单个文件或者多个协调文件(例如,存储一个或多个模块、子程序或部分代码的文件)中。可以将计算机程序部署为在一个计算机上或者在位于一个地点或跨多个地点分布并且由通信网络互连的多个计算机上执行。
在本说明书中描述的过程和逻辑流可以由执行一个或多个计算机程序的一个或多个可编程处理器执行以通过操作输入数据并且生成输出来执行功能。过程和逻辑流还可以由专用逻辑电路执行,以及装置还可以被实现为专用逻辑电路,所述专用逻辑电路例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
适于执行计算机程序的处理器包括例如通用和专用微处理器两者,以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的主要元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常,计算机还包括用于存储数据的一个或多个海量存储设备,例如磁、磁光盘或光盘,或可操作地耦接以从所述一个或多个海量存储设备接收数据或向所述一个或多个海量存储设备传送数据,或两者。然而,计算机不必具有这样的设备。此外,可以将计算机嵌入另一个设备中,所述设备例如移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器,仅列出一些。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如:半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内部硬盘或可移动盘;磁光盘;以及CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充,或合并入专用逻辑电路。
为了提供与用户的交互,本发明的实施例可以在具有下述的计算机上实现:用于向用户显示信息的显示设备,例如CRT(阴极射线管)或LCD(液晶显示)监视器;以及用户通过其可以向计算机提供输入的键盘和指示设备,例如鼠标或跟踪球。也可以使用其他类型的设备来提供与用户的交互;例如,提供给用户的反馈可以是任何形式的感知反馈,例如视觉反馈、听觉反馈或触觉反馈;以及可以以任何形式,包括声学的、话音或触觉的输入,接收来自用户的输入。
本发明的实施例可以在计算系统中实现,所述计算系统包括例如作为数据服务器的后端组件、或者包括例如应用服务器的中间件组件、或者包括前端组件,例如具有用户通过其可以与本发明的实施方式交互的图形用户界面或Web浏览器的客户端计算机、或者一个或多个这样的后端、中间件或前端组件的任何组合。系统的组件可以通过例如通信网络的任何形式或介质的数字数据通信互连。通信网络的示例包括局域网(″LAN″)和广域网(″WAN″),例如因特网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且典型地通过通信网络交互。客户端和服务器的关系依靠在各个计算机上运行并且彼此具有客户端-服务器关系的计算机程序产生。
虽然本说明书包含许多细节,但是这些细节不应当被解释为对本发明或可以主张的内容的范围的限制,而应当被解释为对具体到本发明的特定实施例的特征的描述。还可以将在本说明书中在分立的实施例的情境中描述的某些特征组合在单个实施例中实现。相反地,也可以将在单个实施例的情境中描述的各种特征分离地在多个实施例中实现或在任何适当的子组合中实现。此外,尽管可能在上面将特征描述为在某些组合中起作用,甚至最初主张如此,但是可以在一些情况下将来自所主张的组合的一个或多个特征从组合中删去,以及可以将所主张的组合指向子组合或者子组合的变体。
类似地,虽然在附图中以特定顺序描绘了操作,但是不应当将这理解为需要以所示的特定顺序或者以连续顺序执行这样的操作、或者需要执行所有图示的操作,才能达到期望的结果。在某些情况下,多任务以及并行处理可以是有利的。此外,不应当将在上述实施例中的各种系统组件的分离理解为在所有实施例中均需要这样的分离,而应当理解的是,通常可以将所描述的程序组件和系统集成到一起成为单个软件产品或封装为多个软件产品。
因此,已经描述了本发明的特定实施例。其他实施例在所附权利要求的范围内。例如,可以以不同的顺序来执行权利要求中记载的动作并且仍然达到期望的结果。
Claims (24)
1.一种用于图像搜索的方法,包括:
为引用图像获取引用标签,所述引用标签是指定所述引用图像属于的第一主题的标签;
在数据处理系统中识别用户会话,其中在所述用户会话期间所述引用图像被选择用于展现,每一个用户会话是对图像的选择被关联成会话集的时段;
在所述数据处理系统中为所述引用图像识别在用户会话期间被选择用于展现的共同选择图像,共同选择图像是继对所述引用图像的选择之后被选择的图像;
对于每一个共同选择图像,在所述数据处理系统中,基于对关于所述引用图像的所述共同选择图像的选择的频率来生成主题分值,所述主题分值表示所述共同选择图像与所述第一主题的相关性的度量;以及
将具有满足阈值主题分值的主题分值的共同选择图像加标签为属于所述第一主题。
2.根据权利要求1所述的方法,进一步包括:
为用户会话识别对所述引用图像的第一选择时间;
识别对在所述用户会话期间选择的共同选择图像的随后选择时间;以及
仅将具有在相对于所述第一选择时间的阈值时间段内的随后选择时间的图像识别为共同选择图像,其中所述用户会话具有会话时间段并且所述阈值时间段小于所述会话时间段。
3.根据权利要求1所述的方法,其中识别所述共同选择图像包括:
在所述数据处理系统中,将所述引用图像和所述共同选择图像表示为加权图中的节点,每一个节点通过加权边连接到其他节点,所述加权边表示对由所述节点和所述其他节点所表示的所述图像的顺序选择;以及
其中每一个共同选择图像的所述主题分值基于所述加权边来生成。
4.根据权利要求3所述的方法,其中连接节点对的加权边具有指示对由所述节点对所表示的图像的顺序选择的数量的权重。
5.根据权利要求4所述的方法,其中每一个加权边具有指示源图像和目的图像的定向组分,所述源图像是在所述目的图像被选择用于展现之前被选择用于展现的图像。
6.根据权利要求5所述的方法,其中加权边的每一个定向组分被独立地赋予权重。
7.根据权利要求3所述的方法,其中生成主题分值包括:
为每一个共同选择图像,识别将表示所述引用图像的节点连接到表示所述共同选择图像的节点的加权边;以及
基于所述加权边的权重来生成所述主题分值。
8.根据权利要求3所述的方法,其中生成主题分值包括:
为每一个共同选择图像,识别通过一个或多个另外节点将表示所述引用图像的节点连接到表示所述共同选择图像的节点的两个或更多个加权边;以及
基于与所述加权边相对应的边权重的函数来生成所述主题分值。
9.根据权利要求8所述的方法,其中基于边权重的函数来生成所述主题分值包括:基于边权重的函数来生成所述主题分值,每一个边权重基于在所述加权边和表示所述引用图像的所述节点之间的节点的数量来调节。
10.根据权利要求1所述的方法,其中所述主题指示色情内容。
11.根据权利要求1所述的方法,进一步包括:
接收对被分类为属于不同于所述第一主题的第二主题的查询作出响应的图像搜索结果;以及
对所述图像搜索结果进行过滤以移除对具有指示图像属于所述第一主题的标签的所述图像的引用。
12.根据权利要求1所述的方法,进一步包括:
接收对被分类为属于不同于所述第一主题的第二主题的查询作出响应的图像搜索结果;以及
当所述图像搜索结果包括对具有指示图像属于所述第一主题的标签的所述图像的引用时,对所述图像搜索结果重新排序。
13.根据权利要求1所述的方法,其中生成主题分值包括:
为所述共同选择图像获取初始主题分值,每一个初始主题分值是所述图像与所述第一主题的初始相关性度量;
为所述共同选择图像获取共同选择数据,所述共同选择数据指定相对于对所述引用图像或其他共同选择图像的选择的对所述共同选择图像的选择;
基于所述初始主题分值和所述共同选择数据的函数为所述共同选择图像计算更新的主题分值;
确定是否已发生停止条件;
当尚未发生所述停止条件时,基于所述共同选择数据和先前计算的更新的主题分值来计算另外的更新的主题分值;
当已发生所述停止条件时,基于所述更新的主题分值对所述共同选择图像进行分类;以及
其中所述加标签基于所述更新的主题分值。
14.一种用于图像搜索的系统,包括:
数据存储装置,所述数据存储装置存储引用图像的引用标签和关于多个用户会话的用户会话数据,所述引用标签是指定所述引用图像属于的第一主题的标签,所述用户会话数据指定在所述多个用户会话期间对图像的选择;以及
图像分类子系统,所述图像分类子系统被配置成为所述引用图像识别共同选择图像,生成表示所述共同选择图像中的每一个与所述主题的相关性的度量的主题分值,以及将具有满足阈值主题分值的主题分值的所述共同选择图像加标签为属于所述第一主题,所述共同选择图像是在用户会话期间继对所述引用图像的选择之后被选择用于展现的图像,以及所述主题分值基于对所述共同选择图像的选择的频率。
15.根据权利要求14所述的系统,其中所述图像分类子系统被进一步配置成:为用户会话识别对所述引用图像的第一选择时间和对共同选择图像的随后选择时间,其中所述共同选择图像仅仅是具有在相对于所述第一选择时间的阈值时间段内的随后选择时间的图像。
16.根据权利要求14所述的系统,其中所述图像分类子系统被配置成:基于加权图来识别共同选择图像,其中所述图像分类子系统将所述引用图像和所述共同选择图像表示为所述加权图中的节点,每一个节点通过加权边连接到其他节点,所述加权边表示对由通过所述加权边所连接的节点所表示的所述图像的顺序选择。
17.根据权利要求16所述的系统,其中所述图像分类子系统基于关于表示所述共同选择图像的节点的所述加权边为由所述加权图中的所述节点所表示的所述共同选择图像生成所述主题分值。
18.根据权利要求16所述的系统,其中连接节点对的每一个加权边具有指示对由所述节点对所表示的图像的顺序选择的数量的权重。
19.根据权利要求18所述的系统,其中每一个加权边具有指示源图像和目的图像的定向组分,所述源图像是在所述目的图像被选择用于展现之前被选择用于展现的图像。
20.根据权利要求14所述的系统,其中所述主题指示色情内容。
21.根据权利要求14所述的系统,其中所述图像分类子系统被进一步配置成:接收对被识别为属于不同于所述第一主题的第二主题的查询作出响应的图像搜索结果,以及对所述图像搜索结果进行过滤以移除对具有指示图像属于所述第一主题的标签的所述图像的引用。
22.根据权利要求14所述的系统,其中所述图像分类子系统被进一步配置成:接收对被识别为属于不同于所述第一主题的第二主题的查询作出响应的图像搜索结果,以及调整具有与所述第一主题相对应的标签的图像被引用的展现位置。
23.一种用于图像搜索的系统,包括:
为引用图像获取引用标签的装置,所述引用标签是指定所述引用图像属于的第一主题的标签;
在数据处理系统中识别用户会话的装置,其中在所述用户会话期间所述引用图像被选择用于展现,每一个用户会话是对图像的选择被关联成会话集的时段;
在所述数据处理系统中为所述引用图像识别在用户会话期间被选择用于展现的共同选择图像的装置,共同选择图像是继对所述引用图像的选择之后被选择的图像;
对于每一个共同选择图像,在所述数据处理系统中,基于对关于所述引用图像的所述共同选择图像的选择的频率来生成主题分值的装置,所述主题分值表示所述共同选择图像与所述第一主题的相关性的度量;以及
将具有满足阈值主题分值的主题分值的共同选择图像加标签为属于所述第一主题的装置。
24.根据权利要求23所述的系统,其中生成主题分值的所述装置包括:
为所述共同选择图像获取初始主题分值的装置,每一个初始主题分值是所述图像与所述第一主题的初始相关性度量;
为所述共同选择图像获取共同选择数据的装置,所述共同选择数据指定相对于对所述引用图像或其他共同选择图像的选择的对所述共同选择图像的选择;
基于所述初始主题分值和所述共同选择数据的函数为所述共同选择图像计算更新的主题分值的装置;
确定是否已发生停止条件的装置;
当尚未发生所述停止条件时,基于所述共同选择数据和先前计算的更新的主题分值来计算另外的更新的主题分值的装置;
当已发生所述停止条件时,基于所述更新的主题分值对所述共同选择图像进行分类的装置;以及
其中所述加标签基于所述更新的主题分值。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2009/000618 WO2010139091A1 (en) | 2009-06-03 | 2009-06-03 | Co-selected image classification |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102483745A CN102483745A (zh) | 2012-05-30 |
CN102483745B true CN102483745B (zh) | 2014-05-14 |
Family
ID=43297248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200980160571.9A Active CN102483745B (zh) | 2009-06-03 | 2009-06-03 | 共同选择图像分类 |
Country Status (7)
Country | Link |
---|---|
US (2) | US8856124B2 (zh) |
EP (1) | EP2438539B1 (zh) |
JP (1) | JP5436665B2 (zh) |
CN (1) | CN102483745B (zh) |
AU (1) | AU2009347535B2 (zh) |
CA (1) | CA2764243A1 (zh) |
WO (1) | WO2010139091A1 (zh) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7191175B2 (en) | 2004-02-13 | 2007-03-13 | Attenex Corporation | System and method for arranging concept clusters in thematic neighborhood relationships in a two-dimensional visual display space |
US8713018B2 (en) | 2009-07-28 | 2014-04-29 | Fti Consulting, Inc. | System and method for displaying relationships between electronically stored information to provide classification suggestions via inclusion |
EP2471009A1 (en) | 2009-08-24 | 2012-07-04 | FTI Technology LLC | Generating a reference set for use during document review |
WO2011032077A2 (en) * | 2009-09-11 | 2011-03-17 | University Of Maryland, College Park | System and method for data management in large data networks |
US8732208B2 (en) * | 2010-04-19 | 2014-05-20 | Facebook, Inc. | Structured search queries based on social-graph information |
US9646110B2 (en) | 2011-02-28 | 2017-05-09 | International Business Machines Corporation | Managing information assets using feedback re-enforced search and navigation |
US10162892B2 (en) * | 2011-02-28 | 2018-12-25 | International Business Machines Corporation | Identifying information assets within an enterprise using a semantic graph created using feedback re-enforced search and navigation |
CN103136228A (zh) | 2011-11-25 | 2013-06-05 | 阿里巴巴集团控股有限公司 | 一种图片搜索方法以及图片搜索装置 |
US9171018B2 (en) * | 2012-01-17 | 2015-10-27 | Google Inc. | System and method for associating images with semantic entities |
US9053194B2 (en) * | 2012-02-01 | 2015-06-09 | Sri International | Method and apparatus for correlating and viewing disparate data |
US20150161127A1 (en) * | 2012-02-13 | 2015-06-11 | Google Inc. | Ranking entity realizations for information retrieval |
GB2495567B (en) * | 2012-04-19 | 2013-09-18 | Wonga Technology Ltd | Method and system for user authentication |
JP5895777B2 (ja) * | 2012-09-06 | 2016-03-30 | 富士ゼロックス株式会社 | 情報分類プログラム及び情報処理装置 |
US20140075393A1 (en) * | 2012-09-11 | 2014-03-13 | Microsoft Corporation | Gesture-Based Search Queries |
JP5855594B2 (ja) * | 2013-02-19 | 2016-02-09 | 日本電信電話株式会社 | クラスタリング装置、クラスタリング処理方法およびそのプログラム |
US9569440B2 (en) * | 2013-02-22 | 2017-02-14 | Sony Corporation | Method and apparatus for content manipulation |
WO2014197216A1 (en) * | 2013-06-03 | 2014-12-11 | Yahoo! Inc. | Photo and video search |
WO2014197218A1 (en) | 2013-06-03 | 2014-12-11 | Yahoo! Inc. | Photo and video sharing |
JP6313056B2 (ja) * | 2014-01-31 | 2018-04-18 | シャープ株式会社 | 情報処理装置、検索システム、情報処理方法、および、プログラム |
US20150262255A1 (en) * | 2014-03-12 | 2015-09-17 | Netseer, Inc. | Search monetization of images embedded in text |
CN103995856B (zh) * | 2014-05-14 | 2017-04-19 | 北京奇虎科技有限公司 | 一种提供图像搜索的方法和装置 |
US10296646B2 (en) | 2015-03-16 | 2019-05-21 | International Business Machines Corporation | Techniques for filtering content presented in a web browser using content analytics |
CN104715037B (zh) * | 2015-03-19 | 2017-06-16 | 腾讯科技(深圳)有限公司 | 一种网络数据的过滤方法、装置和系统 |
US10503786B2 (en) | 2015-06-16 | 2019-12-10 | International Business Machines Corporation | Defining dynamic topic structures for topic oriented question answer systems |
WO2017025458A1 (en) * | 2015-08-07 | 2017-02-16 | Gamamabs Pharma | Antibodies, antibody drug conjugates and methods of use |
US11068546B2 (en) | 2016-06-02 | 2021-07-20 | Nuix North America Inc. | Computer-implemented system and method for analyzing clusters of coded documents |
JP6758599B2 (ja) * | 2016-06-23 | 2020-09-23 | 富士ゼロックス株式会社 | 端末装置 |
US11055335B2 (en) * | 2016-07-15 | 2021-07-06 | Google Llc | Contextual based image search results |
US10489456B2 (en) | 2016-11-08 | 2019-11-26 | International Business Machines Corporation | Topic bridging determination using topical graphs |
US10459995B2 (en) * | 2016-12-22 | 2019-10-29 | Shutterstock, Inc. | Search engine for processing image search queries in multiple languages |
US10552478B1 (en) | 2016-12-28 | 2020-02-04 | Shutterstock, Inc. | Image search using intersected predicted queries |
CN107103628A (zh) * | 2017-03-22 | 2017-08-29 | 北京安博通科技股份有限公司 | 图像检测方法及装置 |
CN110555124B (zh) * | 2018-06-01 | 2024-07-19 | 北京京东尚科信息技术有限公司 | 图片选择方法、系统、介质和电子设备 |
US10628698B1 (en) * | 2019-07-02 | 2020-04-21 | Grundium Oy | Method for image stitching |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101010698A (zh) * | 2005-06-30 | 2007-08-01 | 奥林巴斯株式会社 | 标记指定装置及标记指定方法 |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6037939A (en) * | 1995-09-27 | 2000-03-14 | Sharp Kabushiki Kaisha | Method for enabling interactive manipulation of data retained in computer system, and a computer system for implementing the method |
US7051277B2 (en) * | 1998-04-17 | 2006-05-23 | International Business Machines Corporation | Automated assistant for organizing electronic documents |
US6408301B1 (en) * | 1999-02-23 | 2002-06-18 | Eastman Kodak Company | Interactive image storage, indexing and retrieval system |
US6556724B1 (en) * | 1999-11-24 | 2003-04-29 | Stentor Inc. | Methods and apparatus for resolution independent image collaboration |
JP2002288189A (ja) | 2001-03-27 | 2002-10-04 | Seiko Epson Corp | 文書分類方法及び文書分類装置並びに文書分類処理プログラムを記録した記録媒体 |
US7043474B2 (en) * | 2002-04-15 | 2006-05-09 | International Business Machines Corporation | System and method for measuring image similarity based on semantic meaning |
US20030228042A1 (en) * | 2002-06-06 | 2003-12-11 | Usha Sinha | Method and system for preparation of customized imaging atlas and registration with patient images |
US7197158B2 (en) * | 2002-06-28 | 2007-03-27 | Microsoft Corporation | Generation of metadata for acquired images |
US7224836B2 (en) | 2002-12-20 | 2007-05-29 | Palo Alto Research Center Incorporated | Systems and methods for style conscious field classification |
US20050053267A1 (en) * | 2003-09-05 | 2005-03-10 | Varian Medical Systems Technologies, Inc. | Systems and methods for tracking moving targets and monitoring object positions |
JP4313638B2 (ja) | 2003-09-25 | 2009-08-12 | 株式会社リコー | 画像管理方法、画像管理プログラム及び画像管理システム |
US7680330B2 (en) * | 2003-11-14 | 2010-03-16 | Fujifilm Corporation | Methods and apparatus for object recognition using textons |
US7860811B2 (en) * | 2004-11-04 | 2010-12-28 | Manyworlds, Inc. | Adaptive recommendation explanations |
JP2006004157A (ja) | 2004-06-17 | 2006-01-05 | Olympus Corp | 画像検索プログラム、画像検索方法、画像検索装置及び記録媒体 |
US7979358B1 (en) * | 2004-07-27 | 2011-07-12 | Stamps.Com Inc. | Quality assurance of image-customization of computer-based value-bearing items |
JP2006115045A (ja) | 2004-10-13 | 2006-04-27 | Sony Corp | 撮像装置、撮像方法、プログラムおよびユーザインターフェース |
US7523117B2 (en) * | 2005-05-04 | 2009-04-21 | West Virginia University Research Corporation | Method for data clustering and classification by a graph theory model—network partition into high density subgraphs |
US7809722B2 (en) * | 2005-05-09 | 2010-10-05 | Like.Com | System and method for enabling search and retrieval from image files based on recognized information |
EP1890268A1 (en) * | 2005-06-07 | 2008-02-20 | Sony Corporation | Image processing device and image processing method and computer program |
EP1938225A2 (en) * | 2005-09-30 | 2008-07-02 | Koninklijke Philips Electronics N.V. | Method and apparatus for browsing of images |
US7933956B2 (en) * | 2006-01-24 | 2011-04-26 | Simulat, Inc. | System and method to create a collaborative web-based multimedia layered platform |
US8019763B2 (en) | 2006-02-27 | 2011-09-13 | Microsoft Corporation | Propagating relevance from labeled documents to unlabeled documents |
US20070297657A1 (en) * | 2006-06-23 | 2007-12-27 | Julian Mattes | Quantification and visualization of the motion and deformation of one or several objects inside a living entity |
US7739622B2 (en) * | 2006-10-27 | 2010-06-15 | Microsoft Corporation | Dynamic thumbnails for document navigation |
US8200039B2 (en) * | 2007-04-05 | 2012-06-12 | Adobe Systems Incorporated | Laying out multiple images |
CN101295305B (zh) * | 2007-04-25 | 2012-10-31 | 富士通株式会社 | 图像检索装置 |
US8290986B2 (en) | 2007-06-27 | 2012-10-16 | Yahoo! Inc. | Determining quality measures for web objects based on searcher behavior |
US8351685B2 (en) * | 2007-11-16 | 2013-01-08 | Gwangju Institute Of Science And Technology | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same |
US8180112B2 (en) * | 2008-01-21 | 2012-05-15 | Eastman Kodak Company | Enabling persistent recognition of individuals in images |
DE102008010006B4 (de) * | 2008-02-19 | 2017-06-08 | Siemens Healthcare Gmbh | Verfahren zur dreidimensionalen Darstellung einer bewegten Struktur durch ein tomographisches Verfahren |
US8190604B2 (en) * | 2008-04-03 | 2012-05-29 | Microsoft Corporation | User intention modeling for interactive image retrieval |
US8520979B2 (en) * | 2008-08-19 | 2013-08-27 | Digimarc Corporation | Methods and systems for content processing |
US8489627B1 (en) * | 2008-08-28 | 2013-07-16 | Adobe Systems Incorporated | Combined semantic description and visual attribute search |
US8971641B2 (en) * | 2010-12-16 | 2015-03-03 | Microsoft Technology Licensing, Llc | Spatial image index and associated updating functionality |
US9165068B2 (en) * | 2012-08-03 | 2015-10-20 | Adobe Systems Incorporated | Techniques for cloud-based similarity searches |
US20150120680A1 (en) * | 2013-10-24 | 2015-04-30 | Microsoft Corporation | Discussion summary |
-
2009
- 2009-06-03 WO PCT/CN2009/000618 patent/WO2010139091A1/en active Application Filing
- 2009-06-03 AU AU2009347535A patent/AU2009347535B2/en active Active
- 2009-06-03 CN CN200980160571.9A patent/CN102483745B/zh active Active
- 2009-06-03 CA CA2764243A patent/CA2764243A1/en not_active Abandoned
- 2009-06-03 US US13/375,565 patent/US8856124B2/en not_active Expired - Fee Related
- 2009-06-03 EP EP09845372.3A patent/EP2438539B1/en active Active
- 2009-06-03 JP JP2012513434A patent/JP5436665B2/ja active Active
-
2014
- 2014-06-30 US US14/319,888 patent/US9594826B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101010698A (zh) * | 2005-06-30 | 2007-08-01 | 奥林巴斯株式会社 | 标记指定装置及标记指定方法 |
Also Published As
Publication number | Publication date |
---|---|
AU2009347535A1 (en) | 2011-12-22 |
JP5436665B2 (ja) | 2014-03-05 |
WO2010139091A1 (en) | 2010-12-09 |
US20120124034A1 (en) | 2012-05-17 |
CN102483745A (zh) | 2012-05-30 |
JP2012529089A (ja) | 2012-11-15 |
AU2009347535B2 (en) | 2015-05-28 |
US8856124B2 (en) | 2014-10-07 |
US20150012547A1 (en) | 2015-01-08 |
CA2764243A1 (en) | 2010-12-09 |
US9594826B2 (en) | 2017-03-14 |
EP2438539A4 (en) | 2014-04-30 |
EP2438539A1 (en) | 2012-04-11 |
EP2438539B1 (en) | 2018-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102483745B (zh) | 共同选择图像分类 | |
US11580104B2 (en) | Method, apparatus, device, and storage medium for intention recommendation | |
CN1934569B (zh) | 集成有用户注释的搜索系统和方法 | |
CN102317936B (zh) | 识别评论以连同文档一起示出 | |
US8630972B2 (en) | Providing context for web articles | |
US8380721B2 (en) | System and method for context-based knowledge search, tagging, collaboration, management, and advertisement | |
US7949643B2 (en) | Method and apparatus for rating user generated content in search results | |
CN114238573B (zh) | 基于文本对抗样例的信息推送方法及装置 | |
US8775416B2 (en) | Adapting a context-independent relevance function for identifying relevant search results | |
US8271495B1 (en) | System and method for automating categorization and aggregation of content from network sites | |
US20100191758A1 (en) | System and method for improved search relevance using proximity boosting | |
US20140279774A1 (en) | Classifying Resources Using a Deep Network | |
CN101305371A (zh) | 对博客文档进行排名 | |
CN104834729A (zh) | 题目推荐方法和题目推荐装置 | |
WO2012051470A1 (en) | Systems and methods for using a behavior history of a user to augment content of a webpage | |
CN103597509A (zh) | 利用用户交互分组聚合转化路径 | |
US20100094826A1 (en) | System for resolving entities in text into real world objects using context | |
US9367638B2 (en) | Surfacing actions from social data | |
US20120233096A1 (en) | Optimizing an index of web documents | |
CN115659008B (zh) | 大数据信息反馈的信息推送系统、方法、电子设备及介质 | |
CN113297457A (zh) | 一种高精准性的信息资源智能推送系统及推送方法 | |
WO2021210992A9 (en) | Systems and methods for determining entity attribute representations | |
CN112749330A (zh) | 信息推送方法、装置、计算机设备和存储介质 | |
CN114881712A (zh) | 智能广告投放方法、装置、设备及存储介质 | |
CN103425767B (zh) | 一种提示数据的确定方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: American California Patentee after: Google limited liability company Address before: American California Patentee before: Google Inc. |