CN103988202B - 基于索引和搜索的图像吸引力 - Google Patents

基于索引和搜索的图像吸引力 Download PDF

Info

Publication number
CN103988202B
CN103988202B CN201180075042.6A CN201180075042A CN103988202B CN 103988202 B CN103988202 B CN 103988202B CN 201180075042 A CN201180075042 A CN 201180075042A CN 103988202 B CN103988202 B CN 103988202B
Authority
CN
China
Prior art keywords
image
attraction
labeled
described image
search inquiry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180075042.6A
Other languages
English (en)
Other versions
CN103988202A (zh
Inventor
L·杨
B·耿
X-S·华
S·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN103988202A publication Critical patent/CN103988202A/zh
Application granted granted Critical
Publication of CN103988202B publication Critical patent/CN103988202B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

图像的吸引力可通过将所提取的视觉特征与关于图像的上下文线索集成来估算。图像的吸引力可由图像内包含的元素的视觉特征(例如，感知质量、美学敏感度和/或情调)来定义。图像可基于所估算的吸引力来索引，搜索结果可基于图像吸引力来呈现，和/或用户可在接收图像搜索结果之后选择来按吸引力对图像搜索结果重新排序。

Description

基于索引和搜索的图像吸引力
背景
web搜索引擎被设计成返回与在搜索查询中输入的主题相关的搜索结果。即，如果在搜索查询中输入‘猫’，则猫的信息和图像作为搜索结果被包括。现有的搜索引擎返回与在搜索查询中输入的主题相似的图像。因此，作为搜索结果被包括的图像可能与搜索查询主题相关，但仍拥有不同的质量或美学等级。例如，现有的搜索引擎可返回包括与其它可用图像相比，质量差或者较不美观的‘猫’的图像。
发明内容
提供本发明内容是为了以简化的形式介绍将在以下具体实施方式中进一步描述的选择的概念。本发明内容不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
本发明描述了估算图像吸引力的示例方法。图像的吸引力可由图像内包含的元素的感知质量、美学敏感度和/或情调来定义。图像的吸引力可通过将所提取的视觉特征与关于图像的上下文线索集成来估算。在一个实施例中，基于所估算的吸引力选择图像以便索引。在另一实施例中，存储在索引中的、有吸引力的图像被web搜索引擎访问以便作为搜索结果被包括。以此方式，可响应于搜索查询，向用户呈现更有吸引力的图像。在另一实施例中，用户可接收一组图像作为搜索结果，并通过界面或浏览器选择基于吸引力对搜索结果图像重新排序的选项。
附图说明
参考附图阐述详细描述。在附图中，附图标记最左边的数字标识该附图标记首次出现的附图。在不同附图中使用相同的附图标记指示相似或相同的项。
图1是用于估算图像吸引力并用于促进基于吸引力的索引和搜索的示例体系结构的示意图。
图2是示出其中将吸引力估算引擎并入web图像搜索引擎的示例应用的示意图。
图3是示出用于估算图像的吸引力的示例操作及其示例应用的示意图。
图4是示出对作为搜索结果被包括的图像进行示例的、基于吸引力的排序和重新排序的示意图。
图5是示出用于基于吸引力的图像索引的示例方法的流程图。
图6是示出用于对搜索结果图像进行基于吸引力的排序的示例方法的流程图。
图7是示出用于对搜索结果图像进行基于吸引力的重新排序的示例方法的流程图。
具体实施方式
概览
如上所述，常规的web搜索引擎被设计成返回与在搜索查询中输入的主题相关的搜索结果。即，如果在搜索查询中输入‘猫’，则猫的信息和图像作为搜索结果被包括。大量图像可用来作为搜索结果被包括。然而，当制定搜索结果时，总体图像的吸引力或质量不被考虑。因此，用户必须在找到满意的图像之前筛选掉质量差的图像，或者用户因更有吸引力的图像没有被包括在搜索结果中而利用平均质量的图像。
本发明描述了用于估算总体图像的吸引力的示例方法。根据本发明，图像的吸引力可由图像内包含的元素的感知质量、美学敏感度和/或情调来定义。在一些实现中，这些特征或特性可被同等地加权，但在其它实现中，这些特征/特性可被不同地加权。然而，组合采用这些特征/特性提供了确定图像吸引力的方法，吸引力不是图像中与对象相关联的物理属性的主观表征，也不是其它单个特征。相反，客观视觉特征被分析以得到图像内的特征的吸引力估算。例如，与感知质量、美学敏感度和情调相关联的图像的视觉特征可包括：光照、色彩、锐度、模糊、色调计数和/或色彩直方图。另外或替换地，吸引力估算可基于集成视觉特征与同图像相关联的上下文数据来确定。例如，上下文数据可从照片图像的可交换图像文件格式(EXIF)或从图像所位于的网页内容得到。另外或替换地，上下文数据可与图像位于其中的网页的结构相关联。
如本文所述，图像可包括照片、绘画、图画、剪贴画、图、图表、视频帧、或其它静态图像。可通过在整个web域或可被搜索的任何其它图像全集中爬行网页来获取图像。尽管被描述为可适用于静态图像，但是本文所述的技术也可被适用于视频、动画、运动图像等。一般而言，图像吸引力估算包括分析与感知质量、美学敏感度和/或情调相关联的视觉特征。感知质量表示用户感知到图像内所包含的主题的能力，且可通过确定图像的亮度、对比度、色彩丰富度、锐度和/或模糊来分析。这些特征被确定的方式将详细地被包含在下文中。
对图像吸引力估算有贡献的另一视觉特征分量包括美学敏感度。美学敏感度表示图像被称为美丽的、清楚的、或吸引人的程度。图像的美学敏感度可例如通过应用诸如“三分法”、简洁性和视觉重量等公知的摄影规则来确定。“三分法”例如可通过分析对象相对于总体图像的位置来从图像提取。同时，简洁性(即，实现使项从周围凸显的效果)可通过分析图像的色调计数来确定。作为示例，图像的视觉重量可通过使图像的对象区域与非对象部分的清晰度进行对比来捕捉。
估算图像的吸引力的另外视觉特征分量包括情调(即，通过观看图像调动情绪的程度)。换言之，情调可测量生动程度或用户可与图像相关联的个人情感。情调可通过分析(i)静态对比动态线条的数量和长度两者的分布和/或(ii)量化色彩对情绪的影响的直方图来对吸引力估算作出贡献。用于分析图像的情调的技术将更详细地包含在下文中。
如上所述，可结合上下文数据来分析视觉特征以得到图像吸引力分数。上下文数据可从EXIF数据挖掘。EXIF数据指定当图像被捕捉时的设置、格式和/或环境状况，且可反映图像吸引力。例如，诸如曝光程序、焦距、ISO速度(即，胶片或数字图像捕捉设备的传感器对传入光的敏感度)、曝光时间和/或焦距比数的EXIF数据可反映图像的吸引力。
另外或替换地，上下文数据可从与图像相关联的网页的内容得到。例如，网页上的文本可通过常规的特征选择方法，诸如信息增益(IG)来分析，以确定一词的存在和/或缺失。在一些实现中，IG可从诸如锚文本、图像标题、周围文本、统一资源定位符(URL)、网页标题、网页元描述和/或网页元关键词的文本源中标识文本词。通过标识特定词在网页中的存在和/或缺失，IG可估算吸引力的正或负反映。例如，“jpg”或“可打印”可反映包含在网页中的图像与“gif”或“桌面”相比具有高吸引力，“gif”或“桌面”可反映图像具有低吸引力。
除了网页内容，网页结构可提供用于估算图像吸引力的其它上下文数据。例如，网页结构上下文数据可包括图像相对于网页的尺寸、图像文件名的长度、图像周围的词的数目、和/或图像在水平和垂直维度上的位置。这些特征中的每一个可反映或者吸引力的高程度或者低程度。例如，具有结构上较长文件名和/或位于网页中心附近的图像与具有结构上较短文件名或位于网页角落中的图像相比，可与较高的吸引力相关。
图像吸引力可由大量应用来采用。作为示例而非限制，可根据吸引力来选择性地索引图像。经索引的图像可例如由搜索引擎访问以便返回遵循搜索查询的有吸引力的图像。例如，不仅相关且在视觉上有吸引力的图像可在搜索结果中提升位置。有时，不总是希望呈现按吸引力排序的搜索结果图像。因此，替换地，当前未按吸引力排序的搜索结果图像可被重新排序，以便在具有较低吸引力分数或排名的图像之前呈现具有较高吸引力分数或排名的图像。例如，在接收到搜索结果之后，用户可通过在用户界面或搜索引擎窗口中做出选择来选择对结果重新排序。
以下详细讨论从题为“说明性体系结构”的章节开始，该章节详细描述用于实现本文所述技术的示例基于吸引力的索引和搜索体系结构。该章节还描述了在用户在对按吸引力索引的图像进行搜索时该体系结构内的操作的示例流程。接下来是题为“说明性基于吸引力的索引和搜索方法”的第二章节。
本简介，包括部分标题和对应的概述，是出于方便读者的目的而提供的，而非旨在限制权利要求或其后部分的范围。
说明性体系结构
图1是可实现所描述的用于(i)确定图像的吸引力和(ii)对索引、搜索结果的排序和/或搜索结果的重新排序应用图像吸引力的技术的示例计算体系结构100的示意图。
如图所示，体系结构100包括吸引力估算引擎102来确定图像吸引力。如图所示，吸引力估算引擎102包括一个或多个处理器104和包括吸引力模块108的存储器106。该一个或多个处理器104以及存储器106使得吸引力估算引擎102能够执行本文所述的功能。吸引力模块108包括视觉分析组件110和上下文分析组件112。
在一个实现中，吸引力估算引擎102可经网络114从图像数据库118接收或访问图像116(1)、……、116(N)(统称为116)以及用吸引力模块108处理图像116。例如，视觉分析组件110可分析表示感知质量、美学敏感度和/或情调的图像特征。同时，上下文分析组件112可分析与图像EXIF相关联的上下文数据、图像位于其中的网页的内容和/或图像位于其中的网页的结构。视觉分析组件110和上下文分析组件112执行的分析的细节将在以下参考图3详细讨论。
在另一实现中，吸引力估算引擎102可经网络114将一个或多个经处理的图像120(1)、……、120(N)(统称为120)发送到或暴露给吸引力索引122。以此方式，图像吸引力可被应用于索引。
在另一实现中，如以下参考图2所示的web搜索引擎可采用吸引力估算引擎102来得到专用于web搜索引擎的基于吸引力的索引。例如，尽管体系结构100展示了其中吸引力索引122可用于提供搜索结果的示例，但或者，吸引力估算引擎102可被集成到web搜索引擎中。另外或替换地，吸引力估算可被并入其它应用中。例如，可在电子邮件平台(未示出)中采用吸引力估算引擎102。在这种情况下，收件箱或其它电子邮件文件夹中包含的图像可按吸引力排序，以便首先向用户呈现最高质量的图像。吸引力估算引擎102的另一实现可包括网络，如社交网络或照片分享站点。在这一实现中，被存储、被接收或在用户之间发送的图像可按吸引力排序并基于其吸引力显露。又一实现可包括将吸引力估算引擎102并入图像捕捉设备。例如，用户可捕捉多个图像，但无法确定哪个图像具有最高的质量，并因此应被保存、保留或以其它方式稍后使用。通过将吸引力估算引擎102并入图像捕捉设备，多个图像中的每一个可按吸引力排序，向用户给予从对用户而言看起来相似的多个图像中定位最高质量的图像的快速且准确的方式。例如，图像可基于吸引力在图像捕捉设备上被组织，可基于其吸引力从图像捕捉设备下载，和/或可基于吸引力排序在从图像捕捉设备接收到图像之后在计算设备的图像处理/查看应用中组织或分组。
吸引力估算引擎102的其它实现可以是图像数据库中的组件。例如，相册软件可使用引擎来按吸引力排序图像。这可使得最终用户更易于标识最高质量的图像。
尽管图1将吸引力估算引擎102示为包含所示的模块和组件，但是这些模块和它们相应的功能可在多个其他动作者之间散布，每个动作者可以或可以不与吸引力估算引擎102有关。
网络114便于吸引力估算引擎102、吸引力索引122和客户机设备124之间的通信。例如，网络114可以是无线或有线网络，或其组合。网络114可以是彼此互连并用作单个大型网络的各单独网络的集合(例如，因特网或内联网)。这样的网络的示例包括，但不仅限于，个人区域网(PAN)、局域网(LAN)、广域网(WAN)，以及城域网(MAN)。此外，各单独网络也可以是无线或有线网络，或其组合。
在这一示例中，体系结构100包括客户机设备124。在某些实现中，用户126(1)、……、126(M)(统称为126)可经客户机设备126与体系结构100交互。如所示，客户机设备124可以是许多类型的计算设备的代表，包括但不限于移动电话、个人数字助理、智能电话、手持式设备、个人计算机、笔记本或便携式计算机、上网本、因特网设备、便携式阅读设备、电子书阅读器设备、图形输入板或平板计算机、电视机、机顶盒、游戏控制台、媒体播放器、数字音乐播放器等，或它们的组合。
图1的左上部更详细地示出与客户机设备124相关联的信息。如所示，客户机设备124包括一个或多个处理器128以及存储器130，存储器进一步包括应用132。该一个或多个处理器128以及存储器130使得客户机设备124能够执行本文所述的功能。应用132呈现用户界面(UI)，该用户界面包括重新排序控件134和一个或多个搜索结果136。在一个实施例中，应用132可从用户126接收搜索查询，并作为响应，经由网络114访问吸引力索引122。在此，该搜索请求可包括例如语义搜索查询，或作为替代可包括结构化的搜索查询。在这一实施例中，应用132可基于图像吸引力呈现搜索结果136。
在另一实现中，用户126可与应用132交互以按图像吸引力过滤搜索结果。例如，响应于用户126与重新排序控件134交互，具有较高吸引力分数的图像可被提升到具有较低吸引力分数的图像之前。另外或替换地，用户126可与应用132交互以按特定的吸引力特性(诸如亮度、色彩丰富度、锐度和/或表示特定情绪的色彩直方图)过滤搜索结果中的图像。与重新排序控件134的交互可包括选择按钮、链接、下拉菜单或图标。或者，重新排序控件134可经由语音或姿势来被选择。尽管应用132在该示例中执行该功能，但是浏览器或客户机设备124的另一应用可便于访问吸引力索引122。或者，与吸引力索引、排序和/或重新排序有关的功能的一些或全部可由远程服务器来执行(例如作为web服务)。
仍然参考图1，图像数据库118可经由网络114将图像116发送到吸引力估算引擎102。作为示例，图像数据库118可通过在部分或整个web域中爬行网页来获取图像116。
在所示示例中，吸引力索引122可从吸引力估算引擎102接收包括吸引力分数的经处理的图像120。例如，图像120可从吸引力估算引擎102被接收。或者，吸引力索引122可向应用132发送图像120以作为搜索结果136被包括。例如，图像120可经由网络114被发送到客户机设备124。
总体上，体系结构100提供基于吸引力的索引和搜索系统，该系统能够确定图像吸引力并基于图像吸引力索引、排序搜索结果和/或重新排序搜索结果。例如，体系结构100可基于视觉和/或上下文特征经由吸引力模块108估算图像吸引力，并将经处理的图像120存储在吸引力索引122中。以此方式存储图像120可向应用132提供具有高吸引力排名的图像以便作为搜索结果被包括。另外，用户126可经由重新排序控件134按吸引力对结果重新排序。
在所示实现中，吸引力估算引擎102被示为包括多个模块和组件。所示模块可以被存储在存储器106中。存储器106以及存储器130可包括诸如随机存取存储器(RAM)等易失性存储器形式的和/或诸如只读存储器(ROM)或闪速RAM等非易失性存储器形式的计算机可读存储介质。所示存储器是计算机可读存储介质的示例。计算机可读介质包括至少两种类型的计算机可读介质，即计算机存储介质和通信介质。
计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，相变存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其它类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其它存储器技术、光盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其它光存储、磁带盒、磁带、磁盘存储或其它磁存储设备、或可用于存储由计算设备访问的信息的任何其它非传输介质。
相反，通信介质可在诸如载波之类的已调制数据信号或其它传输机制中体现计算机可读指令、数据结构、程序模块或其它数据。如本文所定义的，计算机存储介质不包括通信介质。
尽管已经示出并描述了一个示例体系结构100，但是多种其它体系结构可实现本文所述的技术。
图2是示出其中吸引力估算引擎102被并入web搜索引擎202(例如，文本搜索引擎、图像搜索引擎等)的示例应用200的示意图。通过将吸引力估算引擎102应用到web搜索引擎202中，专用于web搜索引擎202、考虑图像的吸引力(例如，感知质量、美学敏感度和/或情调)的索引结构204可被创建。web搜索引擎202可响应于接收搜索查询从索引结构204返回按吸引力排序的图像。
在所示示例中，将吸引力并入web搜索引擎202从图像获取206开始。例如，图像爬行器从万维网的一个或多个网页208获取一个或多个图像。接下来，web搜索引擎202执行周围文本提取210、视觉内容特征提取212和吸引力特征提取214。在此示例中，周围文本提取210和视觉内容提取212是用web图像搜索引擎202使用的常规技术来执行的，而不与在图像吸引力估算期间描述的技术混淆。吸引力特征提取214可通过将吸引力估算引擎102用于web搜索引擎202来完成。例如，吸引力估算引擎102作为单独的组件被添加到web图像搜索引擎202中。在从图像进行周围文本提取210、视觉内容特征提取212以及吸引力特征提取214之后，web搜索引擎202基于图像的吸引力对图像进行索引216。索引216创建索引结构204。在一个实现中，索引结构204可提供按吸引力排序的图像搜索结果。在另一实现中，索引结构204可响应于接收到对重新排序控件134的选择来提供经排序的图像。例如，响应于用户与web搜索引擎202的交互而提供经排序的图像。
图3是示出用于估算图像的吸引力的示例操作300及其示例应用的示意图。由于数据存储和计算成本的限制，不是web域上可用的所有图像均可被选择来进行吸引力估算。因此，吸引力估算引擎102可包括模型学习302。模型学习302创建可将吸引力预测306应用于未经标记的图像的吸引力模型304。
示例操作300示出了(i)估算来自经标记的图像数据库310的经标记图像308(1)、…、308(N)(统称为308)的吸引力来创建用于吸引力预测306的吸引力模型304以及(ii)经由吸引力模块108和/或吸引力预测306估算来自图像数据库118的图像116的吸引力。
为了生成模型学习302，来自经标记的图像数据库310的经标记的图像308必须首先由吸引力模块108处理。经标记的图像308可例如由人类、计算机或人类和计算机的组合来标记，且可使用任何常规标记方法来实现。作为示例，与经标记的图像308相关联的标记可包括“极好”、“好”、“中性”或“没有吸引力”。或者，可实现其它类型的标记，诸如星级排序、数值分数或图像特性(例如，明亮、色彩丰富、生动、模糊、失真、暗、褪色、锐利、暖色、冷色、低饱和度、高饱和度等)。
在示例操作300中，经标记的图像308经历由吸引力模块108进行的视觉分析和/或上下文分析。如上所述，视觉分析组件110分析图像的感知质量(例如，亮度、对比度、色彩丰富度、锐度和/或模糊)、美学敏感度(例如，“三分法”、简洁性和/或对象/背景的视觉重量)和/或情调(例如，静态对比动态线条的数量和长度两者的分布和/或被设计成表达图像色彩的情绪影响的直方图)。
视觉分析组件110可通过确定经标记的图像308的亮度、对比度、色彩丰富度、锐度和/或模糊来分析经标记的图像的感知质量。在示例实现中，为了确定亮度和对比度，分析灰色中的像素强度的中间值(亮度)和标准差(对比度)，尽管也可采用其它常规技术。色彩丰富度例如可通过分析饱和度和色调或色彩对比度的均值和标准差来确定。同时，锐度例如可由按局部平均照度归一化的拉普拉斯图像的均值和标准差来确定。模糊可例如由根据快速傅立叶变换(FFT)变换的图像的频率分布来确定。除了分析诸如亮度、色彩丰富度、锐度和模糊的感知质量特征以外，视觉分析组件100可对经标记图像308应用显著性检测算法。显著性检测提取图像中独特且有代表性的对象的特征。例如，视觉分析组件100可应用显著性检测算法在整个图像上提取特征，其中像素值由显著性图(例如，所提取的指示对应区域或点的显著性的显著性特征的图像)重新加权。或者，视觉分析组件110可对图像中的对象区域应用显著性检测算法。例如，对象区域可由包含全部显著性重量的90％量的最小边界框来检测，以便确定显著性图重新加权的图像的光照、色彩和锐度。如上所述，视觉分析组件110可分析图像的感知质量、美学敏感度和/或情调。视觉分析组件110可例如通过应用诸如“三分法”、简洁性和对象相对于背景的视觉重量的摄影规则来分析经标记的图像308的美学敏感度。按照通过“三分法”从图像提取质量估算，图像被分成九个相等的部分，或被覆盖图像的3x3网格覆盖。网格的中心部分的四个角被称为应力点。对象越靠近四个应力点之一，图像的美学敏感度一般会增加。因此，分析图像的“三分法”可通过使用现有的技术来测量由对象到应力点的最近距离所估算的对象的构图来完成。在摄影中，简洁性是实现将一个或多个项从其环境中凸显的效果的技术。对于估算吸引力，可例如通过确定图像的色调计数来分析简洁性。例如，与具有较高色调计数的另一图像相比，具有低色调计数的图像可被确定为表示较高质量的图像。或者，图像的简洁性还可通过确定原始图像和显著性图重新加权图像两者中边缘的空间分布来确定。例如，一般与有吸引力的图像相比，没有吸引力的图像具有更大数目的均匀分布的边缘。使用常规方法来确定色调计数和边缘的空间分布。最后，通过在对象区域和作为整体的图像之间对清晰度进行对比来确定分析图像的视觉重量。例如，与低质量或没有吸引力的图像相比，高质量或有吸引力的图像的清晰度一般在对象和整体图像之间差异较小。
除了分析经标记的图像的感知质量和美学敏感度以外，视觉分析组件110可分析经标记的图像308的情调(即，通过观看图像调动情绪的程度)。例如，视觉分析组件110可分析静态对比动态线条的数量和长度两者的分布和/或被设计成表示图像色彩的情绪影响的直方图。例如，水平线条可与静态地平线相关联，且可表示冷静、平静和放松；清楚且直接的垂直线条表示尊严和永恒；另一方面，倾斜线条可被解释成不稳定且可表示活力。在另一示例中，具有许多不同方向的线条可表示混乱、混淆或动作。较长、较粗且更占支配地位的线条可被解释为引起较强烈的心理效应。为检测图像中的重要线条斜率，例如可应用霍夫变换。线条可基于其倾斜角并按长度加权来被分类成静态(例如，水平和垂直)或倾斜。通过分析图像中静态和动态线条的比例，可确定情调。
另外或替换地，可通过应用被设计成表示图像色彩的情绪影响的直方图来确定情调。为确定来自图像色彩的情绪，直方图可被设计成表示特定情绪或一组情绪。例如，温暖软和的直方图可表示唤起冷静或平静的图像。在另一示例中，高饱和暖直方图可表示图像暗示快乐或愉悦，而低饱和冷直方图可被用于推断图像表示难过或生气的情绪。作为示例，通过应用被设计成标识图像中的情绪的直方图，可预测通过观看图像可调动的情绪的程度。换言之，图像的情调可通过标识与图像相关联或由图像表示的情绪来确定。
尽管提供了示例技术来确定感知质量、美学敏感度和情调，但可使用替换技术。
当视觉分析组件110分析经标记图像308之后，上下文分析组件112可分析图像的EXIF、图像位于其中的网页的内容和/或图像位于其中的网页的结构。EXIF数据指定当图像被捕捉时的设置、格式和/或环境状况，且可反映图像吸引力。如上所述，EXIF数据可包括曝光(即，在捕捉图像时被允许的光密度)、焦距、ISO速度(即，胶片或数字图像捕捉设备的传感器对传入光的敏感度)、曝光时间和/或焦距比数。例如，高ISO速度当与曝光程序中的减少相组合时通常导致图像质量降低。或者，同与短曝光时间组合的长焦距相比，与长曝光时间组合的长焦距一般导致较低的图像质量。除了分析图像的EXIF以外，上下文分析组件112可分析从与图像相关联的网页的内容得到的上下文数据。例如，网页上的文本可通过常规的特征选择方法，诸如信息增益(IG)来分析，以确定一词的存在和/或缺失。在一些实现中，IG可从诸如锚文本、图像标题、周围文本、统一资源定位符(URL)、网页标题、网页元描述和/或网页元关键词的文本源中标识文本词。通过标识特定词在网页中的存在和/或缺失，IG可估算吸引力的正或负反映。在一个实现中，在确定与吸引力的正或负相关之前，文本词可被归类成两个或更多个组。例如，诸如“墙纸”、“桌面”、“背景”和“下载”等词可被归类在“图像意图”组中，而“可打印”、“着色”、“jpg”和“gif”可被归类在另一“图像质量”组中。在示例实现中，如“桌面”和“gif”等词可与图像吸引力负面相关，而如“背景”、“下载”、“墙纸”、“可打印”和“jpg”等词可与图像吸引力正面相关。
除了网页内容以外，上下文分析组件112可从网页结构挖掘上下文数据。例如，可通过分析图像相对于网页的尺寸、图像文件名的长度、图像周围的词数量、和/或图像在水平和垂直维度上的位置来估算图像吸引力。例如，有吸引力的图像一般覆盖大比例的网页、具有长文件名和/或位于靠近网页的中央，而没有吸引力的图像一般覆盖小比例的网页、具有短文件名和/或位于网页角落中或沿网页边缘。
当吸引力模块108分析图像以确定视觉和上下文特征之后，模型学习302可利用经标记图像308的视觉和/或上下文特征来生成吸引力模型304。例如，常规线性学习方法可被用于从经标记的图像308中学习，以便推断吸引力。作为示例，机器学习可包括线性分类器，诸如支持向量机(SVM)。某些视觉和上下文特征可与吸引力线性相关，并因此被称为“线性特征”。然而，其它视觉和上下文特征可以是关于吸引力非线性的，并因此被称为“非线性特征”。为了获取模型学习302的线性特征，通过应用以下等式将某些非线性视觉和上下文特征变换成线性数据。
在以上等式中，参数ri是基准点，σi(σr)是用于变换比ri小(或大)的数据fi的比例参数。非线性上下文特征可例如包括：相对于网页的图像大小、图像周围的词的数量和/或图像在水平和垂直维度上的位置。非线性视觉特征可例如包括：清晰度、动态、锐度、亮度、对比读、‘锐度’的标准差、边缘分布、模糊和色调计数。
仍参考图3，模型学习302创建吸引力模型304。通过采用吸引力模型304，吸引力预测306可被应用于图像。在一个实现中，通过向未经标记的图像应用吸引力模型304，来确定未经标记的图像的图像吸引力。例如，吸引力预测306可基于吸引力模型304估算来自图像数据库118的图像116的吸引力。或者，来自图像数据库118的图像116可在吸引力预测306之前被吸引力模块108处理。吸引力预测306可向经标记的图像308和/或图像116分配吸引力分数。吸引力分数可对应于与经标记的图像308相关联的标记中的一个或多个。如上所述，示例标记可包括诸如“极好”、“好”、“中性”或“没有吸引力”等词。或者，吸引力分数可包括星级排序、数值分数或图像特性(例如，明亮、色彩丰富、生动、模糊、失真、暗、褪色、锐利、暖色、冷色、低饱和度、高饱和度等)。
操作300对经标记的图像308或图像116中的任一种及其相关联的吸引力分数继续，该操作可用于索引312、对搜索结果排序314和/或对搜索结果重新排序316。
图4是示出用于(i)包括对搜索结果图像的基于吸引力的排序以及(ii)基于吸引力对搜索结果图像重新排序的示例操作400的示意图。
操作400的一个示例包括并入基于吸引力的图像作为搜索结果。该示例以用户402将搜索查询406输入到查询界面404开始。查询界面404可例如存在于web搜索引擎202中。搜索查询406经历查询制定408以便对查询重新制定。例如，web搜索引擎202可将搜索查询406重新制定成类似的和/或新的查询词，以获取与在查询没有被重新制定的情况下可能会接收到的结果相比更相关的结果。例如，查询制定408可包括找到词的同义词、找到词的形态形式、更正拼写错误、重写原始查询和/或追加附加元词。基于查询制定408，排序410通过访问与搜索查询406相关的信息和图像来编译搜索结果。例如，排序410可基于吸引力从索引结构204接收图像。通过从索引结构204访问图像，排序410将图像吸引力并入搜索结果中。在另一实现中，排序410可并入吸引力组件以补充诸如相关性和受欢迎度等常规的排序组件。在这一实现中，图像可基于常规的机器学习排序方法来排序。例如，排序410可将与图像相关联的吸引力分数并入基于相关性的排序模型。基于相关性的排序模型可以是排序支持向量机(RankSVM)。或者，可采用诸如组合递归和排序(CRR)的其它常规排序方法。
结果呈现412提供搜索结果以便显示。在一个示例中，可在具有较低吸引力分数的图像之前提供具有较高吸引力分数的图像，或者可与具有较低吸引力分数的图像相比，更突出地提供具有较高吸引力分数的图像。
操作400的另一示例包括基于吸引力对搜索结果图像重新排序。该示例以用户402在查询界面404中选择重新排序选项414开始。例如，重新排序选项414可包括重新排序控件134。响应于选择重新排序选项414，现有的搜索结果图像经历重新排序416。例如，图像可基于其相应的图像吸引力分数来被重新定序。在一个实现中，重新排序416可通过常用协议，诸如预测(Precision@20)、均值平均预测(MAP@20)或归一化折减累积增益(NDCG@20)来确定排名最前的图像。为了进一步限制没有吸引力的图像以免在重新排序期间被包括，可使用被称为无吸引力拒绝(UR)的度量来将没有吸引力的图像移动到较低的排序位置，如以下算法所定义：
在以上算法中，|Q|表示测试集Q中的查询数目，而排名i是第一“没有吸引力的”图像(例如，基于吸引力分数阈值)在查询i的搜索结果中的位置。在另一实现中，重新排序416可从具有吸引力分数的图像索引中访问图像，并随后提供图像。在又一实现中，重新排序416可在预期要提供具有吸引力分数的图像而选择重新排序选项414之前，在后台从索引或其它源访问具有吸引力分数的图像。在示例操作400中，重新排序416之后是结果显示412。例如，搜索结果可在具有较低吸引力分数的图像之前呈现具有较高吸引力分数的图像，或者比具有较低吸引力分数的图像更突出地呈现具有较高吸引力分数的图像。或者，现有的搜索结果图像可基于由上述常用协议确定的图像的排序来重新定序。
说明性基于吸引力的索引和搜索方法
方法500、600和700分别示出了基于吸引力的图像索引、基于吸引力的搜索结果图像的排序、以及基于吸引力的对搜索结果图像的重新排序的示例方法，这些方法可以但不必在图1的体系结构100的上下文中和/或使用图2-4的组件和特征来实现。方法600、500和700可附加地或替代地使用不同的体系结构和特征来执行。而且，图1的体系结构和图2-4的特征可被用于实现附加的或替代的方法。
图5是示出用于基于吸引力的图像索引的示例方法500的流程图。方法500包括在操作502接收图像。也就是说，可从可由网络访问的或存储在设备上的图像数据库接收图像。或者，可从图像捕捉设备的存储器中接收图像。
在504，方法500以分析图像的视觉特征继续。例如，视觉特征由存储在吸引力模块108中的视觉分析组件112分析。在操作506，分析与图像相关联的上下文特征。例如，图像由存储在吸引力模块108中的上下文分析组件112处理。同时，在操作508，基于视觉特征或与上下文特征集成的视觉特征来估算图像吸引力。例如，吸引力估算引擎102分析各特征以便估算吸引力。
在510，方法500以基于吸引力索引图像而结束。例如，图像可被存储在图1的吸引力索引122中。或者，经处理的图像可被存储在与因特网图像搜索相关联的索引中。如上所述，基于吸引力的图像索引还可在其它应用中进行，诸如照片共享网站。
图6是示出用于对搜索结果图像进行基于吸引力的排序的示例方法的流程图。方法600包括在602接收搜索查询。例如，搜索查询可由web搜索引擎经由图1中的客户机设备126中的应用132来接收。
在604，方法600以查询制定继续。如上所述，查询制定可包括找到词的同义词、找到词的形态形式、更正拼写错误、重写原始查询或追加更多元词。
接下来，在操作606，获取与搜索查询相关的图像。在一个实施例中，可从在线且可通过网络可用的吸引力索引获取具有较高吸引力分数或排名的图像。在替换实施例中，可从包含在web搜索引擎中的索引结构获取具有较高吸引力分数或排名的图像。在又一实施例中，基于不考虑图像吸引力的常规排序模型(例如，基于相关性)来获取图像。
方法600在操作608以生成包括图像的搜索结果列表继续。例如，搜索结果列表可包括在操作606中获取的图像。在其中操作606获取具有高吸引力分数或排名的实施例中，搜索结果的列表可基于以上参考图4讨论的方法按图像吸引力排序。在其中操作606采用常规(例如，基于相关性)的排序模型的各实施例中，在608，搜索结果可包括在操作606中获取的图像而没有对图像按吸引力排序。
在其中操作606采用(例如，基于相关性的)常规排序模型的各实施例中，在操作610，搜索结果可按吸引力排序。例如，作为搜索结果被包括的图像的排序可按照与每一图像相关联的吸引力分数或排名来调整而不改变排序模型。因此，在这一示例中，仅相关图像(即，搜索结果)而非web上的全部可用图像按吸引力排序。通过仅对由常规(例如，基于相关性的)模型确定的搜索结果应用吸引力，可实现计算上的简约。方法600在操作612以呈现结果列表结束。该列表例如可由客户机上的应用呈现，诸如图1中的客户机设备126中的应用132。
图7是示出用于对搜索结果图像进行基于吸引力的重新排序的示例方法700的流程图。方法700在操作702以呈现搜索结果开始。例如，搜索结果由客户机设备126或其它计算设备中的应用132显示。
在操作704，web搜索引擎从用户接收基于吸引力对搜索结果中的图像排序的输入。例如，用户124经由应用或浏览器作出选择以便对搜索结果中的图像重新排序。用户可通过选择控件、说出命令或其它技术来作出选择。
方法700在操作706以按吸引力对搜索结果中的图像重新排序来继续。例如，web搜索引擎可访问吸引力索引并上传吸引力图像，由此最具吸引力的图像在结果中排名提升。或者，已经作为搜索结果被包括的图像使用传统的排序方法来排序，并随后，以较高吸引力排序的图像在较低吸引力排序的图像之前的方式来呈现图像。
方法600、500、700被示为逻辑流程图中一组框的集合，这表示可用硬件、软件或其组合实现的一系列操作。在软件的上下文中，这些框表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，这些指令在由一个或多个处理器执行时执行既定操作。一般而言，计算机可执行指令包括执行特定功能或实现特定抽象的例程、程序、对象、组件、数据结构等。描述方法的次序并不旨在被解释为限制，并且任意数量的所描述的方法框可以按任何次序和/或并行地组合以实现该方法。而且，在某些实施例中，方法的一个或多个框可从方法中被省略，而不背离本文所述主题的精神和范围。例如，在其中图6中的操作608包括具有高吸引力分数或排名的图像的各实施例中，搜索结果列表可按吸引力排序而操作610可被略去。
结语
尽管已经用结构特征和/或方法动作专用的语言描述了本主题，但要理解，所附权利要求书中定义的主题不必限于所描述的具体特征、组件或动作。相反，这些具体特征、组件和动作是作为实现权利要求的说明性形式而公开的。例如，该方法动作不必以此处所述的顺序或组合来执行，而能以一个或多个动作的任何组合来执行。此外，这些特征、动作和/或组件可以不同方式被重新安排、组合，和/或完全被省略，而不背离本文所述主题的精神和范围。

Claims (24)

1.一种用于估算图像的吸引力的方法，包括：
在配置有可执行指令的一个或多个处理器的控制下：
从经标记的图像数据库接收经标记的图像；
确定所述经标记的图像的一个或多个视觉特性；
确定所述经标记的图像的一个或多个上下文特性；
利用所述经标记的图像的所述一个或多个视觉特性和/或所述一个或多个上下文特性来生成吸引力模型；
从网页接收图像；以及
基于所述吸引力模型来估算所述图像的吸引力。
2.如权利要求1所述的方法，其特征在于，进一步包括：
基于所估算的图像吸引力对所述图像进行索引。
3.如权利要求1所述的方法，其特征在于，进一步包括：
至少部分基于所估算的图像吸引力，对搜索查询的结果进行排序。
4.如权利要求1所述的方法，其特征在于，进一步包括：
接收搜索查询；
基于搜索查询生成结果列表；
保存所述结果列表；
从用户接收基于图像吸引力对所述结果重新定序的输入；以及
基于所估算的图像吸引力对所述结果列表重新排序。
5.如权利要求1所述的方法，其特征在于，进一步包括：
至少部分基于所估算的图像吸引力对所述图像进行索引；
基于所述图像的吸引力对搜索查询的结果进行排序；以及
响应于从用户接收对所述结果重新定序的输入，对所述结果重新排序。
6.如权利要求1所述的方法，其特征在于，所述一个或多个视觉特性包括图像的主题能被感知的感知质量、与图像的对象和背景之间的对比度相关的美学敏感度、和/或表示通过观看图像调动情绪的程度的情调。
7.如权利要求1所述的方法，其特征在于，所述一个或多个上下文特性包括可交换图像文件格式(EXIF)数据，所述EXIF数据描述所述图像被捕捉的环境、所述图像位于其中的页面上的网页内容、和/或所述图像位于其中的页面上的网页结构。
8.如权利要求3所述的方法，其特征在于，所述排序通过将吸引力组件并入排序模型来确定。
9.一种基于吸引力的搜索方法，包括：
在配置有可执行指令的一个或多个处理器的控制下：
接收搜索查询；
将所述搜索查询与至少部分基于图像的吸引力来组织的图像索引进行比较，吸引力是根据吸引力模型来估算的，所述吸引力模型是通过以下方式获得的：
从经标记的图像数据库接收经标记的图像；
确定所述经标记的图像的一个或多个视觉特性；
确定所述经标记的图像的一个或多个上下文特性；以及
利用所述经标记的图像的所述一个或多个视觉特性和/或所述一个或多个上下文特性来生成所述吸引力模型；
基于所述搜索查询和所述比较的相关性生成结果列表；以及
提供所述结果列表以供呈现。
10.如权利要求9所述的方法，其特征在于，进一步包括：
从用户接收基于图像吸引力对所述结果列表排序的输入；以及
响应于从所述用户接收到所述输入，基于所估算的图像吸引力对所述结果列表重新排序。
11.如权利要求9所述的方法，其特征在于，所述一个或多个视觉特性包括图像的主题能被感知的感知质量、与图像的对象和背景之间的对比度相关的美学敏感度、和/或表示通过观看图像调动情绪的程度的情调。
12.如权利要求9所述的方法，其特征在于，所述一个或多个上下文特性包括可交换图像文件格式(EXIF)数据，所述EXIF数据描述图像被捕捉的环境、所述图像位于其中的页面上的网页内容、和/或所述图像位于其中的页面上的网页结构。
13.一种基于吸引力的搜索方法：
基于吸引力模型估算来自网页的图像的吸引力，所述吸引力模型是通过以下方式获得的：
从经标记的图像数据库接收经标记的图像；
确定所述经标记的图像的一个或多个视觉特性；
确定所述经标记的图像的一个或多个上下文特性；以及
利用所述经标记的图像的所述一个或多个视觉特性和/或所述一个或多个上下文特性来生成所述吸引力模型；
根据所述吸引力来选择所述图像以便索引；
将所选图像存储在所述索引中；
接收搜索查询；
将所述搜索查询与所述索引进行比较；
基于所述图像与所述搜索查询的相关性以及所述图像的吸引力将所述图像包括在结果列表中；以及
提供所述结果列表以供显示。
14.如权利要求13所述的方法，其特征在于，所述一个或多个视觉特性包括图像的主题能被感知的感知质量、测量与图像相关联的美学的美学敏感度、和/或表示通过观看图像调动情绪的程度的情调。
15.如权利要求14所述的方法，其特征在于，所述一个或多个视觉特性通过应用显著性检测算法从所述图像提取包括亮度、对比度、色彩丰富度、锐度和/或模糊的所述感知质量特性来确定。
16.如权利要求14所述的方法，其特征在于，所述图像的美学敏感度通过分析由一对象到应力点的最近距离估算的所述对象的构图、色调计数和边缘分布、和/或对象区域和所述图像之间的清晰度对比来确定。
17.如权利要求14所述的方法，其特征在于，所述情调通过分析静态对比动态线条的数量分布、静态对比动态线条的长度、和/或量化色彩对情绪的影响的直方图来确定。
18.如权利要求13所述的方法，其特征在于，所述一个或多个上下文特性包括可交换图像文件格式(EXIF)数据，所述EXIF数据描述所述图像被捕捉的环境、所述图像位于其中的页面上的网页内容、和/或所述图像位于其中的页面上的网页结构，所述EXIF数据包括曝光程序、焦距、ISO速度、曝光时间和/或焦距比数。
19.如权利要求13所述的方法，其特征在于，所述一个或多个上下文特性包括锚文本、图像名、图像周围的文本、统一资源定位符(URL)、网页标题、网页元描述和/或网页元关键词。
20.如权利要求18所述的方法，其特征在于，所述网页结构包括所述图像相对于所述网页的大小、图像文件名的长度、围绕所述图像的词的数目、所述图像在所述网页上的水平位置、和/或所述图像在所述网页上的垂直位置。
21.一种基于吸引力的搜索方法，包括：
在配置有可执行指令的一个或多个处理器的控制下：
接收搜索查询；
将所述搜索查询与图像索引进行比较；
基于排序模型生成与所述搜索查询相关的图像的列表；
至少部分基于所述图像的吸引力对所述图像的列表进行排序；以及
提供至少部分基于吸引力排序的所述图像的列表，以便作为搜索结果呈现；
其中每一图像的吸引力是基于估算模型来估算的，其中所述吸引力模型是通过以下方式获得的：
从经标记的图像数据库接收经标记的图像；
确定所述经标记的图像的一个或多个视觉特性；
确定所述经标记的图像的一个或多个上下文特性；以及
利用所述经标记的图像的所述一个或多个视觉特性和/或所述一个或多个上下文特性来生成所述吸引力模型。
22.如权利要求21所述的方法，其特征在于，所述一个或多个视觉特性包括图像的主题能被感知的感知质量、与图像的对象和背景之间的对比度相关的美学敏感度、和/或表示通过观看图像调动情绪的程度的情调。
23.如权利要求21所述的方法，其特征在于，所述一个或多个上下文特性包括可交换图像文件格式(EXIF)数据，所述EXIF数据描述所述图像被捕捉的环境、所述图像位于其中的页面上的网页内容、和/或所述图像位于其中的页面上的网页结构。
24.一种基于吸引力的搜索系统：
用于基于吸引力模型估算来自网页的图像的吸引力的装置，所述吸引力模型是通过以下方式获得的：
从经标记的图像数据库接收经标记的图像；
确定所述经标记的图像的一个或多个视觉特性；
确定所述经标记的图像的一个或多个上下文特性；以及利用所述经标记的图像的所述一个或多个视觉特性和/或所述一个或多个上下文特性来生成所述吸引力模型；
用于根据所述吸引力来选择所述图像以便索引的装置；
用于将所选图像存储在所述索引中的装置；
用于接收搜索查询的装置；
用于将所述搜索查询与所述索引进行比较的装置；
用于基于所述图像与所述搜索查询的相关性以及所述图像的吸引力将所述图像包括在结果列表中的装置；以及
用于提供所述结果列表以供显示的装置。
CN201180075042.6A 2011-11-25 2011-11-25 基于索引和搜索的图像吸引力 Expired - Fee Related CN103988202B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/082909 WO2013075324A1 (en) 2011-11-25 2011-11-25 Image attractiveness based indexing and searching

Publications (2)

Publication Number Publication Date
CN103988202A CN103988202A (zh) 2014-08-13
CN103988202B true CN103988202B (zh) 2017-06-27

Family

ID=48469021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180075042.6A Expired - Fee Related CN103988202B (zh) 2011-11-25 2011-11-25 基于索引和搜索的图像吸引力

Country Status (4)

Country Link
US (1) US20140250110A1 (zh)
EP (1) EP2783302A4 (zh)
CN (1) CN103988202B (zh)
WO (1) WO2013075324A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8868533B2 (en) 2006-06-30 2014-10-21 International Business Machines Corporation Method and apparatus for intelligent capture of document object model events
US8583772B2 (en) 2008-08-14 2013-11-12 International Business Machines Corporation Dynamically configurable session agent
US9934320B2 (en) 2009-03-31 2018-04-03 International Business Machines Corporation Method and apparatus for using proxy objects on webpage overlays to provide alternative webpage actions
US8898139B1 (en) 2011-06-24 2014-11-25 Google Inc. Systems and methods for dynamic visual search engine
US9635094B2 (en) 2012-10-15 2017-04-25 International Business Machines Corporation Capturing and replaying application sessions using resource files
US9536108B2 (en) 2012-10-23 2017-01-03 International Business Machines Corporation Method and apparatus for generating privacy profiles
US9535720B2 (en) * 2012-11-13 2017-01-03 International Business Machines Corporation System for capturing and replaying screen gestures
US10474735B2 (en) 2012-11-19 2019-11-12 Acoustic, L.P. Dynamic zooming of content with overlays
US9331970B2 (en) * 2012-12-05 2016-05-03 Facebook, Inc. Replacing typed emoticon with user photo
US9311361B1 (en) * 2013-03-15 2016-04-12 Google Inc. Algorithmically determining the visual appeal of online content
US20150206169A1 (en) * 2014-01-17 2015-07-23 Google Inc. Systems and methods for extracting and generating images for display content
WO2015116582A1 (en) * 2014-01-30 2015-08-06 Futurewei Technologies, Inc. Emotion modification for image and video content
US10026010B2 (en) * 2014-05-14 2018-07-17 At&T Intellectual Property I, L.P. Image quality estimation using a reference image portion
CN105468646A (zh) * 2014-09-10 2016-04-06 联想(北京)有限公司 一种显示对象显示方法、装置及电子设备
CN105551008A (zh) * 2014-11-04 2016-05-04 腾讯科技（深圳）有限公司 一种信息处理方法、客户端及服务器
CN104536964B (zh) * 2014-11-17 2019-03-26 北京国双科技有限公司 网络数据展示方法及装置
CN106156063B (zh) * 2015-03-30 2019-10-01 阿里巴巴集团控股有限公司 用于图片对象搜索结果排序的相关方法及装置
US20160314569A1 (en) * 2015-04-23 2016-10-27 Ilya Lysenkov Method to select best keyframes in online and offline mode
US11609946B2 (en) 2015-10-05 2023-03-21 Pinterest, Inc. Dynamic search input selection
US10482091B2 (en) * 2016-03-18 2019-11-19 Oath Inc. Computerized system and method for high-quality and high-ranking digital content discovery
US10311599B2 (en) * 2016-11-03 2019-06-04 Caterpillar Inc. System and method for diagnosis of lighting system
US11328159B2 (en) 2016-11-28 2022-05-10 Microsoft Technology Licensing, Llc Automatically detecting contents expressing emotions from a video and enriching an image index
US10110868B2 (en) 2016-12-22 2018-10-23 Aestatix LLC Image processing to determine center of balance in a digital image
US10248663B1 (en) 2017-03-03 2019-04-02 Descartes Labs, Inc. Geo-visual search
US11841735B2 (en) 2017-09-22 2023-12-12 Pinterest, Inc. Object based image search
US11126653B2 (en) * 2017-09-22 2021-09-21 Pinterest, Inc. Mixed type image based search results
US10942966B2 (en) 2017-09-22 2021-03-09 Pinterest, Inc. Textual and image based search
US10902052B2 (en) * 2018-03-26 2021-01-26 Microsoft Technology Licensing, Llc Search results through image attractiveness
CN110598015A (zh) * 2018-05-23 2019-12-20 中兴通讯股份有限公司 一种信息显示方法、终端和计算机可读存储介质
WO2020013802A1 (en) * 2018-07-09 2020-01-16 Google Llc Visual menu
CN111382295B (zh) * 2018-12-27 2024-04-30 北京搜狗科技发展有限公司 一种图像搜索结果的排序方法和装置
US11354534B2 (en) * 2019-03-15 2022-06-07 International Business Machines Corporation Object detection and identification
CN112016024B (zh) * 2019-05-31 2024-05-10 腾讯科技（深圳）有限公司 一种数据推荐方法、装置以及计算机可读存储介质
US11120537B2 (en) 2019-09-25 2021-09-14 International Business Machines Corporation Cognitive object emotional analysis based on image quality determination
CN112749333B (zh) * 2020-07-24 2024-01-16 腾讯科技（深圳）有限公司 资源搜索方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926575A (zh) * 2004-03-03 2007-03-07 日本电气株式会社 图像相似度计算系统、图像搜索系统、图像相似度计算方法和图像相似度计算程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847733B2 (en) * 2001-05-23 2005-01-25 Eastman Kodak Company Retrieval and browsing of database images based on image emphasis and appeal
US7769895B1 (en) * 2001-08-17 2010-08-03 Corda Technologies, Inc. System and method for ensuring that a web browser displays the highest ranked image format possible for an image
JP4207883B2 (ja) * 2004-03-24 2009-01-14 セイコーエプソン株式会社 視線誘導度算出システム
US7836050B2 (en) * 2006-01-25 2010-11-16 Microsoft Corporation Ranking content based on relevance and quality
US8094948B2 (en) * 2007-04-27 2012-01-10 The Regents Of The University Of California Photo classification using optical parameters of camera from EXIF metadata
US8041076B1 (en) * 2007-08-09 2011-10-18 Adobe Systems Incorporated Generation and usage of attractiveness scores
US8406573B2 (en) * 2008-12-22 2013-03-26 Microsoft Corporation Interactively ranking image search results using color layout relevance
US8175376B2 (en) * 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
US8311364B2 (en) * 2009-09-25 2012-11-13 Eastman Kodak Company Estimating aesthetic quality of digital images
US20110106798A1 (en) * 2009-11-02 2011-05-05 Microsoft Corporation Search Result Enhancement Through Image Duplicate Detection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926575A (zh) * 2004-03-03 2007-03-07 日本电气株式会社 图像相似度计算系统、图像搜索系统、图像相似度计算方法和图像相似度计算程序

Also Published As

Publication number Publication date
EP2783302A1 (en) 2014-10-01
US20140250110A1 (en) 2014-09-04
CN103988202A (zh) 2014-08-13
EP2783302A4 (en) 2015-07-15
WO2013075324A1 (en) 2013-05-30

Similar Documents

Publication Publication Date Title
CN103988202B (zh) 基于索引和搜索的图像吸引力
US11947588B2 (en) System and method for predictive curation, production infrastructure, and personal content assistant
US8897485B2 (en) Determining an interest level for an image
US8873851B2 (en) System for presenting high-interest-level images
US9014510B2 (en) Method for presenting high-interest-level images
US9014509B2 (en) Modifying digital images to increase interest level
Gygli et al. The interestingness of images
KR102427412B1 (ko) 검색 질의에 기반하는 소스 이미지로부터의 얼굴과 타겟 이미지와의 조합
US20140002644A1 (en) System for modifying images to increase interestingness
Ni et al. Learning to photograph: A compositional perspective
JP2011215963A (ja) 電子機器、画像処理方法及びプログラム
Hook et al. Image analysis: An interactive approach to compositional elements
CN110678861B (zh) 图像选择建议
CA2967407A1 (en) Rotatable object system for visual communication and analysis
KR101905501B1 (ko) 컨텐츠를 추천하는 방법 및 장치
Sun et al. Photo aesthetic quality estimation using visual complexity features
CN111491187A (zh) 视频的推荐方法、装置、设备及存储介质
CN115668263A (zh) 用于消息收发系统中的增强现实体验的物理产品的标识
Obrador et al. The role of tags and image aesthetics in social image search
Kairanbay et al. Aesthetic evaluation of facial portraits using compositional augmentation for deep CNNs
Tian et al. Dual feature extractor generative adversarial network for colorization
Trpkovski Tourist interest mining from online hotel photos
KR102668172B1 (ko) 메시징 시스템에서의 증강 현실 경험을 위한 물리적 제품들의 식별
Frinken et al. Improving point of view scene recognition by considering textual data
Yangyang Computational Media Aesthetics for Media Synthesis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150717

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150717

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170627

Termination date: 20191125

CF01 Termination of patent right due to non-payment of annual fee