CN105612514B - 通过将语境线索与图像关联进行图像分类的系统和方法 - Google Patents

通过将语境线索与图像关联进行图像分类的系统和方法 Download PDF

Info

Publication number
CN105612514B
CN105612514B CN201480054360.8A CN201480054360A CN105612514B CN 105612514 B CN105612514 B CN 105612514B CN 201480054360 A CN201480054360 A CN 201480054360A CN 105612514 B CN105612514 B CN 105612514B
Authority
CN
China
Prior art keywords
image
images
module
sample set
social
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480054360.8A
Other languages
English (en)
Other versions
CN105612514A (zh
Inventor
卢博米尔·布德夫
巴拉马诺哈尔·帕卢里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Inc
Original Assignee
Facebook Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Inc filed Critical Facebook Inc
Publication of CN105612514A publication Critical patent/CN105612514A/zh
Application granted granted Critical
Publication of CN105612514B publication Critical patent/CN105612514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/912—Applications of a database
    • Y10S707/913—Multimedia
    • Y10S707/915—Image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

接收图像样本集。样本集中的每个图像可与一个或多个社交线索相关。基于与图像相关的一个或多个社交线索，对样本集中的每个图像与图像类别的关联性评分。基于该评分，从样本集确定用来训练分类器的图像训练集。在实施方式中，确定图像评估集与图像类别相关联的程度。所述该确定可包括对图像评估集的最高评分子集排序。

Description

通过将语境线索与图像关联进行图像分类的系统和方法
技术领域
该技术领域涉及社交网络领域。更具体而言，该技术领域涉及社交网络中的图像分类技术。
背景技术
社交网络可提供交互式和内容丰富的在线社区，该在线社区将它的成员彼此连接。社交网络的成员可指示他们如何彼此涉及。例如，社交网络的成员可指示他们是彼此的好友、家庭成员、商业伙伴或追随者，或成员可表明彼此的一些其他关系。社交网络可允许成员向彼此发消息，或向在线社区张贴消息。
社交网络还可允许成员彼此分享内容。例如，成员可创建或使用包括交互式馈送的一个或多个页面，其可跨多个平台查看。所述页面可包括图像、视频或成员希望与社交网络的某些成员分享或通常向社交网络上发布的其他内容。成员还可以其他方式利用社交网络分享内容。例如，在图像的情况下，成员可发布图像至图像板或使图像对通过在线社区的搜索可用。
发明内容
系统可包括至少一个处理器和存储器，该存储器存储配置为指导处理器实行接收图像样本集的指令，样本集中的每个图像与一个或多个社交线索相关。所述样本集中的每个图像与图像类别的关联性基于与图像相关的一个或多个社交线索来评分。基于所述评分，训练分类器的图像训练集可从样本集确定。
在一些实施方式中，可指定所述图像类别。在一些实施方式中，所述确定可包括基于评分对来自样本集的每个图像排序。确定可包括选取所述图像样本集的最高评分子集。最高评分子集可为图像训练集。
在各种实施方式中，分类器可基于图像训练集训练。可生成与图像类别相关的视觉模式模板。在一些实施方式中，分类器可配置为使用视觉词袋图像分类技术或神经网络图像分类技术。
在一些实施方式中，可确定图像评估集与图像类别关联的程度。图像评估集可与图像样本集不同。图像评估集可比图像样本集包括更大的图像集。
在各种实施方式中，可对图像评估集的每个图像和与图像类别相关的视觉模式模板的关联性评分。评估集的每个图像可基于图像评估集的每个图像的评分关联性排序。图像评估集的最高评分子集可与图像类别相关。
在一些实施方式中，一个或多个社交线索可包括一个或多个图像标签。可确定在与图像相关的一个或多个图像标签的总数量中特定图像标签的事例的数量。
在一些实施方式中，一个或多个社交线索可包括以下的一个或多个：与图像样本集的图像相关的位置数据；或图像样本集的图像的上传者、标注者或所有者的身份。在各种实施方式中，一个或多个社交线索可由社交网络系统接收。
计算机实现方法可包括：由计算机系统接收图像样本集，样本集中每个图像与一个或多个社交线索相关。该方法可包括：由计算机系统，基于与图像相关的一个或多个社交线索，对样本集中的每个图像与图像类别的关联性评分。该方法还可包括：由计算机系统，基于评分，确定来自样本集的图像训练集，以训练分类器。
存储计算机可执行指令的计算机存储媒介，当执行指令时，导致计算机系统实行计算机实现方法，该方法包括接收图像样本集，样本集中的每个图像与一个或多个社交线索相关。该方法可包括基于与图像相关的一个或多个社交线索，对样本集中的每个图像与图像类别的关联性评分。该方法还可包括基于评分，从样本集确定用来训练分类器的图像训练集。
从所附图示和从以下详细描述，其他特点和实施方式是显而易见的。
附图说明
图1示出根据一些实施方式的语境图像分类系统的实例。
图2A示出根据一些实施方式的图像分类模块的实例。
图2B示出根据一些实施方式的图像分类模块的实例。
图3示出根据一些实施方式的图像分类训练模块的实例。
图4示出根据一些实施方式的图像分类评估模块的实例。
图5示出根据一些实施方式的分类器的实例。
图6示出根据一些实施方式的用于分类图像的过程的实例。
图7示出根据一些实施方式的用于训练分类器的过程的实例。
图8示出根据一些实施方式的用于分类图像的过程的实例。
图9示出根据一些实施方式的应用于图像组的语境生成图像过滤器的预览的实例。
图10示出根据一些实施方式的应用于图像组的语境生成图像过滤器的预览的实例。
图11示出根据一些实施方式的社交网络系统内的语境图像分类系统的网络图解的实例。
图12示出根据一些实施方式的可用来实现此处描述的一个或多个实施方式的计算机系统的实例。
仅仅出于示出的目的，图示描绘本发明的各种实施方式，其中，图示使用类似参考数字来识别类似元件。从以下讨论，本领域的技术人员将容易意识到，只要不脱离此处描述的原则，可应用图示中示出的结构和方法的可替换实施方式。
具体实施方式
通过关联语境线索的图像分类
社交网络系统可为用户提供生成内容和将其与好友分享的能力。社交网络系统的照片分享服务的用户可在他们的移动电话上享受捕捉图像(例如，静止图像、谜因)、视频或交互内容，和与他们的在线好友分享内容。类似地，用户可通过例如在他们的主页上更新交互馈送，享受与他们的好友分享内容。
社交网络系统还可提供或支持指示、识别、分出类别、标注、描述的能力，或另外提供关于内容项目的信息或关于内容的属性。指示此类信息的一个方法是通过可识别或另外涉及内容主题或它的属性的标签。指示此类信息的另一方法是通过上传内容的用户的全球定位系统(GPS)坐标，以识别上传的位置，或内容在何处捕捉。如此处更加详细地描述，存在很多其他方法，以指示关于社交网络系统中的内容的信息。很多此类指示器，包括标签(例如，主题标签或其他元数据标签)和GPS系统坐标，为非视觉的，且并非基于内容中的视觉数据的自动化分析。
在某些情况下，非视觉指示器可为主观的或潜在地误导性的。例如，虽然内容生成者所选择的应用至他的或她自己的内容的标签可从内容生成者的角度描述内容的主题，但从他人的角度，所述标签可被认作是错误描述或甚至不相关的。例如，张贴自己在万圣节装扮成猫女的图片的用户可标注图片为“#猫”，即使该图片不包括家养猫。张贴名为“巴黎”的狗的图片的用户可用标签“#巴黎”来标注图片，即使该图片不描绘法国巴黎。在超级碗星期天在新奥尔良的超级碗时，张贴他捕捉的他的家庭的图像的用户可具有指示图像在超级碗处捕捉的GPS坐标和/或时间戳，但图像的内容本身可能不涉及橄榄球赛。
虽然非视觉指示器的主观性帮助社交网络系统的用户创建性地表达和分享丰富种类的内容，非视觉指示器的主观性常常使搜索用户上传的图像(例如，照片)困难。例如，搜索张贴在社交网络系统上的“猫”的图像的尝试可显示出在万圣节上着猫女装束的用户的图像。实行对法国巴黎埃菲尔铁塔的图像的图形搜索的尝试，可导致名为“巴黎”的狗的图像。搜索超级碗照片的尝试可显示出粉丝家庭的个人照片，该照片可能不与一些寻找第一手记录橄榄球比赛的某些人高度有关。在某种意义上，与图像相关的非视觉指示器在这些实例中为“骚扰”，由于其可能无法准确反映与它们相关的图像的内容。会期望，准确搜索社交网络系统中用户上传的内容。
图1示出根据一些实施方式的语境图像分类系统102的实例。该语境图像分类系统102可结合于社交网络系统中，图11中给出社交网络系统的实例。在图1的实例中，语境图像分类系统102可包括图像分类模块104和图像应用模块106。
图像分类模块104可基于与内容以及内容的视觉属性相关的语境线索，识认内容中的主题。内容可包括，例如，图像、谜因、视频、交互视听材料等。视觉属性可包括图像或图像片段中的视觉模式，其反映在内容中描绘的主题的特点特性。视觉属性可基于例如外观、颜色、形状、布局等的其中之一或其结合。
语境线索可包括内容中描绘的主题的非视觉指示器。语境线索可反映或暗示至少部分内容的主题。在一些实施方式中，语境线索可包括内容标签。语境线索还可包括内容中的主题的其他类型的非视觉指示器，诸如，社交线索。例如，非限制性的，语境线索可包括：用户的数字设备或图像的全球定位系统(GPS)坐标、除指定标签外的标签的数量、指定标签在一系列标签中出现的程度、指定标签在一系列标签中的顺序、内容的标注者的身份(例如，将字符串与内容相关联的实体)、内容上传者的身份(例如，为在社交网络系统的数据存储器的存储提供内容的实体)、内容所有者的身份、内容上传的时间、标注者(或上传者或所有者)的连接和连接的类型(例如，好友)、标注者(或上传者或所有者)的状态或简档、与内容相关的元数据、查看或喜欢某类型内容的人们的身份、可交换图像文件(EXIF)信息等。
在一些实施方式中，图像分类模块104可训练分类器，以基于从图像样本集收集的语境线索，识认图像类别的视觉属性。图像样本集可包括图像组，从该图像组选取训练集以训练分类器。图像样本集可包括足够大数量的图像，以确保分类器的准确结果。分类器可为每个内容项目分配与内容落入特定图像类别的程度相对应的统计评分。在一些实施方式中，分类器可合并层次化分类器、线性分类器或其他分类器。图5中提供分类器的实例。在一些实施方式中，可基于社交网络系统所保持的选取的图像子集初始地训练分类器。分类器可在各种情况下重新训练。例如，随着图像对分类器变得可用，可以按照选定的频率定期或非定期重新训练分类器。作为另一实例，可在特定事件，例如可能导致大量图像上传至社交网络系统的事件(例如，超级碗)发生时，重新训练分类器。作为另一实施方式，可在社交网络系统接收阈值数目的新图像时重新训练分类器。在这些或其他情况下重新训练可改善分类器识认图像类别的视觉属性的能力。
例如，图像类别可包括物体(例如，猫、车、人、钱包等)、品牌或与品牌相关的物体(例如，
Figure BDA0000955319740000071
)、职业运动队
Figure BDA0000955319740000072
Figure BDA0000955319740000073
位置(例如，埃佛勒斯峰)、活动(例如，游泳)、短语或概念(例如，红裙、幸福)、和可与内容关联的任何其他事物、动作或想法。虽然此处提供的很多实例可指代单个“图像类别”，注意，图像类别可指代若干个或一个或多个包括物体、品牌、职业运动队、位置等的混合的图像类别。
在一些实施方式中，图像分类模块104可使用经训练的分类器将图像评估集的视觉属性与图像类别的视觉属性比较，以确定图像评估集的视觉属性是否可与图像类别的视觉属性充分关联。图像评估集可包括针对通过分类器分类所选择的图像组。在各种实施方式中，评估组图像可包括数据存储中的图像的全部或部分，或社交网络系统中的图像的全部或部分。在实施方式中，分类器可通过任何适当技术，如机器学习来训练。
在各种实施方式中，图像分类模块104可为图像应用模块106提供经分类的内容。经分类的内容可包括已通过分类器排序和/或评分的内容。对比之下，未加工或未分类内容可包括还未通过分类器排序和/或评分，或另外与一个或多个图像类别相关的内容。经分类的内容可具有指示经分类的内容与图像类别的匹配程度的评分。经分类的内容的更高评分项目可具有与图像类别的视觉属性更高度的关联性。结果，在各种实施方式中，图像分类模块104可允许基于评分的经分类的内容的高效搜索。
在图像评估集的分析期间，对分类器用于分类的使用可在各种时间发生。例如，随着图像对分类器变得可用，分类器可以按照选择的频率或非定期分析图像评估集。分类器还可在某事件(如可能导致大量图像上传至社交网络系统的事件)发生时，分析图像评估集。当社交网络系统接收阈值数量的新图像时，分类器可分析图像评估集。作为另一实例，分类器可在预期图像搜索实行前，分析图像评估集用于分类。
图像应用模块106可调整经分类的内容用于在社交网络系统中使用。在一些实施方式中，图像应用模块106可与搜索应用程序接口(API)接合，以根据它的图像类别，使经分类的内容的每个项目可搜索。例如，图像应用模块106可与搜索模块接合，该搜索模块搜索用户已上传至社交网络系统的经分类图像。作为另一实例，图像应用模块106可与搜索模块接合，该搜索模块搜索社交网络系统中用于经分类图像的馈送和用户张贴至他们的馈送的谜因。图像应用模块106还可对搜索查询作出响应，提供经分类的内容。在一些实施方式中，图像应用模块106可使用主题字典、分类树和主题标注技术提取与经分类图像相关的主题，经分类图像由图像分类模块104提供。
图2A示出根据一些实施方式的图像分类模块104的实例。图像分类模块104可包括未分类图像数据存储器202、图像分类训练模块204和分类器208。除图2A中所描绘的部件外，图像分类模块104还可包括图2B中所描绘的部件。注意，图2A和图2B中的类似部件可具有类似的参考数字。
未分类图像数据存储器202可耦接至图像分类训练模块204和图像分类评估模块206。未分类图像数据存储器202可包括未分类图像。未分类图像可具有与其相关的语境线索。数据存储器可包括任何数据组织，包括表格、逗号分隔值(CSV)文件、传统数据库(例如，SQL)或其他已知或便捷的组织格式。在一些实施方式中，未分类图像存储器202还可存储与图像相关的语境线索集，如标签或其他线索。在一些实施方式中，未分类图像数据存储器202可代表社交网络系统中未分类图像的部分或全部。
图像分类训练模块204可耦接至未分类图像数据存储器202和分类器208。在一些实施方式中，图像分类训练模块204可实现训练阶段。训练阶段可包括图像分类模块104的阶段，在该阶段，图像分类训练模块204训练分类器208，以识认来自图像样本集的选取图像的视觉属性。在训练阶段期间，图像分类训练模块204可从未分类图像数据存储器202获得图像样本集。图像分类训练模块204还可收集与每个获得的未分类图像相关的语境线索组。基于所述语境线索集，从所述图像样本集选取的图像训练集可用来训练分类器208，以识认视觉模式。未分类图像和/或语境线索可通过向未分类图像存储器202查询相关的信息来获得，以确定来自图像样本集的图像训练集。
在训练阶段期间，图像分类训练模块204可配置为指定一个或多个图像类别，以用该图像类别训练分类器208。为了指定图像类别，图像分类训练模块204可接收规定图像类别的自动化输入。指定所述图像类别还可包括来自人的手动输入，如任务为将图像分类的管理员。
在所述训练阶段期间，图像分类训练模块204可配置为识别和选取与图像类别相对应的语境线索。在各种实施方式中，图像分类训练模块204可评估特定图像类别的属性，且可确定某些语境线索是否可能与那个图像类别相关。例如，图像分类训练模块204可确定一种类型的标签可能伴随着家养猫的照片，而另一种类型的标签可能伴随着在万圣节上着猫女装束的用户的照片。在此类情况下，图像分类训练模块204可选取可能伴随家养猫的照片的标签类型，以与猫的图像类别相对应。如此处更加详细地讨论，语境线索是否应用于特定图像类别的考虑可基于很多考虑，如标签(例如，标签“#猫”、标签“#万圣节”等)、标签的顺序、特定标签是否伴随着其他特定标签(例如，标签“#猫”是否伴随着标签“#动物”或标签“#猫”是否伴随着标签“#万圣节”)，等等。图像分类训练模块204还可配置为对与特定图像相关的语境线索和特定图像类别相对应的程度进行排序和/或评分。
分析所述语境线索，以从所述图像样本集识别图像训练集。图像训练集代表与图像类别最紧密相关的图像。在训练阶段期间，图像分类训练模块204可向分类器208提供图像训练集，用于识别与图像类别相关的视觉属性。在一些实施方式中，图像分类训练模块204可指导分类器208创建与特定图像类别相对应的视觉模式的模板。在一些实施方式中，如果期望，图像分类训练模块204可在诸如分类图像数据存储器210的位置中存储经分类图像和/或相关视觉模式模板。图像分类训练模块204可进一步使用手动注解器，以帮助选取图像训练集。在图3和图7的背景中，进一步讨论图像分类训练模块204。
分类器208可耦接至图像分类训练模块204和经分类图像数据存储器(例如，图2B中所示的经分类数据存储器210)。分类器可从图像分类训练模块204接收图像。在训练阶段中，分类器208可针对特定视觉模式的存在评估图像训练集。分类器208可将特定视觉模式与图像类别相关联，可创建视觉模式模板，且可导致视觉模式模板被存储。在训练阶段中，分类器208可将用于训练的图像返回至图像分类训练模块204。在一些实施方式中，分类器208可包括至图像分类训练模块204的返回连接(例如，经由反馈环路)。结果，分类器208可加强图像分类训练模块204的准确性。此类返回连接可加强提高未来分类和训练。在图5的背景下进一步讨论分类器208。
图2B示出根据一些实施方式的图像分类模块104的实例。图像分类模块104可包括未分类图像数据存储器212、图像分类评估模块206、分类器208和经分类图像数据存储器210。未分类图像数据存储器212可耦接至图像分类评估模块206。未分类图像数据存储器212可存储未分类图像。未分类图像数据存储器212可，但非必须，与图2A中所示的未分类图像数据存储器202相同。
图像分类评估模块206可耦接至未分类图像数据存储器212和分类器208。在一些实施方式中，图像分类评估模块206可实现评估阶段。评估阶段可包括图像分类模块104的阶段，在该阶段，图像分类评估模块206使用分类器208识认图像评估集的视觉模式。在实施方式中，图像评估集可从未分类图像数据存储器212选取。
在评估阶段期间，图像分类评估模块206可将来自未分类图像数据存储器212的图像评估集提供至分类器208。在各种实施方式中，在训练阶段，图像分类训练模块204可使已训练的分类器208识认与图像类别相关的图像训练集的视觉属性。图像评估集可包括与图像样本集和图像训练集不同的图像集。在一些实施方式中，图像分类评估模块206还可为分类器208提供图像类别，分类器208将图像评估集与该图像类别比较。在各种实施方式中，图像分类评估模块206可指导分类器208基于与图像类别的相关性，对图像评估集排序和/或评分。图像分类评估模块206还可在经分类图像数据存储器210中存储图像(即，已基于与图像类别的相关性而评分的图像)的排序和评分。在图4和图8的背景中，进一步讨论图像分类评估模块206。
分类器208可耦接至图像分类训练模块204和图像分类评估模块206。分类器208可从图像分类评估模块206接收图像。在评估阶段，分类器208可对图像评估集实行视觉模式识别，以对每个图像和与所关注图像类别相关的视觉模式模板之间的关联性评分。在评估阶段，分类器208可将在评估中使用的图像返回至图像分类评估模块206。在图5的背景中进一步讨论分类器208。
经分类图像数据存储器210可耦接至分类器208和图像应用模块106。经分类图像数据存储器210可存储包括经分类图像、图像类别、视觉模式模板和其他信息的信息。在一些实施方式中，经分类图像数据存储器210可加索引，以促进通过API寻求获取经分类图像，经分类图像的高效搜索。例如，经分类图像存储器210可配置为与耦接至图像应用模块106的搜索模块兼容，图像应用模块106寻求访问经分类图像。
图3示出根据一些实施方式的图像分类训练模块204的实例。图像分类训练模块204可包括训练图像选取模块301、训练图像数据存储器309和分类器训练模块310。
训练图像选取模块301可耦接至未分类图像数据存储器202和训练图像数据存储器309。训练图像选取模块301可从图像样本集识别图像训练集。训练图像选取模块301还可在训练图像数据存储器309中存储图像训练集。训练图像选取模块301可包括训练图像收集模块302、语境线索提取模块304、图像类别指定模块306和图像类别关联模块308。
训练图像收集模块302可耦接至训练图像选取模块301的其他模块。在一些实施方式中，训练图像收集模块302可将图像样本集与和图像样本集相关的语境线索一同收集。可从未分类图像数据存储器202检索图像样本集和相关语境线索。
语境线索提取模块304可耦接至训练图像选取模块301的其他模块。语境线索提取模块304可配置为提取与图像样本集相关的语境线索。如此处所讨论，语境线索可包括图像内容的非视觉指示器。图像的语境线索的实例可包括用于图像的图像标签，捕捉图像的设备的GPS坐标，图像的标注者、上传者和所有者的身份，图像所有者们的身份，其他直接或间接涉及图像的信息等。在一些实施方式中，语境线索提取模块304可为图像类别关联模块308提供语境线索组，从而图像类别关联模块308可将语境线索与图像类别关联。
图像类别指定模块306可耦接至训练图像选取模块301的其他模块。图像类别指定模块306可配置为指定分类器208被训练以识认的图像类别。在一些实施方式中，图像类别指定模块306可接收来自管理员的指定图像类别的指令，管理员可为人或自动化的。在各种实施方式中，图像类别的指定可包括创建图像类别(如果不存在该图像类别)，或指明图像类别(如果此类图像类别存在)。
图像类别关联模块308可耦接至训练图像选取模块301的其他模块。图像类别关联模块308可从语境线索提取模块304接收一个或多个图像样本集，连同关联语境线索，且可从图像类别指定模块306接收指定图像类别。图像类别关联模块308可确定特定图像的语境线索将与具体图像类别关联的程度。更具体而言，图像类别关联模块308可为每个图像分配评分或值，该评分或值指示给定图像与图像类别关联的可能性。在一些实施方式中，图像类别关联模块308还可基于每个图像的评分对每个图像样本集排序。在一些实施方式中，图像分类关联模块308可从图像样本集中选取训练集(如图像样本集的最高评分图像)，以提供至分类器训练模块310。具有优势地，图像类别关联模块308不需实行图像样本集中的内容的任何视觉识认。
以下讨论提供图像类别关联模块308可如何基于与图像相关的语境线索，确定图像的可能内容。如以下讨论中所提供的，图像类别关联模块308可分析标签本身、标签的句法或可对通过语境线索提取模块304提取的语境线索实行其他类型的分析。图像类别关联模块308还可提供以下实例的任何结合，以基于语境线索，将图像样本集与指定图像类别关联，以确定图像训练集。
在一些实施方式中，图像类别关联模块308可分析图像样本集的图像标签的句法。图像类别关联模块308可确定具体句法与给定图像类别相关的可能程度。在一些实施方式中，图像标签的句法分析可包括对图像标签的确切语言分配权重。即，图像类别关联模块308可确定，与图像相关的标签的确切措辞指示标签应当与图像类别相关。例如，图像可标注有图像标签“#家养猫”。图像类别关联模块308可确定标签“#家养猫”与针对家养猫的图像的图像类别高度相关。作为另一实例，图像类别关联模块308可确定标签“#国内住房市场”与针对家养猫的图像类别低程度相关。
图像类别关联模块308还可分析在一系列与图像相关的图像标签中特定图像标签的顺序。例如，寻求标注家养猫的照片的人可包括以下系列标签：“#猫、#在家、#星期天、#动物”。图像类别关联模块308可识别标签“#猫”为系列标签中的第一标签，且因此，图像可能为家养猫的图像。图像类别关联模块308可为系列标签分配关联图像至图像类别的权重。注意，为了将图像与图像类别关联，图像类别关联模块308还可解释位于除系列标签中的第一位置外的位置的标签。
图像类别关联模块308还可分析若干个图像标签是否彼此近义。例如，假定第一图像如下标注：“#猫、#在家、#万圣节、#猫女、#装束、
Figure BDA0000955319740000141
Figure BDA0000955319740000142
”。进一步假定，第二图像如下标注：“#猫、#哺乳动物、#动物、#家猫、#公猫、#猫科动物、#可爱”。图像类别关联模块308可基于第一图像的一些标签，确定系列标签彼此不是近义，且第一图像不可能包括家养猫的图像。图像类别关联模块308可基于第二图像的一些标签，进一步确定系列标签为近义(例如，“猫”、“公猫”和“猫科动物”)，且第二图像比第一图像更可能包括家养猫的图像。藉此，关于家养猫的图像类别，图像类别关联模块308可为第二图像分配比第一图像的评分更高的评分。
在一些实施方式中，图像类别关联模块308可评估若干个图像标签的反义词或相反意义的不存在。例如，假定第一图像如下标注：“#黑色车”、“#白色车”、“#豪华车”、“#我的奔驰”。假定第二图像如下标注：“#黑色车”、“#深色车”、“#豪华车”、“#我的奔驰”。图像类别关联模块308可基于第二系列标签缺乏“黑色车”的反义词的事实，确定第二图像与和黑色车相对应的图像类别高度相关。关于黑色车的图像类别，图像类别关联模块308可为第二图像分配比第一图像更高的评分。
在一些实施方式中，图像类别关联模块308可基于本体或语言层次，评估图像标签的关系。例如，图像类别关联模块308可从在线资源(例如，词网(WorldNet))开发一个或多个词语的本体，且可使词语位于具有感情色彩(例如，“幸福”、“悲伤”、“红裙”、“黑色车”)。作为另一实例如，假定图像如下标注：“#猫、#哺乳动物、#动物、#家猫、#公猫、#猫科动物、#可爱”。图像类别关联模块308可确定，“猫”为“哺乳动物”所标示的科的一部分，而“哺乳动物”转而是“动物”所标示的的科的一部分。结果，在此类实例中，图像类别关联模块308可识别标签为提供图像中描绘的家养猫的可靠指示。藉此，在家养猫的图像类别方面，图像类别关联模块308可随后对图像进行评分。
在各种实施方式中，图像类别关联模块308可实行对标签词汇和短语的其他自然语言分析。在一些实施方式中，图像类别关联模块308可解释标签词汇的错拼。图像类别关联模块308还可解释除英语外的语言，包括寻找结合英语对等部分的非英语词汇的存在(例如，在相同系列标签中的“#cat”和“#gato”)。在这些实例的每个中，图像类别关联模块308可针对特定图像类别方面，适当地对图像集评分。
除分析图像标签的句法外，图像类别关联模块308可分析涉及图像生成和/或标注的社交线索。例如，图像类别关联模块308可分析与图像样本集相关的位置数据。更具体而言，图像类别关联模块308可评估图像的GPS坐标。例如，GPS坐标可从用户移动设备的GPS收发器得到，或可当图像上传时或之后，从图像的地理标注得到。使用特定图像的位置数据，图像类别关联模块308可在具体图像类别方面，为特定图像分配评分。例如，图像类别关联模块308可从位置数据确定，图像在圣弗朗西斯科的金门大桥附近拍摄。图像类别关联模块308可随后在桥的图像类别方面，为图像分配评分。
在一些实施方式中，图像类别关联模块308可分析社交线索，该社交线索包括图像样本集的特定图像的生成者的身份。图像类别关联模块308可依照特定实体是否生成特定图像类别的图像，分配评分。例如，如果历史上而看，实体已生成特定图像类别的许多图像，图像类别关联模块308可对实体的特定图像评分，以反映与该图像类别的高程度关联性。
在一些实施方式中，图像类别关联模块308可分析社交线索，该社交线索指示图像样本集之一的所有者是否为图像的生成者或图像的标注者。在一些实施方式中，图像类别关联模块308可确定拥有图像或对图像的知识产权的实体是否生成或标注图像。例如，在商标(例如，
Figure BDA0000955319740000161
标识)的图像类别方面，图像类别关联模块308可为图像提供评分，如果图像由拥有商标(例如，
Figure BDA0000955319740000162
公司)的实体生成或标注，该评分反映高程度关联性。此类权重方案可提供特定优势，以识认商标图像或标识。
在一些实施方式中，图像类别关联模块308可分析社交线索，该社交线索指示社交网络系统中的个人的状态或简档。所述个人可为图像样本集的特定图像的生成者和/或标注者。例如，图像类别关联模块308可基于个人活动(例如，过去的帖子、状态更新、好友关系、消息历史、过去标注历史、过去图像生成历史、浏览历史、在线简档等)或关系(例如，好友)，确定所述个人是否可能为可靠的图像生成者和/或标注者。图像类别关联模块308可基于个人的状态或简档是否指示该个人为可靠的图像生成者和/或标注者(或一般而言，或在特定图像类别方面)，为一个或多个图像分配各种评分。
在各种实施方式中，图像类别关联模块308可分析社交线索，该社交线索指示其他图像类别的存在或不存在。例如，图像类别关联模块308可确定图像包括轮船，且结果，图像不可能为室内的。语境线索(例如，主题标签“室内”)的存在可指示图像不可能包括轮船。作为另一实例，图像类别关联模块308可确定图像中一个物体的存在可意味着另一物体可或不可在图像中存在。例如，给出图像不可能同时包括母牛和飞机的事实，指示图像中的母牛的语境线索的存在可允许图像类别关联模块308提供对于飞机的消极关联。作为另一实例如，给出包括一只鸡的图像可能包括其他鸡的事实，指示在图像中一只鸡的一个语境线索的存在可允许图像类别关联模块308提供对图像中其他鸡的积极关联。同样地，绵羊的存在可指示对牧羊犬的积极关联。
图像类别关联模块308可分析种种社交线索，包括但不限于上文所讨论的那些及以下一个或多个：上传者是否为图像的所有者、图像的文件类型、图像中或与图像相关的元数据、图像喜爱者的身份、查看标签或图像的用户的成熟度或经历、图像是否先前在图像类别中分类(且如果如此，在那个图像类别方面，图像的评分为多少)等。除此处明确讨论的那些外，其他社交线索可通过图像类别关联模块308分析，以将图像和图像类别关联且评分。图像类别关联模块308可基于这些图像的语境线索与一个或多个图像类别高度相关的程度，为各种图像分配各种评分。
除为图像分配评分外，在一个或多个图像类别方面，图像类别关联模块308还可对图像样本集排序。例如，图像类别关联模块308可在图像类别方面，基于对每个图像的评分，对图像样本集的每个图像排序。所述排序可反映每个图像与图像类别的相对关联性。图像类别关联模块308可使用权重、评分和/或排序来生成图像训练集。
训练图像数据存储器309可从训练图像选取模块301接收图像训练集。训练图像数据存储器309可存储图像训练集。在一些实施方式中，训练图像数据存储器309可允许分类器训练模块310获取图像训练集。
分类器训练模块310可耦接至训练图像数据存储器309和分类器208。在各种实施方式中，分类器训练模块310可提供图像训练集，以训练分类器208识认图像类别。在特定图像类别方面，图像训练集可限于样本集的最高排序图像的阈值数量。最高排序图像的阈值数量可由值K代表，其中K为任何整数值。例如，假定训练图像收集模块302收集1000个图像作为图像样本集，用于最终训练分类器208来识认“家养猫”的图像类别。进一步假定，图像类别关联模块308为这些图像当中的200个分配比分配给其余800个图像的评分更高的评分。在此类情况下，分类器训练模块310可仅仅将200个最高的评分图像提供至分类器208作为图像训练集，从而分类器208可高效确定与家养猫的图像类别高度相关的图像的视觉属性。
图4示出根据一些实施方式的图像分类评估模块206的实例。图像分类评估模块206可包括评估图像收集模块402、分类器输入模块404、视觉模式模板收集模块405、分类器评分接收模块406、视觉属性排序模块408和经评估图像提供模块410。
评估图像收集模块402可耦接至图像分类评估模块206的其他模块。在一些实施方式中，评估图像收集模块402可从未分类图像数据存储器202收集用于图像分类的图像评估集。图像评估集可与图像样本集和图像训练集相同或不同。图像评估集可包括与图像样本集和图像训练集不同数量的图像(例如，更大数量的图像)。在各种实施方式中，图像评估集可从未分类图像数据存储器202随机或选择性获得。
视觉模式模板收集模块405可耦接至图像分类训练模块204和图像分类评估模块206的其他模块。在一些实施方式中，视觉模式模板收集模块405可从图像分类训练模块204接收与特定图像类别对应的视觉模式模板。视觉模式模板收集模块405可进一步为分类器输入模块404提供视觉模式模板。
分类器输入模块404可耦接至图像分类评估模块206的其他模块。在一些实施方式中，分类器输入模块404可从评估图像收集模块402接收图像评估集。分类器输入模块404还可从视觉模式模板收集模块405接收与特定图像类别相对应的视觉模式模板。分类器输入模块404可指导分类器208试图认出图像评估集中每个的视觉模式模板。
分类器评分接收模块406可耦接至图像分类评估模块206的其他模块。在一些实施方式中，分类器评分接收模块406可从分类器208接收评分，该评分指示图像评估集的特定图像与视觉模式模板关联的程度。
视觉属性排序模块408可耦接至图像分类评估模块206的其他模块。在各种实施方式中，视觉属性排序模块408可基于每个图像评估集的评分与视觉模式模板相关的程度，对图像评估集排序。在一些实施方式中，视觉属性排序模块408可提供重新排序的图像集，该图像集构成用于索引或搜索的经分类图像集。
经评估图像提供模块410可耦接至图像分类评估模块206的其他模块。在一些实施方式中，经评估图像提供模块410可从视觉属性排序模块408接收重新排序或分类图像。经评估图像提供模块410可提供重新排序图像连同索引或其他信息至经分类图像数据存储器210，所述索引或其他信息反映每个重新排序图像与指定图像类别关联的程度。
图5表示根据一些实施方式的分类器208的实例。分类器208可包括视觉模式创建模块502、视觉模式识别模块504和经分类图像接口模块506。
视觉模式创建模块502可耦接至视觉模式识别模块504。在分类器208的训练阶段期间，视觉模式创建模块502可从图像分类训练模块204接收图像训练集，且创建与图像类别相关的图像训练集所共有的特点的视觉模式模板。为了创建所述视觉模式模板，视觉模式创建模块502可实现视觉模式识别算法，如计算机形式中的词袋模型或计量每个图像训练集中局部图像特征的词汇的发生次数的技术。在实施方式中，视觉模式创建模块502可将图像拆分为片段，且可评估每个图像片段的视觉特征的存在。视觉模式创建模块502可进一步提取每个图像片段中识别出的视觉特征，且可将视觉特征代表作为矢量。使用所述矢量，视觉模式创建模块502可创建图像训练集所共有的特征的视觉模式模板。
在各种实施方式中，视觉模式创建模块502可基于在图像训练集中最常发现的特征，创建视觉模式模板。例如，在这些实施方式中，图像分类训练模块204可为视觉模式创建模块502提供整数“K”数量的图像，且视觉模式创建模块502可识认在K个图像中最常发现的特征。
视觉模式识认模块504可耦接至视觉模式创建模块502。在评估阶段，视觉模式识认模块504可从图像分类评估模块206接收图像评估集，且可识别每个图像评估集与和图像类别相关的特定视觉模式模板关联的程度。在一些实施方式中，视觉模式识认模块504可应用视觉模式识认，如词袋算法。在一些实施方式中，视觉模式识认可包括神经网络图像分类技术。视觉模式识认模块504可确定图像评估集内的各种视觉特征，且对于每个图像，经提取视觉特征代表作为矢量集。视觉模式识认模块504还可将每个图像评估集的矢量与特征的各种视觉模式模板比较。在一些实施方式中，视觉模式识认模块504可对每个图像评估集与在训练阶段生成的各种视觉模式模板之间的关联程度评分。
经分类图像接口模块506可耦接至视觉模式创建模块502和视觉模式识认模块504。在一些实施方式中，经分类图像接口模块506可从视觉模式识认模块504接收经分类图像，连同他们的分数。经分类图像接口模块506可向经分类图像数据存储器210提供经分类图像和/或分数。经分类图像接口模块506还可为经分类图像数据存储器210提供视觉模式模板。
图6表示根据一些实施方式的用于将图像分类的过程600的实例。结合图2A中表示的图像分类模块104讨论过程600。过程600可包括训练阶段600a和评估阶段600b。在过程600的方框602,图像分类训练模块204可收集来自未分类图像数据存储器202的图像样本集。在方框604，图像分类训练模块204可收集与图像样本集相关的语境线索。如此处所讨论的，在方框606，图像分类训练模块204可基于图像与所关注图像类别的关联性，使用语境线索对图像评分和排序，以创建图像训练集。基于评分和排序，可确定图像训练集。在方框607，图像分类训练模块204可基于训练集，训练分类器208。在方框608，图像分类评估模块206可从未分类图像数据存储器202收集图像评估集。在方框610，分类器208可将图像评估集的视觉属性与和图像类别相关的视觉模式模板集比较。在方框612，基于所述比较，分类器208可确定图像评估集的每个图像是否落入所述图像类别。
图7表示根据一些实施方式的用于训练分类器的过程700的实例。结合图3中表示的图像分类训练模块204，讨论过程700。在方框701，图像类别指定模块306可指定用于训练分类器208来识认的图像类别。在方框702，训练图像收集模块302可接收图像样本集，每个图像样本集具有相关的语境线索。在方框704，语境线索提取模块304可从图像样本集提取语境线索。在方框708，图像类别关联模块308可基于与图像相关的一个或多个语境线索，对图像样本集的每个图像与图像类别的关联性评分。在方框710，图像类别关联模块308可基于每个图像的评分，对图像样本集排序。在方框712，图像类别关联模块308可从样本集确定图像训练集，以训练分类器208。在一些实施方式中，训练集的确定可包括基于评分，对样本集中的每个图像排序。所述确定还可包括选取图像样本集的最高得分子集。最高得分子集可包括图像训练集。在方框714，分类器训练模块310可训练分类器208，以识别图像训练集中共同的视觉模式。
图8表示根据一些实施方式的用于将图像分类的过程800的实例。结合图4中表示的图像分类评估模块206和图5中表示的分类器208，讨论过程800。在方框802，评估图像收集模块402可从未分类图像数据存储器202收集图像评估集。在方框804，评估图像收集模块402可确定用于评估图像评估集的视觉属性的图像类别。在一些实施方式中，分类器输入模块404可将图像评估集和图像类别提供至分类器208。在方框806，视觉模式识认模块504可对图像评估集的每个图像与和图像类别相关的视觉模式模板之间的关联性评分。在方框808，视觉模式识认模块504可基于图像评估集的每个图像的得分关联性，对图像评估集的每个图像排序。在方框810，视觉模式识认模块504可将图像评估集的最高评分子集与图像类别相关联。在一些实施方式中，经分类图像接口模块506随后可将最高评分子集提供至社交网络系统中的各种其他模块。
图9示出根据一些实施方式的通过图像分类模块104的图像组的语境生成分类的预览900的实例。预览900包括未分类图像组902、第一经分类图像组904、第二经分类图像组906、第二经分类图像组908和第四经分类图像组910。在图9的实例中，未分类图像组902包括具有与它们相关的语境线索的图像组。语境线索可包括图像标签和其他语境信息。为了产生第一经分类图像组904、第二经分类图像组906、第三经分类图像组908和第四经分类图像组910，未分类图像组902的一个或多个已被提供至图像分类训练模块204。在训练阶段期间，图像分类训练模块204已使用未分类图像组902集合，基于语境线索分类，以训练分类器208来识认与四个图像类别(即为：具有合成外观/感觉的图像的第一图像类别、近景图像的第二图像类别、室外拍摄图像的第三图像类别和描绘水的图像的第四图像类别)相关的视觉属性。在评估阶段，图像分类评估模块206已提供未分类图像组902至分类器208，分类器208已得到训练以将未分类图像组902的视觉属性与和四个图像类别相关的视觉模式模板比较。分类器208的输出已与训练器208被训练来识认的四个图像类别相对应。更具体而言，分类器208产生了第一经分类图像组904(与第一图像类别相对应)；第二经分类图像组906(与第二图像类别相对应)；第三经分类图像组908(与第三图像类别相对应)；和第四经分类图像组910(与第四图像类别相对应)。
图10表示根据一些实施方式的通过图像分类模块104，图像组的语境生成图像过滤器分类的预览1000的实例。预览1000包括未分类图像组1002和经分类图像组1004。未分类图像组1002可代表社交网络系统中未分类图像的部分。图像样本集与标签和其他语境线索相关。基于它的语境线索，图像样本集的每个图像基于它与所关注图像类别的关联性评分。在这个实例中，“猫”为所关注图像类别。图像样本集的图像随后基于它们的评分排序。在这个实例中，图像样本集的最高排序的200个图像被标示为图像训练集。图像训练集随后被应用来训练分类器，以识认在图像中描绘的共同视觉模式。视觉模式模板基于训练集生成，且与“猫”图像类别相关。未分类图像组1002被应用作为图像评估集。图像评估集被应用至分类器，来对它们与和“猫”图像类别有关的视觉模式模板的关联性评分。图像评估集的评分被排序，来自图像评估集的最高排序图像被选取作为经分类图像组1004。
社交网络系统——实例实现方式
图11为根据一些实施方式的实例社交网络系统1100的网络示意图，在该实例社交网络系统中实现语境图像分类系统102。社交网络系统1100包括一个或多个用户设备1110、一个或多个外部系统1120、社交网络系统1130和网络1150。在实施方式中，结合上文所描述的实施方式讨论的社交网络系统可实现为社交网络系统1130。出于示出的目的，由图11表示，社交网络系统1100的实施方式包括单个外部系统1120和单个用户设备1110。但是，在其他实施方式中，社交网络系统1100可包括更多用户设备1110和/或更多外部系统1120。在某些实施方式中，社交网络系统1130由社交网络系统提供者操作，而外部系统1120从社交网络系统1130分离，因为它们可由不同的实体操作。但是，在各种实施方式中，社交网络系统1130和外部系统1120结合操作，以向社交网络系统1130的用户(或成员)提供社交网络服务。在这个意义上，社交网络系统1130提供平台或支柱，其他系统(如外部系统1120)可使用该平台或支柱来通过互联网提供社交网络服务和功能。
用户设备1110包括可接收来自用户的输入和经由网络1150传输和接收数据的一个或多个计算设备。在一个实施方式中，用户设备1110为常规计算机系统，该常规计算机系统执行，例如微软视窗兼容操作系统(OS)、苹果OS X和/或Linux发行版。在另一实施方式中，用户设备1110可为具有计算机功能的设备，如智能手机、平板电脑、个人数字助手(PDA)、移动电话等。用户设备1110配置为经由网络1150通信。用户设备1110可执行应用，例如，允许用户设备1110的用户与社交网络系统1130交互的浏览器应用。在另一实施方式中，用户设备1110通过应用程序接口
(API)与社交网络系统1130交互，应用程序接口(API)由用户设备1110的本机操作系统(例如iOS和ANDROID)提供。用户设备1110配置为经由网络1150与外部系统1120和社交网络系统113.通信，使用有线和/或无线通信系统，网络1150可包括局域和/或广域网的任意结合。
在一个实施方式中，网络1150使用标准通信技术和协议。因而，网络1150可包括使用诸如以太网、802.11、全球微波互联接入(WiMAX)、3G、4G、CDMA、GSM、LTE、数字用户线路(DSL)等的技术的链路。类似地，在网络1150上使用的网络协议可包括多协议标签交换(MPLS)、传输控制协议/互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)、文件传输协议(FTP)等。在网络1150上交换的数据可使用包括超文本标记语言(HTML)和可扩展标记语言(XML)的技术和/或格式来代表。此外，所有或一些链路可使用诸如安全套接层(SSL)、安全传输层协议(TLS)和互联网协议安全性(IPsec)的常规加密技术来加密。
在一个实施方式中，用户设备110可使用浏览器应用1112，通过处理从外部系统1120和从社交网络系统1130接收的标记语言文档1114，显示来自外部系统1120和/或来自社交网络系统1130的内容。标记语言文档1114识别内容和描述内容的格式或呈现方式的一个或多个指令。通过执行标记语言文档1114中所包括的指令，浏览器应用1112使用标记语言文档1114所描述的格式或呈现方式，显示经识别内容。例如，标记语言文档1114包括用于生成和显示具有多帧的网页的指令，多帧包括从外部系统1120和社交网络系统1130检索的文本和/或图像数据。在各种实施方式中，标记语言文档1114包括数据文件，该数据文件包括可扩展标记语言(XML)数据、可扩展超文本标记语言(XHTML)数据或其他标记语言数据。此外，标记语言文档1114可包括JavaScript对象表示法(JSON)数据、具有填充的JSON(JSONP)和JavaScript数据，以促进外部系统1120和用户设备1110之间的数据交换。用户设备1110上的浏览器应用1112可使用JavaScript编译器来解码标记语言文档1114。
标记语言文档1114还可包括或链接至诸如FLASHTM或UnityTM应用、SilverLightTM应用框架等的应用或应用框架。
在一个实施方式中，用户设备1110还包括一个或多个小程序1116,小程序1116包括指示用户设备1110的用户是否登入社交网络系统1130的数据，社交网络系统1130可使从社交网络系统1130至用户设备1110的数据传输的更改成为可能。
外部系统1120包括一个或多个网络服务器，该网络服务器包括使用网络1150通信至用户设备1110的一个或多个网页1122a、1122b。外部系统1120从社交网络系统1130分离。例如，外部系统1120与第一网域相关联，而社交网络系统1130与分离社交网络网域相关联。外部系统1120中包括的网页1122a、1122b包括标记语言文档1114，标记语言文档1114识别内容和包括指定经识别内容的格式或实现方式的指令。
社交网络系统1130包括用于社交网络系统的一个或多个计算设备，该社交网络系统包括若干个用户，且为社交网络系统的用户提供与社交网络系统的其他用户通信和交互的能力。在一些事例中，社交网络系统可由图谱代表，即，包括边线和节点的数据结构。其他数据结构还可被用来代表社交网络系统，包括但不限于，数据库、物体、类别、元元素、文件或任何其他数据结构。社交网络系统1130可由操作者监管、管理或控制。社交网络系统1130的操作者可为人类、自动化应用或一系列应用，用于管理内容、规范政策和收集社交网络系统1130内的使用量度。可使用任何类型的操作者。
用户可加入社交网络系统1130，且随后添加连接至社交网络系统1130内他们期望被连接的任意数量的其他用户。如此处所使用，术语“好友”指代用户已由社交网络系统1130向其形成连接、关联或关系的社交网络系统1130内的任何其他用户。例如，在实施方式中，如果社交网络系统1130内的用户由社交图谱中的节点代表，术语“好友”可指代在直接连接的两个用户节点之间形成的边线。
连接可由用户明确添加，或可由涉及网络系统1130基于用户的共同特性(例如，为相同教育机构的校友的用户)自动创建。例如，第一用户具体选取特定的另一用户为好友。社交网络系统1130中的连接常常为双方向的，但不一定，所以术语“用户”和“好友”取决于参照系。社交网络系统1130的用户之间的连接常常为双边的(“双向的”)或“互相的”，但连接也可为单边的，或“单向的”。例如，如果鲍勃和乔都为社交网络系统1130的用户，且彼此连接，鲍勃和乔为彼此的连接。另一方面，如果鲍勃希望连接至乔，以查看乔通信至社交网络系统1130的数据，但乔不希望形成互相连接，可建立单边连接。用户之间的连接可为直接连接；但是，社交网络系统1130的一些实施方式允许连接为不直接的，经由一个或多个连接层次或分离程度。
除建立和保持用户之间的连接，且允许用户之间的交互外，社交网络系统1130为用户提供在由社交网络系统1130支持的各种类型的项目上采取行动的能力。这些项目可包括社交网络系统1130的用户所属于的群组或网络(即，人们、实体和概念的社交网络)、用户可能感兴趣的事件或日程表条目、用户可经由社交网络系统1130使用的基于计算机的应用、允许用户经由或通过社交网络系统1130提供的服务购买或出售项目的交易和用户可在社交网络系统1130线上或线下实行的与广告的交互作用。这些仅仅为用户可在社交网络系统1130上对其行动的项目的少许实例如，且很多其他的是可能的。用户可与社交网络系统1130或外部系统1120中能够代表的任何事物交互，外部系统1120从社交网络系统1130分离，或经由网络1150耦接至社交网络系统1130。
社交网络系统1130还能够链接种种实体。例如，社交网络系统1130使用户通过API、网页服务或其他通信信道，与彼此以及外部系统1120或其他实体交互成为可能。社交网络系统1130生成和保持“社交图谱”，该“社交图谱”包括由若干个边线互相连接的若干个节点。社交图谱中的每个节点可代表可在另一节点上行动和/或可由另一节点在其上行动的实体。社交图谱可包括各种类型的节点。节点类型的实例包括用户、非人实体、内容项目、网页、群组、活动、消息、概念和可由社交网络系统1130内的物体代表的任何其他事物。社交图谱中两个节点之间的边线可代表所述两个节点之间特定种类的连接或关联，该连接或关联由于节点关系或由于节点其中之一对另一节点所实行的行动导致。在一些情况下，可衡量节点之间的边线。边线的分量可代表与边线相关联的属性，如节点之间连接或关联的强度。不同类型的边线可提供有不同的分量。例如，当一个用户“喜欢”另一用户时所创建的边线可被给予一个权重，而当一个用户为另一用户的好友时所创建的边线可被给予不同的权重。
作为实例如，当第一用户识别第二用户为好友时，连接代表第一用户的节点和代表第二用户的节点，生成社交图谱中的边线。由于各种节点彼此联系或交互，社交网络系统1130更改连接各种节点的边线，以反映关系和交互。
社交网络系统1130还包括用户生成内容，用户生成内容增强用户与社交网络系统1130的交互。用户生成内容可包括用户可添加、上传、发送或“张贴”至社交网络系统1130的任何事物。例如，用户从用户设备1110将帖子通信至社交网络系统1130。帖子可包括诸如状态更新或其他文本数据、位置信息、图像(如照片)、视频、链接、音乐的数据或其他类似数据和/或媒体。内容还可通过第三方添加至社交网络系统1130。内容“项目”在社交网络系统1130被代表为物体。以这种方法，社交网络系统1130的用户被鼓励通过各种通信信道，张贴各种类型媒体的文本和内容项目来彼此通信。此类通信增加用户彼此的交互，且增加用户与社交网络系统1130交互的频率。
社交网络系统1130包括网络服务器1132、API请求服务器1134、用户简档存储器1136、连接存储器1138、行动记录器1140、活动日志1142、授权服务器1114、图像分类模块1146和图像应用模块1148。在实施方式中，社交网络系统1130可包括用于各种应用的附加的、更少的或不同的部件。未表示出其他部件，诸如网络接口、安全机制、负载均衡器、故障转移服务器、管理和网络操作控制台等，从而不使系统的细节模糊化。
用户简档存储器1136保持关于用户账户的信息，包括传记的、人口统计的和其他类型的描述性信息，如已由用户宣布的或由社交网络系统1130推断的工作经验、教育历史、兴趣或偏好、位置等。这类信息存储在用户简档存储器1136中，从而独特识别每个用户。社交网络系统1130还存储描述连接存储器1138中不同用户之间的一个或多个连接的数据。连接信息可指示具有类似或共同的工作经验、群组成员关系、兴趣或教育历史的用户。此外，社交网络系统1130包括不同用户之间的用户规定连接，允许用户指定他们与其他用户的关系。例如，用户规定连接允许用户与其他用户生成关系，其他用户与所述用户的实际生活关系平行，如好友、同事、伙伴等等。用户可从预先规定类型的连接中选取，或规定他们自己的连接类型(如果需要)。与社交网络系统1130中的其他节点(如，非人实体、存储桶、簇中心、图像、兴趣、页面、外部系统、概念等)也存储于连接存储器1138中。
社交网络系统1130保持关于用户交互的对象的数据。为了保持该数据，用户简档存储器1136和连接存储器1138存储由社交网络系统1130保持的相对应类型的对象的事例。每个对象类型具有信息字段，该信息字段适合于存储对于对象的类型适当的信息。例如，用户简档存储器1136包括数据结构，该数据结构有适合于描述用户的账户和与用户账户有关的信息的字段。当特定类型的新对象被创建，社交网络系统1130初始化相对应类型的新的数据结构，为它分配唯一的对象标识符，且如果需要的话，开始添加数据至对象。这可发生，例如，当用户变成社交网络系统1130的用户时，社交网络系统1130生成用户简档存储器1136中用户简档的新事例如，为用户账户分配唯一的标识符，且开始利用用户提供的信息填充用户账户的字段。
连接存储器1138包括数据结构，该数据结构适合于描述用户至其他用户的连接，至外部系统1120的连接或至其他实体的连接。连接存储器1138还可将连接类型与用户的连接相关联，用户的连接可结合用户的隐私设置使用，以规范对关于用户的信息的获取。在实施方式中，用户简档存储器1136和连接存储器1138可实现为联邦数据库。
存储在连接存储器1138、用户简档存储器1136和活动日志1142中的数据使社交网络系统1130生成社交图谱成为可能，社交图谱使用节点来识别各种对象和连接节点的边线来识别不同对象之间的关系。例如，如果第一用户与社交网络系统1130中的第二用户建立连接，来自用户简档存储器1136的第一用户和第二用户的用户账户可充当为社交图谱中的节点。第一用户和第二用户之间的由连接存储器1138存储的连接为与第一用户和第二用户相关的阶段之间的边线。继续这个实例如，第二用户可随后在社交网络系统1130内向第一用户发送消息。发送消息的动作(可被存储)为社交图谱中代表第一用户和第二用户的两个节点之间的另一边线。此外，消息本身可作为连接至代表第一用户和第二用户的节点的另一节点，而被识别和包括在社交图谱中。
在另一实例中，第一用户可标注由社交网络系统1130所保持的图像中的第二用户(或，可替换地，由社交网络系统1130之外的另一系统所保持的图像中)。图像本身可代表为社交网络系统1130中的节点。该标注行动可在第一用户和第二用户之间创建边线，以及在每个用户和图像之间创建边线，图像也为社交图谱中的节点。在另一实例中，如果用户确认参加事件，用户和事件为从用户简档存储器1136获得的节点，其中事件的参加为可从活动日志1142检索的节点之间的边线。通过生成和保持社交图谱，社交网络系统1130包括数据，该数据描述很多不同类型的对象和交互和那些对象间的连接，提供丰富资源的社交相关信息。
网络服务器1132经由网络1150链接社交网络系统1130至一个或多个用户设备1110和/或一个或多个外部系统1120。网络服务器1132服务网页，以及网页相关内容，如Java、JavaScript、Flash、XML等等。网络服务器1132可包括邮件服务器或用于接收和路由社交网络系统1130和一个或多个用户设备1110之间的消息的其他消息功能。所述消息可为即时消息、队列消息(例如，邮件)、文本和SMS消息，或任何其他合适的消息格式。
API请求服务器1134允许一个或多个外部系统1120和用户设备1110通过调用一个或多个API功能，调用访问来自社交网络系统1130的信息。API请求服务器1134还可允许外部系统1120通过调用API，发送信息至社交网络系统1130。在一个实施方式中，外部系统1120经由网络1150发送API请求至社交网络系统1130，且API请求服务器1134接收API请求。API请求服务器1134通过调用与API请求相关的API，处理请求，以生成适当的响应，其中API请求服务器1134经由网络1150通信至外部系统1120。例如，对API请求作出响应，API请求服务器1134收集与用户相关的数据，如已登入外部系统1120的用户的连接，且将所收集的数据通信至外部系统1120。在另一实施方式中，用户设备1110以和外部系统1120相同的方式，经由多个API，与社交网络系统1130通信。
行动记录器1140能够从网络服务器1132接收关于用户在社交网络系统1130的线上或线下行动的通信。行动记录器1140用关于用户行动的信息填充活动日志1142，使社交网络系统1130发现它的用户在社交网络系统1130内和在社交网络系统1130之外所采取的各种行动成为可能。通过活动日志1142或类似数据库或其他数据储存库中保持的信息，特定用户就社交网络系统1130上的另一节点而言所采取的任何行动可与每个用户的账户相关联。被识别和存储的由社交网络系统1130内的用户所采取的行动的实例可包括，例如添加连接至另一用户、发送消息至另一用户、从另一用户读取消息、查看与另一用户相关联的内容、参加另一用户所张贴的事件、张贴图像、试图张贴图像或与另一用户或另一对象交互的其他行动。当用户在社交网络系统1130内采取行动时，行动可记录在活动日志1142中。在一个实施方式中，社交网络系统1130保持活动日志1142作为条目的数据库。当在社交网络系统1130内采取行动时，用于该行动的条目被添加至活动日志1142。活动日志1142可被指代为行动日志。
此外，用户行动可与发生在社交网络系统1130之外的实体(如，从社交网络系统1130分离的外部系统1120)内的概念和行动相关。例如，行动记录器1140可从网络服务器1132接收描述用户与外部系统1120交互的数据。在这个实例中，外部系统1120报告根据社交图谱中的结构行动和对象的用户的交互。
其中用户与外部系统1120交互的行动的其他实例包括，表达对外部系统1120或另一实体的兴趣的用户、张贴讨论外部系统1120或外部系统1120内的网页1122a的评论至社交网络系统1130的用户、将统一资源定位器(URL)或与外部系统1120相关的其他标识符张贴至社交网络系统1130的用户、参加与外部系统1120相关的事件或涉及外部系统1120的用户的任何其他行动的用户。因而，活动日志1142可包括描述社交网络系统1130的用户和从社交网络系统1130分离的外部系统1120之间的交互的行动。
授权服务器1144强制实行社交网络系统1130的用户的一个或多个隐私设置。用户的隐私设置确定与用户相关的特定信息可如何被分享。所述隐私设置包括对与用户相关的特定信息的指定，和对信息可与其分享的实体或多个实体的指定。信息可与其分享的实体的实例可包括其他用户、应用、外部系统1120或可潜在地获取信息的任何实体。可被用户分享的信息包括用户账户信息，如简档照片、与用户相关的电话号码、用户的连接、用户所采取的行动(如，添加连接、改变用户简档信息等)。
隐私设置指定可由不同粒度级别来提供。例如，隐私设置可识别将与其他用户分享的具体信息；隐私设备识别工作电话号码或具体的相关信息集，如包括简档照片、家庭电话号码和状态的个人信息。可替换地，隐私设置可应用于与用户相关联的所有信息。可获取特定信息的实体集的指定还可在各种粒度级别上指定。信息可与其分享的各种实体集可包括，例如，用户的所有好友、好友的所有好友、所有应用或所用外部系统1120。一个实施方式允许实体集的指定包括实体的列举。例如，用户可提供一列表的外部系统1120，外部系统1120被允许获取某些信息。另一实施方式允许指定包括实体集，连同不被允许获取信息的异常。例如，用户可允许所有外部系统1120获取用户的工作信息，但指定不被允许获取工作信息的一列表外部系统1120。某些实施方式称不被允许获取某些信息的异常的列表为“阻止列表”。属于由用户指定的阻止列表的外部系统1120被阻止获取隐私设置中指定的信息。信息指定的各种粒度组合，和实体(信息可与其分享)指定的粒度是可能的。例如，所有个人信息可与好友分享，而所有工作信息可与好友的好友分享。
授权服务器1144包括确定与用户相关的某些信息是否可被用户的好友、外部系统1120和/或其他应用和实体获取的逻辑。外部系统1120可需要来自授权服务器1144的授权，以获取用户更加隐私和敏感的信息，如用户的工作电话号码。基于用户的隐私设置，授权服务器1144确定另一用户、外部系统1120、应用或另一实体是否被允许获取与用户有关的信息，包括关于用户所采取的行动的信息。
如此处更加详细地描述，在图11的实例中，社交网络系统1130可包括图像分类模块1146和图像应用模块1148。在实施方式中，图像分类模块1146可收集用于图像样本集的语境线索，且使用语境线索生成图像训练集。图像训练集可被用来训练分类器，以生成图像类别的视觉模式模板。分类器可基于与视觉模式模板的关联性，对图像评估集评分。图像评估集的最高得分图像可被认作与图像类别最紧密相关。在实施方式中，图像分类模块1146可实现为图像分类模块104。图像应用模块1148可与其他应用接合，以允许搜索经分类图像。在实施方式中，图像应用模块1148可实现为图像应用模块106。
硬件实现方式
前述过程和特征可由多种多样的机器和计算机系统结构，在多种多样的网络和计算环境中实现。图12示出计算机系统1200的实例如，计算机系统1200可用来实现此处根据实施方式描述的一个或多个实施方式。计算机系统1200包括用于导致计算机系统1200实行此处讨论的过程和特征的指令集。计算机系统1200可被连接(例如，联网)至其他机器。在联网部署中，计算机系统1200可利用客户端-服务器网络环境中的服务器机器或客户端机器操作，或作为对等(或分布式)网络环境中的对等机器。在实施方式中，计算机系统1200可为社交网络系统1130、用户设备1110和外部系统1120或其部件。在实施方式中，计算机系统1200可为构成社交网络系统1130的全部或部分的许多服务器的其中之一。
计算机系统1200包括处理器1202、缓存1204和一个或多个可执行模块和驱动程序，存储在计算机可读介质上，针对此处所描述的过程和特征。此外，计算机系统1200包括高性能输入/输出(I/O)总线1206和标准I/O总线1212。主机桥1210将处理器1202耦接至高性能I/O总线1206，而I/O总线桥1212使两条总线1206和1212彼此耦接。系统存储器1214和网络接口1216耦接至高性能I/O总线1206。计算机系统1200可进一步包括视频存储器和耦接至视频存储器的显示设备(未表示)。大容量存储体1218和I/O端口1220耦接至标准I/O总线1212。计算机系统1200潜在地可包括键盘和定点设备、显示设备或耦接至标准I/O总线1212的其他输入/输出设备(未表示)。总体地，这些元件旨在代表广泛的计算机硬件系统，包括但不限于基于由加利福尼亚圣克拉拉因特尔公司制造的x 126兼容处理器和由加利福尼亚森尼韦尔的超微半导体(AMD)公司制造的x 126兼容处理器以及任何其他合适的处理器的计算机系统。
操作系统管理和控制计算机系统1200的操作，包括来自软件应用(未表示)的数据输入和至软件应用(未表示)的数据输出。操作系统提供在系统上正在执行的软件应用和系统的硬件部件之间的接口。可使用任何合适的操作系统，如LINUX操作系统、可向加利福尼亚库比蒂诺苹果电脑公司购买的苹果麦金托什操作系统、UNIX操作系统、
Figure BDA0000955319740000341
操作系统、BSD操作系统等。其他实现方式是可能的。
下文更加详细地描述计算机系统1200的元件。具体而言，网络接口1216提供计算机系统1200和广泛的网络(如，以太网(例如，IEEE 1202.3)网络、背板等)的任一个之间的通信。大容量存储体1218提供用于数据和程序指令的永久存储体，以实行由上文所识别的各个计算系统实现的上文所描述的过程和特征，而系统存储器1214(例如，DRAM)提供用于当由处理器1202执行时的数据和程序指令的临时存储体。I/O端口1220可为提供附加外围设备之间的通信的一个或多个串联和/或并联通信端口，该附加外围设备可耦接至计算机系统1200。
计算机系统1200可包括多种系统结构，且计算机系统1200的各种部件可重新布置。例如，缓存1204在处理器1202片上。可替换地，缓存1204和处理器1202可一同打包为“处理器模块”，处理器1202被指代为“处理器核心”。并且，某些实施方式可既不要求也不包括所有上述部件。例如，耦接至标准I/O总线1212的外围设备可耦接至高性能I/O总线1206。此外，在一些实施方式中，可能只有单总线存在，计算机系统1200的部件耦接至该单总线。并且，计算机系统1200可包括附加部件，如附加处理器、存储体设备或存储器。
一般而言，此处描述的过程和特征可实现为操作系统或具体应用、部件、程序、对象、模块或指代为“程序”的系列指令的一部分。例如，一个或多个程序可用来执行此处描述的具体过程。所述程序通常包括计算机系统1200的各种存储器和存储体设备中的一个或多个指令，所述一个或多个指令当通过一个或多个处理器读取和执行时，导致计算机系统1200实行操作，以执行此处描述的过程和特征。此处描述的过程和特征可在软件、固件、硬件(例如，专用集成电路)或其任意组合中实现。
在一个实现方式中，此处描述的过程和特征可实现为单个地或总体地在分布式计算环境中，由计算机系统1200运转的系列可执行模块。前述模块可由存储在计算机可读介质(或机器可读介质)上的硬件、可执行模块或二者的组合实现。例如，所述模块可包括将由硬件系统中的处理器(如处理器1202)执行的若干或系列指令。首先，所述系列指令可存储在存储体设备，如大容量存储体1218上。但是，系列指令可存储在任何合适的计算机可读存储介质上。并且，系列指令不必本地存储，且可经由网络接口1216，从远程存储设备(如网络上的服务器)接收。指令从存储体设备(如大容量存储体1218)复制至系统存储器1214，且随后由处理器1202获取和执行。在各种实现方式中，模块或多模块可由一个或多个位置中处理器或多个处理器(如在平行处理环境中多个服务器)执行。
计算机可读介质的实例包括，但不限于可记录类型介质，如易失性和非易失性存储器设备；固态存储器；软盘和其他可移动磁盘；硬盘驱动器；磁性介质；光盘(例如，光盘只读存储器(CD ROM)、数字多功能磁盘(DVD))；其他类似非暂时性(暂时性)、有形(无形)存储体介质；或适合于存储、编码或实施一系列指令的任何类型的介质，一系列指令用于通过计算机系统1200来执行以实行此处所描述的过程和特征的任意一个或多个。
出于解释的目的，为了提供对该描述的透彻理解，陈述许多具体细节。但是，对于本领域的技术人员显而易见的是，该公开内容的实施方式可无这些具体细节而实践。在一些事例中，为了避免模糊化该描述，以方框示意图的形式表示模块、结构、过程、特征和设备。在其他事例中，示出功能性方框示意图和流程图，以代表数据和逻辑流程。方框示意图和流程图的部件(例如，模块、方框、结构、设备、特征等)可以除此处明确描述和描绘的方式外，以各种形式结合、分离、移除、重新排列和代替。
在该说明书中参考“一个实施方式”、“实施方式”、“其他实施方式”、“一系列实施方式”、“一些实施方式”、“各种实施方式”等意味着与实施方式有关地描述的特定特征、设计、结构、或特性包括在本公开的至少一个实施方式中。在说明书中不同的地方出现的例如短语“在一个实施方式中”或“在实施方式中”未必都指同一个实施方式，也不是指与其他实施方式互相排除的分离的或可替代的实施方式。而且，无论是否明确引用“实施方式”等，都描述了各种特征，这些特征可以不同地组合并且包含在一些实施方式中，但是还可以在其他实施方式中不同地省略。相似地，描述的各个特征可以是一些实施方式而不是其他实施方式的偏好或要求。
本文中所使用的语言主要出于可读性和指导的目的而选择，并且选择其不是为了划定或限制发明主题。因此，并不旨在使本发明的范围受详细描述限制，而是受基于此的申请所发布的任何权利要求的限制。因此，本发明的实施方式的公开的目的在于说明性，而不是对随后权利要求书中阐述的本发明的范围进行限制。

Claims (19)

1.一种图像分类系统，包括：
至少一个处理器；以及
存储器，存储被配置为指示所述至少一个处理器执行以下各项的指令：
接收图像样本集，所述样本集中的每个图像与一个或多个社交线索相关，所述一个或多个社交线索包括基于所述图像样本集的图像的生成者或标注者的活动或关系的所述生成者或标注者的可靠性；
基于与所述图像相关的所述一个或多个社交线索，对所述样本集中每个图像与多个图像类别中的图像类别的关联性评分，其中所述多个图像类别中的每个图像类别与物体、动作或概念的描绘相关，并且其中所述评分包括生成指示所述图像描绘所述图像类别的程度的分数；并且
基于所述评分，从所述样本集确定图像训练集，以训练分类器。
2.根据权利要求1所述的系统，进一步包括：指定所述图像类别。
3.根据权利要求1所述的系统，其中，所述确定包括：基于所述评分，对所述图像样本集中的每个图像排序。
4.根据权利要求1所述的系统，其中，所述确定包括：选取所述图像样本集的最高评分子集。
5.根据权利要求4所述的系统，其中，所述最高评分子集为所述图像训练集。
6.根据权利要求1所述的系统，进一步包括：基于所述图像训练集，训练所述分类器。
7.根据权利要求1所述的系统，进一步包括：生成与所述图像类别相关的视觉模式模板。
8.根据权利要求1所述的系统，其中，所述分类器被配置为使用视觉词袋图像分类技术或神经网络图像分类技术。
9.根据权利要求1所述的系统，其中，图像评估集与所述图像样本集不同。
10.根据权利要求1所述的系统，其中，图像评估集包括比所述图像样本集更大的图像集。
11.根据权利要求1所述的系统，进一步包括：对图像评估集的每个图像与视觉模式模板的关联性评分，其中，所述视觉模式模板与所述图像类别相关。
12.根据权利要求11所述的系统，进一步包括：基于所述图像评估集的每个图像的关联性的所述评分，对所述评估集的每个图像排序。
13.根据权利要求11所述的系统，进一步包括：将所述图像评估集的最高评分子集与所述图像类别相关联。
14.根据权利要求1所述的系统，其中，所述一个或多个社交线索包括一个或多个图像标签。
15.根据权利要求14所述的系统，进一步包括，确定在与图像相关的所述一个或多个图像标签的总数量当中，特定图像标签的事例的数量。
16.根据权利要求1所述的系统，其中，所述一个或多个社交线索包括以下各项中的一项或多项：与所述图像样本集的图像相关的位置数据；或所述图像样本集的所述图像的上传者、标注者或所有者的身份。
17.根据权利要求1所述的系统，其中，所述一个或多个社交线索由社交网络系统接收。
18.一种计算机实现方法，包括：
由计算机系统接收图像样本集，所述样本集中的每个图像与一个或多个社交线索相关，所述一个或多个社交线索包括基于所述图像样本集的图像的生成者或标注者的活动或关系的所述生成者或标注者的可靠性；
由所述计算机系统基于与所述图像相关的所述一个或多个社交线索，对所述样本集中的每个图像与多个图像类别中的图像类别的关联性评分，其中所述多个图像类别中的每个图像类别与物体、动作或概念的描绘相关，并且其中所述评分包括生成指示所述图像描绘所述图像类别的程度的分数；并且
由所述计算机系统基于所述评分，从所述样本集确定用来训练分类器的图像训练集。
19.一种存储计算机可执行指令的计算机存储体介质，当执行所述指令时，使计算机系统执行计算机实现方法，所述方法包括：
接收图像样本集，所述样本集的每个图像与一个或多个社交线索相关，所述一个或多个社交线索包括基于所述图像样本集的图像的生成者或标注者的活动或关系的所述生成者或标注者的可靠性；
基于与所述图像相关的所述一个或多个社交线索，对所述样本集的每个图像与多个图像类别中的图像类别的关联性评分，其中所述多个图像类别中的每个图像类别与物体、动作或概念的描绘相关，并且其中所述评分包括生成指示所述图像描绘所述图像类别的程度的分数；并且
基于所述评分，从所述样本集确定用来训练分类器的图像训练集。
CN201480054360.8A 2013-08-05 2014-02-11 通过将语境线索与图像关联进行图像分类的系统和方法 Active CN105612514B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/959,446 US10169686B2 (en) 2013-08-05 2013-08-05 Systems and methods for image classification by correlating contextual cues with images
US13/959,446 2013-08-05
PCT/US2014/015887 WO2015020691A1 (en) 2013-08-05 2014-02-11 Systems and methods for image classification by correlating contextual cues with images

Publications (2)

Publication Number Publication Date
CN105612514A CN105612514A (zh) 2016-05-25
CN105612514B true CN105612514B (zh) 2020-07-21

Family

ID=52427721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480054360.8A Active CN105612514B (zh) 2013-08-05 2014-02-11 通过将语境线索与图像关联进行图像分类的系统和方法

Country Status (10)

Country Link
US (2) US10169686B2 (zh)
JP (1) JP6612229B2 (zh)
KR (1) KR102244748B1 (zh)
CN (1) CN105612514B (zh)
AU (1) AU2014304803B2 (zh)
BR (1) BR112016003926A2 (zh)
CA (1) CA2920193A1 (zh)
IL (1) IL243859A0 (zh)
MX (1) MX367510B (zh)
WO (1) WO2015020691A1 (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751198B (zh) * 2013-12-27 2018-04-27 华为技术有限公司 图像中的目标物的识别方法及装置
US10223727B2 (en) * 2014-10-20 2019-03-05 Oath Inc. E-commerce recommendation system and method
US10977571B2 (en) * 2015-03-02 2021-04-13 Bluvector, Inc. System and method for training machine learning applications
CN104899872B (zh) * 2015-05-18 2017-11-03 北京大学 基于显式和隐含信息的图像视觉显著度计算方法和装置
US10534810B1 (en) * 2015-05-21 2020-01-14 Google Llc Computerized systems and methods for enriching a knowledge base for search queries
US11537262B1 (en) 2015-07-21 2022-12-27 Monotype Imaging Inc. Using attributes for font recommendations
US9906704B2 (en) 2015-09-17 2018-02-27 Qualcomm Incorporated Managing crowd sourced photography in a wireless network
JP6874757B2 (ja) * 2016-02-24 2021-05-19 日本電気株式会社 学習装置、学習方法およびプログラム
CN105761269A (zh) * 2016-03-14 2016-07-13 北京大学 基于多尺度区分性子空间的图像显著对象的检测方法
CN105825228B (zh) * 2016-03-14 2019-04-30 百度在线网络技术（北京）有限公司 图像识别方法及装置
US9892326B2 (en) 2016-03-31 2018-02-13 International Business Machines Corporation Object detection in crowded scenes using context-driven label propagation
US11314565B2 (en) * 2016-07-07 2022-04-26 Data Accelerator Ltd Method and system for application virtualization that includes resource access control
US11237857B2 (en) * 2016-07-07 2022-02-01 Data Accelerator Ltd Method and system for application virtualization that includes machine learning
US10929461B2 (en) * 2016-07-25 2021-02-23 Evernote Corporation Automatic detection and transfer of relevant image data to content collections
US10645142B2 (en) 2016-09-20 2020-05-05 Facebook, Inc. Video keyframes display on online social networks
US10026021B2 (en) 2016-09-27 2018-07-17 Facebook, Inc. Training image-recognition systems using a joint embedding model on online social networks
US10083379B2 (en) 2016-09-27 2018-09-25 Facebook, Inc. Training image-recognition systems based on search queries on online social networks
EP3306555A1 (en) * 2016-10-10 2018-04-11 Facebook, Inc. Diversifying media search results on online social networks
US20180101540A1 (en) * 2016-10-10 2018-04-12 Facebook, Inc. Diversifying Media Search Results on Online Social Networks
US11200273B2 (en) 2016-10-16 2021-12-14 Ebay Inc. Parallel prediction of multiple image aspects
US10452688B2 (en) * 2016-11-08 2019-10-22 Ebay Inc. Crowd assisted query system
US11347374B2 (en) * 2016-11-17 2022-05-31 Meta Platforms, Inc. Systems and methods for managing shared content
JP6833999B2 (ja) * 2016-11-23 2021-02-24 プライマル フュージョン インコーポレイテッド 機械学習分類器とともに知識表現を使用するためのシステム及び方法
US11544579B2 (en) 2016-11-23 2023-01-03 Primal Fusion Inc. System and method for generating training data for machine learning classifier
CN106650795B (zh) * 2016-12-01 2020-06-12 携程计算机技术（上海）有限公司 酒店房型图像的排序方法
EP3336800B1 (de) * 2016-12-19 2019-08-28 Siemens Healthcare GmbH Bestimmen einer trainingsfunktion zum generieren von annotierten trainingsbildern
US10803013B2 (en) * 2017-02-10 2020-10-13 Smugmug, Inc. Efficient similarity detection
US11301506B2 (en) * 2017-06-29 2022-04-12 Adobe Inc. Automated digital asset tagging using multiple vocabulary sets
CN107463953B (zh) * 2017-07-21 2019-11-19 上海媒智科技有限公司 在标签含噪情况下基于质量嵌入的图像分类方法及系统
JP7027070B2 (ja) * 2017-08-31 2022-03-01 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US11334750B2 (en) 2017-09-07 2022-05-17 Monotype Imaging Inc. Using attributes for predicting imagery performance
US10909429B2 (en) * 2017-09-27 2021-02-02 Monotype Imaging Inc. Using attributes for identifying imagery for selection
CN107679183B (zh) 2017-09-29 2020-11-06 百度在线网络技术（北京）有限公司 分类器用训练数据获取方法和装置、服务器及存储介质
WO2019089578A1 (en) 2017-10-30 2019-05-09 Monotype Imaging Inc. Font identification from imagery
KR102074654B1 (ko) * 2017-11-03 2020-02-07 카페24 주식회사 쇼핑몰 웹페이지 저작 방법, 장치 및 시스템
US10140553B1 (en) * 2018-03-08 2018-11-27 Capital One Services, Llc Machine learning artificial intelligence system for identifying vehicles
CN110351180A (zh) * 2018-04-03 2019-10-18 鸿富锦精密电子(天津)有限公司 物联信息管理系统
JP7219023B2 (ja) * 2018-06-22 2023-02-07 日立造船株式会社 情報処理装置および対象物判定プログラム
US10635940B1 (en) * 2018-12-11 2020-04-28 Capital One Services, Llc Systems and methods for updating image recognition models
JP7261022B2 (ja) * 2019-01-30 2023-04-19 キヤノン株式会社 情報処理システム、端末装置及びその制御方法、プログラム、記憶媒体
US11494884B2 (en) 2019-02-21 2022-11-08 Canon U.S.A., Inc. Method and system for evaluating image sharpness
WO2020180869A1 (en) * 2019-03-06 2020-09-10 Telepathy Labs, Inc. Method and system for assisting a developer in improving an accuracy of a classifier
WO2021081741A1 (zh) * 2019-10-29 2021-05-06 深圳大学 一种基于多关系社交网络的图像分类方法及系统
US11704716B2 (en) * 2019-11-18 2023-07-18 Meta Platforms, Inc. Identifying objects within an image from a user of an online system matching products identified to the online system by the user
US11354936B1 (en) * 2020-07-15 2022-06-07 Amazon Technologies, Inc. Incremental clustering for face recognition systems
US11184445B2 (en) * 2020-09-27 2021-11-23 Jean-Michel Michel Cloutier System and method of establishing communication between users
JP7102563B2 (ja) * 2021-02-03 2022-07-19 プライマル フュージョン インコーポレイテッド 機械学習分類器とともに知識表現を使用するためのシステム及び方法
JP7388662B2 (ja) * 2021-08-20 2023-11-29 Ｌｉｎｅヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN113822252B (zh) * 2021-11-24 2022-04-22 杭州迪英加科技有限公司 显微镜下病理图像细胞鲁棒检测方法
US20230260275A1 (en) * 2022-02-11 2023-08-17 Whammy, Inc. System and method for identifying objects and/or owners

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7296032B1 (en) * 2001-05-17 2007-11-13 Fotiva, Inc. Digital media organization and access

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5909510A (en) 1997-05-19 1999-06-01 Xerox Corporation Method and apparatus for document classification from degraded images
US7941009B2 (en) 2003-04-08 2011-05-10 The Penn State Research Foundation Real-time computerized annotation of pictures
US9715542B2 (en) * 2005-08-03 2017-07-25 Search Engine Technologies, Llc Systems for and methods of finding relevant documents by analyzing tags
US7949186B2 (en) * 2006-03-15 2011-05-24 Massachusetts Institute Of Technology Pyramid match kernel and related techniques
US8024343B2 (en) * 2006-04-07 2011-09-20 Eastman Kodak Company Identifying unique objects in multiple image collections
US9507778B2 (en) * 2006-05-19 2016-11-29 Yahoo! Inc. Summarization of media object collections
US7877384B2 (en) 2007-03-01 2011-01-25 Microsoft Corporation Scoring relevance of a document based on image text
US8880529B2 (en) * 2007-05-15 2014-11-04 Tivo Inc. Hierarchical tags with community-based ratings
US20090083332A1 (en) * 2007-09-21 2009-03-26 The Penn State Research Foundation Tagging over time: real-world image annotation by lightweight metalearning
JP5018614B2 (ja) 2008-04-16 2012-09-05 国立大学法人電気通信大学 画像処理方法、その方法を実行するプログラム、記憶媒体、撮像機器、画像処理システム
KR101582142B1 (ko) 2008-06-06 2016-01-05 톰슨 라이센싱 이미지들의 유사성 검색을 위한 시스템 및 방법
US8385971B2 (en) 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US20100271297A1 (en) * 2009-04-27 2010-10-28 Shoei-Lai Chen Non-contact touchpad apparatus and method for operating the same
US8478052B1 (en) * 2009-07-17 2013-07-02 Google Inc. Image classification
US8370282B1 (en) * 2009-07-22 2013-02-05 Google Inc. Image quality measures
US20110188742A1 (en) 2010-02-02 2011-08-04 Jie Yu Recommending user image to social network groups
US8401282B2 (en) 2010-03-26 2013-03-19 Mitsubishi Electric Research Laboratories, Inc. Method for training multi-class classifiers with active selection and binary feedback
US20120106854A1 (en) 2010-10-28 2012-05-03 Feng Tang Event classification of images from fusion of classifier classifications
US9037600B1 (en) * 2011-01-28 2015-05-19 Yahoo! Inc. Any-image labeling engine
US9218364B1 (en) * 2011-01-28 2015-12-22 Yahoo! Inc. Monitoring an any-image labeling engine
US8774515B2 (en) * 2011-04-20 2014-07-08 Xerox Corporation Learning structured prediction models for interactive image labeling
US20130007667A1 (en) * 2011-06-28 2013-01-03 Microsoft Corporation People centric, cross service, content discovery system
US9646226B2 (en) * 2013-04-16 2017-05-09 The Penn State Research Foundation Instance-weighted mixture modeling to enhance training collections for image annotation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7296032B1 (en) * 2001-05-17 2007-11-13 Fotiva, Inc. Digital media organization and access

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Real-Time Computerized Annotation of Pictures";Jia Li et al.;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20080202;全文 *
"Scale-Invariant Visual Language Modeling for Object Categorization";Lei Wu et al.;《IEEE Transactions on Multimedia》;20090120;全文 *
"Social image annotation via cross-domain subspace learning";Si Si et al.;《Multimedia Tools and Applications》;20100720;全文 *

Also Published As

Publication number Publication date
US20150036919A1 (en) 2015-02-05
US20190279053A1 (en) 2019-09-12
KR20160040633A (ko) 2016-04-14
CN105612514A (zh) 2016-05-25
IL243859A0 (en) 2016-04-21
US10169686B2 (en) 2019-01-01
WO2015020691A1 (en) 2015-02-12
BR112016003926A2 (pt) 2019-11-12
CA2920193A1 (en) 2015-02-12
JP6612229B2 (ja) 2019-11-27
KR102244748B1 (ko) 2021-04-28
MX2016001687A (es) 2016-09-06
AU2014304803A1 (en) 2016-02-25
JP2016527646A (ja) 2016-09-08
AU2014304803B2 (en) 2019-07-04
MX367510B (es) 2019-08-26

Similar Documents

Publication Publication Date Title
CN105612514B (zh) 通过将语境线索与图像关联进行图像分类的系统和方法
US10565472B2 (en) Event image curation
Zerr et al. Privacy-aware image classification and search
US9727565B2 (en) Photo and video search
US20150032535A1 (en) System and method for content based social recommendations and monetization thereof
US10460171B2 (en) Systems and methods for processing media content that depict objects
EP2835748A1 (en) Systems and methods for image classification by correlating contextual cues with images
CN107809370B (zh) 用户推荐方法及装置
US20180060354A1 (en) Systems and methods for processing media content that depict objects
Demarty et al. Predicting interestingness of visual content
US10769199B2 (en) Systems and methods for processing media content that depict objects
Xiang et al. Demographic attribute inference from social multimedia behaviors: a cross-OSN approach
de Andrade et al. Photo annotation: a survey
Lonn et al. Smartphone picture organization: A hierarchical approach
Dao et al. Jointly exploiting visual and non-visual information for event-related social media retrieval
Fang et al. Paint the city colorfully: Location visualization from multiple themes
Galopoulos et al. Development of content-aware social graphs
US20180063227A1 (en) Systems and methods for processing media content that depict objects
Fiallos How to use Instagram to Travel the World? An Approach to Discovering Relevant Insights from Tourist Media Content.
Zerr et al. I Know What You Did Last Summer!: Privacy-Aware Image Classification and Search
REDDY et al. QUALITY OF THE LOCATION AND PERSONALITY OF USERS IN SOCIAL MEDIA SITES
AYESHA et al. Automated Privacy Policy Settings for User Uploaded Images by using A3P on Content Sharing Sites
Blamey Lifelogging with SAESNEG: a system for the automated extraction of social network event groups
REDDY et al. Privacy Policy Inference of User-Uploaded Images on Content Sharing Sites
VANAJA et al. Secure Policy Inference of User-Uploaded Images on Social Networking Websites

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan platform Co.

Address before: California, USA

Patentee before: Facebook, Inc.

CP01 Change in the name or title of a patent holder