CN113850393A - 基于图学习的特征工程的系统和方法 - Google Patents

Abstract

公开了基于图学习的特征工程的系统和方法。在一个实施例中，计算系统可以接收与机器学习模型相关联的查询信息。该系统可以访问定义在多个机器学习模型和机器学习模型的多个特征之间的关系的知识图。该系统可以基于知识图和查询信息来确定指示机器学习模型和知识图中的特征的一个或更多个特征之间的相关性的一个或更多个相关性度量。该系统可以基于一个或更多个相关性度量和一个或更多个特征来确定机器学习模型的一个或更多个推荐特征。

Description

基于图学习的特征工程的系统和方法

技术领域

本公开大体上涉及机器学习模型，尤其涉及基于图学习的特征工程。

背景

可以包括社交网络网站或移动应用的社交网络系统可以使它的用户(例如个人或组织)能够与它交互以及通过它彼此交互。社交网络系统可以利用来自用户的输入来在社交网络系统中创建并存储与用户相关联的用户简档(user profile)。用户简档可以包括用户的人口统计信息、通信渠道信息以及关于个人兴趣的信息。社交网络系统还可以用来自用户的输入创建并存储用户与社交网络系统的其他用户的关系的记录，以及提供服务(例如，发帖墙(wall post)、照片分享、事件组织、消息传递、游戏或广告)以便于在用户之间或当中的社会互动。

社交网络系统可以通过一个或更多个网络向用户的移动设备或其他计算设备发送与它的服务相关的内容或消息。用户还可以在用户的移动设备或其他计算设备上安装软件应用，用于访问用户的用户简档和在社交网络系统内的其他数据。社交网络系统可以生成一组个性化的内容对象以显示给用户，例如关连(connect)到该用户的其他用户的汇集的动态(story)的动态消息(newsfeed)。

特定实施例的概述

本文描述的特定实施例涉及使用知识图和图学习来为机器学习(ML)模型推荐特征的系统和方法。该系统可以从另一计算系统或从用户输入接收多个ML模型，这些模型具有基于相关的域知识确定的关联特征。该系统可以生成知识图来表示这些ML模型和这些特征之间的关系，这些关系是基于相关的域知识或基于通过图学习推断的相关性来确定的。知识图可以包括多个节点和连接这些节点的多条边。每个节点可以代表一个ML模型或特征。每条边可以表示由该边连接的两个节点之间的关系，并且可以与用于表征所表示的关系的权重相关联。ML模型和特征可以与用于表征相应ML模型或特征的相应标签相关联。该系统可以使用图神经网络、基于机器学习的智能逻辑或基于规则的智能逻辑来基于知识图学习关于这些模型和特征的新知识(例如，关系、相似性、重要性、关联性、相关性)。例如，知识图中的特征可以与描述特征组、特征层、特征储存器(store)或相关问题域的特征属性相关联。可以基于相关联的特征属性来标记特征。该系统可以在由N个特征标签定义的N维空间中将特征聚类成多个特征类别。然后，系统可以基于N维空间中的聚类结果来确定这些特征之间的相似性和关联性。重复的特征可以合并在一起。作为另一个示例，系统可以基于这两个模型共享的特征来确定这两个模型之间的关联性。作为示例，系统可以基于特征与相同或相似问题域中的另一模型的关系来确定特征与特定问题域的模型的关联性。

系统可以基于通过图学习学习的新知识来动态更新知识图。系统可以添加新的边来表示关联节点之间新发现的关系。在针对特定ML模型的特征工程过程期间，系统可以接收与该特定ML模型相关联的查询信息，并且可以使用知识图来生成针对该特定ML模型的特征推荐。推荐的特征可以基于它们与该特定ML模型的关联性来确定，该关联性是通过图学习从知识图中推断出的。为了改进知识图中的ML模型，系统可以使用新学习的知识来为该模型推荐新的特征，以提高该ML模型的有效性和精度。该系统还可以将反映相应模型推理(例如，曝光率、预测精度)在各自应用中的重要性或有效性的推理值度量作为输入。推理值度量可用于确定或更新知识图中边的权重。新的或现有的ML模型的推荐特征可以基于相应的推理值度量来评估。结果，该系统可以使用知识图和图学习为自动化特征工程提供有效的解决方案。

本文公开的实施例仅仅是示例，并且本公开的范围不限于它们。特定实施例可以包括上面公开的实施例的部件、元件、特征、功能、操作或步骤中的全部、一些或没有一个被包括。根据本发明的实施例在涉及方法、存储介质、系统和计算机程序产品的所附权利要求中被具体公开，其中，在一个权利要求类别(例如，方法)中提到的任何特征也可以在另一个权利要求类别(例如，系统)中被要求保护。在所附权利要求中的从属性或往回引用仅为了形式原因而被选择。然而，也可以要求保护由对任何前面的权利要求的有意往回引用(特别是多项引用)而产生的任何主题，使得权利要求及其特征的任何组合被公开并且可被要求保护，而不考虑在所附权利要求中选择的从属性。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。

附图简述

图1示出了用于训练机器学习模型并将机器学习模型应用于应用的示例过程。

图2示出了特征知识图系统的示例框架。

图3A示出了示例知识图。

图3B示出了用于生成新节点并将新节点集成到知识图的示例过程。

图3C示出了基于与知识图中的特征相关联的对应标签来聚类这些特征的示例过程。

图3D示出了包括具有共享特征的两个模型的示例知识图。

图3E示出了用于为相关模型推荐特征的示例知识图。

图3F示出了包括嵌入子图的示例知识图。

图3G示出了用于推荐ML模型的特征的示例知识图。

图4示出了将迁移学习(transfer learning)用于特征工程的示例过程。

图5示出了使用知识图为机器学习模型推荐特征的示例方法。

图6示出了与社交网络系统相关联的示例网络环境。

图7示出了示例社交图。

图8示出了示例计算机系统。

示例实施例的描述

图1示出了用于训练机器学习模型并将机器学习模型应用于应用的示例过程100。机器学习(ML)模型可能需要大量的特征来进行有效的训练和应用于应用。这些特征可能在ML模型的训练效率和模型准确度中起到关键作用。特征工程102可以是使用域知识或数据驱动技术来提取和创建ML模型的特征的过程。例如，特征工程可以由人类专家基于与ML模型相关联的域知识来执行，以确定ML模型的特征。作为另一个示例，系统可以使用数据驱动技术(例如，特征提取算法)从相关问题域收集的数据101中提取或生成ML模型的特征。可以在建模和训练过程103中使用所确定的特征来基于这些特征创建ML模型和/或训练ML模型。然后，可以在评估过程104中评估所确定的特征和相应的ML模型。此后，在推理阶段105，所确定的特征和相应的ML模型可以应用于应用。

特征工程是为特定问题域的机器学习(ML)模型生成特征的过程，这些特征将在ML模型的训练和推理过程中使用。现有的特征工程技术复杂且效率低下，原因有几个。首先，特征通常与特定的问题域相关联，并且不能在不同的问题域中容易地重复使用。第二，虽然推理结果可以用于生成和更新特征，但是没有有效的机制来评估特征的有效性并确定它们与特定模型的关联性。第三，当ML模型变得更加复杂(例如，多塔模型、多任务模型、多阶段模型)时，没有用于自动发现不同问题域、不同塔或不同任务的模型和特征之间的特征知识(例如，关系、关联性和重要性)的有效机制。第四，特征可以通过不同的特征组和特征层来组织，并且没有有效的机制来发现不同组或层的特征之间的关系。此外，对于某些问题域，可能需要处理大量数据来确定这些问题域中ML模型的特征。因此，在许多ML用例中，对于数据科学家和ML工程师来说，在特征工程过程中为ML模型确定合适的特征可能是非常耗时和费力的。

为了解决这些问题，系统的特定实施例可以使用知识图来自动确定ML模型的特征。该系统可以生成知识图来表示多个ML模型和与这些ML模型相关联的多个特征之间的关系。该系统可以使用图神经网络或基于规则的智能逻辑来基于知识图学习关于这些模型和特征的新知识(例如，关系、相似性、重要性、关联性、相关性)。该系统可以基于通过图学习学习的新知识来动态更新知识图。在特征工程过程中，系统可以接收与特定ML模型相关联的查询信息，并且可以使用知识图来确定该特定ML模型的特征。该系统可以为ML模型推荐新的特征，以提高该ML模型的有效性和精度。该系统可以接收反映相应模型推理在各自应用中的重要性或有效性的推理值度量，并使用推理值度量来确定知识图中的边的权重。结果，该系统可以使用知识图和图学习为自动化特征工程提供有效的解决方案。

通过将知识图用于特征工程，系统的特定实施例可以允许特征工程过程更加有效和高效。通过使用基于知识图的图学习，系统的特定实施例可以发现ML模型和特征之间的对人类专家不明显的隐藏相关性。例如，使用图结构，不同问题域、不同特征组或层中的特征可以用有意义的关系来链接。通过使用知识图，系统的特定实施例可以允许海量特征库的已知特征在不同的ML模型中被重复使用，并且允许将现有模型的知识用于新的知识域。通过使用特征知识图系统，系统的特定实施例可以以细粒度的方式直接应用与推理特征的有效性相关的信息，以提高ML模型的训练有效性。

图2示出了特征知识图系统的示例框架200。在特定实施例中，特征知识图系统210可以包括多个模块或子系统，这些模块或子系统包括例如但不限于模型标签模块211、特征标签模块212、智能逻辑模块213、推理值模块214、特征属性模块215、图引擎216、用于数据输入和输出的一个或更多个接口模块等。特征知识图系统210可以接收具有相关数据和特征201的多个ML模型202，以生成知识图。在特定实施例中，特征知识图系统210可以使用一个或更多个接口模块的API从其他计算系统或者从用户输入接收具有相关数据和特征201的ML模型202。接收的ML模型和特征可以存储在图引擎216中。图引擎216可以基于这些ML模型和特征生成知识图。特征知识图系统210可以为知识图中的每个ML模型生成一个或更多个模型标签，并且可以将模型标签存储在模型标签模块211中。特征知识图系统210可以为知识图中的每个特征生成一个或更多个特征标签，并且可以将特征标签存储在特征标签模块212中。特征知识图系统210可以使用存储在模型标签模块211中的模型标签来访问存储在图引擎216中的知识图中的相应模型。特征知识图系统210可以使用存储在特征标签模块212中的特征标签来访问存储在图引擎216中的知识图中的相应特征。

在特定实施例中，特征知识图系统210可以使用智能逻辑模块213通过基于知识图的图学习来学习新知识。在特定实施例中，智能逻辑213可以包括一个或更多个基于规则的算法、统计算法或ML模型(例如，卷积神经网络、图神经网络)。智能逻辑模块213可以识别新的关系，并发现知识图中的特征和ML模型之间的隐藏关系。由智能逻辑模块213学习的新知识(例如，新关系)可以被发送回图引擎216以更新知识图。特征知识图系统210可以提取每个特征的一个或更多个特征属性(例如，特征组、特征层、特征储存器、特征问题域等)并将提取的特征属性存储在特征属性模块215中。特征属性可以允许在图中容易地标记特征，并且允许在知识图中捕获机器学习过程中的所有相关信息。值得注意的是，这里描述的存储在特征属性模块215中的特征属性可以用于帮助在知识图中建立关系。特征本身可能具有许多内在属性，例如数据来源、创建日期、存储位置等。这些内在属性可能是特征本身的一部分，而不是这里描述的特征属性。在特定实施例中，特征知识图系统210可以提取一个或更多个模型属性，用于捕获与训练和模型相关的信息。模型属性可以捕获与训练效率或其他模型度量相关的信息，包括例如但不限于精度(例如，平均精度分数(APS))、召回率(recall)、接收器操作特性(ROC)、曲线下面积(AUC)、逻辑损失函数(LLF)等。训练效率和模型度量都可以用来选择更好的特征和调整建模。

在特定实施例中，特征知识图系统210可以接收具有相关特征的特定ML模型的推理值，并将接收到的推理值存储在推理值模块214中。例如，特征知识图系统210可以使用知识图来确定广告推荐模型的一个或更多个特征，并将具有这些特征的广告推荐模型部署到应用204。应用204可以测量和跟踪广告推荐模型的推理值(例如，点击率、曝光率、转化率、每印象收入、每印象转化率)，并将推理值发送回特征知识图系统210。特征知识图系统210可以使用这些推理值来确定或更新知识图中的权重值。特征知识图系统210可以通过一个或更多个API或用户输入/输出模块来提供推理服务203。特征知识图系统210可以接收与特定ML模型(例如，新ML模型或知识图中的现有ML模型)相关的用户查询。特征知识图系统210可以使用图学习来学习关于被查询的特定ML模型的新知识(例如，发现特征-模型对、特征-特征对或模型-模型对的新的或隐藏的关系)。特征知识图系统210可以基于新学习的知识或新发现的关系来为ML模型生成推荐特征。推荐特征可以基于知识图中其他预先存在的模型的特征来生成。

在特定实施例中，本公开中描述的知识图可以是包含知识和信息以表示(例如，由节点表示的)各个实体之间的交互(例如，由边表示的交互)的数据结构。在特定实施例中，知识图可以应用于推荐系统、生物蛋白质网络、社交网络等。在特定实施例中，包括结构化知识或数据的图可以与机器学习一起用于特征工程过程中的特征信息处理和特征服务。在特定实施例中，图学习可以自然地将跨各种实体的知识信息转换成用于适当问题的ML模型，以便于推理解决方案。在特定实施例中，图神经网络(GNN)可以用图嵌入和卷积来扩展卷积神经网络(CNN)，以解决非欧几里德域问题。在本公开中，“特征知识图”可以被称为“知识图”，并且可以包括与存储在图中的多个ML模型和多个相关特征相关的知识信息(例如，关系信息)。

图3A示出了示例知识图300A。在特定实施例中，知识图可以包括多个节点和连接这些节点的多条边。知识图的每个节点可以对应于知识图中的ML模型或特征。知识图中的每个特征可以基于相关的域知识或基于知识图确定的推理关系而与一个或更多个ML模型相关联。每条边可以连接知识图中的两个相关节点，并且可以与用于表征两个相关节点之间的关系的权重相关联。作为示例而非限制，知识图300A可以包括对应于用于广告推荐的第一ML模型310(即，广告模型)和用于事件推荐的第二ML模型330(即，事件模型)的两个模型节点。广告模型310可以与多个特征节点相关联，包括例如购物历史311、搜索历史312、兴趣313、产品项目314、职业315、日期331、位置334等。事件模型330可以与多个特征节点相关联，包括例如日期331、天气332、隶属关系(affiliation)333、位置334等。广告模型310和事件模型330可以共享包括日期331和位置334的两个特征。模型节点和与模型节点相关联的相应特征节点可以通过指示相应模型-特征对的关系的相应边来连接。每条边可以与指示被连接的节点的关联性级别或重要性级别的权重相关联。

在特定实施例中，特征知识图系统可以(例如，使用API从另一计算系统或从用户输入)接收多个ML模型和相应的特征，并生成知识图。在特定实施例中，系统可以并行处理ML模型和特征以生成知识图。系统可以为每个ML模型和每个特征生成节点，并基于从相应的域知识确定的关系生成多条边来连接这些节点。该系统可以使用智能逻辑或机器学习模型来识别对应于模型-特征对、特征-特征对或模型-模型对的节点对之间的新关系。系统可以通过基于所识别的关系生成新的边而在知识图中表示这些关系，来更新知识图。每条边可以与用于表征所表示的关系的关联性级别或重要性级别的一个或更多个权重相关联。系统可以基于从其他系统或用户输入接收的后续ML模型和特征来更新知识图。系统可以基于从后续用户输入接收的域知识来更新知识图。在特定实施例中，知识图中的每个模型和每个特征可以具有不同的修改。

图3B示出了用于生成新节点并将其集成到知识图的示例过程300B。在特定实施例中，当特征知识图系统接收到具有(例如，基于域知识确定的)初始特征的新ML模型时，特征知识图系统可以生成对应于新ML模型的新节点。特征知识图系统可以生成对应于新ML模型的每个初始特征的新节点。特征知识图系统可以生成连接对应于ML模型的新节点和对应于初始特征的新节点的一条或更多条新边。可以基于与ML模型相关联的域知识来确定新边。在特定实施例中，特征知识图系统可以确定对应于新ML模型和初始特征的新节点与知识图中的其他节点之间的新相关性或关系。系统可以生成新的边来表示这些新的相关性或关系。特征知识图系统可以基于这些新的相关性将这些新的节点和新的边集成到知识图中。

作为示例而非限制，特征知识图系统可以接收用于朋友推荐的ML模型(即，朋友模型)，其与基于相关的域知识确定的多个初始特征(例如，兴趣、产品项目、职业、兴趣组、隶属关系、位置)相关联。系统可以通过API从另一个计算系统或从用户输入接收新模型和初始特征。在特定实施例中，系统可以为接收的朋友模型320生成新的模型节点，并为知识图中不存在的每个初始特征(例如，兴趣组321)生成新的特征节点。然后，系统可以生成新的边，以将朋友模型320的新节点连接到每个新的特征节点(例如，兴趣组321)。由于一些初始特征(例如，兴趣313、产品项目314、职业315、隶属关系333、位置334)已经在知识图300B中，所以系统可以不需要为这些初始特征生成新的节点。替代地，系统可以将朋友模型320的新节点直接连接到相应的现有节点(例如，兴趣313、产品项目314、职业315、隶属关系333、位置334)。在特定实施例中，系统可以为新朋友模型320生成新节点，并为每个初始特征生成新节点。系统可以在聚类和合并过程中将一些初始特征合并到现有特征中。在特定实施例中，系统可以使用机器学习算法来简化构建知识图的逻辑。值得注意的是，本公开中图3A-3G中的模型和特征用于解释本公开中描述的系统、方法、原理和过程。本公开中描述的系统、方法、原理和过程可以采用隐私感知过程(例如，隐私感知机器学习)来保护用户的隐私信息。在任何步骤中，系统只能使用公共域中的信息或用户(例如，通过“访问设置”)已批准的信息。

在特定实施例中，特征知识图系统可以基于通过图学习、随后从其他计算系统接收或随后从用户输入接收到的新知识(例如，关系)来动态更新知识图。作为示例而非限制，系统可以通过图学习来识别一个或更多个新的相关性，并且可以生成一条或更多条新的边来表示新的相关性。作为另一个示例，系统可以从后续用户输入或从另一个计算系统接收新的域知识，并且可以基于新的域知识生成新边。作为另一个示例，系统可以将表示相同或相似特征的两个或更多个特征节点合并到一个节点中，并相应地更新知识图。作为另一个示例，系统可以基于从用户输入或从相应模型和特征被部署到的应用接收的推理值来调整边的权重。

在特定实施例中，知识图中的边可以与用于表征所表示的关系的一个或更多个性质相关联。例如，系统可以确定并分配权重给每条边，以指示由该边连接的两个节点的关联级别。作为另一个示例，系统可以确定一个或更多个性质并将其分配给边，以指示对应于由该边连接的节点的两个模型之间或者两个特征之间的相似性水平。两个模型之间的相似性水平可以基于例如模型类型、共享特征、共享问题域、通过图学习发现的关系、知识图中的位置和距离、指示相似性的用户输入等来确定。两个特征之间的相似性水平可以基于特征类别、特征聚类结果(例如，基于对应于N个标签的N维空间中的特征标签)、标签、关联模型、由N个标签定义的N维空间中的位置和距离、知识图中的位置和距离等来确定。在特定实施例中，知识图中两个节点之间的距离可以基于这两个节点之间的边的数量和与这些边相关联的相应权重来确定。知识图中两个节点之间的距离可以指示两个节点之间的关联性级别或相关性级别。

图3C示出了用于基于与知识图中的特征相关联的对应标签来聚类这些特征的示例过程300C。在特定实施例中，特征知识图系统可以基于与这些特征和模型相关联的标签来聚类知识图中的特征和模型。在特定实施例中，系统可以确定一个或更多个特征标签并将其分配给知识图中的每个特征。特征的特征标签可以基于该特征的一个或更多个性质或属性来确定。特征标签可以表示特征库中相关特征(包括动态生成的在线特征和作为静态数据集的离线特征)的性质或属性。在特定实施例中，系统可以确定一个或更多个模型标签并将其分配给知识图中的每个模型。模型的模型标签可以基于该模型的一个或更多个性质或属性来确定。模型标签可以呈现相关模型的性质或属性。

在特定实施例中，系统可以基于与图上的特征相关联的N个标签来定义N维空间。该系统可以使用(例如，用有监督的或无监督的训练过程来训练的)机器学习模型或聚类算法来将特征聚类到N维空间中的多个特征类别中。例如，系统可以确定特征在N维空间中的位置，并将N维空间中彼此接近(例如，在阈值距离内)的特征聚类成相同的特征类别。作为另一个示例，系统可以将共享一个或更多个特征标签的特征聚类到同一特征类别中。作为另一个示例，系统可以将与许多同类型模型相关联(例如，大于阈值)的特征聚类到同一特征类别中。在特定实施例中，系统可以基于一个或更多个共享标签将特征聚类到相应的特征类别。如图3C所示，购物历史311和搜索历史312的特征都可以具有特征标签“#行为”，并且可以被聚类到行为类别341中。特征兴趣313、产品项目314、职业315、兴趣组321、隶属关系333和位置334都可以具有特征标签“#人”并且可以被聚类到人信息342的特征类别中。特征日期311、天气332、隶属关系333和位置334都可以具有标签“#事件”，并且可以被聚类到事件343的特征类别中。

在特定实施例中，知识图可以包括大量特征，其中一些特征可能是冗余的。在特定实施例中，系统可以(例如，使用随机游走(random walk)或深度游走(deep walk))访问知识图中的特征，将特征聚类成多个特征类别或特征组，并且合并相似特征或相似特征组以减少特征数量并简化知识图。例如，图3C中的兴趣特征313可以输入到具有广告模型310和朋友模型320的系统中，并且可以被合并到一个特征节点，以减少冗余并简化知识图。作为另一个示例，与橄榄球事件相关的特征组可以被识别为类似于与足球事件相关的特征组，并且可以被合并到与体育事件相关的单个特征组中。

在特定实施例中，系统可以基于与模型相关联的N个标签来定义N维空间。系统可以使用(例如，用有监督的或无监督的训练过程来训练的)机器学习模型或聚类算法来将模型聚类到N维空间中的多个模型类别或模型组中。该系统可以确定模型在N维空间中的位置，并将N维空间中彼此接近(例如，在阈值距离内)的模型聚类成同一个模型类别或模型组。在特定实施例中，系统可以基于共享标签对模型进行聚类。例如，系统可以将共享一个或更多个模型标签的模型聚类到同一模型类别或组中。作为另一个示例，系统可以将共享许多特征(例如，大于阈值)的模型聚类到同一模型类别或模型组中。作为另一个示例，系统可以将同一问题域中的模型聚类到同一模型类别或模型组中。

在特定实施例中，知识图可以包括大量模型，其中一些可能是冗余的。在特定实施例中，系统可以(例如，使用随机游走或深度游走)访问知识图中的模型，将模型聚类到多个模型类别或模型组中，并且合并相似模型或相似模型组以减少模型数量并简化知识图。作为示例，系统可以接收与广告模型310非常相似的另一个广告模型(未示出)。代替为新的广告模型生成新的节点，系统可以将新的广告模型合并到现有的广告模型310，以减少冗余并简化知识图。作为另一个示例，系统可以识别与广告推荐相关的多个模型组，并且可以将这些模型组合并成用于广告推荐的单个模型组或者单个模型，以减少冗余并简化知识图。

在特定实施例中，特征知识图系统可以基于通过图学习学习的新知识来确定对应于模型-模型对、特征-特征对或模型-特征对的两个节点之间的新关系。在特定实施例中，系统可以使用图学习来基于图关系和用于确定关系的一个或更多个规则(如稍后所述)来确定新的关系。在特定实施例中，系统可以使用机器学习模型(例如，卷积神经网络、图神经网络)来识别节点之间的隐藏关系。系统可以通过生成一条或更多条新边以表示知识图中的新关系来更新知识图。当查询特定的ML模型时，系统可以基于新的关系和通过图学习获得的新知识为该特定的ML模型推荐新的特征。

图3D示出了包括具有共享特征的两个模型的示例知识图300D。在特定实施例中，特征知识图系统可以基于第一ML模型和第二ML模型共享的一个或更多个特征来识别第一ML模型和第二ML模型之间的相关性。作为示例而非限制，知识图300D可以包括第一模型371和第二模型372。第一模型371可以与基于与第一模型371相关联的域知识确定的多个特征相关联，这些特征包括特征373、374、375和376。第二模型372可以与基于与第二模型372相关联的域知识所确定的多个特征相关联，这些特征包括特征375、376、377和378。系统可以基于第一模型371和第二模型372共享特征375和376的确定来识别第一模型371和第二模型372之间的相关性或关系。系统可以生成新的边379A来连接第一模型371和第二模型372，以表示这两个模型之间的相关性或关系。在特定实施例中，系统可以确定指示第一模型371和第二模型372之间的相关性级别的相关性度量，并将该相关性度量分配给新边379A。作为示例而非限制，相关性度量可以基于一个或更多个因素来确定，这些因素包括，例如但不限于，由两个模型共享的特征的数量或特征的百分比、与共享特征相关联的边(例如，379B、379C、379D、379E)的对应权重(指示相关特征的重要性级别)、在N维标签空间中的其他非共享特征的距离、在N维标签空间中的两个模型的距离等。

图3E示出了用于为相关模型推荐特征的示例知识图300E。在特定实施例中，特征知识图系统可以基于与第二ML模型相关联的特征向第一ML模型推荐特征，第二ML模型与第一ML模型相关联。作为示例而非限制，系统可以确定模型371和模型372具有由边379A和相关权重或相关性度量表征的关系。在特定实施例中，模型371和模型372之间的关系可以基于共享特征(例如，375和376)和具有权重的相关边来确定。在特定实施例中，模型371和模型372之间的关系可以基于两个模型与相同的问题域、应用、标签等相关联的确定来确定。系统可以相对于模型372确定与特征373和374相关联的相关性度量，并将相关性度量与一个或更多个预定标准进行比较。响应于相关性度量满足一个或更多个预定标准的确定，系统可以为模型372推荐特征373和374。系统可以生成对应的边来表示这些关系。类似地，系统可以相对于模型371确定与特征377和378相关联的相关性度量，并将相关性度量与一个或更多个预定标准进行比较。响应于相关性度量满足一个或更多个预定标准的确定，系统可以为模型371推荐特征377和378。系统可以生成新的边来表示这种关系。在特定实施例中，相关性度量可以基于一个或更多个因素来确定，因素包括例如但不限于，对应边的权重、在N维标签空间中的距离、在图中的距离等。

图3F示出了包括嵌入子图的示例知识图300F。在特定实施例中，知识图可以包括对应于不同子问题域中的不同特征层或知识图的多个嵌入子图。在特定实施例中，特征知识图系统可以将数据和特征划分为不同的层，例如但不限于基础数据层(预处理原始数据)、通用特征层、域特征层、应用特征层等。在特定实施例中，系统可以包括特征共享机制(例如，特征储存器)，该机制允许特定层的特征在其他层中被重复使用，并且允许特定问题域的特征在其他问题域中被重复使用。在特定实施例中，系统可以基于不同层的特征向查询的ML模型推荐特征。作为示例而非限制，知识图300F可以包括模型381和多个相关联的特征(例如，382、383和386)。特征386可以与两个特征384和385相关联，这两个特征相对于特征386位于较低特征层。系统可以确定特征384和385中的每一个相对于模型381的相关性度量，并将所确定的相关性度量与一个或更多个预定标准进行比较。响应于确定相关性度量满足一个或更多个预定标准，系统可以生成将特征384和385连接到模型381的新边来表示这些关系。作为另一个示例而非限制，模型节点381可以包括对应于各个子域中的多个模型的子图(未示出)。对于子域中的特定模型，系统可以确定特征382和383相对于该特定子域模型的相关性度量，并将相关性度量与一个或更多个预定标准进行比较。响应于相关性度量满足预定标准的确定，系统可以将特征382和383与该特定子域模型(未示出)相关联。

图3G示出了用于为ML模型推荐特征的示例知识图300G。作为示例而非限制，系统可以基于广告模型310和朋友模型320共享相同特征313、314和315的事实来确定它们彼此相关。系统可以生成新边351来表示广告模型310和朋友模型320之间的关系。新边351可以与表征所表示的关系的一个或更多个权重相关联。系统可以确定特征321相对于模型310的相关性度量，并将所确定的相关性度量与一个或更多个预定标准(例如，预定阈值)进行比较。响应于相关性度量满足一个或更多个预定标准的确定，系统可以为模型310推荐特征321。系统可以生成新边352来表示特征321和模型310之间的关系，并且向新边352分配包括相应的相关性度量的一个或更多个权重。

作为示例而非限制，系统可以基于广告模型310和朋友模型320共享相同特征313、314和315的事实来确定它们彼此相关。系统可以生成新边351来表示广告模型310和朋友模型320之间的关系。新边351可以与表征所表示的关系的一个或更多个权重相关联。购物历史特征311可以与广告模型310相关联，并且可以具有包括较低特征层的多个特征(例如，在线活动361、离线活动362)的子图。该系统可以确定特征311相对于模型320的相关性度量，并将所确定的相关性度量与一个或更多个预定标准进行比较。响应于相关性度量满足一个或更多个预定标准的确定，系统可以为模型320推荐特征311。系统可以生成新边354来表示特征311和模型320之间的关系，并且向新边354分配包括相应的相关性度量的一个或更多个权重。然后，系统可以确定特征361(其是311的子层特征)相对于模型320的相关性度量，并将所确定的相关性度量与一个或更多个预定标准进行比较。响应于相关性度量满足一个或更多个预定标准的确定，系统可以为模型320推荐特征361。系统可以生成新边353来表示特征361和模型320之间的关系，并且向新边353分配包括相应的相关性度量的一个或更多个权重。系统可以确定特征362(其是311的子层特征)相对于模型320的相关性度量，并将所确定的相关性度量与一个或更多个预定标准进行比较。响应于相关性度量不满足一个或更多个预定标准的确定，系统可以不为模型320推荐特征362。

在特定实施例中，特征知识图系统可以基于特征和ML模型之间的相关性度量来确定是否为ML模型推荐该特征。相关性度量可以指示相关特征和模型之间的相关性水平或关联性水平。在特定实施例中，系统可以基于直接的图关系(例如，具有共享特征的模型、相同或相似问题域的模型、相同类别或组的特征、相同层的特征、相同子图的特征等)来确定相关性度量。在特定实施例中，系统可以基于对应于特征-特征对、特征-模型对或模型-模型对的两个节点之间的间接关系来确定相关性度量。知识图中没有明显图关系的一些节点可能仍然具有隐藏的关系，并且可能间接相关。系统可以通过图学习发现这些隐藏的或间接的关系。例如，系统可以计算在N维标签空间中的第一节点和第二节点之间的距离，并且基于该N维标签空间中的距离来确定相应的相关性度量。作为另一个示例，系统可以基于知识图中第一节点和第二节点之间的边的数量和这些边的权重来计算这些节点之间的距离。系统可以基于知识图中这两个节点的距离来确定相应的相关性度量。作为另一个示例，系统可以确定(对应于特征或模型的)第一节点和(对应于特征或模型的)第二节点的特征化向量。特征化向量可以包括许多表征元素(例如，标签、性质、属性)。系统可以基于两个特征化向量来确定这两个节点的相关性度量。在特定实施例中，系统可以使用图神经网络来识别这些间接或隐藏的关系。

在特定实施例中，知识图可以包括大量ML模型和大量特征。模型可以是复杂的模型，例如多层模型、多塔模型、多任务模型、多阶段模型等。模型和特征之间的关系可能变得非常复杂，并且可能隐藏在知识图中的许多层数据和信息之后。在特定实施例中，特征知识图系统可以使用机器学习模型(例如，图神经网络或卷积神经网络)来识别知识图中的隐藏相关性并确定相应的相关性度量。在特定实施例中，图神经网络(GNN)可以使用生成的训练样本(例如，具有由人类专家预先标记的相关性)来训练，以识别知识图中隐藏的相关性或关系。在训练过程中，可以使用整个知识图来生成训练样本。系统可以使用深度游走或随机游走过程来访问图中的节点。每个节点在图上可能有许多路径。这些路径可以用作图的采样，以表示图的采样结构信息。每个路径可以具有用于相邻区域的滑动窗口。滑动窗口内的节点可以被标记为彼此相似。彼此远离的节点可以被标记为彼此不同。该系统可以生成正样本和负样本，并将这些样本馈送到GNN，以训练GNN识别关系。在运行时，系统可以将特征和模型信息(例如，特征标签、模型标签、节点、边、权重、属性)馈送到GNN，GNN可以识别知识图中的隐藏关系并确定相应的相关性度量。识别出的关系可用作ML模型特征工程的基础。

在特定实施例中，用户可以查询特征知识图系统，以提供为ML模型推荐特征的推理服务。该系统可以接收与特定ML模型相关联的查询信息(例如，来自用户输入或API输入)。该系统可以访问定义多个ML模型和与这些ML模型相关联的多个特征之间的关系的知识图。该系统可以基于知识图和查询信息来确定指示特定ML模型和知识图中的一个或更多个特征之间的相关性的一个或更多个相关性度量。该系统可以基于一个或更多个相关性度量和一个或更多个特征来确定机器学习模型的一个或更多个推荐特征。在特定实施例中，被查询的ML模型可以具有一个或更多个初始特征。除了初始特征之外，推荐的特征可能是添加到ML模型的其他特征。在特定实施例中，一个或更多个初始特征可以从ML模型中移除和/或由相应的新推荐特征代替。

在特定实施例中，查询信息与不包括在知识图中的新ML模型相关。在特定实施例中，系统可以识别知识图中与新ML模型相似的现有模型，并基于知识图中的现有模型为新ML模型推荐特征。类似于新ML模型的现有模型可以基于例如但不限于共享问题域、共享应用、一个或更多个共享特征、在N维标签空间中的距离、共享输入/输出模式、共享数学原理等来识别。在特定实施例中，系统可以将新的ML模型导入并集成到知识图中。系统可以为新的ML模型及其每个初始特征生成新的节点，并将这些新的节点集成到知识图中。然后，系统可以使用图学习来识别知识图中新的ML模型和其他特征/模型之间的新的相关性或关系。系统可以通过基于新的关系生成和集成新的边来更新知识图。系统可以确定知识图中的一个或更多个特征相对于新ML模型的相关性度量，并将这些相关性度量与一个或更多个预定标准进行比较。响应于确定这些相关性度量满足预定标准，系统可以为新的ML模型推荐该一个或更多个特征。

在特定实施例中，特征知识图系统可以接收指示模型推理在应用中的重要性或有效性的推理值。系统可以基于推理值来评估特征和模型。在特定实施例中，推理值可以包括模型预先形成信息，模型预先形成信息包括例如但不限于推理结果、曝光率、点击率、转化率、预测精度等。作为示例而非限制，系统可以使用基于知识图的图学习而为ML模型推荐一个或更多个特征。具有这些推荐特征的ML模型可以被部署到用于向社交网络平台的用户推荐广告的应用中。该应用可以跟踪推荐的广告的多个性能参数(例如，点击率、曝光率、转化率、预测精度、每印象收入、每印象转化率)，并确定指示具有这些特征的ML模型的性能水平的相应推理值。然后，应用可以将这些推理值发送到特征知识图系统，特征知识图系统在接收到推理值之后，可以基于接收到的推理值来评估具有这些特征的模型。此后，特征知识图系统可以基于推理值度量和模型/特征评估结果来调整知识图的对应边的一个或更多个权重。例如，当ML模型提供与高的转化率或点击率相关联的高预测精度(例如，高于预定阈值)时，系统可以使表示这些特征和对应ML模型之间的关系的对应边具有更大的权重值，该更大的权重值指示较高的关联性或重要性水平。另外，当具有这些特征的ML模型提供与低转化率或低点击率相关联的低预测精度(例如，低于预定阈值)时，系统可以使表示这些特征和ML模型之间的关系的对应边具有较小的权重值，较小的权重值指示较低的关联性或重要性水平。通过将推理值反馈给系统，并使用推理值来评估模型和特征并调整相应的权重，系统可以使知识图更有效地为未来的ML模型推荐高质量的特征。

图4示出了将迁移学习用于特征工程的示例过程400。在特定实施例中，特征知识图系统可以允许先前ML模型或先前ML模型的一些层基于迁移学习在相同、相似或不同问题域的不同应用中被重复使用。迁移学习可以是一种机器学习机制，通过在模型的某些层中应用新的域知识来重复使用现有的模型。在特定实施例中，系统可以使用迁移学习作为特征工程的一种方式。利用知识图，系统可以通过标记相关特征来允许ML模型的共享层变得更具描述性和更相关。系统可帮助基于特征和域知识确定迁移学习的层设计。在特定实施例中，系统可以允许迁移学习以使模型被扩展。例如，现有的英-汉翻译模型可以扩展到英-日翻译模型、德-汉翻译模型等。使用知识图，系统可以帮助选择不同层的特征集，以有效地应用于其他问题域。作为示例而非限制，ML模型410可以是用于将法语翻译成英语的具有许多层(例如，100层)的深度学习模型。可以查询该系统以用于向将法语翻译成德语的另一深度学习模型推荐特征。该系统可以使用知识图来确定应当被直接迁移到新模型的特征层(例如，中间层412)以及应当基于新的域知识来调整的特征层(例如，顶层411和底层413)。系统可以使用知识图来确定顶层411和底层413中包括的多少层和哪些特征集需要基于新的域知识(例如，将法语翻译成德语)来调整。该系统可以使用知识图来确定中间层412中包括的多少层和哪些特征集可以被直接重复使用来将法语翻译成德语。

图5示出了使用知识图为机器学习模型推荐特征的示例方法500。该方法可以在步骤510开始，其中计算系统可以接收与机器学习模型相关联的查询信息。在步骤520，系统可以访问定义多个机器学习模型和机器学习模型的多个特征之间的关系的知识图。在步骤530，系统可以基于知识图和查询信息来确定指示知识图中机器学习模型和多个特征中的一个或更多个特征之间的相关性的一个或更多个相关性度量。在步骤540，系统可以基于一个或更多个相关性度量和一个或更多个特征来确定机器学习模型的一个或更多个推荐特征。在特定实施例中，知识图可以包括多个节点和连接这些节点的多条边。这些节点可以对应于许多机器学习模型和这些机器学习模型的许多特征。在特定实施例中，每个特征可以基于相关的域知识或基于知识图确定的推断相关性而与一个或更多个机器学习模型相关联。在特定实施例中，知识图中的每条边可以连接知识图中的两个相关节点。每条边可以与用于表征两个相关节点之间关系的权重相关联。

在特定实施例中，系统可以为知识图生成对应于机器学习模型的第一新节点。系统可以为知识图生成对应于机器学习模型的一个或更多个初始特征的一个或更多个第二新节点。系统可以为知识图生成将第一新节点连接到一个或更多个第二新节点的一条或更多条新边。可以基于与机器学习模型相关联的域知识来确定一条或更多条新边。在特定实施例中，系统可以确定第一新节点和一个或更多个第二新节点相对于知识图中的节点的一个或更多个新相关性。系统可以基于一个或更多个新的相关性将第一新节点和一个或更多个第二新节点集成到知识图中。在特定实施例中，可以基于第一新节点和对应于一个或更多个特征的一个或更多个节点之间的一个或更多个图关系来确定一个或更多个相关性度量。在特定实施例中，可以基于第一新节点和对应于机器学习模型的一个或更多个机器学习模型的一个或更多个节点之间的一个或更多个图关系来确定一个或更多个相关性度量。一个或更多个特征可以与一个或更多个机器学习模型相关联。在特定实施例中，机器学习模型可以与知识图的一个或更多个机器学习模型共享一个或更多个特征。在特定实施例中，机器学习模型可以与知识图的一个或更多个机器学习模型共享问题域。

在特定实施例中，每个机器学习模型可以与用于表征该机器学习模型的一个或更多个标签相关联。机器学习模型可以与一个或更多个初始特征相关联。系统可以为接收的机器学习模型和接收的机器学习模型的每个初始特征确定一个或更多个新标签。在特定实施例中，系统可以将接收到的机器学习模型的一个或更多个初始特征和知识图中的特征聚类到由N个标签定义的N维空间中的多个特征类别中。在特定实施例中，系统可以基于相关联的特征类别合并一个或更多个初始特征和一个或更多个特征。在特定实施例中，一个或更多个推荐特征可以与特征类别相关联。特征类别可以与接收到的机器学习模型的初始特征相关联。在特定实施例中，一个或更多个相关性度量可以由图神经网络来确定。图神经网络可以识别知识图中的一个或更多个隐藏相关性。一个或更多个相关性度量可以基于由图神经网络识别的知识图中的一个或更多个隐藏相关性来确定。在特定实施例中，系统可以生成对应于由图神经网络识别的每个隐藏相关性的新边。系统可以基于生成的新边来更新知识图。在特定实施例中，系统可以接收与具有一个或更多个推荐特征的机器学习模型相关联的一个或更多个推理值度量。在特定实施例中，一个或更多个推理值度量可以包括具有一个或更多个推荐特征的机器学习模型的性能参数。系统可以基于接收到的一个或更多个推理值度量来评估机器学习模型的一个或更多个推荐特征。在特定实施例中，系统可以基于一个或更多个推理值度量来调整知识图的一个或更多个对应边的一个或更多个权重。

在适当的情况下，特定实施例可以重复图5的方法的一个或更多个步骤。尽管本公开将图5的方法的特定步骤描述和示出为以特定顺序发生，但是本公开设想图5的方法的任何合适的步骤以任何合适的顺序发生。此外，尽管本公开描述并示出了使用知识图来为机器学习模型推荐特征的示例方法，包括图5的方法的特定步骤，但是本公开设想了使用知识图来为机器学习模型推荐特征的包括任何适当步骤的任何适当方法，在适当的情况下，方法可以包括图5的方法的所有步骤、一些步骤或不包括这些步骤。此外，尽管本公开描述和示出了执行图5的方法的特定步骤的特定组件、设备或系统，但是本公开设想了执行图5的方法的任何合适步骤的任何合适的组件、设备或系统的任何合适的组合。

图6示出了与社交网络系统相关联的示例网络环境600。网络环境600包括通过网络610彼此连接的客户端系统630、社交网络系统660和第三方系统670。尽管图6示出了客户端系统630、社交网络系统660、第三方系统670和网络610的特定布置，但是本公开设想了客户端系统630、社交网络系统660、第三方系统670和网络610的任何合适的布置。作为示例而不是作为限制，客户端系统630、社交网络系统660和第三方系统670中的两个或更多个可以绕过网络610彼此直接连接。作为另一个示例，客户端系统630、社交网络系统660和第三方系统670中的两个或更多个可以全部或部分地在物理上或逻辑上彼此位于同一位置。此外，尽管图6示出了特定数量的客户端系统630、社交网络系统660、第三方系统670和网络610，但是本公开设想了任何合适数量的客户端系统630、社交网络系统660、第三方系统670和网络610。作为示例而不是作为限制，网络环境600可以包括多个客户端系统630、社交网络系统660、第三方系统670和网络610。

本公开设想了任何合适的网络610。作为示例而不是作为限制，网络610的一个或更多个部分可以包括自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、互联网的一部分、公共交换电话网(PSTN)的一部分、蜂窝电话网、或这些中的两个或更多个的组合。网络610可以包括一个或更多个网络610。

链路650可以将客户端系统630、社交网络系统660和第三方系统670连接到通信网络610或连接到彼此。本公开设想了任何合适的链路650。在特定实施例中，一个或更多个链路650包括一个或更多个有线(诸如例如数字用户线路(DSL)或基于电缆的数据服务接口规范(DOCSIS))链路、无线(诸如例如Wi-Fi或全球互通微波接入(WiMAX))链路、或光(诸如例如同步光网络(SONET)或同步数字体系(SDH))链路。在特定实施例中，一个或更多个链路650各自包括自组织网络、内联网、外联网、VPN、LAN、WLAN、WAN、WWAN、MAN、互联网的一部分、PSTN的一部分、基于蜂窝技术的网络、基于卫星通信技术的网络、另一链路650、或两个或更多个这种链路650的组合。链路650不需要在整个网络环境600中一定是相同的。一个或更多个第一链路650可以在一个或更多个方面上不同于一个或更多个第二链路650。

在特定实施例中，客户端系统630可以是一种电子设备，该电子设备包括硬件、软件或嵌入式逻辑部件、或两个或更多个这样的部件的组合，并且能够执行由客户端系统630实现或支持的适当功能。作为示例而不是作为限制，客户端系统630可以包括计算机系统，如台式计算机、笔记本电脑或膝上型计算机、上网本、平板计算机、电子书阅读器、GPS设备、照相机、个人数字助理(PDA)、手持电子设备、蜂窝电话、智能手机、增强/虚拟现实设备、其他合适的电子设备、或其任何合适的组合。本公开设想了任何合适的客户端系统630。客户端系统630可以使在客户端系统630处的网络用户能够访问网络610。客户端系统630可以使它的用户能够与在其他客户端系统630处的其他用户进行通信。

在特定实施例中，客户端系统630可以包括web浏览器632，并且可以具有一个或更多个附加件、插件或其他扩展件。在客户端系统630处的用户可以输入统一资源定位符(URL)或将web浏览器632引导到特定的服务器(例如服务器662或与第三方系统670相关联的服务器)的其他地址，并且web浏览器632可以生成超文本传输协议(HTTP)请求并将HTTP请求传递到服务器。服务器可以接受HTTP请求，并响应于HTTP请求而向客户端系统630传递一个或更多个超文本标记语言(HTML)文件。客户端系统630可以基于来自服务器的HTML文件来显现网页用于呈现给用户。本公开设想了任何合适的网页文件。作为示例而不是作为限制，网页可以根据特定的需要从HTML文件、可扩展超文本标记语言(XHTML)文件或可扩展标记语言(XML)文件来显现。这样的页面还可以执行脚本、标记语言和脚本的组合等。在本文，在适当的情况下，对网页的引用包括一个或更多个相应的网页文件(浏览器可以使用这些网页文件来显现网页)，反之亦然。

在特定实施例中，社交网络系统660可以是可以托管在线社交网络的网络可寻址计算系统。社交网络系统660可以生成、存储、接收并发送社交网络数据(诸如例如，用户简档数据、概念简档数据、社交图信息或与在线社交网络相关的其他合适的数据)。社交网络系统660可以由网络环境600的其他部件直接地或经由网络610来访问。作为示例而不是作为限制，客户端系统630可以使用web浏览器632或与社交网络系统660相关联的原生(native)应用(例如，移动社交网络应用、消息传递应用、另一合适的应用或其任何组合)直接地或经由网络610来访问社交网络系统660。在特定实施例中，社交网络系统660可以包括一个或更多个服务器662。每个服务器662可以是整体式服务器(unitary server)或跨越多台计算机或多个数据中心的分布式服务器。服务器662可以具有各种类型，诸如，例如且没有限制，web服务器、新闻服务器、邮件服务器、消息服务器、广告服务器、文件服务器、应用服务器、交换服务器、数据库服务器、代理服务器、适合于执行本文描述的功能或过程的另一服务器、或者其任何组合。在特定实施例中，每个服务器662可以包括用于执行由服务器662实现或支持的适当功能的硬件、软件或嵌入式逻辑部件、或两个或更多个这样的部件的组合。在特定实施例中，社交网络系统660可以包括一个或更多个数据储存器664。数据储存器664可以用于存储各种类型的信息。在特定实施例中，可以根据特定的数据结构来组织存储在数据储存器664中的信息。在特定实施例中，每个数据储存器664可以是关系数据库、纵列(columnar)数据库、相关性数据库或其他合适的数据库。尽管本公开描述或示出了特定类型的数据库，但是本公开设想了任何合适类型的数据库。特定实施例可以提供使客户端系统630、社交网络系统660或第三方系统670能够管理、检索、修改、添加或删除存储在数据储存器664中的信息的接口。

在特定实施例中，社交网络系统660可以在一个或更多个数据储存器664中存储一个或更多个社交图。在特定实施例中，社交图可以包括多个节点——其可以包括多个用户节点(各自对应于特定用户)或多个概念节点(各自对应于特定概念)——以及连接节点的多条边。社交网络系统660可以向在线社交网络的用户提供与其他用户通信和交互的能力。在特定实施例中，用户可以经由社交网络系统660加入在线社交网络，且然后添加与社交网络系统660中的他们想要关连到的多个其他用户的关连(例如，关系)。在本文，术语“朋友”可以指用户经由社交网络系统660与其形成关连、关联(association)或关系的社交网络系统660的任何其他用户。

在特定实施例中，社交网络系统660可以向用户提供对由社交网络系统660支持的各种类型的项目或对象采取动作的能力。作为示例而不是作为限制，项目和对象可以包括社交网络系统660的用户可以属于的群组或社交网络、用户可能感兴趣的事件或日历条目、用户可以使用的基于计算机的应用、允许用户经由服务来购买或销售商品的交易、用户可以执行的与广告的交互、或其他合适的项目或对象。用户可以与能够在社交网络系统660中或者由第三方系统670的外部系统表示的任何事物进行交互，第三方系统670与社交网络系统660分离并且经由网络610耦合到社交网络系统660。

在特定实施例中，社交网络系统660能够链接各种实体。作为示例而不是作为限制，社交网络系统660可以使用户能够彼此交互以及从第三方系统670或其他实体接收内容，或者允许用户通过应用编程接口(API)或其他通信渠道与这些实体交互。

在特定实施例中，第三方系统670可以包括一种或更多种类型的服务器、一个或更多个数据储存器、一个或更多个接口(包括但不限于API)、一个或更多个web服务、一个或更多个内容源、一个或更多个网络或任何其他合适的部件(例如，服务器可以与这些部件通信)。第三方系统670可以由与操作社交网络系统660的实体不同的实体进行操作。然而，在特定实施例中，社交网络系统660和第三方系统670可以彼此结合来操作以向社交网络系统660或第三方系统670的用户提供社交网络服务。在这个意义上，社交网络系统660可以提供平台或骨干网(backbone)，其他系统(例如第三方系统670)可以使用该平台或骨干网来在整个互联网上向用户提供社交网络服务和功能。

在特定实施例中，第三方系统670可以包括第三方内容对象提供者。第三方内容对象提供者可以包括可以被传送到客户端系统630的内容对象的一个或更多个源。作为示例而不是作为限制，内容对象可以包括关于用户感兴趣的事情或活动的信息，诸如例如电影放映时间、电影评论、餐馆评论、餐馆菜单、产品信息和评论或其他合适的信息。作为另一个示例而不是作为限制，内容对象可以包括激励内容对象(例如优惠券、折扣券、礼品券或其他合适的激励对象)。

在特定实施例中，社交网络系统660还包括用户生成的内容对象，其可以增强用户与社交网络系统660的交互。用户生成的内容可以包括用户可以添加、上传、发送或“发布(post)”到社交网络系统660的任何内容。作为示例而不是作为限制，用户将帖子从客户端系统630传送到社交网络系统660。帖子可以包括数据，例如状态更新或其他文本数据、位置信息、照片、视频、链接、音乐或其他类似数据或媒体。内容还可以由第三方通过“通信渠道”(例如动态消息或流)来添加到社交网络系统660。

在特定实施例中，社交网络系统660可以包括各种服务器、子系统、程序、模块、日志和数据储存器。在特定实施例中，社交网络系统660可以包括下列项中的一个或更多个：web服务器、动作记录器、API请求服务器、相关性和排序引擎、内容对象分类器、通知控制器、动作日志、第三方内容对象暴露日志、推理模块、授权/隐私服务器、搜索模块、广告定位模块(advertisement-targeting module)、用户界面模块、用户简档储存器、关连储存器、第三方内容储存器或位置储存器。社交网络系统660还可以包括合适的部件，如网络接口、安全机构、负载平衡器、故障转移服务器、管理和网络操作控制台、其他合适的部件、或其任何合适的组合。在特定实施例中，社交网络系统660可以包括用于存储用户简档的一个或更多个用户简档储存器。用户简档可以包括例如，传记信息、人口统计信息、行为信息、社交信息或其他类型的描述性信息(例如工作经历、教育历史、爱好或偏好、兴趣、亲和性或位置)。兴趣信息可以包括与一个或更多个类别相关的兴趣。类别可以是一般的或特定的。作为示例而不是作为限制，如果用户“赞(like)”关于一种品牌的鞋的文章，则该类别可以是品牌，或者是“鞋”或“服装”的一般类别。关连储存器可以用于存储关于用户的关连信息。关连信息可以指示具有相似或共同的工作经历、组成员资格、爱好、教育历史或者以任何方式相关或共享共同属性的用户。关连信息还可以包括在不同用户和内容(内部和外部)之间的用户定义的关连。web服务器可以用于经由网络610将社交网络系统660链接到一个或更多个客户端系统630或一个或更多个第三方系统670。web服务器可以包括邮件服务器或用于在社交网络系统660和一个或更多个客户端系统630之间接收并路由(routing)消息的其他消息传递功能。API请求服务器可以允许第三方系统670通过调用一个或更多个API访问来自社交网络系统660的信息。动作记录器可以用于从web服务器接收关于用户在社交网络系统660上或之外的动作的通信。结合动作日志，可以维护用户暴露于第三方内容对象的第三方内容对象日志。通知控制器可以向客户端系统630提供关于内容对象的信息。信息可以作为通知被推送到客户端系统630，或者信息可以响应于从客户端系统630接收的请求而从客户端系统630中被拉取。授权服务器可以用于实施社交网络系统660的用户的一个或更多个隐私设置。用户的隐私设置确定与用户相关联的特定信息可以如何被共享。授权服务器可以诸如例如通过设置适当的隐私设置来允许用户选择加入或选择退出使他们的动作由社交网络系统660记录或者与其他系统(例如，第三方系统670)共享。第三方内容对象储存器可以用于存储从第三方(例如第三方系统670)接收的内容对象。位置储存器可以用于存储从客户端系统630接收的与用户相关联的位置信息。广告定价模块可以组合社交信息、当前时间、位置信息或其他合适的信息以用通知的形式向用户提供相关广告。

图7示出了示例社交图700。在特定实施例中，社交网络系统660可以在一个或更多个数据储存器中存储一个或更多个社交图700。在特定实施例中，社交图700可以包括多个节点——该多个节点可以包括多个用户节点702或多个概念节点704——以及连接这些节点的多条边706。每个节点可以与唯一的实体(即，用户或概念)相关联，每个实体可以具有唯一的标识符(ID)，例如唯一的号码或用户名。出于教导的目的，以二维视觉映射表示(two-dimensional visual map representation)示出了图7所示的示例社交图700。在特定实施例中，社交网络系统660、客户端系统630、或第三方系统670可以访问社交图700和相关社交图信息以用于合适的应用。社交图700的节点和边可以作为数据对象被存储在例如数据储存器(例如社交图数据库)中。这种数据储存器可以包括社交图700的节点或边的一个或更多个可搜索或可查询的索引。

在特定实施例中，用户节点702可以对应于社交网络系统660的用户。作为示例而不是作为限制，用户可以是与社交网络系统660交互或通信或通过社交网络系统660交互或通信的个人(人类用户)、实体(例如，企业、公司或第三方应用)或(例如，个人或实体的)团体。在特定实施例中，当用户向社交网络系统660注册账户时，社交网络系统660可以创建对应于用户的用户节点702，并将用户节点702存储在一个或更多个数据储存器中。本文描述的用户和用户节点702在适当的情况下可以指注册的用户和与注册的用户相关联的用户节点702。另外或作为替代方案，在适当的情况下，本文描述的用户和用户节点702可以指没有向社交网络系统660注册的用户。在特定实施例中，用户节点702可以与由用户提供的信息或由各种系统(包括社交网络系统660)收集的信息相关联。作为示例而不是作为限制，用户可以提供他或她的姓名、简档图片、联系信息、出生日期、性别、婚姻状况、家庭状况、职业、教育背景、偏好、兴趣或其他人口统计信息。在特定实施例中，用户节点702可以与对应于与用户相关联的信息的一个或更多个数据对象相关联。在特定实施例中，用户节点702可以对应于一个或更多个网页。

在特定实施例中，概念节点704可以对应于概念。作为示例而不是作为限制，概念可以对应于地点(诸如例如，电影院、餐馆、地标或城市)；网站(诸如例如，与社交网络系统660相关联的网站或与web应用服务器相关联的第三方网站)；实体(诸如例如，个人、企业、团体、运动队或名人)；资源(诸如例如，音频文件、视频文件、数字照片、文本文件、结构化文档或应用)，其可以位于社交网络系统660内或位于外部服务器(例如web应用服务器)上；不动产或知识产权(诸如例如，雕塑、绘画、电影、游戏、歌曲、想法、照片或书面作品)；游戏；活动；想法或理论；增强/虚拟现实环境中的对象；另一个合适的概念；或者两个或更多个这样的概念。概念节点704可以与由用户提供的概念的信息或由各种系统(包括社交网络系统660)收集的信息相关联。作为示例而不是作为限制，概念的信息可以包括名称或标题；一个或更多个图像(例如，书籍的封面的图像)；位置(例如，地址或地理位置)；网站(其可以与URL相关联)；联系信息(例如，电话号码或电子邮件地址)；其他合适的概念信息；或者这样的信息的任何合适的组合。在特定实施例中，概念节点704可以与一个或更多个数据对象相关联，一个或更多个数据对象对应于与概念节点704相关联的信息。在特定实施例中，概念节点704可以对应于一个或更多个网页。

在特定实施例中，社交图700中的节点可以表示网页(其可以被称为“简档页面”)或者由网页表示。简档页面可以由社交网络系统660托管或是社交网络系统660可访问的。简档页面也可以在与第三方系统670相关联的第三方网站上被托管。作为示例而不是作为限制，对应于特定外部网页的简档页面可以是特定外部网页，并且简档页面可以对应于特定概念节点704。简档页面可以由所有其他用户或其他用户的选定子集可查看。作为示例而不是作为限制，用户节点702可以具有相应的用户简档页面，在相应的用户简档页面中相应的用户可以添加内容、作出声明或以其他方式表达他或她自己。作为另一示例而不是作为限制，概念节点704可以具有相应的概念简档页面，在相应的概念简档页面中一个或更多个用户可以添加内容、作出声明或表达他们自己，特别是关于对应于概念节点704的概念。

在特定实施例中，概念节点704可以表示由第三方系统670托管的第三方网页或资源。第三方网页或资源可以包括表示动作或活动的内容、可选择的图标或其他图标或其他可交互对象(其可以例如用JavaScript、AJAX或PHP代码来实现)以及其他元素。作为示例而不是作为限制，第三方网页可以包括可选择的图标，例如“赞”、“签到(check-in)”、“吃”、“推荐”，或其他合适的动作或活动。查看第三方网页的用户可以通过选择图标之一(例如，“签到”)来执行动作，使客户端系统630向社交网络系统660发送指示用户的动作的消息。响应于该消息，社交网络系统660可以在对应于用户的用户节点702和对应于第三方网页或资源的概念节点704之间创建边(例如，签到类型边)，并将边706存储在一个或更多个数据储存器中。

在特定实施例中，社交图700中的一对节点可以通过一条或更多条边706彼此连接。连接一对节点的边706可以表示在该对节点之间的关系。在特定实施例中，边706可以包括或表示对应于在一对节点之间的关系的一个或更多个数据对象或属性。作为示例而不是作为限制，第一用户可以指示第二用户是第一用户的“朋友”。响应于该指示，社交网络系统660可以向第二用户发送“好友请求”。如果第二用户确认“好友请求”，则社交网络系统660可以在社交图700中创建将第一用户的用户节点702连接到第二用户的用户节点702的边706，并将边706作为社交图信息存储在一个或更多个数据储存器664中。在图7的示例中，社交图700包括指示在用户“A”和用户“B”的用户节点702之间的朋友关系的边706、以及指示在用户“C”和用户“B”的用户节点702之间的朋友关系的边。尽管本公开描述或示出了连接特定用户节点702的具有特定属性的特定边706，但是本公开设想了连接用户节点702的具有任何合适属性的任何合适的边706。作为示例而不是作为限制，边706可以表示友谊、家庭关系、商业或雇佣关系、粉丝关系(包括例如，赞等)、关注者关系、访问者关系(包括例如，访问、查看、签到、分享等)、订购者关系、上级/下级关系、互惠关系、非互惠关系、另一种合适类型的关系、或两种或更多种这样的关系。此外，尽管本公开一般将节点描述为被连接，但是本公开也将用户或概念描述为被关连。在本文，对被关连的用户或概念的引用在适当的情况下可以指社交图700中通过一条或更多条边706连接的对应于那些用户或概念的节点。分别由两个节点表示的两个对象之间的分离度是社交图700中连接两个节点的最短路径中的边的计数。作为示例而非限制，在社交图700中，用户“C”的用户节点702经由多条路径连接到用户“A”的用户节点702，该多条路径包括例如：第一条路径，其直接通过用户“B”的用户节点702；第二条路径，其通过公司“A1me”的概念节点704和用户“D”的用户节点702；以及第三条路径，其通过代表学校“Stateford”、用户“G”、公司“A1me”和用户“D”的用户节点702和概念节点704。用户“C”和用户“A”具有为二的分离度，因为连接它们相应节点的最短路径(即，第一路径)包括两条边706。

在特定实施例中，在用户节点702和概念节点704之间的边706可以表示由与用户节点702相关联的用户朝着与概念节点704相关联的概念执行的特定动作或活动。作为示例而不是作为限制，如图7所示，用户可以“赞”、“出席”、“播放”、“收听”、“烹饪”、“工作于”或“观看”概念，其中每个可以对应于边类型或子类型。对应于概念节点704的概念简档页面可以包括例如可选择的“签到”图标(诸如例如，可点击的“签到”图标)或可选择的“添加到收藏夹”图标。类似地，在用户点击这些图标之后，社交网络系统660可以响应于对应于相应动作的用户动作来创建“收藏夹”边或“签到”边。作为另一示例而不是作为限制，用户(用户“C”)可以使用特定的应用(第三方在线音乐应用)来收听特定的歌曲(“想象(Imagine)”)。在这种情况下，社交网络系统660可以在对应于用户的用户节点702和对应于歌曲和应用的概念节点704之间创建“收听”边706和“使用”边(如图7所示)，以指示用户收听了歌曲并使用了应用。此外，社交网络系统660可以在对应于歌曲和应用的概念节点704之间创建“播放”边706(如图7所示)，以指示特定的歌曲被特定的应用播放。在这种情况下，“播放”边706对应于由外部应用(第三方在线音乐应用)对外部音频文件(歌曲“想象”)执行的动作。尽管本公开描述了连接用户节点702和概念节点704的具有特定属性的特定边706，但是本公开设想了连接用户节点702和概念节点704的具有任何合适属性的任何合适的边706。此外，尽管本公开描述了表示单个关系的在用户节点702和概念节点704之间的边，但是本公开设想了表示一个或更多个关系的在用户节点702和概念节点704之间的边。作为示例而不是作为限制，边706可以表示用户喜欢并使用了特定概念。可替代地，另一条边706可以表示用户节点702和概念节点704之间(如图7所示，用户“E”的用户节点702和“在线音乐应用”的概念节点704之间)的每种类型的关系(或者多个单一关系)。

在特定实施例中，社交网络系统660可以在社交图700中的用户节点702和概念节点704之间创建边706。作为示例而不是作为限制，(诸如例如，通过使用由用户的客户端系统630托管的web浏览器或专用应用)查看概念简档页面的用户可以通过点击或选择“赞”图标来指示他或她喜欢由概念节点704表示的概念，这可以使用户的客户端系统630向社交网络系统660发送指示用户喜欢与概念简档页面相关联的概念的消息。响应于该消息，社交网络系统660可以在与用户相关联的用户节点702和概念节点704之间创建边706，如由在用户节点和概念节点704之间的“赞”边706所示的。在特定实施例中，社交网络系统660可以将边706存储在一个或更多个数据储存器中。在特定实施例中，边706可以由社交网络系统660响应于特定用户动作而自动形成。作为示例而不是作为限制，如果第一用户上传图片、观看电影或收听歌曲，则可以在对应于第一用户的用户节点702和对应于那些概念的概念节点704之间形成边706。尽管本公开描述了以特定方式形成特定边706，但是本公开设想了以任何合适的方式形成任何合适的边706。

在特定实施例中，在线社交网络的一个或更多个内容对象可以与隐私设置相关联。对象的隐私设置(或“访问设置”)可以以任何合适的方式存储，诸如例如与对象相关联、以授权服务器上的索引、以另一种合适的方式或其任意组合存储。对象的隐私设置可以指定可以如何使用在线社交网络来访问(例如，查看或共享)对象(或与对象相关联的特定信息)。在对象的隐私设置允许特定用户访问该对象的情况下，该对象可以被描述为对于该用户是“可见的”。作为示例而非限制，在线社交网络的用户可以为用户简档页面指定隐私设置，该隐私设置标识可以访问用户简档页面上的工作经验信息的一组用户，从而排除其他用户访问该信息。在特定实施例中，隐私设置可以指定不应被允许访问与对象相关联的某些信息的用户的“黑名单(blocked list)”。换句话说，黑名单可以指定对象对其是不可见的一个或更多个用户或实体。作为示例而非限制，用户可以指定不能访问与该用户相关联的相册的一组用户，从而排除这些用户访问相册(同时也可能允许不在该组用户中的某些用户访问相册)。在特定实施例中，隐私设置可以与特定社交图元素相关联。社交图元素(诸如节点或边)的隐私设置可以指定可以如何使用在线社交网络来访问社交图元素、与社交图元素相关联的信息、或与社交图元素相关联的内容对象。作为示例而非限制，对应于特定照片的特定概念节点704可以具有隐私设置，该隐私设置指定照片只能由照片中标记的用户及其朋友访问。在特定实施例中，隐私设置可以允许用户选择加入或选择退出使其动作由社交网络系统660记录或与其他系统(例如，第三方系统670)共享。在特定实施例中，与对象相关联的隐私设置可以指定允许访问或拒绝访问的任何合适的粒度。作为示例而非限制，可以为特定用户(例如，只有我、我的室友和我的老板)、特定分离度内的用户(例如，朋友或朋友的朋友)、用户组(例如，游戏俱乐部、我的家庭)、用户网络(例如，特定雇主的雇员、特定大学的学生或校友)、所有用户(“公共”)、无用户(“私人”)、第三方系统670的用户、特定应用(例如，第三方应用、外部网站)、其他合适的用户或实体，或其任何组合指定访问或拒绝访问。尽管本公开描述了以特定方式使用特定隐私设置，但是本公开设想了以任何合适的方式使用任何合适的隐私设置。

在特定实施例中，一个或更多个服务器662可以是用于实施隐私设置的授权/隐私服务器。响应于用户(或其他实体)对存储在数据储存器664中的特定对象的请求，社交网络系统660可以向数据储存器664发送对该对象的请求。该请求可以识别与该请求相关联的用户，并且只有当授权服务器基于与对象相关联的隐私设置确定用户被授权访问该对象时才可以将其发送给该用户(或用户的客户端系统630)。如果请求用户未被授权访问该对象，则授权服务器可以阻止所请求的对象从数据储存器664中被检索到，或者可以阻止所请求的对象被发送给用户。在搜索查询上下文中，只有当查询用户被授权访问对象时，才可以生成对象作为搜索结果。换句话说，对象必须具有对查询用户可见的可见性。如果对象具有对用户不可见的可见性，则该对象可以从搜索结果中排除。尽管本公开描述了以特定方式实施隐私设置，但是本公开设想了以任何合适的方式实施隐私设置。

图8示出了示例计算机系统800。在特定实施例中，一个或更多个计算机系统800执行本文描述或示出的一个或更多个方法的一个或更多个步骤。在特定实施例中，一个或更多个计算机系统800提供本文描述或示出的功能。在特定实施例中，在一个或更多个计算机系统800上运行的软件执行本文描述或示出的一个或更多个方法的一个或更多个步骤，或者提供本文描述或示出的功能。特定实施例包括一个或更多个计算机系统800的一个或更多个部分。在本文，在适当的情况下，对计算机系统的引用可以包括计算设备，反之亦然。此外，在适当的情况下，对计算机系统的引用可以包括一个或更多个计算机系统。

本公开设想了任何合适数量的计算机系统800。本公开设想了采取任何合适的物理形式的计算机系统800。作为示例而不是作为限制，计算机系统800可以是嵌入式计算机系统、片上系统(SOC)、单板计算机系统(SBC)(诸如例如，模块上计算机(COM)或模块上系统(SOM))、台式计算机系统、膝上型或笔记本计算机系统、交互式信息亭、大型机、计算机系统网状网、移动电话、个人数字助理(PDA)、服务器、平板计算机系统、增强/虚拟现实设备、或者这些中的两个或更多个的组合。在适当的情况下，计算机系统800可以包括一个或更多个计算机系统800；可以是整体式的或分布式的；跨越多个位置；跨越多台机器；跨越多个数据中心；或者驻留在云中，云可以包括在一个或更多个网络中的一个或更多个云部件。在适当的情况下，一个或更多个计算机系统800可以在没有实质性空间或时间限制的情况下执行本文描述或示出的一个或更多个方法的一个或更多个步骤。作为示例而不是作为限制，一个或更多个计算机系统800可以实时地或以批处理模式来执行本文描述或示出的一个或更多个方法的一个或更多个步骤。在适当的情况下，一个或更多个计算机系统800可以在不同的时间或在不同的位置处执行本文描述或示出的一个或更多个方法的一个或更多个步骤。

在特定实施例中，计算机系统800包括处理器802、存储器804、存储装置806、输入/输出(I/O)接口808、通信接口810和总线812。尽管本公开描述并示出了具有在特定布置中的特定数量的特定部件的特定计算机系统，但是本公开设想了具有在任何合适布置中的任何合适数量的任何合适部件的任何合适的计算机系统。

在特定实施例中，处理器802包括用于执行指令(例如构成计算机程序的那些指令)的硬件。作为示例而不是作为限制，为了执行指令，处理器802可以从内部寄存器、内部高速缓存、存储器804或存储装置806中检索(或取回)指令；将这些指令解码并执行它们；以及然后将一个或更多个结果写到内部寄存器、内部高速缓存、存储器804或存储装置806。在特定实施例中，处理器802可以包括用于数据、指令或地址的一个或更多个内部高速缓存。在适当的情况下，本公开设想了包括任何合适数量的任何合适的内部高速缓存的处理器802。作为示例而不是作为限制，处理器802可以包括一个或更多个指令高速缓存、一个或更多个数据高速缓存、以及一个或更多个转译后备缓冲区(TLB)。在指令高速缓存中的指令可以是在存储器804或存储装置806中的指令的副本，并且指令高速缓存可以加速处理器802对那些指令的检索。在数据高速缓存中的数据可以是：在存储器804或存储装置806中的数据的副本，用于供在处理器802处执行的指令来操作；在处理器802处执行的先前指令的结果，用于由在处理器802处执行的后续指令访问或者用于写到存储器804或存储装置806；或其他合适的数据。数据高速缓存可以加速由处理器802进行的读或写操作。TLB可以加速关于处理器802的虚拟地址转译。在特定实施例中，处理器802可以包括用于数据、指令或地址的一个或更多个内部寄存器。在适当的情况下，本公开设想了包括任何合适数量的任何合适的内部寄存器的处理器802。在适当的情况下，处理器802可以包括一个或更多个算术逻辑单元(ALU)；可以是多核处理器；或者包括一个或更多个处理器802。尽管本公开描述并示出了特定的处理器，但是本公开设想了任何合适的处理器。

在特定实施例中，存储器804包括主存储器，其用于存储供处理器802执行的指令或供处理器802操作的数据。作为示例而不是作为限制，计算机系统800可以将指令从存储装置806或另一个源(诸如例如，另一个计算机系统800)加载到存储器804。处理器802然后可以将指令从存储器804加载到内部寄存器或内部高速缓存。为了执行指令，处理器802可以从内部寄存器或内部高速缓存中检索指令并将它们解码。在指令的执行期间或之后，处理器802可以将一个或更多个结果(其可以是中间结果或最终结果)写到内部寄存器或内部高速缓存。处理器802然后可以将这些结果中的一个或更多个写到存储器804。在特定实施例中，处理器802仅执行在一个或更多个内部寄存器或内部高速缓存中或在存储器804(而不是存储装置806或其他地方)中的指令，并且仅对在一个或更多个内部寄存器或内部高速缓存中或在存储器804(而不是存储装置806或其他地方)中的数据进行操作。一个或更多个存储器总线(其可以各自包括地址总线和数据总线)可以将处理器802耦合到存储器804。如下所述，总线812可以包括一个或更多个存储器总线。在特定实施例中，一个或更多个存储器管理单元(MMU)驻留在处理器802和存储器804之间，并且便于由处理器802请求的对存储器804的访问。在特定实施例中，存储器804包括随机存取存储器(RAM)。在适当的情况下，RAM可以是易失性存储器。在适当的情况下，RAM可以是动态RAM(DRAM)或静态RAM(SRAM)。此外，在适当的情况下，RAM可以是单端口RAM或多端口RAM。本公开设想了任何合适的RAM。在适当的情况下，存储器804可以包括一个或更多个存储器804。尽管本公开描述并示出了特定的存储器，但是本公开设想了任何合适的存储器。

在特定实施例中，存储装置806包括用于数据或指令的大容量存储装置。作为示例而不是作为限制，存储装置806可以包括硬盘驱动器(HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(USB)驱动器、或这些中的两个或更多个的组合。在适当的情况下，存储装置806可以包括可移动或不可移动(或固定)介质。在适当的情况下，存储装置806可以在计算机系统800的内部或外部。在特定实施例中，存储装置806是非易失性固态存储器。在特定实施例中，存储装置806包括只读存储器(ROM)。在适当的情况下，ROM可以是掩模编程ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可变ROM(EAROM)、或闪存、或这些中的两个或更多个的组合。本公开设想了采用任何合适的物理形式的大容量存储装置806。在适当的情况下，存储装置806可以包括便于在处理器802和存储装置806之间的通信的一个或更多个存储装置控制单元。在适当的情况下，存储装置806可以包括一个或更多个存储装置806。尽管本公开描述并示出了特定的存储装置，但是本公开设想了任何合适的存储装置。

在特定实施例中，I/O接口808包括为在计算机系统800和一个或更多个I/O设备之间的通信提供一个或更多个接口的硬件、软件或两者。在适当的情况下，计算机系统800可以包括这些I/O设备中的一个或更多个。这些I/O设备中的一个或更多个可以实现在人和计算机系统800之间的通信。作为示例而不是作为限制，I/O设备可以包括键盘、小键盘、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静态摄像机、触笔、平板计算机、触摸屏、跟踪球、视频摄像机、另一个合适的I/O设备、或这些中的两个或更多个的组合。I/O设备可以包括一个或更多个传感器。本公开设想了任何合适的I/O设备以及用于它们的任何合适的I/O接口808。在适当的情况下，I/O接口808可以包括使处理器802能够驱动这些I/O设备中的一个或更多个的一个或更多个设备或软件驱动器。在适当的情况下，I/O接口808可以包括一个或更多个I/O接口808。尽管本公开描述并示出了特定的I/O接口，但是本公开设想了任何合适的I/O接口。

在特定实施例中，通信接口810包括提供用于在计算机系统800和一个或更多个其他计算机系统800或一个或更多个网络之间的通信(诸如例如，基于包(packet-based)的通信)的一个或更多个接口的硬件、软件或两者。作为示例而不是作为限制，通信接口810可以包括用于与以太网或其他基于有线的网络进行通信的网络接口控制器(NIC)或网络适配器，或者用于与无线网络(例如WI-FI网络)进行通信的无线NIC(WNIC)或无线适配器。本公开设想了任何合适的网络和用于它的任何合适的通信接口810。作为示例而不是作为限制，计算机系统800可以与自组织网络、个域网(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)或互联网的一个或更多个部分、或这些中的两个或更多个的组合进行通信。这些网络中的一个或更多个的一个或更多个部分可以是有线的或无线的。作为示例，计算机系统800可以与无线PAN(WPAN)(诸如，例如，蓝牙WPAN)、WI-FI网络、WI-MAX网络、蜂窝电话网络(诸如，例如，全球移动通信系统(GSM)网络)、或其他合适的无线网络、或这些中的两个或更多个的组合进行通信。在适当的情况下，计算机系统800可以包括用于这些网络中的任一个的任何合适的通信接口810。在适当的情况下，通信接口810可以包括一个或更多个通信接口810。尽管本公开描述并示出了特定的通信接口，但是本公开设想了任何合适的通信接口。

在特定实施例中，总线812包括将计算机系统800的部件耦合到彼此的硬件、软件或两者。作为示例而不是作为限制，总线812可以包括加速图形端口(AGP)或其他图形总线、扩展工业标准体系结构(EISA)总线、前端总线(FSB)、HYPERTRANSPORT(HT)互连、工业标准体系结构(ISA)总线、INFINIBAND互连、低引脚数(LPC)总线、存储器总线，微通道体系结构(MCA)总线、外围部件互连(PCI)总线、PCI-Express(PCIe)总线、串行高级技术附件(SATA)总线、视频电子标准协会本地(VLB)总线、或任何其他合适的总线、或这些中的两个或更多个的组合。在适当的情况下，总线812可以包括一个或更多个总线812。尽管本公开描述并示出了特定总线，但是本公开设想了任何合适的总线或互连。

在本文，在适当的情况下，一个或更多个计算机可读非暂时性存储介质可以包括一个或更多个基于半导体的或其他集成电路(IC)(诸如例如，现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘、光盘驱动器(ODD)、磁光盘、磁光盘驱动器、软盘、软盘驱动器(FDD)、磁带、固态驱动器(SSD)、RAM驱动器、安全数字(SECURE DIGITAL)卡或驱动器、任何其他合适的计算机可读非暂时性存储介质、或这些中的两个或更多个的任何合适组合。在适当的情况下，计算机可读非暂时性存储介质可以是易失性的、非易失性的或者易失性和非易失性的组合。

本文中，除非另有明确指示或通过上下文另有指示，否则“或”是包括性的而非排他性的。因此在本文，除非另有明确指示或通过上下文另有指示，否则“A或B”意指“A、B或两者”。此外，除非另有明确指示或通过上下文另有指示，否则“和”既是联合的又是各自的。因此在本文，除非另有明确指示或通过上下文另有指示，否则“A和B”意指“A和B，联合地或各自地”。

本公开的范围包括本领域中的普通技术人员将理解的对本文描述或示出的示例实施例的所有改变、替换、变化、变更和修改。本公开的范围不限于本文描述或示出的示例实施例。此外，尽管本公开将本文的相应实施例描述并示为包括特定的部件、元件、特征、功能、操作或步骤，但是这些实施例中的任何一个可以包括本领域中的普通技术人员将理解的在本文任何地方描述或示出的任何部件、元件、特征、功能、操作或步骤的任何组合或置换。此外，在所附权利要求中对适合于、被布置成、能够、被配置成、实现来、可操作来、或操作来执行特定功能的装置或系统或装置或系统的部件的引用包括无论该装置、系统、部件或其特定功能是否被激活、开启或解锁，只要该装置、系统或部件是这样被调整、被布置、使能够、被配置、被实现、可操作的、或操作的。此外，尽管本公开将特定实施例描述或示为提供特定优点，但是特定实施例可以提供这些优点中的一些、全部或不提供这些优点。

Claims (20)

1.一种方法，包括由计算系统：

接收与机器学习模型相关联的查询信息；

访问定义在多个机器学习模型和所述多个机器学习模型的多个特征之间的关系的知识图；

基于所述知识图和所述查询信息，确定指示所述知识图中所述机器学习模型和所述多个特征的一个或更多个特征之间的相关性的一个或更多个相关性度量；和

基于所述一个或更多个相关性度量和所述一个或更多个特征来确定关于所述机器学习模型的一个或更多个推荐特征。

2.根据权利要求1所述的方法，其中，所述知识图包括多个节点和连接所述多个节点的多条边，并且其中，所述多个节点对应于所述多个机器学习模型和所述多个机器学习模型的所述多个特征。

3.根据权利要求2所述的方法，其中，所述多个特征中的每一个基于相关的域知识或基于所述知识图确定的推断相关性而与一个或更多个机器学习模型相关联。

4.根据权利要求2所述的方法，其中，所述多条边中的每条边连接所述知识图中的两个相关联的节点，并且其中，每条边与用于表征所述两个相关联的节点之间的关系的权重相关联。

5.根据权利要求2所述的方法，还包括：

为所述知识图生成对应于所述机器学习模型的第一新节点；

为所述知识图生成对应于所述机器学习模型的一个或更多个初始特征的一个或更多个第二新节点；和

为所述知识图生成将所述第一新节点连接到所述一个或更多个第二新节点的一条或更多条新边，其中，所述一条或更多条新边是基于与所述机器学习模型相关联的域知识来确定的。

6.根据权利要求5所述的方法，还包括：

确定所述第一新节点和所述一个或更多个第二新节点相对于所述知识图中的所述多个节点的一个或更多个新相关性；和

基于所述一个或更多个新相关性，将所述第一新节点和所述一个或更多个第二新节点集成到所述知识图中。

7.根据权利要求5所述的方法，其中，所述一个或更多个相关性度量是基于所述第一新节点和对应于所述一个或更多个特征的一个或更多个节点之间的一个或更多个图关系来确定的。

8.根据权利要求5所述的方法，其中，所述一个或更多个相关性度量是基于所述第一新节点和对应于所述多个机器学习模型中的一个或更多个机器学习模型的一个或更多个节点之间的一个或更多个图关系来确定的，并且其中，所述一个或更多个特征与所述一个或更多个机器学习模型相关联。

9.根据权利要求8所述的方法，其中，所述机器学习模型与所述知识图的一个或更多个机器学习模型共享一个或更多个特征。

10.根据权利要求8所述的方法，其中，所述机器学习模型与所述知识图的一个或更多个机器学习模型共享问题域。

11.根据权利要求1所述的方法，其中，所述多个机器学习模型中的每个机器学习模型与用于表征该机器学习模型的一个或更多个标签相关联，并且其中，所述机器学习模型与一个或更多个初始特征相关联，所述方法还包括：

为所述机器学习模型和所述机器学习模型的每个初始特征确定一个或更多个新标签。

12.根据权利要求11所述的方法，还包括：

将所述机器学习模型的一个或更多个初始特征和所述知识图中的多个特征聚类成由N个标签定义的N维空间中的多个特征类别。

13.根据权利要求12所述的方法，还包括：

基于相关联的特征类别合并所述初始特征中的一个或更多个和所述多个特征中的一个或更多个。

14.根据权利要求13所述的方法，其中，所述一个或更多个推荐特征与特征类别相关联，并且其中，所述特征类别与所述机器学习模型的初始特征相关联。

15.根据权利要求1所述的方法，其中，所述一个或更多个相关性度量由图神经网络确定，其中，所述图神经网络识别所述知识图中的一个或更多个隐藏相关性，并且其中，所述一个或更多个相关性度量基于由所述图神经网络识别的所述知识图中的一个或更多个隐藏相关性来确定。

16.根据权利要求15所述的方法，还包括：

生成对应于由所述图神经网络识别的每个隐藏相关性的新边；和

基于生成的新边更新所述知识图。

17.根据权利要求1所述的方法，还包括：

接收与具有所述一个或更多个推荐特征的所述机器学习模型相关联的一个或更多个推理值度量，其中，所述一个或更多个推理值度量包括具有所述一个或更多个推荐特征的所述机器学习模型的性能参数；和

基于所接收的一个或更多个推理值度量来评估所述机器学习模型的一个或更多个推荐特征。

18.根据权利要求17所述的方法，还包括：

基于所述一个或更多个推理值度量来调整所述知识图的一个或更多个对应边的一个或更多个权重。

19.一个或更多个计算机可读非暂时性存储介质，包含软件，所述软件在被执行时可操作来：

接收与机器学习模型相关联的查询信息；

访问定义在多个机器学习模型和所述多个机器学习模型的多个特征之间的关系的知识图；

基于所述知识图和所述查询信息，确定指示所述知识图中所述机器学习模型和所述多个特征的一个或更多个特征之间的相关性的一个或更多个相关性度量；和

基于所述一个或更多个相关性度量和所述一个或更多个特征来确定关于所述机器学习模型的一个或更多个推荐特征。

20.一种系统，包括：

包含指令的一个或更多个非暂时性计算机可读存储介质；和

一个或更多个处理器，其耦合到所述存储介质，并且可操作来执行所述指令以：

接收与机器学习模型相关联的查询信息；

访问定义在多个机器学习模型和所述多个机器学习模型的多个特征之间的关系的知识图；

基于所述知识图和所述查询信息，确定指示所述知识图中所述机器学习模型和所述多个特征的一个或更多个特征之间的相关性的一个或更多个相关性度量；和

基于所述一个或更多个相关性度量和所述一个或更多个特征来确定所述机器学习模型的一个或更多个推荐特征。

Images