CN114648345A - 训练表征模型及确定实体表征向量的方法及装置 - Google Patents
训练表征模型及确定实体表征向量的方法及装置 Download PDFInfo
- Publication number
- CN114648345A CN114648345A CN202011497232.4A CN202011497232A CN114648345A CN 114648345 A CN114648345 A CN 114648345A CN 202011497232 A CN202011497232 A CN 202011497232A CN 114648345 A CN114648345 A CN 114648345A
- Authority
- CN
- China
- Prior art keywords
- entity
- characterization
- node
- network
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013598 vector Substances 0.000 title claims abstract description 210
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 title claims abstract description 20
- 238000012512 characterization method Methods 0.000 claims abstract description 212
- 239000013604 expression vector Substances 0.000 claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims description 74
- 230000004927 fusion Effects 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 5
- 239000010410 layer Substances 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 239000002356 single layer Substances 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 131
- 230000002159 abnormal effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000019654 spicy taste Nutrition 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0269—Targeted advertisements based on user profile or attribute
- G06Q30/0271—Personalized advertisement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0259—Targeted advertisements based on store location
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书实施例提供一种训练表征模型及确定实体表征向量的方法，通过表征模型，在按照不同关联关系建立的关系网络构成的异构图中，将单个关系网络中各个业务实体的表达向量与其邻居节点的表达向量相融合，得到相应的各个局部表征向量，进一步地，针对单个业务实体，将其在各个关系网络中的局部表征向量融合在一起，得到全局表征向量，然后，按照全局表征向量的相似性来进行业务处理，例如确定信息推送的目标实体等。由于通过异构图及表征模型进行多模态数据的融合，从而可以提升各种业务实体(如户外广告业务场景中涉及的用户、商户和户外广告牌)的特征表示的准确性，进而可以提升相关业务处理效果。
Description
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及训练表征模型，以及通过表征模型确定实体表征向量的方法及装置。
背景技术
随着计算机技术的发展，提供信息的方式也越来越多。为了更好地提供用户体验，使得信息提供的方式更加富于针对性，即，将有用的信息提供给需要的用户或用户关联的设备，通常需要挖掘信息、用户或设备之间的关联关系。随着获取数据的手段越来越多，所获取的有效数据广泛度增加。例如，传统户外广告中，传统的线下人群问卷统计的数据获取方式，可以获得户外广告所在区域的曝光人群特征，进而识别区域特点。但线下问卷方式的人工成本高大，且统计精确度、样本覆盖等并不特别乐观，近年来行业内开始更多地使用用户设备的LBS(Location Based Service，基于位置的服务)信息的数据获取方式，通过对人群和地理信息的匹配，获取户外广告受众的人群信息。
然而，随着获取数据的方式越来越多，一些有效数据之间关联度可能较低。如何充分利用各种有效数据，提高数据利用率，从而提高信息推送的精准度和效率，是值得研究的问题。
发明内容
本说明书一个或多个实施例描述了一种训练表征模型及确定实体表征向量的方法及装置，用以解决背景技术提到的一个或多个问题。
根据第一方面，提供一种训练表征模型的方法，所述表征模型包括若干图神经网络及融合模型，用于基于异构图确定各个实体的表征向量，所述异构图包括多个关系网络，各个关系网络与各个图神经网络一一对应，单个关系网络包括多个节点和多个连接边，各个节点分别对应各个业务实体，且各自对应有基于相应业务实体的描述信息确定的节点表达向量，单个连接边连接的两节点对应的两个业务实体之间具有关联关系；所述方法包括：通过各个图神经网络分别处理各个关系网络，其中，对于单个关系网络，相应图神经网络将各个节点与其邻居节点的节点表达向量相融合，从而得到各个业务实体在该单个关系网络下分别对应的各个局部表征向量；对于单个业务实体，将其在各个关系网络中分别对应的各个局部表征向量融合在一起，得到该单个业务实体的全局表征向量；以极大化各个关系网络中具有连接关系的两两节点对应的全局表征向量的相似度为目标，调整模型参数。
在一个实施例中，单个图神经网络为n层神经网络，n为大于或等于1的整数，单层神经网络通过以下方式将单个节点与其邻居节点的节点表达向量相融合：根据该单个节点及其邻居节点各自的节点表达向量，确定该单个节点的各个邻居节点相对于该单个节点分别对应的各个重要度值；按照各个重要度值，确定各个邻居节点分别对应的各个权重；基于利用各个权重对各个邻居节点的当前节点表达向量加权求和得到的向量，更新该单个节点的当前节点表达向量。
在一个进一步的实施例中，各个权重由通过激活函数对各个重要度值进行归一化得到的概率分布确定。
在一个实施例中，所述对于单个业务实体，将其在各个关系网络中分别对应的各个局部表征向量融合在一起，得到该单个业务实体的全局表征向量包括：对于单个业务实体，利用注意力机制确定各个局部表征向量分别对应的各个注意力值；以相应的注意力值为权重对各个局部表征向量加权求和，得到该单个业务实体的全部表征向量。
在一个实施例中，所述以极大化各个关系网络中具有连接关系的两两节点对应的全局表征向量的相似度为目标，调整模型参数包括：基于单个关系网络中没有关联关系的两两节点，构建负样本；在极大化各个关系网络中具有连接关系的两两节点对应的全局表征向量的相似度的同时，极小化各个负样本中两两节点对应的全局表征向量的相似度，从而调整模型参数。
在一个实施例中，所述以极大化各个关系网络中具有连接关系的两两节点对应的全局表征向量的相似度为目标，调整模型参数包括：针对单个关系网络，根据具有连接关系的两两节点对应的全局表征向量的相似度损失之和，确定单个关系网络中的模型损失；将各个关系网络中的模型损失叠加，得到表征模型的总损失；以所述总损失减小为目标，调整模型参数。
根据第二方面，提供一种信息推送的方法，用于推送与第二实体对应的待推送信息，所述方法包括：获取与所述第二实体对应的第二表征向量，以及与多个候选业务实体分别对应的各个候选表征向量，其中，所述候选业务实体是与所述第二实体属于不同业务方的业务实体，所述第二实体及各个候选实体各自对应的表征向量基于训练好的表征模型处理预先构建的异构图确定，所述异构图包括多个关系网络，单个关系网络包括多个节点和多个连接边，各个节点分别对应各个业务实体，且各自对应有基于相应业务实体的描述信息确定的节点表达向量，单个连接边连接的两节点对应的两个业务实体之间具有关联关系，至少一个关系网络的节点对应有所述第二实体或候选业务实体，所述表征模型包括与异构图中的各个关系网络一一对应的各个图神经网络，以及融合模型，各个图神经网络分别用于处理各个关系网络，以得到与单个关系网络中的各个业务实体分别对应的各个局部表征向量，单个业务实体的全局表征向量由所述融合模型对其在各个关系网络中分别的各个局部表征向量进行融合得到；检测各个候选业务实体分别与所述第二实体之间，全局表征向量的相似性；将各个候选业务实体中，相应的相似性满足预定条件的业务实体确定为目标实体，以进行信息推送。
根据第三方面，提供一种确定实体表征向量的方法，用于基于异构图确定若干个业务实体中的第一实体的表征向量，其中，所述异构图包括多个关系网络，单个关系网络包括多个节点和多个连接边，各个节点分别对应各个业务实体，且各自对应有基于相应业务实体的描述信息确定的节点表达向量，单个连接边连接的两节点对应的两个业务实体之间具有关联关系；所述方法包括：利用预先训练的各个图神经网络分别处理各个关系网络，从而得到相应的所述第一实体在各个关系网络中分别对应的各个局部表征向量；通过预先训练的融合模型融合各个局部表征向量，从而得到所述第一实体的表征向量，其中，所述融合模型和各个图神经网络共同构成表征模型，并基于所述异构图的各个关系网络中的节点间连接关系进行训练。
根据第四方面，提供一种训练表征模型的装置，所述表征模型包括若干图神经网络及融合模型，用于基于异构图确定各个实体的表征向量，所述异构图包括多个关系网络，各个关系网络与各个图神经网络一一对应，单个关系网络包括多个节点和多个连接边，各个节点分别对应各个业务实体，且各自对应有基于相应业务实体的描述信息确定的节点表达向量，单个连接边连接的两节点对应的两个业务实体之间具有关联关系；所述装置包括：
邻居表征单元，配置为通过各个图神经网络分别处理各个关系网络，其中，对于单个关系网络，相应图神经网络将各个节点与其邻居节点的节点表达向量相融合，从而得到各个业务实体在该单个关系网络下分别对应的各个局部表征向量；
全局融合单元，配置为对于单个业务实体，将其在各个关系网络中分别对应的各个局部表征向量进行融合，得到该单个业务实体的全局表征向量；
参数调整单元，配置为以极大化各个关系网络中具有连接关系的两两节点对应的全局表征向量的相似度为目标，调整模型参数。
根据第五方面，提供一种信息推送的装置，用于推送与第二实体对应的待推送信息，所述装置包括：
获取单元，配置为获取与所述第二实体对应的第二表征向量，以及与多个候选业务实体分别对应的各个候选表征向量，其中，所述候选业务实体是与所述第二实体属于不同业务方的业务实体，所述第二实体及各个候选实体各自对应的表征向量基于训练好的表征模型处理预先构建的异构图确定，所述异构图包括多个关系网络，单个关系网络包括多个节点和多个连接边，各个节点分别对应各个业务实体，且各自对应有基于相应业务实体的描述信息确定的节点表达向量，单个连接边连接的两节点对应的两个业务实体之间具有关联关系，至少一个关系网络的节点对应有所述第二实体或候选业务实体，所述表征模型包括与异构图中的各个关系网络一一对应的各个图神经网络，以及融合模型，各个图神经网络分别用于处理各个关系网络，以得到与单个关系网络中的各个业务实体分别对应的各个局部表征向量，单个业务实体的全局表征向量由所述融合模型对其在各个关系网络中分别的各个局部表征向量进行融合得到；
检测单元，配置为检测各个候选业务实体分别与所述第二实体之间，全局表征向量的相似性；
推送单元，配置为将各个候选业务实体中，相应的相似性满足预定条件的业务实体确定为目标实体，以进行信息推送。
根据第六方面，提供一种确定实体表征向量的装置，用于基于异构图确定若干个业务实体中的第一实体的表征向量，其中，所述异构图包括多个关系网络，单个关系网络包括多个节点和多个连接边，各个节点分别对应各个业务实体，且各自对应有基于相应业务实体的描述信息确定的节点表达向量，单个连接边连接的两节点对应的两个业务实体之间具有关联关系；所述装置包括：
邻居表征单元，配置为利用预先训练的各个图神经网络分别处理各个关系网络，从而得到相应的所述第一实体在各个关系网络中分别对应的各个局部表征向量；
全局融合单元，配置为通过预先训练的融合模型融合各个局部表征向量，从而得到所述第一实体的表征向量，其中，所述融合模型和各个图神经网络共同构成表征模型，并基于所述异构图的各个关系网络中的节点间连接关系进行训练。
根据第七方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面、第二方面或第三方面的方法。
根据第八方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面、第二方面或第三方面的方法。
通过本说明书实施例提供的方法和装置，打破不同关联关系的界限，基于各个关联关系构建的异构图，将各个业务实体统一用表征向量的方式表示，可以更好地描述复杂关系下的业务实体，为业务实体提供有效的表达。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出本说明书技术构思下的一个具体实施架构示意图；
图2示出一个具体业务场景下与广告牌相关的关系网络建立过程中，在一个具体例子中广告牌与其他业务实体的关联范围示意图；
图3示出根据一个实施例的训练表征模型的方法流程图；
图4示出根据一个实施例的训练表征模型的装置的示意性框图；
图5示出根据一个实施例的信息推送的装置的示意性框图；
图6示出根据一个实施例的确定实体表征向量的装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
首先，结合图1示出的一个具体实施场景进行说明。本说明书中，所获取的数据可以包括不同的业务实体，各种业务实体之间可以具有不同元路径下的连接关系。如图1所示，是一个广告投放的信息推送场景。在该实施场景中，商户、用户、广告牌等等都可以作为相关的业务实体。这些业务实体相互之间可以具有不同的关联路径。例如，用户和商户之间，可以具有到访、消费之类的关联路径，用户和广告牌之间可以具有曝光(例如用户在广告牌前经过或停留等)之类的关联路径，商户和广告牌之间可以具有距离、角度之类的关联路径，等等。
为了挖掘各种业务实体之间的关联关系，可以通过图数据来表示这些关联关系。图数据的形象化表示又可以称为关系网络。为了构建关系网络，可以将每种关联路径下，相关业务实体用节点表示，对于具有关联关系的两两业务实体，相应的两两节点之间通过连接边连接。这样，多种关联路径可以构建出多个关系网络，这多个关系网络可以称之为异构图。
在真实的业务场景中，每种关联关系都可能对相关业务结果产生影响。例如，在广告牌投放广告的信息推送业务需求下，可以考虑附近的商户与广告牌之间的位置关系、到访商户的用户，以及到访商户的用户与相关广告是否有曝光等因素。
为了充分利用各种关联关系，得到更精准的信息推送(广告投放)结果，本说明书提出一种针对各个业务实体，融合多种关联关系下的节点及其邻居节点的表达，得到各自的表征向量，再按照表征向量的相关性，确定信息推送的目标，例如推送信息为商户的广告时，推送的目标可以是所针对的用户，或者所选择的广告屏等。也就是说，所有的用户、广告屏都可以作为推送目标的候选业务实体。通常，候选业务实体与推送信息对应的业务实体属于不同业务方。
参考图1所示，作为一个具体的应用场景，可以预先构建多个关系网络，构成异构图。例如用户-商户到访网络、用户与广告牌的曝光关系网络、商户与广告牌位置关系网络等。其中，用户-商户到访关系网络例如可以将用户在商户的支付行为作为关联路径，在该关系网络中，各个节点可以分别对应各个用户或商户，如果用户在商户发生支付行为，则与该用户和商户相对应的两个节点之间通过连接边连接。在可选的实施例中，还可以将用户在商户的停留行为作为关联路径，在这种关系网络中，可以根据用户设备的定位与商户位置的关联关系来检测用户在商户的停留行为。例如，用户连接到商户的无线网络、商户无线网络扫描到用户设备的信号强度最强的时长大于预定时长(如1分钟)等，可以表示用户在商户停留。商户与广告牌的位置关系网络中，例如可以将落入广告牌的可视角度及可视距离内的商户与相应广告牌连接。广告牌的可视角度可以按照广告牌的尺寸和预定视角来确定。如图2所示，一个广告屏形式的广告牌，其可视范围的两侧边界可以按照该边界与广告屏的水平方向呈预定角度，面向广告屏，且在预定距离(如10米)范围内的商户，可以认为是有关联关系的广告牌。对于用户-广告牌曝光关系网络来说，可以按照与商户-广告牌类似的方式确定其曝光关系，区别在于，用户的曝光可以在广告牌前停留预定时长(如1分钟)。可选地，用户对应的预定距离可以小于商户，如为3米等。
然后，可以利用表征模型处理以上构建的异构图，得到异构图中各个节点对应的表征向量。表征模型可以分为两个部分，一部分可以用于处理各个关系网络，例如为图神经网络，另一部分可以将各部分的处理结果进行融合，例如称为融合模型。经过两部分的处理，可以将业务实体在各个关系网络中的表达融合在一起，得到融合后的表征向量。
可以理解，各个业务实体各自对应的表征向量可以用来从多个方面描述该业务实体。在各种业务实体都通过这种表征向量来表示的情况下，表征向量之间的相似程度，可以反映出业务实体之间的关联程度。因此，在本说明书的技术构思下，可以比较业务实体对应的表征向量之间的相似程度，从而在相似程度较高的业务实体之间进行信息推送。例如图1中，可以比较商户A对应的表征向量与各个广告牌、用户业务实体分别对应的各个表征向量之间的相似程度，并选择相似程度较高的若干广告牌或用户进行关于商户A的广告推送。
本说明书的技术构思，打破不同关联关系的界限，基于各个关联关系构建的异构图，将各个业务实体统一用表征向量的方式表示，可以更好地描述复杂关系下的业务实体，为业务实体提供有效的表达，从而提高信息推送的有效性。
下面详细描述本说明书的技术构思。
图3示出了根据本说明书一个实施例的训练表征模型的流程示意图。该流程的执行主体可以是具有一定计算能力的计算机、设备、服务器等。可以理解，表征模型用于处理异构图，得到表征向量，因此，在训练表征模型之前，可以先构建相关业务场景下的异构图。其中，异构图可以包括多个关系网络，各个关系网络分别表示不同的各种连接关系。在单个关系网络中，各个节点分别对应各个业务实体，且对应有基于相应业务实体的描述信息确定的节点表达向量。在单个关系网络中，具有关联关系的业务实体对应的两两节点可以通过连接边连接。
这里，异构图中的业务实体可以通过实际的业务场景确定，例如，图1的具体示例中，业务实体可以包括商户、用户及广告牌。此外，在客服场景中，业务实体还可以包括用户、问题、答案等。
如图3所示，该流程可以包括：步骤301，通过各个图神经网络分别处理各个关系网络，其中，对于单个关系网络，相应图神经网络将各个节点与其邻居节点的节点表达向量相融合，从而得到各个业务实体在该单个关系网络下分别对应的各个局部表征向量；步骤302，对于单个业务实体，将其在各个关系网络中分别对应的各个局部表征向量进行融合，得到该单个业务实体的全局表征向量；步骤303，以极大化各个关系网络中具有连接关系的两两节点对应的全局表征向量的相似度为目标，调整模型参数。
首先，在步骤301中，通过各个图神经网络分别处理异构图中的各个关系网络。可以理解，单个关系网络经过图神经网络的处理之后，各个节点的节点表达向量得到更新。如果将更新后的节点表达向量称为相应节点的局部表征向量，则对于单个关系网络，相应图神经网络将各个节点与其邻居节点的节点表达向量相融合，从而得到各个业务实体在该单个关系网络下分别对应的各个局部表征向量。对于单个业务实体，可以得到在异构图中分别对应于各个关系网络的各个局部表征向量。
其中，在单个关系网络中，图神经网络可以将各个节点与其邻居节点的节点表达向量进行聚合。可以理解，在单个关系网络中，各个节点可以分别对应有初始的节点表达向量。初始的节点表达向量可以根据相应业务实体的描述信息确定。这里的描述信息可以是对业务实体的各个方面进行描述的信息，例如，对商户的描述信息可以包括：经营项目、营业时间、营业额、经营时长、地理位置等等，对用户的描述信息可以包括：居住地、消费习惯、出行习惯、消费偏好等等。根据描述信息可以提取相关特征，即确定相应特征值，例如经营项目可以用不同特征值表示不同的项目类别，消费偏好中的不同特征值表示不同的偏好类别(如用103表示偏好用餐消费)，在偏好类别下，还可以通过另外的特征值描述相应偏好类别的偏好程度(如用0.8表示用餐消费概率)，或者通过其他特征值描述偏好类别下的进一步的偏好信息(如31表示偏好口味辣)。
图神经网络是用于处理图数据的神经网络结构。图神经网络可以将单个节点的多个邻居节点的特征进行聚合。当前节点的邻居节点是和当前节点之间具有连接路径的节点。例如，和当前节点直接通过连接边连接的节点为当前节点的一阶邻居节点，和当前节点的一阶邻居节点直接通过连接边连接的节点为当前节点的二阶邻居节点等等。本说明书中的邻居节点可以预先定义，例如，预定阶数(如3)内的邻居节点，或者通过预定阶数(如3)随机选择的若干连接路径上的节点，如针对当前节点随机选择其一阶邻居节点中的3个节点作为邻居节点，并在随机选择的单个节点的一阶邻居节点中随机选择3个作为当前节点的邻居节点，等等。可选地，单个节点可以看作其自身的邻居节点。
对于邻居节点的节点表达向量，可以通过诸如加权、求和、求平均、取最大值等多种方式进行聚合。下面描述几种可选的实施方式。
在一个实施方式中，对于节点i，节点表达向量的聚合方式可以为，对各个邻居节点的当前节点表达向量求平均后，与当前节点的节点表达向量加权求和，或者叠加。此时，图神经网络的表达例如为：
其中，N为节点i的邻居节点数量，N(i)为节点i的邻居节点集合，且该表达式中的邻居节点不包括节点i自身。
在一个实施方式中，对于关系网络Φ中的节点i，节点表达向量的聚合方式可以为，确定节点i及其邻居节点的重要度值，并通过基于重要度值确定的权重，对各个邻居节点的节点表达向量加权求和，利用得到的向量更新节点i的节点表达向量。
作为一个具体示例，邻居节点j的重要度值例如可以表示为：
其中，σ为激活函数，aΦ为用于处理关系网络Φ的图神经网络中的向量参数，hi′、hj′分别为节点i和节点j在关系网络Φ的当前节点表达向量，||表示向量拼接。
进一步地，可以将各个邻居节点的当前表达向量，以重要度值作为权重，加权求和以更新节点i的节点表达向量。还可以以与重要度值正相关的数值作为权重，对各个邻居节点的当前表达向量加权。在一个可选的实施例中，可以通过softmax函数，将邻居节点间的重要性归一化成概率分布，如：
按照归一化的概率分布，各个节点对应的重要度值根据该概率分布确定，例如，单个节点对应的重要度值为概率分布中相应的元素值。更新节点i的节点表达向量，如：
其中，Ni表示节点i的邻居节点集合。
在更多实施例中，邻居节点融合可以有更多合理的方式，在此不再赘述。可以理解的是，图神经网络可以有多层，使得对邻居节点的融合表达可以通过多次迭代获得，从而获取更复杂的空间关系。
值得说明的是，在异构图中，各个关系网络对应的业务实体相互之间可以一致，例如都包含对应商户、用户、广告牌等业务实体的节点，也可以不一致，例如一个关系网络中包含对应的业务实体为商户和用户的节点，另一个关系网络包含对应的业务实体为用户和广告牌的节点，等等。对于各个业务实体来说，其初始的节点表达向量的维度可以一致，也可以不一致。在各个关系网络初始的节点表达向量的维度一致的情况下，用于处理各个关系网络的图神经网络可以一致或不一致。在各个关系网络初始的节点表达向量的维度不一致的情况下，可以通过图神经网络处理为维度一致的表达向量。
对于单个关系网络而言，经过图神经网络处理后，最终输出的节点表达向量可以为相应的业务实体相对于该单个关系网络的局部表达向量。
对于单个业务实体而言，其在包含相应节点的关系网络中，可以确定局部表征向量，在不包含相应节点的关系网络中，可以认为不存在局部表征向量，或者认为存在各个维度均为0的局部表征向量。
值得说明的是，用于处理各个关系网络的各个图神经网络可以一致，即用一个图神经网络处理异构图中全部的关系网络，也可以不一致，此时，图神经网络可以与关系网络一一对应，即单个图神经网络处理一个关系网络，在此不作限定。
接着，通过步骤302，对于单个业务实体，将其在各个关系网络中分别对应的各个局部表征向量进行融合，得到该单个业务实体的全局表征向量。如此，对于每个业务实体都可以得到一个全局表征向量。
其中，对于单个业务实体，其在各个关系网络中的各个局部表征向量的融合方式可以是叠加、求加权和、求平均等各种方式。根据一个可能的设计，其融合方式可以是按照注意力机制的融合方式。
可以理解，注意力机制是一种通过挖掘相关数据的重要程度，来对数据中包含的信息进行融合的机制。在注意力机制的融合方式下，可以通过注意力值描述各种数据的重要程度。
作为示例，当前业务实体在其中一个关系网络上的注意力值可以通过以下方式确定：
其中，Zρ是当前业务实体在关系网络Φ下对应的局部表征向量，
是当前业务实体在所有关系网络的元路径下的局部表征向量的拼接向量，<是当前业务实体在所有的关系网络对应的局部表征向量集合。也就是说，针对某个业务实体，在某个关系网络下，可以将当前业务实体在该关系网络下对应的局部表征向量为自变量的指数函数与各个关系网络下对应的各个局部表征向量分别为自变量的指数函数之和的比值，确定为当前业务实体对应于该关系网络的注意力值。
可以理解，Zρ可以是模型参数，可以在图神经网络训练过程中通过样本数据调整确定，
可以是具体到确定当前实体在步骤302中的各个局部表征向量的拼接向量，根据
和各个ZΦ，可以确定当前业务实体在不同关系网络下的局部表征向量的注意力值。
进一步地，可以针对当前业务实体，以注意力值为权重进行加权融合，得到其全局表征向量，例如：
值得说明的是，以上按照注意力机制确定业务实体对应的注意力值的方法仅为示例，在实践中，还可以通过其他任意可行的注意力方式确定各个表征向量的权重，在此不再赘述。
为了衡量两两业务实体之间的关联性，可以计算相应的全局表征向量的相似性。从而，在步骤303中，以极大化各个关系网络中具有连接关系的两两节点的全局表征向量的相似度为目标，调整模型参数。
其中，向量之间的相似度可以根据各种可行的方式衡量，例如余弦相似度、欧氏距离、皮尔逊系数等等。具有关联关系的业务实体，可以假设他们的全局表征向量具有较高的相似度。可以理解，根据在单个关系网络中具有连接关系的两两节点对应的两两全局表征向量，可以构建正样本。对于正样本而言，可以通过调整模型参数，使相关全局表征向量的相似度向最大化方向改变。
通常，可以针对各个关系网络，确定模型损失。根据以上描述可知，这里的模型可以包括以上步骤中涉及可调整模型参数的部分，即图神经网络和将各个局部表征向量进行融合的融合模型。针对其中一个关系网络Φ，例如损失例如可以与具有连接关系的所有两两节点的表征向量的相似度的对数负相关，如：
其中，其中
为模型对样本i是否为正样本的二分预测估计，或者说预测为正样本的概率。其例如可以通过两个全局表征向量的相似度表示。
为了利用更全面的模型数据，还可以根据单个关系网络中没有连接关系的两两节点，构建负样本。则，在最大化具有连接关系的两两节点的全局表征向量的相似度的同时，还可以最小化不具有连接关系的两两节点的全局表征向量的相似度。
此时，单个关系网络中的模型损失例如可以表示为：
其中，
在正样本的情况下，取1，否则取0。
进一步地，各个关系网络下，表征模型的总模型损失可以为各个关系网络的损失之和，如：
在可选的实施例中，表征模型的总模型损失还可以为各个关系网络的损失加权和，如：
其中，权重可以由人工设定，或者利用类似上述的局部表征向量融合的方法(如注意力机制)确定，在此不做限定。
通常，可以计算模型损失对各个模型参数的梯度，并利用梯度下降法、牛顿法等方式，调整各个模型参数。
可以理解，在各个模型参数收敛后，可以将用于处理各个关系网络的各个图神经网络，以及用于融合各个局部表征向量的融合模型，作为表征模型。表征模型对异构图(包含各个关系网络中初始的节点表达向量)进行处理，可以得到各个业务实体对应的表征向量。
另外，在表征模型训练好之后，表征模型中的模型参数都确定下来，如果异构图的结构(例如节点数量、连接边的连接关系)和业务实体的描述信息不产生变化，则各个业务实体的表征向量通常保持不变。于是，可以直接通过表征模型确定各个业务实体的表征向量，以供后续业务处理。例如，需要推送商户A的广告，可以使用确定的各个用户及广告屏分别对应的各个表征向量，与商户A的表征向量相比较，取相似度高于预定阈值，或者相似度最高的若干个用户，及若干个广告屏，作为广告推送的目标实体。
此时，假设待推送信息与各个业务实体中的第二实体(如商户A)对应，一个信息推送的方法可以包括以下步骤：获取与第二实体对应的第二表征向量，以及与多个候选业务实体分别对应的各个候选表征向量，其中各个业务实体对应的表征向量基于训练好的表征模型处理异构图确定，其中，候选业务实体通常是与待推送信息对应的业务实体类别不同的业务实体；检测各个候选业务实体与分别与第二实体之间，全局表征向量的相似性；将各个候选业务实体中，相应的相似性满足预定条件的业务实体确定为目标实体，以进行信息推送。例如目标实体包括100个用户和10个广告牌，则可以将商户A的广告推送给这100个用户，并在这10个广告牌上展示。
在一个实施例中，表征模型训练好之后，异构图的结构可能发生变化，例如业务实体的数量增加，导致单个关系网络中的节点实体数量增加、连接边数量增加等，此时，可以使用训练好的表征模型重新处理结构发生变化之后的异构图，得到各个业务实体的表征向量。可选地，异构图的结构还可以是实时更新的，例如，每增加一条新的用户在从未消费过的商户的消费记录，更新一次用户-商户到访网络。
此时，一种信息推送的方法可以包括以下步骤：利用预先训练的表征模型处理异构图，其中表征模型包括图神经网络和融合模型，图神经网络用于处理异构图中的各个关系网络，从而针对单个关系网络，可以得到各个业务实体分别对应的各个局部表征向量，对于单个业务实体，可以得到其分别在各个关系网络中的各个局部表征向量，融合模型用于融合单个业务实体在各个关系网络下的各个局部表征向量，得到其全局表征向量；检测候选业务实体与待推送信息对应的业务实体之间，全局表征向量的相似性，其中，候选业务实体通常是与待推送信息对应的业务实体类别不同的业务实体；将候选业务实体中，相应的相似性满足预定条件的业务实体确定为目标实体，以进行信息推送。
根据一个可能的设计，表征模型还可以用于处理其他异构图。例如，使用北京市海淀区某个业务场景下的业务数据构建的异构图训练的表征模型，用于处理北京市昌平区相同业务场景下的业务数据构建的异构图，得到北京市昌平区相同业务场景下的各个业务实体对应的表征向量，并用于后续的业务处理，例如确定推送待推送信息的目标实体等。
回顾以上过程，本说明书实施例提供的方法，通过表征模型，在按照不同关联关系建立的关系网络构成的异构图中，将单个关系网络中各个业务实体的表达向量与其邻居节点的表达向量相融合，得到相应的各个局部表征向量，进一步地，针对单个业务实体，将其在各个关系网络中的局部表征向量融合在一起，得到全局表征向量，然后，按照全局表征向量的相似性来进行业务处理，例如确定信息推送的目标实体等。由于通过异构图及表征模型进行多模态数据的融合，从而可以提升各种业务实体(如户外广告业务场景中涉及的用户、商户和户外广告牌)的特征表示的准确性，进而可以提升相关业务处理效果。
根据另一方面的实施例，还提供一种训练表征模型的装置。这里的表征模型可以包括若干图神经网络及融合模型，用于基于异构图确定各个实体的表征向量。其中，异构图可以包括多个关系网络，各个关系网络与各个图神经网络一一对应，单个关系网络包括多个节点和多个连接边，各个节点分别对应各个业务实体，且各自对应有基于相应业务实体的描述信息确定的节点表达向量，单个连接边连接的两节点对应的两个业务实体之间具有关联关系。如图4所示，训练表征模型的装置400可以包括：
邻居表征单元401，配置为通过各个图神经网络分别处理各个关系网络，其中，对于单个关系网络，相应图神经网络将各个节点与其邻居节点的节点表达向量相融合，从而得到各个业务实体在该单个关系网络下分别对应的各个局部表征向量；
全局融合单元402，配置为对于单个业务实体，将其在各个关系网络中分别对应的各个局部表征向量进行融合，得到该单个业务实体的全局表征向量；
参数调整单元403，配置为以极大化各个关系网络中具有连接关系的两两节点对应的全局表征向量的相似度为目标，调整模型参数。
根据一个实施例，单个图神经网络为n层神经网络，n为大于或等于1的整数，邻居表征单元401还可以配置为，在单层神经网络通过以下方式将单个节点与其邻居节点的节点表达向量相融合：
根据该单个节点及其邻居节点各自的节点表达向量，确定该单个节点的各个邻居节点相对于该单个节点分别对应的各个重要度值；
按照各个重要度值，确定各个邻居节点分别对应的各个权重；
基于利用各个权重对各个邻居节点的当前节点表达向量加权求和得到的向量，更新该单个节点的当前节点表达向量。
在一个进一步的实施例中，各个权重由通过激活函数对各个重要度值进行归一化得到的概率分布确定。
根据一个实施例，全局融合单元402可以进一步配置为：
对于单个业务实体，利用注意力机制确定各个局部表征向量分别对应的各个注意力值；
以相应的注意力值为权重对各个局部表征向量加权求和，得到该单个业务实体的全部表征向量。
根据一个实施例，参数调整单元403还可以配置为：基于单个关系网络中没有关联关系的两两节点，构建负样本；在极大化各个关系网络中具有连接关系的两两节点对应的全局表征向量的相似度的同时，极小化各个负样本中两两节点对应的全局表征向量的相似度，从而调整模型参数。
根据一个实施例，参数调整单元403进一步配置为：根据各个关系网络中，具有连接关系的两两节点对应的全局表征向量的相似度损失之和，确定单个关系网络中的模型损失；将各个关系网络中的模型损失叠加，得到表征模型的总损失；以总损失减小为目标，调整模型参数。
值得说明的是，图4所示的装置400是与图3示出的方法实施例相对应的装置实施例，图3示出的方法实施例中的相应描述同样适用于装置400，在此不再赘述。
另外，本说明书还提供一种信息推送的装置，用于推送与第二实体对应的待推送信息。如图5所示，装置500包括：
获取单元51，配置为获取与第二实体对应的第二表征向量，以及与多个候选业务实体分别对应的各个候选表征向量，其中，候选业务实体是与第二实体属于不同业务方的业务实体，第二实体及各个候选实体各自对应的表征向量基于训练好的表征模型处理预先构建的异构图确定，异构图包括多个关系网络，单个关系网络包括多个节点和多个连接边，各个节点分别对应各个业务实体，且各自对应有基于相应业务实体的描述信息确定的节点表达向量，单个连接边连接的两节点对应的两个业务实体之间具有关联关系，至少一个关系网络的节点对应有第二实体或候选业务实体，表征模型包括与异构图中的各个关系网络一一对应的各个图神经网络，以及融合模型，各个图神经网络分别用于处理各个关系网络，以得到与单个关系网络中的各个业务实体分别对应的各个局部表征向量，单个业务实体的全局表征向量由融合模型对其在各个关系网络中分别的各个局部表征向量进行融合得到；
检测单元52，配置为检测各个候选业务实体分别与第二实体之间，全局表征向量的相似性；
推送单元53，配置为将各个候选业务实体中，相应的相似性满足预定条件的业务实体确定为目标实体，以进行信息推送。
再一方面，还提供一种确定实体表征向量的装置，用于基于异构图确定若干个业务实体中的第一实体的表征向量。其中，异构图包括多个关系网络，单个关系网络包括多个节点和多个连接边，各个节点分别对应各个业务实体，且各自对应有基于相应业务实体的描述信息确定的节点表达向量，单个连接边连接的两节点对应的两个业务实体之间具有关联关系。
如图6所示，确定实体表征向量的装置600包括：
邻居表征单元61，配置为利用预先训练的各个图神经网络分别处理各个关系网络，从而得到相应的第一实体在各个关系网络中分别对应的各个局部表征向量；
全局融合单元62，配置为通过预先训练的融合模型融合各个局部表征向量，从而得到第一实体的表征向量，其中，融合模型和各个图神经网络共同构成表征模型，并基于异构图的各个关系网络中的节点间连接关系进行训练。
值得说明的是，图5、图6所示的装置500、600分别与前文描述的信息推送方法、表征向量确定方法等一致，前文描述的方法实施例中的相应描述同样适用于装置500、600，在此不再赘述。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2等所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2等所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本说明书的技术构思的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的技术构思的具体实施方式而已，并不用于限定本说明书的技术构思的保护范围，凡在本说明书实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的技术构思的保护范围之内。
Claims (18)
1.一种训练表征模型的方法，所述表征模型包括若干图神经网络及融合模型，用于基于异构图确定各个实体的表征向量，所述异构图包括多个关系网络，各个关系网络与各个图神经网络一一对应，单个关系网络包括多个节点和多个连接边，各个节点分别对应各个业务实体，且各自对应有基于相应业务实体的描述信息确定的节点表达向量，单个连接边连接的两节点对应的两个业务实体之间具有关联关系；所述方法包括：
通过各个图神经网络分别处理各个关系网络，其中，对于单个关系网络，通过相应图神经网络将各个节点与其邻居节点的节点表达向量相融合，从而得到各个业务实体在该单个关系网络下分别对应的各个局部表征向量；
对于单个业务实体，将其在各个关系网络中分别对应的各个局部表征向量进行融合，得到该单个业务实体的全局表征向量；
以极大化各个关系网络中具有连接关系的两两节点对应的全局表征向量的相似度为目标，调整模型参数。
2.根据权利要求1所述的方法，其中，单个图神经网络为n层神经网络，n为大于或等于1的整数，单层神经网络通过以下方式将单个节点与其邻居节点的节点表达向量相融合：
根据该单个节点及其邻居节点各自的节点表达向量，确定该单个节点的各个邻居节点相对于该单个节点分别对应的各个重要度值；
按照各个重要度值，确定各个邻居节点分别对应的各个权重；
基于利用各个权重对各个邻居节点的当前节点表达向量加权求和得到的向量，更新该单个节点的当前节点表达向量。
3.根据权利要求2所述的方法，其中，各个权重由通过激活函数对各个重要度值进行归一化得到的概率分布确定。
4.根据权利要求1所述的方法，其中，所述对于单个业务实体，将其在各个关系网络中分别对应的各个局部表征向量融合在一起，得到该单个业务实体的全局表征向量包括：
对于单个业务实体，利用注意力机制确定各个局部表征向量分别对应的各个注意力值；
以相应的注意力值为权重对各个局部表征向量加权求和，得到该单个业务实体的全部表征向量。
5.根据权利要求1所述的方法，其中，所述以极大化各个关系网络中具有连接关系的两两节点对应的全局表征向量的相似度为目标，调整模型参数包括：
基于单个关系网络中没有关联关系的两两节点，构建负样本；
在极大化各个关系网络中具有连接关系的两两节点对应的全局表征向量的相似度的同时，极小化各个负样本中两两节点对应的全局表征向量的相似度，从而调整模型参数。
6.根据权利要求1所述的方法，其中，所述以极大化各个关系网络中具有连接关系的两两节点对应的全局表征向量的相似度为目标，调整模型参数包括：
针对单个关系网络，根据具有连接关系的两两节点对应的全局表征向量的相似度损失之和，确定单个关系网络中的模型损失；
将各个关系网络中的模型损失叠加，得到表征模型的总损失；
以所述总损失减小为目标，调整模型参数。
7.一种信息推送的方法，用于推送与第二实体对应的待推送信息，所述方法包括：
获取与所述第二实体对应的第二表征向量，以及与多个候选业务实体分别对应的各个候选表征向量，其中，所述候选业务实体是与所述第二实体属于不同业务方的业务实体，所述第二实体及各个候选实体各自对应的表征向量基于训练好的表征模型处理预先构建的异构图确定，所述异构图包括多个关系网络，单个关系网络包括多个节点和多个连接边，各个节点分别对应各个业务实体，且各自对应有基于相应业务实体的描述信息确定的节点表达向量，单个连接边连接的两节点对应的两个业务实体之间具有关联关系，至少一个关系网络的节点对应有所述第二实体或候选业务实体，所述表征模型包括与异构图中的各个关系网络一一对应的各个图神经网络，以及融合模型，各个图神经网络分别用于处理各个关系网络，以得到与单个关系网络中的各个业务实体分别对应的各个局部表征向量，单个业务实体的全局表征向量由所述融合模型对该单个业务实体在各个关系网络中分别的各个局部表征向量进行融合得到；
检测各个候选业务实体分别与所述第二实体之间的全局表征向量的相似性；
将各个候选业务实体中，相应的相似性满足预定条件的业务实体确定为目标实体，以进行信息推送。
8.一种确定实体表征向量的方法，用于基于异构图确定若干个业务实体中的第一实体的表征向量，其中，所述异构图包括多个关系网络，单个关系网络包括多个节点和多个连接边，各个节点分别对应各个业务实体，且各自对应有基于相应业务实体的描述信息确定的节点表达向量，单个连接边连接的两节点对应的两个业务实体之间具有关联关系；所述方法包括：
利用预先训练的各个图神经网络分别处理各个关系网络，从而得到所述第一实体在各个关系网络中分别对应的各个局部表征向量；
通过预先训练的融合模型融合各个局部表征向量，从而得到所述第一实体的表征向量，其中，所述融合模型和各个图神经网络共同构成表征模型，并基于所述异构图的各个关系网络中的节点间连接关系进行训练。
9.一种训练表征模型的装置，所述表征模型包括若干图神经网络及融合模型，用于基于异构图确定各个实体的表征向量，所述异构图包括多个关系网络，各个关系网络与各个图神经网络一一对应，单个关系网络包括多个节点和多个连接边，各个节点分别对应各个业务实体，且各自对应有基于相应业务实体的描述信息确定的节点表达向量，单个连接边连接的两节点对应的两个业务实体之间具有关联关系；所述装置包括：
邻居表征单元，配置为通过各个图神经网络分别处理各个关系网络，其中，对于单个关系网络，通过相应图神经网络将各个节点与其邻居节点的节点表达向量相融合，从而得到各个业务实体在该单个关系网络下分别对应的各个局部表征向量；
全局融合单元，配置为对于单个业务实体，将其在各个关系网络中分别对应的各个局部表征向量进行融合，得到该单个业务实体的全局表征向量；
参数调整单元，配置为以极大化各个关系网络中具有连接关系的两两节点对应的全局表征向量的相似度为目标，调整模型参数。
10.根据权利要求9所述的装置，其中，单个图神经网络为n层神经网络，n为大于或等于1的整数，所述邻居表征单元进一步配置为，在单层神经网络通过以下方式将单个节点与其邻居节点的节点表达向量相融合：
根据该单个节点及其邻居节点各自的节点表达向量，确定该单个节点的各个邻居节点相对于该单个节点分别对应的各个重要度值；
按照各个重要度值，确定各个邻居节点分别对应的各个权重；
基于利用各个权重对各个邻居节点的当前节点表达向量加权求和得到的向量，更新该单个节点的当前节点表达向量。
11.根据权利要求10所述的装置，其中，各个权重由通过激活函数对各个重要度值进行归一化得到的概率分布确定。
12.根据权利要求9所述的装置，其中，所述全局融合单元进一步配置为：
对于单个业务实体，利用注意力机制确定各个局部表征向量分别对应的各个注意力值；
以相应的注意力值为权重对各个局部表征向量加权求和，得到该单个业务实体的全部表征向量。
13.根据权利要求9所述的装置，其中，所述参数调整单元还配置为：
基于单个关系网络中没有关联关系的两两节点，构建负样本；
在极大化各个关系网络中具有连接关系的两两节点对应的全局表征向量的相似度的同时，极小化各个负样本中两两节点对应的全局表征向量的相似度，从而调整模型参数。
14.根据权利要求9所述的装置，其中，所述参数调整单元进一步配置为：
针对单个关系网络，根据具有连接关系的两两节点对应的全局表征向量的相似度损失之和，确定单个关系网络中的模型损失；
将各个关系网络中的模型损失叠加，得到表征模型的总损失；
以所述总损失减小为目标，调整模型参数。
15.一种信息推送的装置，用于推送与第二实体对应的待推送信息，所述装置包括：
获取单元，配置为获取与所述第二实体对应的第二表征向量，以及与多个候选业务实体分别对应的各个候选表征向量，其中，所述候选业务实体是与所述第二实体属于不同业务方的业务实体，所述第二实体及各个候选实体各自对应的表征向量基于训练好的表征模型处理预先构建的异构图确定，所述异构图包括多个关系网络，单个关系网络包括多个节点和多个连接边，各个节点分别对应各个业务实体，且各自对应有基于相应业务实体的描述信息确定的节点表达向量，单个连接边连接的两节点对应的两个业务实体之间具有关联关系，至少一个关系网络的节点对应有所述第二实体或候选业务实体，所述表征模型包括与异构图中的各个关系网络一一对应的各个图神经网络，以及融合模型，各个图神经网络分别用于处理各个关系网络，以得到与单个关系网络中的各个业务实体分别对应的各个局部表征向量，单个业务实体的全局表征向量由所述融合模型对单个业务实体在各个关系网络中分别的各个局部表征向量进行融合得到；
检测单元，配置为检测各个候选业务实体分别与所述第二实体之间的全局表征向量的相似性；
推送单元，配置为将各个候选业务实体中，相应的相似性满足预定条件的业务实体确定为目标实体，以进行信息推送。
16.一种确定实体表征向量的装置，用于基于异构图确定若干个业务实体中的第一实体的表征向量，其中，所述异构图包括多个关系网络，单个关系网络包括多个节点和多个连接边，各个节点分别对应各个业务实体，且各自对应有基于相应业务实体的描述信息确定的节点表达向量，单个连接边连接的两节点对应的两个业务实体之间具有关联关系；所述装置包括：
邻居表征单元，配置为利用预先训练的各个图神经网络分别处理各个关系网络，从而得到所述第一实体在各个关系网络中分别对应的各个局部表征向量；
全局融合单元，配置为通过预先训练的融合模型融合各个局部表征向量，从而得到所述第一实体的表征向量，其中，所述融合模型和各个图神经网络共同构成表征模型，并基于所述异构图的各个关系网络中的节点间连接关系进行训练。
17.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-8中任一项的所述的方法。
18.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011497232.4A CN114648345A (zh) | 2020-12-17 | 2020-12-17 | 训练表征模型及确定实体表征向量的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011497232.4A CN114648345A (zh) | 2020-12-17 | 2020-12-17 | 训练表征模型及确定实体表征向量的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114648345A true CN114648345A (zh) | 2022-06-21 |
Family
ID=81990635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011497232.4A Pending CN114648345A (zh) | 2020-12-17 | 2020-12-17 | 训练表征模型及确定实体表征向量的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114648345A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160350834A1 (en) * | 2015-06-01 | 2016-12-01 | Nara Logics, Inc. | Systems and methods for constructing and applying synaptic networks |
| US20170193049A1 (en) * | 2015-12-31 | 2017-07-06 | Dassault Systemes | Retrieval of outcomes of precomputed models |
| CN111309983A (zh) * | 2020-03-10 | 2020-06-19 | 支付宝(杭州)信息技术有限公司 | 基于异构图进行业务处理的方法及装置 |
| CN111339315A (zh) * | 2020-02-21 | 2020-06-26 | 南京星火技术有限公司 | 知识图谱构建方法、系统、计算机可读介质和电子设备 |
| CN111445898A (zh) * | 2020-03-17 | 2020-07-24 | 科大讯飞股份有限公司 | 语种识别方法、装置、电子设备和存储介质 |
| US20200311110A1 (en) * | 2019-03-29 | 2020-10-01 | Microsoft Technology Licensing, Llc | Latent feature extraction from a network graph |
| CN111813925A (zh) * | 2020-07-14 | 2020-10-23 | 混沌时代(北京)教育科技有限公司 | 一种基于语义的无监督自动摘要方法及系统 |
| CN111931506A (zh) * | 2020-05-22 | 2020-11-13 | 北京理工大学 | 一种基于图信息增强的实体关系抽取方法 |
-
2020
- 2020-12-17 CN CN202011497232.4A patent/CN114648345A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160350834A1 (en) * | 2015-06-01 | 2016-12-01 | Nara Logics, Inc. | Systems and methods for constructing and applying synaptic networks |
| US20170193049A1 (en) * | 2015-12-31 | 2017-07-06 | Dassault Systemes | Retrieval of outcomes of precomputed models |
| US20200311110A1 (en) * | 2019-03-29 | 2020-10-01 | Microsoft Technology Licensing, Llc | Latent feature extraction from a network graph |
| CN111339315A (zh) * | 2020-02-21 | 2020-06-26 | 南京星火技术有限公司 | 知识图谱构建方法、系统、计算机可读介质和电子设备 |
| CN111309983A (zh) * | 2020-03-10 | 2020-06-19 | 支付宝(杭州)信息技术有限公司 | 基于异构图进行业务处理的方法及装置 |
| CN111445898A (zh) * | 2020-03-17 | 2020-07-24 | 科大讯飞股份有限公司 | 语种识别方法、装置、电子设备和存储介质 |
| CN111931506A (zh) * | 2020-05-22 | 2020-11-13 | 北京理工大学 | 一种基于图信息增强的实体关系抽取方法 |
| CN111813925A (zh) * | 2020-07-14 | 2020-10-23 | 混沌时代(北京)教育科技有限公司 | 一种基于语义的无监督自动摘要方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210073283A1 (en) | Machine learning and prediction using graph communities | |
| US11238473B2 (en) | Inferring consumer affinities based on shopping behaviors with unsupervised machine learning models | |
| US11188935B2 (en) | Analyzing consumer behavior based on location visitation | |
| US11188928B2 (en) | Marketing method and apparatus based on deep reinforcement learning | |
| US10679260B2 (en) | Cross-device message touchpoint attribution | |
| CN105447730B (zh) | 目标用户定向方法及装置 | |
| CN108476334B (zh) | 广告投放的跨屏优化 | |
| EP3320512B1 (en) | Mobile attribute time-series profiling analytics | |
| US8732015B1 (en) | Social media pricing engine | |
| US9910898B2 (en) | Smart exploration methods for mitigating item cold-start problem in collaborative filtering recommendation systems | |
| US10552863B1 (en) | Machine learning approach for causal effect estimation | |
| US20160210656A1 (en) | System for marketing touchpoint attribution bias correction | |
| JP7285521B2 (ja) | 類似のモバイル装置を予測するためのシステムと方法 | |
| CN106776925B (zh) | 一种移动终端用户性别的预测方法、服务器和系统 | |
| TW201310986A (zh) | 虛擬廣告平台 | |
| US20190114677A1 (en) | Systems and Methods for User Propensity Classification and Online Auction Design | |
| EP3469538A1 (en) | System and method for incorporating branded creative content into messaging services | |
| US20230342797A1 (en) | Object processing method based on time and value factors | |
| US20150254651A1 (en) | Optimizing financial transactions network flow | |
| CN110720099A (zh) | 基于种子监督学习提供推荐的系统和方法 | |
| CN113034168A (zh) | 内容项投放方法、装置、计算机设备及存储介质 | |
| US20150371241A1 (en) | User identification through subspace clustering | |
| US20230267062A1 (en) | Using machine learning model to make action recommendation to improve performance of client application | |
| CN114648345A (zh) | 训练表征模型及确定实体表征向量的方法及装置 | |
| CN112767054A (zh) | 数据推荐方法、装置、服务器和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |