CN111538906B - 基于隐私保护的信息推送方法及装置 - Google Patents

基于隐私保护的信息推送方法及装置 Download PDF

Info

Publication number
CN111538906B
CN111538906B CN202010477510.3A CN202010477510A CN111538906B CN 111538906 B CN111538906 B CN 111538906B CN 202010477510 A CN202010477510 A CN 202010477510A CN 111538906 B CN111538906 B CN 111538906B
Authority
CN
China
Prior art keywords
vector
objects
candidate
node
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010477510.3A
Other languages
English (en)
Other versions
CN111538906A (zh
Inventor
杨明晖
崔恒斌
陈晓军
胡斌斌
陈显玲
曹绍升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010477510.3A priority Critical patent/CN111538906B/zh
Publication of CN111538906A publication Critical patent/CN111538906A/zh
Application granted granted Critical
Publication of CN111538906B publication Critical patent/CN111538906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6263—Protecting personal data, e.g. for financial or medical purposes during internet communication, e.g. revealing personal data from cookies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioethics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供一种基于隐私保护的信息推送方法和装置，可以用于在保护用户隐私数据的前提下，基于历史会话中的对象选择序列建立异构图，并根据异构图体现出的推送对象之间的深层关联关系，从多个候选推送对象中确定若干个目标对象进行信息推送。根据一个实施方式，可以获取当前会话中的对象选择序列，并添加目标项构成预测序列，接着，将预测序列中的各项基于异构图确定描述向量，再根据各个描述向量推测目标项的预测向量，之后根据预测向量和各个候选推送对象的描述向量的对比，为目标项确定多个目标对象。该实施方式可以提高信息推送的准确度。

Description

基于隐私保护的信息推送方法及装置
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及通过计算机基于隐私保护的信息推送方法和装置。
背景技术
信息推送是通过一定的技术标准或协议，在互联网上自动传送用户可能需要的信息来减少信息过载，减少用户在网络上搜索的时间的一项技术。其可以根据用户的兴趣来搜索、过滤信息，以推给用户，帮助用户高效率地发掘有价值的信息。
为了更精准地进行信息推送，常规技术中采用对用户画像、行为等进行分析的个性化推送方法。然而，随着隐私保护需求的增长，可能越来越多地出现用户通过匿名方式访问，或者通过设置拒绝获取个人信息等情形。这样的情形下，往往可以根据用户当前会话中对推送信息的选择序列本身的相互关联，来推断用户的信息需求。然而，选择序列中的各个选择对象，除了其本身的相互关联，还可能存在更深层的联系，如果能够充分利用这种更深层的联系，有利于更有效地为用户推送符合用户需求的目标信息。
发明内容
本说明书一个或多个实施例描述了一种基于隐私保护的信息推送方法及装置，可以挖掘候选推送对象中的深层关联关系，从而进行更精准的信息推送。
根据第一方面，提供了一种基于隐私保护的信息推送方法，用于在当前会话中，在保护用户隐私数据的前提下，从多个候选推送对象中确定若干个目标对象进行信息推送，所述方法包括：获取当前会话中的对象选择序列，所述对象选择序列包括用户在当前会话中依次从推送对象中选择的若干对象项；在所述对象选择序列之后补充对应于待预测的目标对象的目标项，构成预测序列；将所述预测序列中的各个项分别通过各个描述向量进行表示，其中，所述对象选择序列中的单个对象项对应的单个描述向量基于预先建立的异构图确定，所述异构图用于描述各个候选推送对象之间在预定的多个关联类型下的连接关系，所述多个关联类型相互独立；按照所述预测序列中各个项的上下文顺序，以及各个描述向量之间相互的注意力关系，确定所述目标项对应的预测向量；基于各个候选推送对象的描述向量与所述预测向量，检测各个候选推送对象作为所述目标项的可能性；根据检测结果，从各个候选推送对象中为所述目标项确定用于对象选择序列进行信息推送的若干个目标对象。
根据一个实施例，所述对象选择序列中包括第一对象项，所述第一对象项对应所述异构图中的第一候选推送对象，所述第一对象项对应的第一描述向量通过以下方式确定：针对所述第一候选推送对象，分别按照各个连接关系进行邻居表达向量的融合，得到所述第一候选推送对象在各个连接关系下分别对应的各个表达向量；基于对各个表达向量的融合，得到所述第一描述向量。
根据一个实施例，所述多个关联类型包括第一关联类型，在描述各个候选推送对象之间在所述第一关联类型下的第一连接关系下，所述第一推送对象对应第一节点，所述针对所述第一候选推送对象，分别按照各个连接关系进行邻居表达向量的融合，得到所述第一候选推送对象在各个连接关系下分别对应的各个表达向量包括：在所述第一连接关系下，基于对所述第一节点的各个邻居节点的表达向量的加权平均结果，得到所述第一节点对应的第一表达向量。
根据一个实施例，所述第一节点在所述第一连接关系下的邻居节点包括第二节点，所述第二节点的加权系数根据以下项确定：所述第二节点针对所述第一节点的注意力值，与所述第一节点的各个邻居节点针对所述第一节点的注意力值的比值。
根据一个实施例，所述第二节点针对所述第一节点的注意力值基于第一节点的当前表达向量与第二节点的当前表达向量的拼接向量，与第一辅助矩阵的乘积确定。
根据一个实施例，所述第一表达向量由针对所述第一节点的邻居节点表达向量的、相互独立的M次加权平均得到的M个加权平均结果进行拼接得到。
根据一个实施例，所述基于对各个表达向量的融合，确定所述第一描述向量包括：对各个表达向量加权求和，得到第一描述向量。
根据一个实施例，所述多个关联类型包括第二关联类型，在描述各个候选推送对象之间在所述第二关联类型下的第二连接关系下，所述第一候选推送对象对应的第二表达向量的加权权重通过以下方式确定：利用第二辅助矩阵处理所述第二表达向量，从而确定其对应的注意力值；根据所述第二表达向量的注意力值，针对各个表达向量分别对应的各个注意力值的归一化结果，确定所述第二表达向量的加权权重。
根据一个实施例，所述按照所述预测序列中各个项的上下文顺序，以及各个描述向量之间相互的注意力关系，确定所述目标项对应的预测向量包括：各个描述向量经由包含自注意力机制的编码模型，按照上下文顺序融合其他描述向量而分别得到相应的各个编码向量；根据所述目标项对应的编码向量，确定其预测向量。
根据一个实施例，所述基于各个候选推送对象的描述向量与所述预测向量，检测各个候选推送对象作为所述目标项的可能性包括以下至少一项：利用单个候选推送对象的描述向量与所述预测向量的相似度，衡量相应候选推送对象作为目标项的可能性；利用第三辅助矩阵对单个候选推送对象的描述向量与所述预测向量的拼接向量的处理结果，衡量相应候选推送对象作为目标项的可能性。
根据第二方面，提供一种基于隐私保护的信息推送装置，用于在当前会话中，在保护用户隐私数据的前提下，从多个候选推送对象中确定若干个目标对象进行信息推送，所述装置包括：
获取单元，配置为获取当前会话中的对象选择序列，所述对象选择序列包括用户在当前会话中依次从推送对象中选择的若干对象项；
添加单元，配置为在所述对象选择序列之后补充对应于待预测的目标对象的目标项，构成预测序列；
描述单元，配置为将所述预测序列中的各个项分别通过各个描述向量进行表示，其中，所述对象选择序列中的单个对象项对应的单个描述向量基于预先建立的异构图确定，所述异构图用于描述各个候选推送对象之间在预定的多个关联类型下的连接关系，所述多个关联类型相互独立；
预测单元，配置为按照所述预测序列中各个项的上下文顺序，以及各个描述向量之间相互的注意力关系，确定所述目标项对应的预测向量；
检测单元，配置为基于各个候选推送对象的描述向量与所述预测向量，检测各个候选推送对象作为所述目标项的可能性；
决策单元，配置为根据检测结果，从各个候选推送对象中为所述目标项确定用于对象选择序列进行信息推送的若干个目标对象。
根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
通过本说明书实施例提供的基于隐私保护的信息推送方法及装置，可以通过使用图算法挖掘待推送信息之间错综复杂的关联关系，并基于这种关联关系进行目标项的推荐，不依赖用户本身，从而避免使用用户隐私数据，有利于隐私保护。此外，用户向客服机器人的咨询通常是多轮交互，需要多篇文章才能解决问题，所以在关键词推荐时充分考虑了一通会话中的上下文信息（对象选择序列），并使用注意力机制优化连续点击下的关键词推送的准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出本说明书披露的一个实施例的实施场景示意图；
图2示出根据一个实施例的基于隐私保护的信息推送的方法流程图；
图3示出一个具体例子的异构图示意图；
图4示出一个具体例子的针对对象选择序列中的单个对象项，确定描述向量的过程示意图；
图5示出一个具体例子的处理预测序列得到预测向量的网络架构示意图；
图6示出根据一个实施例的基于隐私保护的信息推送的装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
为了便于说明，结合图1示出的本说明书实施例的一个具体适用场景进行描述。图1示出的实施场景是一个终端的就医咨询类的客服场景。实践中，本说明书实施例可以适用于各种信息推送场景，在此不做限定。信息推送的方法可以由终端执行，也可以由为终端应用提供服务的服务端执行，在此不作限定。
如图1所示，该实施场景下，推送信息可以包括两种（实践中也可以为1种或者更多种），第一种推送信息是文档，第二种推送信息是关键词（也可以称为词条标签）。文档可以通过标题或关键字等在区域101展示，关键词可以在区域103展示，区域102为客服会话区域。通常，区域101展示的“春季腹泻的常见对策”、“孩子发烧怎么办”等等，可以是文档标题，也可以是从文档中提取出的能够明确概括描述文档内容的关键语句，还可以是文档的第一个句子。能够明确概括描述文档内容的关键语句例如是，“咳嗽的原因分析”，具有明确的对咳嗽这种症状的原因进行的分析的语义的句子。而区域103展示的关键词则可以是概括性的，描述文档类别或文档中的关键词。如此，可以理解，一个关键词可以对应多篇文档，一篇文档也可以对应多个关键词。例如，关键词“腹泻”可以对应文档“春季腹泻的常见对策”，也可以对应文档“腹泻原因分析”等等。文档“咳嗽的原因分析”可以对应关键词“咳嗽”，也可以对应关键词“感冒”、“过敏”等。
在图1的场景中，待推送信息可以是文档，也可以是关键词。当用户进入客服页面时，除了常规的客服会话窗口，还可以向用户推荐若干文档和/或若干关键词，以供用户参考。如果用户在区域101/区域102看到了自己需要的文档/关键词信息，可以通过点击等方式选择相关信息进行阅读，也可以继续通过区域102与客服进行会话。
信息推送的方法可以用于推送文档，也可以用于推送关键词。为了方便描述，在本说明书中，以待推送信息为关键词为例进行说明。其中，图1示出的关键词以词条标签的形式推送给用户。信息推送的目的在于预测用户在当前会话中需要的下一个关键词，推送的关键词在客服场景中可以动态调整，并实时展示在区域103。
常规技术中，在无法获取用户隐私数据的情况下，通常按照用户在当前会话中顺序选择的标签，来预测下一个可能的标签。例如，用户点击了“咳嗽”、“过敏”，则形成点击序列“咳嗽、过敏”，并可以根据该点击序列中各个关键词的语义关联关系，预测后续可能需要的关键词。值得说明的是，在用户进入客服会话之初，由于还未点击任何关键词，此时，可以根据大数据统计结果向用户推送较常用，或点击率较高的多个关键词和文档，或者随机推送多个关键词和文档，在此不作限定。
考虑到用户在点击关键词过程中，可能还会浏览文档或与客服交流等，因此，下一需要的关键词可能不仅仅与关键词点击序列关联，还可能与其他实体（如文档）相关联。因此，本说明书的实施架构下，还可以挖掘关键词之间除了词汇本身的关联之外，通过其他实体关联的关联路径，以提高关键词推送的准确度。
下面详细描述本说明书的技术构思。
图2示出了根据本说明书一个实施例基于隐私保护的信息推送的流程。该流程的执行主体可以是具有一定计算能力的设备、终端或服务器，例如图1示出的终端。在本说明书的技术构思下，向用户展示的推送对象可以随着当前会话的进行不断更新，例如图1中，当用户选择一个关键词或输入一个语句时，区域101展示的文档和区域103展示的关键词都会随之更新。当用户选择一篇文档时，区域103展示的关键词随之更新（此时，区域101和区域102可能会变化为文档展示区域，或产生其它页面架构）。每次更新之前可以通过图2示出的信息推送的流程确定用于更新推送对象的目标对象。
如图2所示，该基于隐私保护的信息推送方法可以包括以下步骤：步骤201，获取当前会话中的对象选择序列，对象选择序列包括用户在当前会话中依次从推送对象中选择的若干对象项，其中，推送对象是候选推送对象中被推送给用户的对象；步骤202，在对象选择序列之后补充对应于待预测的目标对象的目标项，构成预测序列；步骤203，将预测序列中的各个项分别通过各个描述向量进行表示，其中，对象选择序列中的单个对象项对应的单个描述向量基于预先建立的异构图确定，异构图用于描述各个候选推送对象之间在预定的多个关联类型下的连接关系，多个关联类型相互独立；步骤204，按照预测序列中各个项的上下文顺序，以及各个描述向量之间相互的注意力关系，确定目标项对应的预测向量；步骤205，基于各个候选推送对象的描述向量与预测向量，检测各个候选推送对象作为目标项的可能性；步骤206，根据检测结果，从各个候选推送对象中为目标项确定用于进行信息推送的若干个目标对象。
首先，在步骤201中，获取当前会话中的对象选择序列。可以理解，当前会话，是用户当前次进入客服页面产生的会话，例如图1中的区域102中展示的客服会话。对象选择序列可以包括用户在当前会话中依次选中的若干推送对象。为了将候选推送对象、推送对象、选中的推送对象进行区分，本说明书中可以将所有可以用于推送的对象称为候选推送对象，将当前会话中历史推送给用户的对象称为推送对象，对象选择序列中被用户选中的推送对象称为对象项。其中，在候选推送信息有多种（如文档和关键词两种）时，这里选中的候选推送对象可以是的某一种对象，例如关键词。
基于隐私保护的场景下，通常无法获取当前会话下用户的用户信息，例如用户个人信息、当前用户历史会话信息、画像信息（如性别、职业、偏好）等。在当前会话的初始阶段，可以根据统计数据确定的热点信息进行信息推送。例如，对多个历史对话进行统计，确定出被首次选择的频次排列靠前的m个关键词，作为首次推送的目标对象推送给用户。
用户可以通过选择至少一个推送对象、通过输入设备输入等各种方式进行当前会话。例如图1输出的实施场景中，用户可以点击关键词、点击文档或者通过触摸屏、键盘等输入设备在客服对话框输入语句进行会话。当图2示出的信息推送的流程应用于图1的关键词推荐场景时，当前会话中的对象选择序列可以记录用户顺序选择的关键词序列。如“鼻炎”、“过敏”、“治疗”等等。在用户真实的客服会话中，可以通过关键词一步步缩限文档的查询范围。例如缩限为“过敏性鼻炎的治疗”。
在可选的实现方式中，对象选择序列还可以包括根据用户在当前会话中的其他点击或输入行为，确定相应的推送对象加入到对象选择序列。例如用户在选择“鼻炎”之后，不知道该选择“过敏”，还是选择“感冒”等关键词，而是通过输入框输入语句“每年春天飞絮多的时候都会犯”，假设“鼻炎”的前提下，该语句可以匹配到关键词“过敏”，那么可以将推送给用户而没被选择的关键词“过敏”作为对象选择序列中“鼻炎”的下一个被选择的推送对象。
值得说明的是，对象选择序列在某个流程中也可以仅有一个对象项，对应当前会话中被用户选择的一个推送对象。例如当前流程发生在用户进入客服会话仅选择了关键词“鼻炎”之后的情形下，对象选择序列可以仅包括一个关键词“鼻炎”。
接着，在步骤202中，在对象选择序列之后补充对应于待预测的目标对象的目标项，和对象选择序列中的若干对象项一起构成预测序列。顾名思义，预测序列可以是用于预测更新的推送信息中包含的目标对象的序列。
其中，目标项可以用可以是预先设定的字符串，或者是随机分配的字符串来表示，例如[mask]。目标项可以理解为假定的目标对象，用于表示用户下一个可能选择的推送信息，如关键词等。该目标项中的字符串也可以理解为“占位符”，即起到为用户下一个可能选择的推送信息占位作用的字符，以挖掘用户下一个可能选择的推送信息与对象选择序列之间的关联。
然后，通过步骤203，将预测序列中的各个项分别通过各个描述向量进行表示。预测序列中的各个项可以包括对象选择序列中的若干对象项，以及补充的目标项。可以理解，为了对预测序列进行处理，可以将预测序列中各个项转换为机器可以识别的数值形式。这种数值形式例如可以通过向量实现。
其中，在本说明书的技术构思下，充分考虑各种因素对用户在一次会话中选择的推送对象之间的影响，以利用更多数据，挖掘相关业务场景下的各种数据之间的关联，并将这种关联关系体现在各个项的描述向量中。由于预测序列中的各个项分为两种，一种是对象选择序列中的对象项，另一种是待预测的目标项，相应地，各个项的描述向量也可以分为两种来描述。
一方面，对象选择序列中的单个对象项对应的单个描述向量，可以基于预先建立的异构图确定。所谓异构图，从字面意思可以理解为，包含不同结构的图。事实上，这里的异构图，可以是用于描述多个候选推送对象之间在多个关联类型下的连接关系的图数据，而这多个关联类型及其对应的连接关系可以相互独立。也就是说，每种关联类型的连接关系都可以构成独立的图结构。异构图中，不仅可以包含候选推送信息对应的节点，还可以包含用于关联候选推送信息的其他实体对应的节点，例如图1中的文档对应的节点。这些图数据可以按照不同的关联类型分开存储，也可以融合到一起存储。值得注意的是，在融合到一起存储时，可以涉及节点的合并（如对应于同一实体的节点用相同的节点表示），而不涉及连接关系的合并。候选推送信息的关联类型通常可以通过预定的元路径下候选推送信息的连接路径表示。
如图3所示，是一个具体例子的异构图示意。在该异构图中，包括3种节点，分别用圆圈、三角形和正方形表示。不同的连接关系分别用粗线、点虚线、线条虚线、灰色线条表示连接路径。本说明书中的候选推送信息可以是其中的一种节点，例如圆圈表示的节点。
在信息推送场景下，待推送对象之间的关联类型例如可以包括但不限于以下至少一种：在同一会话中被连续选择、对应于同一其他对象（如相同文档或答案）、分别对应的其他对象之间具有关联关系、分别对应的其他对象属于同一场景，等等。
下面以待推送信息为图1场景中的关键词为例，结合图3示出的异构图，说明不同连接关系下的连接路径。假设关键词用T表示，对应图3中的圆圈表示的节点，文档用D表示，对应图3中的三角形表示的节点，场景（如就诊前咨询场景、线上就医场景、诊后回访场景等）用S表示，对应图3中的正方形表示的节点，候选推送对象关键词之间的连接关系类型可以包括以下几种：
1.同一会话中被连续点击选择。例如，某个历史会话中用户在点击“鼻炎”关键词之后，接着点击了“过敏”关键词，则关键词“鼻炎”和关键词“过敏”之间存在第一关联类型的连接关系，可以通过元路径T-T，即关键词到关键词的路径描述，如图3示出的黑粗线描述的元路径2-9、9-8、8-7、7-5等等；
2. 对应于同一文档。例如，关键词“鼻炎”和关键词“过敏”都是文档“过敏性鼻炎防治”的关键词，那么关键词“鼻炎”和关键词“过敏”之间可以存在第二关联类型的连接关系，例如通过元路径T-D-T（关键词到文档到关键词）描述，如图3示出的灰线描述的元路径2-1-5、2-10-9、2-10-8、8-4-7、8-4-5、9-10-8、5-4-7等等；
3.分别对应的其他对象之间具有关联关系。例如，在某次历史会话中，用户选择关键词“鼻炎”之后，点击了文档“过敏性鼻炎症状”（关键词“鼻炎”对应的其他对象），之后又点击了文档“过敏性鼻炎诊治”，而文档“过敏性鼻炎诊治”对应有关键词“过敏”、“诊治”、“点刺”、“抽血”（这些关键词对应的其他对象包括文档“过敏性鼻炎诊治”）等等，则关键词“鼻炎”与关键词“过敏”、“诊治”、“点刺”、“抽血”等等分别存在第三关联类型的连接关系，可以通过元路径T-D-D-T（关键词-文档-文档-关键词）描述，如图3示出的线条虚线描述的元路径9-4-1-5等等；
4. 分别对应的其他对象属于同一场景。例如在就诊前咨询场景中包括在其他场景中被连续点击的文档“过敏性鼻炎症状”和“春季腹泻的原因分析”，其中，文档“过敏性鼻炎症状”对应有关键词“鼻炎”，文档“春季腹泻的原因分析” 对应有关键词“腹泻”，则关键词“鼻炎”和关键词“腹泻”之间存在第四关联类型的连接关系，可以通过元路径T-D-S-D-T（关键词-文档-场景-文档-关键词）描述；值得说明的是，这里的其他场景通常是相关联场景，至少可以被同一服务方获取，例如图3示出的点虚线描述的路径8-4-3-1-5、7-4-6-10-2等等；
等等。
可以看出，在异构图中，单个节点可以唯一对应到候选推送对象（如关键词）、其他推送对象（如文档）、场景等等中的一项。这些节点可以按照相应关联类型下的路径产生连接关系。可选地，异构图中的各个节点可以对应各个候选推送对象（如关键词），而节点之间的连接关系通过相应路径对应的符号表示。此时，异构图中的各个节点都是候选推送对象，如关键词。可以理解，两个候选推送对象之间的连接关系可以对应多种路径。例如，异构图中，关键词T1和关键词T2之间的连接关系包括：
（T1，D1，T2）；
（T1，D2，D3，T2）；
（T1，D2，S1，D3，T2）；
等等。
每种元路径描述的连接关系可以表示一种关联类型。不同的关联类型，候选推送对象之间的关联程度也可以不同。例如，元路径越长，关联关系越弱等。实践中，各种关联关系都可能影响用户对所推送对象的选择顺序。
本说明书的技术构思下，可以充分利用不同的连接关系，通过向量来描述当前会话的预测序列中的各个项，从而挖掘它们的深层联系。
为了确定对象选择序列中单个对象项的描述向量，根据一个可能的设计，可以将异构图作为一个整体的图结构，并对不同连接关系赋予不同的权重，然后根据权重对单个候选推送对象对应节点的邻居节点进行向量融合，例如对各个候选推送对象对应节点的邻居节点的表达向量进行加权平均、取最大值等，得到单个推送对象的描述向量。可选地，可以通过预先训练的图神经网络处理异构图整体的图结构，图神经网络中可以针对不同关联类型的节点预先训练有不同的融合权重。
根据另一个可能的设计，针对单个候选推送对象，可以在异构图的各种关联类型的连接关系下，分别进行邻居表达向量的融合（例如加权求和、取最大值等），得到候选推送对象在各个相应连接关系下的表达向量。以对应于第一关联类型的第一连接关系为例，将任一个候选推送对象记为第一候选推送对象，针对该第一候选推送对象，可以按照第一连接关系对其进行邻居表达向量的融合，得到第一候选推送对象在第一连接关系下的第一表达向量。
在一个可选的实现方式中，按照第一连接关系对第一候选推送对象进行邻居表达向量的融合时，可以根据预先设定的权重对各个邻居节点表达向量加权平均，得到第一表达向量。此时，加权权重可以预先设定或者通过机器学习方式确定。例如，同等条件下，各个邻居节点的邻居权重可以与邻居阶数负相关，如自身（可以看作零阶邻居）权重最大，一阶邻居权重次之，以此类推。
在另一个可选的实现方式中，按照第一连接关系对第一候选推送对象进行邻居表达向量的融合时，可以通过预先训练的图卷积神经网络实现。可以理解，单层图神经网络可以遍历第一连接关系下的所有节点，从而对所有节点进行邻居节点的表达向量融合。经过多层图卷积神经网络，可以针对各个节点进行更多的邻居节点信息的融合。通过图卷积神经网络，可以对各个节点的表达向量进行更多有意义的处理，例如通过激活函数的映射处理等，保证表达向量各个维度的数值不超过一定范围。
在第一连接关系中，各个节点可以确定有各个节点的初始向量表示。初始向量表示可以是随机赋值的向量表示，也可以是由字向量或者词向量确定的向量表示。
在一个实施例中，可以将节点对应的文本按照字符进行拆分，获取各个字符分别对应的各个字向量，将各个字向量通过诸如加和、求平均之类的方法处理后作为当前节点的初始向量表示。例如，将关键词“鼻炎”拆分为“鼻”和“炎”两个字符，分别对应字向量C1和C2，则对应于关键词“鼻炎”的节点的初始向量表示为（C1+C2）/2。这种方式下，对于新词也可以根据字符对应的字向量获取相应向量表示。可选地，字向量可以通过Skipgram等自然语言模型预训练得到。
在另一个实施例中，可以将节点对应的文本进行分词，取各个字符分别对应的各个字向量，将各个字向量通过诸如加和、求平均之类的方法处理后作为当前节点的初始向量表示。其中，关键词对应的文本通常为一个词汇，可以直接获取相应词向量作为初始向量表示。文档对应的文本经过分词可以得到多个词汇，将这多个词汇对应的词向量通过如加和、求平均等方式进行融合得到相应节点的初始向量表达。可选地，词向量可以通过如word2Vec之类的词向量模型确定。这种方式下，词汇的含义可能比字符更加准确。而对于词典中没有记录的新词，分词结果可能被拆分为多个词汇，此时，可以根据拆分出的多个词汇的词向量确定新词的表达向量。如 “京卡通”被拆分为“京”、“卡通”。在实践中，其中一些词汇（如“卡通”）与新词“京卡通”的实际含义可能相差较远，此时拆为字符的方式可能效果更好。
假设通过图神经网络处理第一连接关系下的图数据，以在第一候选推送对象的向量表示中融合邻居节点信息。在每层图卷积神经网络中当前节点的向量表示由其自身及邻居节点的向量表示融合得到，经过多层图神经网络，可以融合多层邻居节点的信息。其中，单层图神经网络所融合的邻居节点可以是预定阶数（如2阶）内的邻居节点，也可以是从预定阶数内的邻居节点中选择出的部分节点，如按照连接权重由高到低的顺序选择的节点，或者在异构图中的节点包括与候选推送对象之外的其他对象对应的节点的情况下，按照元路径连接的候选推送对象之间对应阶数（如T-D-T元路径描述的连接关系下，仅融合当前节点及第二阶邻居节点的向量）本说明书对此不做限定。
作为一个具体示例，可以采用注意力机制确定各个邻居节点的权重，从而进行向量融合。例如，在元路径p描述的连接关系中，假设当前节点为i，邻居节点j对应的注意力值可以基于节点i的当前表达向量与节点j的当前表达向量的拼接向量，与第一辅助矩阵的乘积确定，如：
Figure 860913DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
表示两个向量的拼接，/>
Figure 512474DEST_PATH_IMAGE004
表示第一辅助矩阵，/>
Figure DEST_PATH_IMAGE005
为线性整流函数。
在一个可选的实施例中，节点j的注意力值可以作为其针对节点i进行邻居节点向量融合时的加权权重。
在另一个可选的实施例中，节点j对应的注意力权重可以通过其注意力值相对于节点i的各个邻居节点的注意力值的归一化结果确定，例如：
Figure DEST_PATH_IMAGE007
其中，
Figure 354528DEST_PATH_IMAGE008
为节点i的邻居节点集合。
进一步地，节点i的表达向量可以基于对各个邻居节点（包含自身）的向量表示的融合进行更新。例如：
Figure 77633DEST_PATH_IMAGE010
其中，
Figure DEST_PATH_IMAGE011
为激活函数。这种方式利用了候选推送对象和邻居之间的邻接注意力，可以充分考虑邻居之间的相互关联。
在可选的实现方式中，为了避免过拟合等现象，还可以采用多头注意力机制（Multi-Head Attention）确定节点i在第一连接关系下的第一表达向量。这里的多头注意力机制，可以是对节点i执行M次邻居节点融合操作，得到M个表达向量。这M个表达向量可以通过拼接等形式融合在一起形成第一候选推送对象在地易连接关系下对应的第一表达向量。例如：
Figure DEST_PATH_IMAGE013
其中，
Figure 626426DEST_PATH_IMAGE014
表示对1到M共M个向量的拼接。M可以为预设的值。可以理解，M次执行的邻居节点融合过程可以相互独立，他们的执行原理和初始向量可以一致，但模型参数不同。如此，可以得到M个不同的向量。这M个不同的向量可以从不同的侧重点描述节点i，从而抵消邻居节点融合过程中，由于模型训练过程中参数调节出现的各种随机性问题。
假设节点i对应候选推送对象i，进一步地，可以对各个元路径分别描述的各个连接关系，逐一确定候选推送对象i对应的各个节点的各个表达向量。然后，将各个连接关系下候选推送对象i的向量表达进行融合，得到候选推送对象i的描述向量。如图4所示，假设候选推送对象数量总共为N，由这N个候选推送对象构建异构图。异构图中币种原路径对应一种关联类型的连接关系。针对每种关联类型的连接关系，可以分别通过图卷积神经网络进行处理。经过图卷积神经网络进行处理后的单种连接关系下，可以分别得到各个节点相应的表达向量。针对第一候选推送信息，可以从元路径1对应的连接关系经图卷积神经网络处理后的表达向量中获取相应的第一表达向量，同理，从元路径2对应的连接关系经图卷积神经网络处理后的表达向量中获取相应的第二表达向量，从元路径3对应的连接关系经图卷积神经网络处理后的表达向量中获取相应的第三表达向量。进一步地，将第一表达向量、第二表达向量、第三表达向量融合，得到针对第一候选推送对象的第一描述向量。
其中，这里所有可以用于信息推送的推送对象都统称为候选推送对象，在对象选择序列中，某个对象项必然对应到某个候选推送对象。也就是说，对对象选择序列中的对象项的描述向量的确定方法，与上面的候选推送对象的描述向量的确定方法一致，本说明书中统一使用候选推送对象的描述向量进行说明，是因为在确定对象项的描述向量过程中，可能涉及全部候选推送信息的描述向量的确定。
其中，将候选推送对象i在各个连接关系下的节点表达向量进行融合的过程中，可以通过加权平均、求和、拼接等各种方式实现。
根据一个可能的设计，也可以采用注意力机制对候选推送对象i在各个连接关系下的节点表达向量进行融合。
在单个连接关系p中，候选推送对象i对应的节点的注意力值可以为：
Figure 448889DEST_PATH_IMAGE016
其中，b为可训练权重矩阵，也可以称为第二辅助矩阵，
Figure DEST_PATH_IMAGE017
为候选推送对象i对应的节点在连接关系p中的第p表达向量。这里的注意力可以体现出连接关系p对候选推送对象i的影响量，亦即与语义相关的注意力。
对各个连接关系下的注意力值进行归一化处理，得到针对候选推送对象i，连接关系p对应的注意力权重。例如：
Figure DEST_PATH_IMAGE019
其中，P可以是各个连接关系构成的集合。
进一步地，根据注意力权重对各个连接关系下的候选推送对象i对应的节点表达向量进行融合。例如：
Figure DEST_PATH_IMAGE021
可以理解的是，实践中，各个候选推送对象的表达向量可以预先确定，也可以根据用户的实际选择序列实时更新，在此不作限定。向量聚合过程中的各种参数，可以根据用户在历史会话中的选择序列进行训练。对于对象选择序列中的各个对象项，可以获取其基于以上任一方式确定的描述向量。
为了挖掘用户下一可能点击的候选推送对象与对象选择序列之间的关系，可以为表示下一对象的目标项确定描述向量。在可选的实施例中，该目标项的描述向量可以是指定的初始向量，也可以随机确定，在此不作限定。
为了挖掘第一字符与对象选择序列之间的关系，可以通过步骤204，按照预测序列中的各个项的上下文顺序，以及各个描述向量之间相互的注意力关系，确定目标项对应的预测向量。通常，描述向量之间的注意力关系例如可以与预测序列中各个对象项及目标项出现的顺序、语义关联度等中的至少一项相关。针对各个对象项及目标项，可以在其描述向量中融合其他项的信息，从而体现与其他项之间的关联。可以理解的是，对于各个对象项而言，其描述向量是通过异构图确定的，包含的是候选推送对象之间的关联信息，而目标项的初始向量包含较少的有效信息，经过融合各个对象项的描述向量，可以包含对象选择序列中的有效信息，从而形成目标项的预测向量，该预测向量也可以理解为对目标项的预测向量。
根据一个可能的实施方式，可以利用预先训练的上下文注意力模型对预测序列进行处理，得到与目标项对应的预测向量。其中，上下文注意力模型可以是用于挖掘上下文之间的关联关的注意力模型，例如transformer、GRU4REC，BERT4REC等等。下面以transformer为例进行说明。
transformer模型的处理结构如图5所示。预测序列中每个项对应一个transformer结构（TRM）。TRM结构的第一层的处理对象可以是预测序列中各项分别对应的各个描述向量。在其他实施例中，TRM结构的第一层的处理对象也可以是在其基础上融合其他信息（如位置信息等）得到的嵌入向量。因此，TRM结构之前可以包括嵌入层，以将描述向量及包含其他信息的向量合成为相应项的综合嵌入向量。图5示出的处理结构中，TRM结构的第一层的处理对象是描述向量和位置嵌入向量的和。其中，位置嵌入向量用于表示当前项在预测序列中的位置信息（如图5中，各个项的位置按照自然数标示，目标项为第R位置）。例如，第一对象项的位置嵌入向量为（1，1，1，1，1……），第二对象项的位置嵌入向量为（2，2，2，2，2……）等等。
如图5所示，通过TRM结构，可以将各个其他项的信息融合到当前项的向量表达中。例如在每一层TRM结构中，针对单个项，可以确定其他各项对应的向量表示的注意力权重，并按照注意力权重加权求和，得到相应项在当前层的向量表示。这样，经过层层TRM结构，在各项的向量表达中融入了其他项的信息。对于目标项而言，由于其初始的向量表示不包含实际的语义信息，因此，经过层层TRM结构之后，其相当于携带了对象选择序列中各个对象项的描述向量表达信息，此时，目标项对应的向量表达hout能够在一定程度上体现出用户的对象选择序列的信息。如此，可以将目标项在最后一层TRM结构对应的输出向量作为用户可能选择的下一推送对象的预测向量。
该方式可以充分利用上下文之间的注意力，体现上下文之间的关联。
在其他实施例中，还可以通过LR、LSTM、GRU等方式，代替步骤204对预测序列中的若干推送对象的描述向量进行处理，得到目标项的预测向量。但经过实验效果不如注意力关系的方式好，在此不再赘述。
进一步地，通过步骤205，基于各个候选推送对象的描述向量与上述预测向量，检测各个候选推送对象作为目标项的可能性。可以理解，目标项可以表示可能被用户选中的项。上述预测向量携带了对象选择序列中各个已选择的推送对象（对象项）的信息，在一定程度上体现出用户下一个可能选择的推送对象的特征。因此，候选推送对象作为目标项的可能性（亦即被用户选择的可能性）可以由其对应的描述向量与上述预测向量来确定。
在一个实施例中，可以根据预测向量与候选推送对象的描述向量的相似度，来确定各个候选推送对象作为目标项的可能性。通常，相似度越高，相应候选推送对象被用户选择的可能性越大，否则，相似度越低，相应候选推送对象被用户选择的可能性越小。向量相似度可以通过余弦相似度、方差等方式衡量。
在另一个实施例中，可以利用预先训练的打分模型为各个候选推送对象的描述向量与上述预测向量拼接得到的拼接向量打分，并根据打分结果确定各个候选推送对象被用户选择的可能性。此时，打分模型例如是模糊神经网络（fuzzy neural network，FNN）等。
在一个是可选的实施例中，假设候选推送对象t的描述向量为
Figure 778239DEST_PATH_IMAGE022
，其得分可以通过以下方式确定：
Figure 305035DEST_PATH_IMAGE024
其中，
Figure DEST_PATH_IMAGE025
为激活函数，/>
Figure 239493DEST_PATH_IMAGE026
为常数参数，/>
Figure DEST_PATH_IMAGE027
为辅助矩阵。
在其他实施例中，还可以通过其他合理的方式检测各个候选推送对象被用户选择的可能性，在此不再赘述。
根据一个可能的设计，以上各步骤中涉及的参数，例如邻居节点向量融合过程中涉及的参数、节点i在多个图结构的向量融合过程中涉及的参数、FNN中涉及的参数等中的若干项，可以一起通过训练样本来训练确定。
可以理解的是，各个训练样本可以分别对应各个用户选择序列。其中，用户选择序列中的最后一个推送对象之前（不含最后一个推送对象）的各个推送对象构成历史选择序列，样本标签根据相应用户选择序列中的最后一个推送对象确定。例如，在通过相似度衡量各个候选推送对象被用户选择的可能性的情况下，可以将最后一个推送对象对应的描述向量与上述预测向量相似度1作为样本标签。在通过打分模型确定各个候选推送对象被用户选择的可能性的情况下，可以将根据最后一个推送对象的描述向量确定的分数设为高分，如1或10 等。
可选地，还可以根据最后一个推送对象之外的其他候选推送对象生成负样本，负样本对应的样本标签与正样本的样本标签相反，例如相似度为0、分数为最低分（如0）等。由此根据训练样本可以确定损失函数，并调整所涉及的各个模型参数。
在可选的实现方式中，模型参数确定之后，可以先进行一些预处理，例如，根据所确定的模型参数，预先对各个候选推送对象进行向量融合，得到融合后的描述向量，当前接收到用户的对象选择序列后，直接用这些描述向量，检测各个候选推送对象被用户选择的可能性。
另外，值得说明的是，候选推送对象可以包括对象选择序列之外的所有节点对应的推送对象，也可以仅包括相关的候选推送对象（例如对象选择序列中最后一个推送对象的2阶邻居），在此不作限定。
然后，在步骤206中，根据检测结果，从各个候选推送对象中为目标项确定用于进行信息推送的若干个目标对象。此时，可以选择可能性最高的若干候选推送对象，作为信息推送的目标对象。例如，选择可能性最高的预定数量候选推送对象，或者选择可能性大于预定阈值的所有候选推送对象，作为信息推送的目标对象。其中，这里的可能性最高可以是相似度最高，或者分数最高。可选地，在进行信息推送时，各个目标对象可以按照相似性由高到低，或者打分分数由高到低的顺序进行排列。
回顾以上过程，通过使用图算法挖掘待推送信息之间错综复杂的关联关系，并基于这种关联关系进行目标项的推荐，不依赖用户本身，从而避免使用用户隐私数据，有利于隐私保护。此外，用户向客服机器人的咨询通常是多轮交互，需要多篇文章才能解决问题，所以在关键词推荐时充分考虑了一通会话中的上下文信息（对象选择序列），并使用注意力机制优化连续点击下的标签推荐效果。
在本文中，提出了三重注意力异构网络，在候选推送信息为关键词的一个具体例子中，首先构建一张异构图，节点为关键词T与文档D，边为节点间的关联关系与顺序关系。在此基础上，定义多条元路径分别对应各中关联类型。然后通过邻接注意力、语义注意力和上下文注意力，计算在不同上下文时关键词节点间的关联关系。最终，根据用户实际对关键词的点击情况，确定待推送的目标信息（目标项）。实验证明，本文提出的处理方式在此类任务上产生较优的效果。
根据另一方面的实施例，还提供一种基于隐私保护的信息推送装置。图6示出根据一个实施例的基于隐私保护的信息推送装置的示意性框图。该装置可以用于在保护用户隐私数据的前提下，基于历史会话中的对象选择序列建立异构图，并根据异构图体现出的推送对象之间的深层关联关系，从多个候选推送对象中确定若干个目标对象进行信息推送。
如图6所示，基于隐私保护的信息推送装置600包括：
获取单元61，配置为获取当前会话中的对象选择序列，对象选择序列包括用户在当前会话中依次从推送对象中选择的若干对象项；
添加单元62，配置为在对象选择序列之后补充对应于待预测的目标对象的目标项，构成预测序列；
描述单元63，配置为将预测序列中的各个项分别通过各个描述向量进行表示，其中，对象选择序列中的单个对象项对应的单个描述向量基于预先建立的异构图确定，异构图用于描述各个候选推送对象之间在预定的多个关联类型下的连接关系，多个关联类型相互独立；
预测单元64，配置为按照预测序列中各个项的上下文顺序，以及各个描述向量之间相互的注意力关系，确定目标项对应的预测向量；
检测单元65，配置为基于各个候选推送对象的描述向量与预测向量，检测各个候选推送对象作为目标项的可能性；
决策单元66，配置为根据检测结果，从各个候选推送对象中为目标项确定用于对象选择序列进行信息推送的若干个目标对象。
根据一个可能的设计，假设上述对象选择序列中包括第一对象项，上述第一对象项对应上述异构图中的第一候选推送对象，则描述单元63可以通过以下方式确定上述第一对象项对应的第一描述向量：
针对上述第一候选推送对象，分别按照各个连接关系进行邻居表达向量的融合，得到上述第一候选推送对象在各个连接关系下分别对应的各个表达向量；
基于对各个表达向量的融合，得到上述第一描述向量。
在可选的实施方式中，假设上述多个关联类型包括第一关联类型，在描述各个候选推送对象之间在上述第一关联类型下的第一连接关系下，上述第一推送对象对应第一节点，则描述单元63进一步可以配置为：
在上述第一连接关系下，基于对上述第一节点的各个邻居节点的表达向量的加权平均结果，得到上述第一节点对应的第一表达向量。
在进一步的实施例中，假设第一节点在上述第一连接关系下的邻居节点包括第二节点，则描述单元可以根据以下项确定第二节点的加权系数：
第二节点针对上述第一节点的注意力值，与上述第一节点的各个邻居节点针对上述第一节点的注意力值的比值。
在更进一步的实施例中，第二节点针对第一节点的注意力值基于第一节点的当前表达向量与第二节点的当前表达向量的拼接向量，与第一辅助矩阵的乘积确定。
在其他实施例中，上述第一表达向量由针对第一节点的邻居节点表达向量的、相互独立的M次加权平均得到的M个加权平均结果进行拼接得到。
在另一个可选的实施方式中，描述单元63可以进一步配置为：对各个表达向量加权求和，得到第一描述向量。
在一个实施例中，假设上述多个关联类型包括第二关联类型，在描述各个候选推送对象之间在第二关联类型下的第二连接关系下，描述单元63可以通过以下方式确定第一候选推送对象对应的第二表达向量的加权权重：
利用第二辅助矩阵处理上述第二表达向量，从而确定其对应的注意力值；
根据第二表达向量的注意力值，针对各个表达向量分别对应的各个注意力值的归一化结果，确定第二表达向量的加权权重。
在一个可能的实现方式中，预测单元64可以进一步配置为：
各个描述向量经由包含自注意力机制的编码模型，按照上下文顺序融合其他描述向量而分别得到相应的各个编码向量；
根据目标项对应的编码向量，确定其预测向量。
按照一个可选的实施例，检测单元65进一步可以配置为利用一下中的一项衡量候选推送对象作为目标项的可能性：
利用单个候选推送对象的描述向量与上述预测向量的相似度，衡量相应候选推送对象作为目标项的可能性；
利用第三辅助矩阵对单个候选推送对象的描述向量与上述预测向量的拼接向量的处理结果，衡量相应候选推送对象作为目标项的可能性。
值得说明的是，图6所示的装置600是与图2示出的方法实施例相对应的装置实施例，图2示出的方法实施例中的相应描述同样适用于装置600，在此不再赘述。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本说明书的技术构思的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的技术构思的具体实施方式而已，并不用于限定本说明书的技术构思的保护范围，凡在本说明书实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的技术构思的保护范围之内。

Claims (13)

1.一种基于隐私保护的信息推送方法，用于在当前会话中，在保护用户隐私数据的前提下，从多个候选推送对象中确定若干个目标对象进行信息推送，所述方法包括：
获取当前会话中的对象选择序列，所述对象选择序列包括用户在当前会话中依次从推送对象中选择的若干对象项，其中，所述推送对象是候选推送对象中被推送给用户的对象；
在所述对象选择序列之后补充对应于待预测的目标对象的目标项，构成预测序列；
将所述预测序列中的各个项分别通过各个描述向量进行表示，其中，所述对象选择序列中的单个对象项对应的单个描述向量基于预先建立的异构图确定，所述异构图用于描述各个候选推送对象之间在预定的多个关联类型下的连接关系，所述多个关联类型相互独立；
按照所述预测序列中各个项的上下文顺序，以及各个描述向量之间相互的注意力关系，确定所述目标项对应的预测向量；
基于各个候选推送对象的描述向量与所述预测向量，检测各个候选推送对象作为所述目标项的可能性；
根据检测结果，从各个候选推送对象中为所述目标项确定用于对象选择序列进行信息推送的若干个目标对象。
2.根据权利要求1所述的方法，其中，所述对象选择序列中包括第一对象项，所述第一对象项对应所述异构图中的第一候选推送对象，所述第一对象项对应的第一描述向量通过以下方式确定：
针对所述第一候选推送对象，分别按照各个连接关系进行邻居表达向量的融合，得到所述第一候选推送对象在各个连接关系下分别对应的各个表达向量；
基于对各个表达向量的融合，得到所述第一描述向量。
3.根据权利要求2所述的方法，其中，所述多个关联类型包括第一关联类型，在描述各个候选推送对象之间在所述第一关联类型下的第一连接关系下，所述第一候选推送对象对应第一节点，所述针对所述第一候选推送对象，分别按照各个连接关系进行邻居表达向量的融合，得到所述第一候选推送对象在各个连接关系下分别对应的各个表达向量包括：
在所述第一连接关系下，基于对所述第一节点的各个邻居节点的表达向量的加权平均结果，得到所述第一节点对应的第一表达向量。
4.根据权利要求3所述的方法，其中，所述第一节点在所述第一连接关系下的邻居节点包括第二节点，所述第二节点的加权系数根据以下项确定：
所述第二节点针对所述第一节点的注意力值，与所述第一节点的各个邻居节点针对所述第一节点的注意力值之和的比值。
5.根据权利要求4所述的方法，其中，所述第二节点针对所述第一节点的注意力值基于所述第一节点的当前表达向量与所述第二节点的当前表达向量的拼接向量，与第一辅助矩阵的乘积确定。
6.根据权利要求3所述的方法，其中，所述第一表达向量由针对所述第一节点的邻居节点表达向量的、相互独立的M次加权平均得到的M个加权平均结果进行拼接得到。
7.根据权利要求2所述的方法，其中，所述基于对各个表达向量的融合，确定所述第一描述向量包括：
对各个表达向量加权求和，得到第一描述向量。
8.根据权利要求7所述的方法，其中，所述多个关联类型包括第二关联类型，在描述各个候选推送对象之间在所述第二关联类型下的第二连接关系下，所述第一候选推送对象对应第二表达向量，所述第二表达向量的加权权重通过以下方式确定：
利用第二辅助矩阵处理所述第二表达向量，从而确定其对应的注意力值；
根据所述第二表达向量的注意力值，针对各个表达向量分别对应的各个注意力值的归一化结果，确定所述第二表达向量的加权权重。
9.根据权利要求1所述的方法，其中，所述按照所述预测序列中各个项的上下文顺序，以及各个描述向量之间相互的注意力关系，确定所述目标项对应的预测向量包括：
各个描述向量经由包含自注意力机制的编码模型，按照上下文顺序融合其他描述向量而分别得到相应的各个编码向量；
通过所述目标项对应的编码向量，确定其预测向量。
10.根据权利要求1所述的方法，其中，所述基于各个候选推送对象的描述向量与所述预测向量，检测各个候选推送对象作为所述目标项的可能性包括以下中的一项：
利用单个候选推送对象的描述向量与所述预测向量的相似度，衡量相应候选推送对象作为目标项的可能性；
利用第三辅助矩阵对单个候选推送对象的描述向量与所述预测向量的拼接向量的处理结果，衡量相应候选推送对象作为目标项的可能性。
11.一种基于隐私保护的信息推送装置，用于在当前会话中，在保护用户隐私数据的前提下，从多个候选推送对象中确定若干个目标对象进行信息推送，所述装置包括：
获取单元，配置为获取当前会话中的对象选择序列，所述对象选择序列包括用户在当前会话中依次从推送对象中选择的若干对象项，其中，所述推送对象是候选推送对象中被推送给用户的对象；
添加单元，配置为在所述对象选择序列之后补充对应于待预测的目标对象的目标项，构成预测序列；
描述单元，配置为将所述预测序列中的各个项分别通过各个描述向量进行表示，其中，所述对象选择序列中的单个对象项对应的单个描述向量基于预先建立的异构图确定，所述异构图用于描述各个候选推送对象之间在预定的多个关联类型下的连接关系，所述多个关联类型相互独立；
预测单元，配置为按照所述预测序列中各个项的上下文顺序，以及各个描述向量之间相互的注意力关系，确定所述目标项对应的预测向量；
检测单元，配置为基于各个候选推送对象的描述向量与所述预测向量，检测各个候选推送对象作为所述目标项的可能性；
决策单元，配置为根据检测结果，从各个候选推送对象中为所述目标项确定用于对象选择序列进行信息推送的若干个目标对象。
12.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-10中任一项的所述的方法。
13.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-10中任一项所述的方法。
CN202010477510.3A 2020-05-29 2020-05-29 基于隐私保护的信息推送方法及装置 Active CN111538906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010477510.3A CN111538906B (zh) 2020-05-29 2020-05-29 基于隐私保护的信息推送方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010477510.3A CN111538906B (zh) 2020-05-29 2020-05-29 基于隐私保护的信息推送方法及装置

Publications (2)

Publication Number Publication Date
CN111538906A CN111538906A (zh) 2020-08-14
CN111538906B true CN111538906B (zh) 2023-06-20

Family

ID=71974111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010477510.3A Active CN111538906B (zh) 2020-05-29 2020-05-29 基于隐私保护的信息推送方法及装置

Country Status (1)

Country Link
CN (1) CN111538906B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241460A (zh) * 2020-10-27 2021-01-19 上海明略人工智能(集团)有限公司 辅助推荐关键词的方法、装置、电子设备及存储介质
CN112312304B (zh) * 2020-10-28 2022-05-17 支付宝(杭州)信息技术有限公司 在基于无线接入点定位过程中的位置隐私保护方法及装置
CN113282748B (zh) * 2021-04-29 2023-05-12 湘潭大学 基于transformer的针对隐私文本的自动检测方法
CN113704438B (zh) * 2021-09-06 2022-02-22 中国计量大学 一种基于分层注意力机制的异构图的会话推荐方法
CN114627991B (zh) * 2022-03-03 2022-10-14 元盛视光(湖北)生物科技有限公司 一种基于智慧医疗大数据的用户隐私保护方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955535A (zh) * 2014-05-14 2014-07-30 南京大学镇江高新技术研究院 一种基于元路径的个性化推荐方法及系统
CN105530316A (zh) * 2016-01-13 2016-04-27 桂林理工大学 一种基于云计算技术的异构空间信息协同标绘空间系统
CN110119467A (zh) * 2019-05-14 2019-08-13 苏州大学 一种基于会话的项目推荐方法、装置、设备及存储介质
CN110263147A (zh) * 2019-06-05 2019-09-20 阿里巴巴集团控股有限公司 推送信息的生成方法及装置
EP3557505A1 (en) * 2018-04-20 2019-10-23 Facebook, Inc. Contextual auto-completion for assistant systems
CN110765353A (zh) * 2019-10-16 2020-02-07 腾讯科技（深圳）有限公司 项目推荐模型的处理方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10855706B2 (en) * 2016-10-11 2020-12-01 Battelle Memorial Institute System and methods for automated detection, reasoning and recommendations for resilient cyber systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955535A (zh) * 2014-05-14 2014-07-30 南京大学镇江高新技术研究院 一种基于元路径的个性化推荐方法及系统
CN105530316A (zh) * 2016-01-13 2016-04-27 桂林理工大学 一种基于云计算技术的异构空间信息协同标绘空间系统
EP3557505A1 (en) * 2018-04-20 2019-10-23 Facebook, Inc. Contextual auto-completion for assistant systems
CN110119467A (zh) * 2019-05-14 2019-08-13 苏州大学 一种基于会话的项目推荐方法、装置、设备及存储介质
CN110263147A (zh) * 2019-06-05 2019-09-20 阿里巴巴集团控股有限公司 推送信息的生成方法及装置
CN110765353A (zh) * 2019-10-16 2020-02-07 腾讯科技（深圳）有限公司 项目推荐模型的处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111538906A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111538906B (zh) 基于隐私保护的信息推送方法及装置
US11699035B2 (en) Generating message effectiveness predictions and insights
Lu et al. Coevolutionary recommendation model: Mutual learning between ratings and reviews
US10909152B2 (en) Predicting intent of a user from anomalous profile data
US20190237068A1 (en) Customizing Responses to Users in Automated Dialogue Systems
US10298757B2 (en) Integrated service centre support
US11347803B2 (en) Systems and methods for adaptive question answering
US11429405B2 (en) Method and apparatus for providing personalized self-help experience
US20170249389A1 (en) Sentiment rating system and method
CN111783474A (zh) 一种评论文本观点信息处理方法、装置及存储介质
Wang et al. Sentiment classification of online reviews: using sentence-based language model
EP3855320A1 (en) Systems and methods for adaptive question answering related applications
US11954590B2 (en) Artificial intelligence job recommendation neural network machine learning training based on embedding technologies and actual and synthetic job transition latent information
Rafail et al. Natural language processing
Xiao et al. User preference mining based on fine-grained sentiment analysis
JP2022035314A (ja) 情報処理装置及びプログラム
CN113869034B (zh) 基于强化依赖图的方面情感分类方法
Devi Sri Nandhini et al. A hybrid co-occurrence and ranking-based approach for detection of implicit aspects in aspect-based sentiment analysis
CN110390050A (zh) 一种基于深度语义理解的软件开发问答信息自动获取方法
Nia et al. A framework for a large-scale B2B recommender system
CN114138954A (zh) 用户咨询问题推荐方法、系统、计算机设备及存储介质
CN113869058A (zh) 基于lc-gcn方面级情感分析方法、系统、存储介质和电子设备
Li et al. Towards Learning Action Models from Narrative Text Through Extraction and Ordering of Structured Events
US11860824B2 (en) Graphical user interface for display of real-time feedback data changes
US20230351170A1 (en) Automated processing of feedback data to identify real-time changes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40035848

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant