CN112925983A - 一种电网资讯信息的推荐方法及系统 - Google Patents

一种电网资讯信息的推荐方法及系统 Download PDF

Info

Publication number
CN112925983A
CN112925983A CN202110306967.2A CN202110306967A CN112925983A CN 112925983 A CN112925983 A CN 112925983A CN 202110306967 A CN202110306967 A CN 202110306967A CN 112925983 A CN112925983 A CN 112925983A
Authority
CN
China
Prior art keywords
information
user
preset
target
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110306967.2A
Other languages
English (en)
Inventor
廖家敏
陈华锋
李颖杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Power Supply Bureau Co Ltd
Original Assignee
Shenzhen Power Supply Bureau Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Power Supply Bureau Co Ltd filed Critical Shenzhen Power Supply Bureau Co Ltd
Priority to CN202110306967.2A priority Critical patent/CN112925983A/zh
Publication of CN112925983A publication Critical patent/CN112925983A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种电网资讯信息的推荐方法及系统，包括，步骤S1，获取用户的图信息、反馈信息及所有资讯信息、画像信息及用户关联的所有行为信息；步骤S2，获得对应的自身特征向量，并计算相关性权重；获得出用户信息特征向量；步骤S3，将用户信息特征向量、所有资讯信息的特征向量输入预设的分类器，获得所有资讯信息相对于用户信息特征向量的概率，确定目标资讯信息；步骤S4，获得用户画像特征；获得行为特征、目标咨询特征；获得图特征；步骤S5，获得目标资讯信息的得分值；步骤S6，按照目标资讯信息的得分值排序确定推荐列表，根据推荐列表将目标咨询推送给用户。本发明实现精确推送资讯到用户。

Description

一种电网资讯信息的推荐方法及系统
技术领域
本发明涉及电网用户推送技术领域，特别是涉及一种电网资讯信息的推荐 方法及系统。
背景技术
电网资讯大多是给用户推送电力价格、行业动态、重大新闻或电力电器知 识。
目前，资讯推荐已经成为营销业务当中一个重要业务模块。对于现有的电 网信息推送大多使用关键词提取技术，对资讯的标题进行抓取，通过关键词权 重排序、筛选的方式，推送相应的资讯给对应标签的用户。但这种方法往往依 靠用户自身的标签进行匹配，若用户的标签提取本身不准确，而仅靠关键词本 身表达的语义又有巨大的局限性，这会导致推送的信息长期不准确。
同时，现有技术当中，使用深度学习的方法也逐渐成为主流，现有深度学 习方法实现资讯推荐，依靠大量数据训练模型，并用训练好的模型对资讯信息 进行自动分类，然后匹配用户标签再推送给客户。在应对用户反馈信息上，通 常是使用降低用户不喜欢的标签相关的资讯信息的权重，或直接屏蔽标签相关 信息，使得系统减少该信息推送量。使用该方法虽然准确率有所提升，但是无 法在模型融合用户的反馈信息，且依赖标签和关键词，推送过程十分生硬，非 点击即禁，推送效果不理想，且推送信息仍存在长期推送错误无自适应改进的 情况。
另一方面，基于协调过滤的方法应用电商推荐等领域，而电网资讯信息往 往有一定行业范围，现有技术在应用上，大多仍是基于简单的广泛类别的电商、 新闻等推荐系统领域的做法。
因此，需要一种能充分发掘资讯信息的主要语义以及用户信息、用户行为 信息和用户的反馈信息的电网资讯推荐方法，以实现向用户精准推送资讯。
发明内容
本发明的目的在于，提出一种电网资讯信息的推荐方法，解决推送效果不 理想且存在长期推送错误无法自适应改进的技术问题。
一方面，提供一种电网资讯信息的推荐方法，包括：
一种电网资讯信息的推荐方法，其特征在于，包括以下步骤：
步骤S1，获取用户的图信息、反馈信息及所有资讯信息、画像信息及用户 关联的所有行为信息；其中，所述行为信息至少包括历史行为信息，所述画像 信息至少包括兴趣信息；
步骤S2，将历史行为信息、兴趣信息、反馈信息输入预设的embedding层， 获得对应的自身特征向量，并计算历史行为信息、兴趣信息、反馈信息之间的 相关性权重；将相关性权重、自身特征向量输入到预设的非线性多层感知器MLP， 获得出用户信息特征向量；
步骤S3，将用户信息特征向量、所有资讯信息的特征向量输入预设的分类 器，获得所有资讯信息相对于用户信息特征向量的概率，根据所有资讯信息相 对于用户信息特征向量的概率确定目标资讯信息；
步骤S4，将用户的画像信息输入预设的embedding层进行编码，获得用户 画像特征；将所有用户行为信息、目标资讯信息输入预设的特征提取器，获得 行为特征、目标咨询特征；将用户的图信息输入预设的图卷积神经网络，获得 图特征；
步骤S5，将用户的图特征、用户画像特征、行为特征、目标咨询特征进行 拼接，获得一个整合向量，并将整合向量输入预设的全连接神经网络层，获得 目标资讯信息的得分值；
步骤S6，按照目标资讯信息的得分值由大到小排序，根据排序结果确定推 荐列表，根据推荐列表将目标咨询推送给用户。
优选地，所述步骤S2中，获得对应的自身特征向量，具体包括：
预设的embedding层识别接收的历史行为信息、兴趣信息、反馈信息，获 得接收信息中的文字内容，将识别的文字内容转化为与历史行为信息、兴趣信 息、反馈信息对应的特征向量；
将获得特征向量按照预设的特征交叉关系进行分组，根据分组结果将每一 组特征相乘，输出历史行为信息、兴趣信息、反馈信息对应的自身特征向量。
优选地，所述步骤S2中，计算历史行为信息、兴趣信息、反馈信息之间的 相关性权重，具体包括：
将历史行为信息、兴趣信息、反馈信息对应的自身特征向量输入预设的注 意力权重计算模型，输出所述自身特征向量对应的权重值；
并通过预设的注意力权重计算模型将对应的权重值进行归一处理，获得相 关性权重。
优选地，所述步骤S3具体包括：
获取所有资讯信息的特征向量，将户信息特征向量、所有资讯信息的特征 向量输入预设的softmax分类器，获得资讯信息相对于用户信息特征向量的概率；
按照概率由高到低对所有资讯信息进行排序，根据排序结果选择多个资讯 信息，输出为目标资讯信息。
优选地，所述步骤S5中，将用户的图特征、用户画像特征、行为特征、目 标咨询特征进行拼接，具体包括：
将用户的图特征、用户画像特征、行为特征、目标咨询特征作为输入量， 输入预设的合并模型在同一维度方向上进行合并，输出一个整合向量。
另一方面，还提供一种电网资讯信息的推荐系统，用以实现所述的电网资 讯信息的推荐方法，包括：
数据采集模块，用以获取用户的图信息、反馈信息及所有资讯信息、画像 信息及用户关联的所有行为信息；其中，所述行为信息至少包括历史行为信息， 所述画像信息至少包括兴趣信息；
第一特征提取模块，用以将历史行为信息、兴趣信息、反馈信息输入预设 的embedding层，获得对应的自身特征向量，并计算历史行为信息、兴趣信息、 反馈信息之间的相关性权重；将相关性权重、自身特征向量输入到预设的非线 性多层感知器MLP，获得出用户信息特征向量；
目标资讯模块，用以将用户信息特征向量、所有资讯信息的特征向量输入 预设的分类器，获得所有资讯信息相对于用户信息特征向量的概率，根据所有 资讯信息相对于用户信息特征向量的概率确定目标资讯信息；
第二特征提取模块，用以将用户的画像信息输入预设的embedding层进行 编码，获得用户画像特征；将所有用户行为信息、目标资讯信息输入预设的特 征提取器，获得行为特征、目标咨询特征；将用户的图信息输入预设的图卷积 神经网络，获得图特征；
咨询推送模块，用以将用户的图特征、用户画像特征、行为特征、目标咨 询特征进行拼接，获得一个整合向量，并将整合向量输入预设的全连接神经网 络层，获得目标资讯信息的得分值；并按照目标资讯信息的得分值由大到小排 序，根据排序结果确定推荐列表，根据推荐列表将目标咨询推送给用户。
优选地，所述第一特征提取模块第一特征提取模块还用于预设的embedding 层识别接收的历史行为信息、兴趣信息、反馈信息，获得接收信息中的文字内 容，将识别的文字内容转化为与历史行为信息、兴趣信息、反馈信息对应的特 征向量；
将获得特征向量按照预设的特征交叉关系进行分组，根据分组结果将每一 组特征相乘，输出历史行为信息、兴趣信息、反馈信息对应的自身特征向量。
优选地，所述还用于将历史行为信息、兴趣信息、反馈信息对应的自身特 征向量输入预设的注意力权重计算模型，输出所述自身特征向量对应的权重值；
并通过预设的注意力权重计算模型将对应的权重值进行归一处理，获得相 关性权重。
优选地，所述目标资讯模块还用于获取所有资讯信息的特征向量，将户信 息特征向量、所有资讯信息的特征向量输入预设的softmax分类器，获得资讯信 息相对于用户信息特征向量的概率；
按照概率由高到低对所有资讯信息进行排序，根据排序结果选择多个资讯 信息，输出为目标资讯信息。
优选地，所述咨询推送模块还用于将用户的图特征、用户画像特征、行为 特征、目标咨询特征作为输入量，输入预设的合并模型在同一维度方向上进行 合并，输出一个整合向量。
综上，实施本发明的实施例，具有如下的有益效果：
本发明提供的电网资讯信息的推荐方法及系统，充分考虑多种信息的融合、 不仅仅依靠关键词；比其他传统推荐系统的方法有更多针对性，融合用户兴趣， 反馈信息进行更智能推荐。更精准把推荐步骤分开，解决了关键词筛选过程中， 不好确定筛选阈值的问题，推荐过程平滑化，不生硬，实现精确推送资讯到用 户界面。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明实施例中一种电网资讯信息的推荐方法的主流程示意图。
图2为本发明实施例中一种电网资讯信息的推荐系统的示意图。
图3为本发明实施例中粗排阶段的示意图。
图4为本发明实施例中精排阶段的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明 作进一步地详细描述。
如图1所示，为本发明提供的一种电网资讯信息的推荐方法的一个实施例 的示意图。在该实施例中，所述方法包括以下步骤：
粗排阶段，即Match阶段，如图3所示，从全量资讯信息集合中根据用户 行为和属性信息触发尽可能多正确的结果，并将结果返回给精排阶段。具体步 骤包括：
步骤S1，获取用户的图信息、反馈信息及所有资讯信息、画像信息及用户 关联的所有行为信息；其中，所述行为信息至少包括历史行为信息，所述画像 信息至少包括兴趣信息；可以理解的是，用户兴趣数据一般为标签数据、用户 自身填的标签、用户的年龄、用户的性别等；反馈信息一般是用户对于过往推 荐结果的肯定或否定或评分数据；所有资讯信息就从数据库中取出；用户历史 行为在此处是所有用户浏览行为日志，有对某资讯的点击、停留时间等数据， 后续再编码之后，需要进行拼接。
具体地，图信息存在于图数据库，可直接调用；用户画像就是用户的各种 标签信息，年龄、性别、爱好等；行为数据，分别输入embedding进行编码特 征，用于后续transform-xl计算行为之间的关系，获取单个目标资讯信息。
步骤S2，将历史行为信息、兴趣信息、反馈信息输入预设的embedding层， 获得对应的自身特征向量，并计算历史行为信息、兴趣信息、反馈信息之间的 相关性权重；将相关性权重、自身特征向量输入到预设的非线性多层感知器MLP， 获得出用户信息特征向量；权重加上自身特征数据输入非线性多层感知器MLP (Muti－Layer Perception，MLP)，是最简单且原汁原味的神经网络，输出用户 信息特征向量。典型的有三层全连接神经网络，当中激活函数为ReLU。其中， 最典型的MLP包括三层：输入层、隐层和输出层，MLP神经网络不同层之间是 全连接的(全连接的意思就是：上一层的任何一个神经元与下一层的所有神经元都有连接)；主要有三个基本要素：权重、偏置和激活函数；权重：神经元之 间的连接强度由权重表示，权重的大小表示可能性的大小；偏置：偏置的设置 是为了正确分类样本，是模型中一个重要的参数，即保证通过输入算出的输出 值不能随便激活；激活函数：起非线性映射的作用，其可将神经元的输出幅度 限制在一定范围内，一般限制在(－1～1)或(0～1)之间。ReLU的激活函数， 当输入信号小于0时，输出为0；当输入信号大于0时，输出等于输入
具体实施例中，获得对应的自身特征向量，具体包括，预设的embedding 层识别接收的历史行为信息、兴趣信息、反馈信息，获得接收信息中的文字内 容，将识别的文字内容转化为与历史行为信息、兴趣信息、反馈信息对应的特 征向量；
将获得特征向量按照预设的特征交叉关系进行分组，根据分组结果将每一 组特征相乘，输出历史行为信息、兴趣信息、反馈信息对应的自身特征向量。
可以理解的是，用户历史行为、用户兴趣信息和反馈信息都是文字信息， 而模型需要输入的是特征矩阵，因此通过embedding层把数据进行转换。 Embedding通常为BERT模型。BERT代表Transformer的双向编码器，旨在通 过联合调节所有层中的上下文来预先训练深度双向表示。因此，预训练的BERT 表示可以通过一个额外的输出层进行微调，适用于广泛任务的最先进模型的构 建，比如问答任务和语言推理，无需针对具体任务做大幅架构修改。提出一种 新的预训练目标：遮蔽语言模型(masked language model，MLM)，来克服的单 向性局限。MLM随机遮蔽模型输入中的一些token，目标在于仅基于遮蔽词的 语境来预测其原始词汇id。与从左到右的语言模型预训练不同，MLM目标允 许表征融合左右两侧的语境，从而预训练一个深度双向Transformer。除了遮蔽 语言模型之外，还可以进行下一句预测(next sentence prediction)任务，可以和 MLM共同预训练文本对的表示。
此外还包括特征交叉等计算，就是每组特征两两相乘组成新特征；特征交 叉本质上是一个笛卡尔积，两个特征列进行笛卡尔积。笛卡尔积中，如果同时 满足两者的条件，则结果为1；否则为0，因此这种方式更加适合离散型的数据 特征。一般来说，先把数据进行分档处理，再把分档的结果进行特征交叉，此 时可以获得更好的数据特征，分档处理可以对数据降维，从而极大地简化计算 量。比如在地图的方面的处理中，需要用到特征交叉。房价和经纬度中，单纯 的给出经度或者纬度，都不能直接反应房价和地理位置的关系。更好的方式为 经度和纬度交叉点，才能表示位置图片中，先对数据进行分档处理，也就是精 度和纬度分别分割成100的数据段，然后把分段后的数据列进行特征交叉，那 么每个房屋会对应一个10000维的特征向量，二维的位置信息会转化成一维的 位置向量，只有精确的位置点的数据才是1，其余的都是0。
具体地，计算历史行为信息、兴趣信息、反馈信息之间的相关性权重，具 体包括，将历史行为信息、兴趣信息、反馈信息对应的自身特征向量输入预设 的注意力权重计算模型，输出所述自身特征向量对应的权重值；
并通过预设的注意力权重计算模型将对应的权重值进行归一处理，获得相 关性权重。
可以理解的是，注意力权重计算模型利用注意力机制计算权重值，神经注 意力机制可以使得神经网络具备专注于其输入(或特征)子集的能力：选择特 定的输入。注意力可以应用于任何类型的输入而不管其形状如何。在计算能力 有限情况下，注意力机制(attention mechanism)是解决信息超载问题的主要手 段的一种资源分配方案，将计算资源分配给更重要的任务。从输入信息中选取 出和任务相关的信息，主动注意力是在所有输入信息上的多项分布，是一种扁 平(flat)结构。如果输入信息本身具有层次(hierarchical)结构，比如可以分 为词、句子、段落、篇章等不同粒度的层次，可以使用层次化的注意力来进行 更好的信息选择。
步骤S3，将用户信息特征向量、所有资讯信息的特征向量输入预设的分类 器，获得所有资讯信息相对于用户信息特征向量的概率，类似于计算所有资讯 信息当中哪一些与用户信息相关，选出top500个，根据所有资讯信息相对于用 户信息特征向量的概率确定目标资讯信息；可以理解的是，用户信息特征向量 与所有资讯信息的特征向量一起进入分类器，输出所有资讯信息相对于用户特 征向量的概率。
具体实施例中，获取所有资讯信息的特征向量，将户信息特征向量、所有 资讯信息的特征向量输入预设的softmax分类器，获得资讯信息相对于用户信息 特征向量的概率；可以理解的是，softmax逻辑回归模型是logistic回归模型在多 分类问题上的推广，在多分类问题中，类标签y可以取两个以上的值。在logistic 回归中，我们的训练集由m个已标记的样本构成：{(x(1)，y(1))，(x(m)，y(m))}，其 中输入特征
Figure BDA0002988145380000091
(对符号的约定如下：特征向量x的维度为n+1， 其中x0＝1对应截距项)由于logistic回归是针对二分类问题的，因此类标 记y(i)∈{0，1}。假设函数(hypothesis function)如下：
Figure BDA0002988145380000092
将训练模型参数θ，使其能够最小化代价函数：
Figure BDA0002988145380000093
在softmax回归中，解决的是多分类问题(相对于logistic回归解决的二分 类问题)，类标y可以取k个不同的值(而不是2个)。因此，对于训练集 {(x(1)，y(1)，...，(x(m)，y(m))}，有y(i)∈{1，2，...，k}。(注意此处的类别下 标从1开始，而不是0)。例如，在MNIST数字识别任务中，有k＝10个不 同的类别。
对于给定的测试输入x，用假设函数针对每一个类别j估算出概率值 p(y＝j|x)。也就是说，估计x的每一种分类结果出现的概率。因此，假设 函数将要输出一个k维的向量(向量元素的和为1)来表示这k个估计的概率值。 具体地说，假设函数hθ(x)形式如下：
Figure BDA0002988145380000094
其中，
Figure BDA0002988145380000103
是模型的参数。注意
Figure BDA0002988145380000101
这一项 对概率分布进行归一化，使得所有概率之和为1。为了方便起见，同样使用符 号θ来表示全部的模型参数。在实现Softmax回归时，将θ用一个 k×(n+1)的矩阵来表示会很方便，该矩阵是将θ1，θ2，...，θk按行罗列起 来得到的，如下所示：
Figure BDA0002988145380000102
按照概率由高到低对所有资讯信息进行排序，根据排序结果选择多个资讯 信息，输出为目标资讯信息。
精排阶段，即Rank阶段，如图4所示，从候选的可能结果当中通过精确排 列选出最有可能被用户喜爱或点击的信息；先从match模型开始运行，match模 型在训练时候才可不与rank模型共同训练。但本次申请只简述整体模型训练完 毕后的使用的方法步骤，具体为：
步骤S4，将用户的画像信息输入预设的embedding层进行编码，获得用户 画像特征；将所有用户行为信息、目标资讯信息输入预设的特征提取器，获得 行为特征、目标咨询特征；将用户的图信息输入预设的图卷积神经网络，获得 图特征。
可以理解的是，用户图信息需要通过GCN(Graph Convolutional Network) 图卷积神经网络进行特征提取，GCN是图卷积神经网络，实际上就是一个特征 提取器，只不过它的对象是图数据。GCN设计了一种从图数据中提取特征的方 法，从而可以使用这些特征去对图数据进行节点分类(node classification)、图 分类(graph classification)、边预测(link prediction)，还可以顺便得到图的嵌入 表示(graph embedding)。GCN也是一个神经网络层，它的层与层之间的传播方 式是：
Figure BDA0002988145380000111
公式中：A波浪＝A+I，I是单位矩阵；D波浪是A波浪的度矩阵(degree matrix)； H是每一层的特征，对于输入层的话，H就是X；σ是非线性激活函数；这个部 分，是可以事先算好的，因为D波浪由A计算而来，而A是我们的输入之一。 每一层GCN的输入都是邻接矩阵A和node的特征H，那么直接做一个内积， 再乘一个参数矩阵W，然后激活一下，就相当于一个简单的神经网络层：
f(H(l)，A)＝σ(AH(l)W(l))
这个简单模型有几个局限性：只使用A的话，由于A的对角线上都是0， 所以在和特征矩阵H相乘的时候，只会计算一个node的所有邻居的特征的加权 和，该node自己的特征却被忽略了。因此，我们可以做一个小小的改动，给A 加上一个单位矩阵I，这样就让对角线元素变成1了。A是没有经过归一化的 矩阵，这样与特征矩阵相乘会改变特征原本的分布，产生一些不可预测的问题。 所以我们对A做一个标准化处理。首先让A的每一行加起来为1，我们可以乘 以一个D的逆，D就是度矩阵。我们可以进一步把D的拆开与A相乘，得到一 个对称且归一化的矩阵。最终的层特征传播公式：
Figure BDA0002988145380000112
其中，公式中的与对称归一化拉普拉斯矩阵十分类似，而在谱图卷积的核 心就是使用对称归一化拉普拉斯矩阵，这也是GCN的卷积叫法的来历。
具体地，用户画像信息需要经过离散化，特征交叉形成一组特征矩阵，然 后用户画像信息本身的信息再通过embedding(嵌入层)编码出特征信息。两组 特征信息进行直接相加，输出用户画像特征。对于所有行为信息，则通过 embedding进行编码，直接输出编码特征。目标资讯信息通过embedding进行编 码，直接输出编码特征。以上所有特征通过维度压缩函数进行压缩。具体地， 嵌入层将正整数(下标)转换为具有固定大小的向量。进一步，使用One-hot方 法编码的向量会很高维也很稀疏。假设在做自然语言处理(NLP)中遇到了一个 包含2000个词的字典，当时用One-hot编码时，每一个词会被一个包含2000个 整数的向量来表示，其中1999个数字是0，要是字典再大一点的话这种方法的 计算效率就大打折扣。训练神经网络的过程中，每个嵌入的向量都会得到更新。 在多维空间中词与词之间有多少相似性，就能可视化的了解词语之间的关系， 不仅仅是词语，任何能通过嵌入层Embedding转换成向量的内容都可以这样做。
例如，如下语句：“deep learning is very deep”
使用嵌入层embedding的第一步是通过索引对该句子进行编码，给每一个 不同的句子分配一个索引，上面的句子就会变成这样：
1 2 3 4 1
接下来会创建嵌入矩阵，要决定每一个索引需要分配多少个‘潜在因子’，这 大体上意味着想要多长的向量，通常使用的情况是长度分配为32和50。
再具体地，行为信息与目标资讯信息特征统一输入到 transformer-xl进行特征提取，可以用tansformer代替。其内部结构为 多层的多头注意力机制和正向全连接网络组成，具有全局信息统筹并 进行特征提取的作用。关于tansformer：第一步：获取输入句子的每 一个单词的表示向量X，X由单词的Embedding和单词位置的 Embedding相加得到；第二步：将得到的单词表示向量矩阵传入 Encoder中，经过6个Encoder block后可以得到句子所有单词的编 码信息矩阵C。单词向量矩阵用X(n×d)表示，n是句子中单词个数，是表示向量的维度。每一个Encoder block输出的矩阵维度与输入 完全一致；第三步：将Encoder输出的编码信息矩阵C传递到 Decoder中，Decoder依次会根据当前翻译过的单词1～i翻译下一个 单词i+1。在使用的过程中，翻译到单词i+1的时候需要通过Mask (掩盖)操作遮盖住i+1之后的单词。
步骤S5，将用户的图特征、用户画像特征、行为特征、目标咨询特征进行 拼接，获得一个整合向量，并将整合向量输入预设的全连接神经网络层，获得 目标资讯信息的得分值；具体实施例中，将用户的图特征、用户画像特征、行 为特征、目标咨询特征作为输入量，输入预设的合并模型在同一维度方向上进 行合并，输出一个整合向量。可以理解的是，压缩后的用户图信息特征与用户 画像信息与全局特征提取后的行为信息，目标资讯信息特征，通过矩阵拼接函 数进行整合。如在tensorflow下进行，则是concatenate函数或者concate函数， 其能把多个向量或矩阵按维度方向进行拼接成一个向量或矩阵。拼接后，输入 到全连接神经网络。即是后续的多个relu激活函数组成的全连接神经网络层(仅 标写激活函数，实际是全连接神经网络)。Relu激活函数也可以选其他relu函数 相关的变种，如leaky relu等。三层relu具体的第一层的神经元个数是1024，即 输入维度为1024。第二层、三依次为512、256。也即是最后一层全连接输出256 维度的向量，该向量再输入到sigmoid层，输出维度为2。取值为sigmoid结果 且在0到1范围。根据值，可映射出该输入的目标资讯信息的得分。
步骤S6，按照目标资讯信息的得分值由大到小排序，根据排序结果确定推 荐列表，根据推荐列表将目标咨询推送给用户。可以理解的是，通过对候选资 讯进行精排，得出所有候选资讯的得分情况，从而确定推荐列表的布局，实现 精确推送资讯到用户。
如图2所示，为本发明提供的一种电网资讯信息的推荐系统的一个实施例 的示意图。在该实施例中，所述系统用以实现所述的电网资讯信息的推荐方法， 包括：
数据采集模块，用以获取用户的图信息、反馈信息及所有资讯信息、画像 信息及用户关联的所有行为信息；其中，所述行为信息至少包括历史行为信息， 所述画像信息至少包括兴趣信息；
第一特征提取模块，用以将历史行为信息、兴趣信息、反馈信息输入预设 的embedding层，获得对应的自身特征向量，并计算历史行为信息、兴趣信息、 反馈信息之间的相关性权重；将相关性权重、自身特征向量输入到预设的非线 性多层感知器MLP，获得出用户信息特征向量；
目标资讯模块，用以将用户信息特征向量、所有资讯信息的特征向量输入 预设的分类器，获得所有资讯信息相对于用户信息特征向量的概率，根据所有 资讯信息相对于用户信息特征向量的概率确定目标资讯信息；
第二特征提取模块，用以将用户的画像信息输入预设的embedding层进行 编码，获得用户画像特征；将所有用户行为信息、目标资讯信息输入预设的特 征提取器，获得行为特征、目标咨询特征；将用户的图信息输入预设的图卷积 神经网络，获得图特征；
咨询推送模块，用以将用户的图特征、用户画像特征、行为特征、目标咨 询特征进行拼接，获得一个整合向量，并将整合向量输入预设的全连接神经网 络层，获得目标资讯信息的得分值；并按照目标资讯信息的得分值由大到小排 序，根据排序结果确定推荐列表，根据推荐列表将目标咨询推送给用户。
具体实施例中，所述第一特征提取模块第一特征提取模块还用于预设的embedding层识别接收的历史行为信息、兴趣信息、反馈信息，获得接收信息中 的文字内容，将识别的文字内容转化为与历史行为信息、兴趣信息、反馈信息 对应的特征向量；
将获得特征向量按照预设的特征交叉关系进行分组，根据分组结果将每一 组特征相乘，输出历史行为信息、兴趣信息、反馈信息对应的自身特征向量。
所述第一特征提取模块还用于将历史行为信息、兴趣信息、反馈信息对应 的自身特征向量输入预设的注意力权重计算模型，输出所述自身特征向量对应 的权重值；
并通过预设的注意力权重计算模型将对应的权重值进行归一处理，获得相 关性权重。
具体地，所述目标资讯模块还用于获取所有资讯信息的特征向量，将户信 息特征向量、所有资讯信息的特征向量输入预设的softmax分类器，获得资讯信 息相对于用户信息特征向量的概率；
按照概率由高到低对所有资讯信息进行排序，根据排序结果选择多个资讯 信息，输出为目标资讯信息。
再具体地，所述咨询推送模块还用于将用户的图特征、用户画像特征、行 为特征、目标咨询特征作为输入量，输入预设的合并模型在同一维度方向上进 行合并，输出一个整合向量。
关于一种电网资讯信息的推荐系统具体的实现过程参考种电网资讯信息的 推荐方法，在此不再赘述。
综上，实施本发明的实施例，具有如下的有益效果：
本发明提供的电网资讯信息的推荐方法及系统，充分考虑多种信息的融合、 不仅仅依靠关键词；比其他传统推荐系统的方法有更多针对性，融合用户兴趣， 反馈信息进行更智能推荐。更精准把推荐步骤分开，解决了关键词筛选过程中， 不好确定筛选阈值的问题，推荐过程平滑化，不生硬，实现精确推送资讯到用 户界面。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之 权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种电网资讯信息的推荐方法，其特征在于，包括以下步骤：
步骤S1，获取用户的图信息、反馈信息及所有资讯信息、画像信息及用户关联的所有行为信息；其中，所述行为信息至少包括历史行为信息，所述画像信息至少包括兴趣信息；
步骤S2，将历史行为信息、兴趣信息、反馈信息输入预设的embedding层，获得对应的自身特征向量，并计算历史行为信息、兴趣信息、反馈信息之间的相关性权重；将相关性权重、自身特征向量输入到预设的非线性多层感知器MLP，获得出用户信息特征向量；
步骤S3，将用户信息特征向量、所有资讯信息的特征向量输入预设的分类器，获得所有资讯信息相对于用户信息特征向量的概率，根据所有资讯信息相对于用户信息特征向量的概率确定目标资讯信息；
步骤S4，将用户的画像信息输入预设的embedding层进行编码，获得用户画像特征；将所有用户行为信息、目标资讯信息输入预设的特征提取器，获得行为特征、目标咨询特征；将用户的图信息输入预设的图卷积神经网络，获得图特征；
步骤S5，将用户的图特征、用户画像特征、行为特征、目标咨询特征进行拼接，获得一个整合向量，并将整合向量输入预设的全连接神经网络层，获得目标资讯信息的得分值；
步骤S6，按照目标资讯信息的得分值由大到小排序，根据排序结果确定推荐列表，根据推荐列表将目标咨询推送给用户。
2.如权利要求1所述的方法，其特征在于，所述步骤S2中，获得对应的自身特征向量，具体包括：
预设的embedding层识别接收的历史行为信息、兴趣信息、反馈信息，获得接收信息中的文字内容，将识别的文字内容转化为与历史行为信息、兴趣信息、反馈信息对应的特征向量；
将获得特征向量按照预设的特征交叉关系进行分组，根据分组结果将每一组特征相乘，输出历史行为信息、兴趣信息、反馈信息对应的自身特征向量。
3.如权利要求2所述的方法，其特征在于，所述步骤S2中，计算历史行为信息、兴趣信息、反馈信息之间的相关性权重，具体包括：
将历史行为信息、兴趣信息、反馈信息对应的自身特征向量输入预设的注意力权重计算模型，输出所述自身特征向量对应的权重值；
并通过预设的注意力权重计算模型将对应的权重值进行归一处理，获得相关性权重。
4.如权利要求3所述的方法，其特征在于，所述步骤S3具体包括：
获取所有资讯信息的特征向量，将户信息特征向量、所有资讯信息的特征向量输入预设的softmax分类器，获得资讯信息相对于用户信息特征向量的概率；
按照概率由高到低对所有资讯信息进行排序，根据排序结果选择多个资讯信息，输出为目标资讯信息。
5.如权利要求4所述的方法，其特征在于，所述步骤S5中，将用户的图特征、用户画像特征、行为特征、目标咨询特征进行拼接，具体包括：
将用户的图特征、用户画像特征、行为特征、目标咨询特征作为输入量，输入预设的合并模型在同一维度方向上进行合并，输出一个整合向量。
6.一种电网资讯信息的推荐系统，用以实现如权利要求1-5任一所述的方法，其特征在于，包括：
数据采集模块，用以获取用户的图信息、反馈信息及所有资讯信息、画像信息及用户关联的所有行为信息；其中，所述行为信息至少包括历史行为信息，所述画像信息至少包括兴趣信息；
第一特征提取模块，用以将历史行为信息、兴趣信息、反馈信息输入预设的embedding层，获得对应的自身特征向量，并计算历史行为信息、兴趣信息、反馈信息之间的相关性权重；将相关性权重、自身特征向量输入到预设的非线性多层感知器MLP，获得出用户信息特征向量；
目标资讯模块，用以将用户信息特征向量、所有资讯信息的特征向量输入预设的分类器，获得所有资讯信息相对于用户信息特征向量的概率，根据所有资讯信息相对于用户信息特征向量的概率确定目标资讯信息；
第二特征提取模块，用以将用户的画像信息输入预设的embedding层进行编码，获得用户画像特征；将所有用户行为信息、目标资讯信息输入预设的特征提取器，获得行为特征、目标咨询特征；将用户的图信息输入预设的图卷积神经网络，获得图特征；
咨询推送模块，用以将用户的图特征、用户画像特征、行为特征、目标咨询特征进行拼接，获得一个整合向量，并将整合向量输入预设的全连接神经网络层，获得目标资讯信息的得分值；并按照目标资讯信息的得分值由大到小排序，根据排序结果确定推荐列表，根据推荐列表将目标咨询推送给用户。
7.如权利要求6所述的系统，其特征在于，所述第一特征提取模块第一特征提取模块还用于预设的embedding层识别接收的历史行为信息、兴趣信息、反馈信息，获得接收信息中的文字内容，将识别的文字内容转化为与历史行为信息、兴趣信息、反馈信息对应的特征向量；
将获得特征向量按照预设的特征交叉关系进行分组，根据分组结果将每一组特征相乘，输出历史行为信息、兴趣信息、反馈信息对应的自身特征向量。
8.如权利要求7所述的系统，其特征在于，所述第一特征提取模块还用于将历史行为信息、兴趣信息、反馈信息对应的自身特征向量输入预设的注意力权重计算模型，输出所述自身特征向量对应的权重值；
并通过预设的注意力权重计算模型将对应的权重值进行归一处理，获得相关性权重。
9.如权利要求8所述的系统，其特征在于，所述目标资讯模块还用于获取所有资讯信息的特征向量，将户信息特征向量、所有资讯信息的特征向量输入预设的softmax分类器，获得资讯信息相对于用户信息特征向量的概率；
按照概率由高到低对所有资讯信息进行排序，根据排序结果选择多个资讯信息，输出为目标资讯信息。
10.如权利要求9所述的系统，其特征在于，所述咨询推送模块还用于将用户的图特征、用户画像特征、行为特征、目标咨询特征作为输入量，输入预设的合并模型在同一维度方向上进行合并，输出一个整合向量。
CN202110306967.2A 2021-03-23 2021-03-23 一种电网资讯信息的推荐方法及系统 Pending CN112925983A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110306967.2A CN112925983A (zh) 2021-03-23 2021-03-23 一种电网资讯信息的推荐方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110306967.2A CN112925983A (zh) 2021-03-23 2021-03-23 一种电网资讯信息的推荐方法及系统

Publications (1)

Publication Number Publication Date
CN112925983A true CN112925983A (zh) 2021-06-08

Family

ID=76175504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110306967.2A Pending CN112925983A (zh) 2021-03-23 2021-03-23 一种电网资讯信息的推荐方法及系统

Country Status (1)

Country Link
CN (1) CN112925983A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887613A (zh) * 2021-09-29 2022-01-04 平安银行股份有限公司 基于注意力机制的深度学习方法、装置、设备及存储介质
CN114491245A (zh) * 2022-01-13 2022-05-13 南方电网数字电网研究院有限公司 一种资讯信息智能推荐的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933729A (zh) * 2019-03-28 2019-06-25 广州麦迪森在线医疗科技有限公司 一种基于用户偏好的医疗学术资讯推荐方法及系统
CN111078994A (zh) * 2019-11-06 2020-04-28 珠海健康云科技有限公司 基于画像的医学科普文章推荐方法及系统
CN111177575A (zh) * 2020-04-07 2020-05-19 腾讯科技（深圳）有限公司 一种内容推荐方法、装置、电子设备和存储介质
CN111859166A (zh) * 2020-07-28 2020-10-30 重庆邮电大学 一种基于改进的图卷积神经网络的物品评分预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933729A (zh) * 2019-03-28 2019-06-25 广州麦迪森在线医疗科技有限公司 一种基于用户偏好的医疗学术资讯推荐方法及系统
CN111078994A (zh) * 2019-11-06 2020-04-28 珠海健康云科技有限公司 基于画像的医学科普文章推荐方法及系统
CN111177575A (zh) * 2020-04-07 2020-05-19 腾讯科技（深圳）有限公司 一种内容推荐方法、装置、电子设备和存储介质
CN111859166A (zh) * 2020-07-28 2020-10-30 重庆邮电大学 一种基于改进的图卷积神经网络的物品评分预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
练建勋: "基于多样化内容数据的个性化推荐系统", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887613A (zh) * 2021-09-29 2022-01-04 平安银行股份有限公司 基于注意力机制的深度学习方法、装置、设备及存储介质
CN114491245A (zh) * 2022-01-13 2022-05-13 南方电网数字电网研究院有限公司 一种资讯信息智能推荐的方法

Similar Documents

Publication Publication Date Title
CN110737801B (zh) 内容分类方法、装置、计算机设备和存储介质
CN112131350B (zh) 文本标签确定方法、装置、终端及可读存储介质
CN111581510A (zh) 分享内容处理方法、装置、计算机设备和存储介质
CN110826328A (zh) 关键词提取方法、装置、存储介质和计算机设备
CN113627447B (zh) 标签识别方法、装置、计算机设备、存储介质及程序产品
CN111667022A (zh) 用户数据处理方法、装置、计算机设备和存储介质
CN107688870B (zh) 一种基于文本流输入的深度神经网络的分层因素可视化分析方法及装置
CN114330354B (zh) 一种基于词汇增强的事件抽取方法、装置及存储介质
Wen et al. Neural attention model for recommendation based on factorization machines
CN109086265B (zh) 一种语义训练方法、短文本中多语义词消歧方法
CN117453921B (zh) 一种大语言模型的数据信息标签处理方法
CN112148831B (zh) 图文混合检索方法、装置、存储介质、计算机设备
CN111539197A (zh) 文本匹配方法和装置以及计算机系统和可读存储介质
CN112749274A (zh) 基于注意力机制和干扰词删除的中文文本分类方法
Sadr et al. Convolutional neural network equipped with attention mechanism and transfer learning for enhancing performance of sentiment analysis
CN112131345B (zh) 文本质量的识别方法、装置、设备及存储介质
CN114357151A (zh) 文本类目识别模型的处理方法、装置、设备及存储介质
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN115131698A (zh) 视频属性确定方法、装置、设备及存储介质
CN114298055B (zh) 基于多级语义匹配的检索方法、装置、计算机设备和存储介质
CN115168590A (zh) 文本特征提取方法、模型训练方法、装置、设备及介质
CN113239143B (zh) 融合电网故障案例库的输变电设备故障处理方法及系统
CN114239730A (zh) 一种基于近邻排序关系的跨模态检索方法
CN113516094A (zh) 一种用于为文档匹配评议专家的系统以及方法
CN113535949A (zh) 基于图片和句子的多模态联合事件检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210608