CN117033804A - 一种主客观视角引导下的点击诱导检测方法 - Google Patents

一种主客观视角引导下的点击诱导检测方法 Download PDF

Info

Publication number
CN117033804A
CN117033804A CN202310804748.6A CN202310804748A CN117033804A CN 117033804 A CN117033804 A CN 117033804A CN 202310804748 A CN202310804748 A CN 202310804748A CN 117033804 A CN117033804 A CN 117033804A
Authority
CN
China
Prior art keywords
post
objective
content
subjective
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310804748.6A
Other languages
English (en)
Inventor
施重阳
尹一君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202310804748.6A priority Critical patent/CN117033804A/zh
Publication of CN117033804A publication Critical patent/CN117033804A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种主客观视角引导下的点击诱导检测方法，属于自然语言处理技术领域。首先提取点击诱导内容中所包含的帖子的主观感受与客观实体知识，生成主客观偏好分布。然后，分别从主观感受和客观内容关联视角挖掘帖子与文章信息，形成最终的综合内容表示。最后用综合表示进行诱导性标签预测。本方法不仅从主观视角出发获取帖子的语义、写作风格与情感倾向的综合表示，而且还从客观视角出发捕捉帖子与文章的内容关联特征。本方法可以挖掘关键的语言与主观感受线索，能够较为快速地进行判定。本方法从客观实体视角出发，基于帖子与文章内容之间的关联学习客观层面的文本特征，从帖子与文章的内容关联中提取丰富的辅助信息，能够较全面地进行判定。

Description

一种主客观视角引导下的点击诱导检测方法
技术领域
本发明涉及一种主客观视角引导下的信息点击诱导检测方法，属于自然语言处理技术领域。
背景技术
随着自媒体时代的来临，海量信息流中吸引用户的注意力的点击诱导内容在互联网上广泛传播，给公众和组织的信誉造成了负面影响。点击诱导检测，旨在对社交媒体上发布的帖子及其所链接文章，判定是否为点击诱导内容。
点击诱导，是使用夸张或危言耸听的方式生成宣传帖子，以诱导读者到指定网站浏览文章的内容。用户一般会率先从主观视角出发，利用情感倾向和写作风格等主观经验来判断有可疑迹象的帖子，还会结合感兴趣的新闻客观实体，判断帖子与文章之间存在的内容关联。因此，同时从主观感受和客观内容关联两个视角了解点击诱导的特征至关重要。主观感受揭示了点击诱导帖子潜在的夸张与诱导性，可以用来学习文本中的语言模式和情感风格等主观感受相关的关键特征。客观内容关联关注客观层面上帖子与文章之间的关联，可以用来探究在客观层面上，文章与帖子内容上的关联程度，更准确地捕捉到帖子的诱导性信息，从而避免因错误的主观感受所带来的误判。
目前，有研究人员提出了一些基于帖子语义的点击诱导检测方法，例如：基于bi-GRU网络和自注意力机制的组合，Zhou等人关注重要词汇来捕捉文本中的重要信息，学习用户发布的帖子表示，但其忽略了点击诱导的文章与帖子之间的关联性。此外，还有一些基于帖子与文章内容关联的检测方法，其目的是根据帖子与文章之间的关联来判定其诱导性。Kumar等人引入基于注意力的双向RNN与Siamese网络来捕获帖子和文章之间的相关性。Wu等人提出了一种具有风格感知的帖子建模和协同注意力模型，该模型考虑了帖子和文章上下文之间的相互作用以及帖子的风格模式。Wei等人首次将人类语义知识整合到神经网络中，用构建出的语言知识图谱指导注意力机制的关注点。
虽然现有的方法在点击诱导检测任务上取得了一些成效，但是，为了更加全面地建模点击诱导内容各个方面的特征，使检测模型更加稳定和准确，还需要从以下几个方面进一步考虑：
1.在点击诱导内容中，往往包含着可以验证其诱导性的潜在情感和风格线索。由于点击诱导是出于吸引用户注意力将其诱导至指定网站而发布帖子，所以它们往往含有夸张或煽动性的语言。因此，可以通过识别帖子内容中潜在的语言特征与写作风格来预测社交媒体帖子及其文章的诱导性标签。
2.当主观感受的冲击不明显时，用户会关注帖子中的感兴趣的新闻实体要素，并深入浏览帖子所对应的文章，结合帖子和文章内容之间的关联来综合判定其是否属于点击诱导。这种客观层面上的内容关联提供了辅助信息，可以用来推断社交媒体帖子的诱导性。
3.虽然帖子传达的主观感受是首要判断点击诱导的重要特征，但为了避免因为错误的主观感受而导致误判，需要同时结合客观内容关联特征共同分析。也就是说，为了全面地分析点击诱导内容，必须同时考虑主观感受和客观内容关联。
因此，为了增进对点击诱导帖子和文章特性的了解并预测其诱导性，需要在主观感受视角对帖子表示进行建模，并准确捕获帖子与文章在客观视角上的相互作用关系。
发明内容
本发明的目的是为了克服现有的点击诱导检测方法仅从单一视角对帖子或文章特征进行表示和检测等技术缺陷，创造性地提出一种主客观视角引导下的点击诱导检测方法，能够对社交媒体帖子及其文章的诱导性进行准确的检测和预测。
本方法的创新点在于：对点击诱导的帖子和文章内容分别进行建模表示，首次将主观感受和客观内容关联特性相结合的方式，自动进行点击诱导检测。
首先，提取点击诱导内容中所包含的帖子的主观感受与客观实体知识，生成主客观偏好分布。
然后，分别从主观感受和客观内容关联视角挖掘帖子与文章信息，形成最终的综合内容表示。
最后，用综合表示进行诱导性标签预测。
本发明是基于以下技术方案实现的。
一种主客观视角引导下的点击诱导检测方法，包括如下步骤：
步骤1：对社交媒体中的帖子文本信息进行初步编码。
具体地，使用BERT的最后一层选择[CLS]标记的隐藏表示，将每个帖子的文本序列编码为包含其上下文信息的嵌入表示，得到词级别的初始帖子表示。
由于社交网络平台中发布的帖子通常包含有新的非标准词汇，采用词级别嵌入能够更深入地挖掘这些单词的语义特征，同时也能便于后续提取知识来构建帖子词汇图。
步骤2：提取帖子的主观感受和客观实体知识，将帖子文本定义为一张无向异构图。
为了关注与有效建模主观和客观这两种视角的偏好信息，以增强帖子在不同视角下的表征，使整合后的综合视角更具互补性，涵盖更多的点击诱导情形，通过分别提取情感与写作风格等主观知识，以及客观实体相关的专有名词知识，构建由主观、客观和其他这三种类型集合词汇节点组成的无向异构图，利用步骤1学习到的帖子初始表征初始化异构动态图网络。
步骤3：初始化异构图并更新，生成偏好于两个视角的词级别分布。
在生成异构动态图网络后，根据上下文动态地更新节点之间的关联矩阵。然后，以Leaky Relu函数作为激活函数，对异构动态图网络进行更新计算，根据获得的关联矩阵计算得到不同类型节点的关联度之和，最终分别获得主观感受与客观实体两个视角的词级别偏好权重分布。
步骤4：对于每个帖子所对应的文章，编码其文本信息。
具体地，使用Longformer对由词汇序列构成的文章进行编码，再将所得到的词嵌入作为输入，通过双向长短期记忆网络和平均池化层得到词级别的初步隐藏表示。
步骤5：分别从主观和客观两个视角出发，建模帖子的主观感受特征与帖子-文章客观内容关联特征。
具体地，从主观感受视角出发建模帖子特征，其实现方法如下：
首先，为从语义层面提取引起用户情感共鸣的主观感受偏好的帖子文本表征，对于步骤1得到的语义特征，结合步骤2中得到的主观感受词级别偏好分布，将其作为注意力权重，聚焦于帖子中偏好于主观感受的词汇上。
其次，利用专家知识和词集与帖子中的词汇进行匹配，抽取帖子的情感信号，并将它们连接起来用全连接层获取一个整体的情感嵌入向量，同时，获取不同写作风格信号，作为风格嵌入向量。最后，通过多头注意力机制融合帖子在三个角度的特征，形成综合主观感受的多角度特征表示。
主观层面的情感与风格特征在一定程度上反映了帖子的诱导程度，通过捕获这些角度的交互，使得每个特征的贡献可以被评估，能够较为全面地学习到主观感受视角的表示并验证帖子的诱导性。
从客观实体视角出发建模帖子-文章内容关联特征，实现方法如下：
第一步，通过文章客观内容学习的局部注意力机制，获得文章结合了客观实体信息的内容表征。
首先通过BiLSTM进一步建模步骤1得到的帖子初始语义表征。为了结合帖子的客观实体偏好特征创建注意力表示，基于帖子的客观实体词级别分布分数来计算隐藏状态的加权平均值，再结合步骤2所提取到的帖子客观实体偏好分布，通过平均池化层得到关注客观内容的帖子内容表征。
通过步骤1得到文章初始内容表征后，为了引导模型能够将重点放在文章中的新闻要素关键词汇上，用帖子内容表示向量创建帖子矩阵，并提出关注文章中重要词汇的协同多头注意力机制，由客观偏好的帖子得到文章的客观内容表征。
第二步，采用内容关联学习的全局注意力机制，根据文章与帖子的内容建模关联性。
为了使模型能分别关注帖子的核心内容片段以及对应文章中的整体内容信息，灵活提取分散在内容序列之间的关键特征，探索帖子与文章之间的相关信息，通过使用内容关联的全局协同多头注意力网络作为内容交互共享层，显式捕获帖子与文章在内容之间的关联；使用协同注意力网络捕获帖子与文章在内容上的关联，不同注意力分布代表文章对帖子点击诱导程度的不同共享，从而确保它们的深度交互。为了增强网络的并行能力，使用不同的线性投影，将查询、键和值多次投影，再并行执行缩放的点积注意力。最后，将处理后的结果连接起来再次投影，以获得蕴含了客观实体信息的帖子及其文章的内容关联交互特征。
步骤6：结合主观与客观视角的结果，获取点击诱导的综合特征。
为得到点击诱导在全局层面的特征，需结合主观感受表示和客观内容关联表示，将它们连接起来。
步骤7：预测点击诱导的诱导性标签。
具体地，可以通过全连接层和Softmax层来获取预测的诱导性标签分布。
步骤8：训练神经网络，使用交叉熵作为损失函数计算损失值。
预先设置迭代次数(例如20次)，如果迭代次数满足设置次数，则训练流程结束，实现了点击诱导性标签的预测；如果迭代次数不满足设置次数，则返回步骤1，继续进行下一轮训练。
至此，完成了主客观视角引导下的点击诱导检测方法，实现了诱导性标签的预测。
有益效果
本发明方法，与现有技术相比，具有以下优点：
1.本方法从两个不同的视角提取点击诱导的文本特征，不仅从主观视角出发获取帖子的语义、写作风格与情感倾向的综合表示，而且还从客观视角出发捕捉帖子与文章的内容关联特征。
2.本方法基于点击诱导的帖子文本信息来学习主观感受视角的特征，可以挖掘关键的语言与主观感受线索，能够较为快速地进行判定。
3.本方法从客观实体视角出发，基于帖子与文章内容之间的关联学习客观层面的文本特征，从帖子与文章的内容关联中提取丰富的辅助信息，能够较为全面地进行判定。
附图说明
图1为本发明方法的流程图。
图2为本发明方法的实现框图。
具体实施方式
下面结合附图和实施例对本发明方法进行详细说明。
实施例
本实施例选用两个数据集的网址分别为：http://www.fakenewschallenge.org/和https://webis.de/events/clickbait-challenge/。
从数据集中选取一个社交平台的帖子记为Pi＝{w1,...,wn}，Di＝{d1,...,dn}为其对应的文章，分析社交媒体帖子及其对应文章所属的诱导性标签。
如图1所示，一种主客观视角引导下的点击诱导检测方法，包括以下步骤：
步骤1：对社交媒体中的帖子文本信息进行初步编码。
具体地，任取一个帖子Pi为例，使用BERT模型，从最后一层选择[CLS]标记的隐藏表示，将每个文本序列{w1,...,wn}编码为包含其上下文信息的嵌入表示HP，如式1所示：
其中，N代表Transformer编码器的数量；是输入序列{w1,...,wn}的嵌入表示，/>表示第i个词汇的上下文嵌入表示，[·]表示将多个向量拼接成一个向量。Ep表示提取到的情感特征。encoder()表示BERT的编码器。
步骤2：提取帖子的主观感受和客观实体知识，将帖子文本定义为一张无向异构图。
具体地，分别借助主观词集和CRF抽取工具，提取帖子的主观感受和客观实体知识，据此将所选取的帖子文本定义为一张无向异构图：G＝(V,E)。其中，V＝{V1,V2,...,Vn}为词汇节点的集合，其中包括三种不同的节点属性：主观感受节点集合VS、客观实体节点集合VO和其他节点VR；为节点之间边的集合，表示词汇节点彼此之间的关系。
首先，提取并存储图的词汇节点信息，并限制节点的数量不超过最大节点数。
然后，计算节点的数量，并创建一个字典用于存储节点类型和节点索引之间的映射关系，之后遍历每个节点并对其处理。
步骤3：初始化异构图并更新，生成帖子对于两种视角偏好的词级别分布。
用帖子的初始文本语义嵌入取平均值，作为节点的初始特征表示H(0)∈Rn×d，其中，d是每个节点向量的维度，n是当前帖子的词项数。
将词汇节点的集合矩阵的表示拼接，即用来初始化该异构图。
获取当前这该类型节点与其他节点之间的边关系，并用余弦相似性来初始化词汇节点之间相连边权重，得到规范化相关性矩阵A：
其中，和/>分别是初始节点特征，A(0)(i,j)∈[0,1]是连接第i个和第j个节点的边初始权重。
然后，通过矩阵乘法让规范化的度矩阵与相关性矩阵相乘，定义第l层的规范化相关性矩阵为：
其中，A(l)表示第l层的规范化相关性矩阵，l是当前层数；度矩阵D的计算过程为：其中diag()为对角矩阵。
为了有侧重地学习不同视角，使用异构动态GCN(图卷积神经网络)进行节点之间的交互。每层GCN使用相同的输入和输出特征维度，包含三种不同类型的节点。此外，采用动态关联矩阵更新每一层节点，并期望最终边的权重能反映上下文的节点对于不同视角的偏好信息。
对每一层GCN，创建一个权重矩阵W，可以用glorot随机初始化，利用关联矩阵A和状态更新权重矩阵W来更新词汇节点的值。每一层GCN的输入都是上一层的输出，第0层的输入为原始特征向量H(0)。具体地，第(l+1)层GCN表示为：
其中，是第l层相关矩阵的子矩阵，它的行包含所有节点，列记录它们与类型为τ∈{VS,VO,VR}的节点相关性；/>表示第l的文本特征向量；Wτ∈Rd×d′是该层中类型为τ的权重矩阵，d表示每个节点向量的维度，d′是输出特征的维度；τ表示三种节点类型的集合；σ(·)是激活函数，这里用Leaky ReLU，以缓解多层网络中的梯度消失问题。
为确保关联程度的稳健性，使用移动平均来更新关联矩阵。具体地，每个窗口中的中心词将与其中的其他词连接，这样能够捕获中心词邻域里的局部上下文。对于节点相关矩阵A更新，其计算过程如下式所示：
其中，是更新相关性的可学习权重矩阵；σ在这里采用的是Sigmoid函数；α是取值区间在[0,1]的权衡系数。/>表示第(l+1)层的文本特征向量。A(l+1)表示第(l+1)层的规范化相关性矩阵，l是当前层数。τ表示三种节点类型的集合，/>表示更新权重后第(l+1)层的相关性矩阵。
通过对每个词汇节点的相关矩阵之和进行归一化来获得主观和客观偏好映射分布Msub和Mobj。在经过L层图卷积操作之后，得到关联矩阵A(L)。为了估计每个词汇的偏好程度，对于第i个节点，分别计算得到偏好主观感受得分和客观实体偏好得分/>为：
其中，k表示在单一视角相关性矩阵中的位置；A(L)表示节点的关联性矩阵；表示客观类型词汇节点的关联性矩阵；/>表示主观类型词汇节点的关联性矩阵；no表示当前帖子中客观词汇节点数；ns表示当前帖子中主观词汇节点数。
步骤4：对于每个帖子所对应的文章，编码其文本信息。
为实现对语义的完善表征，任取一个帖子所对应的文章Di＝{d1,d2,...,dm}，对于文章文本D，使用Longformer模型编码隐藏表示，表示为：
HD＝Longformer(D) (9)
其中，HD代表得到的文章初始表示，有效将较长的文本序列信息编码到一个固定长度的向量中，保留了文本序列中的全局依赖关系。D表示输入的文章文本。
步骤5：分别从主观和客观两个视角出发，建模帖子的主观感受特征与帖子-文章客观内容关联特征。
其中，从主观感受视角出发建模帖子特征的方法如下：
第一步：提取情感倾向特征。点击诱导往往充斥着情绪化或煽动性丰富的情感倾向信息。为全面描绘帖子中所包含的情感信息，将从帖子内容中提取多种情感特征，包括情感类别、情感词汇、情感强度、情感评分以及其他补充信息。除了情感词典中提取出的信息，还引入一组捕获非词汇元素所蕴含的模式信息，包括标点符号、表情符号和书写习惯描述。比如，在帖子中频繁使用大写字母是为了表达更强烈的情感，而表情符号如“:)”也能够代替词汇表达各种情感。
随后，将先前提取到的帖子的情感信号连接起来，获取一个整体的情感嵌入向量 表示情感分类特征，/>表示情感强度特征，/>表示情感极性特征，/>表示情感评分特征，/>表示补充起，情感特征。之后通过全连接层学习情感嵌入向量/>得到情感特征表示EP，VE为随网络训练更新的参数矩阵，bE为偏置项。
第二步：提取写作风格特征。
从写作风格角度出发，首先整合根据风格词汇词典抽取到的写作风格特征的信号，作为风格嵌入向量WS＝{s1,...,s∣S∣}，s表示提取的风格特征，再使用全连接层学习风格嵌入向量得到帖子的风格特征表示SP，bs表示偏置项。
第三步：融合帖子在语义、情感和风格三个角度的特征。
首先，从语义层面，使用主观感受偏好分布作为注意力权重，使模型聚焦于帖子中偏好于主观的词汇，获得结合了主观感受偏好的帖子语义表示HS：
其中，表示第i个单词的上下文相关嵌入表示；/>表示第i个词项上偏好主观感受的分数。
然后，为了更全面地表示帖子在主观层面的特征，将帖子的语义特征、情感特征和风格特征拼接后的向量[HS,EP,SP]通过线性变换分别映射为Query向量矩阵Q、Key向量矩阵K和Value向量矩阵V。之后，使用多头注意力机制来进行建模，计算每个元素在诸多元素中要被关注的权重。最后，将所有注意力头的输出向量zi拼接起来，得到综合了主观感受的多角度特征Gsub。
与此同时，从客观实体视角出发对帖子-文章内容关联特征建模，方法如下：
第一步：深层建模帖子与文章的内容特征。
获得初始的帖子词汇表示之后，为了提取帖子内容中的更高层次的时序依赖表征，发现帖子中潜在的模式信息，用BiLSTM从前向和后向对帖子的初始语义表征HP进一步建模：
其中，表示前向LSTM计算过程，hi-1表示前一个时间步的隐藏状态，/>表示后向LSTM计算过程。/>和/>分别是BiLSTM符号的正向和反向传递中的隐藏状态。
然后，连接前向和后向的隐藏状态来计算最后的隐藏状态为其中，[·]表示连接向量操作，d表示帖子的初始嵌入维度。
为了考虑帖子的内容特征和客观实体特征来创建其注意力表示，基于帖子词汇的对应客观实体分布得分来计算其隐藏状态表示的加权平均值，通过BiLSTM之后的平均池化层得出关注客观内容的帖子内容表征HP为：
其中，表示经过双向LSTM后的隐藏层状态，/>表示。
第二步：根据帖子内容，应用内容局部注意力机制获得文章的内容表征。
为了更好地了解文章中的哪些信息有助于辅助帖子进行点击诱导判定，需要引导模型将重点放在文章内容中的关键词汇或短语上，从而使文章的内容与帖子及其客观实体信息也建立联系。复制m次帖子内容表示向量HP，创建一个矩阵H′P∈Rm×2d，其次，文章的整体语义通常由它的组成部分共同得到，因此，通过将向量w2扩展至矩阵提出关注文章中重要词汇的注意力机制为：
A1＝Softmaxcol(tanh([H′D；H′P]·W1)·W2) (14)
其中，A1表示文章D中m个词汇上的不同注意力分布且h1是注意力头数，且A1的每列都已经通过Softmax运算进行了归一化。H′D表示中间状态的文章客观内容表征向量。W1、W2分别表示最后一个维度上两个矩阵的拼接。
在计算得到A1后，得到文章的客观内容表征HD为：
其中，h1表示注意力头数，/>表示转置后的文章词汇注意力分布；函数Flatten(·)将/>展平为一个向量。
第三步：根据帖子与文章之间的交互，学习点击诱导的内容关联学习特征。
为了使模型能分别关注帖子P的核心内容片段以及对应文章D中的整体内容信息，灵活提取分散在内容序列之间的关键特征，探索帖子与文章之间的相关信息，从而避免仅使用帖子和主观感受进行建模的局限。使用内容关联的全局协同注意力网络作为内容交互共享层，显式地捕获帖子与文章在内容之间的关联，所产生的不同注意力分布，代表文章对帖子点击诱导程度的不同共享，从而确保这两个内容之间的深度交互，描述为：
其中，H表示注意力机制的输出，Q表示查询矩阵，K表示键矩阵，V表示值矩阵，KT表示键矩阵的转置；矩阵Q＝HD，K＝V＝HP；dk＝2d是BiLSTM隐藏单元的大小。
为了增强网络的并行能力，多头注意力通过使用不同的线性投影，将查询Q、键K和值V投影h2次，然后并行地执行缩放的点积注意力。最后，将处理后的结果连接起来，再次投影以获得新的表示，此处的多头注意力表示为：
其中，headi表示多头自注意力中的第i个头，Gobj表示内容关联交互特征；内容关联的全局注意力机制应用了h2个不同的注意力头数， WO∈R2d×2d均为可训练的参数，且/>
最后，得到内容关联学习模块的输出结果，即为蕴含了客观实体信息的帖子及其文章的内容关联交互特征Gobj。
步骤6：结合主观与客观视角的结果，获取点击诱导的综合特征。
为得到点击诱导的全局特征，对主观感受和客观内容关联表示连接起来，如下式：
其中，c表示两个视角的点击诱导综合表征，Gsub表示主观感受的帖子表征。
步骤7：预测点击诱导的诱导性标签。
将综合表征c通过Softmax分类层获取预测的真实性标签分布表示该内容为点击诱导，/>表示该内容不具有诱导性：
其中，Wf表示映射矩阵；bf表示偏差项。
步骤8：训练神经网络，使用交叉熵作为损失函数计算损失值，随后判断迭代次数是否等于预先设置的迭代数(例如20次)，如果满足预先设置的迭代数条件，则结束训练流程，如果不满足，则返回步骤1继续下一轮迭代训练。
图2为基于本方法的实施框图。
表1：12种分类方式-2种数据集效果比较
采用本方法得到的预测结果的准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F1如表1中两个子表的最后一行所示。

Claims (7)

1.一种主客观视角引导下的点击诱导检测方法，其特征在于，包括以下步骤：
步骤1：对社交媒体中的帖子文本信息进行初步编码，将每个帖子的文本序列编码为包含其上下文信息的嵌入表示，得到词级别的初始帖子表示；
步骤2：提取帖子的主观感受和客观实体知识，将帖子文本定义为一张无向异构图；
步骤3：初始化异构图并更新，生成偏好于两个视角的词级别分布；
在生成异构动态图网络后，根据上下文动态地更新节点之间的关联矩阵；然后，对异构动态图网络进行更新计算，根据获得的关联矩阵计算得到不同类型节点的关联度之和，最终分别获得主观感受与客观实体两个视角的词级别偏好权重分布；
步骤4：对于每个帖子所对应的文章，编码其文本信息；
对由词汇序列构成的文章进行编码，再将所得到的词嵌入作为输入，通过双向长短期记忆网络和平均池化层得到词级别的初步隐藏表示；
步骤5：分别从主观和客观两个视角出发，建模帖子的主观感受特征与帖子-文章客观内容关联特征；
其中，从主观感受视角出发建模帖子特征，其实现方法如下：
首先，为从语义层面提取引起用户情感共鸣的主观感受偏好的帖子文本表征，对于步骤1得到的语义特征，结合步骤2中得到的主观感受词级别偏好分布，将其作为注意力权重，聚焦于帖子中偏好于主观感受的词汇上；
其次，利用专家知识和词集与帖子中的词汇进行匹配，抽取帖子的情感信号，并将它们连接起来用全连接层获取一个整体的情感嵌入向量，同时，获取不同写作风格信号，作为风格嵌入向量；最后，通过多头注意力机制融合帖子在三个角度的特征，形成综合主观感受的多角度特征表示；
从客观实体视角出发建模帖子-文章内容关联特征，实现方法如下：
第一步，通过文章客观内容学习的局部注意力机制，获得文章结合了客观实体信息的内容表征；
首先建模步骤1得到的帖子初始语义表征；为了结合帖子的客观实体偏好特征创建注意力表示，基于帖子的客观实体词级别分布分数来计算隐藏状态的加权平均值，再结合步骤2所提取到的帖子客观实体偏好分布，通过平均池化层得到关注客观内容的帖子内容表征；
通过步骤1得到文章初始内容表征后，用帖子内容表示向量创建帖子矩阵，并提出关注文章中重要词汇的协同多头注意力机制，由客观偏好的帖子得到文章的客观内容表征；
第二步，采用内容关联学习的全局注意力机制，根据文章与帖子的内容建模关联性；
使用内容关联的全局协同多头注意力网络作为内容交互共享层，显式捕获帖子与文章在内容之间的关联；使用协同注意力网络捕获帖子与文章在内容上的关联，不同注意力分布代表文章对帖子点击诱导程度的不同共享；使用不同的线性投影，将查询、键和值进行投影，再并行执行缩放的点积注意力；最后，将处理后的结果连接起来再次投影，获得蕴含客观实体信息的帖子及其文章的内容关联交互特征；
步骤6：结合主观与客观视角的结果，获取点击诱导的综合特征；
步骤7：预测点击诱导的诱导性标签；
步骤8：训练神经网络，使用交叉熵作为损失函数计算损失值；
预先设置迭代次数，如果迭代次数满足设置次数，则训练流程结束，实现了点击诱导性标签的预测；如果迭代次数不满足设置次数，则返回步骤1，继续进行下一轮训练。
2.如权利要求1所述的一种主客观视角引导下的点击诱导检测方法，其特征在于，步骤1包括：
步骤1.1：编码帖子文本信息；
使用BERT的最后一层选择[CLS]标记的隐藏表示，将每个帖子的文本序列编码为包含其上下文信息的嵌入表示，得到词级别的初始帖子表示；
步骤1.2：编码所对应的文章文本信息；
使用Longformer对由词汇序列构成的文章进行编码，再将所得到的词嵌入作为输入，通过双向长短期记忆网络和平均池化层得到词级别的初步隐藏表示。
3.如权利要求1所述的一种主客观视角引导下的点击诱导检测方法，其特征在于，步骤2中，通过分别提取情感与写作风格等主观知识，以及客观实体相关的专有名词知识，构建由主观、客观和其他这三种类型集合词汇节点组成的无向异构图，利用帖子初始表征初始化异构动态图网络，并根据上下文动态地更新节点之间的关联矩阵；
然后，以Leaky Relu函数作为激活函数，对异构动态图网络进行更新计算，根据获得的关联矩阵计算得到不同类型节点的关联度之和，分别获得主观感受与客观实体两个视角的词级别偏好权重分布。
4.如权利要求1所述的一种主客观视角引导下的点击诱导检测方法，其特征在于，步骤3中，用帖子的初始文本语义嵌入取平均值，作为节点的初始特征表示H(0)∈Rn×d，其中，d是每个节点向量的维度，n是当前帖子的词项数；
将词汇节点的集合矩阵的表示拼接，即用来初始化该异构图；
获取当前这该类型节点与其他节点之间的边关系，并用余弦相似性来初始化词汇节点之间相连边权重，得到规范化相关性矩阵A：
其中，和/>分别是初始节点特征，A(0)(i,j)∈[0,1]是连接第i个和第j个节点的边初始权重；
然后，通过矩阵乘法让规范化的度矩阵与相关性矩阵相乘，定义第l层的规范化相关性矩阵为：
其中，A(l)表示第l层的规范化相关性矩阵，l是当前层数；度矩阵D的计算过程为：其中diag()为对角矩阵；
使用异构动态图卷积神经网络GCN进行节点之间的交互，每层GCN使用相同的输入和输出特征维度，包含三种不同类型的节点；采用动态关联矩阵更新每一层节点，并期望最终边的权重能反映上下文的节点对于不同视角的偏好信息；
对每一层GCN，创建一个权重矩阵W，用glorot随机初始化，利用关联矩阵A和状态更新权重矩阵W来更新词汇节点的值；每一层GCN的输入都是上一层的输出，第0层的输入为原始特征向量H(0)；第(l+1)层GCN表示为：
其中，是第l层相关矩阵的子矩阵，它的行包含所有节点，列记录它们与类型为τ∈{VS,VO,VR}的节点相关性；/>表示第l的文本特征向量；Wτ∈Rd×d′是该层中类型为τ的权重矩阵，d表示每个节点向量的维度，d′是输出特征的维度；τ表示三种节点类型的集合；σ(·)是激活函数；
使用移动平均来更新关联矩阵，每个窗口中的中心词将与其中的其他词连接，这样能够捕获中心词邻域里的局部上下文；对于节点相关矩阵A更新，其计算过程如下式所示：
其中，是更新相关性的可学习权重矩阵；σ为Sigmoid函数；α是取值区间在[0,1]的权衡系数；/>表示第(l+1)层的文本特征向量；A(l+1)表示第(l+1)层的规范化相关性矩阵，l是当前层数；τ表示三种节点类型的集合，/>表示更新权重后第(l+1)层的相关性矩阵；
通过对每个词汇节点的相关矩阵之和进行归一化，获得主观和客观偏好映射分布Msub和Mobj；在经过L层图卷积操作之后，得到关联矩阵A(L)；
对于第i个节点，分别计算得到偏好主观感受得分和客观实体偏好得分/>为：
其中，k表示在单一视角相关性矩阵中的位置；A(L)表示节点的关联性矩阵；表示客观类型词汇节点的关联性矩阵；/>表示主观类型词汇节点的关联性矩阵；no表示当前帖子中客观词汇节点数；ns表示当前帖子中主观词汇节点数。
5.如权利要求1所述的一种主客观视角引导下的点击诱导检测方法，其特征在于，步骤4中，任取一个帖子所对应的文章Di＝{d1,d2,...,dm}，对于输入的文章文本D，使用Longformer模型编码隐藏表示，表示为：
HD＝Longformer(D) (9)
其中，HD代表得到的文章初始表示，有效将较长的文本序列信息编码到一个固定长度的向量中，保留了文本序列中的全局依赖关系。
6.如权利要求1所述的一种主客观视角引导下的点击诱导检测方法，其特征在于，步骤5中，从主观感受视角出发建模帖子特征的方法如下：
第一步：提取情感倾向特征；点击诱导往往充斥着情绪化或煽动性丰富的情感倾向信息；将从帖子内容中提取多种情感特征，包括情感类别、情感词汇、情感强度、情感评分以及其他补充信息；除了情感词典中提取出的信息，引入一组捕获非词汇元素所蕴含的模式信息，包括标点符号、表情符号和书写习惯描述；
随后，将先前提取到的帖子的情感信号连接起来，获取一个整体的情感嵌入向量 表示情感分类特征，/>表示情感强度特征，/>表示情感极性特征，/>表示情感评分特征，/>表示补充起，情感特征；之后通过全连接层学习情感嵌入向量/>得到情感特征表示EP，VE为随网络训练更新的参数矩阵，bE为偏置项；
第二步：提取写作风格特征；
从写作风格角度出发，首先整合根据风格词汇词典抽取到的写作风格特征的信号，作为风格嵌入向量WS＝{s1,...,s∣S∣}，s表示提取的风格特征，再使用全连接层学习风格嵌入向量得到帖子的风格特征表示SP，bs表示偏置项；
第三步：融合帖子在语义、情感和风格三个角度的特征；
首先，从语义层面，使用主观感受偏好分布作为注意力权重，使模型聚焦于帖子中偏好于主观的词汇，获得结合了主观感受偏好的帖子语义表示HS：
其中，表示第i个单词的上下文相关嵌入表示；/>表示第i个词项上偏好主观感受的分数；
然后，将帖子的语义特征、情感特征和风格特征拼接后的向量[HS,EP,SP]通过线性变换分别映射为Query向量矩阵Q、Key向量矩阵K和Value向量矩阵V；
之后，使用多头注意力机制来进行建模，计算每个元素在诸多元素中要被关注的权重；
最后，将所有注意力头的输出向量zi拼接起来，得到综合了主观感受的多角度特征Gsub；
从客观实体视角出发对帖子-文章内容关联特征建模，方法如下：
第一步：深层建模帖子与文章的内容特征；
用BiLSTM从前向和后向对帖子的初始语义表征HP进一步建模：
其中，表示前向LSTM计算过程，hi-1表示前一个时间步的隐藏状态，/>表示后向LSTM计算过程；/>和/>分别是BiLSTM符号的正向和反向传递中的隐藏状态；
然后，连接前向和后向的隐藏状态来计算最后的隐藏状态为其中，[·]表示连接向量操作，d表示帖子的初始嵌入维度；
基于帖子词汇的对应客观实体分布得分来计算其隐藏状态表示的加权平均值，通过BiLSTM之后的平均池化层得出关注客观内容的帖子内容表征HP为：
其中，表示经过双向LSTM后的隐藏层状态，/>表示；
第二步：根据帖子内容，应用内容局部注意力机制获得文章的内容表征；
复制m次帖子内容表示向量HP，创建一个矩阵H′P∈Rm×2d；通过将向量w2扩展至矩阵提出关注文章中重要词汇的注意力机制为：
A1＝Softmaxcol(tanh([H′D；H′P]·W1)·W2) (14)
其中，A1表示文章D中m个词汇上的不同注意力分布且h1是注意力头数，且A1的每列都已经通过Softmax运算进行了归一化；H′D表示中间状态的文章客观内容表征向量；W1、W2分别表示最后一个维度上两个矩阵的拼接；
在计算得到A1后，得到文章的客观内容表征HD为：
其中，h1表示注意力头数，/>表示转置后的文章词汇注意力分布；函数Flatten(·)将/>展平为一个向量；
第三步：根据帖子与文章之间的交互，学习点击诱导的内容关联学习特征；
使用内容关联的全局协同注意力网络作为内容交互共享层，显式捕获帖子与文章在内容之间的关联，所产生的不同注意力分布，代表文章对帖子点击诱导程度的不同共享，确保这两个内容之间的深度交互，描述为：
其中，H表示注意力机制的输出，Q表示查询矩阵，K表示键矩阵，V表示值矩阵，KT表示键矩阵的转置；矩阵Q＝HD，K＝V＝HP；dk＝2d是BiLSTM隐藏单元的大小；
多头注意力通过使用不同的线性投影，将查询Q、键K和值V投影h2次，然后并行地执行缩放的点积注意力；最后，将处理后的结果连接起来，再次投影以获得新的表示，此处的多头注意力表示为：
其中，headi表示多头自注意力中的第i个头，Gobj表示内容关联交互特征；内容关联的全局注意力机制应用了h2个不同的注意力头数， WO∈R2d×2d均为可训练的参数，且/>
最后，得到内容关联学习模块的输出结果，即为蕴含了客观实体信息的帖子及其文章的内容关联交互特征Gobj。
7.如权利要求1所述的一种主客观视角引导下的点击诱导检测方法，其特征在于，步骤6中，对主观感受和客观内容关联表示连接起来，如下式：
其中，c表示两个视角的点击诱导综合表征，Gsub表示主观感受的帖子表征；
步骤7中，将综合表征c通过Softmax分类层获取预测的真实性标签分布 表示该内容为点击诱导，/>表示该内容不具有诱导性：
其中，Wf表示映射矩阵；bf表示偏差项。
CN202310804748.6A 2023-07-03 2023-07-03 一种主客观视角引导下的点击诱导检测方法 Pending CN117033804A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310804748.6A CN117033804A (zh) 2023-07-03 2023-07-03 一种主客观视角引导下的点击诱导检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310804748.6A CN117033804A (zh) 2023-07-03 2023-07-03 一种主客观视角引导下的点击诱导检测方法

Publications (1)

Publication Number Publication Date
CN117033804A true CN117033804A (zh) 2023-11-10

Family

ID=88640234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310804748.6A Pending CN117033804A (zh) 2023-07-03 2023-07-03 一种主客观视角引导下的点击诱导检测方法

Country Status (1)

Country Link
CN (1) CN117033804A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117786120A (zh) * 2024-02-28 2024-03-29 山东省计算中心（国家超级计算济南中心） 基于层次化注意力机制的文本情感分类方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117786120A (zh) * 2024-02-28 2024-03-29 山东省计算中心（国家超级计算济南中心） 基于层次化注意力机制的文本情感分类方法及系统
CN117786120B (zh) * 2024-02-28 2024-05-24 山东省计算中心（国家超级计算济南中心） 基于层次化注意力机制的文本情感分类方法及系统

Similar Documents

Publication Publication Date Title
CN110162636B (zh) 基于d-lstm的情绪原因识别方法
CN111488931B (zh) 文章质量评估方法、文章推荐方法及其对应的装置
CN109284506A (zh) 一种基于注意力卷积神经网络的用户评论情感分析系统及方法
Wen et al. Dynamic interactive multiview memory network for emotion recognition in conversation
CN111160031A (zh) 一种基于词缀感知的社交媒体命名实体识别方法
CN111897913A (zh) 基于语义树增强的复杂文本查询到视频的跨模态检索方法
CN114936623B (zh) 一种融合多模态数据的方面级情感分析方法
CN113590970B (zh) 一种基于读者偏好的个性化数字图书推荐系统、方法、计算机及存储介质
CN113297370B (zh) 基于多交互注意力的端到端多模态问答方法及系统
Beinborn et al. Multimodal grounding for language processing
CN114549850B (zh) 一种解决模态缺失问题的多模态图像美学质量评价方法
CN112801762B (zh) 基于商品感知的多模态视频高光检测方法及其系统
CN111598183A (zh) 一种多特征融合图像描述方法
CN110991290A (zh) 基于语义指导与记忆机制的视频描述方法
CN112016002A (zh) 融合评论文本层级注意力和时间因素的混合推荐方法
CN113569001A (zh) 文本处理方法、装置、计算机设备及计算机可读存储介质
CN113239159B (zh) 基于关系推理网络的视频和文本的跨模态检索方法
CN115630145A (zh) 一种基于多粒度情感的对话推荐方法及系统
CN117033804A (zh) 一种主客观视角引导下的点击诱导检测方法
CN116680363A (zh) 一种基于多模态评论数据的情感分析方法
He et al. Deep learning in natural language generation from images
CN117391051B (zh) 一种融合情感的共同注意网络多模态虚假新闻检测方法
Parvin et al. Transformer-based local-global guidance for image captioning
CN115481313A (zh) 一种基于文本语义挖掘的新闻推荐方法
CN117574904A (zh) 基于对比学习和多模态语义交互的命名实体识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination