CN117436457B - 反讽识别方法、装置、计算设备及存储介质 - Google Patents

反讽识别方法、装置、计算设备及存储介质 Download PDF

Info

Publication number
CN117436457B
CN117436457B CN202311443301.7A CN202311443301A CN117436457B CN 117436457 B CN117436457 B CN 117436457B CN 202311443301 A CN202311443301 A CN 202311443301A CN 117436457 B CN117436457 B CN 117436457B
Authority
CN
China
Prior art keywords
text
irony
language model
marked
reasoning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311443301.7A
Other languages
English (en)
Other versions
CN117436457A (zh
Inventor
轩占伟
崔向阳
仝春艳
刘松涛
张凯
黄涛
杨松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konami Sports Club Co Ltd
Original Assignee
People Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by People Co Ltd filed Critical People Co Ltd
Priority to CN202311443301.7A priority Critical patent/CN117436457B/zh
Publication of CN117436457A publication Critical patent/CN117436457A/zh
Application granted granted Critical
Publication of CN117436457B publication Critical patent/CN117436457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种反讽识别方法、装置、计算设备及存储介质，该方法包括：根据各个有标注文本的反讽标签信息，构建各个有标注文本的标准推理结果；根据各个有标注文本及其标准推理结果，对大语言模型进行微调处理，得到目标语言模型；利用目标语言模型对任一无标注文本进行反讽推理处理，根据该无标注文本的反讽推理结果，确定该无标注文本的伪标签信息；根据各个无标注文本及其伪标签信息对中间识别模型进行微调处理，得到目标识别模型；中间识别模型用于提取输入文本的文本表示向量；利用目标识别模型进行文本的反讽识别处理。通过上述方式，实现了基于少量数据的有标注样本数据扩充，提升了模型的反讽识别性能，提升了模型构建的效率。

Description

反讽识别方法、装置、计算设备及存储介质
技术领域
本发明涉及计算机技术领域，具体涉及一种反讽识别方法、装置、计算设备及存储介质。
背景技术
反讽作为一种特殊的修辞手法，其特点为文本的字面含义与真实含义不一致。在如今的社交媒体平台上，不乏见到使用反讽修辞的网络文本，人们通常使用反讽的手法来表达对某一现象、事件或实体的嘲讽或不满，准确识别这些反讽文本，能够帮助了解网络用户真实的情感倾向，对于情感分析和舆情监测具有重要意义。
目前反讽识别通常采用有监督学习的方法，使用有标注数据训练深度学习模型。但是现有的中文反讽识别的公开数据集都相对较小，其中的正例文本大多仅有几千条，这远不能满足模型训练需要，制约了反讽识别性能的提升，同时反讽识别模型的构建也存在一定的难度。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的反讽识别方法、装置、计算设备及存储介质。
根据本发明的一个方面，提供了一种反讽识别方法，包括：
根据各个有标注文本的反讽标签信息，构建大语言模型对各个有标注文本的标准推理结果；
根据各个有标注文本及其标准推理结果，对大语言模型进行微调处理，得到目标语言模型；
利用目标语言模型对任一无标注文本进行反讽推理处理，根据该无标注文本的反讽推理结果，确定该无标注文本的伪标签信息；
根据各个无标注文本及其伪标签信息对中间识别模型进行微调处理，得到目标识别模型；其中，中间识别模型用于提取输入文本的文本表示向量；
利用目标识别模型进行文本的反讽识别处理。
可选地，根据各个有标注文本及其标准推理结果，对大语言模型进行微调处理，得到目标语言模型进一步包括：
为大语言模型的权重矩阵添加一个旁路低秩矩阵，得到初始语言模型；
根据各个有标注文本及其标准推理结果对初始语言模型进行训练，得到目标语言模型；其中，在训练过程中，固定大语言模型的权重矩阵，对旁路低秩矩阵进行更新。
可选地，方法执行之前，进一步包括：
从社交媒体平台中获取各个社交媒体文本；
分别计算各个社交媒体文本的热度分数，过滤热度分数低于预设阈值的社交媒体文本；
对过滤后剩余的各个社交媒体文本进行反讽标记处理，得到各个有标注文本及其反讽标签信息。
可选地，利用目标语言模型对任一无标注文本进行反讽推理处理，根据该无标注文本的反讽推理结果，确定该无标注文本的伪标签信息进一步包括：
使用目标语言模型对任一无标注文本进行多次反讽推理处理，得到多个反讽推理结果；
若多个反讽推理结果中相同的反讽推理结果的数量满足预设条件，根据相同的反讽推理结果确定该无标注文本的伪标签信息。
可选地，根据各个无标注文本及其伪标签信息对中间识别模型进行微调处理，得到目标识别模型进一步包括：
在任一无标注文本的前后分别添加第一标志和第二标志，得到输入序列；其中，第一标志是用于表征整个文本的语义信息的符号，第二标志是文本分割符号；
将输入序列输入到中间识别模型中进行处理，从中间识别模型的最后一层提取第一标志对应的向量作为文本表示向量；
将文本表示向量输入至前馈网络进行处理，并通过回归函数得到该无标注文本的反讽预测结果；
根据反讽预测结果和该无标注文本的伪标签信息计算损失函数，并使用后向传播算法训练网络；
重复上述步骤，直至损失函数最小化，得到目标识别模型。
可选地，中间识别模型包括：经过领域适应训练的预训练语言模型，方法还包括：
获取多个预训练语料，分别对多个预训练语料进行分词处理，得到多个分词结果；
按照预设概率随机对多个分词结果中的词进行遮蔽处理，得到多个已遮蔽的分词结果；
将每一个已遮蔽的分词结果输入至预训练语言模型，得到遮蔽处的词预测结果；
根据遮蔽处的词预测结果和遮蔽处的真实词，计算得到损失值；
根据损失值训练预训练语言模型，得到中间识别模型。
可选地，根据各个有标注文本及其标准推理结果，对大语言模型进行微调处理进一步包括：
将任一有标注文本以及预设提示模板组合成第一问题，根据第一问题以及该有标注文本的标准推理结果，对大语言模型进行微调处理；
利用目标语言模型对任一无标注文本进行反讽推理处理进一步包括：
将预设提示模板和任一无标注文本组合成第二问题，将第二问题输入至目标语言模型进行反讽推理处理。
根据本发明的另一方面，提供了一种反讽识别装置，包括：
构建模块，适于根据各个有标注文本的反讽标签信息，构建大语言模型对各个有标注文本的标准推理结果；
第一微调模块，适于根据各个有标注文本及其标准推理结果，对大语言模型进行微调处理，得到目标语言模型；
推理模块，适于利用目标语言模型对任一无标注文本进行反讽推理处理，根据该无标注文本的反讽推理结果，确定该无标注文本的伪标签信息；
第二微调模块，适于根据各个无标注文本及其伪标签信息对中间识别模型进行微调处理，得到目标识别模型；其中，中间识别模型用于提取输入文本的文本表示向量；
识别模块，适于利用目标识别模型进行文本的反讽识别处理。
可选地，第一微调模块进一步适于：
为大语言模型的权重矩阵添加一个旁路低秩矩阵，得到初始语言模型；
根据各个有标注文本及其标准推理结果对初始语言模型进行训练，得到目标语言模型；其中，在训练过程中，固定大语言模型的权重矩阵，对旁路低秩矩阵进行更新。
可选地，装置还包括：
标注模块，适于从社交媒体平台中获取各个社交媒体文本；分别计算各个社交媒体文本的热度分数，过滤热度分数低于预设阈值的社交媒体文本；对过滤后剩余的各个社交媒体文本进行反讽标记处理，得到各个有标注文本及其反讽标签信息。
可选地，推理模块进一步适于：
使用目标语言模型对任一无标注文本进行多次反讽推理处理，得到多个反讽推理结果；若多个反讽推理结果中相同的反讽推理结果的数量满足预设条件，根据相同的反讽推理结果确定该无标注文本的伪标签信息。
可选地，第二微调模块进一步适于：在任一无标注文本的前后分别添加第一标志和第二标志，得到输入序列；其中，第一标志是用于表征整个文本的语义信息的符号，第二标志是文本分割符号；将输入序列输入到中间识别模型中进行处理，从中间识别模型的最后一层提取第一标志对应的向量作为文本表示向量；将文本表示向量输入至前馈网络进行处理，并通过回归函数得到该无标注文本的反讽预测结果；根据反讽预测结果和该无标注文本的伪标签信息计算损失函数，并使用后向传播算法训练网络；重复上述步骤，直至损失函数最小化，得到目标识别模型。
可选地，中间识别模型包括：经过领域适应训练的预训练语言模型，装置还包括：
预训练模块，适于获取多个预训练语料，分别对多个预训练语料进行分词处理，得到多个分词结果；按照预设概率随机对多个分词结果中的词进行遮蔽处理，得到多个已遮蔽的分词结果；将每一个已遮蔽的分词结果输入至预训练语言模型，得到遮蔽处的词预测结果；据遮蔽处的词预测结果和遮蔽处的真实词，计算得到损失值；根据损失值训练预训练语言模型，得到中间识别模型。
可选地，第一微调模块进一步适于：将任一有标注文本以及预设提示模板组合成第一问题，根据第一问题以及该有标注文本的标准推理结果，对大语言模型进行微调处理；
推理模块进一步适于：将预设提示模板和任一无标注文本组合成第二问题，将第二问题输入至目标语言模型进行反讽推理处理。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述反讽识别方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述反讽识别方法对应的操作。
根据本发明的反讽识别方法、装置、计算设备及存储介质，该方法包括：根据各个有标注文本的反讽标签信息，构建大语言模型对各个有标注文本的标准推理结果；根据各个有标注文本及其标准推理结果，对大语言模型进行微调处理，得到目标语言模型；利用目标语言模型对任一无标注文本进行反讽推理处理，根据该无标注文本的反讽推理结果，确定该无标注文本的伪标签信息；根据各个无标注文本及其伪标签信息对中间识别模型进行微调处理，得到目标识别模型；中间识别模型用于提取输入文本的文本表示向量；利用目标识别模型进行文本的反讽识别处理。通过上述方式，能够借助大语言模型强大的语义理解能力，使用半监督学习的方式，在标注数据有限的情况下，充分利用大量的无标注数据，实现有标注数据的扩充，能够提升模型的反讽识别性能，并且通过微调的方式构建识别模型，能够提升模型构建的效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的反讽识别方法的流程图；
图2示出了本发明另一实施例提供的反讽识别方法的流程图；
图3示出了本发明另一实施例提供的反讽识别方法的流程图；
图4示出了本发明实施例提供的反讽识别装置的结构示意图；
图5示出了本发明实施例提供的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例提供的反讽识别方法的流程图，该方法应用于任意具有计算能力的设备中。如图1所示，该方法包括以下步骤：
步骤S110：根据各个有标注文本的反讽标签信息，构建大语言模型对各个有标注文本的标准推理结果。
预先对获取到的多个文本语料，根据反讽修辞定义进行人工标注，获得多个有标注文本及其反讽标签信息，有标注文本的反讽标签信息用于表征有标注文本是否使用反讽修辞。根据各个有标注文本的反讽标签信息，构造期望大语言模型输出的标准答案，得到各个有标注文本的标准推理结果，例如含有表征有标注文本是否使用反讽修辞的语义信息的文本。
大语言模型是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。大语言模型可以处理多种自然语言任务，如文本分类、问答、对话等，是通向人工智能的一条重要途径。大语言模型通常以大规模文本语料作为训练数据，经过一系列优化(包括指令微调、基于人类反馈的强化学习等等)，获得了丰富的语言知识、常识知识和世界知识。
步骤S120：根据各个有标注文本及其标准推理结果，对大语言模型进行微调处理，得到目标语言模型。
根据各个有标注文本组合得到大语言模型的各个输入问题，根据各个输入问题和各个有标注文本的标准推理答案，对大语言模型进行微调处理。例如，采用LoRA(Low-RankAdaption，低秩自适应)参数高效方法，轻量级微调大语言模型。
步骤S130：利用目标语言模型对任一无标注文本进行反讽推理处理，根据该无标注文本的反讽推理结果，确定该无标注文本的伪标签信息。
获取大规模的无标注文本，针对于任意一个无标注文本，组合得到该无标注文本对应的输入问题，将输入问题输入到目标语言模型中进行反讽推理处理，目标语言模型判断该无标注文本是否使用了反讽修辞，得到无标注文本的反讽推理结果，进一步根据无标注文本的反讽推理结果确定其伪标签信息，伪标签信息用于表征相应文本是否使用反讽修辞。由此可见，通过上述方式实现了反讽识别问题的有标注样本的扩充。
步骤S140：根据各个无标注文本及其伪标签信息对中间识别模型进行微调处理，得到目标识别模型。其中，中间识别模型用于提取输入文本的文本表示向量。
中间识别模型可以是预训练语言模型或者经过领域适应训练的预训练语言模型，中间识别模型用于提取输入到其本身的文本的表示向量。其中，预训练语言模型泛指提前经过大规模数据训练的语言模型，主要用于对输入的文本序列进行语义特征提取，得到文本序列中各Token(元素)的特征表示，从而在语义上理解各Token所体现的特征，预训练语言模型仅需搭配简单的下游神经网络，即可直接应对多种任务。
通过利用各个无标注文本及其伪标签信息，在反讽识别任务上，对中间识别模型进行微调，以使微调后得到的目标识别模型能够识别输入文本是否使用反讽修辞。
步骤S150：利用目标识别模型进行文本的反讽识别处理。
将需要进行反讽识别的目标文本输入至目标识别模型中，反讽识别模型输出目标文本使用反讽修辞的概率以及未使用反讽修辞的概率，从而实现了目标文本的反讽识别。
本实施例中采用了半监督学习方法，半监督学习是机器学习领域中的一种学习范式，同时使用有标注数据和无标注数据来构建和训练模型，其关键思想在于利用无标注数据提供的额外信息，改善模型的性能和泛化能力。半监督学习常用的做法是自训练，首先使用有标注数据训练一个初始模型，然后使用该模型对未标注数据进行预测，并取置信度较高的样本加入有标注数据集中，扩充训练数据以进行模型的更新和迭代。
根据本实施例的反讽识别方法，首先利用少量人工标注文本，微调大语言模型，从而为大语言模型注入反讽识别相关的知识；然后借助经过微调的大语言模型获取大规模语料的伪标签，扩充标注数据量；最后使用该大规模标注语料微调预训练语言模型或者经过领域适应训练的预训练语言模型，得到目标识别模型，并对目标文本进行反讽识别。通过上述方式，能够借助大语言模型强大的语义理解能力，使用半监督学习的方式，在标注数据有限的情况下，充分利用大量的无标注数据，实现有标注数据的扩充，能够提升模型的反讽识别性能，并且通过微调的方式构建识别模型，能够提升模型构建的效率。
图2示出了本发明另一实施例提供的反讽识别方法的流程图，该方法应用于任意具有计算能力的设备中。如图2所示，该方法包括以下步骤：
步骤S210：从社交媒体平台中获取各个社交媒体文本；分别计算各个社交媒体文本的热度分数，过滤热度分数低于预设阈值的社交媒体文本；对过滤后剩余的各个社交媒体文本进行反讽标记处理，得到各个有标注文本及其反讽标签信息。
利用数据工具从社交媒体平台中获取到原始的社交媒体文本，包括社交媒体平台的用户所发布的社交媒体文本。然后，分别计算每一个社交媒体文本的热度分数，删除掉热度分数不满足要求的社交媒体文本，从而保留在社交媒体平台中产生较大影响的社交媒体文本；最后，对剩余的各个社交媒体文本进行人工标记，判断社交媒体文本是否使用了反讽修辞手法，为社交媒体文本打上标签，从而获得了一批有标注文本，反讽标签信息表征有标注文本是否使用反讽修辞手法。
其中，预设阈值可以根据实际需求进行调整，比如，当获取到指定话题下的多个社交媒体文本，如果该指定话题的热度本身较低，则将预设阈值进行调低，以便获取一定数量的社交媒体文本。
在一种可选的方式中，针对于任一社交媒体文本，计算传播分数和用户分数，对传播分数和用户分数计算加权和，得到该社交媒体文本的热度分数。传播分数表征社交媒体文本的传播范围广度，用户分数表征社交媒体文本的发布用户的社交活跃度。
进一步可选地，根据社交媒体文本的点赞数量、评论数量和转发数量，计算社交媒体文本的传播分数；根据社交媒体文本的发布用户的发布内容数量、粉丝数量(关注发布用户的用户的数量)、关注数量(发布用户关注的用户的数量)，计算社交媒体文本的用户分数。
例如，通过如下方式计算社交媒体文本的热度分数：
spread score＝#likes*α1+#comments*α2+#retweets*α3
user score＝#tweets*β1+#followers*β2+#followees*β3
heat score＝spread score*μ1+user score*μ2
其中，heat score表示热度分数，spread score表示传播分数，user score表示用户分数，#likes表示点赞数量，#comments表示评论数量，#retweets表示转发数量，#tweets表示发布内容数量，#followers表示粉丝数量，#followees表示关注数量。α1,α2,α3,β1,β2,β3以及μ1,μ2分别表示相应的权重。具体实施时，各个权重的取值可根据实际要求进行调整，例如，α1,α2,α3的取值分别为0.3、0.6、0.1，β1,β2,β3的取值分别为0.3、0.6、0.1，μ1,μ2的取值为0.6、0.4。
在一种可选的方式中，在从社交媒体平台获取各个社交媒体文本之后，进行文本清洗处理，具体包括：去除重复的社交媒体文本、去除不包含语义信息的社交媒体文本(例如网址、用户名等等)以及将表情转换为对应的文字表达，再进行文本格式化处理，后续对格式化的各个社交媒体文本进行处理。
另外，在人工标记的过程中，每一个社交媒体文本由多人进行标注，通过投票的方式确定该社交媒体文本的标签信息。
步骤S220：根据各个有标注文本的反讽标签信息，构建大语言模型对各个有标注文本的标准推理结果。
根据各个有标注文本的反讽标签信息，构造期望大语言模型输出的标准答案，得到各个有标注文本的标准推理结果。
步骤S230：为大语言模型的权重矩阵添加一个旁路低秩矩阵，得到初始语言模型；根据各个有标注文本及其标准推理结果对初始语言模型进行训练，得到目标语言模型。在训练初始语言模型的过程中，固定大语言模型的权重矩阵，对旁路低秩矩阵进行更新。
本步骤即是根据各个有标注文本及其标准推理结果对大语言模型进行微调处理的具体实施方式。利用前述步骤中获得的高质量的有标注文本，基于低秩自适应参数高效方法，轻量级微调大语言模型，为其注入反讽识别的相关知识。
具体地，将任一有标注文本以及预设提示模板组合成第一问题，根据第一问题以及该有标注文本的标准推理结果，对大语言模型进行微调处理，也即，根据第一问题以及该有标注文本的标准推理结果对初始语言模型进行训练。预先针对反讽识别问题，为大语言模型设计提示语，得到预设提示模板。提示语中包含反讽修辞的定义，若干使用反讽手法的文本示例和未使用反讽手法的文本示例，并对这些示例文本做出解释，以帮助大语言模型理解反讽文本的判断方法。
基于低秩自适应参数高效方法，轻量级微调大语言模型，具体在原始的大语言模型旁增加一个旁路，进行参数矩阵的降维处理和升维处理。在大语言模型的权重矩阵中添加一个旁路低秩矩阵，根据基于有标注文本构建的输入问题以及期望的标准答案，在新的领域训练大语言模型，训练过程中，保持大语言模型的权重矩阵不变，对旁路低秩矩阵进行更新。表示如下：
W0+ΔW＝W0+BA,r＜＜min(d,k)
其中，W0是大语言模型的原始参数，ΔW是增加的旁路参数，B表示降维矩阵，A表示升维矩阵，由于r＜＜min(d,k)，因此ΔW的参数量远小于W0。在微调过程中仅需更新ΔW，极大降低了大语言模型的微调成本。
在一种可选的方式中，方法还包括：计算目标语言模型的准确率，具体地，根据任一测试文本构建测试输入问题，例如将测试文本和预设提示模板的组合作为输入问题，将测试输入问题输入到目标语言模型中进行反讽推理，以便确定相应的测试文本是否使用反讽修辞，根据目标语言模型对各个测试文本的反讽推理结果，计算出准确率。
例如，计算第一准确率Acc和第二准确率F1的具体计算公式如下：
其中，#correct表示推理正确的数量，#total表示测试文本的总数量，#truepositive表示推理的真正例数量，#false positive表示推理的假正例数量，#falsenegtive表示推理的假负例数量。
步骤S240：使用目标语言模型对任一无标注文本进行多次反讽推理处理，得到多个反讽推理结果；若多个反讽推理结果中相同的反讽推理结果的数量满足预设条件，根据相同的反讽推理结果确定该无标注文本的伪标签信息。
获取大规模的无标注文本，利用经过微调的大语言模型，对各个无标注文本进行反讽推理结果，根据反讽推理结果获得各个无标注文本的伪标签信息，取置信度高的文本加入到有标注数据集，从而达到扩充样本的目的。具体利用目标语言模型对每一个无标注文本进行多次反讽推理处理，如果得到的多个反讽推理结果都相同或者其中相同的反讽推理结果的数量占比达到预设值，则确定该无标注文本属于置信度高的样本，根据该相同的反讽推理结果确定该无标注文本的伪标签信息。
举例来说，假设标签1表征使用反讽修辞、标签0表征未使用反讽修辞。对一个无标注文本进行3次反讽推理处理，如果至少2次的反讽推理结果表示该无标注文本使用反讽修辞，则确定该无标注文本的伪标签信息为1；如果至少2次的反讽推理结果表示该无标注文本未使用反讽修辞，则确定该无标注文本的伪标签信息为0。
具体地，在组合文本和预设提示模板作为模型的输入问题的方式中，将预设提示模板和任一无标注文本组合成第二问题，将第二问题输入至目标语言模型进行反讽推理处理。也即，将第二问题多次输入到目标语言模型中进行反讽推理处理，得到目标语言模型对相应无标注文本的多个反讽推理结果。
步骤S250：根据各个无标注文本及其伪标签信息对中间识别模型进行微调处理，得到目标识别模型；其中，中间识别模型通过对预训练语言模型进行领域适应训练得到，中间识别模型用于提取输入文本的表示向量。
在本步骤之前，还包括通过对预训练语言模型进行领域适应预训练以得到中间识别模型的步骤。具体包括如下步骤：
获取多个预训练语料；然后进行文本分词，分别对多个预训练语料进行分词处理，得到多个分词结果；然后进行全词掩码预训练，具体按照预设概率随机对多个分词结果中的词进行遮蔽处理，得到多个已遮蔽的分词结果，其中，若一个词被遮蔽，则同属该词的所有字都被遮蔽；将每一个已遮蔽的分词结果输入至预训练语言模型，得到遮蔽处的词预测结果；根据遮蔽处的词预测结果和遮蔽处的真实词，计算得到损失值；根据损失值训练预训练语言模型。通过对预训练语言模型进行领域适应预训练，以增强模型对社交媒体文本的建模能力。
在一种可选的方式中，在获取到多个预训练语料之后，对多个预训练语料进行清洗处理，包括去除重复的预训练语料、去除不包含语义信息的预训练语料(例如网址、用户名等等)、将表情转换为对应的文字表达、文本格式化以及基于热度分数的过滤处理等等。
其中，根据各个无标注文本及其伪标签信息对中间识别模型进行微调处理，得到目标识别模型，具体包括如下步骤：
在任一无标注文本的前后分别添加第一标志和第二标志，得到输入序列，即在无标注文本之前添加第一标志，在其之后添加第二标志；将输入序列输入到中间识别模型中进行处理，从中间识别模型的最后一层提取第一标志对应的向量作为文本表示向量；将文本表示向量输入至前馈网络进行处理，并通过回归函数得到该无标注文本的反讽预测结果；根据反讽预测结果和该无标注文本的伪标签信息计算损失函数，并使用后向传播算法训练网络；重复训练直至损失函数最小化，得到目标识别模型。其中，第一标志是用于表征整个文本的语义信息的特殊符号，第二标志是文本分割符号。
具体来说，首先在无标注文本前后添加预训练语言模型词表中的特殊词，即第一标志和第二标志，得到模型的输入序列，具体如下：
[CLS]文本[SEP]
其中，[CLS]是用于表征整个文本的语义信息的特殊符号，[SEP]是文本分割符号。
然后，将上一步得到的输入序列输入到中间识别模型，进行深度语义交互和特征提取，从中间识别模型的最后一层提取[CLS]对应的向量hCLS作为文本表示向量；然后，将文本表示向量hCLS输入到两层前馈网络，并通过softmax函数得到无标注文本是否使用反讽修辞的概率分布
其中，W1,W2,b1,b2为可学习参数，f(·)为激活函数，
然后，基于预测的概率分布和真实的概率分布y(根据伪标签信息而确定)，计算得到交叉熵损失，具体表示如下：
其中，表示交叉熵损失，y0和/>分别表示无标注文本使用反讽修辞的真实概率和预测概率，y1和/>分别表示无标注文本未使用反讽修辞的真实概率和预测概率。
最后，然后使用后向传播算法训练网络以最小化损失函数。另外，在训练完成之后，可输入各个测试文本得到各个测试样本的反讽预测结果，并基于各个反讽预测结果计算目标识别模型在测试集上的准确率和F1。
在一种可选的方式中，在对任一无标注文本的前后分别添加第一标志和第二标志之前，调整数据分布以使正例和负例的比例满足预设条件。具体根据各个无标注文本的伪标签信息进行调整，以使正例和负例的比例接近或者等于预设值，调整后的文本作为训练集，用于对中间识别模型进行微调，例如可依据话题调整其数据分布。
步骤S260：利用目标识别模型进行文本的反讽识别处理。
根据本实施例的反讽识别方法，借助大语言模型中丰富的语言学知识及其强大的语义理解能力，在标注数据有限的情况下，充分利用了大规模且易获取的无标注文本，有效缓解了中文反讽识别中标注数据稀缺的问题；通过半监督学习的方式，用少量的人工标注文本微调大语言模型，并使用微调后的大语言模型预测无标注文本的伪标签信息，扩充了训练数据量，有效提升了模型的反讽识别性能；利用扩充数据量对经过领域适应训练的预训练语言模型进行微调，能够快速构建用于文本反讽识别的模型，减小模型构建难度。
在实验过程中，从社交媒体平台获取社交媒体文本，经过数据清洗和人工标注，得到1340有标注文本，其中1040条用于微调大语言模型，大语言模型使用开源的ChatGLM2-6B，其余的300条作为测试集；从社交媒体平台获取32万条无标注文本，通过微调后的大语言模型推理后，经过高置信度文本筛选，得到244,087条有标注文本，其中正例39524条，负例204563条；预训练语言模型使用ERNIE 3.0中文base版本，使用的预训练语料包含165173条文本；在对中间识别模型进行微调时，训练数据包括79048条文本，其中正例与负例均为39524条。经过计算，本发明的反讽识别方法对测试集的预测准确率为79.33％、F1为63.95％。去除本发明技术方案的关键步骤，对测试集的测试结果如下：去除掉领域适应预训练的步骤，则准确率为77％、F1为59.65％；去除掉大语言模型半监督学习的步骤，则准确率为59.67％、F1为58.42％；去除掉领域适应训练以及大语言模型半监督学习的步骤，则准确率为67.67％、F1为56.11％。由此可见，本发明技术方案表现出了最好的性能，去除任何一个关键步骤，均会导致模型识别性能的下降，证明了本发明技术方案的有效性。
图3示出了本发明另一实施例提供的反讽识别方法的流程图，如图3所，本实施例的反讽识别方法主要包括以下几个步骤：
步骤S310，人工标注文本；步骤S320，微调大语言模型；步骤S330，微调后的大语言模型推理无标注语料的伪标签；步骤S340，预训练语言模型的领域适应预训练；步骤S350，微调经过预训练的预训练语言模型；步骤S360，文本推理。
图4示出了本发明实施例提供的文本反讽识别装置的结构示意图。如图4所示，该装置包括：
构建模块41，适于根据各个有标注文本的反讽标签信息，构建大语言模型对各个有标注文本的标准推理结果；
第一微调模块42，适于根据各个有标注文本及其标准推理结果，对大语言模型进行微调处理，得到目标语言模型；
推理模块43，适于利用目标语言模型对任一无标注文本进行反讽推理处理，根据该无标注文本的反讽推理结果，确定该无标注文本的伪标签信息；
第二微调模块44，适于根据各个无标注文本及其伪标签信息对中间识别模型进行微调处理，得到目标识别模型；其中，中间识别模型用于提取输入文本的文本表示向量；
识别模块45，适于利用目标识别模型进行文本的反讽识别处理。
在一种可选的方式中，第一微调模块42进一步适于：
为大语言模型的权重矩阵添加一个旁路低秩矩阵，得到初始语言模型；
根据各个有标注文本及其标准推理结果对初始语言模型进行训练，得到目标语言模型；其中，在训练过程中，固定大语言模型的权重矩阵，对旁路低秩矩阵进行更新。
在一种可选的方式中，装置还包括：
标注模块，适于从社交媒体平台中获取各个社交媒体文本；分别计算各个社交媒体文本的热度分数，过滤热度分数低于预设阈值的社交媒体文本；对过滤后剩余的各个社交媒体文本进行反讽标记处理，得到各个有标注文本及其反讽标签信息。
在一种可选的方式中，推理模块43进一步适于：
使用目标语言模型对任一无标注文本进行多次反讽推理处理，得到多个反讽推理结果；若多个反讽推理结果中相同的反讽推理结果的数量满足预设条件，根据相同的反讽推理结果确定该无标注文本的伪标签信息。
在一种可选的方式中，第二微调模块44进一步适于：在任一无标注文本的前后分别添加第一标志和第二标志，得到输入序列；其中，第一标志是用于表征整个文本的语义信息的符号，第二标志是文本分割符号；将输入序列输入到中间识别模型中进行处理，从中间识别模型的最后一层提取第一标志对应的向量作为文本表示向量；将文本表示向量输入至前馈网络进行处理，并通过回归函数得到该无标注文本的反讽预测结果；根据反讽预测结果和该无标注文本的伪标签信息计算损失函数，并使用后向传播算法训练网络；重复上述步骤，直至损失函数最小化，得到目标识别模型。
在一种可选的方式中，中间识别模型包括：经过领域适应训练的预训练语言模型，装置还包括：
预训练模块，适于获取多个预训练语料，分别对多个预训练语料进行分词处理，得到多个分词结果；按照预设概率随机对多个分词结果中的词进行遮蔽处理，得到多个已遮蔽的分词结果；将每一个已遮蔽的分词结果输入至预训练语言模型，得到遮蔽处的词预测结果；据遮蔽处的词预测结果和遮蔽处的真实词，计算得到损失值；根据损失值训练预训练语言模型，得到中间识别模型。
在一种可选的方式中，第一微调模块42进一步适于：将任一有标注文本以及预设提示模板组合成第一问题，根据第一问题以及该有标注文本的标准推理结果，对大语言模型进行微调处理；
在一种可选的方式中，推理模块43进一步适于：将预设提示模板和任一无标注文本组合成第二问题，将第二问题输入至目标语言模型进行反讽推理处理。
通过上述方式，借助大语言模型中丰富的语言学知识及其强大的语义理解能力，在标注数据有限的情况下，充分利用了大规模且易获取的无标注文本，有效缓解了中文反讽识别中标注数据稀缺的问题；通过半监督学习的方式，用少量的人工标注文本微调大语言模型，并使用微调后的大语言模型预测无标注文本的伪标签信息，扩充了训练数据量，有效提升了模型的反讽识别性能；进一步地，利用扩充数据量对经过领域适应训练的预训练语言模型进行微调，能够快速构建用于文本反讽识别的模型，减小模型构建难度。
本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的反讽识别方法。
图5示出了本发明计算设备实施例的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图5所示，该计算设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中：处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。处理器502，用于执行程序510，具体可以执行上述用于计算设备的反讽识别方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (7)

1.一种反讽识别方法，其特征在于，包括：
从社交媒体平台中获取各个社交媒体文本；
分别计算各个社交媒体文本的热度分数，过滤热度分数低于预设阈值的社交媒体文本；
对过滤后剩余的各个社交媒体文本进行反讽标记处理，得到各个有标注文本及其反讽标签信息；
根据各个有标注文本的反讽标签信息，构建大语言模型对所述各个有标注文本的标准推理结果；
根据所述各个有标注文本及其标准推理结果，对所述大语言模型进行微调处理，得到目标语言模型；
根据所述各个有标注文本及其标准推理结果，对所述大语言模型进行微调处理，得到目标语言模型进一步包括：为大语言模型的权重矩阵添加一个旁路低秩矩阵，得到初始语言模型；根据所述各个有标注文本及其标准推理结果对所述初始语言模型进行训练，得到所述目标语言模型；其中，在训练过程中，固定所述大语言模型的权重矩阵，对所述旁路低秩矩阵进行更新；
根据所述各个有标注文本及其标准推理结果，对所述大语言模型进行微调处理进一步包括：将任一有标注文本以及预设提示模板组合成第一问题，根据第一问题以及该有标注文本的标准推理结果，对所述大语言模型进行微调处理；
利用所述目标语言模型对任一无标注文本进行反讽推理处理，根据该无标注文本的反讽推理结果，确定该无标注文本的伪标签信息；
利用所述目标语言模型对任一无标注文本进行反讽推理处理进一步包括：将所述预设提示模板和任一无标注文本组合成第二问题，将第二问题输入至所述目标语言模型进行反讽推理处理；
根据各个无标注文本及其伪标签信息对中间识别模型进行微调处理，得到目标识别模型；其中，所述中间识别模型用于提取输入文本的文本表示向量；
利用所述目标识别模型进行文本的反讽识别处理。
2.根据权利要求1所述的方法，其特征在于，所述利用所述目标语言模型对任一无标注文本进行反讽推理处理，根据该无标注文本的反讽推理结果，确定该无标注文本的伪标签信息进一步包括：
使用所述目标语言模型对任一无标注文本进行多次反讽推理处理，得到多个反讽推理结果；
若所述多个反讽推理结果中相同的反讽推理结果的数量满足预设条件，根据所述相同的反讽推理结果确定该无标注文本的伪标签信息。
3.根据权利要求1所述的方法，其特征在于，所述根据各个无标注文本及其伪标签信息对中间识别模型进行微调处理，得到目标识别模型进一步包括：
在任一无标注文本的前后分别添加第一标志和第二标志，得到输入序列；其中，所述第一标志是用于表征整个文本的语义信息的符号，第二标志是文本分割符号；
将所述输入序列输入到所述中间识别模型中进行处理，从所述中间识别模型的最后一层提取所述第一标志对应的向量作为文本表示向量；
将所述文本表示向量输入至前馈网络进行处理，并通过回归函数得到该无标注文本的反讽预测结果；
根据所述反讽预测结果和该无标注文本的伪标签信息计算损失函数，并使用后向传播算法训练网络；
重复上述步骤，直至损失函数最小化，得到所述目标识别模型。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述中间识别模型包括：经过领域适应训练的预训练语言模型，所述方法还包括：
获取多个预训练语料，分别对所述多个预训练语料进行分词处理，得到多个分词结果；
按照预设概率随机对多个分词结果中的词进行遮蔽处理，得到多个已遮蔽的分词结果；
将每一个已遮蔽的分词结果输入至预训练语言模型，得到遮蔽处的词预测结果；
根据所述遮蔽处的词预测结果和所述遮蔽处的真实词，计算得到损失值；
根据所述损失值训练所述预训练语言模型，得到中间识别模型。
5.一种反讽识别装置，其特征在于，包括：
标注模块，适于从社交媒体平台中获取各个社交媒体文本；分别计算各个社交媒体文本的热度分数，过滤热度分数低于预设阈值的社交媒体文本；对过滤后剩余的各个社交媒体文本进行反讽标记处理，得到各个有标注文本及其反讽标签信息；
构建模块，适于根据各个有标注文本的反讽标签信息，构建大语言模型对所述各个有标注文本的标准推理结果；
第一微调模块，适于根据所述各个有标注文本及其标准推理结果，对所述大语言模型进行微调处理，得到目标语言模型；
所述第一微调模块进一步适于：为大语言模型的权重矩阵添加一个旁路低秩矩阵，得到初始语言模型；根据所述各个有标注文本及其标准推理结果对所述初始语言模型进行训练，得到所述目标语言模型；其中，在训练过程中，固定所述大语言模型的权重矩阵，对所述旁路低秩矩阵进行更新；
所述第一微调模块进一步适于：将任一有标注文本以及预设提示模板组合成第一问题，根据第一问题以及该有标注文本的标准推理结果，对所述大语言模型进行微调处理；
推理模块，适于利用所述目标语言模型对任一无标注文本进行反讽推理处理，根据该无标注文本的反讽推理结果，确定该无标注文本的伪标签信息；
所述推理模块进一步适于：将所述预设提示模板和任一无标注文本组合成第二问题，将第二问题输入至所述目标语言模型进行反讽推理处理；
第二微调模块，适于根据各个无标注文本及其伪标签信息对中间识别模型进行微调处理，得到目标识别模型；其中，所述中间识别模型用于提取输入文本的文本表示向量；
识别模块，适于利用所述目标识别模型进行文本的反讽识别处理。
6.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-4中任一项所述的反讽识别方法对应的操作。
7.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-4中任一项所述的反讽识别方法对应的操作。
CN202311443301.7A 2023-11-01 2023-11-01 反讽识别方法、装置、计算设备及存储介质 Active CN117436457B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311443301.7A CN117436457B (zh) 2023-11-01 2023-11-01 反讽识别方法、装置、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311443301.7A CN117436457B (zh) 2023-11-01 2023-11-01 反讽识别方法、装置、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN117436457A CN117436457A (zh) 2024-01-23
CN117436457B true CN117436457B (zh) 2024-05-03

Family

ID=89556510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311443301.7A Active CN117436457B (zh) 2023-11-01 2023-11-01 反讽识别方法、装置、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN117436457B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825868A (zh) * 2019-11-07 2020-02-21 厦门市美亚柏科信息股份有限公司 一种基于话题热度的文本推送方法、终端设备及存储介质
CN113283244A (zh) * 2021-07-20 2021-08-20 湖南达德曼宁信息技术有限公司 一种基于预训练模型的招投标数据命名实体识别方法
CN113988201A (zh) * 2021-11-03 2022-01-28 哈尔滨工程大学 一种基于神经网络的多模态情感分类方法
WO2022156561A1 (zh) * 2021-01-20 2022-07-28 华为技术有限公司 一种自然语言处理方法以及装置
CN114970540A (zh) * 2022-05-11 2022-08-30 北京百度网讯科技有限公司 训练文本审核模型的方法和装置
CN115017312A (zh) * 2022-06-01 2022-09-06 阿里巴巴（中国）有限公司 语言模型训练方法、文本处理方法、装置及设备
CN115204396A (zh) * 2022-06-24 2022-10-18 重庆觉晓科技有限公司 一种基于交互式阅读理解的文本语义推理方法及系统
CN115547311A (zh) * 2022-10-13 2022-12-30 北京有竹居网络技术有限公司 语音识别方法、装置、电子设备及存储介质
WO2023065211A1 (zh) * 2021-10-21 2023-04-27 华为技术有限公司 一种信息获取方法以及装置
TWM642660U (zh) * 2023-03-27 2023-06-11 中興保全科技股份有限公司 居家行為分析系統
CN116468298A (zh) * 2023-06-12 2023-07-21 江西五十铃汽车有限公司 基于gpt网络模型的汽车技术规划与决策的方法及系统
CN116702746A (zh) * 2023-05-24 2023-09-05 中国科学院自动化研究所 跨平台多主题的讽刺及动因识别方法、装置、设备及介质
CN116737938A (zh) * 2023-07-19 2023-09-12 人民网股份有限公司 基于微调大模型在线数据网络细粒度情感检测方法及装置
CN116822651A (zh) * 2023-06-30 2023-09-29 平安科技（深圳）有限公司 基于增量学习的大模型参数微调方法、装置、设备及介质
CN116957882A (zh) * 2023-07-22 2023-10-27 企知道科技有限公司 基于智能模型的政策热点分析方法、装置、介质及设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825868A (zh) * 2019-11-07 2020-02-21 厦门市美亚柏科信息股份有限公司 一种基于话题热度的文本推送方法、终端设备及存储介质
WO2022156561A1 (zh) * 2021-01-20 2022-07-28 华为技术有限公司 一种自然语言处理方法以及装置
CN113283244A (zh) * 2021-07-20 2021-08-20 湖南达德曼宁信息技术有限公司 一种基于预训练模型的招投标数据命名实体识别方法
WO2023065211A1 (zh) * 2021-10-21 2023-04-27 华为技术有限公司 一种信息获取方法以及装置
CN113988201A (zh) * 2021-11-03 2022-01-28 哈尔滨工程大学 一种基于神经网络的多模态情感分类方法
CN114970540A (zh) * 2022-05-11 2022-08-30 北京百度网讯科技有限公司 训练文本审核模型的方法和装置
CN115017312A (zh) * 2022-06-01 2022-09-06 阿里巴巴（中国）有限公司 语言模型训练方法、文本处理方法、装置及设备
CN115204396A (zh) * 2022-06-24 2022-10-18 重庆觉晓科技有限公司 一种基于交互式阅读理解的文本语义推理方法及系统
CN115547311A (zh) * 2022-10-13 2022-12-30 北京有竹居网络技术有限公司 语音识别方法、装置、电子设备及存储介质
TWM642660U (zh) * 2023-03-27 2023-06-11 中興保全科技股份有限公司 居家行為分析系統
CN116702746A (zh) * 2023-05-24 2023-09-05 中国科学院自动化研究所 跨平台多主题的讽刺及动因识别方法、装置、设备及介质
CN116468298A (zh) * 2023-06-12 2023-07-21 江西五十铃汽车有限公司 基于gpt网络模型的汽车技术规划与决策的方法及系统
CN116822651A (zh) * 2023-06-30 2023-09-29 平安科技（深圳）有限公司 基于增量学习的大模型参数微调方法、装置、设备及介质
CN116737938A (zh) * 2023-07-19 2023-09-12 人民网股份有限公司 基于微调大模型在线数据网络细粒度情感检测方法及装置
CN116957882A (zh) * 2023-07-22 2023-10-27 企知道科技有限公司 基于智能模型的政策热点分析方法、装置、介质及设备

Also Published As

Publication number Publication date
CN117436457A (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN110502749B (zh) 一种基于双层注意力机制与双向gru的文本关系抽取方法
CN111368996B (zh) 可传递自然语言表示的重新训练投影网络
CN107943784B (zh) 基于生成对抗网络的关系抽取方法
CN111310476B (zh) 一种使用基于方面的情感分析方法的舆情监控方法和系统
CN117009490A (zh) 基于知识库反馈的生成式大语言模型的训练方法和装置
CN110188195B (zh) 一种基于深度学习的文本意图识别方法、装置及设备
CN110502742B (zh) 一种复杂实体抽取方法、装置、介质及系统
CN112749274B (zh) 基于注意力机制和干扰词删除的中文文本分类方法
WO2024036840A1 (zh) 基于主题增强的开放域对话回复方法及系统
CN113220886A (zh) 文本分类方法、文本分类模型训练方法及相关设备
CN111522908A (zh) 一种基于BiGRU和注意力机制的多标签文本分类方法
CN110298044B (zh) 一种实体关系识别方法
CN111241820A (zh) 不良用语识别方法、装置、电子装置及存储介质
JP2022145623A (ja) ヒント情報を提示する方法及び装置並びにコンピュータプログラム
CN111339772B (zh) 俄语文本情感分析方法、电子设备和存储介质
CN110728144A (zh) 一种基于上下文语义感知的抽取式文档自动摘要方法
CN113051887A (zh) 一种公告信息元素抽取方法、系统及装置
CN116049387A (zh) 一种基于图卷积的短文本分类方法、装置、介质
Tao et al. News text classification based on an improved convolutional neural network
CN116341519A (zh) 基于背景知识的事件因果关系抽取方法、装置及存储介质
CN111709225A (zh) 一种事件因果关系判别方法、装置和计算机可读存储介质
Parvathi et al. Identifying relevant text from text document using deep learning
CN111815426B (zh) 一种涉及金融投研的数据处理方法及终端
CN113486143A (zh) 一种基于多层级文本表示及模型融合的用户画像生成方法
CN112528653A (zh) 短文本实体识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant