CN115248846B - 文本识别方法、设备、介质 - Google Patents

文本识别方法、设备、介质 Download PDF

Info

Publication number
CN115248846B
CN115248846B CN202210887250.6A CN202210887250A CN115248846B CN 115248846 B CN115248846 B CN 115248846B CN 202210887250 A CN202210887250 A CN 202210887250A CN 115248846 B CN115248846 B CN 115248846B
Authority
CN
China
Prior art keywords
candidate
preset
emotion
positive
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210887250.6A
Other languages
English (en)
Other versions
CN115248846A (zh
Inventor
窦辰晓
邓勇
陈亮宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seashell Housing Beijing Technology Co Ltd
Original Assignee
Seashell Housing Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seashell Housing Beijing Technology Co Ltd filed Critical Seashell Housing Beijing Technology Co Ltd
Priority to CN202210887250.6A priority Critical patent/CN115248846B/zh
Publication of CN115248846A publication Critical patent/CN115248846A/zh
Application granted granted Critical
Publication of CN115248846B publication Critical patent/CN115248846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本公开实施例公开了一种文本识别方法、设备、介质，其中，方法包括：获取待识别文本；根据预设情感类型对应的情感特征词，生成包括掩码的提示模板，所述提示模板用于提示所述待识别文本与所述情感特征词之间的二分类关系；将所述待识别文本与所述提示模板按照预设格式拼接，得到拼接文本；将所述拼接文本输入预测模型，经所述预测模型预测用于填入所述掩码的候选答案及所述候选答案的概率；基于所述候选答案及所述候选答案的概率，确定所述待识别文本是否属于所述预设情感类型。本公开实施例可以有效识别隐性情感。

Description

文本识别方法、设备、介质
技术领域
本公开涉及人工智能技术，尤其是一种文本识别方法、设备、介质。
背景技术
近年来，随着诸多在线评论网站、微博、微信和论坛社区等网络媒体的蓬勃发展，网络上呈现出海量蕴含着丰富情感信息的主观性文本数据。在这些文本数据中，有些情感一般较为隐晦，很难从文本字面判断出来情感类型，此类情感可以称为隐性情感。隐性情感发现是一个重要的社会问题，也是一个有挑战的自然语言处理(Natural LanguageProcessing，NLP)识别的技术问题。例如，在社交网络中，一些评论虽然无直接人身攻击的言语，但充满对弱势群体的优越感与傲慢态度。如何正确的识别出该类言论，在舆论监督领域有着重要意义。
在实现本公开的过程中，本公开的发明人通过研究发现，相关技术的NLP识别技术，多数是基于大样本的传统二分类模型，在训练过程中需要训练数据中有明显的情感特征词和情感类型标签，训练得到的二分类模型才能根据待识别文本中的情感特征词对待识别文本进行情感分类，然而，隐性情感的训练数据一般较难获取，训练数据样本量不足，从而会影响二分类模型的识别性能；另外，由于隐性情感的语义比较隐晦，大多数隐性情感类文本中无明显的情感特征词，甚至发表隐性情感类言论的评论者都没注意到自己言论不当，因此，无法识别隐性情感。
发明内容
本公开实施例提供一种文本识别方法和装置、设备、介质和程序产品，以有效识别隐性情感。
本公开实施例的一个方面，提供一种文本识别方法，包括：
获取待识别文本；
根据预设情感类型对应的情感特征词，生成包括掩码的提示模板，所述提示模板用于提示所述待识别文本与所述情感特征词之间的二分类关系；
将所述待识别文本与所述提示模板按照预设格式拼接，得到拼接文本；
将所述拼接文本输入预测模型，经所述预测模型预测用于填入所述掩码的候选答案及所述候选答案的概率；
基于所述候选答案及所述候选答案的概率，确定所述待识别文本是否属于所述预设情感类型。
可选地，在本公开上述任一方法实施例中，所述获取待识别文本之后，还包括：
获取所述预设情感类型；
针对所述预设情感类型，从预设特征词表中选取对应于所述预设情感类型对应的特征词作为所述情感特征词；其中，所述预设特征词表包括一个以上情感类型中各情感类型分别对应的特征词。
可选地，在本公开上述任一方法实施例中，经所述预测模型预测用于填入所述掩码的候选答案及所述候选答案的概率，包括：
按照第一预设方式，从预设候选词表中选取K个肯定候选词作为K个候选答案；其中，所述肯定候选词用于表示所述二分类关系中的肯定关系，所述预设候选词表包括：用于表示所述二分类关系中的肯定关系的多个肯定候选词；K为大于0的整数；
利用所述预测模型，分别预测所述K个肯定候选词中各肯定候选词作为用于填入所述掩码的候选答案的概率。
可选地，在本公开上述任一方法实施例中，所述基于所述候选答案及所述候选答案的概率，确定所述待识别文本是否属于所述预设情感类型，包括：
基于所述K个肯定候选词作为用于填入所述掩码的候选答案的概率是否大于预设概率值，确定所述待识别文本是否属于所述预设情感类型。
可选地，在本公开上述任一方法实施例中，经所述预测模型预测用于填入所述掩码的候选答案及所述候选答案的概率，包括：
按照第二预设方式，分别从预设候选词表中选取M个肯定候选词和N个否定候选词作为候选答案；其中，所述肯定候选词用于表示所述二分类关系中的肯定关系，所述否定候选词用于表示所述二分类关系中的否定关系，所述预设候选词表包括：用于表示所述二分类关系中的肯定关系的多个肯定候选词，和用于表示所述二分类关系中的否定关系的多个否定候选词；M、N分别为大于0的整数；
利用所述预测模型，分别预测所述M个肯定候选词中各肯定候选词作为用于填入所述掩码的候选答案的概率；
利用所述预测模型，分别预测所述N个否定候选词中各否定候选词作为用于填入所述掩码的候选答案的概率。
可选地，在本公开上述任一方法实施例中，经所述预测模型预测用于填入所述掩码的候选答案及所述候选答案的概率，包括：
利用所述预测模型，分别预测预设候选词表中各候选词作为用于填入所述掩码的候选答案的概率；其中，所述预设候选词表包括：用于表示所述二分类关系中的肯定关系的多个肯定候选词，和用于表示所述二分类关系中的否定关系的多个否定候选词；
按照第三预设方式，从所述各候选词作为用于填入所述掩码的候选答案的概率中，选取M个肯定候选词作为用于填入所述掩码的候选答案的概率；其中，所述肯定候选词用于表示所述二分类关系中的肯定关系，M为大于0的整数；
按照所述第三预设方式，从所述各候选词作为用于填入所述掩码的候选答案的概率中，选取N个否定候选词作为用于填入所述掩码的候选答案的概率；其中，所述否定候选词用于表示所述二分类关系中的否定关系，N为大于0的整数。
可选地，在本公开上述任一方法实施例中，所述基于所述候选答案及所述候选答案的概率，确定所述待识别文本是否属于所述预设情感类型，包括：
基于所述M个肯定候选词作为用于填入所述掩码的候选答案的概率和所述N个否定候选词作为用于填入所述掩码的候选答案的概率之间的大小关系，确定所述待识别文本是否属于所述预设情感类型。
可选地，在本公开上述任一方法实施例中，所述预测模型包括预训练语言模型；
所述方法还包括预先对所述预训练语言模型进行微调的步骤：
获取至少一个隐性情感样本；其中，所述隐性情感样本包括隐性情感文本和所述隐性情感文本对应的提示模板，所述对应的提示模板用于提示所述隐性情感文本与所述对应的提示模板中情感特征词之间的二分类关系，所述对应的提示模板中包括掩码；所述隐性情感样本标注有答案标签，所述答案标签用于表示所述隐性情感文本是否属于所述对应的提示模板中情感特征词对应的隐形情感类型；
分别将所述至少一个隐性情感样本中的各隐性情感样本输入所述预训练语言模型，经所述预训练语言模型输出所述各隐性情感样本对应的提示模板中掩码对应的预测答案和所述预测答案的概率；
基于所述各隐性情感样本对应的预测答案和所述预测答案的概率，确定所述各隐性情感样本是否属于所述对应的提示模板中情感特征词对应的隐性情感类型的预测结果；
基于所述至少一个隐性情感样本对应的答案标签和预测结果，对所述预训练语言模型进行微调。
本公开实施例的另一个方面，提供一种文本识别装置，包括：
第一获取模块，用于获取待识别文本；
生成模块，用于根据预设情感类型对应的情感特征词，生成包括掩码的提示模板，所述提示模板用于提示所述待识别文本与所述情感特征词之间的二分类关系；
拼接模块，用于将所述待识别文本与所述提示模板按照预设格式拼接，得到拼接文本；
预测模块，用于将所述拼接文本输入预测模型，经所述预测模型预测用于填入所述掩码的候选答案及所述候选答案的概率；
第一确定模块，用于基于所述候选答案及所述候选答案的概率，确定所述待识别文本是否属于所述预设情感类型。
可选地，在本公开上述任一装置实施例中，还包括：
第二获取模块，用于获取所述预设情感类型；
选取模块，用于针对所述预设情感类型，从预设特征词表中选取对应于所述预设情感类型对应的特征词作为所述情感特征词；其中，所述预设特征词表包括一个以上情感类型中各情感类型分别对应的特征词。
可选地，在本公开上述任一装置实施例中，所述预测模块包括：
输入单元，用于将所述拼接文本输入预测模型；
第一选取单元，用于按照第一预设方式，从预设候选词表中选取K个肯定候选词作为K个候选答案；其中，所述肯定候选词用于表示所述二分类关系中的肯定关系，所述预设候选词表包括：用于表示所述二分类关系中的肯定关系的多个肯定候选词；K为大于0的整数；
第一预测单元，用于利用所述预测模型，分别预测所述K个肯定候选词中各肯定候选词作为用于填入所述掩码的候选答案的概率。
可选地，在本公开上述任一装置实施例中，所述第一确定模块，具体用于：基于所述K个肯定候选词作为用于填入所述掩码的候选答案的概率是否大于预设概率值，确定所述待识别文本是否属于所述预设情感类型。
可选地，在本公开上述任一装置实施例中，所述预测模块包括：
输入单元，用于将所述拼接文本输入预测模型；
第二选取单元，用于按照第二预设方式，分别从预设候选词表中选取M个肯定候选词和N个否定候选词作为候选答案；其中，所述肯定候选词用于表示所述二分类关系中的肯定关系，所述否定候选词用于表示所述二分类关系中的否定关系，所述预设候选词表包括：用于表示所述二分类关系中的肯定关系的多个肯定候选词，和用于表示所述二分类关系中的否定关系的多个否定候选词；M、N分别为大于0的整数；
第二预测单元，用于利用所述预测模型，分别预测所述M个肯定候选词中各肯定候选词作为用于填入所述掩码的候选答案的概率；
第三预测单元，用于利用所述预测模型，分别预测所述N个否定候选词中各否定候选词作为用于填入所述掩码的候选答案的概率。
可选地，在本公开上述任一装置实施例中，所述预测模块包括：
输入单元，用于将所述拼接文本输入预测模型；
第四预测单元，用于利用所述预测模型，分别预测预设候选词表中各候选词作为用于填入所述掩码的候选答案的概率；其中，所述预设候选词表包括：用于表示所述二分类关系中的肯定关系的多个肯定候选词，和用于表示所述二分类关系中的否定关系的多个否定候选词；
第三选取单元，用于按照第三预设方式，从所述各候选词作为用于填入所述掩码的候选答案的概率中，选取M个肯定候选词作为用于填入所述掩码的候选答案的概率；其中，所述肯定候选词用于表示所述二分类关系中的肯定关系，M为大于0的整数；
第四选取单元，用于按照所述第三预设方式，从所述各候选词作为用于填入所述掩码的候选答案的概率中，选取N个否定候选词作为用于填入所述掩码的候选答案的概率；其中，所述否定候选词用于表示所述二分类关系中的否定关系，N为大于0的整数。
可选地，在本公开上述任一装置实施例中，所述第一确定模块，具体用于：基于所述M个肯定候选词作为用于填入所述掩码的候选答案的概率和所述N个否定候选词作为用于填入所述掩码的候选答案的概率之间的大小关系，确定所述待识别文本是否属于所述预设情感类型。
可选地，在本公开上述任一装置实施例中，还包括：
所述预测模型包括预训练语言模型；
所述装置还包括：
第三获取模块，用于获取至少一个隐性情感样本；其中，所述隐性情感样本包括隐性情感文本和所述隐性情感文本对应的提示模板，所述对应的提示模板用于提示所述隐性情感文本与所述对应的提示模板中情感特征词之间的二分类关系，所述对应的提示模板中包括掩码；所述隐性情感样本标注有答案标签，所述答案标签用于表示所述隐性情感文本是否属于所述对应的提示模板中情感特征词对应的隐形情感类型；
预测模型，用于分别针对所述至少一个隐性情感样本中的各隐性情感样本，预测所述各隐性情感样本对应的提示模板中掩码对应的预测答案和所述预测答案的概率；
第二确定模块，用于基于所述各隐性情感样本对应的预测答案和所述预测答案的概率，确定所述各隐性情感样本是否属于所述对应的提示模板中情感特征词对应的隐性情感类型的预测结果；
微调模块，用于基于所述至少一个隐性情感样本对应的答案标签和预测结果，对所述预测模型进行微调。
本公开实施例的又一个方面，提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的方法。
本公开实施例的再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本公开上述任一实施例所述的方法。
本公开实施例的再一个方面，提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开上述任一实施例所述的方法。
基于本公开上述实施例提供的文本识别方法和装置、设备、介质和程序产品，针对待识别文本，根据预设情感类型对应的情感特征词，生成包括掩码的提示模板，该提示模板用于提示待识别文本与情感特征词之间的二分类关系；之后，将待识别文本与提示模板按照预设格式拼接得到的拼接文本输入预测模型，经该预测模型预测用于填入掩码的候选答案及候选答案的概率，进而，基于候选答案及候选答案的概率，确定待识别文本是否属于情感类型。由此，本公开实施例引入预测模型与提示学习技术，利用文本的二分类特性，将文本的二分类问题改造为完型填空问题，根据预设情感类型自动生成包括掩码的提示模板，通过使用填空形式(cloze-style)来激活预测模型学习到的知识，使预测模型能更好地捕捉文本的语义信息，提升预测模型对隐晦情感词的敏感度，对用于填入掩码的候选答案进行预测，从而实现对隐性情感的识别与分类，从而能够有效识别隐性情感，可以有效解决现有技术基于大样本的传统二分类模型由于训练数据样本量不足、隐性情感的语义隐晦等原因导致的无法识别隐性情感的问题。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为本公开文本识别方法一个实施例的流程图。
图2为本公文本识别方法另一个实施例的流程图。
图3为本公开文本识别方法又一个实施例的流程图。
图4为本公开文本识别方法再一个实施例的流程图。
图5为本公开实施例中预先对预测模型进行微调的一个的流程图。
图6为本公开文本识别装置一个实施例的结构示意图。
图7为本公开文本识别装置另一个实施例的结构示意图。
图8为本公开电子设备一个应用实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本公开文本识别方法一个实施例的流程图。如图1所示，该实施例的文本识别方法包括：
102，获取待识别文本。
其中的待识别文本，即需要识别是否属于预设情感类型(例如，优越感、傲慢、讽刺、歧视等)的文本。
本公开实施例中的待识别文本，可以为中文字符，也可以为英文字符或者其他语言的字符，或者，还可以同时包括多语言字符，本公开实施例对此不做限制。
本公开实施例中的待识别文本，可以为用户输入的文本；也可以是可以实时或者按照一定周期从各网站、论坛社区、微博、自媒体平台等获取的文章或评论信息；或者，还可以是实时或者按照一定周期从各网站、论坛社区、微博、自媒体平台等获取的增量文章或增量评论信息；等等，本公开实施例对待识别文本的获取途径和方式不做限定。
104，根据预设情感类型对应的情感特征词，生成包括掩码(MASK)的提示模板。
其中的提示模板即提示学习(Prompt-learning)模板，用于提示待识别文本与情感特征词之间的二分类关系，其中的二分类关系包括肯定关系与否定关系，其中的肯定关系表示待识别文本与情感特征词之间相关，否定关系表示待识别文本与情感特征词之间不相关。
可选地，在其中一些实现方式中，可以按照预设二分类关系的表示模板，例如，Isit情感特征词？[MASK]，生成包括掩码的提示模板。
106，将待识别文本与提示模板按照预设格式拼接，得到拼接文本。
例如，可以按照先待识别文本、后提示模板的顺序，或者先提示模板、后待识别文本的顺序，等等，将待识别文本与提示模板按照预设格式拼接，本公开实施例对待识别文本与提示模板拼接的预设格式不做限制。
108，将拼接文本输入预测模型，经预测模型预测用于填入掩码的候选答案及该候选答案的概率。
可选地，在其中一些实现方式中，本公开实施例中的预测模型，可以是基于深度学习技术的任意网络模型，例如语音模型，本公开实施例对具体采用的预测模型不做限制。
其中的预测模型可以预先学习海量数据的语义知识，在实际应用中，可以采用无监督的训练方式或者有监督的训练方式，对初始网络模型进行训练来得到该预测模型。本公开实施例对训练得到预测模型的具体训练方式不做限定。
110，基于上述候选答案及候选答案的概率，确定待识别文本是否属于上述预设情感类型。
基于本实施例，通过引入预测模型与提示学习技术，利用文本的二分类特性，将文本的二分类问题改造为完型填空问题，根据预设情感类型自动生成包括掩码的提示模板，通过使用填空形式来激活预测模型在预训练过程中学习到的知识，使预测模型能更好地捕捉文本的语义信息，提升预测模型对隐晦情感词的敏感度，对用于填入掩码的候选答案进行预测，从而实现对隐性情感的识别与分类，从而能够有效识别隐性情感，可以有效解决现有技术基于大样本的传统二分类模型由于训练数据样本量不足、隐性情感的语义隐晦等原因导致的无法识别隐性情感的问题。
可选地，在本公开文本识别方法实施例中，通过上述操作102获取待识别文本之后，还可以包括如下操作：
获取预设情感类型，在其中一些可能的实现方式中，可以依次选取预设情感类型表中的一个情感类型作为上述预设情感类型，其中的预设情感类型表中包括需要识别或监管文本是否涉及的至少一个情感类型；或者，也可以获取当前场景或者任务目标针对的情感类型作为上述预设情感类型，例如，针对多民族交流论坛，可以获取歧视这一情感类型作为上述预设情感类型，等等。之后，可以针对该预设情感类型，从预设特征词表中选取对应于该预设情感类型的特征词作为上述情感特征词，其中的预设特征词表包括一个以上情感类型中各情感类型分别对应的特征词。
基于本实施例，可以获取实际需求对应的预设情感类型，并从预设特征词表中选取该预设情感类型对应的特征词作为上述情感特征词，通过本公开实施例的流程确定待识别文本是否属于预设情感类型，从而可以针对各种需求实现对待识别文本涉及的情感类型的识别。
图2为本公文本识别方法另一个实施例的流程图。如图2所示，在图1所示实施例的基础上，操作108中，经预测模型预测用于填入掩码的候选答案及该候选答案的概率，可以包括：
2082，按照第一预设方式，从预设候选词表中选取K个肯定候选词作为K个候选答案。
其中，预设候选词表包括：用于表示二分类关系中的肯定关系的多个肯定候选词其中的肯定候选词用于表示二分类关系中的肯定关系。K为大于0的整数。
例如，在其中一些可能的实现方式中，可以按照预设候选词表中各肯定候选词的词频-逆文档频率(term frequency–inverse document frequency，TF-IDF)值由大到小的顺序，从预设候选词表中的肯定候选词中选取前K个肯定候选词作为K个候选答案。其中的TF-IDF，是一种用于情报检索与文本挖掘的加权技术，用以评估一个词对于一个文件、一个词集、或者一个语料库中的一个领域文件集的重要程度。在具体实现中，可以获取预设候选词表中各肯定候选词在待识别文本所述任务场景涉及的信息中的词频(Term Frequency,TF)与各肯定候选词的逆文档频率(Inverse Document Frequency，IDF)的乘积，得到各肯定候选词的TF-IDF值。
或者，在另一些可能的实现方式中，也可以以用于表示肯定关系的预设肯定词(例如YES、是等)为标准，通过预设获取方式，从预设候选词表中获取与该预设肯定词最相似的K-1个肯定候选词，与该预设肯定词组成K个肯定候选词，其中，预设候选词表中包括上述预设肯定词。例如，在一种具体实现中，可以是通过查询预先建立的同义词词典的方式，从同义词词典中查询预设候选词表中存在的、与预设肯定词最相似的K-1个同义词作为K个肯定候选词；或者，也可以将预设候选词表中的各候选词，例如通过BERT编码器、词到向量(Wordto the vector)、one-hot(独热码)等方式，转换为词向量，获取词向量与预设肯定词的词向量之间的余弦值最小的K-1个候选词作为K个肯定候选词；等等，本公开实施例对此具体实现方式不做限定。
或者，在又一些可能的实现方式中，也可以从预设候选词表中获取肯定候选词表，该肯定候选词表包括预设候选词表中用于表示二分类关系中的肯定关系的所有候选词，例如，可以以用于表示肯定关系的预设肯定词(例如YES、是等)为标准，通过查询预先建立的同义词词典的方式，从同义词词典中查询预设候选词表中存在的、与该预设肯定词同义的所有候选词，或者，获取预设候选词表中，词向量与该预设肯定词的词向量之间的余弦值小于预设余弦值的所有候选词，等等。然后，按照肯定候选词表中各肯定候选词的TF-IDF值由大到小的顺序，从肯定候选词表中的肯定候选词中选取前K个肯定候选词。
2084，利用预测模型，分别预测K个肯定候选词中各肯定候选词作为用于填入掩码的候选答案的概率。
本实施例中的K个肯定候选词作为上述实施例中用于填入掩码的候选答案，该K个肯定候选词作为用于填入掩码的答案的概率作为上述实施例中候选答案的概率。
可选地，在其中一些实现方式中，可以是将K个肯定候选词和拼接文本同时输入预测模型，经预测模型，分别预测K个肯定候选词中各肯定候选词作为用于填入掩码的候选答案的概率；也可以是预测模型预先学习到了预设候选词表，从预设候选词表中选取K个肯定候选词作为K个候选答案，仅将拼接文本输入预测模型，经预测模型分别预测K个肯定候选词中各肯定候选词作为用于填入掩码的候选答案的概率，本公开实施例对此不做限制。
相应地，该实施例中，操作110可以通过如下方式实现：
210，基于K个肯定候选词作为用于填入掩码的候选答案的概率是否大于预设概率值，确定待识别文本是否属于所述预设情感类型。
其中的预设概率值，可以根据任务需求设置，并可以根据需求修改，例如预设概率值的取值可以为0.6等等，本公开实施例对此不做限制。
其中，若K个肯定候选词作为用于填入掩码的候选答案的概率大于预设概率值，可以确定待识别文本属于所述预设情感类型。否则，若K个肯定候选词作为用于填入掩码的候选答案的概率不大于预设概率值，可以确定待识别文本不属于所述预设情感类型。
可选地，所述K个肯定候选词作为用于填入掩码的候选答案的概率大于预设概率值，可以是K个肯定候选词作为用于填入掩码的候选答案的概率的平均值大于预设概率值，也可以是K个肯定候选词作为用于填入掩码的候选答案的概率均大于预设概率值，也可以是K个肯定候选词作为用于填入掩码的候选答案的概率的中指大于预设概率值，等等，具体方式可以根据任务需求设置，本公开实施例对此不做限制。
基于本实施例，通过从预设候选词表中选取K个肯定候选词，利用预测模型分别预测K个肯定候选词作为用于填入掩码的答案的概率，进而，基于该K个肯定候选词作为用于填入掩码的候选答案的概率是否大于预设概率值来确定待识别文本是否属于所述预设情感类型，从而客观、准确的确定待识别文本是否属于预设情感类型。
图3为本公开文本识别方法又一个实施例的流程图。如图3所示，在图1所示实施例的基础上，操作108中，经预测模型预测用于填入掩码的候选答案及该候选答案的概率，可以包括：
3082，按照第二预设方式，分别从预设候选词表中选取M个肯定候选词和N个否定候选词作为候选答案。
其中，预设候选词表包括：用于表示二分类关系中的肯定关系的多个肯定候选词，和用于表示二分类关系中的否定关系的多个否定候选词。其中的肯定候选词用于表示二分类关系中的肯定关系。其中的否定候选词用于表示二分类关系中的否定关系。M、N分别为大于0的整数。
可选地，该操作3082中，从预设候选词表中选取M个肯定候选词和N个否定候选词作为候选答案的实现方式，可以参考操作2082中按照第一预设方式，从预设候选词表中选取K个肯定候选词作为K个候选答案的实现方式。其中，选取M个肯定候选词和N个否定候选词的实现方式可以相同，也可以不同，本公开实施例对此不做限制。
3084，利用预测模型，分别预测M个肯定候选词中各肯定候选词作为用于填入掩码的候选答案的概率。
3086，利用预测模型，分别预测N个否定候选词中各否定候选词作为用于填入掩码的候选答案的概率。
其中，操作3084与3086之间可以以任意先后顺序执行，也可以同时执行，本公开实施例对此不做限制。
本实施例中，上述实施例中候选答案及候选答案的概率包括：M个肯定候选词及该M个肯定候选词作为用于填入掩码的候选答案的概率，和N个否定候选词及该N个否定候选词作为用于填入掩码的候选答案的概率。
可选地，在其中一些实现方式中，可以是将M个肯定候选词和N个否定候选词、以及拼接文本同时输入预测模型，经预测模型，分别预测M个肯定候选词中各肯定候选词、N个否定候选词中各否定候选词作为用于填入掩码的候选答案的概率；也可以是预测模型预先学习到了预设候选词表，分别从预设候选词表中选取M个肯定候选词和N个否定候选词作为候选答案，仅将拼接文本输入预测模型，经预测模型分别预测M个肯定候选词中各肯定候选词、N个否定候选词中各否定候选词作为用于填入掩码的候选答案的概率，本公开实施例对此不做限制。
相应地，该实施例中，操作110可以通过如下方式实现：
310，基于M个肯定候选词作为用于填入掩码的候选答案的概率和N个否定候选词作为用于填入掩码的候选答案的概率之间的大小关系，确定待识别文本是否属于所述预设情感类型。
可选地，在其中一些实现方式中，若M个肯定候选词作为用于填入掩码的候选答案的概率大于N个否定候选词作为用于填入掩码的候选答案的概率，可以确定待识别文本属于所述预设情感类型。否则，若M个肯定候选词作为用于填入掩码的候选答案的概率不大于N个否定候选词作为用于填入掩码的候选答案的概率，可以确定待识别文本不属于所述预设情感类型。
其中，可以预先设定，M个肯定候选词作为用于填入掩码的答案的候选概率大于N个否定候选词作为用于填入掩码的候选答案的概率，可以是M个肯定候选词作为用于填入掩码的候选答案的概率的平均值，大于N个否定候选词作为用于填入掩码的候选答案的概率的平均值；也可以是M个肯定候选词作为用于填入掩码的候选答案的概率之和，大于N个否定候选词作为用于填入掩码的候选答案的概率之和；还可以是M个肯定候选词作为用于填入掩码的候选答案的概率的中值，大于N个否定候选词作为用于填入掩码的候选答案的概率的中值；等等，具体方式可以根据任务需求设置，本公开实施例对此不做限制。
基于本实施例，通过从预设候选词表中选取M个肯定候选词和N个否定候选词作为候选答案，利用预测模型M个肯定候选词中各肯定候选词和N个否定候选词中各否定候选词作为用于填入掩码的候选答案的概率，进而，基于M个肯定候选词作为用于填入掩码的答案的概率和N个否定候选词作为用于填入掩码的候选答案的概率之间的大小关系，确定待识别文本是否属于所述预设情感类型，可以客观、准确的确定待识别文本是否属于预设情感类型。
图4为本公开文本识别方法再一个实施例的流程图。如图4所示，在图1所示实施例的基础上，操作108中，经预测模型预测用于填入掩码的候选答案及该候选答案的概率，可以包括：
4082，利用预测模型，分别预测预设候选词表中各候选词作为用于填入掩码的候选答案的概率。
其中，预设候选词表包括：用于表示二分类关系中的肯定关系的多个肯定候选词，和用于表示二分类关系中的否定关系的多个否定候选词。
可选地，在其中一些实现方式中，预测模型预先学习到了预设候选词表，分别预测预设候选词表中各候选词作为用于填入掩码的候选答案的概率。
4084，按照第三预设方式，从所述各候选词作为用于填入掩码的候选答案的概率中，选取M个肯定候选词作为用于填入掩码的候选答案的概率。
其中的肯定候选词用于表示二分类关系中的肯定关系。M为大于0的整数。
可选地，该操作4084中，选取M个用于表示二分类关系中的肯定关系的肯定候选词的实现方式，可以参考操作2082中按照第一预设方式，从预设候选词表中选取K个肯定候选词的实现方式。
4086，按照第三预设方式，从所述各候选词作为用于填入掩码的候选答案的概率中，选取N个否定候选词作为用于填入掩码的候选答案的概率。
其中的否定候选词用于表示二分类关系中的否定关系。其中，N为大于0的整数。
可选地，该操作4086中，选取N个否定候选词，可以参考操作2082中按照第一预设方式，从预设候选词表中选取K个肯定候选词的实现方式。其中，选取M个肯定候选词和N个否定候选词的实现方式可以相同，也可以不同，本公开实施例对此不做限制。
其中，操作4084与4086之间可以以任意先后顺序执行，也可以同时执行，本公开实施例对此不做限制。
相应地，该实施例中，操作110可以通过如下方式实现：
410，基于M个肯定候选词作为用于填入掩码的候选答案的概率和N个否定候选词作为用于填入掩码的答案的候选概率之间的大小关系，确定待识别文本是否属于所述预设情感类型。
可选地，在其中一些实现方式中，若M个肯定候选词作为用于填入掩码的候选答案的概率大于N个否定候选词作为用于填入掩码的候选答案的概率，可以确定待识别文本属于所述预设情感类型。否则，若M个肯定候选词作为用于填入掩码的候选答案的概率不大于N个否定候选词作为用于填入掩码的候选答案的概率，可以确定待识别文本不属于所述预设情感类型。
其中，可以预先设定，M个肯定候选词作为用于填入掩码的候选答案的概率大于N个否定候选词作为用于填入掩码的候选答案的概率，可以是M个肯定候选词作为用于填入掩码的候选答案的概率的平均值，大于N个否定候选词作为用于填入掩码的候选答案的概率的平均值；也可以是M个肯定候选词作为用于填入掩码的候选答案的概率之和，大于N个否定候选词作为用于填入掩码的候选答案的概率之和；还可以是M个肯定候选词作为用于填入掩码的候选答案的概率的中值，大于N个否定候选词作为用于填入掩码的候选答案的概率的中值；等等，具体方式可以根据任务需求设置，本公开实施例对此不做限制。
基于本实施例，利用预测模型分别预测预设候选词表中各候选词作为用于填入掩码的候选答案的概率，通过选取M个肯定候选词作为用于填入掩码的候选答案的概率和N个否定候选词作为用于填入掩码的答案的概率，进而，基于M个肯定候选词作为用于填入掩码的候选答案的概率和N个否定候选词作为用于填入掩码的候选答案的概率之间的大小关系，确定待识别文本是否属于所述预设情感类型，可以客观、准确的确定待识别文本是否属于预设情感类型。
以下以一个具体实例为例，对本公开实施例的应用进行进一步说明：
S1，获取待识别文本：People ordered pizzas to be delivered,with theample leftovers donated to local homeless shelters.
S2，假设预设情感类型为傲慢态度，根据傲慢对应的情感特征词patronizing orcondescending，生成包括掩码的提示模板：Is it patronizing or condescending？[MASK]。
S3，将待识别文本与提示模板按照先待识别文本、后提示模板的顺序进行拼接，得到拼接文本：People ordered pizzas to be delivered,with the ample leftoversdonated to local homeless shelters.Is it patronizing or condescending？[MASK]。
S4，假设预设候选词表包括3万多个候选词，其中包括2万多个用于表示肯定关系的肯定候选词和1万多个用于表示二分类关系中的否定关系的否定候选词，利用预测模型，分别预测预设候选词表中各候选词作为用于填入掩码的候选答案的概率。
S5，从各候选词作为用于填入掩码的候选答案的概率中，选取M个肯定候选词{yes,exactly,surely,fine,…}作为用于填入掩码的候选答案的概率，和N个否定候选词{no,false,…}作为用于填入掩码的候选答案的概率。
S6，获取M个肯定候选词{yes,exactly,surely,fine,…}作为用于填入掩码的候选答案的概率的平均值，称为第一平均值；获取N个否定候选词{no,false,…}作为用于填入掩码的候选答案的概率的平均值，称为第二平均值。
S7，比较第一平均值是否大于第二平均值，若第一平均值大于第二平均值，确定待识别文本People ordered pizzas to be delivered,with the ample leftoversdonated to local homeless shelters存在傲慢态度；否则，若第一平均值不大于第二平均值，确定待识别文本People ordered pizzas to be delivered,with the ampleleftovers donated to local homeless shelters不存在傲慢态度。
可选地，本公开上述各实施例中的预测模型可以是预训练语言模型(Pre-trainedlanguage model，PLM)。可选地，在其中一些实现方式中，该预训练语言模型可以是BERT模型、ROBERT模型、ERNI模型等大型预训练语言模型，本公开实施例对具体采用的预训练语言模型不做限制。
其中的预训练语言模型可以预先学习海量数据的语义知识，在实际应用中，可以采用无监督的训练方式或者有监督的训练方式，对初始网络模型进行训练来得到该预训练语言模型。本公开实施例对训练得到预训练语言模型的具体训练方式不做限定。
可选地，在本公开上述各实施例的流程之前，还可以预先利用隐性情感样本对预训练语言模型进行微调(fine-tune)，使预训练语言模型可以在隐性情感的小样本数据上进行学习。
图5为本公开实施例中预先对预训练语言模型进行微调的一个的流程图。如图5所示，该实施例中，可以通过如下方式对预训练语言模型进行微调：
502，获取至少一个隐性情感样本。
其中，隐性情感样本包括隐性情感文本和隐性情感文本对应的提示模板，所述对应的提示模板用于提示隐性情感文本与所述对应的提示模板中情感特征词之间的二分类关系。所述对应的提示模板中包括掩码。
所述隐性情感样本标注有答案标签，该答案标签用于表示隐性情感文本是否属于所述对应的提示模板中情感特征词对应的隐形情感类型。
本公开实施例中的隐性情感，即较为隐晦，很难从文本字面判断出来情感，隐性情感文本即携带有隐性情感的文本，隐性情感类型即隐性情感的具体类型。
504，分别将所述至少一个隐性情感样本中的各隐性情感样本输入预训练语言模型，经预训练语言模型输出各隐性情感样本对应的提示模板中掩码对应的预测答案和该预测答案的概率。
506，基于各隐性情感样本对应的预测答案和预测答案的概率，确定各隐性情感样本是否属于所述对应的提示模板中情感特征词对应的隐性情感类型的预测结果。
508，基于所述至少一个隐性情感样本对应的答案标签和预测结果，对预训练语言模型进行微调，即微调预训练语言模型中网络参数的参数值。
可选地，在具体实现中，可以利用交叉熵(Cross Entropy Loss，CE Loss)作为损失函数，基于所述至少一个隐性情感样本对应的答案标签和预测结果，计算CE Loss值，基于该CE Loss值对预训练语言模型进行微调。
可以迭代执行本实施例的操作502-508或者504-508，直至达到预设训练完成条件。
可选地，在其中一些实现方式中，上述预设训练完成条件，例如可以包括但不限于以下任意一项或多项：对预训练语言模型进行迭代训练(即迭代执行本实施例的操作操作502-508或者504-508)的次数达到预设次数(例如1000次)，所述至少一个隐性情感样本对应的答案标签和预测结果对应的CE Loss值小于预设阈值，等等。本公开实施例对具体的设训练完成条件不做限制。
其中，所述至少一个隐性情感样本对应的答案标签和预测结果对应的CE Loss值小于预设阈值，例如可以是，所述至少一个隐性情感样本中各隐性情感样本对应的答案标签和预测结果对应的CE Loss值均小于预设阈值，也可以是所述至少一个隐性情感样本对应的答案标签和预测结果对应的CE Loss值的平均值小于预设阈值，也可以是所述至少一个隐性情感样本对应的答案标签和预测结果对应的CE Loss值的中值小于预设阈值，等等，本公开实施例对此不做限制。
本实施例中，预训练语言模型各隐性情感样本对应的提示模板中掩码对应的预测答案和该预测答案的概率的处理过程，与上述各实施例中预训练语言模型预测用于填入掩码的候选答案及该候选答案的概率的处理过程一致，具体可以参考上述各实施例的实现方式。
在对预训练语言模型进行微调的过程中，可以先利用softmax函数，对选取出的所有肯定候选词的概率的平均值和所有否定候选词的概率的平均值进行归一化，即使所有肯定候选词的概率的平均值与所有否定候选词的概率的平均值之和为1，然后再基于所有肯定候选词的概率的平均值与所有否定候选词的概率的平均值，确定各隐性情感样本是否属于所述对应的提示模板中情感特征词对应的隐性情感类型的预测结果，可以提高预训练语言模型的优化学习精度，使得精调得到的预训练语言模型预测的概率更精确。
本实施例中，基于各隐性情感样本对应的预测答案和预测答案的概率确定各隐性情感样本是否属于所述对应的提示模板中情感特征词对应的隐性情感类型的预测结果的实现过程，与上述各实施例中基于候选答案及候选答案的概率，确定待识别文本是否属于上述预设情感类型的处理过程一致，具体可以参考上述各实施例的实现方式。
可选地，在其中一些实现方式中，本公开实施例中的预训练语言模型，可以是BERT模型、ROBERT模型、ERNI模型等大型预训练语言模型。
由于隐性情感样本作为训练数据一般较难获取，训练数据样本量不足，基于本公开实施例，充分利用预训练语言模型在预训练过程中的强大语义知识学习能力，基于小量的隐性情感样本进行适应性微调学习，使预训练语言模型能更好地捕捉已学习知识的语义信息，提升预训练语言模型对隐晦情感词的敏感度，从而提升分类效果。
本公开实施例提供的任一种文本识别方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种文本识别方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种文本识别方法。下文不再赘述。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图6为本公开文本识别装置一个实施例的结构示意图。该实施例的文本识别装置可用于实现本公开上述各文本识别方法实施例。如图6所示，该实施例的文本识别装置包括：第一获取模块602，生成模块604，拼接模块606，预测模块608和第一确定模块610。其中：
第一获取模块602，用于获取待识别文本。
生成模块604，用于根据预设情感类型对应的情感特征词，生成包括掩码的提示模板，提示模板用于提示待识别文本与情感特征词之间的二分类关系。
拼接模块606，用于将待识别文本与提示模板按照预设格式拼接，得到拼接文本。
预测模块608，用于将拼接文本输入预测模型，经预测模型预测用于填入掩码的候选答案及候选答案的概率。
第一确定模块610，用于基于候选答案及候选答案的概率，确定待识别文本是否属于预设情感类型。
基于本实施例，通过引入预测模型与提示学习技术，利用文本的二分类特性，将文本的二分类问题改造为完型填空问题，根据预设情感类型自动生成包括掩码的提示模板，通过使用填空形式来激活预测模型学习到的知识，使预测模型能更好地捕捉文本的语义信息，提升预测模型对隐晦情感词的敏感度，对用于填入掩码的候选答案进行预测，从而实现对隐性情感的识别与分类，从而能够有效识别隐性情感，可以有效解决现有技术基于大样本的传统二分类模型由于训练数据样本量不足、隐性情感的语义隐晦等原因导致的无法识别隐性情感的问题。
图7为本公开文本识别装置另一个实施例的结构示意图。如图7所示，在图6所示实施例的基础上，本实施例的文本识别装置还包括：第二获取模块702和选取模块704。其中：
第二获取模块702，用于获取预设情感类型。
选取模块704，用于针对预设情感类型，从预设特征词表中选取对应于预设情感类型的特征词作为情感特征词；其中，所述预设特征词表包括一个以上情感类型中各情感类型分别对应的特征词。
可选地，在其中一些可能的实现方式中，预测模块608可以包括：输入单元，用于将拼接文本输入预测模型；第一选取单元，用于按照第一预设方式，从预设候选词表中选取K个肯定候选词作为K个候选答案；其中，肯定候选词用于表示二分类关系中的肯定关系，预设候选词表包括：用于表示二分类关系中的肯定关系的多个肯定候选词，和用于表示二分类关系中的否定关系的多个否定候选词；K为大于0的整数；第一预测单元，用于利用预测模型，分别预测K个肯定候选词中各肯定候选词作为用于填入掩码的候选答案的概率。
相应地，在该实施例中，第一确定模块610，具体用于：基于K个肯定候选词作为用于填入掩码的候选答案的概率是否大于预设概率值，确定待识别文本是否属于预设情感类型。
可选地，在另一些可能的实现方式中，预测模块608可以包括：输入单元，用于将拼接文本输入预测模型；第二选取单元，用于按照第二预设方式，分别从预设候选词表中选取M个肯定候选词和N个否定候选词作为候选答案；其中，肯定候选词用于表示二分类关系中的肯定关系，否定候选词用于表示二分类关系中的否定关系，预设候选词表包括：用于表示二分类关系中的肯定关系的多个肯定候选词，和用于表示二分类关系中的否定关系的多个否定候选词；M、N分别为大于0的整数；第二预测单元，用于利用预测模型，分别预测M个肯定候选词中各肯定候选词作为用于填入掩码的候选答案的概率；第三预测单元，用于利用预测模型，分别预测N个否定候选词中各否定候选词作为用于填入掩码的候选答案的概率；其中，候选答案的概率包括M个肯定候选词作为用于填入掩码的候选答案的概率，和N个否定候选词作为掩码的答案的概率。
相应地，在该实施例中，第一确定模块610，具体用于：基于M个肯定候选词作为用于填入掩码的候选答案的概率和N个否定候选词作为用于填入掩码的候选答案的概率之间的大小关系，确定待识别文本是否属于预设情感类型。
可选地，在又一些可能的实现方式中，预测模块608可以包括：输入单元，用于将拼接文本输入预测模型；第四预测单元，用于利用预测模型，分别预测预设候选词表中各候选词作为用于填入掩码的候选答案的概率；其中，预设候选词表包括：用于表示二分类关系中的肯定关系的多个肯定候选词，和用于表示二分类关系中的否定关系的多个否定候选词；第三选取单元，用于按照第三预设方式，从各候选词作为用于填入掩码的候选答案的概率中，选取M个肯定候选词作为用于填入掩码的候选答案的概率；其中，肯定候选词用于表示二分类关系中的肯定关系，M为大于0的整数；第四选取单元，用于按照第三预设方式，从各候选词作为用于填入掩码的候选答案的概率中，选取N个否定候选词作为用于填入掩码的答案的概率；其中，否定候选词用于表示二分类关系中的否定关系，N为大于0的整数。
相应地，在该实施例中，第一确定模块610，具体用于：基于M个肯定候选词作为用于填入掩码的候选答案的概率和N个否定候选词作为用于填入掩码的候选答案的概率之间的大小关系，确定待识别文本是否属于预设情感类型。
可选地，本公开上述各实施例中的预测模型可以是预训练语言模型(Pre-trainedlanguage model，PLM)。可选地，在其中一些实现方式中，该预训练语言模型可以是BERT模型、ROBERT模型、ERNI模型等大型预训练语言模型，本公开实施例对具体采用的预训练语言模型不做限制。
另外，再参见图7，上述实施例中的文本识别装置中，还可以包括：第三获取模块706，预训练语言模型708，第二确定模块710和微调模块712。其中：
第三获取模块706，用于获取至少一个隐性情感样本；其中，所述隐性情感样本包括隐性情感文本和所述隐性情感文本对应的提示模板，所述对应的提示模板用于提示所述隐性情感文本与所述对应的提示模板中情感特征词之间的二分类关系，所述对应的提示模板中包括掩码；所述隐性情感样本标注有答案标签，所述答案标签用于表示所述隐性情感文本是否属于所述对应的提示模板中情感特征词对应的隐形情感类型。
预训练语言模型708，用于分别针对所述至少一个隐性情感样本中的各隐性情感样本，预测所述各隐性情感样本对应的提示模板中掩码对应的预测答案和所述预测答案的概率。
第二确定模块710，用于基于所述各隐性情感样本对应的预测答案和所述预测答案的概率，确定所述各隐性情感样本是否属于所述对应的提示模板中情感特征词对应的隐性情感类型的预测结果。
微调模块712，用于基于所述至少一个隐性情感样本对应的答案标签和预测结果，对所述预训练语言模型进行微调。
另外，本公开实施例还提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的文本识别方法。
图8为本公开电子设备一个应用实施例的结构示意图。下面，参考图8来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
如图8所示，电子设备包括一个或多个处理器802和存储器804。
处理器802可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器804可以存储一个或多个计算机程序产品，所述存储器804可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序产品，处理器802可以运行所述计算机程序产品，以实现上文所述的本公开的各个实施例的文本识别方法以及/或者其他期望的功能。
在一个示例中，电子装置还可以包括：输入装置806和输出装置808，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外，该输入装置806还可以包括例如键盘、鼠标等等。
该输出装置808可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置808可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出装置等等。
当然，为了简化，图8中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序，所述计算机程序在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的文本识别方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的文本识别方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种文本识别方法，其特征在于，包括：
获取待识别文本；
根据预设情感类型对应的情感特征词，生成包括掩码的提示模板，所述提示模板用于提示所述待识别文本与所述情感特征词之间的二分类关系；
将所述待识别文本与所述提示模板按照预设格式拼接，得到拼接文本；
将所述拼接文本输入预测模型，经所述预测模型预测用于填入所述掩码的候选答案及所述候选答案的概率；其中，经所述预测模型预测用于填入所述掩码的候选答案及所述候选答案的概率，包括：从预设候选词表中选取多个候选词，所述多个候选词包括：用于表示所述二分类关系中的肯定关系的多个肯定候选词，或者用于表示所述二分类关系中的肯定关系的多个肯定候选词和用于表示所述二分类关系中的否定关系的多个否定候选词；利用所述预测模型，分别预测所述多个候选词中各候选词作为用于填入所述掩码的候选答案的概率；
基于所述候选答案及所述候选答案的概率，确定所述待识别文本是否属于所述预设情感类型。
2.根据权利要求1所述的方法，其特征在于，所述获取待识别文本之后，还包括：
获取所述预设情感类型；
针对所述预设情感类型，从预设特征词表中选取对应于所述预设情感类型的特征词作为所述情感特征词；其中，所述预设特征词表包括一个以上情感类型中各情感类型分别对应的特征词。
3.根据权利要求1所述的方法，其特征在于，经所述预测模型预测用于填入所述掩码的候选答案及所述候选答案的概率，包括：
按照第一预设方式，从预设候选词表中选取K个肯定候选词作为K个候选答案；其中，所述肯定候选词用于表示所述二分类关系中的肯定关系，所述预设候选词表包括：用于表示所述二分类关系中的肯定关系的多个肯定候选词；K为大于0的整数；
利用所述预测模型，分别预测所述K个肯定候选词中各肯定候选词作为用于填入所述掩码的候选答案的概率。
4.根据权利要求3所述的方法，其特征在于，所述基于所述候选答案及所述候选答案的概率，确定所述待识别文本是否属于所述预设情感类型，包括：
基于所述K个肯定候选词作为用于填入所述掩码的候选答案的概率是否大于预设概率值，确定所述待识别文本是否属于所述预设情感类型。
5.根据权利要求1所述的方法，其特征在于，经所述预测模型预测用于填入所述掩码的候选答案及所述候选答案的概率，包括：
按照第二预设方式，分别从预设候选词表中选取M个肯定候选词和N个否定候选词作为候选答案；其中，所述肯定候选词用于表示所述二分类关系中的肯定关系，所述否定候选词用于表示所述二分类关系中的否定关系，所述预设候选词表包括：用于表示所述二分类关系中的肯定关系的多个肯定候选词，和用于表示所述二分类关系中的否定关系的多个否定候选词；M、N分别为大于0的整数；
利用所述预测模型，分别预测所述M个肯定候选词中各肯定候选词作为用于填入所述掩码的候选答案的概率；
利用所述预测模型，分别预测所述N个否定候选词中各否定候选词作为用于填入所述掩码的候选答案的概率。
6.根据权利要求1所述的方法，其特征在于，经所述预测模型预测用于填入所述掩码的候选答案及所述候选答案的概率，包括：
利用所述预测模型，分别预测预设候选词表中各候选词作为用于填入所述掩码的候选答案的概率；其中，所述预设候选词表包括：用于表示所述二分类关系中的肯定关系的多个肯定候选词，和用于表示所述二分类关系中的否定关系的多个否定候选词；
按照第三预设方式，从所述各候选词作为用于填入所述掩码的候选答案的概率中，选取M个肯定候选词作为用于填入所述掩码的候选答案的概率；其中，所述肯定候选词用于表示所述二分类关系中的肯定关系，M为大于0的整数；
按照所述第三预设方式，从所述各候选词作为用于填入所述掩码的候选答案的概率中，选取N个否定候选词作为用于填入所述掩码的候选答案的概率；其中，所述否定候选词用于表示所述二分类关系中的否定关系，N为大于0的整数。
7.根据权利要求5或6所述的方法，其特征在于，所述基于所述候选答案及所述候选答案的概率，确定所述待识别文本是否属于所述预设情感类型，包括：
基于所述M个肯定候选词作为用于填入所述掩码的候选答案的概率和所述N个否定候选词作为用于填入所述掩码的候选答案的概率之间的大小关系，确定所述待识别文本是否属于所述预设情感类型。
8.根据权利要求1-6任一所述的方法，其特征在于，所述预测模型包括预训练语言模型；
所述方法还包括预先对所述预训练语言模型进行微调的步骤：
获取至少一个隐性情感样本；其中，所述隐性情感样本包括隐性情感文本和所述隐性情感文本对应的提示模板，所述对应的提示模板用于提示所述隐性情感文本与所述对应的提示模板中情感特征词之间的二分类关系，所述对应的提示模板中包括掩码；所述隐性情感样本标注有答案标签，所述答案标签用于表示所述隐性情感文本是否属于所述对应的提示模板中情感特征词对应的隐形情感类型；
分别将所述至少一个隐性情感样本中的各隐性情感样本输入所述预训练语言模型，经所述预训练语言模型输出所述各隐性情感样本对应的提示模板中掩码对应的预测答案和所述预测答案的概率；
基于所述各隐性情感样本对应的预测答案和所述预测答案的概率，确定所述各隐性情感样本是否属于所述对应的提示模板中情感特征词对应的隐性情感类型的预测结果；
基于所述至少一个隐性情感样本对应的答案标签和预测结果，对所述预训练语言模型进行微调。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-8任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-8任一所述的方法。
CN202210887250.6A 2022-07-26 2022-07-26 文本识别方法、设备、介质 Active CN115248846B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210887250.6A CN115248846B (zh) 2022-07-26 2022-07-26 文本识别方法、设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210887250.6A CN115248846B (zh) 2022-07-26 2022-07-26 文本识别方法、设备、介质

Publications (2)

Publication Number Publication Date
CN115248846A CN115248846A (zh) 2022-10-28
CN115248846B true CN115248846B (zh) 2023-05-23

Family

ID=83699326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210887250.6A Active CN115248846B (zh) 2022-07-26 2022-07-26 文本识别方法、设备、介质

Country Status (1)

Country Link
CN (1) CN115248846B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966106A (zh) * 2021-03-05 2021-06-15 平安科技（深圳）有限公司 文本的情绪识别方法、装置、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955451B (zh) * 2014-05-15 2017-04-19 北京优捷信达信息科技有限公司 一种判别短文本情感倾向性的方法
CN111144507B (zh) * 2019-12-30 2021-06-08 北京百度网讯科技有限公司 情感分析模型预训练方法、装置及电子设备
US11615241B2 (en) * 2020-04-03 2023-03-28 Bewgle Technologies Pvt Ltd. Method and system for determining sentiment of natural language text content
US20220129784A1 (en) * 2020-10-27 2022-04-28 Providence St. Joseph Health Predicting topic sentiment using a machine learning model trained with observations in which the topics are masked
CN113609390A (zh) * 2021-08-06 2021-11-05 北京金堤征信服务有限公司 信息分析方法及装置、电子设备和计算机可读存储介质
CN113961705A (zh) * 2021-10-29 2022-01-21 聚好看科技股份有限公司 一种文本分类方法及服务器
CN114662491A (zh) * 2022-03-23 2022-06-24 网易（杭州）网络有限公司 语料处理方法、比喻信息处理方法、装置及电子设备
CN114492363B (zh) * 2022-04-15 2022-07-15 苏州浪潮智能科技有限公司 一种小样本微调方法、系统及相关装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966106A (zh) * 2021-03-05 2021-06-15 平安科技（深圳）有限公司 文本的情绪识别方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于BERT嵌入BiLSTM-CRF模型的中文专业术语抽取研究;吴俊;程垚;郝瀚;艾力亚尔・艾则孜;刘菲雪;苏亦坡;;情报学报(第04期);全文 *

Also Published As

Publication number Publication date
CN115248846A (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
Logeswaran et al. Sentence ordering and coherence modeling using recurrent neural networks
CN107066464B (zh) 语义自然语言向量空间
CN110580292B (zh) 一种文本标签生成方法、装置和计算机可读存储介质
CN108846077B (zh) 问答文本的语义匹配方法、装置、介质及电子设备
CN110069709B (zh) 意图识别方法、装置、计算机可读介质及电子设备
AU2016256753A1 (en) Image captioning using weak supervision and semantic natural language vector space
CN112632226B (zh) 基于法律知识图谱的语义搜索方法、装置和电子设备
CN111931517A (zh) 文本翻译方法、装置、电子设备以及存储介质
CN110377733B (zh) 一种基于文本的情绪识别方法、终端设备及介质
CN108628868B (zh) 文本分类方法和装置
CN110968725B (zh) 图像内容描述信息生成方法、电子设备及存储介质
CN113268609A (zh) 基于知识图谱的对话内容推荐方法、装置、设备及介质
CN114339450B (zh) 视频评论生成方法、系统、设备及存储介质
CN113705315B (zh) 视频处理方法、装置、设备及存储介质
CN111859940B (zh) 一种关键词提取方法、装置、电子设备及存储介质
CN112329476A (zh) 一种文本纠错方法及装置、设备、存储介质
CN116956835B (zh) 一种基于预训练语言模型的文书生成方法
CN114444476B (zh) 信息处理方法、装置和计算机可读存储介质
CN112528653B (zh) 短文本实体识别方法和系统
Park et al. Natural language generation using dependency tree decoding for spoken dialog systems
CN112036186A (zh) 语料标注方法、装置、计算机存储介质及电子设备
CN113705207A (zh) 语法错误识别方法及装置
CN115269768A (zh) 要素文本处理方法、装置、电子设备和存储介质
CN110874408B (zh) 模型训练方法、文本识别方法、装置及计算设备
CN115248846B (zh) 文本识别方法、设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant