CN114625851B - 文本阅读模型的预训练方法、装置、设备及存储介质 - Google Patents

文本阅读模型的预训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114625851B
CN114625851B CN202210238396.8A CN202210238396A CN114625851B CN 114625851 B CN114625851 B CN 114625851B CN 202210238396 A CN202210238396 A CN 202210238396A CN 114625851 B CN114625851 B CN 114625851B
Authority
CN
China
Prior art keywords
answer
sentences
text
question
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210238396.8A
Other languages
English (en)
Other versions
CN114625851A (zh
Inventor
邹若奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202210238396.8A priority Critical patent/CN114625851B/zh
Publication of CN114625851A publication Critical patent/CN114625851A/zh
Application granted granted Critical
Publication of CN114625851B publication Critical patent/CN114625851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及人工智能技术，揭露一种文本阅读模型的预训练方法，包括：从语料文本中选取问题语句及与问题语句对应的答案语句集；通过对语句的分词及词性标注处理，获取答案语句集中的答案语句与问题语句的共同词性，并将共同词性连接在语料文本的结尾，得到新语料文本；将答案语句、问题语句、新语料文本分别按照预设正序表以及预设反序表进行排序处理，以分别确定正序训练数据和反序训练数据；分别将正序训练数据和反序训练数据作为输入数据对文本阅读模型进行深度学习预训练处理。本发明还涉及区块链技术，语料文本存储于区块链中。本发明能够解决现有技术中在模型使用过程中需要对模型参数进行压缩，从而导致模型的阅读能力降低等问题。

Description

文本阅读模型的预训练方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种文本阅读模型的预训练方法、装置、设备及存储介质。
背景技术
自然语言处理(NLP)，目的是使得计算机具备人类的听、说、读、写、译、问、答、搜索、摘要、对话和聊天等能力，并可利用知识和常识进行推理和决策。在自然语言处理领域，预训练模型占有很重要的地位，预训练模型(PLMs，Pre-trained Language Models)能够把迁移学习很好地用起来，是影响自然语言处理能力的关键因素之一。
目前文本阅读模型的预训练方法采用的预训练方式比较单一，为了提高模型的阅读能力，需要大量的训练数据，通过数据编码的方式对模型进行预训练，导致模型的参数越来越大，模型大了，其能力虽然也会越来越强，但是训练代价也会增大。因此，在实际使用过程中，一般需要对参数较大的模型进行压缩，比如在手机端，但是压缩后的模型的参数也减少很多，使模型的阅读能力降低。
发明内容
本发明提供一种文本阅读模型的预训练方法、装置、设备及存储介质，其主要目的在于能够解决现有技术中，阅读模型的训练数据大，使模型的参数大，在模型使用过程中需要对模型参数进行压缩，从而导致模型的阅读能力降低等问题。
第一方面，为实现上述目的，本发明提供的一种文本阅读模型的预训练方法，所述方法包括：
基于预设的语句提取规则，从语料文本中选取问题语句及与所述问题语句对应的答案语句集；其中，所述答案语句集中至少包括一个正确的答案语句；
通过对语句的分词及词性标注处理，获取所述答案语句集中的答案语句与所述问题语句的共同词性，并将所述共同词性连接在所述语料文本的结尾，得到新语料文本；
将所述答案语句、所述问题语句和所述新语料文本分别按照预设正序表以及预设反序表进行排序处理，以分别确定正序训练数据和反序训练数据；
分别将所述正序训练数据和所述反序训练数据作为输入数据对文本阅读模型进行深度学习预训练处理，当对所述文本阅读模型的预训练达到预设要求时，完成对所述文本阅读模型的预训练。
第二方面，为了解决上述问题，本发明还提供一种文本阅读模型的预训练装置，所述装置包括：
问答语句提取模块，用于基于预设的语句提取规则，从语料文本中选取问题语句及与所述问题语句对应的答案语句集；其中，所述答案语句集中至少包括一个正确的答案语句；
共同词性提取模块，用于通过对语句的分词及词性标注处理，获取所述答案语句集中的答案语句与所述问题语句的共同词性，并将所述共同词性连接在所述语料文本的结尾，得到新语料文本；
正反训练数据生成模块，用于将所述答案语句、所述问题语句和所述新语料文本分别按照预设正序表以及预设反序表进行排序处理，以分别确定正序训练数据和反序训练数据；
模型预训练模块，用于分别将所述正序训练数据和所述反序训练数据作为输入数据对文本阅读模型进行深度学习预训练处理，当对所述文本阅读模型的预训练达到预设要求时，完成对所述文本阅读模型的预训练。
第三方面，为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的文本阅读模型的预训练方法的步骤。
第四方面，为了解决上述问题，本发明还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的文本阅读模型的预训练方法。
本发明提出的文本阅读模型的预训练方法、装置、设备及存储介质，通过模仿人类阅读时的提出问题和预想答案、勾画重点以及正反序反复查看，提升文本阅读模型的阅读能力；通过自问自答的随机方式增加了新的数据量和训练任务、通过语义角色输入等于原数据集的新特征被提取使用、通过相同的数据正反序训练使数据量翻倍训练，通过将从语料文本中选取问题语句及答案语句集、选出答案语句与问题语句的共同词性、以及正反序对模型进行训练三者的有效结合，能够在原有的训练数据集的基础上对数据的增强，有效提升预训练模型的阅读能力。
附图说明
图1为本发明一实施例提供的文本阅读模型的预训练方法的流程示意图；
图2为本发明一实施例提供的文本阅读模型的预训练装置的模块示意图；
图3为本发明一实施例提供的实现文本阅读模型的预训练方法的电子设备的内部结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本发明提供一种文本阅读模型的预训练方法。参照图1所示，为本发明一实施例提供的文本阅读模型的预训练方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，文本阅读模型的预训练方法包括：
步骤S110、基于预设的语句提取规则，从语料文本中选取问题语句及与问题语句对应的答案语句集；其中，答案语句集中至少包括一个正确的答案语句。
具体的，当对文本阅读模型进行预训练时，处理器根据接收到的预训练指令，从训练数据库中，获取用于文本阅读模型进行预训练的语料文本，其中，用于预训练的语料文本可以是一篇文章，也可以是从文章中摘选的一部分语句构成的文本。当语料文本是从文章中摘选的一部分语句构成的文本时，可以是通顺的语句也可问不通顺的语句。
作为本发明的一个可选实施例，语料文本存储于区块链中，基于预设的语句提取规则，从语料文本中选取问题语句及与问题语句对应的答案语句集包括：
随机从语料文章中抽取ns个句子，并将ns个句子进行重新连接，得到语料文本；
从语料文本中选取nc个句子，并将nc个句子进行重新连接，作为正确的答案语句；
其中，nc＜ns，nc与ns均为非0的整数；nc个句子中的每个句子的词语的数量均小于语料文本中的词语的数量；
将语料文本中除去正确的答案语句的部分作为问题语句；
随机从语料文章中抽取预设错误答案数量的语句，作为错误的答案语句；其中，错误的答案语句的字数与正确的答案语句的字数相等；
将正确的答案语句与错误的答案语句组成的答案语句集合与问题语句建立对应关系。
具体的，随机从某个语料文章中抽取ns个句子，并将ns个句子进行重新连接，得到语料文本，例如，某篇语料文章为：第一天的故事有：今天上午天气真好，小明去上学。今天上午没有太阳，小花在家玩游戏，每天都很开心。从中随机抽取语句连接后，得到的语料文本为：小明去上学。今天上午天气真好，今天上午没有太阳，小花在家玩游戏。再从语料文本中选取nc个句子，并将nc个句子进行重新连接，作为正确的答案语句，其中，nc个句子中的每个句子的词语的数量均小于语料文本中的词语的数量。然后再将语料文本中除去正确的答案语句的部分作为问题语句，例如，从语料文本中抽取的正确的答案语句为：小花在家玩游戏，今天上午没有太阳。则，剩余部分作为问题语句，即问题语句为：小明去上学。今天上午天气真好。为了更好的训练模型的阅读能力，还需要选取错误答案。可随机从语料文章中抽取与正确的答案语句字数相同的句子作为错误的答案语句，例如，第一天的故事有：今天上午没有太阳。错误答案也可从其它语料文章或语料文档中选取。
作为本发明的一个可选实施例，从语料文本中选取nc个句子，并将nc个句子进行重新连接，作为正确的答案语句包括：
剔除语料文本中重复词语，对重复词语只随机保留一个，得到去重后的语料文本；
从去重后的语料文本中选取nc个句子，并将nc个句子进行重新连接，作为正确的答案语句。
具体的，为了避免问题语句与正确的答案语句中存在重复的词语，可通过对语料文本进行去除重复词语处理，即，剔除语料文本中重复词语，对重复词语只随机保留一个，得到去重后的语料文本，例如，语料文本：小明去上学。今天上午天气真好，今天上午没有太阳，小花在家玩游戏。通过去重处理后，得到的语料文本为：小明去上学。今天上午天气真好，没有太阳，小花在家玩游戏。然后再选取nc个句子，并将nc个句子进行重新连接，作为正确的答案语句，其余的部分作为问题语句。正确的答案语句为：小花在家玩游戏。没有太阳。问题语句为：小明去上学。今天上午天气真好。则，随机选取的错误的答案语句可为：第一天的故事有：没有太阳。
步骤S120、通过对语句的分词及词性标注处理，获取答案语句集中的答案语句与问题语句的共同词性，并将共同词性连接在语料文本的结尾，得到新语料文本。
具体的，将答案语句集中的每个答案语句和问题语句分别对语句中的词语进行词性标注，以问题语句与答案语句集中的一个错误的答案语句为例，问题语句为：小明去上学，今天上午天气真好。错误的答案语句为：第一天的故事有：没有太阳。则，从问题语句与错误的答案语句中获取的共同词性为：时间、名词、动词。则，将时间、名词、动词连接在语料文本的结尾，得到新语料文本。即，小明去上学。今天上午天气真好，今天上午没有太阳，小花在家玩游戏。时间、名词、动词。
作为本发明的一个可选实施例，通过对语句的分词及词性标注处理，获取答案语句集中的答案语句与问题语句的共同词性，并将共同词性连接在语料文本的结尾，得到新语料文本包括：
将答案语句集中的每个答案语句分别与问题语句组成问答语句；
分别对问答语句中的问题语句和答案语句进行分词处理，分别得到问题分词集和答案分词集；
分别对问题分词集中的分词和答案分词集中的分词进行词性标注处理，分别得到问题分词集对应的问题词性集和答案分词集对应的答案词性集；
从问题词性集和答案词性集中获取相同的词性，作为答案语句与问题语句中的共同词性，并将共同词性连接在语料文本的结尾，得到新语料文本。
具体的，将答案语句集中的每个答案语句与问题语句组成问答语句；例如，问答语句包括：问题语句：小明去上学，今天上午天气真好。错误的答案语句为：第一天的故事有：没有太阳。分别对问答语句和错误的答案语句进行分词处理，然后对问题分词集中的分词和答案分词集中的分词进行词性标注处理，即，问题语句的词性标注：名词小明动词去上学时间今天上午名词天气形容词真好；答案语句的词性标注为：时间第一天名词故事动词有没有名词太阳；然后从问题词性集和答案词性集中获取相同的词性，作为答案语句与问题语句中的共同词性，即，共同词性为：时间、名词、动词，然后将共同词性连接在语料文本的结尾，得到新语料文本，即小明去上学。今天上午天气真好，今天上午没有太阳，小花在家玩游戏。时间、名词、动词。
步骤S130、将答案语句、问题语句和新语料文本分别按照预设正序表以及预设反序表进行排序处理，以分别确定正序训练数据和反序训练数据。
具体的，按照预设正序表对答案语句、问题语句和新语料文本进行正序排列，即，第一天的故事有：没有太阳。小明去上学，今天上午天气真好。小明去上学。今天上午天气真好，今天上午没有太阳，小花在家玩游戏。时间、名词、动词。得到正序训练数据；按照预设反序表对答案语句、问题语句和新语料文本进行反序排列，即，小明去上学。今天上午天气真好，今天上午没有太阳，小花在家玩游戏。时间、名词、动词。小明去上学，今天上午天气真好。第一天的故事有：没有太阳。得到反序训练数据。通过正序和反序对数据进行排列可以得到数据量翻倍的训练。
作为本发明的一个可选实施例，将答案语句、问题语句和新语料文本分别按照预设正序表以及预设反序表进行排序处理，以分别确定正序训练数据和反序训练数据包括：
将答案语句、问题语句和新语料文本分别按照预设正序表的顺序和预设反序表的顺序进行排序，分别得到正序训练文本和反序训练文本；
通过预设分隔符分别对正序训练文本和反序训练文本进行分隔处理，分别得到正序训练数据和反序训练数据。
具体的，将答案语句、问题语句和新语料文本分别按照预设正序表的顺序和预设反序表的顺序进行排序，分别得到正序训练文本和反序训练文本之后，需要通过分割符号对训练文本进行分隔便于后续的模型训练。例如，b第一天的故事有没有太阳l小明去上学今天上午天气真好l小明去上学。今天上午天气真好，今天上午没有太阳，小花在家玩游戏e时间名词动词。其中，开始符为b，间隔符为l，结束符为e。
步骤S140、分别将正序训练数据和反序训练数据作为输入数据对文本阅读模型进行深度学习预训练处理，当对文本阅读模型的预训练达到预设要求时，完成对文本阅读模型的预训练。
具体的，通过将正序训练数据和反序训练数据作为输入对文本阅读模型进行深度学习预训练，使文本阅读模型中的参数得到优化，其中，文本阅读模型可选择GPT模型、也可选择bert模型或ernie模型。当文本阅读模型的输出的结果达到预训练达到预设要求时，完成对文本阅读模型的预训练。
作为本发明的一个可选实施例，分别将正序训练数据和反序训练数据作为输入数据对文本阅读模型进行深度学习预训练处理，当对文本阅读模型的预训练达到预设要求时，完成对文本阅读模型的预训练包括：
分别对正序训练数据和反序训练数据进行编码处理，分别得到正序编码数据和反序编码数据；
分别将正序编码数据和反序编码数据作为输入数据，对文本阅读模型进行深度学习预训练处理，当对文本阅读模型的预训练达到预设要求时，完成对所述文本阅读模型的预训练。
具体的，通过对正序训练数据和反序训练数据进行编码处理，得到正序编码数据和反序编码数据，再将正序编码数据和反序编码数据分别作为正序输入和反序输入，输入至文本阅读模型中，通过文本阅读模型的内部多层自注意力机制与前馈网络经层共同构成的模型学习层学习编码数据中词语之间的关系，然后通过一个线性层隐射出编码数据中每个词语的向量，每个向量代表一个词的输出可能性，最后通过逻辑回归层对编码数据中输出的答案语句的概率进行统计处理，最后得到每个答案语句的输出概率。
作为本发明的一个可选实施例，分别将正序编码数据和反序编码数据作为输入数据，对文本阅读模型进行深度学习预训练处理，当对文本阅读模型的预训练达到预设要求时，完成对文本阅读模型的预训练包括：
分别将正序编码数据和反序编码数据作为输入数据，对文本阅读模型进行深度学习预训练处理，分别得到正序输出和反序输出；其中，正确输出和反序输出均包括答案语句和答案语句的输出概率；
分别从正序输出中获取正确的答案语句的输出概率作为正序准确率和从所述反序输出中获取正确的答案语句的输出概率作为反序准确率；
计算正序准确率和反序准确率的平均值，作为文本阅读模型的输出准确率；
当文本阅读模型的输出准确率大于等于预设准确率阈值时，完成对文本阅读模型的预训练。
具体的，分别将正序编码数据和反序编码数据作为输入，对文本阅读模型进行深度学习预训练处理，分别得到正序输出和反序输出，其中，正确输出和反序输出均包括答案语句和答案语句的输出概率，然后分别从正序输出中获取正确的答案语句的输出概率作为正序准确率和从反序输出中获取正确的答案语句的输出概率作为反序正确率，再将正序准确率和反序正确率取平均值，作为文本阅读模型的输出准确率，当文本阅读模型的输出准确率大于等于预设准确率阈值时，完成对文本阅读模型的预训练，若文本阅读模型的输出准确率小于预设准确率阈值时仍需要对文本阅读模型进行预训练，直到准确率大于等于预设准确率阈值。
如图2所示，是本发明一个实施例的文本阅读模型的预训练装置的功能模块图。
本发明所述文本阅读模型的预训练装置200可以安装于电子设备中。根据实现的功能，所述文本阅读模型的预训练装置可以包括问答语句提取模块210、共同词性提取模块220、正反训练数据生成模块230、模型预训练模块240。本发所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
问答语句提取模块210，用于基于预设的语句提取规则，从语料文本中选取问题语句及与问题语句对应的答案语句集；其中，答案语句集中至少包括一个正确的答案语句。
具体的，当对文本阅读模型进行预训练时，处理器根据接收到的预训练指令，从训练数据库中，获取用于文本阅读模型进行预训练的语料文本，其中，用于预训练的语料文本可以是一篇文章，也可以是从文章中摘选的一部分语句构成的文本。当语料文本是从文章中摘选的一部分语句构成的文本时，可以是通顺的语句也可问不通顺的语句。
作为本发明的一个可选实施例，语料文本存储于区块链中，问答语句提取模块210进一步包括：语料文本生成单元、正确的答案语句抽取单元、问题语句获取单元、错误的答案语句抽取单元和对应关系建立单元(图中未示出)。其中，
语料文本生成单元，用于随机从语料文章中抽取ns个句子，并将ns个句子进行重新连接，得到语料文本；
正确的答案语句抽取单元，用于从语料文本中选取nc个句子，并将nc个句子进行重新连接，作为正确的答案语句；
其中，nc＜ns，nc与ns均为非0的整数；nc个句子中的每个句子的词语的数量均小于语料文本中的词语的数量；
问题语句获取单元，用于将语料文本中除去正确的答案语句的部分作为问题语句；
错误的答案语句抽取单元，用于随机从语料文章中抽取预设错误答案数量的语句，作为错误的答案语句；其中，错误的答案语句的字数与正确的答案语句的字数相等；
对应关系建立单元，用于将正确的答案语句与错误的答案语句组成的答案语句集合与问题语句建立对应关系。
具体的，通过语料文本生成单元随机从某个语料文章中抽取ns个句子，并将ns个句子进行重新连接，得到语料文本，例如，某篇语料文章为：第一天的故事有：今天上午天气真好，小明去上学。今天上午没有太阳，小花在家玩游戏，每天都很开心。从中随机抽取语句连接后，得到的语料文本为：小明去上学。今天上午天气真好，今天上午没有太阳，小花在家玩游戏。再通过正确的答案语句抽取单元从语料文本中选取nc个句子，并将nc个句子进行重新连接，作为正确的答案语句，其中，nc个句子中的每个句子的词语的数量均小于语料文本中的词语的数量。然后再通过问题语句获取单元将语料文本中除去正确的答案语句的部分作为问题语句，例如，从语料文本中抽取的正确的答案语句为：小花在家玩游戏，今天上午没有太阳。则，剩余部分作为问题语句，即问题语句为：小明去上学。今天上午天气真好。为了更好的训练模型的阅读能力，还需要通过错误的答案语句抽取单元选取错误答案。可随机从语料文章中抽取与正确的答案语句字数相同的句子作为错误的答案语句，例如，第一天的故事有：今天上午没有太阳。错误答案也可从其它语料文章或语料文档中选取。最后通过对应关系建立单元将正确的答案语句与错误的答案语句组成的答案语句集合与问题语句建立对应关系。
作为本发明的一个可选实施例，正确的答案语句抽取单元进一步包括：去重子单元和正确的答案语句抽取子单元(图中未示出)。其中，
去重子单元，用于剔除语料文本中重复词语，对重复词语只随机保留一个，得到去重后的语料文本；
正确的答案语句抽取子单元，用于从去重后的语料文本中选取nc个句子，并将nc个句子进行重新连接，作为正确的答案语句。
具体的，为了避免问题语句与正确的答案语句中存在重复的词语，可通过去重子单元对语料文本进行去除重复词语处理，即，剔除语料文本中重复词语，对重复词语只随机保留一个，得到去重后的语料文本，例如，语料文本：小明去上学。今天上午天气真好，今天上午没有太阳，小花在家玩游戏。通过去重处理后，得到的语料文本为：小明去上学。今天上午天气真好，没有太阳，小花在家玩游戏。然后再通过正确的答案语句抽取子单元选取nc个句子，并将nc个句子进行重新连接，作为正确的答案语句，其余的部分作为问题语句。正确的答案语句为：小花在家玩游戏。没有太阳。问题语句为：小明去上学。今天上午天气真好。则，随机选取的错误的答案语句可为：第一天的故事有：没有太阳。
共同词性提取模块220，用于通过对语句的分词及词性标注处理，获取答案语句集中的答案语句与问题语句的共同词性，并将共同词性连接在语料文本的结尾，得到新语料文本。
具体的，将答案语句集中的每个答案语句和问题语句分别对语句中的词语进行词性标注，以问题语句与答案语句集中的一个错误的答案语句为例，问题语句为：小明去上学，今天上午天气真好。错误的答案语句为：第一天的故事有：没有太阳。则，从问题语句与错误的答案语句中获取的共同词性为：时间、名词、动词。则，将时间、名词、动词连接在语料文本的结尾，得到新语料文本。即，小明去上学。今天上午天气真好，今天上午没有太阳，小花在家玩游戏。时间、名词、动词。
作为本发明的一个可选实施例，共同词性提取模块220进一步包括：问答语句组成单元、分词处理单元、词性标注单元和共同词性提取单元(图中未示出)。其中，
问答语句组成单元，用于将答案语句集中的每个答案语句分别与问题语句组成问答语句；
分词处理单元，用于分别对问答语句中的问题语句和答案语句进行分词处理，分别得到问题分词集和答案分词集；
词性标注单元，用于分别对问题分词集中的分词和答案分词集中的分词进行词性标注处理，分别得到问题分词集对应的问题词性集和答案分词集对应的答案词性集；
共同词性提取单元，用于从问题词性集和答案词性集中获取相同的词性，作为答案语句与问题语句中的共同词性，并将共同词性连接在语料文本的结尾，得到新语料文本。
具体的，通过问答语句组成单元将答案语句集中的每个答案语句与问题语句组成问答语句；例如，问答语句包括：问题语句：小明去上学，今天上午天气真好。错误的答案语句为：第一天的故事有：没有太阳。通过分词处理单元分别对问答语句和错误的答案语句进行分词处理，然后通过词性标注单元对问题分词集中的分词和答案分词集中的分词进行词性标注处理，即，问题语句的词性标注：名词小明动词去上学时间今天上午名词天气形容词真好；答案语句的词性标注为：时间第一天名词故事动词有没有名词太阳；然后通过共同词性提取单元从问题词性集和答案词性集中获取相同的词性，作为答案语句与问题语句中的共同词性，即，共同词性为：时间、名词、动词，然后将共同词性连接在语料文本的结尾，得到新语料文本，即小明去上学。今天上午天气真好，今天上午没有太阳，小花在家玩游戏。时间、名词、动词。
正反训练数据生成模块230，用于将答案语句、问题语句和新语料文本分别按照预设正序表以及预设反序表进行排序处理，以分别确定正序训练数据和反序训练数据。
具体的，按照预设正序表对答案语句、问题语句和新语料文本进行正序排列，即，第一天的故事有：没有太阳。小明去上学，今天上午天气真好。小明去上学。今天上午天气真好，今天上午没有太阳，小花在家玩游戏。时间、名词、动词。得到正序训练数据；按照预设反序表对答案语句、问题语句和新语料文本进行反序排列，即，小明去上学。今天上午天气真好，今天上午没有太阳，小花在家玩游戏。时间、名词、动词。小明去上学，今天上午天气真好。第一天的故事有：没有太阳。得到反序训练数据。通过正序和反序对数据进行排列可以得到数据量翻倍的训练。
作为本发明的一个可选实施例，正反训练数据生成模块230进一步包括：正反训练文本生成单元和分隔处理单元(图中未示出)。其中，
正反训练文本生成单元，用于将答案语句、问题语句和新语料文本分别按照预设正序表的顺序和预设反序表的顺序进行排序，分别得到正序训练文本和反序训练文本；
分隔处理单元，用于通过预设分隔符分别对正序训练文本和反序训练文本进行分隔处理，分别得到正序训练数据和反序训练数据。
具体的，通过正反训练文本生成单元将答案语句、问题语句和新语料文本分别按照预设正序表的顺序和预设反序表的顺序进行排序，分别得到正序训练文本和反序训练文本之后，需要通过分隔处理单元采用分割符号对训练文本进行分隔便于后续的模型训练。例如，b第一天的故事有没有太阳l小明去上学今天上午天气真好l小明去上学。今天上午天气真好，今天上午没有太阳，小花在家玩游戏e时间名词动词。其中，开始符为b，间隔符为l，结束符为e。
模型预训练模块240，用于分别将正序训练数据和反序训练数据作为输入数据对文本阅读模型进行深度学习预训练处理，当对文本阅读模型的预训练达到预设要求时，完成对文本阅读模型的预训练。
具体的，通过将正序训练数据和反序训练数据作为输入对文本阅读模型进行深度学习预训练，使文本阅读模型中的参数得到优化，其中，文本阅读模型可选择GPT模型、也可选择bert模型或ernie模型。当文本阅读模型的输出的结果达到预训练达到预设要求时，完成对文本阅读模型的预训练。
作为本发明的一个可选实施例，模型预训练模块240进一步包括：编码单元和预训练处理单元(图中未示出)。其中，
编码单元，用于分别对正序训练数据和反序训练数据进行编码处理，分别得到正序编码数据和反序编码数据；
预训练处理单元，用于分别将正序编码数据和反序编码数据作为输入数据，对文本阅读模型进行深度学习预训练处理，当对文本阅读模型的预训练达到预设要求时，完成对所述文本阅读模型的预训练。
具体的，通过编码单元对正序训练数据和反序训练数据进行编码处理，得到正序编码数据和反序编码数据，再通过预训练处理单元将正序编码数据和反序编码数据分别作为正序输入和反序输入，输入至文本阅读模型中，通过文本阅读模型的内部多层自注意力机制与前馈网络经层共同构成的模型学习层学习编码数据中词语之间的关系，然后通过一个线性层隐射出编码数据中每个词语的向量，每个向量代表一个词的输出可能性，最后通过逻辑回归层对编码数据中输出的答案语句的概率进行统计处理，最后得到每个答案语句的输出概率。
作为本发明的一个可选实施例，预训练处理单元进一步包括：正反输出获取子单元、正反准确率获取子单元、准确率平均值计算子单元和训练完成判断子单元(图中未示出)。其中，
正反输出获取子单元，用于分别将正序编码数据和反序编码数据作为输入数据，对文本阅读模型进行深度学习预训练处理，分别得到正序输出和反序输出；其中，正确输出和反序输出均包括答案语句和答案语句的输出概率；
正反准确率获取子单元，用于分别从正序输出中获取正确的答案语句的输出概率作为正序准确率和从所述反序输出中获取正确的答案语句的输出概率作为反序准确率；
准确率平均值计算子单元，用于准确率计算正序准确率和反序准确率的平均值，作为文本阅读模型的输出准确率；
训练完成判断子单元，用于当文本阅读模型的输出准确率大于等于预设准确率阈值时，完成对文本阅读模型的预训练。
具体的，通过正反输出获取子单元分别将正序编码数据和反序编码数据作为输入，对文本阅读模型进行深度学习预训练处理，分别得到正序输出和反序输出，其中，正确输出和反序输出均包括答案语句和答案语句的输出概率，然后通过正反准确率获取子单元分别从正序输出中获取正确的答案语句的输出概率作为正序准确率和从反序输出中获取正确的答案语句的输出概率作为反序准确率，再通过准确率平均值计算子单元计算正序准确率和反序准确率的平均值，作为文本阅读模型的输出准确率，通过训练完成判断子单元，当文本阅读模型的输出准确率大于等于预设准确率阈值时，完成对文本阅读模型的预训练，若文本阅读模型的输出准确率小于预设准确率阈值时仍需要对文本阅读模型进行预训练，直到准确率大于等于预设准确率阈值。
如图3所示，是本发明一个实施例实现文本阅读模型的预训练方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如文本阅读模型的预训练程序12。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如文本阅读模型的预训练程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如文本阅读模型的预训练程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的文本阅读模型的预训练程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
基于预设的语句提取规则，从语料文本中选取问题语句及与问题语句对应的答案语句集；其中，答案语句集中至少包括一个正确的答案语句；
通过对语句的分词及词性标注处理，获取答案语句集中的答案语句与问题语句的共同词性，并将共同词性连接在语料文本的结尾，得到新语料文本；
将答案语句、问题语句和新语料文本分别按照预设正序表以及预设反序表进行排序处理，以分别确定正序训练数据和反序训练数据；
分别将正序训练数据和反序训练数据作为输入数据对文本阅读模型进行深度学习预训练处理，当对文本阅读模型的预训练达到预设要求时，完成对所述文本阅读模型的预训练。
具体地，所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。需要强调的是，为进一步保证上述所述语料文本的私密和安全性，上述语料文本还可以存储于一区块链的节点中。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (7)

1.一种文本阅读模型的预训练方法，应用于电子装置，其特征在于，所述方法包括：
基于预设的语句提取规则，从语料文本中选取问题语句及与所述问题语句对应的答案语句集；其中，所述答案语句集中至少包括一个正确的答案语句；
通过对语句的分词及词性标注处理，获取所述答案语句集中的答案语句与所述问题语句的共同词性，并将所述共同词性连接在所述语料文本的结尾，得到新语料文本；其中，得到新语料文本的步骤包括：将所述答案语句集中的每个答案语句分别与所述问题语句组成问答语句；
分别对所述问答语句中的问题语句和答案语句进行分词处理，分别得到问题分词集和答案分词集；
分别对所述问题分词集中的分词和所述答案分词集中的分词进行词性标注处理，分别得到所述问题分词集对应的问题词性集和所述答案分词集对应的答案词性集；
从所述问题词性集和所述答案词性集中获取相同的词性，作为所述答案语句与所述问题语句中的共同词性，并将所述共同词性连接在所述语料文本的结尾，得到新语料文本；
将所述答案语句、所述问题语句和所述新语料文本分别按照预设正序表以及预设反序表进行排序处理，以分别确定正序训练数据和反序训练数据；
分别将所述正序训练数据和所述反序训练数据作为输入数据对文本阅读模型进行深度学习预训练处理，当对所述文本阅读模型的预训练达到预设要求时，完成对所述文本阅读模型的预训练；其中，所述文本阅读模型的预训练的步骤包括：
分别对所述正序训练数据和所述反序训练数据进行编码处理，分别得到正序编码数据和反序编码数据；
分别将所述正序编码数据和所述反序编码数据作为输入数据，对所述文本阅读模型进行深度学习预训练处理，分别得到正序输出和反序输出；其中，所述正序输出和所述反序输出均包括答案语句和所述答案语句的输出概率；
分别从所述正序输出中获取正确的答案语句的输出概率作为正序准确率和从所述反序输出中获取正确的答案语句的输出概率作为反序准确率；
计算所述正序准确率和所述反序准确率的平均值，作为所述文本阅读模型的输出准确率；
当所述文本阅读模型的输出准确率大于等于预设准确率阈值时，完成对所述文本阅读模型的预训练。
2.根据权利要求1所述的文本阅读模型的预训练方法，其特征在于，所述语料文本存储于区块链中，所述基于预设的语句提取规则，从语料文本中选取问题语句及与所述问题语句对应的答案语句集包括：
随机从语料文章中抽取ns个句子，并将ns个句子进行重新连接，得到语料文本；
从所述语料文本中选取nc个句子，并将nc个句子进行重新连接，作为正确的答案语句；
其中，nc＜ns，nc与ns均为非0的整数；所述nc个句子中的每个句子的词语的数量均小于所述语料文本中的词语的数量；
将所述语料文本中除去所述正确的答案语句的部分作为问题语句；
随机从所述语料文章中抽取预设错误答案数量的语句，作为错误的答案语句；其中，所述错误的答案语句的字数与所述正确的答案语句的字数相等；
将所述正确的答案语句与所述错误的答案语句组成的答案语句集合与所述问题语句建立对应关系。
3.根据权利要求2所述的文本阅读模型的预训练方法，其特征在于，所述从所述语料文本中选取nc个句子，并将nc个句子进行重新连接，作为正确的答案语句包括：
剔除所述语料文本中重复词语，对所述重复词语只随机保留一个，得到去重后的语料文本；
从所述去重后的语料文本中选取nc个句子，并将nc个句子进行重新连接，作为正确的答案语句。
4.根据权利要求1所述的文本阅读模型的预训练方法，其特征在于，所述将所述答案语句、所述问题语句和所述新语料文本分别按照预设正序表以及预设反序表进行排序处理，以分别确定正序训练数据和反序训练数据包括：
将所述答案语句、所述问题语句和所述新语料文本分别按照预设正序表的顺序和预设反序表的顺序进行排序，分别得到正序训练文本和反序训练文本；
通过预设分隔符分别对所述正序训练文本和反序训练文本进行分隔处理，分别得到正序训练数据和反序训练数据。
5.一种文本阅读模型的预训练装置，其特征在于，所述装置包括：
问答语句提取模块，用于基于预设的语句提取规则，从语料文本中选取问题语句及与所述问题语句对应的答案语句集；其中，所述答案语句集中至少包括一个正确的答案语句；
共同词性提取模块，用于通过对语句的分词及词性标注处理，获取所述答案语句集中的答案语句与所述问题语句的共同词性，并将所述共同词性连接在所述语料文本的结尾，得到新语料文本；其中，得到新语料文本的步骤包括：将所述答案语句集中的每个答案语句分别与所述问题语句组成问答语句；
分别对所述问答语句中的问题语句和答案语句进行分词处理，分别得到问题分词集和答案分词集；
分别对所述问题分词集中的分词和所述答案分词集中的分词进行词性标注处理，分别得到所述问题分词集对应的问题词性集和所述答案分词集对应的答案词性集；
从所述问题词性集和所述答案词性集中获取相同的词性，作为所述答案语句与所述问题语句中的共同词性，并将所述共同词性连接在所述语料文本的结尾，得到新语料文本；
正反训练数据生成模块，用于将所述答案语句、所述问题语句和所述新语料文本分别按照预设正序表以及预设反序表进行排序处理，以分别确定正序训练数据和反序训练数据；
模型预训练模块，用于分别将所述正序训练数据和所述反序训练数据作为输入数据对文本阅读模型进行深度学习预训练处理，当对所述文本阅读模型的预训练达到预设要求时，完成对所述文本阅读模型的预训练；其中，
所述文本阅读模型的预训练的步骤包括：
分别对所述正序训练数据和所述反序训练数据进行编码处理，分别得到正序编码数据和反序编码数据；
分别将所述正序编码数据和所述反序编码数据作为输入数据，对所述文本阅读模型进行深度学习预训练处理，分别得到正序输出和反序输出；其中，所述正序输出和所述反序输出均包括答案语句和所述答案语句的输出概率；
分别从所述正序输出中获取正确的答案语句的输出概率作为正序准确率和从所述反序输出中获取正确的答案语句的输出概率作为反序准确率；
计算所述正序准确率和所述反序准确率的平均值，作为所述文本阅读模型的输出准确率；
当所述文本阅读模型的输出准确率大于等于预设准确率阈值时，完成对所述文本阅读模型的预训练。
6.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至4中任一所述的文本阅读模型的预训练方法的步骤。
7.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一所述的文本阅读模型的预训练方法。
CN202210238396.8A 2022-03-10 2022-03-10 文本阅读模型的预训练方法、装置、设备及存储介质 Active CN114625851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210238396.8A CN114625851B (zh) 2022-03-10 2022-03-10 文本阅读模型的预训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210238396.8A CN114625851B (zh) 2022-03-10 2022-03-10 文本阅读模型的预训练方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114625851A CN114625851A (zh) 2022-06-14
CN114625851B true CN114625851B (zh) 2024-04-30

Family

ID=81901871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210238396.8A Active CN114625851B (zh) 2022-03-10 2022-03-10 文本阅读模型的预训练方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114625851B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116227603A (zh) * 2023-05-10 2023-06-06 山东财经大学 一种事件推理任务的处理方法、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209370A (zh) * 2019-12-27 2020-05-29 同济大学 一种基于神经网络可解释性的文本分类方法
CN111695356A (zh) * 2020-05-28 2020-09-22 平安科技（深圳）有限公司 同义语料生成方法、装置、计算机系统及可读存储介质
CN113051930A (zh) * 2021-03-25 2021-06-29 润联软件系统(深圳)有限公司 基于Bert模型的意图识别方法、装置及相关设备
CN113515938A (zh) * 2021-05-12 2021-10-19 平安国际智慧城市科技股份有限公司 语言模型训练方法、装置、设备及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209370A (zh) * 2019-12-27 2020-05-29 同济大学 一种基于神经网络可解释性的文本分类方法
CN111695356A (zh) * 2020-05-28 2020-09-22 平安科技（深圳）有限公司 同义语料生成方法、装置、计算机系统及可读存储介质
CN113051930A (zh) * 2021-03-25 2021-06-29 润联软件系统(深圳)有限公司 基于Bert模型的意图识别方法、装置及相关设备
CN113515938A (zh) * 2021-05-12 2021-10-19 平安国际智慧城市科技股份有限公司 语言模型训练方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN114625851A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
WO2022134759A1 (zh) 关键词生成方法、装置、电子设备及计算机存储介质
CN113722483B (zh) 话题分类方法、装置、设备及存储介质
CN112185348A (zh) 多语种语音识别方法、装置及电子设备
CN114461777B (zh) 智能问答方法、装置、设备及存储介质
CN111814454A (zh) 一种社交网络上的多模态网络欺凌检测模型
CN113515938B (zh) 语言模型训练方法、装置、设备及计算机可读存储介质
CN113806508A (zh) 基于人工智能的多轮对话方法、装置及存储介质
CN112131368B (zh) 对话生成方法、装置、电子设备及存储介质
CN113360654B (zh) 文本分类方法、装置、电子设备及可读存储介质
CN113378970A (zh) 语句相似性检测方法、装置、电子设备及存储介质
CN114625851B (zh) 文本阅读模型的预训练方法、装置、设备及存储介质
CN111581623A (zh) 智能数据交互方法、装置、电子设备及存储介质
CN114662484A (zh) 语义识别方法、装置、电子设备及可读存储介质
CN116450829A (zh) 医疗文本分类方法、装置、设备及介质
CN114610855B (zh) 对话回复生成方法、装置、电子设备及存储介质
CN113705191A (zh) 样本语句的生成方法、装置、设备及存储介质
CN116956896A (zh) 基于人工智能的文本分析方法、系统、电子设备及介质
CN114999533A (zh) 基于情绪识别的智能问答方法、装置、设备及存储介质
CN113918704A (zh) 基于机器学习的问答方法、装置、电子设备及介质
CN113254814A (zh) 网络课程视频打标签方法、装置、电子设备及介质
CN114548114B (zh) 文本情绪识别方法、装置、设备及存储介质
CN114943224A (zh) 基于词向量的警情文本关键词提取方法、系统、介质及设备
CN114757154A (zh) 基于深度学习的作业生成方法、装置、设备及存储介质
CN113268953A (zh) 文本重点词抽取方法、装置、计算机设备及存储介质
CN113051393A (zh) 问答学习方法、问答学习系统及其计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant