CN113221545B - 一种文本处理方法、装置、设备及介质、程序产品 - Google Patents

一种文本处理方法、装置、设备及介质、程序产品 Download PDF

Info

Publication number
CN113221545B
CN113221545B CN202110506873.XA CN202110506873A CN113221545B CN 113221545 B CN113221545 B CN 113221545B CN 202110506873 A CN202110506873 A CN 202110506873A CN 113221545 B CN113221545 B CN 113221545B
Authority
CN
China
Prior art keywords
sentence
modification
sentences
text
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110506873.XA
Other languages
English (en)
Other versions
CN113221545A (zh
Inventor
林雨
吴培昊
马泽君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youzhuju Network Technology Co Ltd
Original Assignee
Beijing Youzhuju Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youzhuju Network Technology Co Ltd filed Critical Beijing Youzhuju Network Technology Co Ltd
Priority to CN202110506873.XA priority Critical patent/CN113221545B/zh
Publication of CN113221545A publication Critical patent/CN113221545A/zh
Application granted granted Critical
Publication of CN113221545B publication Critical patent/CN113221545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本公开提供了一种文本处理方法，该方法包括获取待处理文本中原语句对应的多个候选修改句，然后根据原语句以及多个候选修改句，通过评估模型获得多个候选修改句的第一评分，该评估模型为双向预训练模型通过文本纠错语料迁移学习得到，接着根据第一评分从多个候选修改句中确定原语句的目标修改句。该方法中评估模型具有双向预训练模型带来的高效以及高性能的特点，进而得到的第一评分的准确度更高，根据准确度较高的第一评分确定目标修改句，能够提高语法纠错的准确率，满足业务需求。

Description

一种文本处理方法、装置、设备及介质、程序产品
技术领域
本公开涉及自然语言处理技术领域，尤其涉及一种文档文本处理方法、装置、设备以及计算机可读存储介质、计算机程序产品。
背景技术
随着自然语言处理(natural language processing，NLP)技术的不断发展，对文本进行自动语法纠错逐渐成为了热门研究方向。在语言学习中，对文本的语法错误进行修改，能够辅助学习者更好地进行语言学习；在语言应用中，修改其语法错误，能够使得语言表达更加得体。
目前，语法纠错主要是通过生成模型实现的，该生成模型包括编码器和解码器。其中，编码器用于对编码有误的病句进行编码，然后通过一个解码器进行正确句子的生成。为了提高语法纠错精度，业界还提出了一种束搜索(beam search)算法。具体地，服务器可以基于beam search生成N个最优备选结果，然后利用生成模型评估修改概率，并以此进行排序，根据排序结果可以确定正确句子。
然而，服务器利用生成模型直接评估修改概率并对修改概率进行排序以获得正确句子的方案，并未大幅提升语法纠错的准确率，难以满足业务需求。
发明内容
本公开提供了一种文本处理方法，该方法中，评估模型为双向预训练模型通过文本纠错语料迁移学习得到，进而该评估模型具有双向预训练模型带来的高效和高性能的特点，进而得到的第一评分的准去度较高。如此，根据准确度较高的第一评分来确定目标修改句，能够提高语法纠错的准确率，满足业务需求。本公开还提供了上述方法对应的装置、设备、计算机可读存储介质以及计算机程序产品。
第一方面，本公开提供了一种文本纠错方法，该方法包括：
获取待处理文本中原语句对应的多个候选修改句；
根据所述原语句以及所述多个候选修改句，通过评估模型获得所述多个候选修改句的第一评分，所述评估模型为双向预训练模型通过文本纠错语料迁移学习得到；
根据所述第一评分从所述多个候选修改句中确定所述原语句的目标修改句。
第二方面，本公开提供了一种文本纠错方法，该方法包括：
接收用户输入的待处理文本；
根据所述待处理文本生成文本处理请求，向服务器发送所述文本处理请求；
接收根据多个候选修改句的第一评分确定的所述待处理文本中原语句的目标修改句；所述第一评分根据所述原语句和所述多个候选修改句通过评估模型得到；所述评估模型为双向预训练模型通过文本纠错语料迁移学习得到；
向所述用户呈现所述目标修改句。
第三方面，本公开提供了一种文本纠错装置，该装置包括：
获取模块，用于获取待处理文本中原语句对应的多个候选修改句；
评分模块，用于根据所述原语句以及所述多个候选修改句，通过评估模型获得所述多个候选修改句的第一评分，所述评估模型为双向预训练模型通过文本纠错语料迁移学习得到；
筛选模块，用于根据所述第一评分从所述多个候选修改句中确定所述原语句的目标修改句。
第四方面，本公开提供了一种文本纠错装置，该装置包括：
接收模块，用于接收用户输入的待处理文本；
请求模块，用于根据所述待处理文本生成文本处理请求；
发送模块，用于向服务器发送所述文本处理请求；
所述接收模块，还用于接收根据多个候选修改句的第一评分确定的所述待处理文本中原语句的目标修改句；所述第一评分根据所述原语句和所述多个候选修改句通过评估模型得到；所述评估模型为双向预训练模型通过文本纠错语料迁移学习得到；
显示模块，用于向所述用户呈现所述目标修改句。
第五方面，本公开提供一种电子设备，所述电子设备包括处理器和存储器。所述处理器、所述存储器进行相互的通信。所述处理器用于执行所述存储器中存储的指令，以使得电子设备执行如第一方面或第二方面的任一种实现方式中的文本处理方法。
第六方面，本公开提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，所述指令指示设备执行上述第一方面或第二方面的任一种实现方式所述的文本处理方法。
第七方面，本公开提供了一种包含指令的计算机程序产品，当其在设备上运行时，使得设备执行上述第一方面或第二方面的任一种实现方式所述的文本处理方法。
本公开在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。
附图说明
为了更清楚地说明本公开实施例的技术方法，下面将对实施例中所需使用的附图作以简单地介绍。
图1为本公开实施例提供的一种文本处理系统的系统架构图；
图2为本公开实施例提供的一种文本处理方法的交互流程图；
图3为本公开实施例提供的一种用户界面的界面示意图；
图4为本公开实施例提供的一种文本处理装置的结构示意图；
图5为本公开实施例提供的一种文本处理装置的结构示意图；
图6为本公开实施例提供的一种电子设备的结构示意图；
图7为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
本公开实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
首先对本公开实施例中所涉及到的一些技术术语进行介绍。
文本是具有完整、系统含义的一个句子(也称作语句，sentence)或多个句子的组合。一个文本可以是一个句子、一个段落(Paragraph)或者一个篇章(Discourse)。其中，句子或语句是一个语法上自成体系的单位，通常由一个词或者句法上有关联关系的一组词构成，用于表达主张、疑问、命令、愿望或感叹。
正确、规范的文本通常符合语法(grammar)的规定。语法包括词法和句法。其中，词法主要是指词的构成、变化和分类规律。句法主要是指语句(包括短语)等语法单位的构成和变化规则。
考虑到用户在语言学习或语言应用，例如使用外语书写邮件内容时，可能会出现语法错误的情况，业界提出了采用生成模型对文本进行语法纠错的方案。具体地，生成模型为编码器-解码器架构的模型，服务器可以通过生成模型的编码器对存在语法错误的语句(也可以称作病句)进行编码，然后通过解码器，采用束搜索算法生成多个候选结果，从候选结果中确定出一个语句，作为正确语句，将该正确语句返回给用户。
然而，服务器利用生成模型进行语法纠错过程中，由于生成模型主要是用于生成候选修改句，对于预测候选修改句的修改概率的准确度相对较低，由此导致语法纠错的准确率较差，难以满足业务需求。
有鉴于此，本公开实施例提供了一种文本处理方法。该方法通过获取待处理文本中原语句对应的多个候选修改句，然后根据原语句以及多个候选修改句，通过评估模型获得多个候选修改句的第一评分，该评估模型为双向预训练模型通过文本纠错语料迁移学习得到，与传统的生成模型相比，该评估模型具有双向预训练模型带来的高效以及高性能的特点，进而得到第一评分的准确度更高。根据该第一评分，可以从多个候选修改句中确定原语句的目标修改句。通过准确度较高的第一评分确定目标修改句，能够提高语法纠错的准确率，满足业务需求。
进一步地，本公开实施例提供的文本处理方法可以应用于语言学习场景或语言应用场景中。在语言学习场景中，该方法能够针对用户提供的文本进行语法纠错，辅助用户更好的学习语言。在语言应用场景中，该方法能够针对用户提供的文本中出现的语法错误进行提示或者反馈，以便用户根据提示或者反馈对文本中的语法错误进行修改，使得文本中的语言表达更加得体。
本公开实施例提供的文本处理方法可以终端或服务器执行。其中，该文本处理方法由服务器执行时，服务器可以与终端形成文本处理系统，协同进行文本处理。
为了使得本身的技术方法更加清楚、易于理解，下面结合附图对本公开实施例提供的文本处理系统的系统架构进行介绍。
参见图1所示的文本处理系统的系统架构图，该文本处理系统100包括终端102和服务器104。其中，终端102包括但不限于智能手机、平板电脑、笔记本电脑、个人数字助理(personal digital assistant，PDA)或者智能穿戴设备等。服务器104可以是云服务器，例如是中心云计算集群中的中心服务器，或者是边缘云计算集群中的边缘服务器。当然，服务器104也可以是本地数据中心中的服务器。本地数据中心是指用户直接控制的数据中心。
终端102用于向用户提供用户界面，用户可以通过在用户界面中触发的操作，向终端102提供待处理文本，例如用户在用户界面中输入待处理文本，该待处理文本包括至少一个语句。为了便于描述，本公开实施例将待处理文本中的语句称作原语句。然后终端102可以先将该待处理文本发送给服务器104。例如，终端102可以将待处理文本携带在文本处理请求中，发送至服务器104。
服务器104接收到待处理文本后，根据该待处理文本中的原语句，获取该待处理文本中原语句对应的多个候选修改句。在一些示例中，服务器104可以根据生成模型，得到原语句对应的多个候选修改句。
然后，服务器104根据原语句以及多个候选修改句，通过评估模型获得多个候选修改句的第一评分。其中，该评估模型为双向预训练模型通过文本纠错语料迁移学习得到，在一些示例中，双向预训练模型的深度可以是6层、12层、24层等。接着，服务器可以根据第一评分，从多个候选修改句中确定原语句的目标修改句。该目标修改句通过准确度较高的第一评分确定，因而能够提高语法纠错的准确率。本公开不限定目标修改句的个数，在一些示例中，当用户需要得到原语句对应的准确度最高的候选修改句时，目标修改句的个数为一个，当用户需要得到原语句对应的候选修改句进行比较时，目标修改句的个数可以为多个，例如两个或三个。
服务器104可以将目标修改句发送给终端102，终端102接收到该目标修改句后，可以将该目标修改句呈现给用户，以辅助用户更好的学习或提示用户语法错误等。在实际场景中，终端102可以同时呈现原语句和目标修改句。在一些示例中，终端102还可以对原语句与目标修改句的区别部分进行高亮显示，以辅助用户确定原语句中语法错误的具体位置，提升了用户使用体验。
为了使得本公开的技术方案更加清楚、易于理解，下面以终端102和服务器104的角度，对本公开实施例提供的文本处理方法进行介绍。
如图2所示的文本处理方法的交互流程图，该方法包括以下步骤：
S202：终端102接收用户通过用户界面输入的待处理文本。
在一些实现方式中，终端102可以向用户呈现用户界面，该用户界面承载有文本输入控件，该文本输入控件支持用户进行文本输入。终端102可以基于用户通过用户界面的文本输入控件触发的文本输入操作，将用户输入的文本确定为待处理文本。
其中，终端102可以在检测到用户在预设时间内未进行输入操作时，将最近输入的文本确定为待处理文本。在一些实施例中，终端也可以在检测到完整的语句或段落时，将该语句或段落确定为待处理文本。
图3提供了一种用户界面的界面示意图，该用户界面300包括输入区310，用户可以通过在输入区310触发文本输入操作，终端102响应于上述文本输入操作，获取待处理文本。
参见图3中的A部分，用户可以通过在输入区310键入待处理文本“I want go homeon yesterday.”。在另一些实现方式中，用户也可以通过上传终端102本地保存的待处理文本，然后在输入区310进行显示。
需要说明的是，本公开实施例不限定用户输入待处理文本的方式，本领域技术人员可以根据实际需要进行选择。
S204：终端102向服务器104发送文本处理请求。
终端102可以根据待处理文本生成文本处理请求，然后向服务器104发送文本处理请求，以请求服务器104对待处理文本进行处理，例如是进行语法纠错。其中，终端102根据待处理文本生成文本处理请求有多种实现方式，下面分别进行说明。
第一种实现方式为，终端102可以直接将待处理文本携带在文本处理请求中。第二种实现方式为，终端102先根据待处理文本获得待处理文本中原语句对应的多个候选修改句，然后根据原语句及其对应的多个候选修改句生成文本处理请求。
S206：服务器104根据待处理文本，通过生成模型获取待处理文本中原语句对应的多个候选修改句。
其中，原语句可以是包括语法错误的语句。候选修改句是指按照预设语法规则，对原语句进行修改得到的语句。预设语法规则根据待处理文本所对应的语言确定，例如语言为汉语时，预设语法规则为汉语语法规则，语言为英语时，预设语法规则为英语语法规则。图3中示出了原语句“I want go home on yesterday.”对应的3个候选修改句，分别为“Iwanted to go home yesterday.”、“I wanted go home yesterday.”和“I want to gohome on yesterday.”。
在一些实施例中，服务器104可以根据文本处理请求，获得文本处理请求中携带的待处理文本。若终端102发送的文本处理请求中携带有待处理文本时，服务器104可以根据生成模型，获取待处理文本中原语句对应的多个候选修改句。其中，候选修改句的个数可以通过束宽(beam size)确定。
在另一些实施例中，文本处理请求中还可以携带有该待处理文本对应的多个候选修改句。例如，终端102还可以接收用户提供的待处理文本对应的多个候选修改句，终端102根据用户通过用户界面输入的待处理文本以及该待处理文本对应的多个候选修改句生成文本处理请求。如此服务器104无需再次对待处理文本中原语句进行处理，即可直接获取多个候选修改句，进而降低服务器104的运行压力，提高获取待处理文本中原语句对应的多个候选修改句的效率。
本公开不限定服务器104获取多个候选修改句的方式，本领域技术人员可以根据实际需要进行选择。
S208：服务器104根据原语句以及多个候选修改句，通过评估模型获得多个候选修改句的第一评分。
评估模型为双向预训练模型通过文本纠错语料迁移学习得到，双向预训练模型的深度可以是6层、12层、24层等。其中，双向预训练模型包括但不限于双向转换的编码预训练(bidirectional encoder representations fromtransformers，BERT)模型、强力优化的BERT方法(robustly optimized BERT pretraining approach，RoBERTa)模型、语言理解的广义自回归(XLNet)模型。RoBERTa模型和XLNet模型是BERT模型的两种改进形式。本公开实施例不具体限定双向预训练模型的类型，以上介绍仅仅是对双向预训练模型的举例说明，本领域技术人员可以根据实际需要进行选择。
迁移学习是指将通过较大数据集对初始模型预训练的方式得到的预训练模型应用到相近的场景中，然后再利用需要迁移到的场景所对应的数据集对预训练模型进行训练，以对预训练模型进行调整，进而得到最终的模型。
在本实施例中，该双向预训练模型可以是基于大量的文本相关数据集进行预训练得到，然后根据文本纠错语料进行迁移学习，进而得到评估模型。文本纠错语料可以包括样本语句、样本标签和样本修改句。
在一些实施例中，服务器104可以根据上述文本纠错语料，训练双向预训练模型。当然，也可以通过其他设备(例如终端102或专用的训练设备)根据上述文本纠错语料，训练双向预训练模型，然后将训练后得到的评估模型部署到服务器104中。以下为了便于理解，以服务器104对双向预训练模型，进行训练得到评估模型为例进行介绍。
服务器104在对双向预训练模型进行训练之前，需要对样本语句和样本修改语进行对齐处理，例如采用语法纠错方案(grammatical error correction:tag,not rewrite，GECToR)，对样本语句和样本修改句进行对齐，进而得到样本修改句对应的样本修改词和样本插入词。其中，样本修改词包括样本语句中词的词性修改或语句中词的删除修改，样本插入词包括插入词的修改。
服务器104需要根据双向预训练模型对样本语句和样本修改句进行切词，在切词过程中，当样本修改句切词后得到的样本修改词的长度大于样本语句切词后得到的样本原词的长度，则对样本修改词作截断处理；当样本修改句切词后得到的样本修改词的长度小于样本语句切词后得到的样本原词的长度，则对样本修改词作填充处理，如此保证样本语句切词后得到的样本原词和样本修改句切词后得到的样本修改词是对齐。同理，服务器104对样本插入词作类似的处理，保证样本语句切词后得到的样本原词与样本插入句切词后得到的样本插入词是对齐的。
样本标签用于描述样本修改句对样本语句的修改方式，相应地，样本标签包括样本修改标签和样本插入标签。样本修改标签包括词形变换、删除和不修改，样本插入标签包括插入或不插入。
具体地，服务器104可以将样本语句输入到双向预训练模型，得到样本语句中词对应的样本标签和样本修改标签，确定样本标签和期望标签的第一损失值以及样本修改句和期望修改句的第二损失值，然后根据第一损失值和第二损失值对双向预训练模型进行调整，得到评估模型。其中，期望标签和期望修改句可以通过样本语句和样本修改句确定。
在一些实施例中，服务器104可以采用上述服务器104对齐以及切词的方式得到原语句对应的候选修改语句的候选修改词和候选插入词。以原语句source＝“I want gohome on yesterday.”，候选修改句为targeti“I wanted to go home yesterday.”为例，其中，下标i表示第i个候选修改句，原语句、候选修改词和候选插入词如下表1所示。
表1：原语句与候选修改句对齐结果
其中，[DELETE]表示删除原语句中对应位置的单词，[EMPTY]表示无需插入单词。
从上表1可以看出，对齐后的原语句source、候选修改词revisioni和候选插入词inserti的序列长度均为L(如上表1，L可以为7)，其中，下标i分别表示第i个候选修改词和第i个候选插入词。为了便于理解，下面以一个候选修改词和候选插入词为例，分别假设原语句source＝{s1,…,sj,…,sL}、候选修改词revison＝{r1，…，r，…，rL}，候选插入词insert＝{i1，…,ij,…,iL}。
服务器104将原语句source＝{s1,…,sj,…,sL}输入到评估模型后，得到输出修改词和输出插入词，然后根据输出修改词和候选修改词得到候选修改词的概率，以及根据输出插入词和候选插入词得到候选插入词的概率。
候选修改词的概率如下：
其中，prev为候选修改词的概率，REV表示评估模型的预测修改词，变量REVj表示评估模型的预测第j个修改词，input＝source表示评估模型的输入为原语句source。
候选插入词的概率如下：
其中，pinsert为候选插入词的概率，INS表示评估模型的预测插入词，变量INSj表示评估模型的预测第j个插入词，input＝source表示评估模型的输入为原语句source。
接着，服务器104根据候选修改词的概率以及候选插入词的概率确定候选修改句的第一评分，具体可以通过如下公式计算得到：
score_berti＝log(prev)/L+winsert·log(pinsert)/L
其中，score_berti表示第i个候选修改句的第一评分，winsert表示候选插入词评分的权重参数，该权重参数可以根据实际需要进行设置，例如winsert＝1，其中分母L是为了对第一评分进行归一化处理，避免句子的长度对第一评分的影响。
需要说明的是，还可以设置候选修改词评分的权重参数，以对第一评分进行调整，本公开对此不进行限定。
如此，该方法实现了从语块级别，对候选修改句的质量进行评分，提高了候选修改句的第一评分的准确度，进而基于该准确度较高的第一评分，能够进一步提高语法纠错的准确度。
S210：服务器104通过生成模型获得多个候选修改句的第二评分。
服务器104根据待处理文本，通过生成模型获取待处理文本中原语句对应的多个候选修改句时，服务器104可以通过生成模型获得多个候选修改句的第二评分。其中，生成模型在生成多个候选修改句时，会携带每个候选修改句的概率，服务器104可以根据候选修改句的概率、长度确定候选修改句的第二评分。
具体地，第二评分可以通过如下公式确定：
其中，score_geni为候选修改句的第二评分，下标i表示第i个候选修改句，pscmx为生成模型中携带的候选修改句的概率，L为候选修改句的长度。
需要说明的是，S210是可选的步骤，在一些实施例中服务器104也可以不执行S210。
S212：服务器104根据第一评分和第二评分从多个候选修改句中确定原语句的目标修改句。
在一些实施例中，服务器104可以根据第一评分和第二评分确定候选修改句的目标评分，目标评分具体可以通过如下公式确定：
scorei＝score_geni+wbert·score_berti
其中，scorei为候选修改句的目标评分，score_berti为候选修改句的第一评分，score_geni为候选修改句的第二评分，下标i表示第i个候选修改句，wbert为候选修改句第一评分的权重参数，该权重参数可以根据实际需要进行设置，例如wbert＝1，
需要说明的是，还可以设置候选修改句第二评分的权重参数，以对目标评分进行调整，本公开对此不进行限定。
服务器104确定多个候选修改句的目标评分后，对多个候选修改句进行排序，然后根据排序结果从多个候选修改句中确定目标修改句。
在一些实施例中，服务器104可以根据目标评分，对多个候选修改句进行排序，然后确定目标评分最高的候选修改句为原语句的目标修改句。在另一些实施例中，服务器104也可以确定目标评分高于预设评分阈值的候选修改句为目标修改句。例如预设评分阈值为80，服务器104将目标评分高于80的候选修改句作为目标修改句。在另一些实施例中，服务器104也可以对多个候选修改句，按照目标评分的由高到低进行排序，然后从排序结果中确定排序序号小于预设序号阈值的候选修改句作为目标修改句。例如预设序号阈值为3，服务器104将排序序号为1和2对应的候选修改句作为目标修改句。
当然，在一些实施例中，服务器104也可以直接根据多个候选修改句的第一评分，从多个候选修改句中确定目标修改句。服务器104根据第一评分从多个候选修改句中确定目标修改句的步骤与根据目标评分从多个候选修改句中确定目标修改句的步骤类似，此处不再赘述。
在一些实施例中，服务器104还可以对目标修改句从语块级别做进一步过滤处理，如此进一步提高目标修改句的准确度。
服务器104获取目标修改句的至少一个修改语块，修改语块是指原语句与目标修改句相比被修改的语块，如上述表1所示，原语句中的语块“want”，在候选修改词中被修改为语块“wanted”，当然在一些情况中语块可以包括多个单词，本公开对此不进行限定。以下以修改语块包括1个单词为例进行介绍。
在一些实施例中，服务器104可以根据开源的语法错误标注工具(例如ERRANT)，对原语句和目标修改句组成的句子对(source，target)进行对齐，进而目标修改句对应的修改语块，例如修改语块可以包括位置信息和修改结果。
在一些实现方式中，修改语块E＝“[l1,l2,[xgnr]]”表示原语句中第l1个词至第l2个词之前的词对应的修改内容[xgnr]。以上表1为例，例如修改语块E＝[5，6，[DELETE]]表示将原语句中的第五个词“on”删除，再例如修改语块E＝[[2，3，wanted]]表示将原语句中的第二个词“want”修改为“wanted”。
然后服务器104可以将至少一个修改语块对应的原语句中的原语块的部分输入评估模型，预测修改词和/或插入词。以修改语块E在[l1，l2]区间，修改语块E对应的原语句中的原语块为例，其中，第l1个修改语块与原语块中/>对应，第l2个修改语块与原语块中/>对应。服务器104将上述原语块/>输入到评估模型后，得到修改语块在[l1，l2]区间上对应的修改词和/或插入词。
在一些实施例中，服务器104还可以基于修改词的置信度和插入词的置信度对修改词和/或插入词进行过滤，其中，修改词的置信度基于修改词的概率确定，同理，插入词的置信度基于插入词的概率确定。在一些示例中，修改词的概率越大，修改词的置信度越大，同理，插入词的概率越大，插入词的置信度越大。
在一些实施例中，服务器104可以从预测的多个修改词和/或多个插入词中筛选出概率最大的修改词和/或插入词。
具体地，可以通过下式公式对多个修改词进行过滤：
其中，rj为评估模型预测的修改词，Vocab为词表，argmax为求最大值函数，在上述公式中表示求评估模型的输入为原语块的条件下，输出的修改词REVj为word时概率中最大值对应的修改词，下标j表示第j个修改词。
具体地，可以通过下式公式对多个插入词进行过滤：：
ij为评估模型预测的插入词，Vocab为词表，argmax为求最大值函数，在上述公式中表示求评估模型的输入为原语块的条件下，输出的修改词INSj为word时的概率中最大值对应的插入词，下标j表示第j个插入词。
接着，服务器104可以预测得到的修改词和/或插入词，接受或者拒绝修改语块中对原语块的修改。以修改语块E＝[[2，3，wanted]]为例，该修改语块在原语句source中对应的原语块为[want]，将[want]输入到评估模型后，预测得到的修改词为[wanted]，则说明修改词在修改语块在区间[2，3]对应的[wanted]一致，则接受修改语块对原语块的修改。在另一些实施例中，若修改语块对应的区间包括多个单词时，则需要判断该区间内的每个单词均与评估模型预测的修改词一致，才接受修改语块对原语块的修改，反之，则拒绝修改语块对原语句的修改。服务器104拒绝修改语块对原语句的修改时，表明对于任意的l1≤j<l2，评估模型预测的修改词与原语句中对应的修改词一致，即rj＝sj，ij＝[EMPTY]。
在一些实施例中，服务器104还可以根据不同的情况，调整评估模型在预测修改词和/或插入词时的概率偏置。例如服务器104可以在评估模型在预测修改词时，增加修改词与原语块中对应的词一致的情况的概率偏置，也可以在评估模型在预测插入词时，增加插入词为零插入位置(即插入词为[EMPTY])的情况的概率偏置。如此，使该评估模型更加倾向于输入与输出一致，在预测时更加保守，更有可能拒绝低置信度的修改词和/或插入词，提高评估模型预测的准确度，进而提高语法纠错的准确度。在一些示例中，增加的概率偏置padd可以为0.3，本公开不具体限定概率偏置padd的具体值，本领域技术人员可以根据实际需要进行适应的调整，以满足不同语法纠错场景的需求。
S214：服务器104向终端102发送目标修改句。
S216：终端102向用户呈现目标修改句。
终端102接收到服务器104发送的目标修改句后，终端102可以向用户呈现目标修改句与原语句的区别。参见图3中的B部分，终端102可以通过第一设定样式在输入区310显示了目标修改句与原语句的区别之处。目标修改句“I wanted to go home yesterday.”与原语句“I want go home on yesterday.”相比，区别之处包括：“want”改为“wanted”、“want”后增加介词“to”、以及删除原语句中的“on”。在一些实现方式中，第一设定样式包括加粗、斜体、下划线和删除线中任意一种或多种样式，例如，终端102可以采用下划线和删除线对目标修改句与原语句的区别之处进行展示，辅助用户更好的学习或提示用户语法错误。
在一些实施例中，终端102也可以直接输出区310中展示目标修改句。在另一些实施例中，终端102可以同时呈现原语句和目标修改句，并按照第二设定样式呈现原语句与目标修改句的存在区别的语块。在一些实现方式中，第二设定样式包括高亮显示、加粗显示、下划线显示等。例如终端102可以对原语句与目标修改句的存在区别的语块高亮显示，辅助用户更好的学习或提示用户语法错误。
基于上述内容描述，本公开实施例提供了一种文本处理方法，该方法通过高效以及高性能的双向预训练模型根据文本纠错语料迁移学习得到的评估模型对原语句对应的多个候选修改句进行评分，得到评分的准确度更高，进而根据该准确度更高的评分确定得到的目标修改句的准确度较高。进一步地，该方法从语块级别，对多个候选修改语句进行评分，与传统整句评分相比，评分的准确度更高。更进一步地，该方法在确定目标修改句后，进一步对目标修改句中的修改语块作进一步的过滤处理，拒绝低置信度的修改语块，极大地提高了语法纠错的准确度。
上文结合图1至图3对本公开实施例提供的文本处理方法进行了详细介绍，下面将结合附图对本公开实施例提供的装置、电子设备进行介绍。
参见图4所示的文本处理装置的结构示意图，该装置400包括：
获取模块402，用于获取待处理文本中原语句对应的多个候选修改句；
评分模块404，用于根据所述原语句以及所述多个候选修改句，通过评估模型获得所述多个候选修改句的第一评分，所述评估模型为双向预训练模型通过文本纠错语料迁移学习得到；
筛选模块406，用于根据所述第一评分从所述多个候选修改句中确定所述原语句的目标修改句。
根据本公开实施例的文本处理装置400可对应于执行本公开实施例中描述的方法，并且文本处理装置400的各个模块/单元的上述和其它操作和/或功能为了实现图2所示实施例中的方法的流程，为了简洁，在此不再赘述。
参见图5所示的文本处理装置的结构示意图，该装置500包括：
接收模块502，用于接收用户输入的待处理文本；
请求模块504，用于根据所述待处理文本生成文本处理请求；
发送模块506，用于向服务器发送所述文本处理请求；
所述接收模块502，还用于接收根据多个候选修改句的第一评分确定的所述待处理文本中原语句的目标修改句；所述第一评分根据所述原语句和所述多个候选修改句通过评估模型得到；所述评估模型为双向预训练模型通过文本纠错语料迁移学习得到；
显示模块508，用于向所述用户呈现所述目标修改句。
根据本公开实施例的文本处理装置500可对应于执行本公开实施例中描述的方法，并且文本处理装置500的各个模块/单元的上述和其它操作和/或功能为了实现图2所示实施例中的方法的流程，为了简洁，在此不再赘述。
本公开实施例还提供了一种电子设备。该电子设备可以是服务器104，该电子设备用于实现如图4所示实施例中文本处理装置400的功能。下面以服务器104为例，对电子设备的硬件架构进行说明。
图6提供了一种服务器104的结构示意图，如图6所示，服务器104包括可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理，例如执行前述图2所示的文本处理方法。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置，可以替代地实施或具备更多或更少的装置。
本公开实施例还提供了电子设备。该电子设备可以是终端102，该电子设备用于实现如图5所示实施例中文本处理装置500的功能。下面以终端102为例，对电子设备的硬件架构进行说明。
图7提供了一种终端102的结构示意图，如图7所示，终端102包括可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理，例如执行前述图2所示的文本处理方法。在RAM 703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置，可以替代地实施或具备更多或更少的装置。
本公开实施例还提供了一种计算机可读存储介质。所述计算机可读存储介质可以是计算设备能够存储的任何可用介质或者是包含一个或多个可用介质的数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。该计算机可读存储介质包括指令，所述指令指示计算设备执行上述应用于文本处理装置400或文本处理装置500的文本处理方法。
本公开实施例还提供了一种计算机程序产品，所述计算机程序产品包括一个或多个计算机指令。在计算设备上加载和执行所述计算机指令时，全部或部分地产生按照本公开图2所示实施例的流程或图4所示实施例的功能。
所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机或数据中心进行传输。
所述计算机程序产品被计算机执行时，所述计算机执行前述图2所示的实施例中文本处理方法的任一方法。该计算机程序产品可以为一个软件安装包，在需要使用前述图2所示的实施例中文本处理方法的任一方法的情况下，可以下载该计算机程序产品并在计算机上执行该计算机程序产品。
本公开实施例还提供了一种计算机程序产品，所述计算机程序产品包括一个或多个计算机指令。在计算设备上加载和执行所述计算机指令时，全部或部分地产生按照本公开图2所示实施例的流程或图5所示实施例的功能。
根据本公开的一个或多个实施例，示例1提供了一种文本处理方法，所述方法包括：获取待处理文本中原语句对应的多个候选修改句；根据所述原语句以及所述多个候选修改句，通过评估模型获得所述多个候选修改句的第一评分，所述评估模型为双向预训练模型通过文本纠错语料迁移学习得到；根据所述第一评分从所述多个候选修改句中确定所述原语句的目标修改句。
根据本公开的一个或多个实施例，在示例1基础上，该方法还包括：获取所述目标修改句的至少一个修改语块；将所述至少一个修改语块对应的原语句中的原语块的部分输入所述评估模型，预测修改词和/或插入词；根据所述修改词和/或所述插入词，接受或拒绝所述修改语块对所述原语块的修改。
根据本公开的一个或多个实施例，在示例1基础上，该方法还包括：获取所述修改词和/或所述插入词的置信度，所述置信度基于概率确定；根据所述置信度对所述修改词和/或所述插入词进行过滤。
根据本公开的一个或多个实施例，在示例1基础上，该方法还包括：在预测所述修改词时，增加所述修改词与原语块中对应的词一致的概率偏置；和/或，在预测所述插入词时，增加所述插入词为零插入位置的概率偏置。
根据本公开的一个或多个实施例，在示例1基础上，该方法还包括：通过生成模型获得所述多个候选修改句的第二评分；所述根据所述第一评分从所述多个候选修改句中确定所述原语句的目标修改句，包括:根据所述第一评分和所述第二评分从所述多个候选修改句中确定所述原语句的目标修改句。
根据本公开的一个或多个实施例，示例2提供了一种文本处理方法，所述方法包括：接收用户输入的待处理文本；根据所述待处理文本生成文本处理请求，向服务器发送所述文本处理请求；接收根据多个候选修改句的第一评分确定的所述待处理文本中原语句的目标修改句；所述第一评分根据所述原语句和所述多个候选修改句通过评估模型得到；所述评估模型为双向预训练模型通过文本纠错语料迁移学习得到；向所述用户呈现所述目标修改句。
根据本公开的一个或多个实施例，在示例2基础上，所述接收根据多个候选修改句的第一评分确定的所述待处理文本中原语句的目标修改句，包括：接收根据多个候选修改句的第一评分和所述多个候选修改句的第二评分确定的所述待处理文本中原语句的目标修改句；所述多个候选修改句的第二评分通过生成模型获得。
根据本公开的一个或多个实施例，在示例2基础上，所述向所述用户呈现所述目标修改句，包括：通过设定样式，向用户呈现目标修改句。
根据本公开的一个或多个实施例，示例3提供了一种文本处理装置，该装置包括：获取模块，用于获取待处理文本中原语句对应的多个候选修改句；评分模块，用于根据所述原语句以及所述多个候选修改句，通过评估模型获得所述多个候选修改句的第一评分，所述评估模型为双向预训练模型通过文本纠错语料迁移学习得到；筛选模块，用于根据所述第一评分从所述多个候选修改句中确定所述原语句的目标修改句。
根据本公开的一个或多个实施例，在示例3的基础上，该装置还包括：预测模块和修订模块；所述获取模块，还用于获取所述目标修改句的至少一个修改语块；所述预测模块，用于将所述至少一个修改语块对应的原语句中的原语块的部分输入所述评估模型，预测修改词和/或插入词；所述修订模块，用于根据所述修改词和/或所述插入词，接受或拒绝所述修改语块对所述原语块的修改。
根据本公开的一个或多个实施例，在示例3的基础上，该装置还包括：过滤模块；所述获取模块，还用于获取所述修改词和/或所述插入词的置信度，所述置信度基于概率确定；所述过滤模块，用于根据所述置信度对所述修改词和/或所述插入词进行过滤。
根据本公开的一个或多个实施例，在示例3的基础上，该装置还包括：调整模块；所述调整模块，用于在预测所述修改词时，增加所述修改词与原语块中对应的词一致的概率偏置；和/或，在预测所述插入词时，增加所述插入词为零插入位置的概率偏置。
根据本公开的一个或多个实施例，在示例3的基础上，所述评分模块，还用于通过生成模型获得所述多个候选修改句的第二评分；筛选模块，具体用于根据所述第一评分和所述第二评分从所述多个候选修改句中确定所述原语句的目标修改句。
根据本公开的一个或多个实施例，示例4提供了一种文本处理装置，该装置包括：接收模块，用于接收用户输入的待处理文本；请求模块，用于根据所述待处理文本生成文本处理请求；发送模块，用于向服务器发送所述文本处理请求；所述接收模块，还用于接收根据多个候选修改句的第一评分确定的所述待处理文本中原语句的目标修改句；所述第一评分根据所述原语句和所述多个候选修改句通过评估模型得到；所述评估模型为双向预训练模型通过文本纠错语料迁移学习得到；显示模块，用于向所述用户呈现所述目标修改句。
根据本公开的一个或多个实施例，在示例4的基础上，所述接收模块，具体用于接收根据多个候选修改句的第一评分和所述多个候选修改句的第二评分确定的所述待处理文本中原语句的目标修改句；所述多个候选修改句的第二评分通过生成模型获得。
根据本公开的一个或多个实施例，在示例4的基础上，所述显示模块，具体用于通过设定样式，向用户呈现目标修改句。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (11)

1.一种文本处理方法，其特征在于，所述方法包括：
获取待处理文本中原语句对应的多个候选修改句；
根据所述原语句以及所述多个候选修改句，通过评估模型获得所述多个候选修改句的第一评分，所述评估模型为双向预训练模型通过文本纠错语料迁移学习得到；
根据所述第一评分从所述多个候选修改句中确定所述原语句的目标修改句；
所述方法还包括：
获取所述目标修改句的至少一个修改语块；
将所述至少一个修改语块对应的原语句中的原语块的部分输入所述评估模型，预测修改词和/或插入词；
根据所述修改词和/或所述插入词，接受或拒绝所述修改语块对所述原语块的修改。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述修改词和/或所述插入词的置信度，所述置信度基于概率确定；
根据所述置信度对所述修改词和/或所述插入词进行过滤。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括:
在预测所述修改词时，增加所述修改词与原语块中对应的词一致的概率偏置；和/或，
在预测所述插入词时，增加所述插入词为零插入位置的概率偏置。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
通过生成模型获得所述多个候选修改句的第二评分；
所述根据所述第一评分从所述多个候选修改句中确定所述原语句的目标修改句，包括:
根据所述第一评分和所述第二评分从所述多个候选修改句中确定所述原语句的目标修改句。
5.一种文本处理方法，其特征在于，所述方法包括：
接收用户输入的待处理文本；
根据所述待处理文本生成文本处理请求，向服务器发送所述文本处理请求；
接收根据多个候选修改句的第一评分确定的所述待处理文本中原语句的目标修改句；所述第一评分根据所述原语句和所述多个候选修改句通过评估模型得到；所述评估模型为双向预训练模型通过文本纠错语料迁移学习得到；向所述用户呈现所述目标修改句；其中，所述服务器在基于所述文本处理请求返回所述目标修改句之前，还执行了如下操作：获取所述目标修改句的至少一个修改语块；将所述至少一个修改语块对应的原语句中的原语块的部分输入所述评估模型，预测修改词和/或插入词；根据所述修改词和/或所述插入词，接受或拒绝所述修改语块对所述原语块的修改。
6.根据权利要求5所述的方法，其特征在于，所述接收根据多个候选修改句的第一评分确定的所述待处理文本中原语句的目标修改句，包括：
接收根据多个候选修改句的第一评分和所述多个候选修改句的第二评分确定的所述待处理文本中原语句的目标修改句；所述多个候选修改句的第二评分通过生成模型获得。
7.根据权利要求5所述的方法，其特征在于，所述向所述用户呈现所述目标修改句，包括：
通过设定样式，向用户呈现目标修改句。
8.一种文本处理装置，其特征在于，包括：
获取模块，用于获取待处理文本中原语句对应的多个候选修改句；
评分模块，用于根据所述原语句以及所述多个候选修改句，通过评估模型获得所述多个候选修改句的第一评分，所述评估模型为双向预训练模型通过文本纠错语料迁移学习得到；
筛选模块，用于根据所述第一评分从所述多个候选修改句中确定所述原语句的目标修改句；
所述装置还包括：预测模块和修订模块；
所述获取模块，还用于获取所述目标修改句的至少一个修改语块；所述预测模块，用于将所述至少一个修改语块对应的原语句中的原语块的部分输入所述评估模型，预测修改词和/或插入词；所述修订模块，用于根据所述修改词和/或所述插入词，接受或拒绝所述修改语块对所述原语块的修改。
9.一种文本处理装置，其特征在于，包括：
接收模块，用于接收用户输入的待处理文本；
请求模块，用于根据所述待处理文本生成文本处理请求；
发送模块，用于向服务器发送所述文本处理请求；
所述接收模块，还用于接收根据多个候选修改句的第一评分确定的所述待处理文本中原语句的目标修改句；所述第一评分根据所述原语句和所述多个候选修改句通过评估模型得到；所述评估模型为双向预训练模型通过文本纠错语料迁移学习得到；
显示模块，用于向所述用户呈现所述目标修改句；其中，所述服务器在基于所述文本处理请求返回所述目标修改句之前，还执行了如下操作：获取所述目标修改句的至少一个修改语块；将所述至少一个修改语块对应的原语句中的原语块的部分输入所述评估模型，预测修改词和/或插入词；根据所述修改词和/或所述插入词，接受或拒绝所述修改语块对所述原语块的修改。
10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；
所述处理器用于执行所述存储器中存储的指令，以使得所述电子设备执行如权利要求1至7中任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，包括指令，所述指令指示设备执行如权利要求1至7中任一项所述的方法。
CN202110506873.XA 2021-05-10 2021-05-10 一种文本处理方法、装置、设备及介质、程序产品 Active CN113221545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110506873.XA CN113221545B (zh) 2021-05-10 2021-05-10 一种文本处理方法、装置、设备及介质、程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110506873.XA CN113221545B (zh) 2021-05-10 2021-05-10 一种文本处理方法、装置、设备及介质、程序产品

Publications (2)

Publication Number Publication Date
CN113221545A CN113221545A (zh) 2021-08-06
CN113221545B true CN113221545B (zh) 2023-08-08

Family

ID=77094259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110506873.XA Active CN113221545B (zh) 2021-05-10 2021-05-10 一种文本处理方法、装置、设备及介质、程序产品

Country Status (1)

Country Link
CN (1) CN113221545B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723094B (zh) * 2021-09-03 2022-12-27 北京有竹居网络技术有限公司 文本处理方法、模型训练方法、设备及存储介质
CN114708008A (zh) * 2021-12-30 2022-07-05 北京有竹居网络技术有限公司 一种推广内容处理方法、装置、设备、介质及产品
CN114510925A (zh) * 2022-01-25 2022-05-17 森纵艾数(北京)科技有限公司 一种中文文本纠错方法、系统、终端设备及存储介质
CN114881008A (zh) * 2022-04-24 2022-08-09 北京有竹居网络技术有限公司 一种文本生成方法、装置、电子设备及介质
CN114997162B (zh) * 2022-05-26 2024-06-14 中国工商银行股份有限公司 一种训练数据提取方法和装置
CN116484811B (zh) * 2023-06-16 2023-09-19 北京语言大学 一种用于多种编辑意图的文本修订方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458770A (zh) * 2008-12-24 2009-06-17 北京文通科技有限公司 一种文字识别的方法和系统
CN109948152A (zh) * 2019-03-06 2019-06-28 北京工商大学 一种基于lstm的中文文本语法纠错模型方法
CN110210029A (zh) * 2019-05-30 2019-09-06 浙江远传信息技术股份有限公司 基于垂直领域的语音文本纠错方法、系统、设备及介质
CN111523305A (zh) * 2019-01-17 2020-08-11 阿里巴巴集团控股有限公司 文本的纠错方法、装置和系统
CN111767731A (zh) * 2020-07-09 2020-10-13 北京猿力未来科技有限公司 语法纠错模型的训练方法及装置、语法纠错方法及装置
CN111859907A (zh) * 2020-06-11 2020-10-30 北京百度网讯科技有限公司 文字纠错方法、装置、电子设备及存储介质
CN112016304A (zh) * 2020-09-03 2020-12-01 平安科技（深圳）有限公司 文本纠错方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140214401A1 (en) * 2013-01-29 2014-07-31 Tencent Technology (Shenzhen) Company Limited Method and device for error correction model training and text error correction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458770A (zh) * 2008-12-24 2009-06-17 北京文通科技有限公司 一种文字识别的方法和系统
CN111523305A (zh) * 2019-01-17 2020-08-11 阿里巴巴集团控股有限公司 文本的纠错方法、装置和系统
CN109948152A (zh) * 2019-03-06 2019-06-28 北京工商大学 一种基于lstm的中文文本语法纠错模型方法
CN110210029A (zh) * 2019-05-30 2019-09-06 浙江远传信息技术股份有限公司 基于垂直领域的语音文本纠错方法、系统、设备及介质
CN111859907A (zh) * 2020-06-11 2020-10-30 北京百度网讯科技有限公司 文字纠错方法、装置、电子设备及存储介质
CN111767731A (zh) * 2020-07-09 2020-10-13 北京猿力未来科技有限公司 语法纠错模型的训练方法及装置、语法纠错方法及装置
CN112016304A (zh) * 2020-09-03 2020-12-01 平安科技（深圳）有限公司 文本纠错方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113221545A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN113221545B (zh) 一种文本处理方法、装置、设备及介质、程序产品
US20210232762A1 (en) Architectures for natural language processing
CN109241524B (zh) 语义解析方法及装置、计算机可读存储介质、电子设备
EP3443467B1 (en) Machine comprehension of unstructured text
US20190287142A1 (en) Method, apparatus for evaluating review, device and storage medium
CN107368515B (zh) 应用程序页面推荐方法及系统
CN111324728A (zh) 文本事件摘要的生成方法、装置、电子设备及存储介质
CN110019732B (zh) 一种智能问答方法以及相关装置
WO2021121198A1 (zh) 基于语义相似度的实体关系抽取方法、装置、设备及介质
CN112395385B (zh) 基于人工智能的文本生成方法、装置、计算机设备及介质
KR20220054587A (ko) 음성 인식 방법 및 관련 제품
CN112101010B (zh) 一种基于bert的电信行业oa办公自动化文稿审核的方法
CN105404621A (zh) 一种用于盲人读取汉字的方法及系统
CN110866391A (zh) 标题生成方法、装置、计算机可读存储介质和计算机设备
CN113282701B (zh) 作文素材生成方法、装置、电子设备及可读存储介质
CN112434142B (zh) 一种标记训练样本的方法、服务器、计算设备及存储介质
CN112101042A (zh) 文本情绪识别方法、装置、终端设备和存储介质
TWI734085B (zh) 使用意圖偵測集成學習之對話系統及其方法
CN117574892A (zh) 文本立场分析方法、装置、设备及存储介质
CN115510193B (zh) 查询结果向量化方法、查询结果确定方法及相关装置
CN115906824A (zh) 一种文本细粒度情感分析方法、系统、介质和计算设备
CN111104806A (zh) 神经机器翻译模型的构建方法及装置、翻译方法及装置
CN115169370A (zh) 语料数据增强方法、装置、计算机设备及介质
CN114528851A (zh) 回复语句确定方法、装置、电子设备和存储介质
CN113887244A (zh) 文本处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant