CN111859952B - 文本纠错方法、装置、电子设备及存储介质 - Google Patents
文本纠错方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111859952B CN111859952B CN202010568204.0A CN202010568204A CN111859952B CN 111859952 B CN111859952 B CN 111859952B CN 202010568204 A CN202010568204 A CN 202010568204A CN 111859952 B CN111859952 B CN 111859952B
- Authority
- CN
- China
- Prior art keywords
- text
- processed
- character
- words
- grammar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000001502 supplementing effect Effects 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 13
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 241000287828 Gallus gallus Species 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 244000025254 Cannabis sativa Species 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Character Discrimination (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了文本纠错方法、装置、电子设备及存储介质,涉及自然语言处理领域,其中的方法可包括:获取待处理的文本,通过在预定位置增加空字符,确定出待处理的文本中是否存在文法错误,所述文法错误为多字或少字;若确定待处理的文本中存在多字的文法错误,则去除待处理的文本中的多余的文字,若确定待处理的文本中存在少字的文法错误,则在待处理的文本中补入所缺少的文字。应用本申请所述方案,可提高纠错结果的准确性等。
Description
技术领域
本申请涉及计算机应用技术,特别涉及自然语言处理领域的文本纠错方法、装置、电子设备及存储介质。
背景技术
文本纠错(即文本错误纠正)除了包括错别字纠正和用词错误纠正外,还包括多字、少字等文法错误纠正。
多字是指文本中增加了多余的文字,从而导致语句不通顺,如“农村这种种美味的野草”,其中的“种种”的一个“种”为多字。少字是指文本中缺少了文字,从而导致语句不通顺,如“这才鸡翅的正确做法”,其中“才”和“鸡”之间缺少了“是”字。
目前,多采用基于统计的传统文本纠错方法来解决多字和少字的问题,但这种方法主要适用于用词错误等问题的纠错,对于多字和少字的文法错误并不适用,从而导致多字和少字时的纠错结果的准确性较差。
发明内容
本申请提供了文本纠错方法、装置、电子设备及存储介质。
一种文本纠错方法,包括:
获取待处理的文本,通过在预定位置增加空字符,确定出所述待处理的文本中是否存在文法错误,所述文法错误为多字或少字;
若确定所述待处理的文本中存在多字的文法错误,则去除所述待处理的文本中的多余的文字,若确定所述待处理的文本中存在少字的文法错误,则在所述待处理的文本中补入所缺少的文字。
一种文本纠错装置,包括:获取模块以及纠错模块;
所述获取模块,用于获取待处理的文本;
所述纠错模块,用于通过在预定位置增加空字符,确定出所述待处理的文本中是否存在文法错误,所述文法错误为多字或少字,若确定所述待处理的文本中存在多字的文法错误,则去除所述待处理的文本中的多余的文字,若确定所述待处理的文本中存在少字的文法错误,则在所述待处理的文本中补入所缺少的文字。
一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如以上所述的方法。
一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行如以上所述的方法。
一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如以上所述的方法。
上述申请中的一个实施例具有如下优点或有益效果:可借助于空字符来识别出待处理的文本中存在的多字和少字的文法错误,并可相应地进行纠错,从而提高了多字和少字时的纠错结果的准确性等。应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1为本申请所述文本纠错方法实施例的流程图;
图2为本申请所述当存在多字文法错误时的文本纠错方法的实现过程示意图;
图3为本申请所述当存在少字文法错误时的文本纠错方法的实现过程示意图;
图4为本申请所述文本纠错装置40实施例的组成结构示意图;
图5为根据本申请实施例所述方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
另外,应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种文法错误。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
图1为本申请所述文本纠错方法实施例的流程图。如图1所示,包括以下具体实现方式。
在101中,获取待处理的文本,通过在预定位置增加空字符,确定出待处理的文本中是否存在文法错误,所述文法错误为多字或少字。
在102中,若确定待处理的文本中存在多字的文法错误,则去除待处理的文本中的多余的文字,若确定待处理的文本中存在少字的文法错误,则在待处理的文本中补入所缺少的文字。
本实施例中,针对待处理的文本,可通过在预定位置增加空字符的方式,确定出其中是否存在多字或少字的文法错误,并可相应地进行纠错,以下分别对多字和少字的情况进行具体说明。
1)多字
可通过在预定位置增加空字符,确定出待处理的文本中是否存在多字的文法错误。优选地,可对待处理的文本进行多字识别,多字识别包括:针对待处理的文本中的任一文字,分别进行以下第一处理:获取该文字的N个候选,N为大于一的正整数,N个候选中包括该文字本身,并为该文字增加一个空字符候选,从N+1个候选中选出应该出现在该文字所在位置的候选,若选出的候选为空字符,则确定待处理的文本中存在多字的文法错误。
也就是说,针对待处理的文本中的每个文字,可分别按照现有方式召回N个候选(纠错候选),N个候选中包括该文字本身,在此基础上,可进一步增加一个空字符候选,从而共得到N+1个候选,空字符候选和其它候选是对等的,特征也是对等的,可将空字符视为一个普通候选进行处理,进而可按照现有方式从N+1个候选中选出一个候选,若选出的候选为空字符,那么则说明该文字为多余的文字,即可确定待处理的文本中存在多字的文法错误,若选出的候选不为空字符,如为该文字本身,那么则说明该文字不是多余的文字。
相应地,若确定待处理的文本中存在多字的文法错误,可去除待处理的文本中的多余的文字。比如,针对待处理的文本中的任一文字,若确定选出的候选为空字符,则可将该文字替换为空字符。
上述处理中,可通过在文字的候选中补入空字符候选的方式,来确定出待处理的文本中是否存在多字的文法错误,并可将确定出的多余的文字替换为空字符,从而达到了去除待处理的文本中的多余的文字的目的,相比于现有方式提高了纠错结果的准确性。
另外,若确定待处理的文本中存在多字的文法错误,那么针对得到的纠错后的文本,还可执行以下第二处理:将纠错后的文本作为待处理的文本,进行所述多字识别,若确定待处理的文本中存在多字的文法错误,则去除待处理的文本中的多余的文字,得到纠错后的文本,并重复执行所述第二处理,若确定待处理的文本中不存在多字的文法错误,则将待处理的文本作为最终所需的文本。
比如,待处理的文本中存在连续多字的文法错误,如待处理的文本为“农村这种种种美味的野草”,其中的“种种种”中有两个“种”为多字,对于这种文法错误,进行一次纠错处理可能无法去除文本中的所有多余的文字,那么可通过执行多轮纠错处理的方式来解决该问题,将上一轮纠错处理的输出作为下一轮纠错处理的输入,直到输出等于输入。
通过执行多轮纠错处理,可尽可能地发现并去除待处理的文本中的所有多余的文字,从而进一步提高了纠错结果的准确性。
基于上述介绍,图2为本申请所述当存在多字文法错误时的文本纠错方法的实现过程示意图。如图2所示,假设待处理的文本为“农村这种种美味的野草”,可通过预训练语言模型如知识增强语义表示模型(ERNIE,Enhanced Representation from kNowledgeIntEgration)来对待处理的文本进行表征,即将待处理的文本表征为机器/计算机能够识别的形式,以第二个“种”字为例,之后可按照现有方式召回N个候选,N个候选中包括该文字本身,如召回了3个候选,分别为“种”、“中”、“忠”,在此基础上,进一步增加一个空字符候选,即图中的NIL,从而共得到4个候选,分别获取各候选的候选特征,经过全连接(FC,FullyConnected)层后对各候选进行解码(如图中所示的softmax处理等),若解码得到的候选为空字符,则说明该“种”字为多余的文字,可将该“种”字替换为空字符,此处仅以第二个“种”字为例,对于“农村这种种美味的野草”中的每个文字,均需要按照上述方式进行处理,只是其它文字解码后的候选仍为文字本身。
2)少字
可通过在预定位置增加空字符,确定出待处理的文本中是否存在少字的文法错误。优选地,可对待处理的文本进行少字识别,少字识别包括:在待处理的文本中的每相邻两个文字之间、第一个文字之前以及最后一个文字之后分别插入一个空字符,即NIL,针对任一空字符,分别进行以下第三处理:获取该空字符的N个候选,N为大于一的正整数,N个候选中包括该空字符本身,从N个候选中选出应该出现在该空字符所在位置的候选,若选出的候选不是空字符,则确定待处理的文本中存在少字的文法错误。
比如,待处理的文本为“这才鸡翅的正确做法”,在待处理的文本中插入空字符后的形式如下:<NIL>这<NIL>才<NIL>鸡<NIL>翅<NIL>的<NIL>正<NIL>确<NIL>做<NIL>法<NIL>。即用空字符来表示可能缺少的文字。针对每个空字符,可分别按照现有方式召回N个候选,N个候选中包括该空字符本身,进而可按照现有方式从N个候选中选出一个候选,若选出的候选不是空字符,那么则说明该空字符所在位置缺少文字,即可确定待处理的文本中存在少字的文法错误,若选出的候选为空字符,那么则说明该空字符所在位置不缺少文字。
相应地,若确定待处理的文本中存在少字的文法错误,可在待处理的文本中补入所缺少的文字。比如,针对任一空字符,若确定选出的候选不是空字符,则可用选出的候选替换该空字符。
上述处理中,可通过在待处理的文本中插入空字符的方式,来确定出待处理的文本中是否存在少字的文法错误,并可根据所获取的空字符的候选来补入所缺少的文字,从而相比于现有方式提高了纠错结果的准确性。
另外,若确定待处理的文本中存在少字的文法错误,那么针对得到的纠错后的文本,还可执行以下第四处理:将纠错后的文本作为待处理的文本,进行少字识别,若确定待处理的文本中存在少字的文法错误,则在待处理的文本中补入所缺少的文字,得到纠错后的文本,并重复执行所述第四处理,若确定待处理的文本中不存在少字的文法错误,则将待处理的文本作为最终所需的文本。
比如,待处理的文本中存在连续少字的文法错误,对于这种文法错误,进行一次纠错处理可能无法补入文本中的所有缺少的文字,那么可通过执行多轮纠错处理的方式来解决该问题。
通过执行多轮纠错处理,可尽可能地发现并补入待处理的文本中所有缺少的文字,从而进一步提高了纠错结果的准确性。
基于上述介绍,图3为本申请所述当存在少字文法错误时的文本纠错方法的实现过程示意图。如图3所示,假设待处理的文本为“这才鸡翅的正确做法”,可在其中插入空字符,从而得到插入空字符后的文本如下:<NIL>这<NIL>才<NIL>鸡<NIL>翅<NIL>的<NIL>正<NIL>确<NIL>做<NIL>法<NIL>,进而可通过ERNIE模型来对插入空字符后的文本进行表征,以第三个“空字符(NIL)”为例,可按照现有方式召回N个候选,N个候选中包括该空字符本身,如召回了4个候选,分别为“是”、“对”、“行”、“NIL”,可分别获取各候选的候选特征,经过全连接层后对各候选进行解码,若解码得到的候选仍为空字符,则说明该空字符所在位置不存在少字的问题,不需要添加文字,若解码得到的候选不是空字符,则说明该空字符所在位置存在少字的问题,需要用得到的候选如“是”替换该空字符,此处仅以第三个“空字符(NIL)”为例,对于每个空字符,均需要按照上述方式进行处理,只是其它空字符解码后的候选仍为空字符。
需要说明的是,对于前述的方法实施例,为了简单描述,将其表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
以上是关于方法实施例的介绍,以下通过装置实施例,对本申请所述方案进行进一步说明。
图4为本申请所述文本纠错装置40实施例的组成结构示意图。如图4所示,包括:获取模块401以及纠错模块402。
获取模块401,用于获取待处理的文本。
纠错模块402,用于通过在预定位置增加空字符,确定出待处理的文本中是否存在文法错误,所述文法错误为多字或少字,若确定待处理的文本中存在多字的文法错误,则去除待处理的文本中的多余的文字,若确定待处理的文本中存在少字的文法错误,则在待处理的文本中补入所缺少的文字。
针对多字的文法错误,纠错模块402可对待处理的文本进行多字识别,多字识别包括:针对待处理的文本中的任一文字,分别进行以下第一处理:获取该文字的N个候选,N为大于一的正整数,N个候选中包括该文字本身,并为该文字增加一个空字符候选;从N+1个候选中选出应该出现在该文字所在位置的候选;若选出的候选为空字符,则确定待处理的文本中存在多字的文法错误。
也就是说,针对待处理的文本中的每个文字,可分别按照现有方式召回N个候选,N个候选中包括该文字本身,在此基础上,可进一步增加一个空字符候选,从而共得到N+1个候选,空字符候选和其它候选是对等的,特征也是对等的,可将空字符视为一个普通候选进行处理,进而可按照现有方式从N+1个候选中选出一个候选,若选出的候选为空字符,那么则说明该文字为多余的文字,即可确定待处理的文本中存在多字的文法错误,若选出的候选不为空字符,如为该文字本身,那么则说明该文字不是多余的文字。
相应地,纠错模块402若确定待处理的文本中存在多字的文法错误,可去除待处理的文本中的多余的文字。比如,针对待处理的文本中的任一文字,若确定选出的候选为空字符,则可将该文字替换为空字符。
若确定待处理的文本中存在多字的文法错误,纠错模块402还可针对得到的纠错后的文本,执行以下第二处理:将纠错后的文本作为待处理的文本,进行所述多字识别;若确定待处理的文本中存在多字的文法错误,则去除待处理的文本中的多余的文字,得到纠错后的文本,并重复执行所述第二处理;若确定待处理的文本中不存在多字的文法错误,则将待处理的文本作为最终所需的文本。
针对少字的文法错误,纠错模块402可对待处理的文本进行少字识别,少字识别包括:在待处理的文本中的每相邻两个文字之间、第一个文字之前以及最后一个文字之后分别插入一个空字符,针对任一空字符,可分别进行以下第三处理:获取该空字符的N个候选,N为大于一的正整数,N个候选中包括该空字符本身;从N个候选中选出应该出现在该空字符所在位置的候选;若选出的候选不是空字符,则确定待处理的文本中存在少字的文法错误。
比如,待处理的文本为“这才鸡翅的正确做法”,在待处理的文本中插入空字符后的形式如下:<NIL>这<NIL>才<NIL>鸡<NIL>翅<NIL>的<NIL>正<NIL>确<NIL>做<NIL>法<NIL>。即用空字符来表示可能缺少的文字。针对每个空字符,可分别按照现有方式召回N个候选,N个候选中包括该空字符本身,进而可按照现有方式从N个候选中选出一个候选,若选出的候选不是空字符,那么则说明该空字符所在位置缺少文字,即可确定待处理的文本中存在少字的文法错误,若选出的候选为空字符,那么则说明该空字符所在位置不缺少文字。
相应地,纠错模块402若确定待处理的文本中存在少字的文法错误,可在待处理的文本中补入所缺少的文字。比如,针对任一空字符,若确定选出的候选不是空字符,则可用选出的候选替换该空字符。
另外,若确定待处理的文本中存在少字的文法错误,纠错模块402还可针对得到的纠错后的文本,执行以下第四处理:将纠错后的文本作为待处理的文本,进行所述少字识别;若确定待处理的文本中存在少字的文法错误,则在待处理的文本中补入所缺少的文字,得到纠错后的文本,并重复执行所述第四处理;若确定待处理的文本中不存在少字的文法错误,则将待处理的文本作为最终所需的文本。
图4所示装置实施例的具体工作流程请参照前述方法实施例中的相关说明,不再赘述。
总之,采用本申请装置实施例所述方案,可通过在文字的候选中补入空字符候选的方式,来确定出待处理的文本中是否存在多字的文法错误,并可将确定出的多余的文字替换为空字符,从而达到了去除待处理的文本中的多余的文字的目的,提高了纠错结果的准确性;通过执行多轮纠错处理,可尽可能地发现并去除待处理的文本中的所有多余的文字,从而进一步提高了纠错结果的准确性;可通过在待处理的文本中插入空字符的方式,来确定出待处理的文本中是否存在少字的文法错误,并可根据所获取的空字符的候选来补入所缺少的文字,从而提高了纠错结果的准确性;通过执行多轮纠错处理,可尽可能地发现并补入待处理的文本中所有缺少的文字,从而进一步提高了纠错结果的准确性。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图5所示,是根据本申请实施例所述方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示,该电子设备包括:一个或多个处理器Y01、存储器Y02,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示图形用户界面的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器Y01为例。
存储器Y02即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的方法。
存储器Y02作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的方法对应的程序指令/模块。处理器Y01通过运行存储在存储器Y02中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的方法。
存储器Y02可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器Y02可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器Y02可选包括相对于处理器Y01远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、区块链网络、局域网、移动通信网及其组合。
电子设备还可以包括:输入装置Y03和输出装置Y04。处理器Y01、存储器Y02、输入装置Y03和输出装置Y04可以通过总线或者其他方式连接,图5中以通过总线连接为例。
输入装置Y03可接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置Y04可以包括显示设备、辅助照明装置和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器、发光二极管显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,阴极射线管或者液晶显示器监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网、广域网、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (12)
1.一种文本纠错方法,包括:
获取待处理的文本,通过在预定位置增加空字符,确定出所述待处理的文本中是否存在文法错误,所述文法错误为多字或少字;
若确定所述待处理的文本中存在多字的文法错误,则去除所述待处理的文本中的多余的文字,若确定所述待处理的文本中存在少字的文法错误,则在所述待处理的文本中补入所缺少的文字;
其中,通过在预定位置增加空字符,确定出所述待处理的文本中是否存在多字的文法错误包括:对所述待处理的文本进行多字识别,所述多字识别包括:针对所述待处理的文本中的任一文字,分别进行以下第一处理:获取所述文字的N个候选,N为大于一的正整数,所述N个候选中包括所述文字本身,并为所述文字增加一个空字符候选;从N+1个候选中选出应该出现在所述文字所在位置的候选;若选出的候选为所述空字符,则确定所述待处理的文本中存在多字的文法错误;
所述去除所述待处理的文本中的多余的文字包括:针对所述待处理的文本中的任一文字,若确定选出的候选为所述空字符,则将所述文字替换为所述空字符。
2.根据权利要求1所述的方法,还包括:
若确定所述待处理的文本中存在多字的文法错误,则针对得到的纠错后的文本,执行以下第二处理:将所述纠错后的文本作为所述待处理的文本,进行所述多字识别;若确定所述待处理的文本中存在多字的文法错误,则去除所述待处理的文本中的多余的文字,得到纠错后的文本,并重复执行所述第二处理;若确定所述待处理的文本中不存在多字的文法错误,则将所述待处理的文本作为最终所需的文本。
3.根据权利要求1所述的方法,其中,通过在预定位置增加空字符,确定出所述待处理的文本中是否存在少字的文法错误包括:
对所述待处理的文本进行少字识别,所述少字识别包括:在所述待处理的文本中的每相邻两个文字之间、第一个文字之前以及最后一个文字之后分别插入一个空字符;针对任一空字符,分别进行以下第三处理:获取所述空字符的N个候选,N为大于一的正整数,所述N个候选中包括所述空字符本身;从N个候选中选出应该出现在所述空字符所在位置的候选;若选出的候选不是所述空字符,则确定所述待处理的文本中存在少字的文法错误。
4.根据权利要求3所述的方法,其中,所述在所述待处理的文本中补入所缺少的文字包括:针对任一空字符,若确定选出的候选不是所述空字符,则用选出的候选替换所述空字符。
5.根据权利要求4所述的方法,还包括:
若确定所述待处理的文本中存在少字的文法错误,则针对得到的纠错后的文本,执行以下第四处理:将所述纠错后的文本作为所述待处理的文本,进行所述少字识别;若确定所述待处理的文本中存在少字的文法错误,则在所述待处理的文本中补入所缺少的文字,得到纠错后的文本,并重复执行所述第四处理;若确定所述待处理的文本中不存在少字的文法错误,则将所述待处理的文本作为最终所需的文本。
6.一种文本纠错装置,包括:获取模块以及纠错模块;
所述获取模块,用于获取待处理的文本;
所述纠错模块,用于通过在预定位置增加空字符,确定出所述待处理的文本中是否存在文法错误,所述文法错误为多字或少字,若确定所述待处理的文本中存在多字的文法错误,则去除所述待处理的文本中的多余的文字,若确定所述待处理的文本中存在少字的文法错误,则在所述待处理的文本中补入所缺少的文字;
其中,所述纠错模块对所述待处理的文本进行多字识别,所述多字识别包括:针对所述待处理的文本中的任一文字,分别进行以下第一处理:获取所述文字的N个候选,N为大于一的正整数,所述N个候选中包括所述文字本身,并为所述文字增加一个空字符候选;从N+1个候选中选出应该出现在所述文字所在位置的候选;若选出的候选为所述空字符,则确定所述待处理的文本中存在多字的文法错误;针对所述待处理的文本中的任一文字,若确定选出的候选为所述空字符,则将所述文字替换为所述空字符。
7.根据权利要求6所述的装置,其中,所述纠错模块进一步用于,若确定所述待处理的文本中存在多字的文法错误,则针对得到的纠错后的文本,执行以下第二处理:将所述纠错后的文本作为所述待处理的文本,进行所述多字识别;若确定所述待处理的文本中存在多字的文法错误,则去除所述待处理的文本中的多余的文字,得到纠错后的文本,并重复执行所述第二处理;若确定所述待处理的文本中不存在多字的文法错误,则将所述待处理的文本作为最终所需的文本。
8.根据权利要求6所述的装置,其中,所述纠错模块对所述待处理的文本进行少字识别,所述少字识别包括:在所述待处理的文本中的每相邻两个文字之间、第一个文字之前以及最后一个文字之后分别插入一个空字符;针对任一空字符,分别进行以下第三处理:获取所述空字符的N个候选,N为大于一的正整数,所述N个候选中包括所述空字符本身;从N个候选中选出应该出现在所述空字符所在位置的候选;若选出的候选不是所述空字符,则确定所述待处理的文本中存在少字的文法错误。
9.根据权利要求8所述的装置,其中,所述纠错模块针对任一空字符,若确定选出的候选不是所述空字符,则用选出的候选替换所述空字符。
10.根据权利要求9所述的装置,其中,所述纠错模块进一步用于,若确定所述待处理的文本中存在少字的文法错误,则针对得到的纠错后的文本,执行以下第四处理:将所述纠错后的文本作为所述待处理的文本,进行所述少字识别;若确定所述待处理的文本中存在少字的文法错误,则在所述待处理的文本中补入所缺少的文字,得到纠错后的文本,并重复执行所述第四处理;若确定所述待处理的文本中不存在少字的文法错误,则将所述待处理的文本作为最终所需的文本。
11.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010568204.0A CN111859952B (zh) | 2020-06-19 | 2020-06-19 | 文本纠错方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010568204.0A CN111859952B (zh) | 2020-06-19 | 2020-06-19 | 文本纠错方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111859952A CN111859952A (zh) | 2020-10-30 |
CN111859952B true CN111859952B (zh) | 2024-02-20 |
Family
ID=72987925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010568204.0A Active CN111859952B (zh) | 2020-06-19 | 2020-06-19 | 文本纠错方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111859952B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102439542A (zh) * | 2009-03-30 | 2012-05-02 | 触摸式有限公司 | 电子设备的文本输入系统及文本输入方法 |
CN106847288A (zh) * | 2017-02-17 | 2017-06-13 | 上海创米科技有限公司 | 语音识别文本的纠错方法与装置 |
CN107741926A (zh) * | 2012-10-22 | 2018-02-27 | 谷歌有限责任公司 | 用于文本输入的空格预测 |
CN110765996A (zh) * | 2019-10-21 | 2020-02-07 | 北京百度网讯科技有限公司 | 文本信息处理方法及装置 |
CN110909535A (zh) * | 2019-12-06 | 2020-03-24 | 北京百分点信息科技有限公司 | 命名实体校对方法、装置、可读存储介质及电子设备 |
CN111160013A (zh) * | 2019-12-30 | 2020-05-15 | 北京百度网讯科技有限公司 | 文本纠错方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110035209A1 (en) * | 2009-07-06 | 2011-02-10 | Macfarlane Scott | Entry of text and selections into computing devices |
US11112965B2 (en) * | 2014-10-28 | 2021-09-07 | Idelan, Inc. | Advanced methods and systems for text input error correction |
-
2020
- 2020-06-19 CN CN202010568204.0A patent/CN111859952B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102439542A (zh) * | 2009-03-30 | 2012-05-02 | 触摸式有限公司 | 电子设备的文本输入系统及文本输入方法 |
CN107741926A (zh) * | 2012-10-22 | 2018-02-27 | 谷歌有限责任公司 | 用于文本输入的空格预测 |
CN106847288A (zh) * | 2017-02-17 | 2017-06-13 | 上海创米科技有限公司 | 语音识别文本的纠错方法与装置 |
CN110765996A (zh) * | 2019-10-21 | 2020-02-07 | 北京百度网讯科技有限公司 | 文本信息处理方法及装置 |
CN110909535A (zh) * | 2019-12-06 | 2020-03-24 | 北京百分点信息科技有限公司 | 命名实体校对方法、装置、可读存储介质及电子设备 |
CN111160013A (zh) * | 2019-12-30 | 2020-05-15 | 北京百度网讯科技有限公司 | 文本纠错方法及装置 |
Non-Patent Citations (2)
Title |
---|
刘亮亮 ; 曹存根 ; .中文"非多字词错误"自动校对方法研究.计算机科学.2016,(10),全文. * |
杨苏稳 ; 张晓如 ; .基于搜索引擎日志的中文纠错方法研究.软件导刊.2020,(06),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111859952A (zh) | 2020-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210201198A1 (en) | Method, electronic device, and storage medium for generating node representations in heterogeneous graph | |
US20210374343A1 (en) | Method and apparatus for obtaining word vectors based on language model, device and storage medium | |
CN112001169B (zh) | 文本纠错的方法、装置、电子设备和可读存储介质 | |
US20210397791A1 (en) | Language model training method, apparatus, electronic device and readable storage medium | |
CN111859907B (zh) | 文字纠错方法、装置、电子设备及存储介质 | |
CN111753914A (zh) | 模型优化方法和装置、电子设备及存储介质 | |
CN111275190B (zh) | 神经网络模型的压缩方法及装置、图像处理方法及处理器 | |
CN111832701B (zh) | 模型的蒸馏方法、装置、电子设备及存储介质 | |
CN111709252B (zh) | 基于预训练的语义模型的模型改进方法及装置 | |
CN111709234A (zh) | 文本处理模型的训练方法、装置及电子设备 | |
CN111859997A (zh) | 机器翻译中的模型训练方法、装置、电子设备及存储介质 | |
CN111127191B (zh) | 风险评估方法及装置 | |
CN112560499B (zh) | 语义表示模型的预训练方法、装置、电子设备及存储介质 | |
EP3882791A1 (en) | Method, apparatus for content recommendation, electronic device and storage medium | |
CN111090991B (zh) | 场景纠错方法、装置、电子设备和存储介质 | |
CN111126063B (zh) | 文本质量评估方法及装置 | |
CN114492788A (zh) | 训练深度学习模型的方法和装置、电子设备及存储介质 | |
JP7286737B2 (ja) | テキスト誤り訂正方法、装置、電子デバイス、記憶媒体及びプログラム | |
CN111241302A (zh) | 职位信息图谱生成方法、装置、设备和介质 | |
CN112270169B (zh) | 对白角色预测方法、装置、电子设备及存储介质 | |
CN110728156A (zh) | 翻译方法、装置、电子设备及可读存储介质 | |
CN111738325B (zh) | 图像识别方法、装置、设备以及存储介质 | |
US20210224476A1 (en) | Method and apparatus for describing image, electronic device and storage medium | |
CN111611364B (zh) | 一种智能应答方法、装置、设备及存储介质 | |
CN111859952B (zh) | 文本纠错方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |