CN111753529B - 一种基于拼音相同或相似的中文文本纠错方法 - Google Patents
一种基于拼音相同或相似的中文文本纠错方法 Download PDFInfo
- Publication number
- CN111753529B CN111753529B CN202010496115.XA CN202010496115A CN111753529B CN 111753529 B CN111753529 B CN 111753529B CN 202010496115 A CN202010496115 A CN 202010496115A CN 111753529 B CN111753529 B CN 111753529B
- Authority
- CN
- China
- Prior art keywords
- word
- error
- pinyin
- language model
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/232—Orthographic correction, e.g. spell checking or vowelisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本发明提出一种基于拼音相同或相似的中文文本纠错方法，包括以下步骤：S1，在传统ngrams语言模型基础上做调整，建立粒度为单个中文字符的中文字结构语言模型；S2，对待纠错语句进行候选处理，生成候选序列；S3，基于混淆集和MAD算法对候选序列进行检错，获得待纠错语句候选序列；S4，基于中文字结构语言模型的最大后验概率，使用双选Viterbi算法解码输出纠错结果。本发明相对于传统方法词粒度准确率较高，纠错速度较传统方法快。
Description
技术领域
本发明涉及文本纠错技术领域，尤其是涉及一种基于拼音相同或相似的中文文本纠错方法。
背景技术
文本纠错适用很多领域，如人工打字辅助：可在用户输入后自动检查并提示错别字情况。从而降低因疏忽导致的错误表述，有效提升用户输入效率和质量；搜索纠错领域：针对电商、搜索引擎等搜索接口，用户经常在搜索时输入错误，通过分析搜索项的形式和特征，可自动纠正搜索项并提示用户，进而给出更符合用户需求的搜索结果，有效屏蔽错别字对用户真实需求的影响；语音识别或机器人对话领域：将文本纠错嵌入对话系统中，可自动修正语音识别转文本过程中的错别字，向对话理解系统传递纠错后的正确语句，明显提高语音识别准确率，使产品整体体验更佳。现有技术中，对于音似词替换错误，需要进行查错和纠错处理。通常是基于混淆集进行查错和纠错，并对需要修改的范围逐字改正，而混淆集的建立需要花费大量时间和人工进行维护，成本高且使用不便。现有基于统计方法的纠错语言模型往往基于词粒度，即以词语为分析单位，通过考察词与词之间的关系，来进行纠错。但是纠错分字粒度、词粒度纠错，传统方法字粒度准确率较低，需要换个思路重新建模。
发明内容
针对混淆集的建立需要花费大量时间和人工进行维护，成本高且使用不便以及传统方法字粒度准确率较低的问题，本发明提出了一种基于拼音相同或相似的中文文本纠错方法，建立粒度为单个中文字符的中文字结构语言模型，利用混淆集和MAD算法对候选序列进行检错，并使用双选Viterbi算法解码输出纠错结果。
为实现上述目的，本发明提供以下的技术方案：
一种基于拼音相同或相似的中文文本纠错方法，包括以下步骤：
S1，在传统ngrams语言模型基础上做调整，建立粒度为单个中文字符的中文字结构语言模型；
S2，对待纠错语句进行候选处理，生成候选序列；
S3，基于混淆集和MAD算法对候选序列进行检错，获得待纠错语句候选序列；
S4，基于中文字结构语言模型的最大后验概率，使用双选Viterbi算法解码输出纠错结果。
建立粒度为单个中文字符的中文字结构语言模型，基于字粒度，即以单个字为分析单位，通过考察字与字之间的关系，来进行纠错，相对于传统方法词粒度准确率较高。基于混淆集和MAD算法对候选序列进行检错，前期准备工作需求人力较少，只需垂直领域文本语料即可，不需要花费大量时间和人工进行维护，成本低且使用方便。使用双选Viterbi算法解码输出纠错结果，最大可能筛选最大概率路径纠错速度较传统方法快而且准确。
作为优选，所述步骤S1具体包括：
S101，语料预处理并生成分词文件；
S102，分词文件转换成拼音词组，再将拼音词组拆成字结构，所有字结构组成字结构文本；
S103，使用最终转换成字结构的文本生成粒度为单个中文字符的中文字结构语言模型。
建立粒度为单个中文字符的中文字结构语言模型，基于字粒度，即以单个字为分析单位，通过考察字与字之间的关系，来进行纠错，相对于传统方法词粒度准确率较高。
作为优选，所述步骤S1具体包括：
S104，将中文字结构语言模型升级为类语言模型，把类似的词组成词类，然后计算N-gram统计量的时候使用词类标签来替代词。
本中文字结构语言模型是基于ngrams模型建立的，ngrams模型较为稀疏，即把所有的词都看成完全不同的东西。对于某一个词，模型需要足够多的训练数据才能比较准确的估计其概率，考虑词的这种相似性，通过把常见不易错的词组组成词类，可以更好的排查语句剩余部分是否有错，并提高纠错正确率。
作为优选，所述步骤S101具体包括：
S111，文本语料统一半角格式、去除标点、分行处理；
S112，中文数字转换为阿拉伯数字；
S113，使用中文jieba分词库进行分词，获得分词文件。
本发明将语料中对文本纠错无意义的纯数字转化为通配符<d>，即不成词组的大写中文数字和阿拉伯数字转化为一个词类，提高语言模型泛化能力以及纠错效率。
作为优选，所述步骤S2具体包括：根据同音或音似规则，一句话逐字生成候选序列，每字一层，平均每层候选个数在100-150之间，优化常见多音字拼音，将少量、不常用发音剔除，从而提高语言模型泛化能力以及纠错效率。
作为优选，所述步骤S3具体包括：
混淆集检错：
S301，判断待纠错语句中是否有自定义错误集，如果有，则直接输出纠错结果；
S302，判断待纠错语句分词后，词频异常的词组，作为错误集，进入待纠错语句候选序列；
MAD算法检错：
S311，将待纠错语句分别按长度2、3动态分为两组；
S312，计算两组分词语言模型概率；
S313，按分组长度加权平均，得出两组加权概率值；
S314，将两组加权概率值分别取平均值，然后按照MAD算法检错离群值，所述离群值即为错误位置。
作为优选，所述步骤S314具体包括：
(1)计算所有观察点的中位数median(X)；
(2)计算每个观察点与中位数的绝对偏差值abs(X-median(X))；
(3)计算(2)中的绝对偏差值的中位数，即MAD＝median(abs(X-median(X)))；
(4)将(2)得到的值除以(3)的值，得到一组基于MAD的所有观察点的离中心的距离值abs(X-median(X))/MAD.
(5)通过设定阈值，超过阈值的则认为是离群值，即错误位置。
作为优选，所述双选viterbi算法，使用beamsearch算法联合viterbi算法具体包括：
S401，设置BeamSize1和BeamSize2两个参数进行约束，其中BeamSize1<BeamSize2；
S402，当前候选层，优先使用beamsearch算法按路径获取BeamSize1个最大概率路径；
S403，排除BeamSize1个路径已包含的节点，从剩余的节点中按viterbi算法依节点补位BeamSize2-BeamSize1个节点，及每层BeamSize2个最大概率路径；
S404，利用最大概率路径输出纠错结果。
viterbi算法较beamsearch算法更接近真实最大概率路径，但是针对ngram语言模型，本发明使用的是5元ngram语言模型，联合viterbi算法使用时，对于总长大于5的待纠错语句，单节点只取最大概率路径，在全局不一定是最大概率路径。
为优化这个问题，本发明使用beamsearch算法联合viterbi算法，命名双选viterbi算法，类似beamsearch算法，需设置BeamSize1、BeamSize2两个参数(BeamSize1<BeamSize2)约束，即当前候选层，优先使用beamsearch算法按路径获取BeamSize1个最大概率路径，然后排除BeamSize1个路径已包含的节点，从剩余的节点中按viterbi算法依节点补位BeamSize2-BeamSize1个节点，及每层BeamSize2个最大概率路径，双选viterbi算法更接近真实概率路径，最大可能筛选最大概率路径纠错速度较传统方法快而且准确
本发明有以下有益效果：建立粒度为单个中文字符的中文字结构语言模型，基于字粒度，即以单个字为分析单位，通过考察字与字之间的关系，来进行纠错，相对于传统方法词粒度准确率较高。基于混淆集和MAD算法对候选序列进行检错，前期准备工作需求人力较少，只需垂直领域文本语料即可，不需要花费大量时间和人工进行维护，成本低且使用方便。使用双选Viterbi算法解码输出纠错结果，最大可能筛选最大概率路径纠错速度较传统方法快而且准确。
附图说明
图1是本实施例的方法流程图；
图2是本实施例的viterbi算法流程图；
图3是本实施例的Beamsearch算法流程图。
具体实施方式
实施例：
本实施例提出一种基于拼音相同或相似的中文文本纠错方法，参考图1，包括以下步骤：
S1，在传统ngrams语言模型基础上做调整，建立粒度为单个中文字符的中文字结构语言模型；
需要经过文本语料、分词文本、转换为字结构、生成统计计数文件再到生成语言模型这些步骤，使字粒度语言模型保留了词粒度语言模型的优点，便于语句逐字检错。
字结构说明：由汉字+拼音+词语位置编号组成，其中位置编号有6种，单个字编号为s，两字词语编号为b2、e2，三字以上词语编号为b、m、e。
步骤S1具体包括：
S101，语料预处理并生成分词文件；
步骤S101具体包括：
S111，文本语料统一半角格式、去除标点、分行处理；
S112，中文数字转换为阿拉伯数字；
S113，使用中文jieba分词库进行分词，获得分词文件。
本发明将语料中对文本纠错无意义的纯数字转化为通配符<d>，即不成词组的大写中文数字和阿拉伯数字转化为一个词类，提高语言模型泛化能力以及纠错效率。
示例：
语料：你所说的是不是事实？
分词：你所说的是不是事实
S102，分词文件转换成拼音词组，再将拼音词组拆成字结构，所有字结构组成字结构文本；
示例：你所说的是不是事实
转换拼音词组:你_ni3_s所_suo3_b2说_shuo1_e2的_de_s是_shi4_b不_bu4_m是_shi4_e事_shi4_b2实_shi2_e2
拆成字结构:你_ni3_s所_suo3_b2说_shuo1_e2的_de_s是_shi4_b不_bu4_m是_shi4_e事_shi4_b2实_shi2_e2
S103，使用最终转换成字结构的文本生成粒度为单个中文字符的中文字结构语言模型。
S104，将中文字结构语言模型升级为类语言模型，把类似的词组成词类，然后计算N-gram统计量的时候使用词类标签来替代词。
建立粒度为单个中文字符的中文字结构语言模型，基于字粒度，即以单个字为分析单位，通过考察字与字之间的关系，来进行纠错，相对于传统方法词粒度准确率较高。
本中文字结构语言模型是基于ngrams模型建立的，ngrams模型较为稀疏，即把所有的词都看成完全不同的东西。对于某一个词，模型需要足够多的训练数据才能比较准确的估计其概率，考虑词的这种相似性，通过把常见不易错的词组组成词类，可以更好的排查语句剩余部分是否有错，并提高纠错正确率。
S2，对待纠错语句进行候选处理，生成候选序列；
步骤S2具体包括：根据同音或音似规则，一句话逐字生成候选序列，每字一层，平均每层候选个数在100-150之间，优化常见多音字拼音，将少量、不常用发音剔除，从而提高语言模型泛化能力以及纠错效率。
鉴于中文多音字有1000个左右，优化常见多音字拼音，将少量、不常用发音剔除
例如“上”字发音有shǎng、shàng，属多音字，但是shǎng在日常中很少使用，只保留shàng拼音即可。
S3，基于混淆集和MAD算法对候选序列进行检错，获得待纠错语句候选序列；
步骤S3具体包括：
混淆集检错：
S301，判断待纠错语句中是否有自定义错误集，如果有，则直接输出纠错结果；
S302，判断待纠错语句分词后，词频异常的词组，作为错误集，进入待纠错语句候选序列；
MAD算法检错：
S311，将待纠错语句分别按长度2、3动态分为两组；
示例：
假设一句话：abcdefg
则分为【ab、ab、bc、cd、de、ef、fg、fg】、【abc、abc、abc、bcd、cde、def、efg、efg、efg】两组；
S312，计算两组分词语言模型概率；
S313，按分组长度加权平均，得出两组加权概率值；
【ab、(ab+bc)/2、(bc+cd)/2、(cd+de)/2、(de+ef)/2、(ef+fg)/2、fg】、
【abc、(abc+abc+bcd)/3、(abc+bcd+cde)/3、(bcd+cde+def)/3、(cde+def+efg)/3、(def+efg+efg)/3、efg】
S314，将两组加权概率值分别取平均值，然后按照MAD算法检错离群值，离群值即为错误位置。
步骤S314具体包括：
(1)计算所有观察点的中位数median(X)；
(2)计算每个观察点与中位数的绝对偏差值abs(X-median(X))；
(3)计算(2)中的绝对偏差值的中位数，即MAD＝median(abs(X-median(X)))；
(4)将(2)得到的值除以(3)的值，得到一组基于MAD的所有观察点的离中心的距离值abs(X-median(X))/MAD。
(5)通过设定阈值，超过阈值的则认为是离群值，即错误位置。
S4，基于中文字结构语言模型的最大后验概率，使用双选Viterbi算法解码输出纠错结果。
双选viterbi算法，使用beamsearch算法联合viterbi算法具体包括：
S401，设置BeamSize1和BeamSize2两个参数进行约束，其中BeamSize1<BeamSize2；
S402，当前候选层，优先使用beamsearch算法按路径获取BeamSize1个最大概率路径；
S403，排除BeamSize1个路径已包含的节点，从剩余的节点中按viterbi算法依节点补位BeamSize2-BeamSize1个节点，及每层BeamSize2个最大概率路径；
S404，利用最大概率路径输出纠错结果。
参考图1，viterbi算法是从候选动态网络空间中筛选出一条或多条最优路径作为纠错结果，其在每一步的所有选择都保存了前续所有步骤到当前步骤当前选择的最小总代价(或者最大价值)以及当前代价的情况下前继步骤的选择。依次计算完所有步骤后，通过回溯的方法找到最优选择路径。假设一句话长度为3，对应每个位置候选为3个，实际平均110个，而且每个位置候选个数可以不相同，这里只通俗讲解viterbi算法，从候选层a→候选层b时，以b2节点为例，a1b2、a2b2、a3b2概率分别为0.5、0.2、0.1，b2节点当前最优路径即为最大概率路径a1b2,同理可得到b1、b3节点最优路径，然后再从候选层b→候选层c，以c2节点为例，b1c2、b2c2、b3c2概率分别为0.2、0.3、0.1，c2节点当前最优路径即为最大概率路径a1b2c2,同理可得c1、c3最大概率路径，通过排序即可得到全局最大概率路径，即为纠错结果。
参考图2，Beamsearch算法属于贪心算法思想，为了减少搜索所占用的空间和时间，在每一步深度扩展的时候，剪掉一些质量比较差的结点，保留下一些质量较高的结点，Beamsearch算法需要设置BeamSize,通常远小于当前候选层个数，图2中仅示例，BeamSize设置为2，在候选层a,a1、a2、a3概率分别为0.5、0.3、0.1，则候选层a保留最大概率BeamSize个数节点，即a1、a2，从候选层a→候选层b时，分别获取a1b1、a1b2、a1b3、a2b1、a2b2、a2b3的概率为0.4、0.3、0.2、0.2、0.2、0.1，则候选层b保留最大概率2个节点，即为a1b1、a1b2，同理可得候选层c每个节点的概率，通过排序即可得到全局最大概率路径，即为纠错结果。
viterbi算法较beamsearch算法更接近真实最大概率路径，但是针对ngram语言模型，本发明使用的是5元ngram语言模型，联合viterbi算法使用时，对于总长大于5的待纠错语句，单节点只取最大概率路径，在全局不一定是最大概率路径。为优化这个问题，本发明使用beamsearch算法联合viterbi算法，命名双选viterbi算法，类似beamsearch算法，需设置BeamSize1、BeamSize2两个参数(BeamSize1<BeamSize2)约束，即当前候选层，优先使用beamsearch算法按路径获取BeamSize1个最大概率路径，然后排除BeamSize1个路径已包含的节点，从剩余的节点中按viterbi算法依节点补位BeamSize2-BeamSize1个节点，及每层BeamSize2个最大概率路径，双选viterbi算法更接近真实概率路径，最大可能筛选最大概率路径纠错速度较传统方法快而且准确。
本发明有以下有益效果：建立粒度为单个中文字符的中文字结构语言模型，基于字粒度，即以单个字为分析单位，通过考察字与字之间的关系，来进行纠错，相对于传统方法词粒度准确率较高。基于混淆集和MAD算法对候选序列进行检错，前期准备工作需求人力较少，只需垂直领域文本语料即可，不需要花费大量时间和人工进行维护，成本低且使用方便。使用双选Viterbi算法解码输出纠错结果，最大可能筛选最大概率路径纠错速度较传统方法快而且准确。
Claims (6)
1.一种基于拼音相同或相似的中文文本纠错方法，其特征是，包括以下步骤：
S1，在传统ngrams语言模型基础上做调整，建立粒度为单个中文字符的中文字结构语言模型；
S2，对待纠错语句进行候选处理，生成候选序列；
S3，基于混淆集和MAD算法对候选序列进行检错，获得待纠错语句候选序列；
S4，基于中文字结构语言模型的最大后验概率，使用双选Viterbi算法解码输出纠错结果；
所述步骤S3具体包括：
混淆集检错：
S301，判断待纠错语句中是否有自定义错误集，如果有，则直接输出纠错结果；
S302，判断待纠错语句分词后，词频异常的词组，作为错误集，进入待纠错语句候选序列；
MAD算法检错：
S311，将待纠错语句分别按长度2、3动态分为两组；
S312，计算两组分词语言模型概率；
S313，按分组长度加权平均，得出两组加权概率值；
S314，将两组加权概率值分别取平均值，然后按照MAD算法检错离群值，所述离群值即为错误位置；
所述步骤S314具体包括：
（1）计算所有观察点的中位数median(X)；
（2）计算每个观察点与中位数的绝对偏差值abs(X-median(X))；
（3）计算（2）中的绝对偏差值的中位数，即MAD = median(abs(X - median(X)))；
（4）将（2）得到的值除以（3）的值，得到一组基于MAD的所有观察点的离中心的距离值abs(X - median(X))/MAD；
（5）通过设定阈值，超过阈值的则认为是离群值，即错误位置。
2.根据权利要求1所述的一种基于拼音相同或相似的中文文本纠错方法，其特征是，所述步骤S1具体包括：
S101，语料预处理并生成分词文件；
S102，分词文件转换成拼音词组，再将拼音词组拆成字结构，所有字结构组成字结构文本；
S103，使用最终转换成字结构的文本生成粒度为单个中文字符的中文字结构语言模型。
3.根据权利要求2所述的一种基于拼音相同或相似的中文文本纠错方法，其特征是，所述步骤S1具体包括：
S104，将中文字结构语言模型升级为类语言模型，把类似的词组成词类，然后计算N-gram统计量的时候使用词类标签来替代词。
4.根据权利要求2所述的一种基于拼音相同或相似的中文文本纠错方法，其特征是，所述步骤S101具体包括：
S111，文本语料统一半角格式、去除标点、分行处理；
S112，中文数字转换为阿拉伯数字；
S113，使用中文jieba分词库进行分词，获得分词文件。
5.根据权利要求1所述的一种基于拼音相同或相似的中文文本纠错方法，其特征是，所述步骤S2具体包括：根据同音或音似规则，一句话逐字生成候选序列，每字一层，平均每层候选个数在100-150之间，优化常见多音字拼音，将少量、不常用发音剔除。
6.根据权利要求1所述的一种基于拼音相同或相似的中文文本纠错方法，其特征是，所述双选viterbi算法，使用beamsearch算法联合viterbi算法具体包括：
S401，设置BeamSize1和BeamSize2两个参数进行约束，其中BeamSize1< BeamSize2；
S402，当前候选层使用beamsearch算法按路径获取BeamSize1个最大概率路径；
S403，排除BeamSize1个路径已包含的节点，从剩余的节点中按viterbi算法依节点补位BeamSize2- BeamSize1个节点，即每层BeamSize2个最大概率路径；
S404，利用最大概率路径输出纠错结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010496115.XA CN111753529B (zh) | 2020-06-03 | 2020-06-03 | 一种基于拼音相同或相似的中文文本纠错方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010496115.XA CN111753529B (zh) | 2020-06-03 | 2020-06-03 | 一种基于拼音相同或相似的中文文本纠错方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111753529A CN111753529A (zh) | 2020-10-09 |
| CN111753529B true CN111753529B (zh) | 2021-07-27 |
Family
ID=72674292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010496115.XA Active CN111753529B (zh) | 2020-06-03 | 2020-06-03 | 一种基于拼音相同或相似的中文文本纠错方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753529B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112380840B (zh) * | 2020-11-19 | 2024-05-07 | 平安科技（深圳）有限公司 | 文本纠错方法、装置、设备及介质 |
| CN112397054B (zh) * | 2020-12-17 | 2023-11-24 | 北京中电飞华通信有限公司 | 一种电力调度语音识别方法 |
| CN112668328A (zh) * | 2020-12-25 | 2021-04-16 | 广东南方新媒体科技有限公司 | 媒体智能校对算法 |
| CN113779972B (zh) * | 2021-09-10 | 2023-09-15 | 平安科技（深圳）有限公司 | 语音识别纠错方法、系统、装置及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105573979A (zh) * | 2015-12-10 | 2016-05-11 | 江苏科技大学 | 一种基于汉字混淆集的错字词知识生成方法 |
| CN110210029A (zh) * | 2019-05-30 | 2019-09-06 | 浙江远传信息技术股份有限公司 | 基于垂直领域的语音文本纠错方法、系统、设备及介质 |
| CN110472243A (zh) * | 2019-08-08 | 2019-11-19 | 河南大学 | 一种中文拼写检查方法 |
| CN111046652A (zh) * | 2019-12-10 | 2020-04-21 | 拉扎斯网络科技（上海）有限公司 | 文本纠错方法、文本纠错装置、存储介质和电子设备 |
| CN111090986A (zh) * | 2019-11-29 | 2020-05-01 | 福建亿榕信息技术有限公司 | 一种公文文档纠错的方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2861856C (en) * | 2012-01-20 | 2020-06-02 | Sequenom, Inc. | Diagnostic processes that factor experimental conditions |
| US9733727B2 (en) * | 2012-12-07 | 2017-08-15 | Wen-Chieh Geoffrey Lee | Optical mouse with cursor rotating ability |
-
2020
- 2020-06-03 CN CN202010496115.XA patent/CN111753529B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105573979A (zh) * | 2015-12-10 | 2016-05-11 | 江苏科技大学 | 一种基于汉字混淆集的错字词知识生成方法 |
| CN110210029A (zh) * | 2019-05-30 | 2019-09-06 | 浙江远传信息技术股份有限公司 | 基于垂直领域的语音文本纠错方法、系统、设备及介质 |
| CN110472243A (zh) * | 2019-08-08 | 2019-11-19 | 河南大学 | 一种中文拼写检查方法 |
| CN111090986A (zh) * | 2019-11-29 | 2020-05-01 | 福建亿榕信息技术有限公司 | 一种公文文档纠错的方法 |
| CN111046652A (zh) * | 2019-12-10 | 2020-04-21 | 拉扎斯网络科技（上海）有限公司 | 文本纠错方法、文本纠错装置、存储介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111753529A (zh) | 2020-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111753529B (zh) | 一种基于拼音相同或相似的中文文本纠错方法 | |
| CN112149406B (zh) | 一种中文文本纠错方法及系统 | |
| CN101133411B (zh) | 非罗马字符的容错罗马化输入方法 | |
| KR102509836B1 (ko) | 문서 타이틀 트리의 구축 방법, 장치, 전자기기, 저장매체 및 컴퓨터 프로그램 | |
| KR102348845B1 (ko) | 실시간 오류 후보 생성을 이용한 문맥의존 철자오류 교정 장치 및 방법 | |
| US20150255064A1 (en) | Intention estimating device and intention estimating method | |
| CN106503231B (zh) | 基于人工智能的搜索方法和装置 | |
| CN112185348A (zh) | 多语种语音识别方法、装置及电子设备 | |
| JP2014194774A (ja) | 誤打校正システム及び誤打校正方法 | |
| CN111460793A (zh) | 纠错方法、装置、设备及存储介质 | |
| JP6778655B2 (ja) | 単語連接識別モデル学習装置、単語連接検出装置、方法、及びプログラム | |
| CN111476031A (zh) | 一种基于Lattice-LSTM的改进中文命名实体识别方法 | |
| CN110874536A (zh) | 语料质量评估模型生成方法和双语句对互译质量评估方法 | |
| CN116502628A (zh) | 基于知识图谱的政务领域多阶段融合的文本纠错方法 | |
| KR20230009564A (ko) | 앙상블 스코어를 이용한 학습 데이터 교정 방법 및 그 장치 | |
| CN111985234A (zh) | 语音文本纠错方法 | |
| CN111737424A (zh) | 一种问题的匹配方法、装置、设备及存储介质 | |
| JP2011008784A (ja) | ローマ字変換を用いる日本語自動推薦システムおよび方法 | |
| Soumya et al. | Development of a POS tagger for Malayalam-an experience | |
| Mekki et al. | COTA 2.0: An automatic corrector of Tunisian Arabic social media texts | |
| CN110929514A (zh) | 文本校对方法、装置、计算机可读存储介质及电子设备 | |
| KR102204395B1 (ko) | 개체명 인식을 이용한 음성인식 띄어쓰기 보정 방법 및 시스템 | |
| CN114548075A (zh) | 文本处理方法、文本处理装置、存储介质与电子设备 | |
| KR100474823B1 (ko) | 자연어의품사태깅장치및그방법 | |
| CN115034209A (zh) | 文本分析方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |