CN105159871B - 文本信息检测方法及装置 - Google Patents
文本信息检测方法及装置 Download PDFInfo
- Publication number
- CN105159871B CN105159871B CN201510518343.1A CN201510518343A CN105159871B CN 105159871 B CN105159871 B CN 105159871B CN 201510518343 A CN201510518343 A CN 201510518343A CN 105159871 B CN105159871 B CN 105159871B
- Authority
- CN
- China
- Prior art keywords
- participle
- word
- similar
- sequence
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本公开是关于一种文本信息检测方法及装置。所述方法包括:获取文本信息;对所述文本信息进行分词处理,得到所述文本信息的分词序列,其中,所述分词序列包括多个分词;确定相邻两个分词之间的条件概率;根据所述相邻两个分词之间的条件概率,判断所述文本信息中是否存在包括错别字的分词。由此,可以实现对文本信息进行错别字检测的效果,当用户输入的文本信息中含有错别字时,能够准确检测出该文本信息中是否包括错别字,操作快捷且智能化。
Description
技术领域
本公开涉及计算机领域,尤其涉及文本信息检测方法及装置。
背景技术
人们可以通过用户终端进行文字编辑操作,以实现信息录入、消息发送等目的。然而,在用户编辑的文本信息中,有时会出现错别字。如果将含有错别字的文本信息进行录入或发送,可能会造成其他用户对该用户原本的意图的误解、信息纪录错误等问题。
发明内容
为克服相关技术中存在的问题,本公开提供一种文本信息检测方法及装置。
根据本公开实施例的第一方面,提供一种文本信息检测方法,所述方法包括:获取文本信息;对所述文本信息进行分词处理,得到所述文本信息的分词序列,其中,所述分词序列包括多个分词;确定相邻两个分词之间的条件概率;根据所述相邻两个分词之间的条件概率,判断所述文本信息中是否存在包括错别字的分词。
在一些可能的实施方式中,所述方法还包括:在确定所述文本信息中存在包括错别字的分词时,输出提醒信息,所述提醒信息用于指示所述包括错别字的分词。
在一些可能的实施方式中,所述根据所述相邻两个分词之间的条件概率,判断所述文本信息中是否存在包括错别字的分词,包括:在存在小于预设的第一概率阈值的条件概率时,确定所述小于预设的第一概率阈值的条件概率所对应的两个相邻的分词中的一者包括错别字。
在一些可能的实施方式中,所述分词序列包括至少三个分词;所述根据所述相邻两个分词之间的条件概率,判断所述文本信息中是否存在包括错别字的分词,包括:在第二分词与第一分词之间的条件概率小于预设的第二概率阈值时,判断第三分词与所述第二分词之间的条件概率是否小于所述第二概率阈值;在所述第三分词与所述第二分词之间的条件概率小于所述第二概率阈值时,确定所述第二分词包括错别字,其中,所述第一分词、所述第二分词和所述第三分词为所述分词序列中任意相邻的三个分词,并且所述第一分词位于所述第二分词之前,所述第三分词位于所述第二分词之后。
在一些可能的实施方式中,所述根据所述相邻两个分词之间的条件概率,判断所述文本信息中是否存在包括错别字的分词,还包括:在所述第三分词与所述第二分词之间的条件概率大于或等于所述第二概率阈值时,确定所述第一分词包括错别字。
在一些可能的实施方式中,所述方法还包括:在确定所述文本信息中存在包括错别字的分词时,从相似字库中获取与第四分词匹配的相似分词集合,其中,所述第四分词为所述文本信息中任一包括错别字的分词,并且,所述相似分词集合包括至少一个与所述第四分词相似的分词;确定所述相似分词集合包括的至少一个分词与所述分词序列中和所述第四分词相邻的分词之间的条件概率;在所述至少一个分词中存在与和所述第四分词相邻的分词之间的条件概率大于或等于预设的第三概率阈值的目标分词时,输出所述目标分词。
在一些可能的实施方式中,所述方法还包括:在确定所述文本信息中存在包括错别字的分词时,从相似字库中获取与第四分词匹配的相似分词集合,其中,所述第四分词为所述文本信息中任一包括错别字的分词,并且,所述相似分词集合包括至少一个与所述第四分词相似的分词;确定所述相似分词集合包括的至少一个分词与所述分词序列中和所述第四分词相邻的分词之间的条件概率;将所述至少一个分词中与和所述第四分词相邻的分词之间的条件概率之积最大的分词确定为目标分词;输出所述目标分词。
在一些可能的实施方式中,所述方法还包括:构建相似字库,包括:从原始字库中获取目标文字,该目标文字为所述原始字库中的任一文字;根据序列相似性匹配算法,判断所述目标文字与所述原始字库中的第一文字集合中的各文字之间是否相似;确定与所述目标文字对应的相似文字集合,其中,所述相似文字集合包括所述第一文字集合中,与所述目标文字相似的文字;以及利用所述目标文字和所述相似文字集合,建立所述相似字库。
在一些可能的实施方式中,所述根据序列相似性匹配算法,判断所述目标文字与所述原始字库中的第一文字集合中的各文字之间是否相似,包括:分别计算所述目标文字的拼音序列与所述第一文字集合中各文字的拼音序列之间的第一编辑距离;分别确定所述目标文字的拼音序列与所述第一文字集合中各文字的拼音序列之间的第一最大编辑距离;在所述目标文字的拼音序列与所述第一文字集合中各文字的拼音序列之间的第一编辑距离与第一最大编辑距离之比在第一预设范围内时,确定与第一最大编辑距离之比在第一预设范围内的第一编辑距离对应的文字与所述目标文字相似。
在一些可能的实施方式中,所述根据序列相似性匹配算法,判断所述目标文字与所述原始字库中的第一文字集合中的各文字之间是否相似,包括:分别计算所述目标文字的笔顺序列与所述第一文字集合中各文字的笔顺序列之间的第二编辑距离;分别确定所述目标文字的笔顺序列与所述第一文字集合中各文字的笔顺序列之间的第二最大编辑距离;在所述目标文字的笔顺序列与所述第一文字集合中各文字的笔顺序列之间的第二编辑距离与第二最大编辑距离之比在第二预设范围内时,确定与第二最大编辑距离之比在第二预设范围内的第二编辑距离对应的文字与所述目标文字相似。
根据本公开实施例的第二方面,提供一种文本信息检测装置,所述装置包括:第一获取模块,用于获取文本信息;分词处理模块,用于对所述文本信息进行分词处理,得到所述文本信息的分词序列,其中,所述分词序列包括多个分词;第一条件概率确定模块,用于确定相邻两个分词之间的条件概率;第一判断模块,用于根据所述相邻两个分词之间的条件概率,判断所述文本信息中是否存在包括错别字的分词。
在一些可能的实施方式中,所述装置还包括:第一输出模块,用于在确定所述文本信息中存在包括错别字的分词时,输出提醒信息,所述提醒信息用于指示所述包括错别字的分词。
在一些可能的实施方式中,所述第一判断模块包括:第一确定子模块,用于在存在小于预设的第一概率阈值的条件概率时,确定所述小于预设的第一概率阈值的条件概率所对应的两个相邻的分词中的一者包括错别字。
在一些可能的实施方式中,所述分词序列包括至少三个分词;以及,所述第一判断模块包括:第一判断子模块,用于在第二分词与第一分词之间的条件概率小于预设的第二概率阈值时,判断第三分词与所述第二分词之间的条件概率是否小于所述第二概率阈值;第二确定子模块,用于在所述第三分词与所述第二分词之间的条件概率小于所述第二概率阈值时,确定所述第二分词包括错别字,其中,所述第一分词、所述第二分词和所述第三分词为所述分词序列中任意相邻的三个分词,并且所述第一分词位于所述第二分词之前,所述第三分词位于所述第二分词之后。
在一些可能的实施方式中,所述第一判断模块还包括:第三确定子模块,用于在所述第三分词与所述第二分词之间的条件概率大于或等于所述第二概率阈值时,确定所述第一分词包括错别字。
在一些可能的实施方式中,所述装置还包括:第二获取模块,用于在确定所述文本信息中存在包括错别字的分词时,从相似字库中获取与第四分词匹配的相似分词集合,其中,所述第四分词为所述文本信息中任一包括错别字的分词,并且,所述相似分词集合包括至少一个与所述第四分词相似的分词;第二条件概率确定模块,用于确定所述相似分词集合包括的至少一个分词与所述分词序列中和所述第四分词相邻的分词之间的条件概率;第二输出模块,用于在所述至少一个分词中存在与和所述第四分词相邻的分词之间的条件概率大于或等于预设的第三概率阈值的目标分词时,输出所述目标分词。
在一些可能的实施方式中,所述装置还包括:第三获取模块,用于在确定所述文本信息中存在包括错别字的分词时,从相似字库中获取与第四分词匹配的相似分词集合,其中,所述第四分词为所述文本信息中任一包括错别字的分词,并且,所述相似分词集合包括至少一个与所述第四分词相似的分词;第三条件概率确定模块,用于确定所述相似分词集合包括的至少一个分词与所述分词序列中和所述第四分词相邻的分词之间的条件概率;目标分词确定模块,用于将所述至少一个分词中与和所述第四分词相邻的分词之间的条件概率之积最大的分词确定为目标分词;第三输出模块,用于输出所述目标分词。
在一些可能的实施方式中,所述装置还包括:相似字库构建模块,用于构建相似字库,所述相似字库构建模块包括:获取子模块,用于从原始字库中获取目标文字,该目标文字为所述原始字库中的任一文字;第二判断子模块,用于根据序列相似性匹配算法,判断所述目标文字与所述原始字库中的第一文字集合中的各文字之间是否相似;相似文字集合确定子模块,用于确定与所述目标文字对应的相似文字集合,其中,所述相似文字集合包括所述第一文字集合中,与所述目标文字相似的文字;以及相似字库建立子模块,用于利用所述目标文字和所述相似文字集合,建立所述相似字库。
在一些可能的实施方式中,所述第二判断子模块包括:第一编辑距离计算单元,用于分别计算所述目标文字的拼音序列与所述第一文字集合中各文字的拼音序列之间的第一编辑距离;第一最大编辑距离确定单元,用于分别确定所述目标文字的拼音序列与所述第一文字集合中各文字的拼音序列之间的第一最大编辑距离;第一相似确定单元,用于在所述目标文字的拼音序列与所述第一文字集合中各文字的拼音序列之间的第一编辑距离与第一最大编辑距离之比在第一预设范围内时,确定与第一最大编辑距离之比在第一预设范围内的第一编辑距离对应的文字与所述目标文字相似。
在一些可能的实施方式中,所述第二判断子模块包括:第二编辑距离计算单元,用于分别计算所述目标文字的笔顺序列与所述第一文字集合中各文字的笔顺序列之间的第二编辑距离;第二最大编辑距离确定单元,用于分别确定所述目标文字的笔顺序列与所述第一文字集合中各文字的笔顺序列之间的第二最大编辑距离;第二相似确定单元,用于在所述目标文字的笔顺序列与所述第一文字集合中各文字的笔顺序列之间的第二编辑距离与第二最大编辑距离之比在第二预设范围内时,确定与第二最大编辑距离之比在第二预设范围内的第二编辑距离对应的文字与所述目标文字相似。
根据本公开实施例的第三方面,提供一种文本信息检测装置,所述装置包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为:获取文本信息;对所述文本信息进行分词处理,得到所述文本信息的分词序列,其中,所述分词序列包括多个分词;确定相邻两个分词之间的条件概率;根据所述相邻两个分词之间的条件概率,判断所述文本信息中是否存在包括错别字的分词。
本公开的实施例提供的技术方案可以包括以下有益效果:
通过获取文本信息,对所述文本信息进行分词处理,得到所述文本信息的分词序列,其中,所述分词序列包括多个分词,确定相邻两个分词之间的条件概率,根据所述相邻两个分词之间的条件概率,判断所述文本信息中是否存在包括错别字的分词,可以实现对文本信息进行错别字检测的效果,当用户输入的文本信息中含有错别字时,能够准确检测出该文本信息中是否包括错别字,操作快捷且智能化。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种文本信息检测方法的流程图。
图2是根据另一示例性实施例示出的一种文本信息检测方法的流程图。
图3是根据另一示例性实施例示出的一种文本信息检测方法的流程图。
图4A和图4B是根据另一示例性实施例示出的一种文本信息检测方法的流程图。
图5是根据另一示例性实施例示出的一种文本信息检测方法的流程图。
图6是根据另一示例性实施例示出的一种文本信息检测方法的流程图。
图7是根据另一示例性实施例示出的一种文本信息检测方法的流程图。
图8A是在实施图2至图4B中任一项所示的文本信息检测方法时的场景示意图。
图8B是在实施图5至图6中任一项所示的文本信息检测方法时的场景示意图。
图9是根据一示例性实施例示出的一种文本信息检测装置的框图。
图10是根据另一示例性实施例示出的一种文本信息检测装置的框图。
图11A到图11C是根据另一示例性实施例示出的一种文本信息检测装置的框图。
图12A和图12B是根据另一示例性实施例示出的一种文本信息检测装置的框图。
图13是根据另一示例性实施例示出的一种文本信息检测装置的框图。
图14A和图14B是根据另一示例性实施例示出的一种文本信息检测装置的框图。
图15是根据一示例性实施例示出的一种文本信息检测装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种文本信息检测方法的流程图,该方法可以应用于用户设备。该用户设备例如可以包括但不限于:手机、智能手机、个人电脑、笔记本电脑、个人数字助理(PDA)、平板电脑等等。如图1所示,该方法可以包括以下步骤。
在步骤S101中,获取文本信息。例如,用户可以通过安装在用户设备上的输入法应用来键入文本信息,之后,用户设备可以获取到用户输入的文本信息,但本公开不以此为限。在另一实施例中,还可以从用户接收到的短信、邮件、即时消息、以及各类文档等中获取该文本信息。
在步骤S102中,对文本信息进行分词处理,得到该文本信息的分词序列,其中,该分词序列包括多个分词。
在该步骤中,可以利用本领域技术人员公知的多种分词处理技术中的任一分词处理技术来实现对文本信息的分词处理。在对文本信息进行分词处理之后,可以将该文本信息分成若干个分词,这些分词按照在文本信息中出现的先后顺序,形成分词序列。
在步骤S103中,确定相邻两个分词之间的条件概率。
在本公开中,两个分词之间的条件概率可以用于表示两个分词搭配在一起使用的可能性。该条件概率越高,表明两个分词之间的搭配使用的可能性越高,反之,条件概率越低,表明两个分词之间的搭配使用的可能性越低。可以预先建立一语言模型,之后,利用该语言模型来得出分词序列中,相邻两个分词之间的条件概率。在本公开中,所述语言模型可以例如为二元语法(2-gram)语言模型。
例如,假设分词序列中包括N(N≥2)个分词,该分词序列可以表示为{SMS1,SMS2,…,SMSt,…,SMSN},其中,SMSt可以表示分词序列中的第t个分词,并且其中,2≤t≤N。那么,通过步骤S103,可以得出N-1个条件概率,该条件概率可以例如表示为P(SMSt/SMSt-1)。
在步骤S104中,根据相邻两个分词之间的条件概率,判断文本信息中是否存在包括错别字的分词。
如上所述,两个分词之间的条件概率越低,表明两个分词之间的搭配使用的可能性越低。造成这一结果的原因可能是分词中包括了错别字。因此,通过相邻两个分词之间的条件概率,可以判断出文本信息中是否存在包括错别字的分词。
综上所述,通过获取文本信息,对所述文本信息进行分词处理,得到所述文本信息的分词序列,其中,所述分词序列包括多个分词,确定相邻两个分词之间的条件概率,根据所述相邻两个分词之间的条件概率,判断所述文本信息中是否存在包括错别字的分词,可以实现对文本信息进行错别字检测的效果,当用户输入的文本信息中含有错别字时,能够准确检测出该文本信息中是否包括错别字,操作快捷且智能化。
图2是根据另一示例性实施例示出的一种文本信息检测方法的流程图,该方法可以应用于用户设备。该用户设备例如可以包括但不限于:手机、智能手机、个人电脑、笔记本电脑、个人数字助理(PDA)、平板电脑等等。如图2所示,在图1所示的方法的基础上,该方法还可以包括以下步骤。
在步骤S201中,在确定文本信息中存在包括错别字的分词时,输出提醒信息,该提醒信息用于指示所述包括错别字的分词。可以通过多种方式来输出提醒信息。例如,可以将包括错别字的分词标亮、放大、或加粗,或者可以在包括错别字的分词下面加下划线(例如,红线),等等。
由此,可以实现当用户输入的文本信息中含有错别字时,能够向用户自动提示该错别字的效果。这样,可以方便用户进行更正,避免用户存储或发送包含错别字的文本信息,从而可以有效避免因包含错别字的文本信息对他人造成误解、以及信息纪录错误等问题。
图3是根据另一示例性实施例示出的一种文本信息检测方法的流程图,该方法可以应用于用户设备。该用户设备例如可以包括但不限于:手机、智能手机、个人电脑、笔记本电脑、个人数字助理(PDA)、平板电脑等等。如图3所示,该方法可以包括以下步骤。
在步骤S301中,获取文本信息。
在步骤S302中,对文本信息进行分词处理,得到该文本信息的分词序列,其中,该分词序列包括多个分词。
在步骤S303中,确定相邻两个分词之间的条件概率。步骤S301到步骤S303的实施同上面结合图1所描述的方法中的步骤S101到步骤S103的实施相同。
在步骤S304中,在存在小于预设的第一概率阈值的条件概率时,确定小于预设的第一概率阈值的条件概率所对应的两个相邻的分词中的一者包括错别字。
如上所述,两个分词之间的条件概率越低,表明两个分词之间的搭配使用的可能性越低,而造成这一结果的原因可能是分词中包括了错别字。因此,可以预设第一概率阈值,如果分词序列中存在相邻两个分词之间的条件概率小于该预设的第一概率阈值的情况,则确定小于预设的第一概率阈值的条件概率所对应的两个相邻的分词中的一者包括错别字。例如,假设分词序列为{“花费”,“充值”}。通过步骤S303,可以计算出P(“充值”/“花费”)较低,并且小于所述预设的第一概率阈值,因此,可以确定分词“花费”和“充值”中的一者为包括错别字的分词。
可选地,在另一些可能的实施方式中,该方法还可以包括:在不存在小于预设的第一概率阈值的条件概率时,确定所述文本信息不包括错别字。例如,假设分词序列为{“话费”,“充值”}。通过步骤S303,可以计算出P(“充值”/“话费”)较高,并且大于所述预设的第一概率阈值,因此,可以确定文本信息不包括错别字。
可选地,在另一些可能的实施方式中,图3所示的方法还可以包括:在确定所述文本信息中存在包括错别字的分词时,输出提醒信息,该提醒信息用于指示所述包括错别字的分词。该步骤的实施同上面结合图2所描述的方法中的步骤S201的实施相同。
图4A和图4B是根据另一示例性实施例示出的一种文本信息检测方法的流程图,该方法可以应用于用户设备。该用户设备例如可以包括但不限于:手机、智能手机、个人电脑、笔记本电脑、个人数字助理(PDA)、平板电脑等等。如图4A所示,该方法可以包括以下步骤。
在步骤S401中,获取文本信息。
在步骤S402中,对文本信息进行分词处理,得到该文本信息的分词序列,其中,该分词序列包括多个分词。例如,该分词序列包括至少三个分词。
在步骤S403中,确定相邻两个分词之间的条件概率。步骤S401到步骤S403的实施同上面结合图1所描述的方法中的步骤S101到步骤S103的实施相同。
在步骤S404中,在第二分词与第一分词之间的条件概率小于预设的第二概率阈值时,判断第三分词与第二分词之间的条件概率是否小于该第二概率阈值。
在步骤S405中,在第三分词与第二分词之间的条件概率小于该第二概率阈值时,确定第二分词包括错别字,其中,第一分词、第二分词和第三分词为分词序列中任意相邻的三个分词,并且第一分词位于第二分词之前,第三分词位于第二分词之后。
在该实施方式中,如果序列中的一个分词与该分词的前一分词之间的条件概率小于预设的第二概率阈值,则可以根据该分词与后一分词之间的条件概率来确定该分词是否包括错别字。可以在分词序列中任意选取三个相邻的分词作为第一分词、第二分词和第三分词。在第一分词与第二分词之间的条件概率小于第二概率阈值时,表明第一分词与第二分词中的一者为包括错别字的分词。此时,如果第二分词与第三分词之间的条件概率同样小于第二概率阈值,那么表明第二分词与第三分词之间具有较低的搭配使用可能性,进而可以确定,第二分词包括错别字,以致第一分词与第二分词之间的条件概率小于第二概率阈值,以及第二分词与第三分词之间的条件概率也小于第二概率阈值。
例如,假设分词序列为{“手机”,“停记”,“了”}。那么,通过步骤S403,可以计算出P(“停记”/“手机”)较低,并且小于第二概率阈值,以及计算出P(“了”/“停记”)较低,并且也小于第二概率阈值,因此,可以确定分词“停记”为包括错别字的分词。
可选地,在另一实施方式中,如图4B所示,在图4A所示的方法的基础上,该方法还可以包括:在步骤S406中,在第三分词与第二分词之间的条件概率大于或等于第二概率阈值时,确定第一分词包括错别字。
在该实施方式中,如果序列中的一个分词与该分词的前一分词之间的条件概率小于预设的第二概率阈值,则可以初步确定这两个分词的其中之一包括错别字。在这种情况下,可以根据该分词与该分词的后一分词之间的条件概率来确定是该分词包括错别字还是该分词的前一分词包括错别字。根据前面结合图4A的描述,如果第一分词与第二分词之间的条件概率小于第二概率阈值,并且第二分词与第三分词之间的条件概率也小于第二概率阈值,则确定第二分词包括错别字。而在步骤S406中,如果第一分词与第二分词之间的条件概率小于第二概率阈值,并且第三分词与第二分词之间的条件概率大于或等于第二概率阈值,那么表明第二分词与第三分词之间具有较高的搭配使用可能性,进而可以确定,第一分词包括错别字,以致第一分词与第二分词之间的条件概率小于第二概率阈值。
例如,假设分词序列为{“手记”,“停机”,“了”}。那么,通过步骤S403,可以计算出P(“停机”/“手记”)较低,并且小于第二概率阈值,以及计算出P(“了”/“停机”)较高,并且大于第二概率阈值,因此,可以确定分词“手记”为包括错别字的分词。
在本公开中,第一概率阈值和第二概率阈值可以相等,也可以不相等。根据具体应用情况的不同,第一概率阈值和第二概率阈值可以设置为相应的值,本公开对此不赘述。
可选地,在另一些可能的实施方式中,在图4A或图4B所示的方法的基础上,该方法还可以包括:在不存在小于预设的第二概率阈值的条件概率时,确定文本信息不包括错别字。
可以按照步骤S404到步骤S406,遍历分词序列中包括的全部分词,以此确定出文本信息中所有包括错别字的分词。
通过图4A或图4B所示的实施方式中的文本信息检测方法,可以更精确地检测出文本信息中的哪个或哪些分词为包括错别字的分词,由此提高错别字检测的准确性。
可选地,在另一些可能的实施方式中,图4A或图4B所示的方法还可以包括:在确定所述文本信息中存在包括错别字的分词时,输出提醒信息,该提醒信息用于指示所述包括错别字的分词。该步骤的实施同上面结合图2所描述的方法中的步骤S201的实施相同。
图5是根据另一示例性实施例示出的一种文本信息检测方法的流程图,该方法可以应用于用户设备。该用户设备例如可以包括但不限于:手机、智能手机、个人电脑、笔记本电脑、个人数字助理(PDA)、平板电脑等等。如图5所示,在图1所示的方法的基础上,该方法还可以包括以下步骤。
在步骤S501中,在确定文本信息中存在包括错别字的分词时,从相似字库中获取与第四分词匹配的相似分词集合,其中,该第四分词为文本信息中任一包括错别字的分词,并且,该相似分词集合包括至少一个与第四分词相似的分词。
例如,可以首先从确定出的包括错别字的分词中任意选择一包括错别字的分词作为第四分词。之后,根据该第四分词,查询相似字库,获取到与第四分词匹配的相似分词集合。在本公开中,相似字库中存储有大量的互为相似的文字,例如,与“充”字互为相似的文字可以包括“允”、“茺”等。这样,可以将第四分词进行拆字处理,并从相似字库中查询出与每个字相对应的相似文字(例如,与“充”对应的相似文字为“允”和“茺”)。在一实施例中,可以用查询到的相似文字替换原来的文字,以与第四分词中其他原来的文字和/或查询到的与这些其他原来的文字对应的相似文字组成新的分词,该新的分词可以作为与第四分词相似的分词。经查询获得的所有与第四分词相似的分词可以形成为相似分词集合。
例如,假设第四分词为“茺值”,那么经过查询相似字库,可以至少获得“充值”和“允值”这两个分词,作为该第四分词的相近分词,并且这两个分词可以组成相似分词集合。
在步骤S502中,确定所述相似分词集合包括的至少一个分词与分词序列中和第四分词相邻的分词之间的条件概率。
例如,假设分词序列为{“手记”,“停机”,“了”},并且,确定出分词“手记”为包括错别字的分词。那么,可以将“手记”这一分词作为第四分词,从相似字库中获得与“手记”相匹配的相似分词集合,其中,该相似分词集合包括“手机”这一与“手记”相似的分词。之后,可以确定出“手机”与“停机”之间的条件概率。例如,采用2-gram语言模型确定该条件概率。
如另一示例,假设分词序列为{“我”,“手记”,“停机”,“了”},并且,确定出分词“手记”为包括错别字的分词。那么,可以将“手记”这一分词作为第四分词,从相似字库中获得与“手记”相匹配的相似分词集合,其中,该相似分词集合包括“手机”这一与“手记”相似的分词。之后,可以确定出“手机”与“我”、以及“手机”与“停机”之间的条件概率。例如,采用2-gram语言模型确定该条件概率。
在步骤S503中,在所述至少一个分词中存在与和第四分词相邻的分词之间的条件概率大于或等于预设的第三概率阈值的目标分词时,输出目标分词。在本公开中,目标分词是指与包括错别字的分词对应的正确分词。
例如,针对假设的分词序列为{“手记”,“停机”,“了”}这一示例,如果确定出的P(“停机”/“手机”)大于或等于第三概率阈值,则表明相比于“手记”与“停机”的搭配使用,“手机”与“停机”的搭配使用更常用,因此,确定“手记”对应的目标分词为“手机”。或者,针对假设的分词序列为{“我”,“手记”,“停机”,“了”}这一示例,如果确定出的P(“手机”/“我”)和P(“停机”/“手机”)均大于或等于第三概率阈值,则可以确定“手记”对应的目标分词为“手机”。
在本公开中,第三概率阈值与第二概率阈值可以相等,也可以不相等。根据具体应用情况的不同,第二概率阈值和第三概率阈值可以设置为相应的值,本公开对此不赘述。
可以按照步骤S501到步骤S503,输出与文本信息中每一包括错别字的分词对应的目标分词。
由此,可以向用户显示与确定出的包括错别字的分词相对应的目标分词,从而到达向用户自动提示正确的分词的效果。
图6是根据另一示例性实施例示出的一种文本信息检测方法的流程图,该方法可以应用于用户设备。该用户设备例如可以包括但不限于:手机、智能手机、个人电脑、笔记本电脑、个人数字助理(PDA)、平板电脑等等。如图6所示,在图1所示的方法的基础上,该方法还可以包括以下步骤。
在步骤S601中,在确定文本信息中存在包括错别字的分词时,从相似字库中获取与第四分词匹配的相似分词集合,其中,该第四分词为文本信息中任一包括错别字的分词,并且,该相似分词集合包括至少一个与第四分词相似的分词。
在步骤S602中,确定所述相似分词集合包括的至少一个分词与所述分词序列中和所述第四分词相邻的分词之间的条件概率。该步骤S601到步骤S602的实施同上面结合图5所描述的方法中的步骤S501到步骤S502的实施相同。
在步骤S603中,将所述至少一个分词中与和第四分词相邻的分词之间的条件概率之积最大的分词确定为目标分词。
例如,假设分词序列为{“我”,“手记”,“停机”,“了”},通过搜索相似字库,可以获取到与“手记”匹配的相似分词集合为{“手机”,“收集”}。通过语言模型,可以确定出P(“停机”/“手机”)与P(“手机”/“我”)的乘积大于P(“停机”/“收集”)与P(“收集”/“我”)的乘积,因此,可以确定“手机”为“手记”对应的目标分词。
通过这一步骤,可以从相似分词集合中包括的多个分词中,确定对应的分词作为目标分词。
在步骤S604中,输出目标分词。
可以按照步骤S601到步骤S604,输出与文本信息中每一包括错别字的分词对应的目标分词。
由此,可以向用户显示与确定出的包括错别字的分词相对应的目标分词,从而到达向用户自动提示正确的分词的效果。
在本公开的一个实施方式中,相似字库可以被预先构建。或者,在另一实施方式中,在图1所示的方法的基础上,该方法还可以包括构建相似字库的步骤。图7是根据这一示例性实施例示出的一种文本信息检测方法的流程图,该方法可以应用于用户设备。该用户设备例如可以包括但不限于:手机、智能手机、个人电脑、笔记本电脑、个人数字助理(PDA)、平板电脑等等。如图7所示,构建相似字库可以包括以下步骤。
在步骤S701中,从原始字库中获取目标文字,该目标文字为原始字库中的任一文字。其中,原始字库中存储有大量文字,可以从原始字库中获取任一文字作为目标文字。
在步骤S702中,根据序列相似性匹配算法,判断目标文字与原始字库中的第一文字集合中的各文字之间是否相似。其中,第一文字集合是由原始字库中除目标文字之外的预定数量的其他文字组成的。可以通过序列相似性匹配算法,判断出目标文字与第一文字集合中的各文字之间是否相似。
在一个示例实施方式中,该步骤S702可以包括:
分别计算目标文字的拼音序列与第一文字集合中各文字的拼音序列之间的第一编辑距离。在本公开中,第一编辑距离是指两个拼音序列的字符串之间,由一个转成另一个所需的最少编辑操作次数。编辑操作可以包括将一个字符替换成另一个字符,插入一个字符,以及删除一个字符。可以用distance(A,B)表示第一编辑距离,其中,A表示目标文字的拼音序列,B表示第一文字集合中的任一文字的拼音序列。
例如,假设目标文字为“充”,第一文字集合中的文字为“从”,那么二者的拼音序列“chong”和“cong”之间的第一编辑距离distance(A,B)=1。
接下来,分别确定目标文字的拼音序列与第一文字集合中各文字的拼音序列之间的第一最大编辑距离。在本公开中,第一最大编辑距离是指两个拼音序列之间的理论最大编辑距离,其可以等于两个拼音序列的序列长度中的最大值。可以用max(|A|,|B|)表示第一最大编辑距离,其中,|A|表示目标文字的拼音序列的序列长度,|B|表示第一文字集合中的任一文字的拼音序列的序列长度。
例如,假设目标文字为“充”,第一文字集合中的文字为“从”,那么二者的拼音序列“chong”和“cong”之间的第一最大编辑距离max(|A|,|B|)=5。
接下来,在目标文字的拼音序列与第一文字集合中各文字的拼音序列之间的第一编辑距离与第一最大编辑距离之比在第一预设范围内时,确定与第一最大编辑距离之比在第一预设范围内的第一编辑距离对应的文字与目标文字相似。
第一编辑距离与第一最大编辑距离之比可以表示目标文字与第一文字集合中的一个文字之间的音相似性。该比值越小,表明二者之间越相似,易混淆。因此,可以预先设定一较小的第一预设范围,例如,[0,0.25]。如果第一编辑距离与第一最大编辑距离之比在第一预设范围内,则可以确定与第一最大编辑距离之比在第一预设范围内的第一编辑距离对应的文字与目标文字相似。
附加地或替换地,在另一个示例实施方式中,该步骤S702可以包括:
分别计算目标文字的笔顺序列与第一文字集合中各文字的笔顺序列之间的第二编辑距离。在本公开中,第二编辑距离是指两个笔顺序列的字符串之间,由一个转成另一个所需的最少编辑操作次数。编辑操作可以包括将一个字符替换成另一个字符,插入一个字符,以及删除一个字符。可以用distance(A’,B’)表示,其中,A’表示目标文字的笔顺序列,B’表示第一文字集合中的任一文字的笔顺序列。
例如,假设目标文字为“己”,第一文字集合中的文字为“已”,那么二者的笔顺序列“横折,横,竖弯钩”和“横折,横,竖弯钩”之间的第二编辑距离distance(A’,B’)=0。
接下来,分别确定目标文字的笔顺序列与第一文字集合中各文字的笔顺序列之间的第二最大编辑距离。在本公开中,第二最大编辑距离是指两个笔顺序列之间的理论最大编辑距离,其可以等于两个笔顺序列的序列长度中的最大值。可以用max(|A’|,|B’|)表示第二最大编辑距离,其中,|A’|表示目标文字的笔顺序列的序列长度,|B’|表示第一文字集合中的任一文字的笔顺序列的序列长度。
例如,假设目标文字为“己”,第一文字集合中的文字为“已”,那么二者的笔顺序列“横折,横,竖弯钩”和“横折,横,竖弯钩”之间的第二最大编辑距离max(|A’|,|B’|)=8。
接下来,在目标文字的笔顺序列与第一文字集合中各文字的笔顺序列之间的第二编辑距离与第二最大编辑距离之比在第二预设范围内时,确定与第二最大编辑距离之比在第二预设范围内的第二编辑距离对应的文字与目标文字相似。
第二编辑距离与第二最大编辑距离之比可以表示目标文字与第一文字集合中的一个文字之间的形相似性。该比值越小,表明二者之间越相似,易混淆。因此,可以预先设定一较小的第二预设范围,该第二预设范围可以与第一预设范围相同,例如,[0,0.25],或者与第一预设范围不同。如果第二编辑距离与第二最大编辑距离之比在第二预设范围内,则可以确定与第二最大编辑距离之比在第二预设范围内的第二编辑距离对应的文字与目标文字相似。
在步骤S703中,确定与目标文字对应的相似文字集合,其中,该相似文字集合包括第一文字集合中,与目标文字相似的文字。例如,通过步骤S702,可以从第一文字集合中得出被确定为与目标文字相似的所有文字(包括与目标文字音相似的文字,与目标文字形相似的文字,以及与目标文字音相似和与目标文字形相似的文字),这些文字可以形成与目标文字对应的相似文字集合。
可以按照步骤S701到步骤S703,对所有期望的目标文字建立相对应的相似文字集合。
在步骤S704中,利用目标文字和相似文字集合,建立相似字库。
表1示出了一示例相似字库中的目标文字及其对应的相似文字集合的部分内容。
表1
目标文字 | 相似文字集合 |
缴 | {交…} |
充 | {从、丛、冲、允、茺……} |
已 | {己、巳…} |
在一些可能的实施方式中,根据文字应用场景等的不同,还可以对得到的相似文字集合进行进一步地筛选,从而获得用户需要的相似文字集合。这样,不仅可以满足用户的使用需求,还可以降低相似字库的数据量,由此可以提高通过查找相似字库来获取相似分词集合的速率。
图8A是在实施图2至图4B中任一项所示的文本信息检测方法时的场景示意图,图8A中以文本信息检测方法应用于智能手机进行示意。如图8A所示,用户在编辑短信内容时,输入了“我那个手记停机了,帮我冲50块钱的话费”这一文本信息。之后,在用户发送短信之前,智能手机通过实施图2至图4B中任一项所示的文本信息检测方法,可以确定出分词“手记”和“冲”为包括错别字的分词。之后,智能手机可以在确定出的包括错别字的分词下面划线,以向用户提示这些包括错别字的分词。
图8B是在实施图5至图6中任一项所示的文本信息检测方法时的场景示意图,图8B中以文本信息检测方法应用于智能手机进行示意。如图8B所示,用户在编辑短信内容时,输入了“我那个手记停机了,帮我冲50块钱的话费”这一文本信息。之后,在用户发送短信之前,智能手机通过实施图5至图6中任一项所示的文本信息检测方法,可以确定出分词“手记”和“冲”为包括错别字的分词。并且,可以确定出与“手记”对应的目标分词为“手机”,以及与“冲”对应的目标分词为“充”。之后,智能手机可以在确定出的包括错别字的分词下面划线,以向用户提示这些包括错别字的分词,并且,还可以输出目标分词,以向用户提示包括错别字的分词对应的正确分词。
图9是根据一示例性实施例示出的一种文本信息检测装置的框图,该装置可以配置于用户设备。该用户设备例如可以包括但不限于:手机、智能手机、个人电脑、笔记本电脑、个人数字助理(PDA)、平板电脑等等。
如图9所示,该装置可以包括:第一获取模块901,用于获取文本信息;分词处理模块902,用于对所述文本信息进行分词处理,得到所述文本信息的分词序列,其中,所述分词序列包括多个分词;第一条件概率确定模块903,用于确定相邻两个分词之间的条件概率;第一判断模块904,用于根据所述相邻两个分词之间的条件概率,判断所述文本信息中是否存在包括错别字的分词。
图10是根据另一示例性实施例示出的一种文本信息检测装置的框图,该装置可以配置于用户设备。该用户设备例如可以包括但不限于:手机、智能手机、个人电脑、笔记本电脑、个人数字助理(PDA)、平板电脑等等。
如图10所示,该装置还可以包括:第一输出模块1001,用于在确定所述文本信息中存在包括错别字的分词时,输出提醒信息,所述提醒信息用于指示所述包括错别字的分词。
图11A到图11C是根据另一示例性实施例示出的一种文本信息检测装置的框图,该装置可以配置于用户设备。该用户设备例如可以包括但不限于:手机、智能手机、个人电脑、笔记本电脑、个人数字助理(PDA)、平板电脑等等。
如图11A所示,所述第一判断模块904包括:第一确定子模块1101,用于在存在小于预设的第一概率阈值的条件概率时,确定所述小于预设的第一概率阈值的条件概率所对应的两个相邻的分词中的一者包括错别字。
可选地,如图11B所示,分词序列包括至少三个分词;以及,所述第一判断模块904包括:第一判断子模块1102,用于在第二分词与第一分词之间的条件概率小于预设的第二概率阈值时,判断第三分词与所述第二分词之间的条件概率是否小于所述第二概率阈值;第二确定子模块1103,用于在所述第三分词与所述第二分词之间的条件概率小于所述第二概率阈值时,确定所述第二分词包括错别字,其中,所述第一分词、所述第二分词和所述第三分词为所述分词序列中任意相邻的三个分词,并且所述第一分词位于所述第二分词之前,所述第三分词位于所述第二分词之后。
可选地,如图11C所示,在图11B所示的文本信息检测装置的基础上,所述第一判断模块904还包括:第三确定子模块1104,用于在所述第三分词与所述第二分词之间的条件概率大于或等于所述第二概率阈值时,确定所述第一分词包括错别字。
图12A和图12B是根据另一示例性实施例示出的一种文本信息检测装置的框图,该装置可以配置于用户设备。该用户设备例如可以包括但不限于:手机、智能手机、个人电脑、笔记本电脑、个人数字助理(PDA)、平板电脑等等。
如图12A所示,所述装置还可以包括:第二获取模块1201,用于在确定所述文本信息中存在包括错别字的分词时,从相似字库中获取与第四分词匹配的相似分词集合,其中,所述第四分词为所述文本信息中任一包括错别字的分词,并且,所述相似分词集合包括至少一个与所述第四分词相似的分词;第二条件概率确定模块1202,用于确定所述相似分词集合包括的至少一个分词与所述分词序列中和所述第四分词相邻的分词之间的条件概率;第二输出模块1203,用于在所述至少一个分词中存在与和所述第四分词相邻的分词之间的条件概率大于或等于预设的第三概率阈值的目标分词时,输出所述目标分词。
可选地,如图12B所示,所述装置还可以包括:第三获取模块1204,用于在确定所述文本信息中存在包括错别字的分词时,从相似字库中获取与第四分词匹配的相似分词集合,其中,所述第四分词为所述文本信息中任一包括错别字的分词,并且,所述相似分词集合包括至少一个与所述第四分词相似的分词;第三条件概率确定模块1205,用于确定所述相似分词集合包括的至少一个分词与所述分词序列中和所述第四分词相邻的分词之间的条件概率;目标分词确定模块1206,用于将所述至少一个分词中与和所述第四分词相邻的分词之间的条件概率之积最大的分词确定为目标分词;第三输出模块1207,用于输出所述目标分词。
图13是根据另一示例性实施例示出的一种文本信息检测装置的框图,该装置可以配置于用户设备。该用户设备例如可以包括但不限于:手机、智能手机、个人电脑、笔记本电脑、个人数字助理(PDA)、平板电脑等等。
如图13所示,所述装置还包括:相似字库构建模块1301,用于构建相似字库,所述相似字库构建模块1301包括:获取子模块1302,用于从原始字库中获取目标文字,该目标文字为所述原始字库中的任一文字;第二判断子模块1303,用于根据序列相似性匹配算法,判断所述目标文字与所述原始字库中的第一文字集合中的各文字之间是否相似;相似文字集合确定子模块1304,用于确定与所述目标文字对应的相似文字集合,其中,所述相似文字集合包括所述第一文字集合中,与所述目标文字相似的文字;以及相似字库建立子模块1305,用于利用所述目标文字和所述相似文字集合,建立所述相似字库。
图14A和图14B是根据另一示例性实施例示出的一种文本信息检测装置的框图,该装置可以配置于用户设备。该用户设备例如可以包括但不限于:手机、智能手机、个人电脑、笔记本电脑、个人数字助理(PDA)、平板电脑等等。
如图14A所示,所述第二判断子模块1303包括:第一编辑距离计算单元1401,用于分别计算所述目标文字的拼音序列与所述第一文字集合中各文字的拼音序列之间的第一编辑距离;第一最大编辑距离确定单元1402,用于分别确定所述目标文字的拼音序列与所述第一文字集合中各文字的拼音序列之间的第一最大编辑距离;第一相似确定单元1403,用于在所述目标文字的拼音序列与所述第一文字集合中各文字的拼音序列之间的第一编辑距离与第一最大编辑距离之比在第一预设范围内时,确定与第一最大编辑距离之比在第一预设范围内的第一编辑距离对应的文字与所述目标文字相似。
可选地,如图14B所示,所述第二判断子模块1303包括:第二编辑距离计算单元1404,用于分别计算所述目标文字的笔顺序列与所述第一文字集合中各文字的笔顺序列之间的第二编辑距离;第二最大编辑距离确定单元1405,用于分别确定所述目标文字的笔顺序列与所述第一文字集合中各文字的笔顺序列之间的第二最大编辑距离;第二相似确定单元1406,用于在所述目标文字的笔顺序列与所述第一文字集合中各文字的笔顺序列之间的第二编辑距离与第二最大编辑距离之比在第二预设范围内时,确定与第二最大编辑距离之比在第二预设范围内的第二编辑距离对应的文字与所述目标文字相似。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图15是根据一示例性实施例示出的一种文本信息检测装置1500的框图。例如,装置1500可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图15,装置1500可以包括以下一个或多个组件:处理组件1502,存储器1504,电力组件1506,多媒体组件1508,音频组件1510,输入/输出(I/O)的接口1512,传感器组件1514,以及通信组件1516。
处理组件1502通常控制装置1500的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1502可以包括一个或多个处理器1520来执行指令,以完成上述文本信息检测方法的全部或部分步骤。此外,处理组件1502可以包括一个或多个模块,便于处理组件1502和其他组件之间的交互。例如,处理组件1502可以包括多媒体模块,以方便多媒体组件1508和处理组件1502之间的交互。
存储器1504被配置为存储各种类型的数据以支持在装置1500的操作。这些数据的示例包括用于在装置1500上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件1506为装置1500的各种组件提供电力。电力组件1506可以包括电源管理系统,一个或多个电源,及其他与为装置1500生成、管理和分配电力相关联的组件。
多媒体组件1508包括在所述装置1500和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1508包括一个前置摄像头和/或后置摄像头。当装置1500处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1510被配置为输出和/或输入音频信号。例如,音频组件1510包括一个麦克风(MIC),当装置1500处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1504或经由通信组件1516发送。在一些实施例中,音频组件1510还包括一个扬声器,用于输出音频信号。
I/O接口1512为处理组件1502和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1514包括一个或多个传感器,用于为装置1500提供各个方面的状态评估。例如,传感器组件1514可以检测到装置1500的打开/关闭状态,组件的相对定位,例如所述组件为装置1500的显示器和小键盘,传感器组件1514还可以检测装置1500或装置1500一个组件的位置改变,用户与装置1500接触的存在或不存在,装置1500方位或加速/减速和装置1500的温度变化。传感器组件1514可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1514还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1514还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1516被配置为便于装置1500和其他设备之间有线或无线方式的通信。装置1500可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件1516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1516还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置1500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述文本信息检测方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1504,上述指令可由装置1500的处理器1520执行以完成上述文本信息检测方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (21)
1.一种文本信息检测方法,其特征在于,所述方法包括:
获取文本信息;
对所述文本信息进行分词处理,得到所述文本信息的分词序列,其中,所述分词序列包括多个分词;
确定相邻两个分词之间的条件概率;
根据所述相邻两个分词之间的条件概率,判断所述文本信息中是否存在包括错别字的分词;
在确定所述文本信息中存在包括错别字的分词时,从相似字库中获取与第四分词匹配的相似分词集合,其中,所述第四分词为所述文本信息中任一包括错别字的分词,并且,所述相似分词集合包括至少一个与所述第四分词相似的分词;
确定所述相似分词集合包括的至少一个分词与所述分词序列中和所述第四分词相邻的分词之间的条件概率;
根据所述相似分词集合包括的至少一个分词与所述分词序列中和所述第四分词相邻的分词之间的条件概率,确定并输出目标分词,所述目标分词是指与包括错别字的分词对应的正确分词。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在确定所述文本信息中存在包括错别字的分词时,输出提醒信息,所述提醒信息用于指示所述包括错别字的分词。
3.根据权利要求1所述的方法,其特征在于,所述根据所述相邻两个分词之间的条件概率,判断所述文本信息中是否存在包括错别字的分词,包括:
在存在小于预设的第一概率阈值的条件概率时,确定所述小于预设的第一概率阈值的条件概率所对应的两个相邻的分词中的一者包括错别字。
4.根据权利要求1所述的方法,其特征在于,所述分词序列包括至少三个分词;
所述根据所述相邻两个分词之间的条件概率,判断所述文本信息中是否存在包括错别字的分词,包括:
在第二分词与第一分词之间的条件概率小于预设的第二概率阈值时,判断第三分词与所述第二分词之间的条件概率是否小于所述第二概率阈值;
在所述第三分词与所述第二分词之间的条件概率小于所述第二概率阈值时,确定所述第二分词包括错别字,其中,所述第一分词、所述第二分词和所述第三分词为所述分词序列中任意相邻的三个分词,并且所述第一分词位于所述第二分词之前,所述第三分词位于所述第二分词之后。
5.根据权利要求4所述的方法,其特征在于,所述根据所述相邻两个分词之间的条件概率,判断所述文本信息中是否存在包括错别字的分词,还包括:
在所述第三分词与所述第二分词之间的条件概率大于或等于所述第二概率阈值时,确定所述第一分词包括错别字。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述根据所述相似分词集合包括的至少一个分词与所述分词序列中和所述第四分词相邻的分词之间的条件概率,确定并输出目标分词,包括:
在所述至少一个分词中存在与和所述第四分词相邻的分词之间的条件概率大于或等于预设的第三概率阈值的目标分词时,输出所述目标分词。
7.根据权利要求1-5任一项所述的方法,其特征在于,所述根据所述相似分词集合包括的至少一个分词与所述分词序列中和所述第四分词相邻的分词之间的条件概率,确定并输出目标分词,包括:
将所述至少一个分词中与和所述第四分词相邻的分词之间的条件概率之积最大的分词确定为目标分词;
输出所述目标分词。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:构建相似字库,包括:
从原始字库中获取目标文字,该目标文字为所述原始字库中的任一文字;
根据序列相似性匹配算法,判断所述目标文字与所述原始字库中的第一文字集合中的各文字之间是否相似;
确定与所述目标文字对应的相似文字集合,其中,所述相似文字集合包括所述第一文字集合中,与所述目标文字相似的文字;以及
利用所述目标文字和所述相似文字集合,建立所述相似字库。
9.根据权利要求8所述的方法,其特征在于,所述根据序列相似性匹配算法,判断所述目标文字与所述原始字库中的第一文字集合中的各文字之间是否相似,包括:
分别计算所述目标文字的拼音序列与所述第一文字集合中各文字的拼音序列之间的第一编辑距离;
分别确定所述目标文字的拼音序列与所述第一文字集合中各文字的拼音序列之间的第一最大编辑距离;
在所述目标文字的拼音序列与所述第一文字集合中各文字的拼音序列之间的第一编辑距离与第一最大编辑距离之比在第一预设范围内时,确定与第一最大编辑距离之比在第一预设范围内的第一编辑距离对应的文字与所述目标文字相似。
10.根据权利要求8或9所述的方法,其特征在于,所述根据序列相似性匹配算法,判断所述目标文字与所述原始字库中的第一文字集合中的各文字之间是否相似,包括:
分别计算所述目标文字的笔顺序列与所述第一文字集合中各文字的笔顺序列之间的第二编辑距离;
分别确定所述目标文字的笔顺序列与所述第一文字集合中各文字的笔顺序列之间的第二最大编辑距离;
在所述目标文字的笔顺序列与所述第一文字集合中各文字的笔顺序列之间的第二编辑距离与第二最大编辑距离之比在第二预设范围内时,确定与第二最大编辑距离之比在第二预设范围内的第二编辑距离对应的文字与所述目标文字相似。
11.一种文本信息检测装置,其特征在于,所述装置包括:
第一获取模块,用于获取文本信息;
分词处理模块,用于对所述文本信息进行分词处理,得到所述文本信息的分词序列,其中,所述分词序列包括多个分词;
第一条件概率确定模块,用于确定相邻两个分词之间的条件概率;
第一判断模块,用于根据所述相邻两个分词之间的条件概率,判断所述文本信息中是否存在包括错别字的分词;
第二获取模块,用于在确定所述文本信息中存在包括错别字的分词时,从相似字库中获取与第四分词匹配的相似分词集合,其中,所述第四分词为所述文本信息中任一包括错别字的分词,并且,所述相似分词集合包括至少一个与所述第四分词相似的分词;
第二条件概率确定模块,用于确定所述相似分词集合包括的至少一个分词与所述分词序列中和所述第四分词相邻的分词之间的条件概率;
目标分词确定和输出模块,用于根据所述相似分词集合包括的至少一个分词与所述分词序列中和所述第四分词相邻的分词之间的条件概率,确定并输出目标分词,所述目标分词是指与包括错别字的分词对应的正确分词。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:
第一输出模块,用于在确定所述文本信息中存在包括错别字的分词的时,输出提醒信息,所述提醒信息用于指示所述包括错别字的分词。
13.根据权利要求11所述的装置,其特征在于,所述第一判断模块包括:
第一确定子模块,用于在存在小于预设的第一概率阈值的条件概率时,确定所述小于预设的第一概率阈值的条件概率所对应的两个相邻的分词中的一者包括错别字。
14.根据权利要求11所述的装置,其特征在于,所述分词序列包括至少三个分词;以及,所述第一判断模块包括:
第一判断子模块,用于在第二分词与第一分词之间的条件概率小于预设的第二概率阈值时,判断第三分词与所述第二分词之间的条件概率是否小于所述第二概率阈值;
第二确定子模块,用于在所述第三分词与所述第二分词之间的条件概率小于所述第二概率阈值时,确定所述第二分词包括错别字,其中,所述第一分词、所述第二分词和所述第三分词为所述分词序列中任意相邻的三个分词,并且所述第一分词位于所述第二分词之前,所述第三分词位于所述第二分词之后。
15.根据权利要求14所述的装置,其特征在于,所述第一判断模块还包括:
第三确定子模块,用于在所述第三分词与所述第二分词之间的条件概率大于或等于所述第二概率阈值时,确定所述第一分词包括错别字。
16.根据权利要求11-15中任一项所述的装置,其特征在于,所述目标分词确定和输出模块,用于在所述至少一个分词中存在与和所述第四分词相邻的分词之间的条件概率大于或等于预设的第三概率阈值的目标分词时,输出所述目标分词。
17.根据权利要求11-15中任一项所述的装置,其特征在于,所述目标分词确定和输出模块,用于将所述至少一个分词中与和所述第四分词相邻的分词之间的条件概率之积最大的分词确定为目标分词,输出所述目标分词。
18.根据权利要求11所述的装置,其特征在于,所述装置还包括:相似字库构建模块,用于构建相似字库,所述相似字库构建模块包括:
获取子模块,用于从原始字库中获取目标文字,该目标文字为所述原始字库中的任一文字;
第二判断子模块,用于根据序列相似性匹配算法,判断所述目标文字与所述原始字库中的第一文字集合中的各文字之间是否相似;
相似文字集合确定子模块,用于确定与所述目标文字对应的相似文字集合,其中,所述相似文字集合包括所述第一文字集合中,与所述目标文字相似的文字;以及
相似字库建立子模块,用于利用所述目标文字和所述相似文字集合,建立所述相似字库。
19.根据权利要求18所述的装置,其特征在于,所述第二判断子模块包括:
第一编辑距离计算单元,用于分别计算所述目标文字的拼音序列与所述第一文字集合中各文字的拼音序列之间的第一编辑距离;
第一最大编辑距离确定单元,用于分别确定所述目标文字的拼音序列与所述第一文字集合中各文字的拼音序列之间的第一最大编辑距离;
第一相似确定单元,用于在所述目标文字的拼音序列与所述第一文字集合中各文字的拼音序列之间的第一编辑距离与第一最大编辑距离之比在第一预设范围内时,确定与第一最大编辑距离之比在第一预设范围内的第一编辑距离对应的文字与所述目标文字相似。
20.根据权利要求18或19所述的装置,其特征在于,所述第二判断子模块包括:
第二编辑距离计算单元,用于分别计算所述目标文字的笔顺序列与所述第一文字集合中各文字的笔顺序列之间的第二编辑距离;
第二最大编辑距离确定单元,用于分别确定所述目标文字的笔顺序列与所述第一文字集合中各文字的笔顺序列之间的第二最大编辑距离;
第二相似确定单元,用于在所述目标文字的笔顺序列与所述第一文字集合中各文字的笔顺序列之间的第二编辑距离与第二最大编辑距离之比在第二预设范围内时,确定与第二最大编辑距离之比在第二预设范围内的第二编辑距离对应的文字与所述目标文字相似。
21.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括至少一条指令,所述指令被处理器执行时实现权利要求1-10任一所述的文本信息检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510518343.1A CN105159871B (zh) | 2015-08-21 | 2015-08-21 | 文本信息检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510518343.1A CN105159871B (zh) | 2015-08-21 | 2015-08-21 | 文本信息检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105159871A CN105159871A (zh) | 2015-12-16 |
CN105159871B true CN105159871B (zh) | 2018-10-12 |
Family
ID=54800730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510518343.1A Active CN105159871B (zh) | 2015-08-21 | 2015-08-21 | 文本信息检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105159871B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106980620B (zh) * | 2016-01-18 | 2020-07-31 | 阿里巴巴集团控股有限公司 | 一种对中文字串进行匹配的方法及装置 |
CN105550173A (zh) * | 2016-02-06 | 2016-05-04 | 北京京东尚科信息技术有限公司 | 文本校正方法和装置 |
CN106454771A (zh) * | 2016-10-28 | 2017-02-22 | 努比亚技术有限公司 | 一种信息发送方法、装置及终端 |
CN108664201B (zh) | 2017-03-29 | 2021-12-28 | 北京搜狗科技发展有限公司 | 一种文本编辑方法、装置及电子设备 |
CN107679036A (zh) * | 2017-10-12 | 2018-02-09 | 南京网数信息科技有限公司 | 一种错别字监测方法及系统 |
CN108563634A (zh) * | 2018-03-29 | 2018-09-21 | 广州视源电子科技股份有限公司 | 文字拼写错误的识别方法、系统、计算机设备及存储介质 |
CN108829665B (zh) * | 2018-05-22 | 2022-05-31 | 广州视源电子科技股份有限公司 | 错别字检测方法、装置及计算机可读存储介质、终端设备 |
CN108984515B (zh) * | 2018-05-22 | 2022-09-06 | 广州视源电子科技股份有限公司 | 错别字检测方法、装置及计算机可读存储介质、终端设备 |
CN111259654B (zh) * | 2018-11-30 | 2023-09-15 | 北京嘀嘀无限科技发展有限公司 | 一种文本检错方法及装置 |
CN110363194B (zh) * | 2019-06-17 | 2023-05-02 | 深圳壹账通智能科技有限公司 | 基于nlp的智能阅卷方法、装置、设备及存储介质 |
CN110852091B (zh) * | 2019-11-11 | 2023-08-15 | 杭州安恒信息技术股份有限公司 | 错别字的监测方法、装置、电子设备和计算机可读介质 |
CN111079421B (zh) * | 2019-11-25 | 2023-09-26 | 北京小米智能科技有限公司 | 一种文本信息分词处理的方法、装置、终端及存储介质 |
CN114936549B (zh) * | 2022-06-06 | 2024-02-13 | 湖南环境生物职业技术学院 | 一种人工智能的文字校对方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1193779A (zh) * | 1997-03-13 | 1998-09-23 | 国际商业机器公司 | 中文语句分词方法及其在中文查错系统中的应用 |
CN102375807A (zh) * | 2010-08-27 | 2012-03-14 | 汉王科技股份有限公司 | 文字校对方法和装置 |
-
2015
- 2015-08-21 CN CN201510518343.1A patent/CN105159871B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1193779A (zh) * | 1997-03-13 | 1998-09-23 | 国际商业机器公司 | 中文语句分词方法及其在中文查错系统中的应用 |
CN102375807A (zh) * | 2010-08-27 | 2012-03-14 | 汉王科技股份有限公司 | 文字校对方法和装置 |
Non-Patent Citations (4)
Title |
---|
中文文字差错率统计软件的实现;曹林峰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20090715(第7期);第I138-I241页 * |
中文文字差错率统计软件的实现;曹林峰;《中国优秀硕士学位论文全文数据库信息科技辑》;20090715(第7期);第I138-I241页 * |
基于决策列表的中文同音词自动识别与校对;石敏 等;《电子设计工程》;20150531;第23卷(第9期);第39-41页 * |
基于改进编辑距离的字符串相似度求解算法;姜华;《计算机工程》;20140131;第40卷(第1期);第223页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105159871A (zh) | 2015-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105159871B (zh) | 文本信息检测方法及装置 | |
CN105404863B (zh) | 人物特征识别方法及系统 | |
CN107239535A (zh) | 相似图片检索方法及装置 | |
JP6393840B2 (ja) | 情報表示方法、装置、プログラム及び記録媒体 | |
CN107944447B (zh) | 图像分类方法及装置 | |
CN104731688B (zh) | 提示阅读进度的方法及装置 | |
CN105389296A (zh) | 信息分割方法及装置 | |
CN104536935B (zh) | 计算显示方法、计算编辑方法及装置 | |
CN105094814A (zh) | 通知消息展示方法和装置 | |
CN103885712B (zh) | 网页调整方法、装置及电子设备 | |
CN107492115A (zh) | 目标对象的检测方法及装置 | |
CN105224601B (zh) | 一种提取时间信息的方法和装置 | |
CN104793843B (zh) | 桌面显示方法及装置 | |
CN104636164B (zh) | 启动页面生成方法及装置 | |
CN105654533A (zh) | 图片编辑方法及装置 | |
CN105426878A (zh) | 人脸聚类方法及装置 | |
CN107506246A (zh) | 信息展示方法、装置及计算机可读存储介质 | |
CN104615663A (zh) | 文件排序方法、装置及终端 | |
CN105095366A (zh) | 文字消息处理方法和装置 | |
CN105511777A (zh) | 触控显示屏上的会话显示方法及装置 | |
CN107037888B (zh) | 一种输入方法、装置和用于输入的装置 | |
CN105631450A (zh) | 字符识别方法及装置 | |
CN106980409A (zh) | 输入控制方法及装置 | |
CN105094297A (zh) | 显示内容的缩放方法及装置 | |
CN103970831B (zh) | 推荐图标的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |