CN110807322A - 基于信息熵识别新词的方法、装置、服务器及存储介质 - Google Patents
基于信息熵识别新词的方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN110807322A CN110807322A CN201910885192.1A CN201910885192A CN110807322A CN 110807322 A CN110807322 A CN 110807322A CN 201910885192 A CN201910885192 A CN 201910885192A CN 110807322 A CN110807322 A CN 110807322A
- Authority
- CN
- China
- Prior art keywords
- word
- participle
- collocated
- information
- information entropy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000011218 segmentation Effects 0.000 claims abstract description 164
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及大数据技术领域，公开一种基于信息熵识别新词的方法，包括：获取待处理文本中的目标短语，将目标短语划分为第一分词和第二分词，并分别读取第一分词的信息和第二分词的信息，获取第一分词的右搭配词和所述第二分词的左搭配词，并统计第一分词与所述右搭配词的共现词频以及所述第二分词与左搭配词的共现词频；通过预置概率公式和通过预置信息熵公式，计算出第一分词的右信息熵和第二分词的左信息熵；在第一分词的右信息熵和第二分词的左信息熵均小于第一预置阈值时，确定目标短语为新词。本发明还公开了一种装置、服务器及存储介质。通过对短语进行分词来计算信息熵值，获取待处理文本中新词的不确定性，从而识别出新词，提高了识别率。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种基于信息熵识别新词的方法、装置、服务器及计算机可读存储介质。
背景技术
对于文章中出现的新词及关键词短语，进行初分词时分词系统不易识别，于是将他们分开，如“机器/学习”。但是，在文章中其作为一个整体，分开将会导致歧义或者语义不完整，这会影响到对新闻等文章的关键词提取结果的准确性。
目前比较流行的中文分词系统，如nlpir分词系统，尽管基于信息熵添加了新词识别功能，但对于多个分词与分词短语或者新词同时出现的情况，仍然不能实现较好的分词效果。例如，文本中机器学习为一个新词或者关键词短语，但是文本中同时也出现了多个独立的机器与学习这两个分词。目前的分词系统不能对短语进行分词识别，从而识别不出多个分词和分词短语中的新词，导致识别率低。
发明内容
本发明的主要目的在于提供一种基于信息熵识别新词的方法，旨在解决现有技术目前的分词系统不能对短语进行分词，从而识别不出多个分词和分词短语中的新词，导致识别率低的技术问题。
为实现上述目的，本发明提供一种基于信息熵识别新词的方法，所述基于信息熵识别新词的方法包括：
获取待处理文本中的目标短语，将所述目标短语划分为第一分词和第二分词，并分别读取所述第一分词的信息和所述第二分词的信息；
基于所述第一分词的信息和所述第二分词的信息，获取所述第一分词的右搭配词和所述第二分词的左搭配词，并统计所述第一分词与所述右搭配词的共现词频以及所述第二分词与所述左搭配词的共现词频；
通过预置概率公式、所述第一分词与所述右搭配词的共现词频以及所述第二分词与所述左搭配词的共现词频，计算出所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值；
通过预置信息熵公式、所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值，计算出所述第一分词的右信息熵和所述第二分词的左信息熵；
在所述第一分词的右信息熵和所述第二分词的左信息熵均小于第一预置阈值时，确定所述目标短语为新词。
可选的，所述获取待处理文本中的目标短语，将所述目标短语划分为第一分词和第二分词，并分别读取所述第一分词的信息和所述第二分词的信息，包括：
获取待处理文本中的目标短语，调取中文分词系统中的分词属性判断所述目标短语是否为新词；
当判定所述短语不是新词时，启动所述中文分词系统中的中文分词序列将所述短语分为第一分词和第二分词，并获取所述第一分词的名称信息以及所述第二分词的名称信息，其中，所述第一分词和第二分词组合成所述目标短语。
可选的，所述基于所述第一分词的信息和所述第二分词的信息，获取所述第一分词的右搭配词和所述第二分词的左搭配词，并统计所述第一分词与所述右搭配词的共现词频以及所述第二分词与所述左搭配词的共现词频，包括：
将所述第一分词的名称信息和所述第二分词的名称信息作为索引条件，获取所述第一分词在所述待处理文本中的位置、第一词频以及所述第二分词在所述待处理文本中的位置和第二词频；
基于所述第一分词在所述待处理文本中的位置和所述第二分词在所述待处理文本中的位置，获取所述第一分词的右搭配词和所述第二分词的左搭配词，并分别统计所述第一分词与所述右搭配词的共现词频和所述第二分词与所述左搭配词的共现词频。
可选的，所述通过预置概率公式，计算出所述第一分词与所述右搭配词的共现和所述第二分词与所述左搭配词的共现概率值，包括：
在获取到第一分词与所述右搭配词和所述第二分词与所述左搭配词的共现词频，调取预置概率公式；
通过分别将所述第一分词与所述右搭配词的共现词频、所述第一词频以及所述第二分词与所述左搭配词的共现词频和所述第二词频代入到所述预置概率计算公式中，得到所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值。
可选的，所述通过预置信息熵公式、所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值，计算出所述第一分词的右信息熵或所述第二分词的左信息熵，包括：
在获取所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值，调取预置信息熵公式；
通过分别将所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值代入到所述预置信息熵公式中，计算出所述第一分词的右信息熵或所述第二分词的左信息熵。
可选的，在所述第一分词的右信息熵和所述第二分词的左信息熵均小于第一预置阈值时，确定所述目标短语为新词，包括：
当提取到所述第一预置阈值为0.9时，判断所述第一分词的右信息熵和所述第二分词的左信息熵是否小于0.9；
当所述第一分词的右信息熵和所述第二分词的左信息熵小于均所述第一预置阈值0.9时，确定所述目标短语为新词。
可选的，所述在第一分词的右信息熵和所述第二分词的左信息熵均小于或等于第一预置阈值时，确定所述目标短语为新词之后，还包括：
当所述第一分词的右信息熵和/或所述第二分词的左信息熵大于或等于所述第一预置阈值0.9时，获取所述目标短语在所述待处理文本中的共现词频；
在所述目标短语在所述待处理文本中的共现词频大于第二预置阈值5时，确定所述目标短语为新词。
此外，为实现上述目的，本发明还提供一种基于信息熵识别新词的装置，所述基于信息熵识别新词的装置包括：
读取单元，用于获取待处理文本中的目标短语，将所述目标短语划分为第一分词和第二分词，并分别读取所述第一分词的信息和所述第二分词的信息；
统计单元，用于基于所述第一分词的信息和所述第二分词的信息，获取所述第一分词的右搭配词和所述第二分词的左搭配词，并统计所述第一分词与所述右搭配词的共现词频以及所述第二分词与所述左搭配词的共现词频；
第一计算单元，用于通过预置概率公式、所述第一分词与所述右搭配词的共现词频以及所述第二分词与所述左搭配词的共现词频，计算出所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值；
第二计算单元，用于通过预置信息熵公式、所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值，计算出所述第一分词的右信息熵和所述第二分词的左信息熵；
第一确定单元，在所述第一分词的右信息熵和所述第二分词的左信息熵均小于第一预置阈值时，确定所述目标短语为新词。
可选的，所述读取单元具体用于：
获取待处理文本中的目标短语，调取中文分词系统中的分词属性判断所述目标短语是否为新词；
当判定所述短语不是新词时，启动所述中文分词系统中的中文分词序列将所述短语分为第一分词和第二分词，并获取所述第一分词的名称信息以及所述第二分词的名称信息，其中，所述第一分词和第二分词组合成所述目标短语。
可选的，所述统计单元具体用于：
将所述第一分词的名称信息和所述第二分词的名称信息作为索引条件，获取所述第一分词在所述待处理文本中的位置、第一词频以及所述第二分词在所述待处理文本中的位置和第二词频；
基于所述第一分词在所述待处理文本中的位置和所述第二分词在所述待处理文本中的位置，获取所述第一分词的右搭配词和所述第二分词的左搭配词，并分别统计所述第一分词与所述右搭配词的共现词频和所述第二分词与所述左搭配词的共现词频的共现词频。
可选的，所述第一计算单元具体用于：
在获取到第一分词与所述右搭配词和所述第二分词与所述左搭配词的共现词频，调取所述预置概率公式；
通过分别将所述第一分词与所述右搭配词的共现词频、所述第一词频以及所述第二分词与所述左搭配词的共现词频和所述第二词频代入到所述预置概率计算公式中，得到所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值。
可选的，所述第二计算单元具体用于：
在获取所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值，调取预置信息熵公式；
通过分别将所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值代入到所述预置信息熵公式中，计算出所述第一分词的右信息熵或所述第二分词的左信息熵。
可选的，所述第一确定单元具体用于：
当提取到所述第一预置阈值为0.9时，判断所述第一分词的右信息熵和所述第二分词的左信息熵是否小于0.9；
在所述第一分词的右信息熵和所述第二分词的左信息熵小于均所述第一预置阈值0.9时，确定所述目标短语为新词。
可选的，所述基于信息熵识别新词的装置，还包括：
获取单元，用于当所述第一分词的右信息熵和/或所述第二分词的左信息熵大于或等于所述第一预置阈值0.9时，获取所述目标短语在所述待处理文本中的共现词频；
第二确定单元，用于在所述目标短语在所述待处理文本中的共现词频大于第二预置阈值5时，确定所述目标短语为新词。
此外，为实现上述目的，本发明还提供一种服务器，所述服务器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于信息熵识别新词程序，所述基于信息熵识别新词程序被所述处理器执行时实现如上发明所述的基于信息熵识别新词的方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于信息熵识别新词程序，所述基于信息熵识别新词程序被处理器执行时实现如上发明所述的基于信息熵识别新词的方法的步骤。
本发明实施例提出的一种基于信息熵识别新词的方法、装置、服务器及计算机可读存储介质，通过获取待处理文本中的目标短语，将所述目标短语划分为第一分词和第二分词，并分别读取所述第一分词的信息和所述第二分词的信息；基于所述第一分词的信息和所述第二分词的信息，获取所述第一分词的右搭配词和所述第二分词的左搭配词，并统计所述第一分词与所述右搭配词的共现词频以及所述第二分词与所述左搭配词的共现词频；通过预置概率公式、所述第一分词与所述右搭配词的共现词频以及所述第二分词与所述左搭配词的共现词频，计算出所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值；通过预置信息熵公式、所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值，计算出所述第一分词的右信息熵和所述第二分词的左信息熵；在所述第一分词的右信息熵和所述第二分词的左信息熵均小于第一预置阈值时，确定所述目标短语为新词，实现了通过对短语进行分词来计算信息熵值，获取待处理文本中新词的不确定性，从而识别出新词，提高了识别率
附图说明
图1为本发明实施例方案涉及的硬件运行环境的服务器结构示意图；
图2为本发明基于信息熵识别新词的方法的第一实施例的流程示意图；
图3为本发明基于信息熵识别新词的方法的第二实施例的流程示意图；
图4为本发明基于信息熵识别新词的方法的第三实施例的流程示意图；
图5为本发明基于信息熵识别新词的方法的第四实施例的流程示意图；
图6为本发明基于信息熵识别新词的方法的第五实施例的流程示意图；
图7为本发明基于信息熵识别新词的方法的第六实施例的流程示意图；
图8为本发明基于信息熵识别新词的方法的第七实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：通过获取待处理文本中的目标短语，将目标短语划分为第一分词和第二分词，并分别读取第一分词的信息和第二分词的信息；基于第一分词的信息和第二分词的信息，获取第一分词的右搭配词和第二分词的左搭配词，并统计第一分词与右搭配词的共现词频以及第二分词与左搭配词的共现词频；通过预置概率公式、第一分词与右搭配词的共现词频以及第二分词与左搭配词的共现词频，计算出第一分词与右搭配词的共现概率值和第二分词与左搭配词的共现概率值；通过预置信息熵公式、第一分词与右搭配词的共现概率值和第二分词与左搭配词的共现概率值，计算出第一分词的右信息熵和第二分词的左信息熵；在第一分词的右信息熵和第二分词的左信息熵均小于第一预置阈值时，确定目标短语为新词。
由于现有技术仅目前的分词系统不能对短语进行分词，从而识别不出多个分词和分词短语中的新词，导致识别率低的技术问题。
本发明提供一种解决方案，通过对短语进行切分来计算分词的信息熵值，以此判定待处理文本中短语的不确定性，从而识别出新词，提高了识别率。
如图1所示，图1为本发明实施例方案涉及的硬件运行环境的服务器结构示意图。
本发明实施例终端为服务器。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于信息熵识别新词程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的基于信息熵识别新词程序，并执行以下操作：
获取待处理文本中的目标短语，将目标短语划分为第一分词和第二分词，并分别读取第一分词的信息和第二分词的信息；
基于第一分词的信息和第二分词的信息，获取第一分词的右搭配词和第二分词的左搭配词，并统计第一分词与右搭配词的共现词频以及第二分词与左搭配词的共现词频；
通过预置概率公式、第一分词与右搭配词的共现词频以及第二分词与左搭配词的共现词频，计算出第一分词与右搭配词的共现概率值和第二分词与左搭配词的共现概率值；
通过预置信息熵公式、第一分词与右搭配词的共现概率值和第二分词与左搭配词的共现概率值，计算出第一分词的右信息熵和第二分词的左信息熵；
在第一分词的右信息熵和第二分词的左信息熵均小于第一预置阈值时，确定目标短语为新词。
进一步地，处理器1001可以调用存储器1005中存储的基于信息熵识别新词程序，还执行以下操作：
获取待处理文本中的目标短语，调取中文分词系统中的分词属性判断目标短语是否为新词；
当判定目标短语不是新词时，启动中文分词系统中的中文分词序列将短语分为第一分词和第二分词，并获取第一分词的名称信息以及第二分词的名称信息，其中，第一分词和第二分词组合成目标短语。
进一步地，处理器1001可以调用存储器1005中存储的基于信息熵识别新词程序，还执行以下操作：
将第一分词的名称信息和第二分词的名称信息作为索引条件，获取第一分词在待处理文本中的位置、第一词频以及第二分词在所述待处理文本中的位置和第二词频；
基于第一分词在待处理文本中的位置和第二分词在待处理文本中的位置，获取第一分词的右搭配词和第二分词的左搭配词，并分别统计第一分词与右搭配词的共现词频和第二分词与左搭配词的共现词频。
进一步地，处理器1001可以调用存储器1005中存储的基于信息熵识别新词程序，还执行以下操作：
在获取到第一分词与右搭配词的共现词频和第二分词与左搭配词的共现词频，调取预置概率公式；
通过分别将第一分词与右搭配词的共现词频、所述第一词频以及和第二分词与左搭配词的共现词频和所述第二词频代入到预置概率计算公式中，得到第一分词与右搭配词的共现概率值和第二分词与左搭配词的共现概率值。
进一步地，处理器1001可以调用存储器1005中存储的基于信息熵识别新词程序，还执行以下操作：
在获取第一分词与右搭配词的共现概率值和第二分词与左搭配词的共现概率值，调取预置信息熵公式；
通过分别将第一分词与右搭配词的共现概率值和第二分词与左搭配词的共现概率值代入到预置信息熵公式中，计算出第一分词的右信息熵或第二分词的左信息熵。
进一步地，处理器1001可以调用存储器1005中存储的基于信息熵识别新词程序，还执行以下操作：
当提取到第一预置阈值为0.9时，判断第一分词的右信息熵和第二分词的左信息熵是否小于0.9；
在第一分词的右信息熵和第二分词的左信息熵小于均第一预置阈值0.9时，确定目标短语为新词。
进一步地，处理器1001可以调用存储器1005中存储的基于信息熵识别新词程序，还执行以下操作：
当第一分词的右信息熵和/或第二分词的左信息熵大于或等于第一预置阈值0.9时，获取目标短语在待处理文本中的共现词频；
在目标短语在待处理文本中的共现词频大于第二预置阈值5时，确定目标短语为新词。
参照图2，本发明为基于信息熵识别新词的方法的第一实施例，所述基于信息熵识别新词的方法包括：
步骤S10，获取待处理文本中的目标短语，将目标短语划分为第一分词和第二分词，并分别读取第一分词的信息和第二分词的信息；
服务器获取待处理文本中的目标短语，例如，服务器调取预置的字符识别软件对该待处理文本进行识别，获取待处理文本中的所有字符，其中，字符包括数字、字母以及中英文等组成的短语。服务器在获取到目标短语时，调取中文分词系统将该短语进行划分为第一分词和第二分词，其中，中文分词系统不仅仅将短语划分为第一分词和第二分词，也可以划分为第一分词、第二分词、第三分词等，并获取第一分词的词性、属性、名称、词频等信息。
步骤S20，基于第一分词的信息和第二分词的信息，获取第一分词的右搭配词和第二分词的左搭配词，并统计第一分词与右搭配词的共现词频以及第二分词与左搭配词的共现词频；
服务器在分别获取到第一分词和第二分词的信息时，获取第一分词的右搭配词和第二分词的左搭配词。具体为服务器在获取到第一分词的名称信息时，将第一分词的名称信息作为搜索条件，获取到第一分词在待处理文本中出现的位置，将第一分词的右边的第一个分词作为第一分词的右搭配词，其中，右搭配词可以是标点符号、空格、介词、动词等，但第一分词为动词时，右搭配词不能是名词，且第一分词与右搭配词的共现词频大于1，其中右搭配词至少为一个；在获取到第二分词的名称信息时，同样，将第二分词的名称信息作为搜索条件，获取第二分词在待处理文本中出现的位置，将第二分词左边的第一个分词作为该第二分词的左搭配词，其中，左搭配词可以是标点符号、空格、介词、名词等，但左搭配词为名词时第二分词不能是动词，且第二分词与左搭配词的共现词频大于1，其中左搭配词至少为一个，并分别获取第一分词与右搭配词共同出现的词频和第二分词与左搭配词共同出现的词频，中间不能够出现其它的分词。
步骤S30，通过预置概率公式、第一分词与右搭配词的共现词频以及第二分词与左搭配词的共现词频，计算出第一分词与右搭配词的共现概率值和第二分词与左搭配词的共现概率值；
服务器在获取到第一分词与右搭配词的共现词频和第二分词与左搭配词的共现词频时，调取预置概率计算公式，分别计算出第一分词与右搭配词的共现概率值以及第二分词与左搭配词的共现概率值，具体实施为，将获取到的第一分词的词频和第二分词的词频分别作为整个事件的总值，将第一分词与右搭配词的共现词频作为分子除以第一分词的词频，其中，第一分词的词频包括第一分词与右搭配词的共现词频和该短语的词频(短语包括第一分词)以及第一分词与其它分词出现的词频，得到该第一分词与右搭配词的共现概率值；将第二分词与左搭配词的共现词频作为分子除以第二分词的词频，其中，第二分词的词频包括第二分词与左搭配词的共现词频和短语的词频(短语包括第二分词)以及第二分词与其它分词出现的词频，得到该第二分词与左搭配词的共现概率值。
步骤S40，通过预置信息熵公式、第一分词与右搭配词的共现概率值和第二分词与左搭配词的共现概率值，计算出第一分词的右信息熵和第二分词的左信息熵；
服务器在获取到第一分词与右搭配词的共现概率值和第二分词与左搭配词的共现概率值时，调取预置信息熵公式。将第一分词与右搭配次的共现概率值代入到该预置信息熵中，通过计算得到第一分词的右信息熵；同时，将第二分词与左搭配词的共现概率值带入到预置信息熵公式中，通过计算得到第二分词的左信息熵。
步骤S50，在第一分词的右信息熵和第二分词的左信息熵均小于第一预置阈值时，确定目标短语为新词
服务器在获取到第一分词的右信息熵和第二分词的左信息熵时，判断该第一分词的右信息熵和第二分词的左信息熵是否小于第一预置阈值。当第一分词的右信息熵和第二分词的左信息熵小于第一预置阈值时，判定该目标短语为新词，具体的实施方式为，在获取到第一分词的右信息熵或第二分词的左信息熵时，调取小于第一预置阈值的数据库，将该第一分词右信息熵或第二分词的左信息熵与该数据库中的数据进行匹配，当匹配成功时，则该第一分词右信息熵或第二分词的左信息熵小于第一预置阈值，确定目标短语为新词。
在本实施例中，通过将目标短语分为第一分词和第二分词，分别读取第一分词和第二分词在文本中的信息，获取到第一分词的右搭配词和第二分词的左搭配词，并统计第一分词与右搭配词的共现词频和第二分词与左搭配词的共现词频，通过预置概率公式，获取第一分词与右搭配词的共现概率值和第二分词与左搭配词的共现概率值，通过预置信息熵公式，计算得到第一分词的右信息熵和第二分词的左信息熵，在第一分词的右信息熵和第二分词的左信息熵小于第一预置阈值时，判定该短语为新词，通过对短语进行切分来计算分词的信息熵值，以此判定待处理文本中短语的不确定性，从而识别出新词，提高了识别率。
进一步的，参照图3，图3为本发明基于信息熵识别新词的方法提供的第二实施例，基于上述图2所示的实施例，步骤S10包括:
步骤S11，获取待处理文本中的目标短语，调取中文分词系统中的分词属性判断目标短语是否为新词；
步骤S12，当判定短语不是新词时，调取中文分词系统中的中文分词序列将短语分为第一分词和第二分词，并获取第一分词的名称信息以及第二分词的名称信息，其中，第一分词和第二分词组合成目标短语。
服务器在获取到待处理文本中的目标短语时，调取中文分词系统中的分词属性判断该短语是否为新词。中文分词系统(Chinese Word Segmentation)指的是将一个汉字字符序列切分成一个一个单独的词。中文分词是文本挖掘的基础，对于输入的一段中文，成功的进行中文分词，可以达到自动识别语句含义的效果。把所有的词都存入中文分词系统中，扫描带处理的文本，查找所有可能的词，然后看哪个词可以作为输出。如：待处理文本:我是学生；词:我/是/学生。中文分词系统中的记载了不同短语的属性，服务器在该中文分析系统中没有查找到该短语的属性时，判定该短语不是新词。服务器在判定该短语不是新词时，启动中文分词系统对该短语进行分词，中文分词系统基于中文分词序列将该短语进行划分为第一分词和第二分词并分别获取到第一分词和第二分词的名称信息，也可以根据短语划分为多个分词，不仅限与第一分词和第二分词，其中，第一分词和第二分词组成短语，且第一分词与第二分词之间没有其他字符，更无标点符号。
在本实施例中，服务器在获取到待处理文本中的目标短语时，调取中文分词系统中的分词属性判断该短语是否为新词，当判定该短语不是新词时，调取中文分词系统中的中文分词系列将目标短语分为第一分词和第二分词，并分别读取第一分词的名称信息和第二分词的名称信息，先通过中文分词系统的分词属性对目标短语进行判定，在通过中文分词系统的中文分词系列对目标短语进行分词，提高识别新词的效率。
参照图4，图4为本发明基于信息熵识别新词的方法提供的第三实施例，基于上述图2所示的实施例，步骤S20，包括:
步骤S21，将第一分词的名称信息和第二分词的名称信息作为索引条件，获取第一分词在所述待处理文本中的位置、第一词频以及第二分词在所述待处理文本中的位置和第二词频；
步骤S22，基于第一分词在所述待处理文本中的位置和第二分词在待处理文本中的位置，获取第一分词的右搭配词和第二分词的左搭配词，并分别统计第一分词与所述右搭配词的共现词频和第二分词与所述左搭配词的共现词频。
服务器在获取到第一分词和第二分词的名称信息时，分别将第一分词的名称信息和第二分词的名称信息作为搜索条件在待处理文本中进行搜索，在待处理文本中搜索到与第一分词的名称信息相同的分词时，获取第一分词在待处理文本中的位置，例如，通过在待处理文本中进行显示，显示的方式可以用亮度、颜色等进行标记，再识别亮度或颜色等标记获取到第一分词在待处理文本中的位置时，将第一分词的右边的第一个词作为第一分词的右搭配词，并记录待处理文本中第一分词与右搭配词的共现词频N1。在待处理文本中搜索到与第二分词的名称信息相同的分词时，在待处理文本中进行显示，显示的方式可以用亮度、颜色等进行标记，获取该第二分词的左搭配词并记录待处理文本中第二分词与左搭配词的共现词频N2。
在本实施例中，服务器在获取到第一分词的名称信息和第二分词的名称信息时，将第一分词的名称信息和第二分词的名称信息作为索引，获取第一分词在待处理文本中的位置和词频以及第二分词在待处理文本中的位置和词频，基于第一分词的位置和第二分词的位置，获取第一分词的右搭配词和第二分词的左搭配词，并分别统计第一分词与右搭配词的共现词频和第二分词与左搭配词的共现词频，从而快速的获取第一分词的右搭配词和词频以及第二分词的左搭配词和词频。
参照图5，图5为本发明基于信息熵识别新词的方法提供的第四实施例，基于上述图2所示的实施例，步骤S30包括:
步骤S31，在获取到第一分词与所述右搭配词的共现词频和第二分词与左搭配词的共现词频，调取预置概率公式；
步骤S32，通过分别将第一分词与右搭配词的共现词频、所述第一词频以及和第二分词与左搭配词的共现词频和所述第二词频代入到预置概率计算公式中，得到第一分词与所述右搭配词的共现概率值和第二分词与左搭配词的共现概率值。
服务器在获取到第一分词与右搭配词的共现词频N1和第二分词与左搭配词的共现词频N2，调取预置概率计算公式P(Nx)＝Nx÷N，将获取到的第一分词与右搭配词的共现词频N1以及第一分词的词频带入到预置概率计算公式中，通过计算得到第一分词与右搭配词的共现概率值P1。Nx为第一分词与右搭配词的共现词频N1，N为第一分词的第一词频，第一分词的第一词频包括目标短语的词频、第一分词与右搭配词的词频以及第一分词与其它右搭配词的词频。将获取到的第二分词与左搭配词的共现词频和第二分词的词频N2代入到预置概率计算公式中，通过计算得到第二分词与左搭配词的共现概率值P2。Nx第二分词与右搭配词的共现词频N2，N为第二分词的第二词频，第二分词的词频包括目标短语的词频、第二分词与右搭配词的词频以及第二分词与其它右搭配词的词频。
在本实施例中，服务器在获取到第一分词与右搭配词的共现词频和第二分词与左搭配词的共现词频，通过预置概率公式，获取第一分词与右搭配词的概率值以及第二分词与左搭配词的概率值，通过概率计算公式得到第一分词与右搭配词在待处理文本中出现的概率和第二分词与左搭配词在待处理文本中出现的概率。
参照图6，图6为本发明基于信息熵识别新词的方法提供的第五实施例，基于上述图2所示的实施例，步骤S40包括:
步骤S41，在获取第一分词与右搭配词的共现概率值P1和第二分词与左搭配词的共现概率值，调取预置信息熵公式；
步骤S42，通过分别将第一分词与右搭配词的共现概率值和第二分词与左搭配词的共现概率值代入到预置信息熵公式中，计算出第一分词的右信息熵或第二分词的左信息熵。
服务器在获取到第一分词与右搭配词的共现概率值P1和第二分词与左搭配词的共现概率值P2时，调取预置信息熵公式
其中，i为1，将获取到第一分词与右搭配词的共现概率值P1代入到预置信息熵公式中，通过计算得到第一分词的右搭配词的信息熵值；将获取到第二分词与左搭配词的共现概率值P2代入到预置信息熵公式中，通过计算得到第二分词的左搭配词的信息熵值。
在本实施例中，服务器在获取到第一分词与右搭配词的共现概率值P1代入到预置信息熵公式中，通过计算得到第一分词的右搭配词的信息熵值；将获取到第二分词与左搭配词的共现概率值P2代入到预置信息熵公式中，通过计算得到第二分词的左搭配词的信息熵值，通过预置信息熵公式计算出第一分词的右搭配词的信息熵值和第二分词的左搭配词的信息熵值。
参照图7，图7为本发明基于信息熵识别新词的方法提供的第六实施例，基于上述图2所示的实施例，步骤S50包括:
步骤S51，当提取到第一预置阈值为0.9时，判断第一分词的右信息熵和第二分词的左信息熵是否小于0.9；
步骤S52，在第一分词的右信息熵和第二分词的左信息熵小于均第一预置阈值0.9时，确定目标短语为新词。
当服务器计算得到第一分词的右信息熵和第二分词的左信息熵，获取第一预置阈值0.9，判断第一分词的右信息熵或第二分词的左信息熵是否小于第一预置阈值0.9，当第一分词的右信息熵或第二分词的左信息熵小于第一预置阈值0.9时，确定该目标短语为新词。例如，当获取到的第一分词的右信息熵为0.91，第二分词的左信息熵为0.92时，服务器判定目标短语为新词。
在本实施例中，服务器在获取到第一分词的右信息熵和第二分词的左信息熵时，判断第一分词的右信息熵或第二分词的左信息熵是否小于第一预置阈值0.9，在第一分词的右信息熵或第二分词的左信息熵小于第一预置阈值0.9时，确定该目标短语为新词，通过基于信息熵的不确定性，获取信息熵的值来确定对应的短语为新词。
参照图8，图8为本发明基于信息熵识别新词的方法提供的第七实施例，基于上述图7所示的实施例，步骤S51之后，还包括:
步骤S60，当第一分词的右信息熵和/或第二分词的左信息熵大于或等于第一预置阈值0.9时，获取目标短语在待处理文本中的共现词频；
步骤S70，在目标短语在待处理文本中的共现词频大于第二预置阈值5时，确定目标短语为新词。
当第一分词的右信息熵和/或第二分词的左信息熵大于或等于第一预置阈值0.9时，服务器获取第一分词和第二分词在待处理文本中的共现词频，中线词频为第一分词和第二分词在待处理文本中处于相邻，且中间无字符、无标点符号，即就是目标短语，例如，当获取到的第一分词的右信息熵为0.91，第二分词的左信息熵为0.8时，服务器判定目标短语不是新词；当获取到的第一分词的右信息熵为0.81，第二分词的左信息熵为0.82时，服务器判定目标短语不是新词。服务器获取第一分词和第二分词在待处理文本中的共现词频的方式很多，例如，通过在待处理文本中显示第一分词和第二分词，记录第一分词与第二分词相邻的词频，或者，将短语作为搜索条件在该待处理文本中进行搜索，得到短语的词频，其中短语的词频为第一分词和第二分词的共现词频。当获取到第一分词和第二分词的共现词频大于第二预置阈值5时，确定该短语为新词。
在本实施例中，服务器在判定第一分词的右信息熵或第二分词的左信息熵大于或等于第一预置阈值0.9时，获取第一分词和第二分词的共现词频，在第一分词和第二分词的共现词频大于第二预置阈值5时，服务器判定目标短语为新词，通过第一分词和第二分词在待处理文本中共同出现的次数来判定目标短语为新词，避免漏掉待处理文本中的新词。
此外，本发明实施例还提出一种服务器，所述服务器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于信息熵识别新词程序，所述基于信息熵识别新词程序被所述处理器执行时实现如上实施例的基于信息熵识别新词的方法的步骤。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有基于信息熵识别新词程序，所述基于信息熵识别新词程序被处理器执行时实现如上实施例的基于信息熵识别新词的方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于信息熵识别新词的方法，其特征在于，所述基于信息熵识别新词的方法包括：
获取待处理文本中的目标短语，将所述目标短语划分为第一分词和第二分词，并分别读取所述第一分词的信息和所述第二分词的信息；
基于所述第一分词的信息和所述第二分词的信息，获取所述第一分词的右搭配词和所述第二分词的左搭配词，并统计所述第一分词与所述右搭配词的共现词频以及所述第二分词与所述左搭配词的共现词频；
通过预置概率公式、所述第一分词与所述右搭配词的共现词频以及所述第二分词与所述左搭配词的共现词频，计算出所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值；
通过预置信息熵公式、所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值，计算出所述第一分词的右信息熵和所述第二分词的左信息熵；
在所述第一分词的右信息熵和所述第二分词的左信息熵均小于第一预置阈值时，确定所述目标短语为新词。
2.如权利要求1所述的基于信息熵识别新词的方法，其特征在于，所述获取待处理文本中的目标短语，将所述目标短语划分为第一分词和第二分词，并分别读取所述第一分词的信息和所述第二分词的信息，包括：
获取待处理文本中的目标短语，调取中文分词系统中的分词属性判断所述目标短语是否为新词；
当判定所述短语不是新词时，调取所述中文分词系统中的中文分词序列将所述目标短语分为第一分词和第二分词，并获取所述第一分词的名称信息以及所述第二分词的名称信息，其中，所述第一分词和第二分词组合成所述目标短语。
3.如权利要求2所述的基于信息熵识别新词的方法，其特征在于，所述基于所述第一分词的信息和所述第二分词的信息，获取所述第一分词的右搭配词和所述第二分词的左搭配词，并统计所述第一分词与所述右搭配词的共现词频以及所述第二分词与所述左搭配词的共现词频，包括：
将所述第一分词的名称信息和所述第二分词的名称信息作为索引条件，获取所述第一分词在所述待处理文本中的位置、第一词频以及所述第二分词在所述待处理文本中的位置和第二词频；
基于所述第一分词在所述待处理文本中的位置和所述第二分词在所述待处理文本中的位置，获取所述第一分词的右搭配词和所述第二分词的左搭配词，并分别统计所述第一分词与所述右搭配词的共现词频和所述第二分词与所述左搭配词的共现词频。
4.如权利要求3所述的基于信息熵识别新词的方法，其特征在于，所述通过预置概率公式，计算出所述第一分词与所述右搭配词的共现和所述第二分词与所述左搭配词的共现概率值，包括：
在获取到第一分词与所述右搭配词的共现词频和所述第二分词与所述左搭配词的共现词频，调取预置概率公式；
通过分别将所述第一分词与所述右搭配词的共现词频、所述第一词频以及所述第二分词与所述左搭配词的共现词频和所述第二词频代入到所述预置概率计算公式中，得到所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值。
5.如权利要求4所述的基于信息熵识别新词的方法，其特征在于，所述通过预置信息熵公式、所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值，计算出所述第一分词的右信息熵或所述第二分词的左信息熵，包括：
在获取所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值，调取预置信息熵公式；
通过分别将所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值代入到所述预置信息熵公式中，计算出所述第一分词的右信息熵或所述第二分词的左信息熵。
6.如权利要求1-5中任意一项所述的基于信息熵识别新词的方法，其特征在于，在所述第一分词的右信息熵和所述第二分词的左信息熵均小于第一预置阈值时，确定所述目标短语为新词，包括：
当提取到所述第一预置阈值为0.9时，判断所述第一分词的右信息熵和所述第二分词的左信息熵是否小于0.9；
在所述第一分词的右信息熵和所述第二分词的左信息熵小于均所述第一预置阈值0.9时，确定所述目标短语为新词。
7.如权利要求6所述的基于信息熵识别新词的方法，其特征在于，所述在第一分词的右信息熵和所述第二分词的左信息熵均小于或等于第一预置阈值时，确定所述目标短语为新词之后，还包括：
当所述第一分词的右信息熵和/或所述第二分词的左信息熵大于或等于所述第一预置阈值0.9时，获取所述目标短语在所述待处理文本中的共现词频；
在所述目标短语在所述待处理文本中的共现词频大于第二预置阈值5时，确定所述目标短语为新词。
8.一种基于信息熵识别新词的装置，其特征在于，所述基于信息熵识别新词的装置包括：
读取段元，用于获取待处理文本中的目标短语，将所述目标短语划分为第一分词和第二分词，并分别读取所述第一分词的信息和所述第二分词的信息；
统计单元，用于基于所述第一分词的信息和所述第二分词的信息，获取所述第一分词的右搭配词和所述第二分词的左搭配词，并统计所述第一分词与所述右搭配词的共现词频以及所述第二分词与所述左搭配词的共现词频；
第一计算单元，用于通过预置概率公式、所述第一分词与所述右搭配词的共现词频以及所述第二分词与所述左搭配词的共现词频，计算出所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值；
第二计算单元，用于通过预置信息熵公式、所述第一分词与所述右搭配词的共现概率值和所述第二分词与所述左搭配词的共现概率值，计算出所述第一分词的右信息熵和所述第二分词的左信息熵；
第一确定单元，在所述第一分词的右信息熵和所述第二分词的左信息熵均小于第一预置阈值时，确定所述目标短语为新词。
9.一种服务器，其特征在于，所述服务器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于信息熵识别新词程序，所述基于信息熵识别新词程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于信息熵识别新词的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于信息熵识别新词程序，所述基于信息熵识别新词程序被处理器执行时实现如权利要求1至7中任一项所述的基于信息熵识别新词的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910885192.1A CN110807322B (zh) | 2019-09-19 | 2019-09-19 | 基于信息熵识别新词的方法、装置、服务器及存储介质 |
| PCT/CN2019/118276 WO2021051600A1 (zh) | 2019-09-19 | 2019-11-14 | 基于信息熵识别新词的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910885192.1A CN110807322B (zh) | 2019-09-19 | 2019-09-19 | 基于信息熵识别新词的方法、装置、服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110807322A true CN110807322A (zh) | 2020-02-18 |
| CN110807322B CN110807322B (zh) | 2024-03-01 |
Family
ID=69487658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910885192.1A Active CN110807322B (zh) | 2019-09-19 | 2019-09-19 | 基于信息熵识别新词的方法、装置、服务器及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110807322B (zh) |
| WO (1) | WO2021051600A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112765975A (zh) * | 2020-12-25 | 2021-05-07 | 北京百度网讯科技有限公司 | 分词岐义处理方法、装置、设备以及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105955950A (zh) * | 2016-04-29 | 2016-09-21 | 乐视控股（北京）有限公司 | 新词发现方法及装置 |
| CN107180025A (zh) * | 2017-03-31 | 2017-09-19 | 北京奇艺世纪科技有限公司 | 一种新词的识别方法及装置 |
| CN109614499A (zh) * | 2018-11-22 | 2019-04-12 | 阿里巴巴集团控股有限公司 | 一种词典生成方法、新词发现方法、装置及电子设备 |
| CN110110322A (zh) * | 2019-03-29 | 2019-08-09 | 泰康保险集团股份有限公司 | 网络新词发现方法、装置、电子设备及存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7346497B2 (en) * | 2001-05-08 | 2008-03-18 | Intel Corporation | High-order entropy error functions for neural classifiers |
| JP4829819B2 (ja) * | 2007-03-16 | 2011-12-07 | 日本放送協会 | 単語分類装置および単語分類プログラム |
| CN103970733B (zh) * | 2014-04-10 | 2017-07-14 | 中国信息安全测评中心 | 一种基于图结构的中文新词识别方法 |
| CN106776543B (zh) * | 2016-11-23 | 2019-09-06 | 上海智臻智能网络科技股份有限公司 | 新词发现方法、装置、终端及服务器 |
| CN107807918A (zh) * | 2017-10-20 | 2018-03-16 | 传神联合（北京）信息技术有限公司 | 泰语词语识别的方法及装置 |
| CN108038119A (zh) * | 2017-11-01 | 2018-05-15 | 平安科技（深圳）有限公司 | 利用新词发现投资标的的方法、装置及存储介质 |
| CN108021558A (zh) * | 2017-12-27 | 2018-05-11 | 北京金山安全软件有限公司 | 关键词的识别方法、装置、电子设备和存储介质 |
| CN109408818B (zh) * | 2018-10-12 | 2023-04-07 | 平安科技（深圳）有限公司 | 新词识别方法、装置、计算机设备及存储介质 |
-
2019
- 2019-09-19 CN CN201910885192.1A patent/CN110807322B/zh active Active
- 2019-11-14 WO PCT/CN2019/118276 patent/WO2021051600A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105955950A (zh) * | 2016-04-29 | 2016-09-21 | 乐视控股（北京）有限公司 | 新词发现方法及装置 |
| CN107180025A (zh) * | 2017-03-31 | 2017-09-19 | 北京奇艺世纪科技有限公司 | 一种新词的识别方法及装置 |
| CN109614499A (zh) * | 2018-11-22 | 2019-04-12 | 阿里巴巴集团控股有限公司 | 一种词典生成方法、新词发现方法、装置及电子设备 |
| CN110110322A (zh) * | 2019-03-29 | 2019-08-09 | 泰康保险集团股份有限公司 | 网络新词发现方法、装置、电子设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112765975A (zh) * | 2020-12-25 | 2021-05-07 | 北京百度网讯科技有限公司 | 分词岐义处理方法、装置、设备以及介质 |
| CN112765975B (zh) * | 2020-12-25 | 2023-08-04 | 北京百度网讯科技有限公司 | 分词岐义处理方法、装置、设备以及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021051600A1 (zh) | 2021-03-25 |
| CN110807322B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019184217A1 (zh) | 热点事件分类方法、装置及存储介质 | |
| CN107045496B (zh) | 语音识别后文本的纠错方法及纠错装置 | |
| CN105917327B (zh) | 用于将文本输入到电子设备中的系统和方法 | |
| JP2015179497A (ja) | 入力方法及びシステム | |
| CN107748784B (zh) | 一种通过自然语言实现结构化数据搜索的方法 | |
| CN111400493A (zh) | 基于槽位相似度的文本匹配方法、装置、设备及存储介质 | |
| CN109634436B (zh) | 输入法的联想方法、装置、设备及可读存储介质 | |
| CN110297880B (zh) | 语料产品的推荐方法、装置、设备及存储介质 | |
| US20220222292A1 (en) | Method and system for ideogram character analysis | |
| EP2992461A1 (en) | Systems and methods for parsing search queries | |
| CN110765767B (zh) | 局部优化关键词的提取方法、装置、服务器及存储介质 | |
| CN106021532B (zh) | 关键词的显示方法和装置 | |
| CN110795942B (zh) | 基于语义识别的关键词确定方法、装置和存储介质 | |
| CN115794995A (zh) | 目标答案获取方法及相关装置、电子设备和存储介质 | |
| CN109783612B (zh) | 报表数据定位方法及装置、存储介质、终端 | |
| CN112487159B (zh) | 检索方法、检索装置及计算机可读存储介质 | |
| CN110807322B (zh) | 基于信息熵识别新词的方法、装置、服务器及存储介质 | |
| US11755659B2 (en) | Document search device, document search program, and document search method | |
| CN106407332B (zh) | 基于人工智能的搜索方法和装置 | |
| JP2001175661A (ja) | 全文検索装置及び全文検索方法 | |
| JP3589007B2 (ja) | 文書ファイリングシステムおよび文書ファイリング方法 | |
| CN115563515A (zh) | 文本相似性检测方法、装置、设备及存储介质 | |
| CN113806491B (zh) | 一种信息处理的方法、装置、设备和介质 | |
| JP4047895B2 (ja) | 文書校正装置およびプログラム記憶媒体 | |
| CN110909128A (zh) | 一种利用词根表进行数据查询的方法、设备、及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |