CN117807993A - 分词方法、装置、计算机设备及存储介质 - Google Patents

分词方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN117807993A
CN117807993A CN202311789947.0A CN202311789947A CN117807993A CN 117807993 A CN117807993 A CN 117807993A CN 202311789947 A CN202311789947 A CN 202311789947A CN 117807993 A CN117807993 A CN 117807993A
Authority
CN
China
Prior art keywords
vocabulary
words
phrase
database
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311789947.0A
Other languages
English (en)
Inventor
陈孝良
黄赟贺
常乐
涂贤玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing SoundAI Technology Co Ltd
Original Assignee
Beijing SoundAI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing SoundAI Technology Co Ltd filed Critical Beijing SoundAI Technology Co Ltd
Priority to CN202311789947.0A priority Critical patent/CN117807993A/zh
Publication of CN117807993A publication Critical patent/CN117807993A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本申请实施例公开了一种分词方法、装置、计算机设备及存储介质，属于计算机技术领域。方法包括：对文本进行分词，得到多个第一词汇；通过大语言模型，对每个第一词汇进行特征提取，得到每个第一词汇的特征；基于多个第一词汇的特征，确定多个词组的相似度；确定每个词组的共现频率；将每个词组的相似度与共现频率进行融合，得到每个词组的组合概率；基于多个词组的组合概率，将组合概率最大的词组中两个第一词汇组成第二词汇，或者，将组合概率大于第一阈值的词组中两个第一词汇组成第二词汇。本申请能够捕捉文本中字符之间的上下文关系，以获取到更准确的词汇，保证分词得到的词汇的准确性，进而保证分词的准确性。

Description

分词方法、装置、计算机设备及存储介质
技术领域
本申请实施例涉及计算机技术领域，特别涉及一种分词方法、装置、计算机设备及存储介质。
背景技术
在多种自然语言处理任务中，常常会涉及到对文本进行分词，以便利用文本的分词结果来实现模型训练或其他任务。在相关技术中，通过某种分词工具或模型对文本进行分词，但是这种分词方式的准确性低。
发明内容
本申请实施例提供了一种分词方法、装置、计算机设备及存储介质，能够为提升分词的准确性。所述技术方案如下：
一方面，提供了一种分词方法，所述方法包括：
对文本进行分词，得到多个第一词汇，每个第一词汇包含至少一个字符；
通过大语言模型，对所述每个第一词汇进行特征提取，得到所述每个第一词汇的特征；
基于所述多个第一词汇的特征，确定多个词组的相似度，每个词组包括所述文本中相邻的两个第一词汇，所述词组的相似度指示所述词组中两个第一词汇的相似度；
确定所述每个词组的共现频率，所述词组的共现频率指示所述词组中两个第一词汇在文本数据库中以相邻的形式出现的频率，所述文本数据库包括多个参考文本；
将所述每个词组的相似度与共现频率进行融合，得到所述每个词组的组合概率，所述词组的组合概率指示所述词组中两个第一词汇能够组成一个词汇的可能性；
基于所述多个词组的组合概率，将组合概率最大的词组中两个第一词汇组成第二词汇，或者，将组合概率大于第一阈值的词组中两个第一词汇组成第二词汇。
在一种可能实现方式中，所述确定所述每个词组的共现频率，包括：
基于所述词组中两个第一词汇，遍历所述多个参考文本，确定所述词组中两个第一词汇以相邻的形式出现的次数；
确定所述多个参考文本包含的词汇数量；
将所述次数与所述词汇数量的比值，确定为所述词组的共现频率。
在另一种可能实现方式中，所述基于所述多个词组的组合概率，将组合概率最大的词组中两个第一词汇组成第二词汇之后，所述方法还包括：
基于词汇数据库中的词汇，对所述第二词汇进行校验，所述词汇数据库用于存储具有实体含义的词汇；
在对所述第二词汇校验通过的情况下，将所述第二词汇添加到词汇数据库中。
在另一种可能实现方式中，所述基于词汇数据库中的词汇，对所述第二词汇进行校验，包括：
检测所述词汇数据库中是否存在所述第二词汇；
检测所述词汇数据库中词汇的数量是否达到第二阈值；
在所述词汇数据库不存在所述第二词汇、且所述词汇数据库中词汇的数量未达到所述第二阈值的情况下，确定对所述第二词汇校验通过；
在所述词汇数据库存在所述第二词汇的情况下，或者，在所述词汇数据库中词汇的数量达到所述第二阈值的情况下，确定对所述第二词汇校验未通过。
在另一种可能实现方式中，所述基于所述多个词组的组合概率，将组合概率最大的词组中两个第一词汇组成第二词汇之后，所述方法还包括：
基于所述词汇数据库中的词汇，对所述第一词汇进行校验；
在对所述第一词汇校验通过的情况下，将所述第一词汇添加到所述词汇数据库中。
在另一种可能实现方式中，所述基于所述多个词组的组合概率，将组合概率最大的词组中两个第一词汇组成第二词汇之后，所述方法还包括：
通过大语言模型，对所述第二词汇进行特征提取，得到所述第二词汇的特征；
基于所述第二词汇的特征与第三词汇的特征，确定所述第二词汇与所述第三词汇的相似度，所述第三词汇为所述文本中与所述第二词汇相邻的第一词汇；
确定所述第二词汇与所述第三词汇的共现频率，所述共现频率指示所述第二词汇与所述第三词汇在所述文本数据库中以相邻的形式出现的频率；
将所述第二词汇与所述第三词汇的相似度与共现频率进行融合，得到所述第二词汇与所述第三词汇的组合概率，所述第二词汇与所述第三词汇的组合概率指示所述第二词汇与所述第三词汇能够组成一个词汇的可能性；
在所述第二词汇与所述第三词汇的组合概率达到所述第一阈值的情况下，将所述第二词汇与所述第三词汇组成第四词汇。
另一方面，提供了一种分词装置，所述装置包括：
分词模块，用于对文本进行分词，得到多个第一词汇，每个第一词汇包含至少一个字符；
特征提取模块，用于通过大语言模型，对所述每个第一词汇进行特征提取，得到所述每个第一词汇的特征；
确定模块，用于基于所述多个第一词汇的特征，确定多个词组的相似度，每个词组包括所述文本中相邻的两个第一词汇，所述词组的相似度指示所述词组中两个第一词汇的相似度；
所述确定模块，还用于确定所述每个词组的共现频率，所述词组的共现频率指示所述词组中两个第一词汇在文本数据库中以相邻的形式出现的频率，所述文本数据库包括多个参考文本；
融合模块，用于将所述每个词组的相似度与共现频率进行融合，得到所述每个词组的组合概率，所述词组的组合概率指示所述词组中两个第一词汇能够组成一个词汇的可能性；
组合模块，用于基于所述多个词组的组合概率，将组合概率最大的词组中两个第一词汇组成第二词汇，或者，将组合概率大于第一阈值的词组中两个第一词汇组成第二词汇。
在一种可能实现方式中，所述确定模块，用于基于所述词组中两个第一词汇，遍历所述多个参考文本，确定所述词组中两个第一词汇以相邻的形式出现的次数；确定所述多个参考文本包含的词汇数量；将所述次数与所述词汇数量的比值，确定为所述词组的共现频率。
在另一种可能实现方式中，所述装置还包括：
校验模块，用于基于词汇数据库中的词汇，对所述第二词汇进行校验，所述词汇数据库用于存储具有实体含义的词汇；
添加模块，用于在对所述第二词汇校验通过的情况下，将所述第二词汇添加到词汇数据库中。
在另一种可能实现方式中，所述校验模块，用于检测所述词汇数据库中是否存在所述第二词汇；检测所述词汇数据库中词汇的数量是否达到第二阈值；在所述词汇数据库不存在所述第二词汇、且所述词汇数据库中词汇的数量未达到所述第二阈值的情况下，确定对所述第二词汇校验通过；在所述词汇数据库存在所述第二词汇的情况下，或者，在所述词汇数据库中词汇的数量达到所述第二阈值的情况下，确定对所述第二词汇校验未通过。
在另一种可能实现方式中，所述校验模块，还用于基于所述词汇数据库中的词汇，对所述第一词汇进行校验；
所述添加模块，还用于在对所述第一词汇校验通过的情况下，将所述第一词汇添加到所述词汇数据库中。
在另一种可能实现方式中，所述特征提取模块，还用于通过大语言模型，对所述第二词汇进行特征提取，得到所述第二词汇的特征；
所述确定模块，还用于基于所述第二词汇的特征与第三词汇的特征，确定所述第二词汇与所述第三词汇的相似度，所述第三词汇为所述文本中与所述第二词汇相邻的第一词汇；
所述确定模块，还用于确定所述第二词汇与所述第三词汇的共现频率，所述共现频率指示所述第二词汇与所述第三词汇在所述文本数据库中以相邻的形式出现的频率；
所述融合模块，还用于将所述第二词汇与所述第三词汇的相似度与共现频率进行融合，得到所述第二词汇与所述第三词汇的组合概率，所述第二词汇与所述第三词汇的组合概率指示所述第二词汇与所述第三词汇能够组成一个词汇的可能性；
所述组合模块，还用于在所述第二词汇与所述第三词汇的组合概率达到所述第一阈值的情况下，将所述第二词汇与所述第三词汇组成第四词汇。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现如上述方面所述的分词方法所执行的操作。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如上述方面所述的分词方法所执行的操作。
再一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述方面所述的分词方法所执行的操作。
本申请实施例提供的方案中，在对文本进行初步分词得到多个第一词汇的情况下，能够确定出文本中相邻的每两个第一词汇的相似度和共现频率，确定出相邻的每两个第一词汇的组合概率，以便基于组合概率确定能够组成新的词汇的词组，进而将词组中的两个第一词汇组成第二词汇，新得到的第二词汇具有实体含义，这种方式捕捉文本中字符之间的上下文关系，以获取到更准确的词汇，保证分词得到的词汇的准确性，进而保证分词的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的结构示意图；
图2是本申请实施例提供的一种分词方法的流程图；
图3是本申请实施例提供的另一种分词方法的流程图；
图4是本申请实施例提供的一种分词装置的结构示意图；
图5是本申请实施例提供的另一种分词装置的结构示意图；
图6是本申请实施例提供的一种终端的结构示意图；
图7是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说，在不脱离本申请的范围的情况下，可以将第一词汇称为第二词汇，且类似地，可将第二词汇称为第一词汇。
本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”，至少一个包括一个、两个或两个以上，多个包括两个或两个以上，而每个是指对应的多个中的每一个，任一是指多个中的任意一个。举例来说，多个词汇包括3个词汇，而每个是指这3个词汇中的每一个词汇，任一是指这3个词汇中的任意一个词汇，能够是第一个词汇，或者是第二个词汇，或者是第三个词汇。
需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到的文本或词汇都是在充分授权的情况下获取的。
本申请实施例提供的分词方法，能够由计算机设备执行。可选地，该计算机设备为终端或服务器。可选地，终端为智能移动电话、台式电脑、智能穿戴设备或者图像采集设备等任一种类型的终端。可选地，服务器为一台服务器，或者由若干服务器组成的服务器集群，或者是一个云计算服务中心。
在一些实施例中，该计算机设备提供为服务器。图1是本申请实施例提供的一种实施环境的示意图。参见图1，该实施环境包括终端101和服务器102。终端101和服务器102之间通过无线或者有线网络连接。
终端101用于为服务器102提供文本，服务器102用于接收终端101提供文本，按照本申请实施例提供的方法，对文本进行分词，以得到文本包含的词语。
可选地，终端101安装由服务器102提供服务的应用，该应用具有分词的功能，该应用为任意的应用，例如，应用为文本处理应用。终端101通过文本处理应用向服务器102发送文本，以使服务器102对文本进行分词。
图2是本申请实施例提供的一种分词方法的流程图，该方法由计算机设备执行，如图2所示，该方法包括：
201、计算机设备对文本进行分词，得到多个第一词汇，每个第一词汇包含至少一个字符。
在本申请实施例中，该文本为任意的文本，通过对文本进行分词，得到多个第一词汇，每个第一词汇包含至少一个字符。考虑到对文本分词得到的多个第一词汇中，可能存在相邻的两个第一词汇能够组成一个新的词汇，新组成的词汇更能体现出在文本中的含义，例如，对文本分词得到的多个第一词汇中，第一词汇为“我”，与“我”相邻的第一词汇为“们”，这两个第一词汇能够组成“我们”，且“我们”更能准确体现出在文本中的含义。因此，在得到多个第一词汇的情况下，还会将相邻的、能够组成新的词汇的两个第一词汇组成新的词汇，以保证分词的准确性。
其中，多个第一词汇能够构成该文本所包含的内容，多个第一词汇所包含的字符数量与文本所包含的字符数量相等。不同的第一词汇所包含的字符数量可能相同也可能不同。例如，文本为“我想回家”，以分词得到4个第一词汇为例，4个第一词汇分别为“我”、“想”、“回”、“家”；或者，以分词得到3个第一词汇为例，3个第一词汇分别为“我”、“想”、“回家”。
202、计算机设备通过大语言模型，对每个第一词汇进行特征提取，得到每个第一词汇的特征。
在本申请实施例中，大语言模型是使用大量文本数据训练的深度学习模型，大语言模型用于获取词汇的特征。通过大语言模型，分别对每个第一词汇进行特征提取，能够得到每个第一词汇的特征。每个第一词汇的特征用于表征对应的词汇，第一词汇的特征能够以任意的形式表示，例如，第一词汇的特征以特征向量的形式表示。
203、计算机设备基于多个第一词汇的特征，确定多个词组的相似度，每个词组包括文本中相邻的两个第一词汇，词组的相似度指示词组中两个第一词汇的相似度。
在本申请实施例中，在得到多个第一词汇的情况下，按照多个第一词汇在文本中的顺序，能够将多个第一词汇构成多个词组，每个词组包含文本中相邻的两个第一词汇，确定出文本中相邻的每两个第一词汇的相似度，以考虑到文本中字符之间的上下文关系，确定出文本中相邻的每两个第一词汇之间的关联性，反映出相邻的每两个第一词汇是否能够组成一个新的词汇。
其中，多个第一词汇的数量比多个词组的数量大1。例如，多个第一词汇的数量为5，第1个第一词汇与第2个第一词汇组成一个词组，第2个第一词汇与第3个第一词汇组成一个词组，第3个第一词汇与第4个第一词汇组成一个词组，第4个第一词汇与第5个第一词汇组成一个词组，即共得到4个词组。
204、计算机设备确定每个词组的共现频率，词组的共现频率指示词组中两个第一词汇在文本数据库中以相邻的形式出现的频率，文本数据库包括多个参考文本。
在本申请实施例中，文本数据库包含多个参考文本，该文本数据库相当于一个语料库。对于每个词组，通过文本数据库，能够确定词组中两个第一词汇在文本数据库中以相邻的形式出现的频率，该频率能够反映词组中两个第一词汇能够组成一个新的词汇的可能性，频率越高，表示词组中两个第一词汇能够组成一个新的词汇的可能性越高。
205、计算机设备将每个词组的相似度与共现频率进行融合，得到每个词组的组合概率，词组的组合概率指示词组中两个第一词汇能够组成一个词汇的可能性。
在本申请实施例中，词组的相似度和共现频率均能够反映出词组中两个第一词汇能够组成一个新的词汇的可能性，因此，对同一词组的相似度和共现频率进行融合，以得到词组的组合概率，以保证组合概率能够准确反映出词组中两个第一词汇能够组成一个词汇的可能性。
206、计算机设备基于多个词组的组合概率，将组合概率最大的词组中两个第一词汇组成第二词汇，或者，将组合概率大于第一阈值的词组中两个第一词汇组成第二词汇。
在本申请实施例中，对于多个词组，任一词组的组合概率越大，表示该词组中两个第一词汇能够组成一个新的词汇的可能性越大，因此，将文本中组合概率最大的词组中两个第一词汇组成一个新的词汇，即组成第二词汇，以保证组合得到的新的词汇具有实体含义，保证新的词汇的准确性。
在本申请实施例中，第一阈值为任意的数值，任一词组的组合概率大于第一阈值，表示该词组中两个第一词汇能够组成一个新的词汇，且新的词汇具有实体含义，因此，将组合概率大于第一阈值的词组中两个第一词汇组成一个新的词汇，保证新的词汇的准确性。
例如，文本为“我想回家”，分词得到5个第一词汇，4个第一词汇分别为“我”、“想”、“回”、“家”；通过本申请实施例提供的方案，能够确定回”和“家”能够组成一个新的词汇“回家”，则最终得到的文本的分词结果为：“我”、“想”、“回家”，即分词更准确。
本申请实施例提供的方案中，在对文本进行初步分词得到多个第一词汇的情况下，能够确定出文本中相邻的每两个第一词汇的相似度和共现频率，确定出相邻的每两个第一词汇的组合概率，以便基于组合概率确定能够组成新的词汇的词组，进而将词组中的两个第一词汇组成第二词汇，新得到的第二词汇具有实体含义，这种方式捕捉文本中字符之间的上下文关系，以获取到更准确的词汇，保证分词得到的词汇的准确性，进而保证分词的准确性。
在上述图2所示实施例的基础上，本申请实施例能够基于两个第一词汇在文本数据库中的出现次数及文本数据库中词汇数量，确定两个第一词汇的共现频率，并且，能够将分词得到的词汇存储至词汇数据库中，以丰富词汇数据库中存储的词汇，具体过程详见下述实施例。
图3是本申请实施例提供的一种分词方法的流程图，该方法由计算机设备执行，如图3所示，该方法包括：
301、计算机设备对文本进行分词，得到多个第一词汇，每个第一词汇包含至少一个字符。
在一种可能实现方式中，该步骤301包括：通过分词模型，对文本进行分词，得到多个第一词汇。
其中，分词模型为任意的网络模型，能够用于对文本进行分词，以得到文本所包含的词汇。在本申请实施例中，通过分词模型对文本进行分词，以保证得到的多个第一词汇尽可能准确。
302、计算机设备通过大语言模型，对每个第一词汇进行特征提取，得到每个第一词汇的特征。
303、计算机设备基于多个第一词汇的特征，确定多个词组的相似度，每个词组包括文本中相邻的两个第一词汇，词组的相似度指示词组中两个第一词汇的相似度。
在一种可能实现方式中，能够采取以下函数，确定每个词组的相似度的方式：
其中，V1和V2用于表示任一词组中两个第一词汇的特征，V1和V2以向量的形式表示，sim(V1，V2)用于表示该词组的相似度，θ用于表示V1与V2之间的角度，V1·V2用于表示V1和V2的点积，||V1||用于表示V1的欧几里得长度，||V2||用于表示V2的欧几里得长度。
本申请实施例中，采取余弦相似度，确定每个词组中两个第一词汇的相似度，以保证确定出的相似度的准确性。
304、计算机设备基于任一词组中两个第一词汇，遍历文本数据库中多个参考文本，确定词组中两个第一词汇以相邻的形式出现的次数。
在本申请实施例中，对于任一词组，按照该词组中两个第一词汇在文本中的顺序，遍历多个参考文本，以确定两个第一词汇以相邻的形式出现的次数，该次数能够反映出该词组中两个第一词汇之间的关联程度，以反映出两个第一词汇能够构成一个词汇的可能性。
在一种可能实现方式中，该步骤304包括：按照词组中两个第一词汇在文本中的顺序，将该词组中两个第一词汇组成备选词汇，基于备选词汇，遍历多个参考文本，确定词组中备选词汇的出现次数，该备选词汇的出现次数即为词组中两个第一词汇以相邻的形式出现的次数。
在本申请实施例中，采取将词组中两个第一词汇预先组成备选词汇的方式，遍历多个参考文本，以便能够按照词组中两个第一词汇在文本中的顺序，确定出备选词汇的出现次数，以保证确定出的次数能够反映出词组中两个第一词汇能够组成一个词汇的可能性，保证确定出的次数的准确性。
例如，任一词组中两个第一词汇分别为“工”、“作”，按照这两个第一词汇在文本中的顺序构成一个词汇“工作”，则基于“工作”遍历多个参考文本，确定出“工作”在多个参考文本中的出现次数。
305、计算机设备确定多个参考文本包含的词汇数量。
在本申请实施例中，词汇数量指示多个参考文本包含的词汇的数量。
在一种可能实现方式中，该步骤305包括：对每个参考文本进行分词，得到每个参考文本包括的词汇，确定每个参考文本包括的词汇的数量，确定多个参考文本包含的词汇数量。
306、计算机设备将次数与词汇数量的比值，确定为词组的共现频率，词组的共现频率指示词组中两个第一词汇在文本数据库中以相邻的形式出现的频率，文本数据库包括多个参考文本。
本申请实施例是以确认任一词组的共现频率为例进行说明，而在另一实施例中，按照上述步骤304-306，能够确定出每个词组的共现频率。
在一种可能实现方式中，能够采取以下函数确定词组的共现频率：
freq(token1，token2)＝count(token1，token2)/N
其中，token1和token2用于表示同一词组中的两个第一词汇，freq(token1，token2)用于表示第一词汇token1与第一词汇token2的共现频率，count(token1，token2)用于表示第一词汇token1与第一词汇token2以相邻的形式出现的次数，N用于表示文本数据库中多个参考文本包含的词汇数量。
需要说明的是，本申请是基于两个第一词汇在文本数据库中的出现次数及文本数据库中词汇数量，确定两个第一词汇的共现频率，而在另一实施例中，无需执行上述步骤304-306，而是采取其他方式，确定每个词组的共现频率。
307、计算机设备将每个词组的相似度与共现频率进行融合，得到每个词组的组合概率，词组的组合概率指示词组中两个第一词汇能够组成一个词汇的可能性。
在一种可能实现方式中，采取以下函数，确定任一词组的组合概率：
score(token1，token2)＝α*sim(V1，V2)+β*freq(token1，token2)
其中，token1和token2用于表示同一词组中的两个第一词汇，score(token1，token2)用于表示第一词汇token1与第一词汇token2的组合概率，V1用于表示第一词汇token1的特征，V2用于表示第一词汇token2的特征，sim(V1，V2)用于表示第一词汇token1与第二词汇token2的相似度，freq(token1，token2)用于表示第一词汇token1与第二词汇token2的共现频率，α用于相似度的权重，β用于表示共现频率的权重，α和β用于调整相似度和共现频在组合概率中的重要性。
308、计算机设备基于多个词组的概率，将概率最大的词组中两个第一词汇组成第二词汇，或者，将概率大于第一阈值的词组中两个第一词汇组成第二词汇。
309、计算机设备基于词汇数据库中的词汇，对第二词汇进行校验，词汇数据库用于存储具有实体含义的词汇。
在本申请实施例中，词汇数据库用于存储具有实体含义的词汇，基于词汇数据库中的词汇，对第二词汇进行校验，以便在对第二词汇校验通过的情况下，将第二词汇存储在词汇数据库中，以保证词汇数据库中存储的词汇的准确性。
在一种可能实现方式中，该步骤309包括：检测词汇数据库中是否存在第二词汇；检测词汇数据库中词汇的数量是否达到第二阈值；在词汇数据库不存在第二词汇、且词汇数据库中词汇的数量未达到第二阈值的情况下，确定对第二词汇校验通过；在词汇数据库存在第二词汇的情况下，或者，在词汇数据库中词汇的数量达到第二阈值的情况下，确定对第二词汇校验未通过。
其中，第二阈值为任意的数值，例如，第二阈值为30000。
在本申请实施例中，检测词汇数据库中是否存在第二词汇，检测词汇数据库中词汇的数量是否达到第二阈值，以保证后续词汇数据库中存储的词汇不重复，且数量不超过第二阈值，以保证后续词汇数据库中存储词汇的准确性。
310、计算机设备在对第二词汇校验通过的情况下，将第二词汇添加到词汇数据库中。
在本申请实施例中，在得到第二词汇的情况下，基于词汇数据库中的词汇，对第二词汇进行校验，在对第二词汇校验通过的情况下，才将第二词汇添加在词汇数据库中，以保证词汇数据库中存储的词汇不重复，且数量不超过第二阈值，以保证词汇数据库中存储词汇的准确性。
在一种可能实现方式中，该方法还包括：基于词汇数据库中的词汇，对第一词汇进行校验；在对第一词汇校验通过的情况下，将第一词汇添加到词汇数据库中。
在本申请实施例中，词汇数据库是构建的一个用于存储具有实体含义的词汇的数据库，在对文本进行分词得到多个第一词汇的情况下，还能够确定出第二词汇，多个第一词汇也是具有实体含义的词汇，第二词汇是在文本中具有实体含义的词汇，因此，对第一词汇进行校验，在对第一词汇校验通过的情况下，将第一词汇添加到词汇数据库中，以丰富词汇数据库包含的词汇，且保证词汇数据库中词汇的准确性。
需要说明的是，对第一词汇进行校验的过程，与上述对第二词汇进行校验的过程同理，在此不再赘述。
需要说明的是，本申请实施例仅是通过一个文本来丰富词汇数据库中的词汇，而在另一实施例中，还能够获取其他文本，按照上述步骤301-310，丰富词汇数据库中词汇。
例如，文本为“我想要去工作”，对文本分词得到的多个第一词汇为“我”、“想”、“要”、“去”、“工”、“作”；通过大语言模型对每个第一词汇进行特征提取，得到每个第一词汇的特征；并计算相邻的每两个第一词汇的相似度和共现频率，确定出每两个第一词汇的组合概率，基于多个组合概率，确定出第一词汇“工”和“作”，能够组成一个新的词汇，即组成的第二词汇为“工作”，则在基于词汇数据库中的词汇对第一词汇和第二词汇均校验通过的情况下，将“我”、“想”、“要”、“去”、“工”、“作”、“工作”添加至词汇数据库中，以丰富词汇数据库中的词汇。之后获取下一个文本来获取词汇并添加至词汇数据库中，直至词汇数据库中词汇的数量达到第二阈值，或者，直至词汇数据库中的词汇无法再组合出新的词汇。
在本申请实施例中，词汇数据库用于训练大语言模型，按照上述方式能够丰富词汇数据库中的词汇，例如，词汇数据库包含第二阈值的词汇。在得到词汇数据库的情况下，能够将该词汇数据库用于多种场景下的大语言模型的训练，例如应用在翻译、文本分类等场景下。
例如，在翻译场景下，词汇数据库作为大语言模型的词表，大语言模型作为翻译模型，能够提取输入文本的特征，并结合词表及特征，逐词翻译出输入文本的翻译文本。
本申请实施例提供的方案中，在对文本进行初步分词得到多个第一词汇的情况下，能够确定出文本中相邻的每两个第一词汇的相似度和共现频率，确定出相邻的每两个第一词汇的组合概率，以便基于组合概率确定能够组成新的词汇的词组，进而将词组中的两个第一词汇组成第二词汇，新得到的第二词汇具有实体含义，这种方式捕捉文本中字符之间的上下文关系，以获取到更准确的词汇，保证分词得到的词汇的准确性，进而保证分词的准确性。
并且，本申请实施例采取上下文敏感的字节对编码(Context Sensitivity BytePair Encoder，CS-BPE)，能够捕捉文本中字符之间的上下文关系，以获取到更准确的词汇，进而丰富词汇数据库，以便将词汇数据库用于大语言模型训练时，能够提升大语言模型的性能。
需要说明的是，本申请实施例是直接将第二词汇存储在词汇数据库为例进行说明，而在另一实施例中，在得到第二词汇的情况下，还会确定文本中第二词汇与相邻的第一词汇是否能够组成新的词汇，也即是，该方法还包括以下步骤1-5。
步骤1、通过大语言模型，对第二词汇进行特征提取，得到第二词汇的特征。
步骤2、基于第二词汇的特征与第三词汇的特征，确定第二词汇与第三词汇的相似度，第三词汇为文本中与第二词汇相邻的第一词汇。
步骤3、确定第二词汇与第三词汇的共现频率，共现频率指示第二词汇与第三词汇在文本数据库中以相邻的形式出现的频率。
步骤4、将第二词汇与第三词汇的相似度与共现频率进行融合，得到第二词汇与第三词汇的组合概率，第二词汇与第三词汇的组合概率指示第二词汇与第三词汇能够组成一个词汇的可能性。
步骤5、在第二词汇与第三词汇的概率达到第一阈值的情况下，将第二词汇与第三词汇组成第四词汇。
该步骤1-5与上述步骤302-308同理，在此不再赘述。
需要说明的是，本申请实施例是确定第二词汇与相邻的第一词汇是否能组成一个新的词汇，而在另一实施例中，第二词汇在文本中相邻的第一词汇已经组成其他的第二词汇，则还能够按照上述方式，确定相邻的两个第二词汇是否能够组成新的词汇。
例如，文本为“生活广场”，由文本分词得到的多个第一词汇为“生”、“活”、“广”、“场”，确定出的第二词汇为“生活”、“广场”，得到的两个第二词汇在文本中相邻，则两个第二词汇能够组成新的词汇为“生活广场”。
需要说明的是，本申请实施例仅是将第二词汇与第三词汇组成新的词汇为了，而在另一实施例中，还会确定第四词汇与相邻的第一词汇是否能组成一个新的词汇，重复上述过程，直至当前得到的词汇无法与相邻的第一词汇组成新的词汇。
本申请实施例提供的方案能够确定出低频率的词汇或词汇数据库中未出现过的词汇，在对文本进行分词的过程中，不仅考虑到文本中相邻的两个词汇的共现频率还考虑到上文本的语义，能够保证确定出的词汇的准确性，以便将词汇数据库中应用于模型训练时，能够帮助模型更好地理解和处理复杂的语言现象，而且更能适应中文的语言模型预训练，如一词多义或者多词一义等。
需要说明的是，上述多种可选实施例，能够采用任意结合形成本申请的可选实施例，在此不再一一赘述。
图4是本申请实施例提供的一种分词装置，如图4所示，装置包括：
分词模块401，用于对文本进行分词，得到多个第一词汇，每个第一词汇包含至少一个字符；
特征提取模块402，用于通过大语言模型，对每个第一词汇进行特征提取，得到每个第一词汇的特征；
确定模块403，用于基于多个第一词汇的特征，确定多个词组的相似度，每个词组包括文本中相邻的两个第一词汇，词组的相似度指示词组中两个第一词汇的相似度；
确定模块403，还用于确定每个词组的共现频率，词组的共现频率指示词组中两个第一词汇在文本数据库中以相邻的形式出现的频率，文本数据库包括多个参考文本；
融合模块404，用于将每个词组的相似度与共现频率进行融合，得到每个词组的组合概率，词组的组合概率指示词组中两个第一词汇能够组成一个词汇的可能性；
组合模块405，用于基于多个词组的组合概率，将组合概率最大的词组中两个第一词汇组成第二词汇，或者，将组合概率大于第一阈值的词组中两个第一词汇组成第二词汇。
在一种可能实现方式中，确定模块403，用于基于词组中两个第一词汇，遍历多个参考文本，确定词组中两个第一词汇以相邻的形式出现的次数；确定多个参考文本包含的词汇数量；将次数与词汇数量的比值，确定为词组的共现频率。
在另一种可能实现方式中，如图5所示，装置还包括：
校验模块406，用于基于词汇数据库中的词汇，对第二词汇进行校验，词汇数据库用于存储具有实体含义的词汇；
添加模块407，用于在对第二词汇校验通过的情况下，将第二词汇添加到词汇数据库中。
在另一种可能实现方式中，校验模块406，用于检测词汇数据库中是否存在第二词汇；检测词汇数据库中词汇的数量是否达到第二阈值；在词汇数据库不存在第二词汇、且词汇数据库中词汇的数量未达到第二阈值的情况下，确定对第二词汇校验通过；在词汇数据库存在第二词汇的情况下，或者，在词汇数据库中词汇的数量达到第二阈值的情况下，确定对第二词汇校验未通过。
在另一种可能实现方式中，校验模块406，还用于基于词汇数据库中的词汇，对第一词汇进行校验；
添加模块407，还用于在对第一词汇校验通过的情况下，将第一词汇添加到词汇数据库中。
在另一种可能实现方式中，特征提取模块402，还用于通过大语言模型，对第二词汇进行特征提取，得到第二词汇的特征；
确定模块403，还用于基于第二词汇的特征与第三词汇的特征，确定第二词汇与第三词汇的相似度，第三词汇为文本中与第二词汇相邻的第一词汇；
确定模块403，还用于确定第二词汇与第三词汇的共现频率，共现频率指示第二词汇与第三词汇在文本数据库中以相邻的形式出现的频率；
融合模块404，还用于将第二词汇与第三词汇的相似度与共现频率进行融合，得到第二词汇与第三词汇的组合概率，第二词汇与第三词汇的组合概率指示第二词汇与第三词汇能够组成一个词汇的可能性；
组合模块405，还用于在第二词汇与第三词汇的组合概率达到第一阈值的情况下，将第二词汇与第三词汇组成第四词汇。
需要说明的是：上述实施例提供的分词装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的分词装置与分词方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，存储器中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现上述实施例的分词方法所执行的操作。
可选地，计算机设备提供为终端。图6示出了本申请一个示例性实施例提供的终端600的结构框图。终端600包括有：处理器601和存储器602。
处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个计算机程序，该至少一个计算机程序用于被处理器601所执行以实现本申请中方法实施例提供的分词方法。
在一些实施例中，终端600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、显示屏605、摄像头组件606、音频电路607和电源608中的至少一种。
外围设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置在终端600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在终端600的不同表面或呈折叠设计；在另一些实施例中，显示屏605可以是柔性显示屏，设置在终端600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。
电源608用于为终端600中的各个组件进行供电。电源608可以是交流电、直流电、一次性电池或可充电电池。当电源608包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解，图6中示出的结构并不构成对终端600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
可选地，计算机设备提供为服务器。图7是本申请实施例提供的一种服务器的结构示意图，该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing Units，CPU)701和一个或一个以上的存储器702，其中，存储器702中存储有至少一条计算机程序，至少一条计算机程序由处理器701加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现上述实施例的分词方法所执行的操作。
本申请实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述实施例的分词方法所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请实施例的可选实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种分词方法，其特征在于，所述方法包括：
对文本进行分词，得到多个第一词汇，每个第一词汇包含至少一个字符；
通过大语言模型，对所述每个第一词汇进行特征提取，得到所述每个第一词汇的特征；
基于所述多个第一词汇的特征，确定多个词组的相似度，每个词组包括所述文本中相邻的两个第一词汇，所述词组的相似度指示所述词组中两个第一词汇的相似度；
确定所述每个词组的共现频率，所述词组的共现频率指示所述词组中两个第一词汇在文本数据库中以相邻的形式出现的频率，所述文本数据库包括多个参考文本；
将所述每个词组的相似度与共现频率进行融合，得到所述每个词组的组合概率，所述词组的组合概率指示所述词组中两个第一词汇能够组成一个词汇的可能性；
基于所述多个词组的组合概率，将组合概率最大的词组中两个第一词汇组成第二词汇，或者，将组合概率大于第一阈值的词组中两个第一词汇组成第二词汇。
2.根据权利要求1所述的方法，其特征在于，所述确定所述每个词组的共现频率，包括：
基于所述词组中两个第一词汇，遍历所述多个参考文本，确定所述词组中两个第一词汇以相邻的形式出现的次数；
确定所述多个参考文本包含的词汇数量；
将所述次数与所述词汇数量的比值，确定为所述词组的共现频率。
3.根据权利要求1所述的方法，其特征在于，所述基于所述多个词组的组合概率，将组合概率最大的词组中两个第一词汇组成第二词汇之后，所述方法还包括：
基于词汇数据库中的词汇，对所述第二词汇进行校验，所述词汇数据库用于存储具有实体含义的词汇；
在对所述第二词汇校验通过的情况下，将所述第二词汇添加到词汇数据库中。
4.根据权利要求3所述的方法，其特征在于，所述基于词汇数据库中的词汇，对所述第二词汇进行校验，包括：
检测所述词汇数据库中是否存在所述第二词汇；
检测所述词汇数据库中词汇的数量是否达到第二阈值；
在所述词汇数据库不存在所述第二词汇、且所述词汇数据库中词汇的数量未达到所述第二阈值的情况下，确定对所述第二词汇校验通过；
在所述词汇数据库存在所述第二词汇的情况下，或者，在所述词汇数据库中词汇的数量达到所述第二阈值的情况下，确定对所述第二词汇校验未通过。
5.根据权利要求3所述的方法，其特征在于，所述基于所述多个词组的组合概率，将组合概率最大的词组中两个第一词汇组成第二词汇之后，所述方法还包括：
基于所述词汇数据库中的词汇，对所述第一词汇进行校验；
在对所述第一词汇校验通过的情况下，将所述第一词汇添加到所述词汇数据库中。
6.根据权利要求1所述的方法，其特征在于，所述基于所述多个词组的组合概率，将组合概率最大的词组中两个第一词汇组成第二词汇之后，所述方法还包括：
通过大语言模型，对所述第二词汇进行特征提取，得到所述第二词汇的特征；
基于所述第二词汇的特征与第三词汇的特征，确定所述第二词汇与所述第三词汇的相似度，所述第三词汇为所述文本中与所述第二词汇相邻的第一词汇；
确定所述第二词汇与所述第三词汇的共现频率，所述共现频率指示所述第二词汇与所述第三词汇在所述文本数据库中以相邻的形式出现的频率；
将所述第二词汇与所述第三词汇的相似度与共现频率进行融合，得到所述第二词汇与所述第三词汇的组合概率，所述第二词汇与所述第三词汇的组合概率指示所述第二词汇与所述第三词汇能够组成一个词汇的可能性；
在所述第二词汇与所述第三词汇的组合概率达到所述第一阈值的情况下，将所述第二词汇与所述第三词汇组成第四词汇。
7.一种分词装置，其特征在于，所述装置包括：
分词模块，用于对文本进行分词，得到多个第一词汇，每个第一词汇包含至少一个字符；
特征提取模块，用于通过大语言模型，对所述每个第一词汇进行特征提取，得到所述每个第一词汇的特征；
确定模块，用于基于所述多个第一词汇的特征，确定多个词组的相似度，每个词组包括所述文本中相邻的两个第一词汇，所述词组的相似度指示所述词组中两个第一词汇的相似度；
所述确定模块，还用于确定所述每个词组的共现频率，所述词组的共现频率指示所述词组中两个第一词汇在文本数据库中以相邻的形式出现的频率，所述文本数据库包括多个参考文本；
融合模块，用于将所述每个词组的相似度与共现频率进行融合，得到所述每个词组的组合概率，所述词组的组合概率指示所述词组中两个第一词汇能够组成一个词汇的可能性；
组合模块，用于基于所述多个词组的组合概率，将组合概率最大的词组中两个第一词汇组成第二词汇，或者，将组合概率大于第一阈值的词组中两个第一词汇组成第二词汇。
8.根据权利要求7所述的装置，其特征在于，所述确定模块，用于基于所述词组中两个第一词汇，遍历所述多个参考文本，确定所述词组中两个第一词汇以相邻的形式出现的次数；确定所述多个参考文本包含的词汇数量；将所述次数与所述词汇数量的比值，确定为所述词组的共现频率。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现如权利要求1至6任一权利要求所述的分词方法所执行的操作。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至6任一权利要求所述的分词方法所执行的操作。
CN202311789947.0A 2023-12-22 2023-12-22 分词方法、装置、计算机设备及存储介质 Pending CN117807993A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311789947.0A CN117807993A (zh) 2023-12-22 2023-12-22 分词方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311789947.0A CN117807993A (zh) 2023-12-22 2023-12-22 分词方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN117807993A true CN117807993A (zh) 2024-04-02

Family

ID=90426138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311789947.0A Pending CN117807993A (zh) 2023-12-22 2023-12-22 分词方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN117807993A (zh)

Similar Documents

Publication Publication Date Title
CN108595431B (zh) 语音交互文本纠错方法、装置、终端及存储介质
CN110263131B (zh) 回复信息生成方法、装置及存储介质
CN112069309B (zh) 信息获取方法、装置、计算机设备及存储介质
CN111414736B (zh) 故事生成模型训练方法、装置、设备及存储介质
CN110162604B (zh) 语句生成方法、装置、设备及存储介质
CN111739517B (zh) 语音识别方法、装置、计算机设备及介质
CN111209377B (zh) 基于深度学习的文本处理方法、装置、设备及介质
CN111324699A (zh) 语义匹配的方法、装置、电子设备及存储介质
CN114333774B (zh) 语音识别方法、装置、计算机设备及存储介质
CN115116458B (zh) 语音数据转换方法、装置、计算机设备及存储介质
CN116775915A (zh) 资源推荐方法、推荐预测模型训练方法、装置及设备
CN113836946B (zh) 训练评分模型的方法、装置、终端及存储介质
CN115130456A (zh) 语句解析、匹配模型的训练方法、装置、设备及存储介质
CN113763931B (zh) 波形特征提取方法、装置、计算机设备及存储介质
CN114328815A (zh) 文本映射模型的处理方法、装置、计算机设备及存储介质
CN113822084A (zh) 语句翻译方法、装置、计算机设备及存储介质
CN111414737B (zh) 故事生成模型训练方法、装置、设备及存储介质
CN117454954A (zh) 模型训练方法、装置、计算机设备及存储介质
CN113515943A (zh) 自然语言处理方法及其模型的获取方法、装置、存储介质
CN114360528B (zh) 语音识别方法、装置、计算机设备及存储介质
CN115658857A (zh) 智能对话方法、装置、设备及存储介质
CN115116437A (zh) 语音识别方法、装置、计算机设备、存储介质及产品
CN114996515A (zh) 视频特征提取模型的训练方法、文本生成方法及装置
CN117807993A (zh) 分词方法、装置、计算机设备及存储介质
CN114495938B (zh) 音频识别方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination