CN109190124A - 用于分词的方法和装置 - Google Patents

用于分词的方法和装置 Download PDF

Info

Publication number
CN109190124A
CN109190124A CN201811076566.7A CN201811076566A CN109190124A CN 109190124 A CN109190124 A CN 109190124A CN 201811076566 A CN201811076566 A CN 201811076566A CN 109190124 A CN109190124 A CN 109190124A
Authority
CN
China
Prior art keywords
vocabulary
text
sequence
words
participle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811076566.7A
Other languages
English (en)
Other versions
CN109190124B (zh
Inventor
邓江东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
Douyin Vision Beijing Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201811076566.7A priority Critical patent/CN109190124B/zh
Priority to PCT/CN2018/116345 priority patent/WO2020052069A1/zh
Priority to US16/981,273 priority patent/US20210042470A1/en
Publication of CN109190124A publication Critical patent/CN109190124A/zh
Application granted granted Critical
Publication of CN109190124B publication Critical patent/CN109190124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了用于分词的方法和装置。该方法的一具体实施方式包括：获取预设词汇集合和待分词文本，其中，预设词汇集合为基于预设文本集合预先生成的词汇集合，预设词汇集合中的词汇包括第一信息和第二信息；基于预设词汇集合，对待分词文本进行分词，获得至少一个词汇序列；对于至少一个词汇序列中的词汇序列，确定该词汇序列中的词汇的第一信息和第二信息，以及基于所确定的第一信息和第二信息，确定该词汇序列的概率，其中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻的词汇确定出的第二信息；从至少一个词汇序列中选取概率最大的词汇序列作为分词结果。该实施方式提高了分词的准确性。

Description

用于分词的方法和装置
技术领域
本申请实施例涉及计算机技术领域，尤其涉及用于分词的方法和装置。
背景技术
通常，分词指的是中文分词。通过分词，可以将一个汉字序列切分成一个或多个词语。
分词是文本挖掘的基础。通过分词，可以使计算机自动识别语句含义。在这里，这种通过分词，使得计算机自动识别语句含义的方法又叫做机械分词方法，它的主要原理是按照一定的策略将待分析汉字串与预先设置的机器词典中的词条进行匹配，以确定出待分析汉字串所对应的目标词条。
发明内容
本申请实施例提出了用于分词的方法和装置。
第一方面，本申请实施例提供了一种用于分词的方法，该方法包括：获取预设词汇集合和待分词文本，其中，预设词汇集合为基于预设文本集合预先生成的词汇集合，预设词汇集合中的词汇包括第一信息和第二信息，第一信息用于表征词汇在预设文本集合中出现的概率，对于预设词汇集合中的词汇，第二信息用于表征在预设文本集合中，以除该词汇以外的词汇出现作为条件，该词汇出现的条件概率；基于预设词汇集合，对待分词文本进行分词，获得至少一个词汇序列；对于至少一个词汇序列中的词汇序列，确定该词汇序列中的词汇的第一信息和第二信息，以及基于所确定的第一信息和第二信息，确定该词汇序列的概率，其中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻的词汇确定出的第二信息；从至少一个词汇序列中选取概率最大的词汇序列作为分词结果。
在一些实施例中，基于所确定的第一信息和第二信息，确定该词汇序列的概率，包括：对该词汇序列中相邻的两个词汇进行连线，生成分词路径，其中，分词路径的节点由该词汇序列中的词汇表征，分词路径的边为用于连接词汇的线；基于该词汇序列中的词汇的第一信息和第二信息，确定分词路径的边的权重；基于所确定的权重，确定该词汇序列的概率。
在一些实施例中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻，且位于该词汇之前的词汇确定出的第二信息。
在一些实施例中，确定该词汇序列中的词汇的第二信息，包括：对于该词汇序列中的词汇，执行以下步骤：确定该词汇序列是否包括与该词汇相邻，且位于该词汇之前的词汇；响应于确定包括，基于与该词汇相邻，且位于该词汇之前的词汇，确定该词汇的第二信息。
在一些实施例中，预设词汇集合通过以下生成步骤获得：获取预设文本集合和针对预设文本集合中的预设文本预先标注的样本分词结果；将预设文本集合中的预设文本作为输入，将所输入的预设文本所对应的样本分词结果作为期望输出，利用机器学习方法，训练得到分词模型；利用分词模型对预设文本集合中的预设文本进行分词，获得第一分词结果；基于所获得的第一分词结果，生成初始词汇集合，其中，初始词汇集合中的词汇包括基于所获得的第一分词结果确定出的第一信息；基于初始词汇集合，对预设文本集合中的预设文本进行分词，获得第二分词结果；基于初始词汇集合和所获得的第二分词结果，生成预设词汇集合，其中，预设词汇集合中的词汇包括第一信息和基于所获得的第二分词结果确定出的第二信息。
在一些实施例中，训练得到分词模型，包括：对预先确定的至少两个初始模型进行训练，得到至少两个分词模型；以及利用分词模型对预设文本集合中的预设文本进行分词，获得第一分词结果，包括：利用至少两个分词模型对预设文本集合中的预设文本进行分词，获得至少两个第一分词结果。
在一些实施例中，在基于所获得的第一分词结果，生成初始词汇集合之前，生成步骤还包括：从所获得的至少两个第一分词结果中提取相同的词汇；以及基于所获得的第一分词结果，生成初始词汇集合，包括：基于所提取的词汇和所获得的第一分词结果，生成初始词汇集合。
在一些实施例中，对待分词文本进行分词，获得至少一个词汇序列，包括：对待分词文本和预设文本格式进行匹配，以确定待分词文本是否包括与预设文本格式相匹配的文本；响应于确定包括，基于预设词汇集合和所确定的、相匹配的文本，对待分词文本进行分词，获得至少一个词汇序列，其中，词汇序列包括所确定的、相匹配的文本。
在一些实施例中，对待分词文本进行分词，获得至少一个词汇序列，包括：对待分词文本进行命名实体识别，以确定待分词文本是否包括命名实体；响应于确定包括，基于预设词汇集合和所确定的命名实体，对待分词文本进行分词，获得至少一个词汇序列，其中，词汇序列包括所确定的命名实体。
在一些实施例中，在从至少一个词汇序列中选取概率最大的词汇序列作为分词结果之后，该方法还包括：获取预设的候选词汇集合，其中，候选词汇集合中的词汇用于表征以下至少一项：电影名称、电视剧名称、音乐名称；对分词结果和候选词汇集合中的词汇进行匹配，以确定分词结果是否包括与候选词汇集合中的词汇相匹配的词组，其中，词组包括相邻的至少两个词汇；响应于确定包括，将相匹配的词组确定为新的词汇，以及生成包括新的词汇的新的分词结果。
第二方面，本申请提供了一种用于分词的装置，该装置包括：第一获取单元，被配置成获取预设词汇集合和待分词文本，其中，预设词汇集合为基于预设文本集合预先生成的词汇集合，预设词汇集合中的词汇包括第一信息和第二信息，第一信息用于表征词汇在预设文本集合中出现的概率，对于预设词汇集合中的词汇，第二信息用于表征在预设文本集合中，以除该词汇以外的词汇出现作为条件，该词汇出现的条件概率；文本分词单元，被配置成基于设词汇集合，对待分词文本进行分词，获得至少一个词汇序列；概率确定单元，被配置成对于至少一个词汇序列中的词汇序列，确定该词汇序列中的词汇的第一信息和第二信息，以及基于所确定的第一信息和第二信息，确定该词汇序列的概率，其中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻的词汇确定出的第二信息；序列选取单元，被配置成从至少一个词汇序列中选取概率最大的词汇序列作为分词结果。
在一些实施例中，概率确定单元包括：路径生成模块，被配置成对该词汇序列中相邻的两个词汇进行连线，生成分词路径，其中，分词路径的节点由该词汇序列中的词汇表征，分词路径的边为用于连接词汇的线；权重确定模块，被配置成基于该词汇序列中的词汇的第一信息和第二信息，确定分词路径的边的权重；概率确定模块，被配置成基于所确定的权重，确定该词汇序列的概率。
在一些实施例中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻，且位于该词汇之前的词汇确定出的第二信息。
在一些实施例中，概率确定单元进一步被配置成：对于该词汇序列中的词汇，执行以下步骤：确定该词汇序列是否包括与该词汇相邻，且位于该词汇之前的词汇；响应于确定包括，基于与该词汇相邻，且位于该词汇之前的词汇，确定该词汇的第二信息。
在一些实施例中，预设词汇集合通过以下生成步骤获得：获取预设文本集合和针对预设文本集合中的预设文本预先标注的样本分词结果；将预设文本集合中的预设文本作为输入，将所输入的预设文本所对应的样本分词结果作为期望输出，利用机器学习方法，训练得到分词模型；利用分词模型对预设文本集合中的预设文本进行分词，获得第一分词结果；基于所获得的第一分词结果，生成初始词汇集合，其中，初始词汇集合中的词汇包括基于所获得的第一分词结果确定出的第一信息；基于初始词汇集合，对预设文本集合中的预设文本进行分词，获得第二分词结果；基于初始词汇集合和所获得的第二分词结果，生成预设词汇集合，其中，预设词汇集合中的词汇包括第一信息和基于所获得的第二分词结果确定出的第二信息。
在一些实施例中，训练得到分词模型，包括：对预先确定的至少两个初始模型进行训练，得到至少两个分词模型；以及利用分词模型对预设文本集合中的预设文本进行分词，获得第一分词结果，包括：利用至少两个分词模型对预设文本集合中的预设文本进行分词，获得至少两个第一分词结果。
在一些实施例中，在基于所获得的第一分词结果，生成初始词汇集合之前，生成步骤还包括：从所获得的至少两个第一分词结果中提取相同的词汇；以及基于所获得的第一分词结果，生成初始词汇集合，包括：基于所提取的词汇和所获得的第一分词结果，生成初始词汇集合。
在一些实施例中，文本分词单元包括：文本匹配模块，被配置成对待分词文本和预设文本格式进行匹配，以确定待分词文本是否包括与预设文本格式相匹配的文本；第一分词模块，被配置成响应于确定包括，基于预设词汇集合和所确定的、相匹配的文本，对待分词文本进行分词，获得至少一个词汇序列，其中，词汇序列包括所确定的、相匹配的文本。
在一些实施例中，文本分词单元包括：文本识别模块，被配置成对待分词文本进行命名实体识别，以确定待分词文本是否包括命名实体；第二分词模块，被配置成响应于确定包括，基于预设词汇集合和所确定的命名实体，对待分词文本进行分词，获得至少一个词汇序列，其中，词汇序列包括所确定的命名实体。
在一些实施例中，该装置还包括：第二获取单元，被配置成获取预设的候选词汇集合，其中，候选词汇集合中的词汇用于表征以下至少一项：电影名称、电视剧名称、音乐名称；词汇匹配单元，被配置成对分词结果和候选词汇集合中的词汇进行匹配，以确定分词结果是否包括与候选词汇集合中的词汇相匹配的词组，其中，词组包括相邻的至少两个词汇；结果生成单元，被配置成响应于确定包括，将相匹配的词组确定为新的词汇，以及生成包括新的词汇的新的分词结果。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述用于分词的方法中任一实施例的方法。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现上述用于分词的方法中任一实施例的方法。
本申请实施例提供的用于分词的方法和装置，通过获取预设词汇集合和待分词文本，其中，预设词汇集合为基于预设文本集合预先生成的词汇集合，预设词汇集合中的词汇包括第一信息和第二信息，第一信息用于表征词汇在预设文本集合中出现的概率，对于预设词汇集合中的词汇，第二信息用于表征在预设文本集合中，以除该词汇以外的词汇出现作为条件，该词汇出现的条件概率，而后基于预设词汇集合，对待分词文本进行分词，获得至少一个词汇序列，接着对于至少一个词汇序列中的词汇序列，确定该词汇序列中的词汇的第一信息和第二信息，以及基于所确定的第一信息和第二信息，确定该词汇序列的概率，其中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻的词汇确定出的第二信息，最后从至少一个词汇序列中选取概率最大的词汇序列作为分词结果，从而对于待分词文本中的词汇，有效利用了词汇的第一信息和第二信息来确定分词结果，提高了分词的准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的用于分词的方法的一个实施例的流程图；
图3是根据本申请实施例的用于分词的方法的一个应用场景的示意图；
图4是根据本申请的用于分词的方法的又一个实施例的流程图；
图5是根据本申请的用于分词的装置的一个实施例的结构示意图；
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于分词的方法或用于分词的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如语言处理软件、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103发送的待分词文本进行分词的文本处理服务器。文本处理服务器可以对接收到的待分词文本等数据进行分析等处理，获得处理结果(例如分词结果)。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在待分词文本或者生成待分词文本所对应的分词结果的过程中所使用的数据不需要从远程获取的情况下，上述系统架构可以不包括网络，而只包括终端设备或服务器。
继续参考图2，示出了根据本申请的用于分词的方法的一个实施例的流程200。该用于分词的方法，包括以下步骤：
步骤201，获取预设词汇集合和待分词文本。
在本实施例中，用于分词的方法的执行主体(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从与之通信连接的终端(例如图1所示的终端设备)或者本地获取预设词汇集合和待分词文本。其中，待分词文本为待对其进行分词的文本，可以为包括词汇的短语、句子或者文章等。
预设词汇集合为用于分词的词汇集合。预设词汇集合可以基于预设文本集合预先生成。预设文本为技术人员预先确定的、用于获得用于分词的词汇集合的文本。例如用户输入的搜索词(搜索词为用于搜索的词汇、短语或者句子)、网站中发表的文章、报纸中的新闻等。预设词汇集合中的词汇包括第一信息和第二信息。第一信息用于表征词汇在预设文本集合中出现的概率，可以包括但不限于以下至少一项：文字、数字、符号。对于预设词汇集合中的词汇，该词汇的第二信息用于表征在预设文本集合中，以除该词汇以外的词汇出现作为条件，该词汇出现的条件概率，可以包括但不限于以下至少一项：文字、数字、符号。
作为示例，预设文本集合包括两个预设文本，分别为：“今日天气”；“今日的阳光让我的心情都阳光起来”。基于预设文本集合得到的预设词汇集合可以包括以下词汇：“今日”；“天气”；“阳光”；“心情”。
首先分析第一信息，对于预设词汇集合中的词汇“今日”，可以看出，两个预设文本中都包括“今日”，故“今日”所对应的第一信息可以为“一：100％”；对于词汇“天气”，可以看出，只有第一个预设文本中包括“天气”，故“天气”所对应的第一信息可以为“一：50％”；对于词汇“阳光”，可以看出，只有第二个预设文本中包括“阳光”，故“阳光”所对应的第一信息可以为“一：50％”；对于词汇“心情”，可以看出，只有第二个预设文本中包括“心情”，故“心情”所对应的第一信息可以为“一：50％”。需要说明的是，对于词汇“阳光”，虽然该词汇出现了两次，但是均出现在了第二个预设文本中，而未出现在第一个预设文本中，故该词汇的第一信息为“一：50％”。
接着分析第二信息，对于词汇“今日”，包括以下分析：可以看出，当以词汇“天气”出现作为条件时，词汇“今日”出现的概率为100％，故词汇“今日”相对于词汇“天气”的第二信息可以为“二：100％”；当以词汇“阳光”出现作为条件时，词汇“今日”出现的概率为100％，故词汇“今日”相对于词汇“阳光”的第二信息可以为“二：100％”；当以词汇“心情”出现作为条件时，词汇“今日”出现的概率为100％，故词汇“今日”相对于词汇“心情”的第二信息可以为“二：100％”。
对于词汇“天气”，包括以下分析：可以看出，当以词汇“今日”出现作为条件时，词汇“天气”出现的概率为50％，故词汇“天气”相对于词汇“今日”的第二信息可以为“二：50％”；当以词汇“阳光”出现作为条件时，词汇“天气”出现的概率为0％，故词汇“天气”相对于词汇“阳光”的第二信息可以为“二：0％”；当以词汇“心情”出现作为条件时，词汇“天气”出现的概率为0％，故词汇“天气”相对于词汇“心情”的第二信息可以为“二：0％”。
以此类推，可以确定出词汇“阳光”相对于词汇“今日”的第二信息可以为“二：50％”，相对于词汇“天气”的第二信息可以为“二：0％”，相对于词汇“心情”的第二信息可以为“二：100％”。词汇“心情”相对于词汇“今日”的第二信息可以为“二：50％”，相对于词汇“天气”的第二信息可以为“二：0％”，相对于词汇“阳光”的第二信息可以为“二：100％”。
在本实施例的一些可选的实现方式中，上述预设词汇集合可以通过以下生成步骤获得：
步骤2011，获取预设文本集合和针对预设文本集合中的预设文本预先标注的样本分词结果。
其中，样本分词结果可以为技术人员预先标注的结果。实践中，分词结果可以为分词得到的词汇所组成的词汇序列。例如，对于预设文本“今日天气”，其所对应的样本分词结果可以为样本词汇序列“今日”；“天气”。
步骤2012，将预设文本集合中的预设文本作为输入，将所输入的预设文本所对应的样本分词结果作为期望输出，利用机器学习方法，训练得到分词模型。
在这里，分词模型可以用于表征文本与分词结果的对应关系。具体的，分词模型可以基于现有的各种用于进行语言处理的模型(例如CRF(Conditional Random Field，条件随机场)、HMM(Hidden Markov Model，隐马尔可夫模型)等)训练得到。需要说明的是，训练获得分词模型的方法是目前广泛研究和应用的公知技术，此处不再赘述。
在本实施例的一些可选的实现方式中，可以对预先确定的至少两个初始模型进行训练，得到至少两个分词模型。其中，初始模型与分词模型一一对应。例如，可以将CRF和HMM作为用于训练获得分词模型的两个初始模型，进而可以训练得到两个分词模型(包括CRF所对应的分词模型和HMM所对应的分词模型)。
步骤2013，利用分词模型对预设文本集合中的预设文本进行分词，获得第一分词结果。
具体的，对于预设文本集合中的每个预设文本，可以将该预设文本输入步骤2012中得到的分词模型，获得分词结果，并将所获得的分词结果确定为第一分词结果。
在本实施例的一些可选的实现方式中，当步骤2012对预先确定的至少两个初始模型进行训练，得到至少两个分词模型时，本步骤可以进一步利用至少两个分词模型对预设文本集合中的预设文本进行分词，获得至少两个第一分词结果。其中，第一分词结果与分词模型一一对应。
步骤2014，基于所获得的第一分词结果，生成初始词汇集合。
其中，初始词汇集合中的词汇包括基于所获得的第一分词结果确定出的第一信息。
具体的，可以首先从所获得的第一分词结果选取词汇作为初始词汇集合中的词汇。然后对于所选取的词汇中的每个词汇，确定该词汇在所获得的第一分词结果中出现的概率，生成该词汇的第一信息。进而，可以基于所选取的词汇以及词汇的第一信息生成初始词汇集合。
需要说明的是，可以采用各种方法从所获得的第一分词结果中选取词汇作为初始词汇集合中的词汇。例如，可以直接将所获得的第一分词结果中的所有词汇确定为初始词汇集合中的词汇；或者，可以从所获得的第一分词结果中选取除了单字以外的词汇作为初始词汇集合中的词汇。
在本实施例的一些可选的实现方式中，当步骤2014获得了至少两个第一分词结果时，在步骤2014之前，生成步骤还可以包括：从所获得的至少两个第一分词结果中提取相同的词汇；以及步骤2014可以包括：基于所提取的词汇和所获得的第一分词结果，生成初始词汇集合。
步骤2015，基于初始词汇集合，对预设文本集合中的预设文本进行分词，获得第二分词结果。
具体的，可以基于初始词汇集合，采用各种方法对预设文本集合中的预设文本进行分词，获得分词结果，并将所获得的分词结果确定为第二分词结果。例如，可以采用最大正向匹配算法、最大逆向匹配算法、最小正向匹配算法、最小逆向匹配算法等，对预设文本集合中的预设文本进行分词，获得分词结果。可以理解，第二分词结果中的词汇属于初始词汇集合，故第二分词结果中的词汇也包括第一信息。
需要说明的是，基于词汇集合对文本进行分词的方法是目前广泛研究和应用的公知技术，此处不再赘述。
步骤2016，基于初始词汇集合和所获得的第二分词结果，生成预设词汇集合。
其中，预设词汇集合中的词汇包括第一信息和基于所获得的第二分词结果确定出的第二信息。
具体的，可以首先从初始词汇集合中选取词汇作为预设词汇集合中的词汇。然后对于所选取的词汇中的每个词汇，确定以其他各个词汇在所获得的第二分词结果中出现作为条件，该词汇在所获得的第二分词结果中出现的条件概率(即在其他各个词汇在所获得的第二分词结果中出现的情况下，该词汇在所获得的第二分词结果中出现的概率)，进而生成该词汇的第二信息。最后，可以基于所选取的词汇以及词汇的第一信息和第二信息生成预设词汇集合。可以理解，由于初始词汇集合中的词汇包括第一信息，故确定出第二信息后，预设词汇集合中的词汇可以同时包括第一信息和第二信息。
需要说明的是，可以采用各种方法从初始词汇集合中选取词汇作为预设词汇集合中的词汇。例如，可以直接将所获得的第一分词结果中的所有词汇确定为初始词汇集合中的词汇；或者，可以从所获得的初始词汇集合中选取所包括的第一信息所指示的概率大于等于预设阈值的词汇作为预设词汇集合中的词汇。
还需要说明的是，实践中，用于生成预设词汇集合的上述生成步骤的执行主体可以与用于分词的方法的执行主体相同或者不同。如果相同，则用于生成预设词汇集合的上述生成步骤的执行主体可以在得到预设词汇集合后将预设词汇集合存储在本地。如果不同，则用于生成预设词汇集合的上述生成步骤的执行主体可以在得到预设词汇集合后将预设词汇集合发送给用于分词的方法的执行主体。
步骤202，基于预设词汇集合，对待分词文本进行分词，获得至少一个词汇序列。
在本实施例中，基于步骤201中获取的预设词汇集合，上述执行主体可以对待分词文本进行分词，获得至少一个词汇序列。
具体的，上述执行主体可以基于预设词汇集合，采用预设的至少两种方法，对待分词文本进行分词，获得至少一个词汇序列。需要说明的是，采用两种不同的方法对待分词文本进行分词，可能得到相同的词汇序列，故在这里，上述执行主体可以采用预设的至少两个方法分词，获得至少一个词汇序列。
在本实施例的一些可选的实现方式中，上述执行主体还可以通过以下步骤对待分词文本进行分词，获得至少一个词汇序列：首先，上述执行主体可以对待分词文本和预设文本格式进行匹配，以确定待分词文本是否包括与预设文本格式相匹配的文本。然后，上述执行主体可以响应于确定包括，基于预设词汇集合和所确定的、相匹配的文本，对待分词文本进行分词，获得至少一个词汇序列。其中，词汇序列包括所确定的、相匹配的文本。预设文本格式为技术人员预先确定的格式。预设文本格式可以用于指示符合预设规则的文本。例如，预设文本格式可以为“x年y月z日”，其中，x，y，z可以用于表征任意数字。进而，预设文本格式可以用于指示表征日期(包括“年月日”的日期)的文本。
进一步，示例性的，预设文本格式为“x年y月z日”。待分词文本为“今天是2018年9月6日”。则上述执行主体可以通过以下步骤对待分词文本进行分词：首先，上述执行主体对待分词文本“今天是2018年9月6日”和预设文本格式“x年y月z日”进行匹配，得到相匹配的文本“2018年9月6日”。然后，对于不相匹配的文本“今天是”，上述执行主体可以基于预设词汇集合对该不相匹配的文本进行分词，例如可以得到结果“今天”；“是”。最后，上述执行主体可以将相匹配的文本“2018年9月6日”作为词汇序列中的词汇，与结果“今天”；“是”组成最终的词汇序列“今天”；“是”；“2018年9月6日”。
在本实施例的一些可选的实现方式中，上述执行主体还可以通过以下步骤对待分词文本进行分词，获得至少一个词汇序列：首先，上述执行主体可以对待分词文本进行命名实体识别，以确定待分词文本是否包括命名实体。然后，上述执行主体可以响应于确定包括，基于预设词汇集合和所确定的命名实体，对待分词文本进行分词，获得至少一个词汇序列，其中，词汇序列包括所确定的命名实体。其中，命名实体指的是人名、机构名、地名以及其他所有以名称为标识的实体。在这里，实体指的是词汇。
具体的，上述执行主体可以采用各种方法对待分词文本进行命名实体识别。例如，技术人员可以预先建立命名实体集合，然后上述执行主体可以对待分词文本和命名实体集合中的命名实体进行匹配，以确定待分词文本是否包括命名实体；或者，上述执行主体可以利用预先训练的命名实体识别模型对待分词文本进行识别，以确定待分词文本是否包括命名实体。其中，命名实体识别模型可以为基于现有的各种用于进行语言处理的模型(例如CRF、HMM等)训练得到。需要说明的是，训练获得命名实体识别模型的方法是目前广泛研究和应用的公知技术，此处不再赘述。
作为示例，待分词文本为“今天是李四的生日”，则上述执行主体可以通过以下步骤对该待分词分本进行分词：首先，上述执行主体可以对待分词文本“今天是李四的生日”进行命名实体识别，得到命名实体“李四”。然后，对于非命名实体“今天是的生日”，上述执行主体可以基于预设词汇集合对其进行分词，例如可以得到结果“今天”；“是”；“的”；“生日”。最后，上述执行主体可以将得到的命名实体“李四”作为词汇序列中的词汇，与结果“今天”；“是”；“的”；“生日”组成最终的词汇序列“今天”；“是”；“李四”“的”；“生日”。
步骤203，对于至少一个词汇序列中的词汇序列，确定该词汇序列中的词汇的第一信息和第二信息，以及基于所确定的第一信息和第二信息，确定该词汇序列的概率。
在本实施例中，对于步骤202中得到的至少一个词汇序列中的词汇序列，上述执行主体可以确定该词汇序列中的词汇的第一信息和第二信息，以及基于所确定的第一信息和第二信息，确定该词汇序列的概率。其中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻的词汇确定出的第二信息。
可以理解，由于基于预设词汇集合获得的词汇序列中的词汇属于预设词汇集合，故词汇序列中的词汇可以包括第一信息和第二信息。特别之处在于，预设词汇集合中的词汇可以包括多个第二信息(对应将不同词汇出现作为条件)，而这里，对于词汇序列中的词汇，该词汇的第二信息为将与该词汇相邻的词汇出现作为条件的第二信息。
在本实施例的一些可选的实现方式中，对于词汇序列中的词汇，该词汇的第二信息可以为基于与该词汇相邻，且位于该词汇之前的词汇确定出的第二信息。
在本实施例的一些可选的实现方式中，对于词汇序列中的词汇，当该词汇的第二信息为基于与该词汇相邻，且位于该词汇之前的词汇确定出的第二信息时，上述执行主体可以通过以下步骤确定该词汇的第二信息：首先，上述执行主体可以确定该词汇序列是否包括与该词汇相邻，且位于该词汇之前的词汇。然后，上述执行主体可以响应于确定该词汇序列包括与该词汇相邻，且位于该词汇之前的词汇，基于与该词汇相邻，且位于该词汇之前的词汇，确定该词汇的第二信息。
特别的，上述执行主体还可以响应于确定该词汇序列不包括与该词汇相邻，且位于该词汇之前的词汇，将预设第二信息确定为该词汇的第二信息。其中，预设第二信息包括技术人员预设的概率。
在本实施例中，对于所获得的至少一个词汇序列中的词汇序列，上述执行主体可以基于所确定的第一信息和第二信息，采用各种方法确定该词汇序列的概率。例如，可以首先对该词汇序列中的每个词汇的第一信息所指示的概率和第二信息所指示的概率进行求和，获得求和结果作为该词汇所对应的概率；然后对该词汇序列中每个词汇所对应的概率进行求和，获得求和结果作为该词汇序列的概率。
步骤204，从至少一个词汇序列中选取概率最大的词汇序列作为分词结果。
在本实施例中，基于步骤202中得到的至少一个词汇序列和步骤203中得到的词汇序列的概率，上述执行主体可以从至少一个词汇序列中选取概率最大的词汇序列作为分词结果。
需要说明的是，当上述至少一个词汇序列中仅包括一个词汇序列时，上述执行主体可以直接将该词汇序列确定为分词结果。
在本实施例的一些可选的实现方式中，在从至少一个词汇序列中选取概率最大的词汇序列作为分词结果之后，上述执行主体还可以执行以下步骤：
首先，上述执行主体可以获取预设的候选词汇集合。其中，候选词汇集合中的词汇用于表征但不限于以下至少一项：电影名称、电视剧名称、音乐名称。
然后，上述执行主体可以对步骤204分词结果和候选词汇集合中的词汇进行匹配，以确定分词结果是否包括与候选词汇集合中的词汇相匹配的词组。其中，词组包括相邻的至少两个词汇。
最后，响应于确定分词结果包括与候选词汇集合中的词汇相匹配的词组，上述执行主体可以将相匹配的词组确定为新的词汇，以及生成包括新的词汇的新的分词结果。
作为示例，分词结果为“我”；“喜欢”；“命运”；“交响曲”。候选词汇集合中包括音乐名称“命运交响曲”。进而，上述执行主体对分词结果为“我”；“喜欢”；“命运”；“交响曲”和候选词汇集合进行匹配后，可以确定分词结果包括相匹配的词组“命运”；“交响曲”。故上述执行主体可以将相匹配的词组“命运”；“交响曲”确定为新的词汇“命运交响曲”，及生产新的分词结果“我”；“喜欢”；“命运交响曲”。
继续参见图3，图3是根据本实施例的用于分词的方法的应用场景的一个示意图。在图3的应用场景中，服务器301首先从与之通信连接的终端302获取待分词文本“南京长江大桥”303，以及从本地获取预设词汇集合304。其中，预设词汇集合为基于预设文本集合预先生成的词汇集合。预设词汇集合中的词汇包括第一信息和第二信息。第一信息用于表征词汇在预设文本集合中出现的概率。对于预设词汇集合中的词汇，第二信息用于表征在预设文本集合中，以除该词汇以外的词汇出现作为条件，该词汇出现的条件概率。然后，服务器301可以基于预设词汇集合304，对待分词文本303进行分词，获得词汇序列3051(例如“南京”；“长江”；“大桥”)和词汇序列3052(例如“南京”；“长江大桥”)。然后，对于词汇序列3051，服务器301可以确定该词汇序列中的词汇的第一信息和第二信息，以及基于所确定的第一信息和第二信息，确定该词汇序列的概率3061(例如50％)。同理，对于词汇序列3052，服务器301可以确定该词汇序列中的词汇的第一信息和第二信息，以及基于所确定的第一信息和第二信息，确定该词汇序列的概率3062(例如60％)。这里，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻的词汇确定出的第二信息。最后，由于概率3062大于概率3061(60％大于50％)，故服务器301可以选取词汇序列3052作为分词结果307。
本申请的上述实施例提供的方法有效利用了词汇的第一信息和第二信息来确定分词结果，提高了分词的准确性。
进一步参考图4，其示出了用于分词的方法的又一个实施例的流程400。该用于分词的方法的流程400，包括以下步骤：
步骤401，获取预设词汇集合和待分词文本。
在本实施例中，用于分词的方法的执行主体(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从与之通信连接的终端(例如图1所示的终端设备)或者本地获取预设词汇集合和待分词文本。其中，待分词文本为待对其进行分词的文本，可以为包括词汇的短语、句子或者文章等。
预设词汇集合为用于分词的词汇集合。预设词汇集合可以基于预设文本集合预先生成。预设文本为技术人员预先确定的、用于获得用于分词的词汇集合的文本。
步骤402，基于预设词汇集合，对待分词文本进行分词，获得至少一个词汇序列。
在本实施例中，基于步骤401中获取的预设词汇集合，上述执行主体可以对待分词文本进行分词，获得至少一个词汇序列。
步骤403，对于至少一个词汇序列中的词汇序列，执行以下步骤：确定该词汇序列中的词汇的第一信息和第二信息；对该词汇序列中相邻的两个词汇进行连线，生成分词路径；基于该词汇序列中的词汇的第一信息和第二信息，确定分词路径的边的权重；基于所确定的权重，确定该词汇序列的概率。
在本实施例中，对于步骤402中得到的至少一个词汇序列中的词汇序列，上述执行主体可以执行以下步骤：
步骤4031，确定该词汇序列中的词汇的第一信息和第二信息。
在这里，该步骤与图2所对应的实施例中的步骤203中的确定词汇序列中的词汇的第一信息和第二信息的方法相同，此处不再赘述。
步骤4032，对该词汇序列中相邻的两个词汇进行连线，生成分词路径。
其中，分词路径的节点由该词汇序列中的词汇表征，分词路径的边为用于连接词汇的线。例如词汇序列为“南京”；“长江”；“大桥”，则其所对应的分词路径可以为“南京-长江-大桥”。可以理解，这里的分词路径为用于表征分词过程的虚拟路径。
步骤4033，基于该词汇序列中的词汇的第一信息和第二信息，确定分词路径的边的权重。
其中，分词路径的边的权重用于表征边所表征的分词方式的重要程度。边所表征的分词方式指的是分词获得边所连接的两个词汇的分词方式。
这里，基于该词汇序列中的词汇的第一信息和第二信息，确定分词路径的边的权重具体指的是基于该词汇序列中的词汇的第一信息所指示的概率和第二信息所指示的概率，确定分词路径的边的权重。
具体的，对于分词路径所包括的边中的每个边，上述执行主体可以基于该边所连接的两个词汇的第一信息所指示的概率和第二信息所指示的概率，采用各种方法确定该边的权重。例如，两个词汇中排序在后的词汇的第二信息为相对于排序在前的词汇的第二信息，此时，可以对两个词汇中，排序在前的词汇的第一信息所指示的概率与排序在后的词汇的第二信息所指示的概率求和，获得求和结果，并将求和结果确定为该边的权重。
可选的，当两个词汇中，排序在后的词汇的第二信息为相对于排序在前的词汇的第二信息时，还可以采用如下公式确定该边的权重：
weight＝α·log(p(wi))+(1-α)·log(p(wi|wi-1))
其中，weight用于表征边的权重；wi-1用于表征边所连接的两个词汇中排序在前的词汇；wi用于表征边所连接的两个词汇中排序在后的词汇；log为对数运算的运算符；p(wi)用于表征排序在后的词汇的第一信息所指示的概率；p(wi|wi-1)用于表征排序在后的词汇的、相对于排序在前的词汇的第二信息所指示的概率；α为预先确定的、大于等于0且小于等于1的系数。
步骤4034，基于所确定的权重，确定该词汇序列的概率。
在这里，上述执行主体可以采用各种方法基于所确定的权重，确定该词汇序列的概率。例如，可以对所确定的、该词汇序列所生成的分词路径中的各个边的权重进行求和，获得求和结果，进而将所获得的求和结果确定为该词汇序列的概率；或者，可以对所确定的各个边的权重以及分词路径中的各个词汇的第一信息所指示的概率进行求和，获得求和结果，并将所获得的求和结果确定为该词汇序列的概率。
步骤404，从至少一个词汇序列中选取概率最大的词汇序列作为分词结果。
在本实施例中，基于步骤402中得到的至少一个词汇序列和步骤403中得到的词汇序列的概率，上述执行主体可以从至少一个词汇序列中选取概率最大的词汇序列作为分词结果。
上述步骤401、步骤402、步骤404分别与前述实施例中的步骤201、步骤202、步骤204一致，上文针对步骤201、步骤202和步骤204的描述也适用于步骤401、步骤402和步骤404，此处不再赘述。
从图4中可以看出，与图2对应的实施例相比，本实施例中的用于分词的方法的流程400突出了基于所获得的词汇序列生成分词路径，确定分词路径中的边的权重，并基于所确定的权重，确定词汇序列的概率的步骤。由此，本实施例描述的方案可以引入更多用于确定词汇序列的概率的数据，从而可以实现更为准确的分词。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于分词的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于分词的装置500包括：第一获取单元501、文本分词单元502、概率确定单元503和序列选取单元504。其中，第一获取单元501被配置成获取预设词汇集合和待分词文本，其中，预设词汇集合为基于预设文本集合预先生成的词汇集合，预设词汇集合中的词汇包括第一信息和第二信息，第一信息用于表征词汇在预设文本集合中出现的概率，对于预设词汇集合中的词汇，第二信息用于表征在预设文本集合中，以除该词汇以外的词汇出现作为条件，该词汇出现的条件概率；文本分词单元502被配置成基于预设词汇集合，对待分词文本进行分词，获得至少一个词汇序列；概率确定单元503被配置成对于至少一个词汇序列中的词汇序列，确定该词汇序列中的词汇的第一信息和第二信息，以及基于所确定的第一信息和第二信息，确定该词汇序列的概率，其中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻的词汇确定出的第二信息；序列选取单元504被配置成从至少一个词汇序列中选取概率最大的词汇序列作为分词结果。
在本实施例中，用于分词的装置500的第一获取单元501可以通过有线连接方式或者无线连接方式从与之通信连接的终端(例如图1所示的终端设备)或者本地获取预设词汇集合和待分词文本。其中，待分词文本为待对其进行分词的文本，可以为包括词汇的短语、句子或者文章等。
预设词汇集合为用于分词的词汇集合。预设词汇集合可以基于预设文本集合预先生成。预设文本为技术人员预先确定的、用于获得用于分词的词汇集合的文本。
在本实施例中，基于第一获取单元501获取的预设词汇集合，文本分词单元502可以对待分词文本进行分词，获得至少一个词汇序列。
在本实施例中，对于文本分词单元502得到的至少一个词汇序列中的词汇序列，概率确定单元503可以确定该词汇序列中的词汇的第一信息和第二信息，以及基于所确定的第一信息和第二信息，确定该词汇序列的概率。其中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻的词汇确定出的第二信息。
在本实施例中，基于文本分词单元502得到的至少一个词汇序列和概率确定单元503得到的词汇序列的概率，序列选取单元504可以从至少一个词汇序列中选取概率最大的词汇序列作为分词结果。
在本实施例的一些可选的实现方式中，概率确定单元503可以包括：路径生成模块(图中未示出)被配置成对该词汇序列中相邻的两个词汇进行连线，生成分词路径，其中，分词路径的节点由该词汇序列中的词汇表征，分词路径的边为用于连接词汇的线；权重确定模块(图中未示出)，被配置成基于该词汇序列中的词汇的第一信息和第二信息，确定分词路径的边的权重；概率确定模块(图中未示出)，被配置成基于所确定的权重，确定该词汇序列的概率。
在本实施例的一些可选的实现方式中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻，且位于该词汇之前的词汇确定出的第二信息。
在本实施例的一些可选的实现方式中，概率确定单元503可以进一步被配置成：对于该词汇序列中的词汇，执行以下步骤：确定该词汇序列是否包括与该词汇相邻，且位于该词汇之前的词汇；响应于确定包括，基于与该词汇相邻，且位于该词汇之前的词汇，确定该词汇的第二信息。
在本实施例的一些可选的实现方式中，预设词汇集合通过以下生成步骤获得：获取预设文本集合和针对预设文本集合中的预设文本预先标注的样本分词结果；将预设文本集合中的预设文本作为输入，将所输入的预设文本所对应的样本分词结果作为期望输出，利用机器学习方法，训练得到分词模型；利用分词模型对预设文本集合中的预设文本进行分词，获得第一分词结果；基于所获得的第一分词结果，生成初始词汇集合，其中，初始词汇集合中的词汇包括基于所获得的第一分词结果确定出的第一信息；基于初始词汇集合，对预设文本集合中的预设文本进行分词，获得第二分词结果；基于初始词汇集合和所获得的第二分词结果，生成预设词汇集合，其中，预设词汇集合中的词汇包括第一信息和基于所获得的第二分词结果确定出的第二信息。
在本实施例的一些可选的实现方式中，训练得到分词模型，包括：对预先确定的至少两个初始模型进行训练，得到至少两个分词模型；以及利用分词模型对预设文本集合中的预设文本进行分词，获得第一分词结果，包括：利用至少两个分词模型对预设文本集合中的预设文本进行分词，获得至少两个第一分词结果。
在本实施例的一些可选的实现方式中，在基于所获得的第一分词结果，生成初始词汇集合之前，生成步骤还可以包括：从所获得的至少两个第一分词结果中提取相同的词汇；以及基于所获得的第一分词结果，生成初始词汇集合可以包括：基于所提取的词汇和所获得的第一分词结果，生成初始词汇集合。
在本实施例的一些可选的实现方式中，文本分词单元502可以包括：文本匹配模块(图中未示出)，被配置成对待分词文本和预设文本格式进行匹配，以确定待分词文本是否包括与预设文本格式相匹配的文本；第一分词模块(图中未示出)，被配置成响应于确定包括，基于预设词汇集合和所确定的、相匹配的文本，对待分词文本进行分词，获得至少一个词汇序列，其中，词汇序列包括所确定的、相匹配的文本。
在本实施例的一些可选的实现方式中，文本分词单元502可以包括：文本识别模块(图中未示出)，被配置成对待分词文本进行命名实体识别，以确定待分词文本是否包括命名实体；第二分词模块(图中未示出)，被配置成响应于确定包括，基于预设词汇集合和所确定的命名实体，对待分词文本进行分词，获得至少一个词汇序列，其中，词汇序列包括所确定的命名实体。
在本实施例的一些可选的实现方式中，装置500还可以包括：第二获取单元(图中未示出)，被配置成获取预设的候选词汇集合，其中，候选词汇集合中的词汇用于表征以下至少一项：电影名称、电视剧名称、音乐名称；词汇匹配单元(图中未示出)，被配置成对分词结果和候选词汇集合中的词汇进行匹配，以确定分词结果是否包括与候选词汇集合中的词汇相匹配的词组，其中，词组包括相邻的至少两个词汇；结果生成单元(图中未示出)，被配置成响应于确定包括，将相匹配的词组确定为新的词汇，以及生成包括新的词汇的新的分词结果。
可以理解的是，该装置500中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置500及其中包含的单元，在此不再赘述。
本申请的上述实施例提供的装置500有效利用了词汇的第一信息和第二信息来确定分词结果，提高了分词的准确性。
下面参考图6，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的终端设备/服务器)的计算机系统600的结构示意图。图6示出的终端设备/服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一获取单元、文本分词单元、概率确定单元和序列选取单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，文本分词单元还可以被描述为“对待分词分本进行分词的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取预设词汇集合和待分词文本，其中，预设词汇集合为基于预设文本集合预先生成的词汇集合，预设词汇集合中的词汇包括第一信息和第二信息，第一信息用于表征词汇在预设文本集合中出现的概率，对于预设词汇集合中的词汇，第二信息用于表征在预设文本集合中，以除该词汇以外的词汇出现作为条件，该词汇出现的条件概率；基于预设词汇集合，对待分词文本进行分词，获得至少一个词汇序列；对于至少一个词汇序列中的词汇序列，确定该词汇序列中的词汇的第一信息和第二信息，以及基于所确定的第一信息和第二信息，确定该词汇序列的概率，其中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻的词汇确定出的第二信息；从至少一个词汇序列中选取概率最大的词汇序列作为分词结果。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (22)

1.一种用于分词的方法，包括：
获取预设词汇集合和待分词文本，其中，预设词汇集合为基于预设文本集合预先生成的词汇集合，预设词汇集合中的词汇包括第一信息和第二信息，第一信息用于表征词汇在预设文本集合中出现的概率，对于预设词汇集合中的词汇，第二信息用于表征在预设文本集合中，以除该词汇以外的词汇出现作为条件，该词汇出现的条件概率；
基于所述预设词汇集合，对所述待分词文本进行分词，获得至少一个词汇序列；
对于所述至少一个词汇序列中的词汇序列，确定该词汇序列中的词汇的第一信息和第二信息，以及基于所确定的第一信息和第二信息，确定该词汇序列的概率，其中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻的词汇确定出的第二信息；
从至少一个词汇序列中选取概率最大的词汇序列作为分词结果。
2.根据权利要求1所述的方法，其中，所述基于所确定的第一信息和第二信息，确定该词汇序列的概率，包括：
对该词汇序列中相邻的两个词汇进行连线，生成分词路径，其中，分词路径的节点由该词汇序列中的词汇表征，分词路径的边为用于连接词汇的线；
基于该词汇序列中的词汇的第一信息和第二信息，确定分词路径的边的权重；
基于所确定的权重，确定该词汇序列的概率。
3.根据权利要求1所述的方法，其中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻，且位于该词汇之前的词汇确定出的第二信息。
4.根据权利要求3所述的方法，其中，所述确定该词汇序列中的词汇的第二信息，包括：
对于该词汇序列中的词汇，执行以下步骤：确定该词汇序列是否包括与该词汇相邻，且位于该词汇之前的词汇；响应于确定包括，基于与该词汇相邻，且位于该词汇之前的词汇，确定该词汇的第二信息。
5.根据权利要求1所述的方法，其中，所述预设词汇集合通过以下生成步骤获得：
获取所述预设文本集合和针对所述预设文本集合中的预设文本预先标注的样本分词结果；
将所述预设文本集合中的预设文本作为输入，将所输入的预设文本所对应的样本分词结果作为期望输出，利用机器学习方法，训练得到分词模型；
利用所述分词模型对所述预设文本集合中的预设文本进行分词，获得第一分词结果；
基于所获得的第一分词结果，生成初始词汇集合，其中，初始词汇集合中的词汇包括基于所获得的第一分词结果确定出的第一信息；
基于所述初始词汇集合，对所述预设文本集合中的预设文本进行分词，获得第二分词结果；
基于所述初始词汇集合和所获得的第二分词结果，生成所述预设词汇集合，其中，预设词汇集合中的词汇包括第一信息和基于所获得的第二分词结果确定出的第二信息。
6.根据权利要求5所述的方法，其中，所述训练得到分词模型，包括：
对预先确定的至少两个初始模型进行训练，得到至少两个分词模型；以及
所述利用所述分词模型对所述预设文本集合中的预设文本进行分词，获得第一分词结果，包括：
利用所述至少两个分词模型对所述预设文本集合中的预设文本进行分词，获得至少两个第一分词结果。
7.根据权利要求6所述的方法，其中，在所述基于所获得的第一分词结果，生成初始词汇集合之前，所述生成步骤还包括：
从所获得的至少两个第一分词结果中提取相同的词汇；以及
所述基于所获得的第一分词结果，生成初始词汇集合，包括：
基于所提取的词汇和所获得的第一分词结果，生成初始词汇集合。
8.根据权利要求1所述的方法，其中，所述对所述待分词文本进行分词，获得至少一个词汇序列，包括：
对所述待分词文本和预设文本格式进行匹配，以确定所述待分词文本是否包括与所述预设文本格式相匹配的文本；
响应于确定包括，基于所述预设词汇集合和所确定的、相匹配的文本，对所述待分词文本进行分词，获得至少一个词汇序列，其中，词汇序列包括所确定的、相匹配的文本。
9.根据权利要求1所述的方法，其中，所述对所述待分词文本进行分词，获得至少一个词汇序列，包括：
对所述待分词文本进行命名实体识别，以确定所述待分词文本是否包括命名实体；
响应于确定包括，基于所述预设词汇集合和所确定的命名实体，对所述待分词文本进行分词，获得至少一个词汇序列，其中，词汇序列包括所确定的命名实体。
10.根据权利要求1-9之一所述的方法，其中，在所述从至少一个词汇序列中选取概率最大的词汇序列作为分词结果之后，所述方法还包括：
获取预设的候选词汇集合，其中，所述候选词汇集合中的词汇用于表征以下至少一项：电影名称、电视剧名称、音乐名称；
对所述分词结果和所述候选词汇集合中的词汇进行匹配，以确定所述分词结果是否包括与所述候选词汇集合中的词汇相匹配的词组，其中，词组包括相邻的至少两个词汇；
响应于确定包括，将相匹配的词组确定为新的词汇，以及生成包括新的词汇的新的分词结果。
11.一种用于分词的装置，包括：
第一获取单元，被配置成获取预设词汇集合和待分词文本，其中，预设词汇集合为基于预设文本集合预先生成的词汇集合，预设词汇集合中的词汇包括第一信息和第二信息，第一信息用于表征词汇在预设文本集合中出现的概率，对于预设词汇集合中的词汇，第二信息用于表征在预设文本集合中，以除该词汇以外的词汇出现作为条件，该词汇出现的条件概率；
文本分词单元，被配置成基于所述预设词汇集合，对所述待分词文本进行分词，获得至少一个词汇序列；
概率确定单元，被配置成对于所述至少一个词汇序列中的词汇序列，确定该词汇序列中的词汇的第一信息和第二信息，以及基于所确定的第一信息和第二信息，确定该词汇序列的概率，其中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻的词汇确定出的第二信息；
序列选取单元，被配置成从至少一个词汇序列中选取概率最大的词汇序列作为分词结果。
12.根据权利要求11所述的装置，其中，所述概率确定单元包括：
路径生成模块，被配置成对该词汇序列中相邻的两个词汇进行连线，生成分词路径，其中，分词路径的节点由该词汇序列中的词汇表征，分词路径的边为用于连接词汇的线；
权重确定模块，被配置成基于该词汇序列中的词汇的第一信息和第二信息，确定分词路径的边的权重；
概率确定模块，被配置成基于所确定的权重，确定该词汇序列的概率。
13.根据权利要求11所述的装置，其中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻，且位于该词汇之前的词汇确定出的第二信息。
14.根据权利要求13所述的方法，其中，所述概率确定单元进一步被配置成：
对于该词汇序列中的词汇，执行以下步骤：确定该词汇序列是否包括与该词汇相邻，且位于该词汇之前的词汇；响应于确定包括，基于与该词汇相邻，且位于该词汇之前的词汇，确定该词汇的第二信息。
15.根据权利要求11所述的装置，其中，所述预设词汇集合通过以下生成步骤获得：
获取所述预设文本集合和针对所述预设文本集合中的预设文本预先标注的样本分词结果；
将所述预设文本集合中的预设文本作为输入，将所输入的预设文本所对应的样本分词结果作为期望输出，利用机器学习方法，训练得到分词模型；
利用所述分词模型对所述预设文本集合中的预设文本进行分词，获得第一分词结果；
基于所获得的第一分词结果，生成初始词汇集合，其中，初始词汇集合中的词汇包括基于所获得的第一分词结果确定出的第一信息；
基于所述初始词汇集合，对所述预设文本集合中的预设文本进行分词，获得第二分词结果；
基于所述初始词汇集合和所获得的第二分词结果，生成所述预设词汇集合，其中，预设词汇集合中的词汇包括第一信息和基于所获得的第二分词结果确定出的第二信息。
16.根据权利要求15所述的装置，其中，所述训练得到分词模型，包括：
对预先确定的至少两个初始模型进行训练，得到至少两个分词模型；以及
所述利用所述分词模型对所述预设文本集合中的预设文本进行分词，获得第一分词结果，包括：
利用所述至少两个分词模型对所述预设文本集合中的预设文本进行分词，获得至少两个第一分词结果。
17.根据权利要求16所述的装置，其中，在所述基于所获得的第一分词结果，生成初始词汇集合之前，所述生成步骤还包括：
从所获得的至少两个第一分词结果中提取相同的词汇；以及
所述基于所获得的第一分词结果，生成初始词汇集合，包括：
基于所提取的词汇和所获得的第一分词结果，生成初始词汇集合。
18.根据权利要求11所述的装置，其中，所述文本分词单元包括：
文本匹配模块，被配置成对所述待分词文本和预设文本格式进行匹配，以确定所述待分词文本是否包括与所述预设文本格式相匹配的文本；
第一分词模块，被配置成响应于确定包括，基于所述预设词汇集合和所确定的、相匹配的文本，对所述待分词文本进行分词，获得至少一个词汇序列，其中，词汇序列包括所确定的、相匹配的文本。
19.根据权利要求11所述的装置，其中，所述文本分词单元包括：
文本识别模块，被配置成对所述待分词文本进行命名实体识别，以确定所述待分词文本是否包括命名实体；
第二分词模块，被配置成响应于确定包括，基于所述预设词汇集合和所确定的命名实体，对所述待分词文本进行分词，获得至少一个词汇序列，其中，词汇序列包括所确定的命名实体。
20.根据权利要求11-19之一所述的装置，其中，所述装置还包括：
第二获取单元，被配置成获取预设的候选词汇集合，其中，所述候选词汇集合中的词汇用于表征以下至少一项：电影名称、电视剧名称、音乐名称；
词汇匹配单元，被配置成对所述分词结果和所述候选词汇集合中的词汇进行匹配，以确定所述分词结果是否包括与所述候选词汇集合中的词汇相匹配的词组，其中，词组包括相邻的至少两个词汇；
结果生成单元，被配置成响应于确定包括，将相匹配的词组确定为新的词汇，以及生成包括新的词汇的新的分词结果。
21.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。
22.一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-10中任一所述的方法。
CN201811076566.7A 2018-09-14 2018-09-14 用于分词的方法和装置 Active CN109190124B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811076566.7A CN109190124B (zh) 2018-09-14 2018-09-14 用于分词的方法和装置
PCT/CN2018/116345 WO2020052069A1 (zh) 2018-09-14 2018-11-20 用于分词的方法和装置
US16/981,273 US20210042470A1 (en) 2018-09-14 2018-11-20 Method and device for separating words

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811076566.7A CN109190124B (zh) 2018-09-14 2018-09-14 用于分词的方法和装置

Publications (2)

Publication Number Publication Date
CN109190124A true CN109190124A (zh) 2019-01-11
CN109190124B CN109190124B (zh) 2019-11-26

Family

ID=64911546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811076566.7A Active CN109190124B (zh) 2018-09-14 2018-09-14 用于分词的方法和装置

Country Status (3)

Country Link
US (1) US20210042470A1 (zh)
CN (1) CN109190124B (zh)
WO (1) WO2020052069A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859813A (zh) * 2019-01-30 2019-06-07 新华三大数据技术有限公司 一种实体修饰词识别方法及装置
CN110188355A (zh) * 2019-05-29 2019-08-30 北京声智科技有限公司 一种基于wfst技术的分词方法、系统、设备及介质
CN110751234A (zh) * 2019-10-09 2020-02-04 科大讯飞股份有限公司 Ocr识别纠错方法、装置及设备
CN111090996A (zh) * 2019-12-02 2020-05-01 东软集团股份有限公司 一种分词的方法、装置及存储介质
CN113111656A (zh) * 2020-01-13 2021-07-13 腾讯科技（深圳）有限公司 实体识别方法、装置、计算机可读存储介质和计算机设备
CN113435194A (zh) * 2021-06-22 2021-09-24 中国平安人寿保险股份有限公司 词汇切分方法、装置、终端设备及存储介质
CN114065739A (zh) * 2021-11-12 2022-02-18 北京沃东天骏信息技术有限公司 文本分词方法、装置、电子设备和计算机可读介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325227A (zh) * 2018-09-14 2019-02-12 北京字节跳动网络技术有限公司 用于生成修正语句的方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101158969A (zh) * 2007-11-23 2008-04-09 腾讯科技（深圳）有限公司 一种整句生成方法及装置
US20100058178A1 (en) * 2006-09-30 2010-03-04 Alibaba Group Holding Limited Network-Based Method and Apparatus for Filtering Junk Messages
CN103678282A (zh) * 2014-01-07 2014-03-26 苏州思必驰信息科技有限公司 一种分词方法及装置
CN104156349A (zh) * 2014-03-19 2014-11-19 邓柯 基于统计词典模型的未登录词发现和分词系统及方法
CN105426539A (zh) * 2015-12-23 2016-03-23 成都电科心通捷信科技有限公司 一种基于词典的lucene中文分词方法
CN106610937A (zh) * 2016-09-19 2017-05-03 四川用联信息技术有限公司 一种基于信息论的中文自动分词算法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5377281A (en) * 1992-03-18 1994-12-27 At&T Corp. Knowledge-based character recognition
JP2001249922A (ja) * 1999-12-28 2001-09-14 Matsushita Electric Ind Co Ltd 単語分割方式及び装置
AUPR824601A0 (en) * 2001-10-15 2001-11-08 Silverbrook Research Pty. Ltd. Methods and system (npw004)
JP4652737B2 (ja) * 2004-07-14 2011-03-16 インターナショナル・ビジネス・マシーンズ・コーポレーション 単語境界確率推定装置及び方法、確率的言語モデル構築装置及び方法、仮名漢字変換装置及び方法、並びに、未知語モデルの構築方法、
DE602005001840T2 (de) * 2004-12-10 2008-04-30 International Business Machines Corp. System und Verfahren zur Verdeutlichung nicht diakritisierter arabischer Wörter in einem Text
CN101785000B (zh) * 2007-06-25 2013-04-24 谷歌股份有限公司 词概率确定方法和系统
KR101496885B1 (ko) * 2008-04-07 2015-02-27 삼성전자주식회사 문장 띄어쓰기 시스템 및 방법
US20090326916A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Unsupervised chinese word segmentation for statistical machine translation
US20110161072A1 (en) * 2008-08-20 2011-06-30 Nec Corporation Language model creation apparatus, language model creation method, speech recognition apparatus, speech recognition method, and recording medium
US9141867B1 (en) * 2012-12-06 2015-09-22 Amazon Technologies, Inc. Determining word segment boundaries
US9330087B2 (en) * 2013-04-11 2016-05-03 Microsoft Technology Licensing, Llc Word breaker from cross-lingual phrase table
CN104375989A (zh) * 2014-12-01 2015-02-25 国家电网公司 自然语言文本关键词关联网络构建系统
US20160162467A1 (en) * 2014-12-09 2016-06-09 Idibon, Inc. Methods and systems for language-agnostic machine learning in natural language processing using feature extraction
KR20170140808A (ko) * 2015-03-10 2017-12-21 에이심메트리카 랩스 인코퍼레이티드 단어 사이의 불확실성에 따른 단어 공백의 비대칭 포맷팅을 위한 시스템 및 방법
CN104899190B (zh) * 2015-06-04 2017-10-03 百度在线网络技术（北京）有限公司 分词词典的生成方法和装置及分词处理方法和装置
US10679008B2 (en) * 2016-12-16 2020-06-09 Microsoft Technology Licensing, Llc Knowledge base for analysis of text
US10713519B2 (en) * 2017-06-22 2020-07-14 Adobe Inc. Automated workflows for identification of reading order from text segments using probabilistic language models
CN108038103B (zh) * 2017-12-18 2021-08-10 沈阳智能大数据科技有限公司 一种对文本序列进行分词的方法、装置和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100058178A1 (en) * 2006-09-30 2010-03-04 Alibaba Group Holding Limited Network-Based Method and Apparatus for Filtering Junk Messages
CN101158969A (zh) * 2007-11-23 2008-04-09 腾讯科技（深圳）有限公司 一种整句生成方法及装置
CN103678282A (zh) * 2014-01-07 2014-03-26 苏州思必驰信息科技有限公司 一种分词方法及装置
CN104156349A (zh) * 2014-03-19 2014-11-19 邓柯 基于统计词典模型的未登录词发现和分词系统及方法
CN105426539A (zh) * 2015-12-23 2016-03-23 成都电科心通捷信科技有限公司 一种基于词典的lucene中文分词方法
CN106610937A (zh) * 2016-09-19 2017-05-03 四川用联信息技术有限公司 一种基于信息论的中文自动分词算法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859813A (zh) * 2019-01-30 2019-06-07 新华三大数据技术有限公司 一种实体修饰词识别方法及装置
CN109859813B (zh) * 2019-01-30 2020-11-10 新华三大数据技术有限公司 一种实体修饰词识别方法及装置
CN110188355A (zh) * 2019-05-29 2019-08-30 北京声智科技有限公司 一种基于wfst技术的分词方法、系统、设备及介质
CN110751234A (zh) * 2019-10-09 2020-02-04 科大讯飞股份有限公司 Ocr识别纠错方法、装置及设备
CN110751234B (zh) * 2019-10-09 2024-04-16 科大讯飞股份有限公司 Ocr识别纠错方法、装置及设备
CN111090996A (zh) * 2019-12-02 2020-05-01 东软集团股份有限公司 一种分词的方法、装置及存储介质
CN113111656A (zh) * 2020-01-13 2021-07-13 腾讯科技（深圳）有限公司 实体识别方法、装置、计算机可读存储介质和计算机设备
CN113111656B (zh) * 2020-01-13 2023-10-31 腾讯科技（深圳）有限公司 实体识别方法、装置、计算机可读存储介质和计算机设备
CN113435194A (zh) * 2021-06-22 2021-09-24 中国平安人寿保险股份有限公司 词汇切分方法、装置、终端设备及存储介质
CN114065739A (zh) * 2021-11-12 2022-02-18 北京沃东天骏信息技术有限公司 文本分词方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
US20210042470A1 (en) 2021-02-11
WO2020052069A1 (zh) 2020-03-19
CN109190124B (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
CN109190124B (zh) 用于分词的方法和装置
CN107491534B (zh) 信息处理方法和装置
CN107273503B (zh) 用于生成同语言平行文本的方法和装置
CN110162767A (zh) 文本纠错的方法和装置
CN107346336B (zh) 基于人工智能的信息处理方法和装置
US20200192986A1 (en) Method and apparatus for translating speech
CN107679039A (zh) 用于确定语句意图的方法和装置
CN108153901A (zh) 基于知识图谱的信息推送方法和装置
CN108305626A (zh) 应用程序的语音控制方法和装置
CN108428446A (zh) 语音识别方法和装置
CN108628830B (zh) 一种语义识别的方法和装置
CN105786793B (zh) 解析口语文本信息的语义的方法和装置
CN110349564A (zh) 一种跨语言语音识别方法和装置
CN107767869A (zh) 用于提供语音服务的方法和装置
CN110019782A (zh) 用于输出文本类别的方法和装置
CN110019742B (zh) 用于处理信息的方法和装置
CN107437417B (zh) 基于循环神经网络语音识别中语音数据增强方法及装置
CN106960030A (zh) 基于人工智能的推送信息方法及装置
CN113657113B (zh) 文本处理方法、装置和电子设备
CN108933730A (zh) 信息推送方法和装置
CN110275963A (zh) 用于输出信息的方法和装置
CN109325178A (zh) 用于处理信息的方法和装置
CN107862058B (zh) 用于生成信息的方法和装置
CN109582954A (zh) 用于输出信息的方法和装置
CN109325121A (zh) 用于确定文本的关键词的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Douyin Vision Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: Tiktok vision (Beijing) Co.,Ltd.

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Tiktok vision (Beijing) Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder