CN103971684B - 一种添加标点的方法、系统及其语言模型建立方法、装置 - Google Patents
一种添加标点的方法、系统及其语言模型建立方法、装置 Download PDFInfo
- Publication number
- CN103971684B CN103971684B CN201310034265.9A CN201310034265A CN103971684B CN 103971684 B CN103971684 B CN 103971684B CN 201310034265 A CN201310034265 A CN 201310034265A CN 103971684 B CN103971684 B CN 103971684B
- Authority
- CN
- China
- Prior art keywords
- word
- feature
- punctuate
- statement
- current base
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
Abstract
本申请公开了一种添加标点的方法、系统及其语言模型建立方法、装置。该方法包括：识别待处理语句中的每个词、以及每个词的语义特征；根据预先设定的特征模板以及待处理语句中包含的每个词和每个词的语义特征，确定待处理语句中出现的所有特征单元；从用于添加标点的语言模型中获取所述所有特征单元中每个特征单元与自身各种标点状态的权重的对应关系；根据所述对应关系确定待处理语句中每个词的标点状态的权重，根据每个词的标点状态的权重确定待处理语句的各种标点状态的综合权重，根据所述综合权重为待处理语句添加标点。应用本发明能够提高添加标点的准确性、或提取出语句所蕴含的信息与语句的标点之间的真实关系。
Description
技术领域
本申请涉及信息处理技术领域，尤其涉及一种添加标点的方法、系统及其语言模型建立方法、装置。
背景技术
在通信领域以及互联网领域，在某些应用场景中需要为一些缺少标点的文件添加标点，例如，为语音文件添加标点。
关于为语音文件添加标点，目前存在着一种基于说话人的说话时的静音间隔自动添加标点的方案。
具体地，首先设置静音长短的阈值，如果说话人说话时的静音间隔的长度大于这个阈值，则在这个位置上添加标点，如果不大于所述阈值，则不添加标点。
简单的依靠说话人说话时的间隔阈值大小添加标点可能会过多的造成标点误加，断句错误等，例如，如果说话人说话的速度很快的话，语句之间没有间隔、或者间隔很短以至于小于阈值，那么整段语句中间将不添加任何标点，如果说话人的说话速度很慢，接近一字一顿的情况，那么整段语句将会有很多的标点，这两种情况都会造成标点添加错误，添加标点的准确性较低。
针对基于静音长短的阈值为语音文件添加标点的方案所存在的准确性较低的问题，存在一种基于分字处理以及每个字所处位置来添加标点的改进方案。
在所述改进方案中，首先对语料库中的语句进行分字处理，将待处理语句分成单个字以后，确定每个字在语句中所处的位置，即是处于句子的开始、中间还是结束，并确定每个字后面的标点符号情况，例如有无标点符号等，根据语料库中每个字所处的位置以及每个字后面的标点符号情况建立语言模型，利用建立的语言模型为待处理语句添加标点。
在所述改进方案中，利用单个字在句子中的位置以及单个字后面是否有标点来建立语言模型，由于所利用的信息有限，且所利用的信息与标点状态的关联性不强，因此所建立的语言模型并不能提取出语句所蕴含的信息与语句的标点状态之间的真实关系。
由于所述改进方案中所利用的语言模型没有提取出语句所蕴含的信息与语句的标点状态之间的真实关系，因此导致添加标点的准确性仍然较低。
发明内容
本申请提供了一种添加标点的方法、系统及其语言模型建立方法、装置，能够提高添加标点的准确性、或提取出语句所蕴含的信息与语句的标点之间的真实关系。
一种用于添加标点的语言模型建立方法，该方法包括：
对语料库中的语句进行分词处理，其中，语料库中的语句预先添加了标点；
为所述分词处理后的语句中每个词标注语义特征，所述语义特征包括词性和/或句子成分；根据在所述语句中所述每个词后面的标点状态信息，为所述每个词标注标点状态；
对于标注了语义特征和标点状态的每个词，以所述词在所述语句中的位置作为当前基准位置，依据预先设定的特征模板，从所述语句中提取出特征单元，所述特征单元包括词和词的语义特征，所述预先设定的特征模板用于指示获取与当前基准位置的相对位置关系满足预定要求的词及其语义特征；
对于每个特征单元，当所述语句中每出现一次所述特征单元时，根据本次出现的特征单元中每个词的标点状态，记录该特征单元的标点状态的出现次数；
根据每个特征单元的每种标点状态的出现次数，确定每个特征单元的每种标点状态的权重，建立包括每个特征单元与自身各种标点状态的权重的对应关系的语言模型；
其中，所述语言模型，用于在从缺少标点的语句中搜索出特征单元时，根据查询请求提供所述语言模型中所述特征单元与自身各种标点状态的权重的对应关系，以便根据所述对应关系为缺少标点的语句添加标点。
一种用于添加标点的语言模型建立装置，该装置包括分词模块、特征提取和记录模块、建立模块；
所述分词模块，用于对语料库中的语句进行分词处理，其中，语料库中的语句预先添加了标点；
所述特征提取和记录模块，用于为所述分词处理后的语句中每个词标注语义特征，所述语义特征包括词性和/或句子成分；根据在所述语句中所述每个词后面的标点状态信息，为所述每个词标注标点状态；对于标注了语义特征和标点状态的每个词，以所述词在所述语句中的位置作为当前基准位置，依据预先设定的特征模板，从所述语句中提取出特征单元，所述语义特征包括词性和/或句子成分；所述预先设定的特征模板用于指示获取与当前基准位置的相对位置关系满足预定要求的词及其语义特征；对于每个特征单元，当所述语句中每出现一次所述特征单元时，根据本次出现的特征单元中每个词的标点状态，记录该特征单元的标点状态的出现次数；
所述建立模块，用于根据每个特征单元的每种标点状态的出现次数，确定每个特征单元的每种标点状态的权重，建立包括每个特征单元与自身各种标点状态的权重的对应关系的语言模型；
其中，所述语言模型，用于在从缺少标点的语句中搜索出特征单元时，根据查询请求提供所述语言模型中所述特征单元与自身各种标点状态的权重的对应关系，以便根据所述对应关系为缺少标点的语句添加标点。
一种添加标点的方法，该方法包括：
识别待处理语句中的每个词、以及每个词的语义特征；
根据预先设定的特征模板以及待处理语句中包含的每个词和每个词的语义特征，确定待处理语句中出现的所有特征单元，其中，所述特征模板包括获取的词的数量、获取词的语义特征，所述特征单元包括词和词的语义特征；
从上述用于添加标点的语言模型中获取所述所有特征单元中每个特征单元与自身各种标点状态的权重的对应关系；
根据获取的所述对应关系确定待处理语句中每个词的标点状态的权重，根据每个词的标点状态的权重确定待处理语句的各种标点状态的综合权重，根据所述综合权重为待处理语句添加标点，其中，待处理语句的每种标点状态包括该待处理语句中包含的每个词的标点状态。
一种添加标点的系统，该系统包括识别装置、特征单元提取装置、权重获取装置、综合权重确定装置和标点添加装置；
所述识别装置，用于识别待处理语句中的每个词、以及每个词的语义特征；
所述特征提取装置，用于根据预先设定的特征模板以及待处理语句中包含的每个词和每个词的语义特征，确定待处理语句中出现的所有特征单元，其中，所述特征模板包括获取的词的数量、获取词的语义特征，所述特征单元包括词和词的语义特征；
所述权重获取装置，用于从上述用于添加标点的语言模型中获取所述所有特征单元中每个特征单元与自身各种标点状态的权重的对应关系；
所述综合权重确定装置，用于根据获取的所述对应关系确定待处理语句中每个特征单元的标点状态的权重，根据每个特征单元的标点状态的权重确定待处理语句的各种标点状态的综合权重，其中，待处理语句的每种标点状态包括该待处理语句中包含的每个词的标点状态；
所述标点添加装置，用于根据所述综合权重为待处理语句添加标点。
由上述技术方案可见，本发明在建立用于添加标点的语言模型时，对语料库中的语句进行的是分词处理，并根据分词处理后的语句中每个词的语义信息为每个词标注语义特征，根据每个词的所述语义特征，依据预先设定的特征模板生成特征单元，从语料库的语句中搜索每个特征单元，记录每个特征单元出现时该特征单元的标点状态，记录特征单元的每种标点状态的出现次数，其中，特征单元的标点状态包括特征单元中每个词的标点状态，根据每个特征单元的每种标点状态的出现次数，确定每个特征单元的每种标点状态的权重，所建立的用于添加标点的语言模型包括每个特征单元与自身各种标点状态的权重的对应关系。
可见，本发明对语料库中的语句进行的是分词处理而非分字处理，并且进一步利用词在语句中的语义特征，建立词的语义特征与词的标点状态的权重关系，由于词在语句中的语义特征往往与词的标点状态有着较强的关联性，因此，通过建立包含所述权重关系的语言模型，能够提取出语句中所蕴含的信息(即所包含的词和词的语义特征)与语句的标点状态的真实关系。
在为待处理语句添加标点时，通过识别待处理语句中的每个词和每个词的语义特征，根据待处理语句中的词的语义特征从所述语言模型中获取词的语义特征与标点状态的权重关系，根据所述权重关系为待处理语句添加标点，由于在对待处理语句的处理过程中提取出了语句中所蕴含的信息(即语句中所包含的词及其语义特征)，并且所述语言模型中包括语句中所蕴含的信息与语句的标点状态的真实关系，因此，在从待处理语句中提取出该待处理语句中包含的词及其语义特征以后，进一步依据所述语言模型中的权重关系添加标点，能够提高添加标点的准确性。
附图说明
图1是本发明提供的用于添加标点的语言模型建立方法第一流程图。
图2是本发明提供的用于添加标点的语言模型建立方法第二流程图。
图3是本发明提供的用于添加标点的语言模型建立装置结构图。
图4是本发明提供的添加标点的方法流程图。
图5是本发明提供的添加标点的系统组成示意图。
具体实施方式
图1是本发明提供的用于添加标点的语言模型建立方法第一流程图。
如图1所示，该第一流程包括：
步骤101，对语料库中的语句进行分词处理，其中，语料库中的语句预先添加了标点。
步骤102，根据分词处理后的语句中每个词的语义特征，依据预先设定的特征模板，搜索所述语料库中出现的特征单元，根据特征单元中的每个词后面的标点状态，记录所述语料库中每个特征单元的每种标点状态的出现次数。
步骤103，根据每个特征单元的每种标点状态的出现次数，确定每个特征单元的每种标点状态的权重，建立包括每个特征单元与自身各种标点状态的权重的对应关系的语言模型。
其中，所述语言模型，用于在从缺少标点的语句中搜索出特征单元时，根据查询请求提供所述语言模型中所述特征单元与自身各种标点状态的权重的对应关系，以便根据所述对应关系为缺少标点的语句添加标点。
在图1所示方法的步骤102中，可以采用方法一，即预先标注所述语料库的语句中每个词的语义特征和标点状态，然后再根据预设的特征模板搜索所述语料库中出现的特征单元，并记录每个特征单元的每种标点状态的出现次数。也可以采用方法二，即在根据预先设定的特征模板搜索语料库中出现的特征单元时，实时地识别语句中每个词的语义特征以及每个词后面的标点状态。下面以采用所述方法一实现步骤102为例，对图1所示方法进行进一步的详细介绍，具体请参见图2。
图2是本发明提供的用于添加标点的语言模型建立方法第二流程图。
如图2所示，该方法包括：
步骤201，对语料库中的语句进行分词处理，其中，语料库中的语句预先添加了标点。
步骤202，根据分词处理后的语句中的每个词在所述语句中的语义信息，为所述每个词标注语义特征，根据在所述语句中所述每个词后面的标点状态信息，为所述每个词标注标点状态。
步骤203，根据每个词的所述语义特征，依据预先设定的特征模版生成特征单元，所述特征模板包括获取的词的数量、获取词的语义特征，所述特征单元包括词和词的语义特征。
步骤204，从所述语料库的语句中搜索每个特征单元，记录每个特征单元出现时该特征单元的标点状态，记录该特征单元的每种标点状态的出现次数，其中，特征单元的标点状态包括该特征单元中每个词的标点状态。
步骤205，根据每个特征单元的每种标点状态的出现次数，确定每个特征单元的每种标点状态的权重，建立包括每个特征单元与自身各种标点状态的权重的对应关系的语言模型。
其中，所述语言模型，用于在从缺少标点的语句中搜索出特征单元时，根据调用请求返回所述语言模型中所述特征单元与自身各种标点状态的权重的对应关系，以便根据所述对应关系为缺少标点的语句添加标点。
为了提高建立的语言模型的质量，所述语料库中的语句中预先添加的标点的正确率较高，最好都是正确的。
图2所示流程中，步骤203和步骤204可以在一个过程中实现，例如根据预先设定的特征模板从语料库的语句中提取特征单元，如果提取出的特征单元之前没有出现过，则相当于生成一个新的特征单元、且从语料库的语句中搜索到该新的特征单元的次数为1次。
在根据语句中的词的语义特征提取特征单元的基础上，还可以进一步利用词的位置信息，所述词的位置信息是词与当前基准位置的相对位置信息，进而提取的特征单元除了包括词、词的语义特征以外，还包括词与当前基准位置的相对位置信息。
具体地，预先设定的特征模板包括获取的词的数量、获取词的语义特征、获取的词与当前基准位置的相对位置关系需要满足的预定要求，则依据预先设定的特征模板从语句中提取特征单元具体可以包括：
分别以分词处理后的语句中的每个词所处的位置作为当前基准位置，确定出在所述语句中的位置与当前基准位置的相对位置关系满足所述特征模板要求的词，根据所述相对位置关系满足特征模板要求的词的语义特征和相对位置关系信息生成特征单元，所述特征单元还包括词与当前基准位置的相对位置关系。
通过包含相对位置关系要求的特征模板，可以确定词与词之间的关联关系，进而根据所述特征模板提取的特征单元包含了词与词之间的关联关系，所述关联关系通常与标点状态存在联系，因此根据所述特征单元与每种标点状态的权重关系建立的语言模型能够更加准确地反映语句所蕴含的信息与标点状态的关系，进而利用所述语言模型能够提高添加标点的准确性。
根据预先设定的特征模板所要求获取的词的个数，预先设定的特征模板可以包括独词模板和/或多词模板。
其中，所述独词模板包括获取与当前基准位置的相对位置关系满足预定要求的单个词、以及所述单个词的语义特征。
依据独词模板从语句中提取特征单元时，分别以所述语句中的每个词所处的位置作为所述当前基准位置，根据所述独词特征模板确定与当前基准位置的相对位置关系满足所述独词特征模板要求的单个词，根据该单个词的语义特征确定待处理语句中出现的独词特征单元，所述独词特征单元包括所述单个词、所述单个词的语义特征以及所述单个词的位置与当前基准位置的相对位置关系。
所述多词模板包括获取分别与当前基准位置的相对位置关系满足预定要求的多个词、以及所述多个词中每个词的语义特征。
依据多词模板从语句中提取特征单元时，分别以所述语句中的每个词所处的位置作为所述当前基准位置，根据所述多词特征模板确定与当前基准位置的相对位置关系满足所述多词特征模板的相对位置关系要求的多个词，根据该多个词中每个词的语义特征确定待处理语句中出现的多词特征单元，所述多词特征单元包括所述多个词、所述多个词中每个词的语义特征、以及每个词的位置与所述当前基准位置的相对位置关系。
其中，通过对独词模板中与当前基准位置的相对位置关系的要求进行修改，可以获得不同种类的独词模板，例如用于获取当前基准位置的词及其语义特征的独词模板(可以记为模板T00)、用于获取当前基准位置的前一位置上的词及其语义特征的独词模板(可以记为模板T01)、用于获取当前基准位置的后一位置上的词及其语义特征的独词模板(可以记为模板T02)。
通过对多词模板中与当前基准位置的相对位置关系的要求进行修改，也可以获得不同种类的多词模板，例如，用于获取当前基准位置的前一位置、当前基准位置、当前基准位置的后一位置上的词及其语义特征的多词模板(可以记为模板T05)，用于获取当前基准位置的前两个位置以及当前基准位置上的词及其语义特征的多词模板(可以记为模板T06)。
一个多词模板要求获取的词的个数越多，词之间的关联性越强，进而利用建立的语言模型添加标点的准确性越高，模板的种类越多，对语句中出现的语义特征与标点状态的关联关系的考虑越全面，进而建立的语言模型添加标点的准确性越高。当然，模板的种类越多、一个多词模板要求获取的词的个数越多，建立语言模型所需要的计算量越大，所述语言模型的规模越大，利用建立的语言模型添加标点的信息处理量也越大。
在步骤205中，根据每个特征单元的每种标点状态的出现次数，确定每个特征单元的每种标点状态的权重时，为了便于操作，可以为每个特征单元赋予标识(ID)，建立的语言模型包括特征单元ID、该ID对应的特征单元、以及所述特征单元的各种标点状态的权重信息。
本发明中，词的语义特征可以包括但不限于该词在当前语句中的词性和/或在当前语句中充当的句子成分。
下面举一个具体的例子，对图2所示语言模型建立方法进行示例性介绍。
在该例子中，假设语料库中包括如下的语句：今天天气不错，我们下午去打球，然后去吃饭。
在利用图2所示方法建立语言模型时，需要执行如下步骤：
步骤1，对所述语句进行分词。
对语句“今天天气不错，我们下午去打球，然后去吃饭。”进行分词处理后得到的词包括：今天、天气、不错、我们、下午、去、打球、然后、去、吃饭。
步骤2，对分词处理后的语句中的每个词进行语义特征标注和标点状态标注。
作为示例性地，所述语义特征包括词性和句子成分，则对所述语句进行标注后的结果参见表一：
表一
步骤3，根据步骤2的标注结果，依据预先设定的特征模板，从所述语句中提取特征单元，为提取的特征单元分配ID，并记录特征单元的每种标点状态的出现次数，其中，所述特征单元包括词和词的语义特征。
本步骤中，假设预先设定的特征模板包括独词模板T00、T01、T02和多词模板T05，独词模板T00用于获取当前基准位置的词及其语义特征，独词模板T01用于获取当前基准位置的前一位置上的词及其语义特征，独词模板T02用于获取当前基准位置的后一位置上的词及其语义特征，多词模板T05用于获取当前基准位置的前一位置、当前基准位置、当前基准位置的后一位置上的词及其语义特征。
以步骤2标注后的语句中的每个词所在的位置为当前位置，根据独词模板T00、T01、T02和多词模板T05提取特征单元。
比如，当以“天气”所在的位置为当前基准位置时，根据模板T00得到的特征单元包括“今天”、以及“今天”的语义特征(即名词和状语)，根据模板T01得到的特征单元包括“天气”、以及“天气”的语义特征(即名词和主语)，根据模板T02得到的特征单元包括“不错”、以及“不错”的语义特征(即形容词和谓语)，根据模板T05得到的特征单元包括“今天”、以及“今天”的语义特征(即名词和状语)、“天气”、以及“天气”的语义特征(即名词和主语)“不错”、以及“不错”的语义特征(即形容词和谓语)。
其中，特征单元中的每个词与当前基准位置的相对位置信息，可以以显式方式存储在特征单元中，也可以根据每种模板对应的ID范围、通过为特征单元赋予相应范围内的ID等隐式方式进行存储。
当根据特征模板提取特征单元时，如果特征模板要求的某个相对位置上没有词，则可以采用约定方式表示无词，比如采用约定字符或字符串表示无词。例如所述语句中的“今天”前面没有词，当以“今天”所在的位置为当前基准位置，根据模板T00或T05提取特征单元时，需要采用约定的方式表示“今天”的前一位置无词。
提取出特征单元以后，通过为特征单元赋予不同的ID，来区分包括不同内容的特征单元。所述ID的赋予方式有多种，例如可以根据特征单元包含的内容生成的哈希值作为所述特征单元的ID。
对于每个特征单元，当语料库中的语句中每出现一次所述特征单元时，根据本次出现的特征单元中每个词的标点状态，记录该特征单元的标点状态的出现次数。其中，特征单元的标点状态包括特征单元中每个词的标点状态，换言之，当特征单元包含多个词时，特征单元的标点状态是由所述多个词的标点状态组合而成的，其中任意一个词的标点状态发生改变，则所述包含多个词的特征单元的标点状态也发送了改变。比如，一个特征单元包括三个词，三个词的标点状态分别为“无”、“无”和“逗号”时，该特征单元的标点状态时“无”、“无”和“逗号”的组合，当第三个词的标点状态变为“无”时，则该特征单元的标点状态变为另一种标点状态，即变为“无”、“无”和“无”。
通过步骤2和3可以看出本发明采用分词处理而非分字处理的好处：只有词语才具有明确的语义特征，单个字一般无法具备明确的语义特征，因此分词处理也为步骤2做了准备工作；另外，由于在特征提取的过程中，常常会用到语句中包含的上下文信息，词语的上下文仍然是词语，通过词语之间的关联关系能够更明确地体现出语义特征的联系，相互关联的语义特征与标点状态的关联关系通常也较强，因此，基于分词以及分词后的上下文关联关系提取的特征单元，能够较为准确地提取出语句中蕴含的语义信息与标点状态的关联关系。
步骤4，根据步骤3提取的特征单元，以及特征单元的每种标点状态的出现次数，确定每个特征单元的每种标点状态的权重，建立包括每个特征单元与自身各种标点状态的权重的对应关系的语言模型。
其中，具体可以通过迭代优化算法确定每个特征单元的每种标点状态的权重。
其中，可以采用的迭代优化算法有很多，例如牛顿迭代算法，BFGS(Large-scaleBound-constrainedOptimization)迭代算法，L-BFGS(SoftwareforLarge-scaleBound-constrainedOptimization)迭代算法，OWL-QN(Orthant-WiseLimited-memoryQuasi-Newton)迭代算法等。优选地，可以采用L-BFGS迭代算法，因为L-BFGS迭代算法具有迭代速度快的优点，能够提高语言模型的建立速度。
通过上述步骤1-步骤4，最终建立的语言模型包括每个特征单元与该特征单元自身的各种标点状态的权重的对应关系，其中，每个特征单元还具有一个区别于其他特征单元的ID，通过所述ID能够检索到所述特征单元与自身的各种标点状态的权重的对应关系。
根据图1所示建立语言模型的方法，本发明还提供了一种建立语言模型的装置，具体请参加图3。
图3是本发明提供的用于添加标点的语言模型建立装置结构图。
如图3所示，该装置包括分词模块301、特征提取和记录模块302、建立模块303。
分词模块301，用于对语料库中的语句进行分词处理，其中，语料库中的语句预先添加了标点。
特征提取和记录模块302，用于根据分词处理后的语句中每个词的语义特征，依据预先设定的特征模板，搜索所述语料库中出现的特征单元，根据特征单元中的每个词后面的标点状态，记录所述语料库中每个特征单元的每种标点状态的出现次数。
建立模块303，用于根据每个特征单元的每种标点状态的出现次数，确定每个特征单元的每种标点状态的权重，建立包括每个特征单元与自身各种标点状态的权重的对应关系的语言模型。
其中，所述语言模型，用于在从缺少标点的语句中搜索出特征单元时，根据查询请求提供所述语言模型中所述特征单元与自身各种标点状态的权重的对应关系，以便根据所述对应关系为缺少标点的语句添加标点。
图3所示装置还可以进一步包括标注模块。
所述标注模块，用于根据分词处理后的语句中的每个词在所述语句中的语义信息，为所述每个词标注语义特征，根据在所述语句中所述每个词后面的标点状态信息，为所述每个词标注标点状态。
特征提取和记录模块302，用于根据每个词的所述语义特征，依据预先设定的特征模版生成特征单元，所述特征模板包括获取的词的数量、获取词的语义特征，所述特征单元包括词和词的语义特征，从所述语料库的语句中搜索每个特征单元，记录每个特征单元出现时该特征单元的标点状态，记录该特征单元的每种标点状态的出现次数，其中，特征单元的标点状态包括该特征单元中每个词的标点状态。
所述预先设定的特征模板还可以包括获取与当前基准位置的相对位置关系满足预定要求的词。
特征提取和记录模块302，用于分别以分词处理后的语句中的每个词作为当前基准位置，确定出在所述语句中的位置与当前基准位置的相对位置关系满足所述特征模板要求的词，根据所述相对位置关系满足特征模板要求的词的语义特征和相对位置关系信息生成特征单元，所述特征单元还包括词与当前基准位置的相对位置关系。
所述预先设定的特征模板可以包括独词模板，所述独词模板包括获取与当前基准位置的相对位置关系满足预定要求的单个词、以及所述单个词的语义特征。
特征提取和记录模块302，用于分别以所述语句中的每个词所处的位置作为所述当前基准位置，根据所述独词特征模板确定与当前基准位置的相对位置关系满足所述独词特征模板要求的单个词，根据该单个词的语义特征确定待处理语句中出现的独词特征单元，所述独词特征单元包括所述单个词、所述单个词的语义特征以及所述单个词的位置与当前基准位置的相对位置关系。
和/或，所述预先设定的特征模板可以包括多词模板，所述多词模板包括获取分别与当前基准位置的相对位置关系满足预定要求的多个词、以及所述多个词中每个词的语义特征。
特征提取和记录模块302，用于分别以所述语句中的每个词所处的位置作为所述当前基准位置，根据所述多词特征模板确定与当前基准位置的相对位置关系满足所述多词特征模板的相对位置关系要求的多个词，根据该多个词中每个词的语义特征确定待处理语句中出现的多词特征单元，所述多词特征单元包括所述多个词、所述多个词中每个词的语义特征、以及每个词的位置与所述当前基准位置的相对位置关系。
建立了本发明所述的用于添加标点的语言模型以后，可以根据所述语言模型为待处理语句添加标点，下面结合附图4和附图5对添加标点的方法和系统进行详细介绍。
其中，本发明所述的用于添加标点的语言模型包括每个特征单元与自身各种标点状态的权重的对应关系，能够根据查询请求提供相应特征单元与自身各种标点状态的权重的对应关系，本发明所述添加标点的方法和系统对所述用于添加标点的语言模型的具体建立方法不做限定。
图4是本发明提供的添加标点的方法流程图。
如图4所示，该方法包括：
步骤401，识别待处理语句中的每个词、以及每个词的语义特征。
步骤402，根据预先设定的特征模板以及待处理语句中包含的每个词和每个词的语义特征，确定待处理语句中出现的所有特征单元。
其中，所述特征模板包括获取的词的数量、获取词的语义特征，所述特征单元包括词和词的语义特征。
步骤403，从用于添加标点的语言模型中获取所述所有特征单元中每个特征单元与自身各种标点状态的权重的对应关系。
步骤404，根据获取的所述对应关系确定待处理语句中每个词的标点状态的权重，根据每个词的标点状态的权重确定待处理语句的各种标点状态的综合权重。
其中，待处理语句的每种标点状态包括该待处理语句中包含的每个词的标点状态。
步骤405，根据所述综合权重为待处理语句添加标点。
本步骤中，选出综合权重最大的待处理语句标点状态，根据选出的标点状态为待处理语句添加标点。
其中，在步骤404中，根据获取的特征单元与自身各种标点状态的权重的对应关系，可以确定待处理语句中每个词的标点状态的权重。具体可以采用多种方法确定待处理语句中每个词的标点状态的权重，本发明对此不做限定。例如，可以根据所述对应关系采用映射函数的方法确定待处理语句中每个词的标点状态的权重，具体地，对于待处理语句中当前位置上的词，确定包含该当前位置上的词的所有特征单元，获取包含当前位置上的词的所有特征单元中的每个特征单元与该个特征单元自身的各种标点状态的权重对应关系，按照预设的映射函数，确定所述当前位置上的词的各种标点状态的权重。其中，当同一内容的词处于待处理语句中的不同位置时，相当于不同的词，因此其所在的特征单元也会有所不同，进而其标点状态也会有所不同。
在步骤404中，所述待处理语句的标点状态包括了该待处理语句中的每个词的标点状态，相当于该待处理语句中所有词的标点状态的组合，因此可以通过最优路径算法确定待处理语句的各种标点状态的综合权重，例如通过维特比(viterbi)算法确定出该待处理语句中所有词的标点状态的最佳组合方式，即确定出最优路径，该最佳组合方式的综合权重最高。
图4所示方法中，所述特征模板还可以包括获取与当前基准位置的相对位置关系满足预定要求的词，所述特征单元还包括词与当前基准位置的相对位置关系。
所述确定待处理语句中出现的所有特征单元包括：
分别以待处理语句中的每个词所处的位置作为当前基准位置，根据所述特征模板确定与当前基准位置的相对位置关系满足所述特征模板要求的词，根据该词的语义特征确定待处理语句中出现的特征单元。
所述预先设定的特征模板可以包括独词模板，所述独词模板包括获取与当前基准位置的相对位置关系满足预定要求的单个词、以及所述单个词的语义特征。
所述确定待处理语句中出现的所有特征单元可以包括：
分别以待处理语句中的每个词所处的位置作为当前基准位置，根据所述独词特征模板确定与当前基准位置的相对位置关系满足所述独词特征模板要求的单个词，根据该单个词的语义特征确定待处理语句中出现的独词特征单元，所述独词特征单元包括所述单个词、所述单个词的语义特征以及所述单个词的位置与当前基准位置的相对位置关系。
和/或，所述预先设定的特征模板可以包括多词模板，所述多词模板包括获取分别与当前基准位置的相对位置关系满足预定要求的多个词、以及所述多个词中每个词的语义特征。
所述确定待处理语句中出现的所有特征单元可以包括：
分别以待处理语句中的每个词所处的位置作为当前基准位置，根据所述多词特征模板确定与当前基准位置的相对位置关系满足所述多词特征模板的相对位置关系要求的多个词，根据该多个词中每个词的语义特征确定待处理语句中出现的多词特征单元，所述多词特征单元包括所述多个词、所述多个词中每个词的语义特征、以及每个词的位置与所述当前基准位置的相对位置关系。
图4所示方法中，在从用于添加标点的语言模型中获取所述所有特征单元中每个特征单元与自身各种标点状态的权重的对应关系时，可以向用于添加标点的语言引擎发送携带有特征单元的标识(ID)的查询请求，根据所述特征单元的ID从所述用于添加标点的语言模型中获取相应特征单元与自身各种标点状态的权重的对应关系，其中，所述用于添加标点的语言模型中存储有特征单元的ID、该ID对应的特征单元、以及该特征单元与自身各种标点状态的权重的对应关系。
其中，本发明所述的待处理语句可以是文本类的缺少标点的语句，也可以是语音类的语句。
图5是本发明提供的添加标点的系统组成示意图。
如图5所示，该系统包括识别装置501、特征单元提取装置502、权重获取装置503、综合权重确定装置504和标点添加装置505。
识别装置501，用于识别待处理语句中的每个词、以及每个词的语义特征。
特征提取装置502，用于根据预先设定的特征模板以及待处理语句中包含的每个词和每个词的语义特征，确定待处理语句中出现的所有特征单元，其中，所述特征模板包括获取的词的数量、获取词的语义特征，所述特征单元包括词和词的语义特征。
权重获取装置503，用于从用于添加标点的语言模型中获取所述所有特征单元中每个特征单元与自身各种标点状态的权重的对应关系。
综合权重确定装置504，用于根据获取的所述对应关系确定待处理语句中每个特征单元的标点状态的权重，根据每个特征单元的标点状态的权重确定待处理语句的各种标点状态的综合权重，其中，待处理语句的每种标点状态包括该待处理语句中包含的每个词的标点状态。
标点添加装置505，用于根据所述综合权重为待处理语句添加标点。
所述特征模板还可以包括获取与当前基准位置的相对位置关系满足预定要求的词，所述特征单元还包括词与当前基准位置的相对位置关系。
特征提取装置502，用于分别以待处理语句中的每个词所处的位置作为当前基准位置，根据所述特征模板确定与当前基准位置的相对位置关系满足所述特征模板要求的词，根据该词的语义特征确定待处理语句中出现的特征单元。
所述预先设定的特征模板可以包括独词模板，所述独词模板包括获取与当前基准位置的相对位置关系满足预定要求的单个词、以及所述单个词的语义特征。
特征提取装置502，用于分别以待处理语句中的每个词所处的位置作为当前基准位置，根据所述独词特征模板确定与当前基准位置的相对位置关系满足所述独词特征模板要求的单个词，根据该单个词的语义特征确定待处理语句中出现的独词特征单元，所述独词特征单元包括所述单个词、所述单个词的语义特征以及所述单个词的位置与当前基准位置的相对位置关系。
和/或，所述预先设定的特征模板可以包括多词模板，所述多词模板包括获取分别与当前基准位置的相对位置关系满足预定要求的多个词、以及所述多个词中每个词的语义特征。
特征提取装置502，用于分别以待处理语句中的每个词所处的位置作为当前基准位置，根据所述多词特征模板确定与当前基准位置的相对位置关系满足所述多词特征模板的相对位置关系要求的多个词，根据该多个词中每个词的语义特征确定待处理语句中出现的多词特征单元，所述多词特征单元包括多个词、每个词的语义特征、以及每个词的位置与所述当前基准位置的相对位置关系。
权重获取装置503，可以用于向用于添加标点的语言模型发送携带有特征单元的标识(ID)的查询请求，根据所述特征单元的ID从所述用于添加标点的语言模型中获取相应特征单元与自身各种标点状态的权重的对应关系，其中，所述用于添加标点的语言模型中存储有特征单元的ID、该ID对应的特征单元、以及该特征单元与自身各种标点状态的权重的对应关系。
其中，待处理语句可以是文本类的缺少标点的语句，也可以是语音类的语句。当待处理语句是语音类的语句时，识别装置501包括语音识别引擎，所述语音识别引擎根据声学模型、词典以及用于识别语句的语义特征的语言模型来识别出语音类的语句中所包含的词，以及每个词的语义特征。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (14)
1.一种用于添加标点的语言模型建立方法，其特征在于，该方法包括：
对语料库中的语句进行分词处理，其中，语料库中的语句预先添加了标点；
为所述分词处理后的语句中每个词标注语义特征，所述语义特征包括词性和/或句子成分；根据在所述语句中所述每个词后面的标点状态信息，为所述每个词标注标点状态；
对于标注了语义特征和标点状态的每个词，以所述词在所述语句中的位置作为当前基准位置，依据预先设定的特征模板，从所述语句中提取出特征单元，所述特征单元包括词和词的语义特征，所述预先设定的特征模板用于指示获取与当前基准位置的相对位置关系满足预定要求的词及其语义特征；
对于每个特征单元，当所述语句中每出现一次所述特征单元时，根据本次出现的特征单元中每个词的标点状态，记录该特征单元的标点状态的出现次数；
根据每个特征单元的每种标点状态的出现次数，确定每个特征单元的每种标点状态的权重，建立包括每个特征单元与自身各种标点状态的权重的对应关系的语言模型；
其中，所述语言模型，用于在从缺少标点的语句中搜索出特征单元时，根据查询请求提供所述语言模型中所述特征单元与自身各种标点状态的权重的对应关系，以便根据所述对应关系为缺少标点的语句添加标点。
2.根据权利要求1所述的方法，其特征在于，所述预先设定的特征模板包括获取与当前基准位置的相对位置关系满足预定要求的词，所述依据预先设定的特征模板，从所述语句中提取出特征单元包括：
分别以分词处理后的语句中的每个词所处的位置作为当前基准位置，确定出在所述语句中的位置与当前基准位置的相对位置关系满足所述特征模板要求的词，根据所述相对位置关系满足特征模板要求的词的语义特征和相对位置关系信息生成特征单元，所述特征单元还包括词与当前基准位置的相对位置关系。
3.根据权利要求1或2所述的方法，其特征在于，所述预先设定的特征模板包括独词模板，所述独词模板包括获取与当前基准位置的相对位置关系满足预定要求的单个词、以及所述单个词的语义特征，
依据预先设定的特征模板，从所述语句中提取出特征单元包括：
分别以所述语句中的每个词所处的位置作为所述当前基准位置，根据所述独词特征模板确定与当前基准位置的相对位置关系满足所述独词特征模板要求的单个词，根据该单个词的语义特征确定待处理语句中出现的独词特征单元，所述独词特征单元包括所述单个词、所述单个词的语义特征以及所述单个词的位置与当前基准位置的相对位置关系；
和/或，所述预先设定的特征模板包括多词模板，所述多词模板包括获取分别与当前基准位置的相对位置关系满足预定要求的多个词、以及所述多个词中每个词的语义特征，
依据预先设定的特征模板，从所述语句中提取出特征单元包括：
分别以所述语句中的每个词所处的位置作为所述当前基准位置，根据所述多词特征模板确定与当前基准位置的相对位置关系满足所述多词特征模板的相对位置关系要求的多个词，根据该多个词中每个词的语义特征确定待处理语句中出现的多词特征单元，所述多词特征单元包括所述多个词、所述多个词中每个词的语义特征、以及每个词的位置与所述当前基准位置的相对位置关系。
4.一种用于添加标点的语言模型建立装置，其特征在于，该装置包括分词模块、特征提取和记录模块、建立模块；
所述分词模块，用于对语料库中的语句进行分词处理，其中，语料库中的语句预先添加了标点；
所述特征提取和记录模块，用于为所述分词处理后的语句中每个词标注语义特征，所述语义特征包括词性和/或句子成分；根据在所述语句中所述每个词后面的标点状态信息，为所述每个词标注标点状态；对于标注了语义特征和标点状态的每个词，以所述词在所述语句中的位置作为当前基准位置，依据预先设定的特征模板，从所述语句中提取出特征单元，所述特征单元包括词和词的语义特征；所述预先设定的特征模板用于指示获取与当前基准位置的相对位置关系满足预定要求的词及其语义特征；对于每个特征单元，当所述语句中每出现一次所述特征单元时，根据本次出现的特征单元中每个词的标点状态，记录该特征单元的标点状态的出现次数；
所述建立模块，用于根据每个特征单元的每种标点状态的出现次数，确定每个特征单元的每种标点状态的权重，建立包括每个特征单元与自身各种标点状态的权重的对应关系的语言模型；
其中，所述语言模型，用于在从缺少标点的语句中搜索出特征单元时，根据查询请求提供所述语言模型中所述特征单元与自身各种标点状态的权重的对应关系，以便根据所述对应关系为缺少标点的语句添加标点。
5.根据权利要求4所述的装置，其特征在于，所述预先设定的特征模板包括获取与当前基准位置的相对位置关系满足预定要求的词，
所述特征提取和记录模块，用于分别以分词处理后的语句中的每个词作为当前基准位置，确定出在所述语句中的位置与当前基准位置的相对位置关系满足所述特征模板要求的词，根据所述相对位置关系满足特征模板要求的词的语义特征和相对位置关系信息生成特征单元，所述特征单元还包括词与当前基准位置的相对位置关系。
6.根据权利要求4或5所述的装置，其特征在于，所述预先设定的特征模板包括独词模板，所述独词模板包括获取与当前基准位置的相对位置关系满足预定要求的单个词、以及所述单个词的语义特征，
所述特征提取和记录模块，用于分别以所述语句中的每个词所处的位置作为所述当前基准位置，根据所述独词特征模板确定与当前基准位置的相对位置关系满足所述独词特征模板要求的单个词，根据该单个词的语义特征确定待处理语句中出现的独词特征单元，所述独词特征单元包括所述单个词、所述单个词的语义特征以及所述单个词的位置与当前基准位置的相对位置关系；
和/或，所述预先设定的特征模板包括多词模板，所述多词模板包括获取分别与当前基准位置的相对位置关系满足预定要求的多个词、以及所述多个词中每个词的语义特征，
所述特征提取和记录模块，用于分别以所述语句中的每个词所处的位置作为所述当前基准位置，根据所述多词特征模板确定与当前基准位置的相对位置关系满足所述多词特征模板的相对位置关系要求的多个词，根据该多个词中每个词的语义特征确定待处理语句中出现的多词特征单元，所述多词特征单元包括所述多个词、所述多个词中每个词的语义特征、以及每个词的位置与所述当前基准位置的相对位置关系。
7.一种添加标点的方法，其特征在于，该方法包括：
识别待处理语句中的每个词、以及每个词的语义特征；
根据预先设定的特征模板以及待处理语句中包含的每个词和每个词的语义特征，确定待处理语句中出现的所有特征单元，其中，所述特征模板包括获取的词的数量、获取词的语义特征，所述特征单元包括词和词的语义特征；
从如权利要求1所述的用于添加标点的语言模型中获取所述所有特征单元中每个特征单元与自身各种标点状态的权重的对应关系；
根据获取的所述对应关系确定待处理语句中每个词的标点状态的权重，根据每个词的标点状态的权重确定待处理语句的各种标点状态的综合权重，根据所述综合权重为待处理语句添加标点，其中，待处理语句的每种标点状态包括该待处理语句中包含的每个词的标点状态。
8.根据权利要求7所述的方法，其特征在于，所述特征模板还包括获取与当前基准位置的相对位置关系满足预定要求的词，所述特征单元还包括词与当前基准位置的相对位置关系；
所述确定待处理语句中出现的所有特征单元包括：
分别以待处理语句中的每个词所处的位置作为当前基准位置，根据所述特征模板确定与当前基准位置的相对位置关系满足所述特征模板要求的词，根据该词的语义特征确定待处理语句中出现的特征单元。
9.根据权利要求7所述的方法，其特征在于，所述预先设定的特征模板包括独词模板，所述独词模板包括获取与当前基准位置的相对位置关系满足预定要求的单个词、以及所述单个词的语义特征，
所述确定待处理语句中出现的所有特征单元包括：
分别以待处理语句中的每个词所处的位置作为当前基准位置，根据所述独词特征模板确定与当前基准位置的相对位置关系满足所述独词特征模板要求的单个词，根据该单个词的语义特征确定待处理语句中出现的独词特征单元，所述独词特征单元包括所述单个词、所述单个词的语义特征以及所述单个词的位置与当前基准位置的相对位置关系；
和/或，所述预先设定的特征模板包括多词模板，所述多词模板包括获取分别与当前基准位置的相对位置关系满足预定要求的多个词、以及所述多个词中每个词的语义特征，
所述确定待处理语句中出现的所有特征单元包括：
分别以待处理语句中的每个词所处的位置作为当前基准位置，根据所述多词特征模板确定与当前基准位置的相对位置关系满足所述多词特征模板的相对位置关系要求的多个词，根据该多个词中每个词的语义特征确定待处理语句中出现的多词特征单元，所述多词特征单元包括所述多个词、所述多个词中每个词的语义特征、以及每个词的位置与所述当前基准位置的相对位置关系。
10.根据权利要求7所述的方法，其特征在于，从用于添加标点的语言模型中获取所述所有特征单元中每个特征单元与自身各种标点状态的权重的对应关系包括：
向用于添加标点的语言模型发送携带有特征单元的标识(ID)的查询请求，根据所述特征单元的ID从所述用于添加标点的语言模型中获取相应特征单元与自身各种标点状态的权重的对应关系，其中，所述用于添加标点的语言模型中存储有特征单元的ID、该ID对应的特征单元、以及该特征单元与自身各种标点状态的权重的对应关系。
11.一种添加标点的系统，其特征在于，该系统包括识别装置、特征单元提取装置、权重获取装置、综合权重确定装置和标点添加装置；
所述识别装置，用于识别待处理语句中的每个词、以及每个词的语义特征；
所述特征提取装置，用于根据预先设定的特征模板以及待处理语句中包含的每个词和每个词的语义特征，确定待处理语句中出现的所有特征单元，其中，所述特征模板包括获取的词的数量、获取词的语义特征，所述特征单元包括词和词的语义特征；
所述权重获取装置，用于从如权利要求1所述的用于添加标点的语言模型中获取所述所有特征单元中每个特征单元与自身各种标点状态的权重的对应关系；
所述综合权重确定装置，用于根据获取的所述对应关系确定待处理语句中每个特征单元的标点状态的权重，根据每个特征单元的标点状态的权重确定待处理语句的各种标点状态的综合权重，其中，待处理语句的每种标点状态包括该待处理语句中包含的每个词的标点状态；
所述标点添加装置，用于根据所述综合权重为待处理语句添加标点。
12.根据权利要求11所述的系统，其特征在于，所述特征模板还包括获取与当前基准位置的相对位置关系满足预定要求的词，所述特征单元还包括词与当前基准位置的相对位置关系；
所述特征提取装置，用于分别以待处理语句中的每个词所处的位置作为当前基准位置，根据所述特征模板确定与当前基准位置的相对位置关系满足所述特征模板要求的词，根据该词的语义特征确定待处理语句中出现的特征单元。
13.根据权利要求11或12所述的系统，其特征在于，所述预先设定的特征模板包括独词模板，所述独词模板包括获取与当前基准位置的相对位置关系满足预定要求的单个词、以及所述单个词的语义特征，
所述特征提取装置，用于分别以待处理语句中的每个词所处的位置作为当前基准位置，根据所述独词特征模板确定与当前基准位置的相对位置关系满足所述独词特征模板要求的单个词，根据该单个词的语义特征确定待处理语句中出现的独词特征单元，所述独词特征单元包括所述单个词、所述单个词的语义特征以及所述单个词的位置与当前基准位置的相对位置关系；
和/或，所述预先设定的特征模板包括多词模板，所述多词模板包括获取分别与当前基准位置的相对位置关系满足预定要求的多个词、以及所述多个词中每个词的语义特征，
所述特征提取装置，用于分别以待处理语句中的每个词所处的位置作为当前基准位置，根据所述多词特征模板确定与当前基准位置的相对位置关系满足所述多词特征模板的相对位置关系要求的多个词，根据该多个词中每个词的语义特征确定待处理语句中出现的多词特征单元，所述多词特征单元包括多个词、每个词的语义特征、以及每个词的位置与所述当前基准位置的相对位置关系。
14.根据权利要求11所述的系统，其特征在于，
所述权重获取装置，用于向用于添加标点的语言模型发送携带有特征单元的标识(ID)的查询请求，根据所述特征单元的ID从所述用于添加标点的语言模型中获取相应特征单元与自身各种标点状态的权重的对应关系，其中，所述用于添加标点的语言模型中存储有特征单元的ID、该ID对应的特征单元、以及该特征单元与自身各种标点状态的权重的对应关系。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310034265.9A CN103971684B (zh) | 2013-01-29 | 2013-01-29 | 一种添加标点的方法、系统及其语言模型建立方法、装置 |
| PCT/CN2013/086618 WO2014117553A1 (en) | 2013-01-29 | 2013-11-06 | Method and system of adding punctuation and establishing language model |
| US14/148,579 US9811517B2 (en) | 2013-01-29 | 2014-01-06 | Method and system of adding punctuation and establishing language model using a punctuation weighting applied to chinese speech recognized text |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310034265.9A CN103971684B (zh) | 2013-01-29 | 2013-01-29 | 一种添加标点的方法、系统及其语言模型建立方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103971684A CN103971684A (zh) | 2014-08-06 |
| CN103971684B true CN103971684B (zh) | 2015-12-09 |
Family
ID=51241102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310034265.9A Active CN103971684B (zh) | 2013-01-29 | 2013-01-29 | 一种添加标点的方法、系统及其语言模型建立方法、装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN103971684B (zh) |
| WO (1) | WO2014117553A1 (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106372089B (zh) * | 2015-07-23 | 2019-09-20 | 北京国双科技有限公司 | 确定词语位置的方法及装置 |
| CN105609107A (zh) * | 2015-12-23 | 2016-05-25 | 北京奇虎科技有限公司 | 一种基于语音识别的文本处理方法和装置 |
| CN107643731A (zh) * | 2016-07-21 | 2018-01-30 | 西门子公司 | 一种模型生成方法和装置 |
| CN107665704B (zh) * | 2016-07-29 | 2020-09-11 | 科大讯飞股份有限公司 | 语音指令检测模型构建方法、检测方法及系统、人机交互方法及设备 |
| CN106782543A (zh) * | 2017-03-24 | 2017-05-31 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
| CN107221330B (zh) * | 2017-05-26 | 2020-11-27 | 北京搜狗科技发展有限公司 | 标点添加方法和装置、用于标点添加的装置 |
| CN107767870B (zh) * | 2017-09-29 | 2021-03-23 | 百度在线网络技术（北京）有限公司 | 标点符号的添加方法、装置和计算机设备 |
| CN109979435B (zh) * | 2017-12-28 | 2021-10-22 | 北京搜狗科技发展有限公司 | 数据处理方法和装置、用于数据处理的装置 |
| CN108597517B (zh) * | 2018-03-08 | 2020-06-05 | 深圳市声扬科技有限公司 | 标点符号添加方法、装置、计算机设备和存储介质 |
| CN112036174B (zh) * | 2019-05-15 | 2023-11-07 | 南京大学 | 一种标点标注方法及装置 |
| CN110852075B (zh) * | 2019-10-08 | 2023-12-26 | 厦门快商通科技股份有限公司 | 自动添加标点符号的语音转写方法、装置及可读存储介质 |
| CN110807325B (zh) * | 2019-10-18 | 2023-05-26 | 腾讯科技（深圳）有限公司 | 谓词识别方法、装置及存储介质 |
| CN111883137A (zh) * | 2020-07-31 | 2020-11-03 | 龙马智芯（珠海横琴）科技有限公司 | 基于语音识别的文本处理方法及装置 |
| CN111985208B (zh) * | 2020-08-18 | 2024-03-26 | 沈阳东软智能医疗科技研究院有限公司 | 一种实现标点符号填充的方法、装置及设备 |
| US11763099B1 (en) | 2022-04-27 | 2023-09-19 | VoyagerX, Inc. | Providing translated subtitle for video content |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1235312A (zh) * | 1998-05-13 | 1999-11-17 | 国际商业机器公司 | 连续语音识别中的标点符号自动生成装置及方法 |
| CN1945693A (zh) * | 2005-10-09 | 2007-04-11 | 株式会社东芝 | 训练韵律统计模型、韵律切分和语音合成的方法及装置 |
| CN102231278A (zh) * | 2011-06-10 | 2011-11-02 | 安徽科大讯飞信息科技股份有限公司 | 实现语音识别中自动添加标点符号的方法及系统 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5146405A (en) * | 1988-02-05 | 1992-09-08 | At&T Bell Laboratories | Methods for part-of-speech determination and usage |
| JPH05314168A (ja) * | 1992-05-07 | 1993-11-26 | Nippon Telegr & Teleph Corp <Ntt> | 記号列生起確率計算方式 |
| US6173261B1 (en) * | 1998-09-30 | 2001-01-09 | At&T Corp | Grammar fragment acquisition using syntactic and semantic clustering |
| US7286987B2 (en) * | 2002-06-28 | 2007-10-23 | Conceptual Speech Llc | Multi-phoneme streamer and knowledge representation speech recognition system and method |
| US7139688B2 (en) * | 2003-06-20 | 2006-11-21 | International Business Machines Corporation | Method and apparatus for classifying unmarked string substructures using Markov Models |
| CN1238834C (zh) * | 2004-03-09 | 2006-01-25 | 北京沃克斯科技有限责任公司 | 一种口语识别理解的识别分析方法 |
| US7756871B2 (en) * | 2004-10-13 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | Article extraction |
| US8145484B2 (en) * | 2008-11-11 | 2012-03-27 | Microsoft Corporation | Speech processing with predictive language modeling |
| US8719004B2 (en) * | 2009-03-19 | 2014-05-06 | Ditech Networks, Inc. | Systems and methods for punctuating voicemail transcriptions |
| EP2387033A1 (en) * | 2010-05-11 | 2011-11-16 | Thomson Licensing | Method and apparatus for detecting which one of symbols of watermark data is embedded in a received signal |
-
2013
- 2013-01-29 CN CN201310034265.9A patent/CN103971684B/zh active Active
- 2013-11-06 WO PCT/CN2013/086618 patent/WO2014117553A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1235312A (zh) * | 1998-05-13 | 1999-11-17 | 国际商业机器公司 | 连续语音识别中的标点符号自动生成装置及方法 |
| CN1945693A (zh) * | 2005-10-09 | 2007-04-11 | 株式会社东芝 | 训练韵律统计模型、韵律切分和语音合成的方法及装置 |
| CN102231278A (zh) * | 2011-06-10 | 2011-11-02 | 安徽科大讯飞信息科技股份有限公司 | 实现语音识别中自动添加标点符号的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103971684A (zh) | 2014-08-06 |
| WO2014117553A1 (en) | 2014-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103971684B (zh) | 一种添加标点的方法、系统及其语言模型建立方法、装置 | |
| CN104142915B (zh) | 一种添加标点的方法和系统 | |
| CN104143331B (zh) | 一种添加标点的方法和系统 | |
| CN102479191B (zh) | 提供多粒度分词结果的方法及其装置 | |
| CN107204184A (zh) | 语音识别方法及系统 | |
| CN107526800A (zh) | 信息推荐的装置、方法及计算机可读存储介质 | |
| CN109284502B (zh) | 一种文本相似度计算方法、装置、电子设备及存储介质 | |
| CN101819578A (zh) | 检索方法、索引建立方法和装置及检索系统 | |
| CN108304377B (zh) | 一种长尾词的提取方法及相关装置 | |
| CN103577989A (zh) | 一种基于产品识别的信息分类方法及信息分类系统 | |
| CN102543076A (zh) | 用于语音输入法的语音训练方法及相应的系统 | |
| CN101082909A (zh) | 一种识别衍生词的中文分词方法及系统 | |
| CN111079386B (zh) | 地址识别方法、装置、设备及存储介质 | |
| CN117056471A (zh) | 知识库构建方法及基于生成式大语言模型的问答对话方法和系统 | |
| CN110930980A (zh) | 一种中英文混合语音的声学识别模型、方法及系统 | |
| CN104866308A (zh) | 一种场景图像的生成方法及装置 | |
| CN110287364B (zh) | 语音搜索方法、系统、设备及计算机可读存储介质 | |
| CN107967250A (zh) | 一种信息处理方法及装置 | |
| CN113591456A (zh) | 文本纠错方法及装置、电子设备及存储介质 | |
| CN101477565B (zh) | 确定搜索引擎中输入字符串正确性的方法及装置 | |
| WO2012004955A1 (ja) | テキスト補正方法及び認識方法 | |
| CN110705317B (zh) | 翻译方法及相关装置 | |
| CN106383814A (zh) | 一种英文社交媒体短文本分词方法 | |
| CN108052686B (zh) | 一种摘要提取方法及相关设备 | |
| CN108268443B (zh) | 确定话题点转移以及获取回复文本的方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200824 Address after: 518057 Nanshan District science and technology zone, Guangdong, Zhejiang Province, science and technology in the Tencent Building on the 1st floor of the 35 layer Co-patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd. Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. Address before: Shenzhen Futian District City, Guangdong province 518044 Zhenxing Road, SEG Science Park 2 East Room 403 Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. |