CN111611810A - 一种多音字读音消歧装置及方法 - Google Patents
一种多音字读音消歧装置及方法 Download PDFInfo
- Publication number
- CN111611810A CN111611810A CN202010472747.2A CN202010472747A CN111611810A CN 111611810 A CN111611810 A CN 111611810A CN 202010472747 A CN202010472747 A CN 202010472747A CN 111611810 A CN111611810 A CN 111611810A
- Authority
- CN
- China
- Prior art keywords
- pronunciation
- polyphone
- disambiguation
- target
- text sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims abstract description 70
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims description 114
- 238000012549 training Methods 0.000 claims description 93
- 238000012360 testing method Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 20
- 238000002360 preparation method Methods 0.000 claims description 19
- 239000013604 expression vector Substances 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000011068 loading method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 description 17
- 230000008569 process Effects 0.000 description 7
- 230000002457 bidirectional effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000010410 layer Substances 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 239000002356 single layer Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本发明保护多音字读音消歧装置及方法。该装置包括数据处理模块用于：获取包含多音字的原始数据文本，并进行数据预处理，得到第一文本样本；特征提取模块用于：向第一文本样本中分别加入目标多音字的N条读音释义信息，得到N条第二文本样本；N由目标多音字的读音个数所决定；每一读音释义信息包括：读音及相应的词典释义；对目标文本样本进行特征提取，得到相应的多音字读音消歧特征；目标文本样本包括N个第二文本样本；目标文本样本中需进行多音字读音消歧的多音字为目标多音字；模型推断模块用于：将目标文本样本的多音字读音消歧特征输入训练好的多音字读音消歧神经网络，由训练好的多音字读音消歧神经网络决策出目标多音字的最终读音。
Description
技术领域
本发明涉及计算机领域，特别涉及一种多音字读音消歧装置及方法。
背景技术
在语音合成等应用场景中，字音转换是重要的组成部分，这一环节的准确率直接影响语音合成的可理解性。有些汉字有多种读音(多音字)，比如“还”有“huan2”和“hai2”两种读音。
对于多音字数据采集或文本拼音标注任务来说，使用人工标注的方式将耗费大量的人力物力，因此多音字自动化注音技术，可提高数据生产效率并降低人工成本。
多音字读音消歧(在特定环境下自动地辨析多音字的读音)是多音字自动化注音过程中的重点和难点，如何进行多音字读音消歧是目前研究的热门。
发明内容
有鉴于此，本发明实施例提供一种多音字读音消歧装置及方法，以实现多音字读音消歧。
为实现上述目的，本发明实施例提供如下技术方案：
一种多音字读音消歧装置，包括数据处理模块、特征提取模块和模型推断单元；
其中，
所述数据处理模块用于：获取包含多音字的原始数据文本，并进行数据预处理，得到第一文本样本；
所述特征提取模块用于：
在预测阶段，向所述第一文本样本中分别加入所述目标多音字的N条读音释义信息，得到N条第二文本样本；所述N由所述目标多音字的读音个数所决定；每一读音释义信息包括：读音及相应的词典释义；
对目标文本样本进行特征提取，得到相应的多音字读音消歧特征；在预测阶段，所述目标文本样本包括所述N个第二文本样本；所述目标文本样本中需进行多音字读音消歧的多音字为目标多音字；
所述模型推断模块用于：
在预测阶段，将所述目标文本样本的多音字读音消歧特征输入训练好的多音字读音消歧神经网络，由所述训练好的多音字读音消歧神经网络决策出所述目标多音字的最终读音。
可选的，在样本准备阶段，所述数据处理模块获取的第一文本样本包括标签；所述标签包括所述目标多音字的正确读音；在训练准备阶段，所述特征提取模块用于：向所述第一文本样本中加入与所述正确读音对应的读音释义信息，得到正文本样本；向所述第一文本样本中加入所述目标多音字的其他读音释义信息，得到负文本样本；将所述正文本样本和负文本样本随机分配至预设的训练集或测试集。
可选的，在所述训练阶段：所述目标文本样本包括所述训练集或所述测试集中的文本样本；任一文本样本为正文本样本，或负文本样本；所述装置还包括：模型训练模块，用于在训练阶段对多音字读音消歧神经网络执行多次迭代训练，其中，每一次迭代训练包括：多音字读音消歧神经网络基于所述训练集中文本样本的多音字读音消歧特征和标签进行学习，得到学习后的多音字读音消歧神经网络；将所述测试集中的文本样本的多音字读音消歧特征输入学习后的多音字读音消歧神经网络，根据所述学习后的多音字读音消歧神经网络所输出的读音和相应标签计算正确率，所述正确率用于判断是否停止迭代训练。
可选的，所述特征提取模块至少包括：文本加工模块，用于：在预测阶段，向所述第一文本样本中分别加入所述目标多音字的N条读音释义信息，得到N个第二文本样本，或者，在样本准备阶段，向所述第一文本样本中加入与所述正确读音对应的读音释义信息，得到正文本样本；向所述第一文本样本中加入所述目标多音字的其他任一读音释义信息，得到负文本样本；嵌入生成模块，用于：提取所述目标文本样本的多通道特征；特征表示模块，用于：根据所述多通道特征，提取所述目标文本样本的浅层语义特征和深层语义特征；对所述浅层语义特征和深层语义特征进行拼接，并对拼接结果提取融合表示向量作为所述多音字读音消歧特征。
可选的，所述文本加工子模块包括：多音字词性提取单元，用于在所述第一文本样本中，为所述目标多音字所属的词添加词性；多音字释义拓展单元，用于：在预测阶段，向所述第一文本样本中分别加入所述目标多音字的N条读音释义信息，或者，在样本准备阶段，向所述第一文本样本中加入与所述正确读音对应的读音释义信息；向所述第一文本样本中加入所述目标多音字的其他任一读音释义信息；模型输入数据生成单元，用于：在样本准备阶段，将所述正、负文本样本随机分配至预设的训练集或测试集。
可选的，所述嵌入生成模块包括：词性嵌入生成单元，用于为所述目标多音字所属的词所对应的词性，生成词性向量；读音嵌入生成单元，用于根据所述读音释义信息中的读音，生成读音向量；词嵌入生成单元，用于将所述目标文本样本中每一个字符转换成词向量；位置嵌入生成单元，用于生成所述目标文本样本中每一个字符的位置信息向量；段落嵌入生成单元，用于：为所述目标文本样本中的每一个字符分配段落索引，不同的段落索引用于表征相应的字符属于原始数据文本或释义信息；将每一字符的段落索引转换成唯一的段落信息向量。
可选的，所述特征表示模块包括：浅层语义特征表示单元，用于对所述词性向量与所述读音向量进行拼接，得到所述浅层语义特征；深层语义特征表示单元，用于从所述词向量、所述位置信息向量和所述段落信息向量中，提取深层语义特征；特征融合单元，用于：对所述浅层语义特征和深层语义特征进行拼接，并对拼接结果提取融合表示向量作为所述多音字读音消歧特征。
可选的，所述模型训练模块包括：训练参数迭代单元，用于：初始化待训练的多音字读音消歧神经网络的模型参数，并对模型参数进行更新；模型训练决策单元，用于根据所述文本样本的多音字读音消歧特征，决策所述文本样本中添加的读音是否正确；所述模型训练决策单元包括待训练的多音字读音消歧神经网络；模型评估单元，用于根据所述模型训练决策单元输出的决策结果和相应标签，计算损失值并反馈给所述训练参数迭代单元，所述损失值用于所述训练参数迭代单元更新模型参数。
可选的，所述模型推断模块包括：推断参数设置单元，用于加载训练好的模型参数，得到训练好的多音字读音消歧神经网络；模型推断决策单元，用于根据所述N个第二文本样本的多音字读音消歧特征，决策出所述目标多音字的最终读音；所述模型推断决策单元包括所述训练好的多音字读音消歧神经网络。
一种多音字读音消歧方法，包括：
获取包含多音字的原始数据文本，并进行数据预处理，得到第一文本样本；所述第一文本样本中的多音字为目标多音字；
向所述第一文本样本中分别加入所述目标多音字的N条读音释义信息，得到N条第二文本样本；所述N由所述目标多音字的读音个数所决定；每一读音释义信息包括：读音及相应的词典释义；
对目标文本样本进行特征提取，得到相应的多音字读音消歧特征；在预测阶段，所述目标文本样本包括所述N个第二文本样本；
将所述目标文本样本的多音字读音消歧特征输入训练好的多音字读音消歧神经网络，由所述训练好的多音字读音消歧神经网络决策输出所述目标多音字的最终读音。
可见，在本发明实施例中，在获取原始数据文本后，先进行预处理，得到第一文本样本，再向第一文本样本中加入目标多音字的N条读音释义信息，将第一文本样本扩充为目标文本样本。每一第二文本样本包含目标多音字的一个读音及相应的词典释义。再将这目标文本样本的多音字读音消歧特征输入训练好的音字读音消歧神经网络，得到目标多音字的最终读音，从而实现了多音字读音消歧。
附图说明
图1为本发明实施例提供的多音字读音消歧装置的一种示例性结构；
图2为本发明实施例提供的预测阶段的示例性流程；
图3为本发明实施例提供的多音字读音消歧装置的另一种示例性结构；
图4为本发明实施例提供的第二文本样本的示意图；
图5为本发明实施例提供的段落索引示意图；
图6为本发明实施例提供的提取融合表示向量的示意图；
图7为本发明实施例提供的多音字读音消歧方法的示例性流程。
具体实施方式
为了引用和清楚起见，下文中使用的技术名词、简写或缩写总结如下：
多音字释义：词典中多音字的词义或文义；
正负样本：读音正确的样本为正样本，反之则为负样本；
正确率：模型判断对的数据量与数据总量的比值；
嵌入：将数值索引序列转换为具有固定大小的向量。
本发明提供一种多音字读音消歧装置及方法，以实现多音字读音消歧。
请参见图1，上述多音字读音消歧装置的一种示例性结构包括：数据处理模块1、特征提取模块2和模型推断模块3。
上述多音字读音消歧装置中的各单元可以软件或组件的形式部署于同一服务器(例如标注服务器、语音合成服务器等)或计算机上，或者，上述多音字读音消歧装置所包含的各模块可分别为独立的服务器。
多音字读音消歧装置的核心是多音字读音消歧神经网络，其需进行训练(训练阶段)，训练完成后可正式投入使用(进入预测阶段)。
在本文中，可按照时间顺序分为：样本准备阶段、训练阶段和预测阶段。
先介绍预测阶段，请参见图2，在预测阶段上述数据处理模块1可用于：
获取包含多音字的原始数据文本，并进行数据预处理，得到第一文本样本。
需要说明的是，若原始数据文本中包含m个多音字，则会生成m个第一文本样本。举例来讲，原始数据文本为：他冲着我就来了。其中的“冲”和“着”都是多音字，则可生成2个第一文本样本，其中，一个第一文本样本的目标多音字为“冲”，另一个的目标多音字为“着”。
原始数据文本可能存在例如编码格式、网络标签、表情符号等噪音符号。因此，预处理可进一步包括：使用第一分隔符标注多音字(目标多音字)，数据清洗(例如去除非法网络标签、去除表情符号、繁简体转换、全半角转换、去除停用词等)中的任意一种或多种。
上述第一分隔符可根据需要灵活设置，例如，设置“#”作为第一分隔符，可在多音字的前后分别放置一个第一分隔符。举例来讲，“她穿着靓丽的衣服”在放置第一分隔符后，变为：她穿#着#靓丽的衣服。
上述停用词包括对于训练和预测没有帮助的标点，例如，《》【】<>/等。
网络标签是指原始数据中存在一些html标签，例如：<br><br/>、<div>、<htmls>、<html/>、<a href>等。
在预处理过程中，还可对数据清洗后的文本进行分词处理，对目标多音字所属的词添加词性。
更具体的，请参见图3，数据处理模块1可进一步包括：
数据输入单元4和数据预处理单元5。其中，数据输入单元4用于获取包含多音字的原始数据文本，数据预处理单元5用于进行上述数据预处理，得到第一文本样本。
特征提取单元2，用于：向第一文本样本中分别加入目标多音字的N条读音释义信息，得到N条第二文本样本，以及，对目标文本样本进行特征提取，得到相应的多音字读音消歧特征。
在预测阶段，目标文本样本包括上述N条第二文本样本。目标文本样本中需进行多音字读音消歧的多音字可称为目标多音字。
其中，每一读音释义信息包括：读音及相应的词典释义。上述N由目标多音字的读音个数所决定。例如，“冲”有两个读音，每一读音有不同的词典释义。则向第一文本样本中分别加入两条读音释义信息，得到两条第二文本样本。
所添加的读音释义信息是文本形式。具体的，前期可将中文词典中各多音字的读音和相应的词典释义均转成计算机文本形式。
更具体的，请参见图3，特征提取模块2可进一步包括：
文本加工模块6，用于：
在预测阶段，向第一文本样本中分别加入目标多音字的N条读音释义信息，得到N个第二文本样本；
嵌入生成模块7，用于：提取目标文本样本的多通道特征；
本文后续将详细介绍多通道特征。
特征表示模块8，用于：
根据上述多通道特征，提取目标文本样本的浅层语义特征和深层语义特征；对浅层语义特征和深层语义特征进行拼接，并对拼接结果提取融合表示向量作为多音字读音消歧特征。
本文后续还将详细介绍如何提取浅层语义特征和深层语义特征，如何提取融合表示向量，在此不作赘述。
模型推断模块3，用于将上述目标文本样本的多音字读音消歧特征输入训练好的多音字读音消歧神经网络，由其输出目标多音字的最终读音。
更具体的，请参见图3，模型推断模块3可进一步包括：
推断参数设置单元9，用于加载训练好的模型参数，得到训练好的多音字读音消歧神经网络；
模型推断决策单元10(包括训练好的多音字读音消歧神经网络)，用于根据N个第二文本样本的多音字读音消歧特征，决策出目标多音字的最终读音。
可见，在本发明实施例中，在获取原始数据文本后，先进行预处理，得到第一文本样本，再向第一文本样本中加入目标多音字的N条读音释义信息，将第一文本样本扩充为目标文本样本。每一第二文本样本包含目标多音字的一个读音及相应的词典释义。再将这目标文本样本的多音字读音消歧特征输入训练好的音字读音消歧神经网络，得到目标多音字的最终读音，从而实现了多音字读音消歧。
下面将按照测试阶段的处理过程，详细介绍各模块的作用(数据处理模块1不再赘述)。
一，文本加工模块。
仍请参见图3，文本加工子模块可一步包括：
多音字词性提取单元11，用于在第一文本样本中，为目标多音字所属的词添加词性。
在一个示例中，词性提取可使用开源的词性标注工具，例如，THULAC，一个开源工具进行词性标注。
多音字释义拓展单元12，用于：向第一文本样本中分别加入目标多音字的N条读音释义信息。
具体的，多音字释义拓展单元12可使用第二分隔符将第一文本样本与读音释义信息相连。
第二分隔符可进行灵活设计，其示例性的可为“[SEP]”。举例来讲，假定原始数据文本为：“调控影响房价这是一只有形之手”(其中的“只”是目标多音字)，那么在加入某条读音释义信息后，变为如图4所示的一条第二文本样本，其中，“只：量词，单独的，极少的”是词典释义，“adv”是目标多音字“只”所属的词的词性，adv表示副词，“zhi1”是目标多音字的一个读音，其与词典释义是一一对应的。
二，嵌入生成模块。
仍请参见图3，嵌入生成模块可一步包括五个单元，分别是：
词性嵌入生成单元14，用于为目标多音字所属的词所对应的词性，生成词性向量。
在一个示例中，词性种类及所对应的符号如下：
n/名词；np/人名；ns/地名；ni/机构名；nz/其它专名；
m/数词；q/量词；mq/数量词；t/时间词；f/方位词；s/处所词；
v/动词；a/形容词；d/副词；h/前接成分；k/后接成分；i/习语；
j/简称；r/代词；c/连词；p/介词；u/助词；y/语气助词；
e/叹词；o/拟声词；g/语素；w/标点；x/其它。
但是对于多音字，词性基本包含：名词、动词、副词、介词、助词等。
在一个示例中，可使用下述公式将目标多音字所属的词的词性(可简称为目标词性)转化为词性向量：
epos＝Epos·pos (公式1)
其中：Epos表示词性向量嵌入矩阵；词性向量嵌入矩阵包含11行词性向量，对应11个词性。词性向量嵌入矩阵是随机生成的。
pos表示目标词性的词性索引的独热表示形式(独热编码)。由于词性向量矩阵包含11行，所以pos的独热编码也有11位，其中只有一位是1，其他位是0。
可根据预设的对应关系来将目标词性转化为独热编码，例如，预设的对应关系中，“adv”与独热编码“00100000000”相对应，则当目标词性为“adv”时，其独热编码为“00100000000”。本领域技术人员可灵活设计词性与词性索引间的对应关系，在此不作赘述。
epos表示目标词性所对应的词性向量。公式1实现的是，若pos的独热编码在第i位为“1”，则取词性向量嵌入矩阵中的第i行词性向量作为epos。
举例来讲，若pos的独热编码在第8位为“1”，则取词性向量嵌入矩阵中的第8行词性向量作为epos。
读音嵌入生成单元15，用于根据读音释义信息中的读音生成读音向量。
在一个示例中，可使用下述公式根据读音释义信息中的读音(可称为目标读音)生成读音向量：
epron＝Epron·pron (公式2)
其中:Epron表示读音向量嵌入矩阵。经统计所有常见多音字共397个读音，因此，读音向量嵌入矩阵共包含397行读音向量；读音向量嵌入矩阵是随机生成的；
pron表示目标读音的读音索引的独热表示形式。可预设读音与独热表示形式(也即读音索引)的对应关系，根据对应关系得到目标读音的读音索引。
epron表示目标读音所对应的读音向量。公式2实现的是，若pron的独热编码在第i位为“1”，则取读音向量嵌入矩阵中的第i行词性向量作为epron。
举例来讲，若pron的独热编码在第8位为“1”，则取读音向量嵌入矩阵中的第8行词性向量作为epron。
词性嵌入生成单元与读音嵌入生成单元分别通过对应的向量词典将索引映射为高维词性向量与读音向量。
词嵌入生成单元16，用于将目标文本样本中每一个字符转换成词向量。
在预测阶段，目标文本样本包括前述的N个第二文本样本。
具体的，可首先将每一个字符转换成一个唯一的索引值，然后，将索引值转换成对应的词向量。
在一个示例中，可使用下述公式将任一字符的索引值(以第i个字符表示)转化为对应的词向量：
其中EWord表示词嵌入矩阵，是训练来的。可使用Word2Vec方法，将文本数据作为训练样本，将训练的权重矩阵作为词向量矩阵；
xi表示第i个字符的字符索引的独热表示形式；可预设字符与独热表示形式(也即字符索引)的对应关系，根据对应关系得到第i个字符的读音索引；
公式3实现的是，若xi的独热编码在第j位为“1”，则取词嵌入矩阵中的第j行词性向量作为
位置嵌入生成单元17，用于生成目标文本样本中每一个字符的位置信息向量。
在一个示例中，可先生成每一字符的位置索引，再将字符的位置索引转化为对应的位置信息向量。
具体的，可先将位置索引转化为索引向量，再将索引向量转化为位置信息向量。
举例来讲，“今天天气不错”中每一字符的位置索引包括：1 2 3 4 5 6。
然后将位置索引1-6分别转化为索引向量。索引向量可随机生成。生成后，即固定下来。
也即，“今天天气不错”与“我今天出去玩了”中，第一个字符对应的索引向量均相同，同理，第二个字符对应的索引向量也均相同，可以此类推，不作赘述。
每一位置索引向量可为50维，也即包括50个元素。
位置索引向量可以“pos”表示。当位置索引为偶数时，可使用下述公式4来生成位置信息向量：
当“pos”为奇数时，可使用下述公式5：
其中：d_model表示模型隐层维度大小，eposition(pos)表示位置信息向量。
需要说明的是，以位置索引1为例，其对应的位置索引向量为50维，也即包括50个元素，那么会对这50个元素分别计算50个余弦值，从而得到一个50维(包含50个余弦值)的位置信息向量。
段落嵌入生成单元18，用于：
为目标文本样本中的每一个字符分配段落索引，不同的段落索引用于表征相应的字符属于原始数据文本或释义信息；将每一字符的段落索引转换成唯一的段落信息向量。
具体的，请参见图5，可以使用段落索引“0”表示属于原始数据文本(原句)，而使用段落索引“1”表示属于释义信息(图5中以“释义”表示)。
在一个示例中，可使用下述公式生成第i个字符对应的段落信息向量：
其中Esection表示段落嵌入矩阵(随机生成，只有两行段落向量)；
si表示第i个字符段落索引的独热表示形式。
前述的多通道特征可包括：词性向量、读音向量、词向量、位置信息向量和段落信息向量。
三，特征表示模块。
仍请参见图3，特征表示模块可进一步包括：
浅层语义特征表示单元19，用于对词性向量与读音向量进行拼接，得到浅层语义特征。
浅层语义表示单元将多音字读音向量与多音字词性向量作为输入，将两个特征进行拼接，作为多音字读音消歧任务的浅层特征。在众多实验中，词性特征也作为多音字读音消歧任务的重要特征，能够辅助判断读音。
深层语义特征表示单元20，用于从词向量、位置信息向量和段落信息向量中，提取深层语义特征(也可称为深层语义表示向量)。
在一个示例中，深层语义特征表示单元20可使用双向深层次语义表示模型作为核心单元，捕获上下文语义信息，提取深层语义特征。
双向深层次语义表示模型的核心思想是通过大规模语料进行语言模型预训练，获得一个语义表示模型，该模型使用多层自注意力机制神经网络，摒弃了已有的计算注意力机制的方式，使用文本与文本本身的关系计算注意力。并且通过多头注意力机制，从不同维度进行语义特征抽取。输入的向量经过多层自注意力机制神经网络的迭代计算，生成了深层次语义表示向量。该向量作为多音字读音消歧任务的语义核心。
特征融合单元21，用于(请参见图6)：对浅层语义特征和深层语义特征进行拼接，并对拼接结果提取融合表示向量作为多音字读音消歧特征。
具体的，将深层语义特征表示向量与词性向量、读音向量进行拼接后，
可获得大小为Batch_size*Sequence_length*Hidden_size大小的矩阵。其中：
Batch_size:训练批次大小
Sequence_length:句子长度
Hidden_size:隐藏层大小。
之后，可通过双向长短时记忆神经网络对拼接结果进行融合(也即提取融合表示向量)。
双向长短时记忆神经网络是循环神经网络的变体，而循环神经网络是文本等序列化数据能够得以学习、训练。但是对于长文本，循环神经网络的记忆结构使得模型对于距离较近的数据记忆更深，而对于文本开始的数据记忆比较模糊，在实际应用的过程中，循环神经网络模型并不能充分学习到序列中关键信息。
与之相比，长短时记忆神经网络网络增加了三个门控制结构，分别为输入门、输出门、遗忘门，使用不同的权重控制信息的传递：重要的信息将会被长期传递下去，而无用的信息将会舍弃。这种机制使得长短时记忆神经网络网络比循环神经网络对于长文本的语义能够更加充分的理解。
由于本发明实施例使用的文本数据较长，因此使用双向长短时记忆神经网络融合语义信息与读音、词性信息。
拼接结果(拼接后的向量)通过双向长短时记忆神经网络进行编码，可获得融合语义信息、释义信息、词性信息和读音信息的融合表示向量。由图6所示示例可知，深层语义特征向量为768维，词性向量为50维，读音向量为50维，经过特征融合单元后，可生成大小为300维的融合表示向量。
下面介绍样本准备阶段。
样本准备阶段的目的主要是准备训练集、测试集，此外，在一些场景下，还准备验证集。
需要说明的是，在样本准备阶段，数据输入单元4所获取的原始数据文本是包含标签的，标签中包含多音字的正确读音。
而若原始数据文本中包含m个多音字，在样本准备阶段所获取的每一原始数据文本中，只针对一个多音字(该多音字为目标多音字)标注正确读音。
此外，在一个示例中，在样本准备阶段，上述数据预处理单元2所进行的预处理还可包括：将原始数据文本中人工标注的多音字读音提取并进行规范化处理，使标签样式统一。
举例来讲，原始数据文本为：他穿着(zhe5)靓丽的衣服。在多音字读音提取并进行规范化处理，成为：他穿#着#靓丽的衣服zhe5。
需要说明的是，在多音字前后以“#”进行标记，其目的在于以弱监督的方式进行训练，使多音字读音消歧神经网络能够判断需要对那个多音字进行消歧。
在预处理后，一个原始数据文本得到一个第一文本样本，这与预测阶段得到m个第一文本样本是不同的。
在训练准备阶段，图3中的文本加工模块6用于生成正负样本，其具体操作包括：
向第一文本样本中加入与正确读音对应的读音释义信息，得到正文本样本；
向第一文本样本中加入目标多音字的其他任一读音释义信息，得到负文本样本；
将正文本样本和负文本样本随机分配至训练集或测试集。
正负样本以1:1的比例生成。举例来讲，假定目标多音字有三个读音(读音1-3)，其中读音1为标签中标注的正确读音，则可向第一文本样本中加入与读音1对应的读音释义信息，得到正文本样本。之后，可从读音2或读音3中任选其一，将其对应的读音释义信息加入第一文本样本中，构成负文本样本。
然后，随机将正文本样本和负文本样本分配至训练集或测试集。
具体的，可由文本加工模块6中的多音字释义拓展单元12生成正负文本样本，而由模型输入数据生成单元13将正、负文本样本随机分配至预设的训练集或测试集。
此外，在需要生成验证集的场景下，可随机将正文本样本和负文本样本分配至训练集、测试集或验证集。
下面介绍训练阶段各单元的作用。
在训练阶段，前述的目标文本样本包括训练集的文本样本；其中，任一文本样本为正文本样本，或负文本样本；
为了训练神经网络，仍请参见图3，上述装置还可包括：模型训练模块，用于在训练阶段执行多次迭代训练，其中，每一次迭代训练包括：
多音字读音消歧神经网络基于训练集中文本样本的多音字读音消歧特征和标签进行学习，在学习过程中更新模型参数，得到学习后的多音字读音消歧神经网络。
此外，迭代训练还可包括：
将测试集中的文本样本的多音字读音消歧特征，输入学习后的多音字读音消歧神经网络，根据学习后的多音字读音消歧神经网络所输出的读音和相应标签计算正确率。正确率反应了模型性能的好坏，通过正确率可以直观的了解模型的训练程度，用于判断何时停止训练。一般当测试集的正确率不改变或者训练损失(Loss)不变的时候，认为模型训练完毕。
更具体的，上述模型训练模块可包括训练参数迭代单元22、模型训练决策单元23和模型训练决策单元24，其中：
训练参数迭代单元22用于：初始化待训练的多音字读音消歧神经网络的模型参数，并对模型参数进行更新。
训练参数迭代单元22会在神经网络初始化的时候为每一模型参数赋予一个初始值。
模型训练决策单元23用于：根据文本样本的多音字读音消歧特征，决策文本样本中添加的读音是否正确。
模型训练决策单元23即为待训练的多音字读音消歧神经网络。
具体的，多音字读音消歧神经网络可包括：单层全连接网络与SoftMax分类器。
特征融合单元的输出(融合表示向量)经过单层全连接网络进行特征映射(指将从隐藏层到输出层的这种映射，也就是从一个例如1024维的向量映射为2维向量作为概率向量)，由SoftMax分类器根据映射结果计算正文本样本中所添加读音的正确概率和错误概率，以及负文本样本中所添加读音的正确概率和错误概率。并且，将正负样本的正确概率归一化到范围在[0,1]之间的概率值。举例来讲，正样本的正确的概率值为0.8，负样本的正确的概率值为0.2。然后，将概率值大的样本中的读音作为决策结果。
在这过程中，多音字读音消歧神经网络对于每一样本来说，是个二分类器，用于判断该样本中的读音是否正确。
需要说明的是，在现有的其他方法中，通常将多音字读音消歧作为多分类问题，例如，前述介绍一共有将近400个读音，会以每一读音为一类，计算每一个读音的概率值，将概率值最大的读音作为最终读音。在现有方式中，全连接层映射的维度大小为读音数量的大小。则训练集可能会因标签数量不均衡造成训练误差。
而在本申请中，将读音嵌入到融合表示向量中，通过预测正确或者错误，将多分类转变为二分类，保证正负样本均衡，可减小模型学习难度与训练误差。
模型评估单元24用于：根据模型训练决策单元23输出的决策结果和相应标签，计算损失值并反馈给训练参数迭代单元，损失值用于训练参数迭代单元更新模型参数。
具体的，可使用训练集中的正负样本令模型训练决策单元23进行决策，输出决策结果，模型评估单元24根据决策结果和标识，通过损失函数计算得到模型的损失值，通过梯度下降算法更新整个网络的模型参数，从而促使模型能够得收敛。模型评估单元24还将计算的梯度反馈与训练参数迭代单元，用于模型参数更新。
同时，模型评估单元24还会利用测试集计算模型的正确率，正确率反应模型性能的好坏，通过正确率可以直观的了解模型的训练程度，用于判断何时停止训练。一般当测试集的正确率不改变或者训练损失(Loss)不变的时候，认为模型训练完毕。
前述的验证集，用于评估模型的泛化性，也就是在一个新的测试样本中看模型的鲁棒性或泛化能力，以评估模型性能。在此不作赘述。
需要说明的是，前述介绍的模型推断决策单元包括训练好的多音字读音消歧神经网络。
训练好的多音字读音消歧神经网络同样包括上述的单层全连接网络与SoftMax分类器，用于根据文本样本的多音字读音消歧特征，决策N条第二文本样本中每一文本样本所添加的读音是否正确。
具体的，特征融合单元输出的N条第二文本样本的融合表示向量，经过单层全连接网络进行特征映射，由SoftMax分类器根据映射结果计算各第二文本样本中所添加读音的正确概率和错误概率。并且，将正确概率归一化到范围在[0,1]之间的概率值。最后，将概率值大的样本中的读音作为最终的决策结果。
本发明还要求保护一种多音字读音消歧方法，请参见图7，其示例性的包括：
S1：获取包含多音字的原始数据文本，并进行数据预处理，得到第一文本样本；
所述第一文本样本中的多音字为目标多音字。
S2：向所述第一文本样本中分别加入所述目标多音字的N条读音释义信息，得到N条第二文本样本；
其中，所述N由所述目标多音字的读音个数所决定；每一读音释义信息包括：读音及相应的词典释义。
在本发明其他实施例中，还可在所述第一文本样本中，为所述目标多音字所属的词添加词性。
S3：对目标文本样本进行特征提取，得到相应的多音字读音消歧特征；
在预测阶段，所述目标文本样本包括所述N个第二文本样本。
S4：将所述目标文本样本的多音字读音消歧特征输入训练好的多音字读音消歧神经网络，由所述训练好的多音字读音消歧神经网络决策输出所述目标多音字的最终读音。
具体的，可根据所述N个第二文本样本的多音字读音消歧特征，决策出所述目标多音字的最终读音。
上述步骤S1-S4是预测阶段所执行的步骤。相关介绍可参考本文前述记载，在此不作赘述。
除了预测阶段，还可包括样本准备阶段和训练阶段。
其中，样本准备阶段的流程包括：
Step 1：获取包含多音字的原始数据文本，并进行数据预处理，得到第一文本样本。
在本实施例中，获取的第一文本样本包括标签，所述标签包括所述目标多音字的正确读音。
Step 2：向所述第一文本样本中加入与所述正确读音对应的读音释义信息，得到正文本样本；
Step 3：向所述第一文本样本中加入所述目标多音字的其他任一读音释义信息，得到负文本样本。
Step 4：将所述正文本样本和负文本样本随机分配至预设的训练集或测试集。
相关介绍可参考本文前述记载，在此不作赘述。
在生成训练集和测试集等后，可进入训练阶段。
训练阶段的流程包括：
Step5：获取训练集中的目标文本。
在所述训练阶段：所述目标文本样本包括所述训练集的文本样本；任一文本样本为正文本样本，或负文本样本。
当然，在计算正确率时，获取的目标文本包括测试集中的文本样本。
Step6：对目标文本样本进行特征提取，得到相应的多音字读音消歧特征。
具体的，可提取所述目标文本样本的多通道特征，根据所述多通道特征，提取所述目标文本样本的浅层语义特征和深层语义特征；对所述浅层语义特征和深层语义特征进行拼接，并对拼接结果提取融合表示向量作为所述多音字读音消歧特征。
Step7：对多音字读音消歧神经网络执行多次迭代训练。
其中，每一次迭代训练包括：
多音字读音消歧神经网络基于所述训练集中文本样本的多音字读音消歧特征和标签进行学习，得到学习后的多音字读音消歧神经网络；
将所述测试集中的文本样本的多音字读音消歧特征，输入学习后的多音字读音消歧神经网络，根据所述学习后的多音字读音消歧神经网络所输出的读音和相应标签计算正确率，所述正确率用于判断是否停止迭代训练。
具体的，在学习过程中，可初始化待训练的多音字读音消歧神经网络的模型参数，并对模型参数进行更新；
待训练的多音字读音消歧神经网络根据所述文本样本的多音字读音消歧特征，决策所述文本样本中添加的读音是否正确；
根据决策结果和相应标签，计算损失值并反馈给多音字读音消歧神经网络更新模型参数。
在正式预测阶段，在步骤S4之前，可加载训练好的模型参数，得到训练好的多音字读音消歧神经网络。
相关介绍可参考本文前述记载，在此不作赘述。
在本发明其他实施例中，可通过如下方式提取所述目标文本样本的多通道特征：
为所述目标多音字所属的词所对应的词性，生成词性向量；
根据所述读音释义信息中的读音，生成读音向量；
将所述目标文本样本中每一个字符转换成词向量；
生成所述目标文本样本中每一个字符的位置信息向量；
为所述目标文本样本中的每一个字符分配段落索引，不同的段落索引用于表征相应的字符属于原始数据文本或释义信息；将每一字符的段落索引转换成唯一的段落信息向量。
前述的多通道特征可包括：词性向量、读音向量、词向量、位置信息向量和段落信息向量。
相关介绍可参考本文前述记载，在此不作赘述。
在本发明其他实施例中，可通过如下方式，提取所述目标文本样本的浅层语义特征和深层语义特征：
对所述词性向量与所述读音向量进行拼接，得到所述浅层语义特征；
从所述词向量、所述位置信息向量和所述段落信息向量中，提取深层语义特征。
相关介绍可参考本文前述记载，在此不作赘述。
综上，本发明提供的基于人机交互的多音字读音消歧装置及方法，具有如下特点：
1.将多音字释义信息、词性信息、读音信息同时融合到多音字读音消歧任务中。
2.使用词嵌入、位置嵌入、段落嵌入、词性嵌入与读音嵌入等五种嵌入信息作为多音字读音消歧的特征。
3.将以往多音字读音消歧工作中的多分类转换成二分类问题，给出了更加准确的识别结果，具备更好的泛化性能。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及模型步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或模型的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、WD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种多音字读音消歧装置，其特征在于，包括数据处理模块、特征提取模块和模型推断单元；
其中，
所述数据处理模块用于：获取包含多音字的原始数据文本，并进行数据预处理，得到第一文本样本；
所述特征提取模块用于：
在预测阶段，向所述第一文本样本中分别加入所述目标多音字的N条读音释义信息，得到N条第二文本样本；所述N由所述目标多音字的读音个数所决定；每一读音释义信息包括：读音及相应的词典释义；
对目标文本样本进行特征提取，得到相应的多音字读音消歧特征；在预测阶段，所述目标文本样本包括所述N个第二文本样本；所述目标文本样本中需进行多音字读音消歧的多音字为目标多音字；
所述模型推断模块用于：
在预测阶段，将所述目标文本样本的多音字读音消歧特征输入训练好的多音字读音消歧神经网络，由所述训练好的多音字读音消歧神经网络决策出所述目标多音字的最终读音。
2.如权利要求1所述的装置，其特征在于，
在样本准备阶段，所述数据处理模块获取的第一文本样本包括标签；所述标签包括所述目标多音字的正确读音；
在训练准备阶段，所述特征提取模块用于：
向所述第一文本样本中加入与所述正确读音对应的读音释义信息，得到正文本样本；
向所述第一文本样本中加入所述目标多音字的其他任一读音释义信息，得到负文本样本；
将所述正文本样本和负文本样本随机分配至预设的训练集或测试集。
3.如权利要求2所述的装置，其特征在于，
在所述训练阶段：所述目标文本样本包括所述训练集或所述测试集中的文本样本；任一文本样本为正文本样本，或负文本样本；
所述装置还包括：模型训练模块，用于在训练阶段对多音字读音消歧神经网络执行多次迭代训练，其中，每一次迭代训练包括：
多音字读音消歧神经网络基于所述训练集中文本样本的多音字读音消歧特征和标签进行学习，得到学习后的多音字读音消歧神经网络；
将所述测试集中的文本样本的多音字读音消歧特征输入学习后的多音字读音消歧神经网络，根据所述学习后的多音字读音消歧神经网络所输出的读音和相应标签计算正确率，所述正确率用于判断是否停止迭代训练。
4.如权利要求3所述的装置，其特征在于，所述特征提取模块至少包括：
文本加工模块，用于：
在预测阶段，向所述第一文本样本中分别加入所述目标多音字的N条读音释义信息，得到N个第二文本样本，或者，
在样本准备阶段，向所述第一文本样本中加入与所述正确读音对应的读音释义信息，得到正文本样本；
向所述第一文本样本中加入所述目标多音字的其他任一读音释义信息，得到负文本样本；
嵌入生成模块，用于：提取所述目标文本样本的多通道特征；
特征表示模块，用于：
根据所述多通道特征，提取所述目标文本样本的浅层语义特征和深层语义特征；
对所述浅层语义特征和深层语义特征进行拼接，并对拼接结果提取融合表示向量作为所述多音字读音消歧特征。
5.如权利要求4所述的装置，其特征在于，所述文本加工子模块包括：
多音字词性提取单元，用于在所述第一文本样本中，为所述目标多音字所属的词添加词性；
多音字释义拓展单元，用于：
在预测阶段，向所述第一文本样本中分别加入所述目标多音字的N条读音释义信息，或者，
在样本准备阶段，向所述第一文本样本中加入与所述正确读音对应的读音释义信息；
向所述第一文本样本中加入所述目标多音字的其他任一读音释义信息；
模型输入数据生成单元，用于：在样本准备阶段，将所述正、负文本样本随机分配至预设的训练集或测试集。
6.如权利4所述的装置，其特征在于，所述嵌入生成模块包括：
词性嵌入生成单元，用于为所述目标多音字所属的词所对应的词性，生成词性向量；
读音嵌入生成单元，用于根据所述读音释义信息中的读音，生成读音向量；
词嵌入生成单元，用于将所述目标文本样本中每一个字符转换成词向量；
位置嵌入生成单元，用于生成所述目标文本样本中每一个字符的位置信息向量；
段落嵌入生成单元，用于：
为所述目标文本样本中的每一个字符分配段落索引，不同的段落索引用于表征相应的字符属于原始数据文本或释义信息；
将每一字符的段落索引转换成唯一的段落信息向量。
7.如权利要求4所述的装置，其特征在于，所述特征表示模块包括：
浅层语义特征表示单元，用于对所述词性向量与所述读音向量进行拼接，得到所述浅层语义特征；
深层语义特征表示单元，用于从所述词向量、所述位置信息向量和所述段落信息向量中，提取深层语义特征；
特征融合单元，用于：对所述浅层语义特征和深层语义特征进行拼接，并对拼接结果提取融合表示向量作为所述多音字读音消歧特征。
8.如权利要求3-7任一项所述的装置，其特征在于，所述模型训练模块包括：
训练参数迭代单元，用于：初始化待训练的多音字读音消歧神经网络的模型参数，并对模型参数进行更新；
模型训练决策单元，用于根据所述文本样本的多音字读音消歧特征，决策所述文本样本中添加的读音是否正确；所述模型训练决策单元包括待训练的多音字读音消歧神经网络；
模型评估单元，用于根据所述模型训练决策单元输出的决策结果和相应标签，计算损失值并反馈给所述训练参数迭代单元，所述损失值用于所述训练参数迭代单元更新模型参数。
9.如权利要求8所述的装置，其特征在于，所述模型推断模块包括：
推断参数设置单元，用于加载训练好的模型参数，得到训练好的多音字读音消歧神经网络；
模型推断决策单元，用于根据所述N个第二文本样本的多音字读音消歧特征，决策出所述目标多音字的最终读音；所述模型推断决策单元包括所述训练好的多音字读音消歧神经网络。
10.一种多音字读音消歧方法，其特征在于，包括：
获取包含多音字的原始数据文本，并进行数据预处理，得到第一文本样本；所述第一文本样本中的多音字为目标多音字；
向所述第一文本样本中分别加入所述目标多音字的N条读音释义信息，得到N条第二文本样本；所述N由所述目标多音字的读音个数所决定；每一读音释义信息包括：读音及相应的词典释义；
对目标文本样本进行特征提取，得到相应的多音字读音消歧特征；在预测阶段，所述目标文本样本包括所述N个第二文本样本；
将所述目标文本样本的多音字读音消歧特征输入训练好的多音字读音消歧神经网络，由所述训练好的多音字读音消歧神经网络决策输出所述目标多音字的最终读音。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010472747.2A CN111611810B (zh) | 2020-05-29 | 2020-05-29 | 一种多音字读音消歧装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010472747.2A CN111611810B (zh) | 2020-05-29 | 2020-05-29 | 一种多音字读音消歧装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111611810A true CN111611810A (zh) | 2020-09-01 |
| CN111611810B CN111611810B (zh) | 2023-08-04 |
Family
ID=72196728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010472747.2A Active CN111611810B (zh) | 2020-05-29 | 2020-05-29 | 一种多音字读音消歧装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111611810B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111967260A (zh) * | 2020-10-20 | 2020-11-20 | 北京金山数字娱乐科技有限公司 | 多音字处理方法及装置、模型训练方法及装置 |
| CN112580335A (zh) * | 2020-12-28 | 2021-03-30 | 建信金融科技有限责任公司 | 多音字消歧方法及装置 |
| CN112818089A (zh) * | 2021-02-23 | 2021-05-18 | 掌阅科技股份有限公司 | 文本注音方法、电子设备及存储介质 |
| CN113065358A (zh) * | 2021-04-07 | 2021-07-02 | 齐鲁工业大学 | 面向银行咨询服务基于多粒度对齐的文本对语义匹配方法 |
| CN113191143A (zh) * | 2021-05-25 | 2021-07-30 | 海信视像科技股份有限公司 | 多音字消歧和韵律控制联合方法、系统以及电子设备 |
| CN113268974A (zh) * | 2021-05-18 | 2021-08-17 | 平安科技（深圳）有限公司 | 多音字发音标注方法、装置、设备及存储介质 |
| CN113268989A (zh) * | 2021-05-14 | 2021-08-17 | 北京金山数字娱乐科技有限公司 | 多音字处理方法及装置 |
| CN113486672A (zh) * | 2021-07-27 | 2021-10-08 | 腾讯音乐娱乐科技（深圳）有限公司 | 多音字消歧方法及电子设备和计算机可读存储介质 |
| CN114417832A (zh) * | 2021-12-08 | 2022-04-29 | 马上消费金融股份有限公司 | 消歧方法、消歧模型的训练方法及装置 |
| CN114999450A (zh) * | 2022-05-24 | 2022-09-02 | 网易有道信息技术（北京）有限公司 | 同形异义字的识别方法、装置、电子设备及存储介质 |
| CN115273809A (zh) * | 2022-06-22 | 2022-11-01 | 北京市商汤科技开发有限公司 | 多音字读音预测网络的训练方法、语音生成方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10171807A (ja) * | 1996-12-13 | 1998-06-26 | Nec Corp | 語義曖昧性解消装置及び方法 |
| CN1871597A (zh) * | 2003-08-21 | 2006-11-29 | 伊迪利亚公司 | 利用一套消歧技术处理文本的系统和方法 |
| CN104572591A (zh) * | 2013-10-29 | 2015-04-29 | 李维良 | 一种汉语中多音字辨认的综合分析法 |
| CN107515850A (zh) * | 2016-06-15 | 2017-12-26 | 阿里巴巴集团控股有限公司 | 确定多音字发音的方法、装置和系统 |
| WO2019174422A1 (zh) * | 2018-03-16 | 2019-09-19 | 北京国双科技有限公司 | 实体关联关系的分析方法及相关装置 |
| CN110277085A (zh) * | 2019-06-25 | 2019-09-24 | 腾讯科技（深圳）有限公司 | 确定多音字发音的方法及装置 |
| CN110782870A (zh) * | 2019-09-06 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 语音合成方法、装置、电子设备及存储介质 |
| CN110807331A (zh) * | 2019-10-24 | 2020-02-18 | 百度在线网络技术（北京）有限公司 | 一种多音字读音预测方法、装置和电子设备 |
| CN110909879A (zh) * | 2019-12-09 | 2020-03-24 | 北京爱数智慧科技有限公司 | 自回归神经网络消歧模型、训练及使用方法、装置、系统 |
-
2020
- 2020-05-29 CN CN202010472747.2A patent/CN111611810B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10171807A (ja) * | 1996-12-13 | 1998-06-26 | Nec Corp | 語義曖昧性解消装置及び方法 |
| CN1871597A (zh) * | 2003-08-21 | 2006-11-29 | 伊迪利亚公司 | 利用一套消歧技术处理文本的系统和方法 |
| CN104572591A (zh) * | 2013-10-29 | 2015-04-29 | 李维良 | 一种汉语中多音字辨认的综合分析法 |
| CN107515850A (zh) * | 2016-06-15 | 2017-12-26 | 阿里巴巴集团控股有限公司 | 确定多音字发音的方法、装置和系统 |
| WO2019174422A1 (zh) * | 2018-03-16 | 2019-09-19 | 北京国双科技有限公司 | 实体关联关系的分析方法及相关装置 |
| CN110277085A (zh) * | 2019-06-25 | 2019-09-24 | 腾讯科技（深圳）有限公司 | 确定多音字发音的方法及装置 |
| CN110782870A (zh) * | 2019-09-06 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 语音合成方法、装置、电子设备及存储介质 |
| CN110807331A (zh) * | 2019-10-24 | 2020-02-18 | 百度在线网络技术（北京）有限公司 | 一种多音字读音预测方法、装置和电子设备 |
| CN110909879A (zh) * | 2019-12-09 | 2020-03-24 | 北京爱数智慧科技有限公司 | 自回归神经网络消歧模型、训练及使用方法、装置、系统 |
Non-Patent Citations (2)
| Title |
|---|
| 范明;胡国平;王仁华;: "汉语字音转换中的多层面多音字读音消歧" * |
| 郝东亮;杨鸿武;张策;张帅;郭立钊;杨静波;: "面向汉语统计参数语音合成的标注生成方法" * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111967260A (zh) * | 2020-10-20 | 2020-11-20 | 北京金山数字娱乐科技有限公司 | 多音字处理方法及装置、模型训练方法及装置 |
| CN112580335A (zh) * | 2020-12-28 | 2021-03-30 | 建信金融科技有限责任公司 | 多音字消歧方法及装置 |
| CN112580335B (zh) * | 2020-12-28 | 2023-03-24 | 建信金融科技有限责任公司 | 多音字消歧方法及装置 |
| CN112818089A (zh) * | 2021-02-23 | 2021-05-18 | 掌阅科技股份有限公司 | 文本注音方法、电子设备及存储介质 |
| CN113065358A (zh) * | 2021-04-07 | 2021-07-02 | 齐鲁工业大学 | 面向银行咨询服务基于多粒度对齐的文本对语义匹配方法 |
| CN113065358B (zh) * | 2021-04-07 | 2022-05-24 | 齐鲁工业大学 | 面向银行咨询服务基于多粒度对齐的文本对语义匹配方法 |
| CN113268989A (zh) * | 2021-05-14 | 2021-08-17 | 北京金山数字娱乐科技有限公司 | 多音字处理方法及装置 |
| CN113268989B (zh) * | 2021-05-14 | 2024-10-18 | 北京金山数字娱乐科技有限公司 | 多音字处理方法及装置 |
| CN113268974B (zh) * | 2021-05-18 | 2022-11-29 | 平安科技（深圳）有限公司 | 多音字发音标注方法、装置、设备及存储介质 |
| CN113268974A (zh) * | 2021-05-18 | 2021-08-17 | 平安科技（深圳）有限公司 | 多音字发音标注方法、装置、设备及存储介质 |
| CN113191143A (zh) * | 2021-05-25 | 2021-07-30 | 海信视像科技股份有限公司 | 多音字消歧和韵律控制联合方法、系统以及电子设备 |
| CN113486672A (zh) * | 2021-07-27 | 2021-10-08 | 腾讯音乐娱乐科技（深圳）有限公司 | 多音字消歧方法及电子设备和计算机可读存储介质 |
| CN114417832A (zh) * | 2021-12-08 | 2022-04-29 | 马上消费金融股份有限公司 | 消歧方法、消歧模型的训练方法及装置 |
| CN114417832B (zh) * | 2021-12-08 | 2023-05-05 | 马上消费金融股份有限公司 | 消歧方法、消歧模型的训练方法及装置 |
| CN114999450A (zh) * | 2022-05-24 | 2022-09-02 | 网易有道信息技术（北京）有限公司 | 同形异义字的识别方法、装置、电子设备及存储介质 |
| CN115273809A (zh) * | 2022-06-22 | 2022-11-01 | 北京市商汤科技开发有限公司 | 多音字读音预测网络的训练方法、语音生成方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111611810B (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111611810B (zh) | 一种多音字读音消歧装置及方法 | |
| CN110489760A (zh) | 基于深度神经网络文本自动校对方法及装置 | |
| CN113886601B (zh) | 电子文本事件抽取方法、装置、设备及存储介质 | |
| Jakupović et al. | Formalisation method for the text expressed knowledge | |
| Mohammed | Using machine learning to build POS tagger for under-resourced language: the case of Somali | |
| Abate et al. | Development of Amharic morphological analyzer using memory-based learning | |
| Anbukkarasi et al. | Neural network-based error handler in natural language processing | |
| Lee | Natural Language Processing: A Textbook with Python Implementation | |
| Aliero et al. | Systematic review on text normalization techniques and its approach to non-standard words | |
| Jacksi et al. | The Kurdish Language corpus: state of the art | |
| CN115204164B (zh) | 一种电力系统通信敏感信息识别方法、系统及存储介质 | |
| Dutta | Word-level language identification using subword embeddings for code-mixed Bangla-English social media data | |
| CN113012685A (zh) | 音频识别方法、装置、电子设备及存储介质 | |
| CN113673247A (zh) | 基于深度学习的实体识别方法、装置、介质及电子设备 | |
| Baxi et al. | GujMORPH-a dataset for creating gujarati morphological analyzer | |
| Saini et al. | Relative clause based text simplification for improved english to hindi translation | |
| Mao et al. | A neural joint model with BERT for Burmese syllable segmentation, word segmentation, and POS tagging | |
| Rahman et al. | Punctuation prediction in bangla text | |
| Alosaimy | Ensemble Morphosyntactic Analyser for Classical Arabic | |
| Sampath et al. | Hybrid Tamil spell checker with combined character splitting | |
| Aydinov et al. | Investigation of automatic part-of-speech tagging using CRF, HMM and LSTM on misspelled and edited texts | |
| Athanaselis et al. | A corpus based technique for repairing ill-formed sentences with word order errors using co-occurrences of n-grams | |
| Cairang et al. | Research on error correction method of Tibetan text based on deep learning | |
| Angle et al. | Kannada morpheme segmentation using machine learning | |
| CN114003733B (zh) | 一种应用于电力文本的数据增强方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |