CN114282540A - 构建语言模型及语音识别的方法、装置、设备及存储介质 - Google Patents
构建语言模型及语音识别的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114282540A CN114282540A CN202111588177.4A CN202111588177A CN114282540A CN 114282540 A CN114282540 A CN 114282540A CN 202111588177 A CN202111588177 A CN 202111588177A CN 114282540 A CN114282540 A CN 114282540A
- Authority
- CN
- China
- Prior art keywords
- language model
- entity
- model
- network model
- named
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000004590 computer program Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
Abstract
本申请公开了一种构建语言模型及语音识别的方法、装置、设备及存储介质,其中该方法包括:获取类实体语言模型,其中,所述类实体语言模型中包括属于同一命名实体类别的多个指定命名实体;将训练语料中的所述指定命名实体替换为所述命名实体类别,获得新训练语料;采用所述新训练语料构建主语言模型;将所述类实体语言模型与所述主语言模型结合,构建目标语言模型。这样即使训练语料中只存在一部分的指定命名实体,也可以依据该命名实体类别以及该类别下包含的所有指定命名实体,对不存在于训练语料的指定命名实体进行识别,从而有效解决训练数据稀疏的问题。
Description
技术领域
本申请涉及语音识别技术领域,尤其涉及一种构建语言模型的方法、一种语音识别的方法、一种构建语言模型的装置、一种语音识别的装置、一种电子设备、一种计算机可读存储介质以及一种计算机程序产品。
背景技术
命名实体识别(Named Entities Recognition,NER)是自然语言处理(NaturalLanguage Processing,NLP)的一个基础任务,其目的是识别输入文本中的人名、地名、组织机构名或根据特定需求划分的命名实体。NER技术在信息抽取、信息检索、智能问答、机器翻译等领域中都有广泛应用。
在相关技术中,可以采用基于命名实体建模生成的语言模型(language model,简称LM)进行命名实体识别。针对命名实体的建模,相关技术中提出如下两种方法:
1.增加相关语料。搜集或制作含有某个命名实体的语料,扩充训练数据,从而达到增加命名实体识别概率的目的。但这种方法的缺点是:1)工作量大,处理繁杂;2)命名实体的重要性完全取决于搜集或制作的数据,无法做针对性的控制;3)没有解决各命名实体在数据中的稀疏化问题。
2.针对性提权。在训练好的语言模型中,针对某个命名实体增加其权重,从而达到增加命名实体识别概率的目的。但这种方法的缺点是:提权仅针对1-gram模型,难以对2-gram或3-gram,以及back-off(回退)因子进行相应的更新。
发明内容
本申请提供一种段路由策略下发方法、装置、设备、存储介质及程序产品,以解决现有技术中的段路由策略下发时比较难兼顾下发效率和控制器故障引起的丢包问题。
第一方面,本申请实施例提供了一种构建语言模型的方法,所述方法包括:
获取类实体语言模型,其中,所述类实体语言模型中包括属于同一命名实体类别的多个指定命名实体;
将训练语料中的所述指定命名实体替换为所述命名实体类别,获得新训练语料;
采用所述新训练语料构建主语言模型;
将所述类实体语言模型与所述主语言模型结合,构建目标语言模型。
第二方面,本申请实施例还提供了一种语音识别的方法,所述方法包括:
将待识别的语音信号转换成文本序列;
将所述文本序列输入至第一方面所述的目标语言模型中,并获得所述目标语言模型输出的识别结果。
第三方面,本申请实施例还提供了一种构建语言模型的装置,所述装置包括:
类实体语言模型获取模块,用于获取类实体语言模型,其中,所述类实体语言模型中包括属于同一命名实体类别的多个指定命名实体;
语料替换模块,用于将训练语料中的所述指定命名实体替换为所述命名实体类别,获得新训练语料;
主语言模型训练模块,用于采用所述新训练语料构建主语言模型;
语言模型结合模块,用于将所述类实体语言模型与所述主语言模型结合,构建目标语言模型。
第四方面,本申请实施例还提供了一种语音识别的装置,所述装置包括:
文本序列转换模块,用于将待识别的语音信号转换成文本序列;
文本识别模块,用于将所述文本序列输入至第一方面所述的目标语言模型中,并获得所述目标语言模型输出的识别结果。
第五方面,本申请实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述第一方面或第二方面的方法。
第六方面,本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一方面或第二方面的方法。
第七方面,本申请实施例还提供了一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,所述计算机可执行指令在被执行时用于实现上述第一方面或第二方面的方法。
本申请所提供的技术方案,具有如下有益效果:
本实施例可以针对指定命名实体类别构建语言模型,首先获取包括属于同一命名实体类别的多个指定命名实体的类实体语言模型,然后根据该类实体语言模型中的指定命名实体以及命名实体类别,将训练语料中的指定命名实体替换为命名实体类别获得新训练语料,这样采用该新训练语料构建的主语言模型是针对上述命名实体类别的语言模型。然后将该主语言模型与类实体语言模型结合,可以得到一个关联命名实体类别与该类别下指定命名实体的目标语言模型。这样即使训练语料中只存在一部分的指定命名实体,也可以依据该命名实体类别以及该类别下包含的所有指定命名实体,对不存在于训练语料的指定命名实体进行识别,从而有效解决训练数据稀疏的问题。并且本实施例无需扩展训练语料,避免命名实体过多造成的数据处理压力。同时还可以通过类实体语言模型对各指定命名实体的权重进行调整,以便于更好地控制各指定命名实体的权重。
附图说明
图1是本申请实施例一提供的一种构建语言模型的方法实施例的流程图;
图2是本申请实施例一提供的一种类实体WFST网络模型示意图;
图3是本申请实施例一提供的一种主WFST网络模型示意图;
图4是本申请实施例一提供的一种将类实体WFST网络模型与主WFST网络模型结合后得到的WFST网络模型;
图5是本申请实施例二提供的一种语音识别的方法实施例的流程图;
图6是本申请实施例三提供的一种构建语言模型的装置实施例的结构框图;
图7是本申请实施例四提供的一种语音识别的装置实施例的结构框图;
图8是本申请实施例五提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。
实施例一
图1为本申请实施例一提供的一种构建语言模型的方法实施例的流程图,本实施例可以包括如下步骤:
步骤110,获取类实体语言模型,其中,所述类实体语言模型中包括属于同一命名实体类别的多个指定命名实体。
类实体语言模型为用于描述属于同一命名实体类别的多个指定命名实体的语言模型。其中,该命名实体类别以及该命名实体类别中的多个指定命名实体可以根据业务需求的不同而不同,本实施例对此不作限定。
在一种示例性的应用场景中,例如游戏直播场景,让语音识别引擎识别战队名和选手名是一个具有挑战性的问题。比如,在MOBA(Multiplayer Online Battle Arena,多人在线战术竞技游戏)游戏领域,‘Scout’和‘Meiko’这两个词在句法和语义上都有某种类似的属性,如表示选手名称。考虑了词的这种相似性,则可以设定“选手名称(player)”类别,该类别中至少包括‘Scout’和‘Meiko’这两个命名实体。这样即使训练数据中可能没有出现过‘觉得Scout有点可惜’,但是因为训练数据中出现过‘觉得Meiko有点可惜’,而‘Scout’和‘Meiko’又属于同一个命名实体类别,所以可以给前者比较高的概率。
在一种实现中,类实体语言模型可以是用户配置的模型。示例性地,类实体语言模型可以为类实体FA(Finite Automata,有限自动机)网络模型,其中,FA是由一组有限的状态和状态转移的集合组成,其每一个转移都至少有一个标签。在一种示例中,FA每一次状态转移时还会携带一个权重。用户可以通过输入创建FA的指令来创建类实体FA网络模型。
在一种进一步的示例中,类实体FA网络模型可以包括WFST(Weighted Finite-State Transducers,加权有限状态转移机)网络模型,其在每次状态转移时同时具有输出标签和权重。在该WFST网络模型中,可以包括多条从起始状态指向结束状态的弧,每条弧的输出标签对应于当前命名实体类别中的一个指定命名实体。例如,针对上述游戏直播场景,其WFST网络模型可以如图2所示。在图2中,示例性地列出了三条从起始状态0指向结束状态1的弧,每条弧对应于当前类别中的一个指定命名实体,每条弧包括输入标签、输出标签以及权重。其中,输入标签与输出标签用于表示某个具体的指定命名实体。比如,在图2中,“_meiko:_meiko/0.69315”表示,该弧的输入标签和输出标签均为“_meiko”,用于表示‘Meiko’这个命名实体,权重为“0.69315”。
在一种实现中,在上述WFST网络模型中,每条弧的权重可以与当前命名实体类别中的指定命名实体的数量相关。例如,可以采用如下公式确定每条弧的权重:
其中,Pr(w|c)为权重,表示对于给定命名实体类别c(如选手名称类别),估计c中一个指定命名实体w(如某个具体的选手名称)的概率;Pc是命名实体类别c中指定命名实体的数量;e是自然底数;α和β是可调节的经验值。
在其他实现中,每条弧的权重还可以是用户输入的权重,本实施例对此不作限定。
步骤120,将训练语料中的所述指定命名实体替换为所述命名实体类别,获得新训练语料。
其中,训练语料是指包含一个或者多个指定命名实体的自然语言表达片断,例如是一篇文章或者一段文字。命名实体指的是文本中具有特定意义或者指代性强的实体,可以包括人名、地名、组织机构名、日期时间、专有名词等。
在本步骤中,可以判断语料库中各训练语料是否存在上述步骤110中的指定命名实体,若存在,则将训练语料中的指定命名实体替换为其对应的命名实体类别,替换后得到的训练语料就是新训练语料,由此得到新的语料库。
为了便于对命名实体类别的识别,在一种示例中,可以根据实际应用场景或者先验知识,采用一种特殊令牌来标识命名实体类别。例如,命名实体类别可以标识为采用“#nonterm:***”形式表达的实体类别。
例如,针对图2给出的两个指定命名实体‘Meiko’和‘Scout’,可以将训练语料中的‘Meiko’和‘Scout’替换为其所属的命名实体类别“player”,采用‘#nonterm:player’表示。又如,假设指定命名实体为战队名‘edg’,则可以将训练语料中的‘edg’替换为其所属的命名实体类别“team”,采用‘#nonterm:team’表示。
步骤130,采用所述新训练语料构建主语言模型。
在该步骤中,可以采用新的语料库来训练主语言模型。示例性地,主语言模型可以为N-gram模型。在实现时,可以采用通用的N-gram模型训练方法来训练基于新的语料库的N-gram模型,本实施例对该N-gram模型训练方法不作限定。
步骤140,将所述类实体语言模型与所述主语言模型结合,构建目标语言模型。
在该实施例中,将用户配置的类实体语言模型与主语言模型组合起来,可以生成用于语音识别的目标语言模型。
在一种实施例中,当主语言模型为N-gram模型,类实体语言模型为类实体FA网络模型时,需要将N-gram模型首先转换成主FA网络模型,然后可以采用OpenFST将主FA网络模型与类实体FA网络模型进行组合,最终生成目标语言模型。
在实际中,N-gram模型通常以ARPA文件格式存在,在实现时可以采用通用的arpa2fst算法来将N-gram语言模型转换为主FA网络模型,该主FA网络模型可以为WFST网络模型。
得到主FA网络模型以后,可以通过采用OpenFST将主FA网络模型与类实体FA网络模型进行组合。在一种实施例中,若主FA网络模型及类实体FA网络模型均为WFST,则上述将主FA网络模型与类实体FA网络模型组合,构建目标语言模型的步骤,进一步可以包括如下步骤:
步骤S1,从所述主FA网络模型中识别出输出标签为所述命名实体类别的弧,作为目标弧,并获取所述目标弧在所述主FA网络模型中指向的状态,作为后向接入状态。
步骤S2,将所述目标弧重定向至所述类实体FA网络模型的起始状态中,并将所述目标弧中的所述输出标签替换为第一指定标签。
步骤S3,在所述类实体FA网络模型的各结束状态中添加指向所述后向接入状态的弧,并将所述弧的输入标签和输出标签设定为第二指定标签。
步骤S4,基于最终得到的FA网络模型确定目标语言模型。
例如,假设主FA网络模型如图3所示,类实体FA网络模型如图2所示,将图2的类实体FA网络模型插入至图3的主FA网络模型中,可以得到图4的最终的FA网络模型。组合过程如下:图2的类实体FA网络模型的命名实体类别为“#nonterm:player”,则在图3中,将“#nonterm:player”所在的弧A作为目标弧。然后将该目标弧指向的状态“2”作为后向接入状态。接着,将目标弧A重定向至图2中类实体WFST的起始状态“0”中,并将该目标弧中的输出标签(即“#nonterm:player”)替换为第一指定标签,如果选项epsilon_on_replace设为true,则也需要将输入标签替换为第一指定标签。示例性地,该第一指定标签可以为“epsilon”标签,如图4所示。目标弧上的权重保持不变。另外,当将目标弧重定向至类实体WFST的起始状态“0”中以后,则该起始状态变更为中间状态,状态标识也需要从“0”变成发出该目标弧的状态的下一状态,如图4所示,发出目标弧的状态为状态“1”,则目标弧重定向至类实体WFST的起始状态“0”时,需要将该“0”变更为状态“2”,后续的状态标识以此类推进行变更。
当将类实体WFST的起始状态接入到主WFST以后,对于类实体WFST的结束状态,可以从该结束状态添加指向上述后向接入状态的弧,并将该添加的弧的输入标签和输出标签设定为第二指定标签。示例性地,该第二指定标签也可以为“epsilon”标签。例如,在图4中,当类实体WFST的起始状态接入到主WFST以后,其结束状态就变成了中间状态,则状态标识从原来的“1”变更为“3”。然后从该状态3中添加弧指向后向接入状态4。在该弧中,输入标签和输出标签均为“epsilon”,该弧权重为0。
需要说明的是,在上述例子中,以类实体FA网络模型有一个结束状态为例进行说明,当如果类实体FA网络模型有超过一个结束状态,则每个结束状态都需要添加指向后向接入状态的弧。
本实施例对目标语言模型的表现形式不作限定,可以根据实际的业务需求确定其表现形式,可以直接将最终组合得到的FA网络模型作为目标语言模型,也可以将最终组合得到的FA网络模型转换成N-gram模型,并将该N-gram模型作为目标语言模型。
在一种实施例中,嵌入至主FA网络模型的类实体FA网络模型可以有多个,每个类实体FA网络模型具有对应的命名实体类别,如站队类别(team)、选手名称类别(player)等。则在步骤140中构建目标语言模型的步骤可以包括如下步骤:
从所述多个类实体FA网络模型中随机选取一个类实体FA网络模型插入至所述主FA网络模型中,生成第一中间FA网络模型;选取下一类实体FA网络模型插入至所述第一中间FA网络模型中,生成第二中间FA网络模型,以此类推,直到所有的类实体FA网络模型都嵌入到所述主FA网络模型中。
例如,假设有a、b、c三个类实体FA网络模型,假设主FA网络模型为M,首先从a、b、c三个类实体FA网络模型中随机选择一个类实体FA网络模型,假设为b,然后将b按照步骤S1-步骤S3的方法嵌入到M中,得到第一中间FA网络模型M′。接着从a、c中随机选择一个类实体FA网络模型,假设为a,然后将a按照步骤S1-步骤S3的方法嵌入到M′中,得到第二中间FA网络模型M″。最后,将c按照步骤S1-步骤S3的方法嵌入到M″中,得到第三中间FA网络模型M″′,作为最终得到的FA网络模型。
在实际中,针对最终得到的FA网络模型,为了确保波束搜索的效率,还可以对该FA网络模型做一次权重推移(weight pushing)。
在一种实施例中,当得到目标语言模型以后,本实施例还可以包括如下步骤:
将所述目标语言模型下发至下游程序中,以便于所述下游程序根据所述目标语言模型进行语音识别。
由于目标语言模型中包含类实体语言模型,则下游程序在基于目标语言模型机型语音识别时,能够根据该类实体语言模型中的多个命名实体,给予同一类别的命名实体较高的概率,从而提升语音识别的准确率。
本实施例可以针对指定命名实体类别构建语言模型,首先获取包括属于同一命名实体类别的多个指定命名实体的类实体语言模型,然后根据该类实体语言模型中的指定命名实体以及命名实体类别,将训练语料中的指定命名实体替换为命名实体类别获得新训练语料,这样采用该新训练语料构建的主语言模型是针对上述命名实体类别的语言模型。然后将该主语言模型与类实体语言模型结合,可以得到一个关联命名实体类别与该类别下指定命名实体的目标语言模型。这样即使训练语料中只存在一部分的指定命名实体,也可以依据该命名实体类别以及该类别下包含的所有指定命名实体,对不存在于训练语料的指定命名实体进行识别,从而有效解决训练数据稀疏的问题。并且本实施例无需扩展训练语料,避免命名实体过多造成的数据处理压力。同时还可以通过类实体语言模型对各指定命名实体的权重进行调整,以便于更好地控制各指定命名实体的权重。
实施例二
图5为本申请实施例二提供的一种语音识别的方法实施例的流程图,本实施例可以包括如下步骤:
步骤510,将待识别的语音信号转换成文本序列。
步骤520,将所述文本序列输入至目标语言模型中,并获得所述目标语言模型输出的识别结果。
本实施例采用实施例一构建的目标语言模型来进行文本序列的识别,可以有效提升命名实体的识别准确率。在一种例子中,采用本实施例的目标语言模型和普通的语言模型,分别对某MOBA游戏的战队名和选手名进行识别时,无论是WER(Word Error Rate,词错误率)还是CER(Character Error Rate,字错误率),本实施例的目标语言模型对识别性能都有所提升。
实施例三
图6为本申请实施例三提供的一种构建语言模型的装置实施例的结构框图,可以包括如下模块:
类实体语言模型获取模块610,用于获取类实体语言模型,其中,所述类实体语言模型中包括属于同一命名实体类别的多个指定命名实体;
语料替换模块620,用于将训练语料中的所述指定命名实体替换为所述命名实体类别,获得新训练语料;
主语言模型训练模块630,用于采用所述新训练语料构建主语言模型;
语言模型结合模块640,用于将所述类实体语言模型与所述主语言模型结合,构建目标语言模型。
在一种实施例中,所述主语言模型为N-gram模型,所述类实体语言模型为类实体有限自动机FA网络模型;
所述语言模型结合模块640可以包括如下子模块:
语言模型转换子模块,用于将所述主语言模型转换为主FA网络模型;
FA网络模型结合子模块,用于基于所述命名实体类别,将所述类实体FA网络模型与所述主FA网络模型结合,构建目标语言模型。
在一种实施例中,所述FA网络模型结合子模块具体用于:
从所述主FA网络模型中识别出输出标签为所述命名实体类别的弧,作为目标弧,并获取所述目标弧在所述主FA网络模型中指向的状态,作为后向接入状态;
将所述目标弧重定向至所述类实体FA网络模型的起始状态中,并将所述目标弧中的所述输出标签替换为第一指定标签;
在所述类实体FA网络模型的各结束状态中添加指向所述后向接入状态的弧,并将所述弧的输入标签和输出标签设定为第二指定标签;
基于最终得到的FA网络模型确定目标语言模型。
在一种实施例中,所述FA网络模型结合子模块还用于:
将最终得到的FA网络模型作为所述目标语言模型;
或者,
将所述最终得到的FA网络模型转换成的N-gram模型作为目标语言模型。
在一种实施例中,所述类实体FA网络模型有多个,其中,各个类实体FA网络模型具有对应的类别信息;
所述FA网络模型结合子模块还用于:
从所述多个类实体FA网络模型中随机选取一个类实体FA网络模型插入至所述主FA网络模型中,生成第一中间FA网络模型;
选取下一类实体FA网络模型插入至所述第一中间FA网络模型中,生成第二中间FA网络模型,以此类推,直到所有的类实体FA网络模型都嵌入到所述主FA网络模型中。
在一种实施例中,所述类实体FA网络模型中包括多条从起始状态指向结束状态的弧,每条弧的输出标签对应于所述命名实体类别中的一个指定命名实体,每条弧的权重与所述类实体语言模型中的指定命名实体的数量相关。
在一种实施例中,所述装置还可以包括如下模块:
目标语言模型下发模块,用于将所述目标语言模型下发至下游程序中,以便于所述下游程序根据所述目标语言模型进行语音识别。
本申请实施例所提供的一种构建语言模型的装置可执行本申请实施例一中的一种构建语言模型的方法,具备执行方法相应的功能模块和有益效果。
实施例四
图7为本申请实施例四提供的一种语音识别的装置实施例的结构框图,可以包括如下模块:
文本序列转换模块710,用于将待识别的语音信号转换成文本序列;
文本识别模块720,用于将所述文本序列输入至实施例一所述的目标语言模型中,并获得所述目标语言模型输出的识别结果。
本申请实施例所提供的一种语音识别的装置可执行本申请实施例二中的一种语音识别的方法,具备执行方法相应的功能模块和有益效果。
实施例五
图8为本申请实施例五提供的一种电子设备的结构示意图,如图8所示,该电子设备包括处理器810、存储器820、输入装置830和输出装置840;电子设备中处理器810的数量可以是一个或多个,图8中以一个处理器810为例;电子设备中的处理器810、存储器820、输入装置830和输出装置840可以通过总线或其他方式连接,图8中以通过总线连接为例。
存储器820作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请实施例中的上述实施例一或实施例二对应的程序指令/模块。处理器810通过运行存储在存储器820中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述的方法实施例一或实施例二中提到的方法。
存储器820可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器820可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器820可进一步包括相对于处理器810远程设置的存储器,这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置830可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置840可包括显示屏等显示设备。
实施例六
本申请实施例六还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行上述方法实施例一或实施例二的方法。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本申请任意实施例所提供的方法中的相关操作。
实施例七
本申请实施例七还提供一种计算机程序产品,该计算机程序产品包括计算机可执行指令,所述计算机可执行指令在由计算机处理器执行时用于执行上述方法实施例一或实施例二的方法。
当然,本申请实施例所提供的一种计算机程序产品,其计算机可执行指令不限于如上所述的方法操作,还可以执行本申请任意实施例所提供的方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本申请可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
值得注意的是,上述装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。
Claims (13)
1.一种构建语言模型的方法,其特征在于,所述方法包括:
获取类实体语言模型,其中,所述类实体语言模型中包括属于同一命名实体类别的多个指定命名实体;
将训练语料中的所述指定命名实体替换为所述命名实体类别,获得新训练语料;
采用所述新训练语料构建主语言模型;
将所述类实体语言模型与所述主语言模型结合,构建目标语言模型。
2.根据权利要求1所述的方法,其特征在于,所述主语言模型为N-gram模型,所述类实体语言模型为类实体有限自动机FA网络模型;
所述将所述类实体语言模型与所述主语言模型结合,构建目标语言模型,包括:
将所述主语言模型转换为主FA网络模型;
基于所述命名实体类别,将所述类实体FA网络模型与所述主FA网络模型结合,构建目标语言模型。
3.根据权利要求2所述的方法,其特征在于,所述基于所述命名实体类别,将所述类实体FA网络模型与所述主FA网络模型结合,构建目标语言模型,包括:
从所述主FA网络模型中识别出输出标签为所述命名实体类别的弧,作为目标弧,并获取所述目标弧在所述主FA网络模型中指向的状态,作为后向接入状态;
将所述目标弧重定向至所述类实体FA网络模型的起始状态中,并将所述目标弧中的所述输出标签替换为第一指定标签;
在所述类实体FA网络模型的各结束状态中添加指向所述后向接入状态的弧,并将所述弧的输入标签和输出标签设定为第二指定标签;
基于最终得到的FA网络模型确定目标语言模型。
4.根据权利要求3所述的方法,其特征在于,所述基于最终得到的FA网络模型确定目标语言模型,包括:
将最终得到的FA网络模型作为所述目标语言模型;
或者,
将所述最终得到的FA网络模型转换成的N-gram模型作为目标语言模型。
5.根据权利要求2-4任一项所述的方法,其特征在于,所述类实体FA网络模型有多个,其中,各个类实体FA网络模型具有对应的类别信息;
所述将所述类实体FA网络模型与所述主FA网络模型结合,构建目标语言模型,包括:
从所述多个类实体FA网络模型中随机选取一个类实体FA网络模型插入至所述主FA网络模型中,生成第一中间FA网络模型;
选取下一类实体FA网络模型插入至所述第一中间FA网络模型中,生成第二中间FA网络模型,以此类推,直到所有的类实体FA网络模型都嵌入到所述主FA网络模型中。
6.根据权利要求2-4任一项所述的方法,其特征在于,所述类实体FA网络模型中包括多条从起始状态指向结束状态的弧,每条弧的输出标签对应于所述命名实体类别中的一个指定命名实体,每条弧的权重与所述类实体语言模型中的指定命名实体的数量相关。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述目标语言模型下发至下游程序中,以便于所述下游程序根据所述目标语言模型进行语音识别。
8.一种语音识别的方法,其特征在于,所述方法包括:
将待识别的语音信号转换成文本序列;
将所述文本序列输入至所述如权利要求1-7任一权利要求所述的目标语言模型中,并获得所述目标语言模型输出的识别结果。
9.一种构建语言模型的装置,其特征在于,所述装置包括:
类实体语言模型获取模块,用于获取类实体语言模型,其中,所述类实体语言模型中包括属于同一命名实体类别的多个指定命名实体;
语料替换模块,用于将训练语料中的所述指定命名实体替换为所述命名实体类别,获得新训练语料;
主语言模型训练模块,用于采用所述新训练语料构建主语言模型;
语言模型结合模块,用于将所述类实体语言模型与所述主语言模型结合,构建目标语言模型。
10.一种语音识别的装置,其特征在于,所述装置包括:
文本序列转换模块,用于将待识别的语音信号转换成文本序列;
文本识别模块,用于将所述文本序列输入至所述如权利要求1-7任一权利要求所述的目标语言模型中,并获得所述目标语言模型输出的识别结果。
11.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8任一项所述的方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8任一项所述的方法。
13.一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,所述计算机可执行指令在被执行时用于实现权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111588177.4A CN114282540A (zh) | 2021-12-23 | 2021-12-23 | 构建语言模型及语音识别的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111588177.4A CN114282540A (zh) | 2021-12-23 | 2021-12-23 | 构建语言模型及语音识别的方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114282540A true CN114282540A (zh) | 2022-04-05 |
Family
ID=80874404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111588177.4A Pending CN114282540A (zh) | 2021-12-23 | 2021-12-23 | 构建语言模型及语音识别的方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114282540A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101763344A (zh) * | 2008-12-25 | 2010-06-30 | 株式会社东芝 | 训练基于短语的翻译模型的方法、机器翻译方法及其装置 |
CN102968989A (zh) * | 2012-12-10 | 2013-03-13 | 中国科学院自动化研究所 | 一种用于语音识别的Ngram模型改进方法 |
US20150286629A1 (en) * | 2014-04-08 | 2015-10-08 | Microsoft Corporation | Named entity recognition |
CN111540343A (zh) * | 2020-03-17 | 2020-08-14 | 北京捷通华声科技股份有限公司 | 一种语料识别方法和装置 |
-
2021
- 2021-12-23 CN CN202111588177.4A patent/CN114282540A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101763344A (zh) * | 2008-12-25 | 2010-06-30 | 株式会社东芝 | 训练基于短语的翻译模型的方法、机器翻译方法及其装置 |
CN102968989A (zh) * | 2012-12-10 | 2013-03-13 | 中国科学院自动化研究所 | 一种用于语音识别的Ngram模型改进方法 |
US20150286629A1 (en) * | 2014-04-08 | 2015-10-08 | Microsoft Corporation | Named entity recognition |
CN111540343A (zh) * | 2020-03-17 | 2020-08-14 | 北京捷通华声科技股份有限公司 | 一种语料识别方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11741309B2 (en) | Templated rule-based data augmentation for intent extraction | |
US10755148B2 (en) | Method and apparatus for generating a response based on artificial intelligence, and storage medium | |
US20200301954A1 (en) | Reply information obtaining method and apparatus | |
KR101768509B1 (ko) | 온라인 음성 번역 방법 및 장치 | |
CN110781668B (zh) | 文本信息的类型识别方法及装置 | |
CN110164435A (zh) | 语音识别方法、装置、设备及计算机可读存储介质 | |
JP2020505643A (ja) | 音声認識方法、電子機器、及びコンピュータ記憶媒体 | |
CN111222305A (zh) | 一种信息结构化方法和装置 | |
CN107239450B (zh) | 基于交互上下文处理自然语言方法 | |
CN108463815A (zh) | 聊天数据的命名实体识别 | |
CN109918627B (zh) | 文本生成方法、装置、电子设备及存储介质 | |
CN110147544B (zh) | 一种基于自然语言的指令生成方法、装置以及相关设备 | |
CN105117387B (zh) | 一种智能机器人交互系统 | |
CN109241330A (zh) | 用于识别音频中的关键短语的方法、装置、设备和介质 | |
CN108304424B (zh) | 文本关键词提取方法及文本关键词提取装置 | |
CN113590810B (zh) | 摘要生成模型训练方法、摘要生成方法、装置及电子设备 | |
CN112579733B (zh) | 规则匹配方法、规则匹配装置、存储介质及电子设备 | |
CN109117474A (zh) | 语句相似度的计算方法、装置及存储介质 | |
CN112149386A (zh) | 一种事件抽取方法、存储介质及服务器 | |
CN114661881A (zh) | 一种基于问答模式的事件抽取方法、装置和设备 | |
CN108334491B (zh) | 文本分析方法、装置、计算设备及存储介质 | |
CN110633724A (zh) | 意图识别模型动态训练方法、装置、设备和存储介质 | |
US20130024403A1 (en) | Automatically induced class based shrinkage features for text classification | |
CN112417875B (zh) | 配置信息的更新方法、装置、计算机设备及介质 | |
CN110020429A (zh) | 语义识别方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |