CN112466291B - 语言模型的训练方法、装置和电子设备 - Google Patents
语言模型的训练方法、装置和电子设备 Download PDFInfo
- Publication number
- CN112466291B CN112466291B CN202011165514.4A CN202011165514A CN112466291B CN 112466291 B CN112466291 B CN 112466291B CN 202011165514 A CN202011165514 A CN 202011165514A CN 112466291 B CN112466291 B CN 112466291B
- Authority
- CN
- China
- Prior art keywords
- grammar
- weights
- slot
- slots
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000004364 calculation method Methods 0.000 claims abstract description 31
- 230000015654 memory Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000003058 natural language processing Methods 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 80
- 230000008569 process Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 12
- 230000003993 interaction Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000009499 grossing Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
Landscapes
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了语言模型的训练方法、装置和电子设备，涉及语音、自然语言处理、深度学习技术领域。具体实现方案为：获取样本文本对应的文法和文法中每个槽位对应的槽值；根据文法和文法中槽位对应的槽值生成文法对应的文法图；根据样本文本获取文法图中文法的权重、槽位的权重和槽值的权重；根据文法图中文法的权重、槽位的权重和槽值的权重计算不同阶的文法频次；以及根据文法频次进行语言模型的训练。本申请的训练方法，能够直接根据文法图中文法的权重、槽位的权重和槽值的权重计算不同阶的文法频次，解决了相关技术中语料数量过多的问题，文法频次的计算效率更高，能够显著缩短语言模型的训练时长。
Description
技术领域
本申请涉及计算机技术领域中的语音、自然语言处理、深度学习技术领域，尤其涉及一种语言模型的训练方法、装置、电子设备和存储介质。
背景技术
目前，语音识别技术在智能家电、机器人、车载终端等领域得到了广泛的应用，相关技术中大多根据预先训练好的语言模型对语音进行识别，为了提高语言模型的性能，往往需要大量的语料数据对语言模型进行训练，语料数据数量过多，模型训练需要耗费较多的存储资源和计算资源，且训练时间较长，训练效率较低。
发明内容
提供了一种语言模型的训练方法、装置、电子设备、存储介质和计算机程序产品。
根据第一方面，提供了一种语言模型的训练方法，包括：获取样本文本对应的文法和所述文法中每个槽位对应的槽值；根据所述文法和所述文法中所述槽位对应的槽值生成所述文法对应的文法图；根据所述样本文本获取所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重；根据所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重计算不同阶的文法频次；以及根据所述文法频次进行语言模型的训练。
根据第二方面，提供了一种语言模型的训练装置，包括：第一获取模块，用于获取样本文本对应的文法和所述文法中每个槽位对应的槽值；生成模块，用于根据所述文法和所述文法中所述槽位对应的槽值生成所述文法对应的文法图；第二获取模块，用于根据所述样本文本获取所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重；计算模块，用于根据所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重计算不同阶的文法频次；以及训练模块，用于根据所述文法频次进行语言模型的训练。
根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面所述的语言模型的训练方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请第一方面所述的语言模型的训练方法。
根据第五方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现本申请第一方面所述的语言模型的训练方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的语言模型的训练方法的流程示意图；
图2是根据本申请第二实施例的语言模型的训练方法中文法图的示意图；
图3是根据本申请第三实施例的语言模型的训练方法中文法图的示意图；
图4是根据本申请第四实施例的语言模型的训练方法中根据文法和文法中槽位对应的槽值生成文法对应的文法图的流程示意图；
图5是根据本申请第五实施例的语言模型的训练方法中得到N阶的文法频次的流程示意图；
图6是根据本申请第一实施例的语言模型的训练装置的框图；
图7是用来实现本申请实施例的语言模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
语音可包括语音识别、语音交互等技术领域，是人工智能领域中的一个重要方向。
语音识别(Voice Recognition)是一种让机器通过识别和理解过程把语音信号转变为相应的文本或命令的技术，主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。
语音交互(Voice Interaction)是一种机器与用户以语音为信息载体进行互动、沟通、信息交换等交互行为的技术，相较于传统的人机交互，具有方便快捷、用户舒适性高的优点。
自然语言处理(Natural Language Processing，NLU)是研究能有效地实现自然语言通信的计算机系统，特别是其中的软件系统的一门科学，是计算机科学领域与人工智能领域中的一个重要方向。
深度学习(Deep Learning，DL)是机器学习(Machine Learning，ML)领域中一个新的研究方向，是学习样本数据的内在规律和表示层次，使得机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据的一门科学，广泛应用于语音和图像识别。
图1是根据本申请第一实施例的语言模型的训练方法的流程示意图。
如图1所示，本申请第一实施例的语言模型的训练方法包括：
S101，获取样本文本对应的文法和文法中每个槽位对应的槽值。
需要说明的是，本申请实施例的语音识别方法的执行主体可为具有数据信息处理能力的硬件设备和/或驱动该硬件设备工作所需必要的软件。可选的，执行主体可包括工作站、服务器，计算机、用户终端及其他设备。其中，用户终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。
本公开的实施例中，可通过预先训练好的语言模型进行语音识别，语言模型可根据样本文本训练得到。可选的，语言模型可为Ngram模型。
可选的，样本文本可通过用户输入、网络爬取等方式来获取，这里不做过多限定。
可以理解的是，样本文本携带对应的文法和文法中每个槽位对应的槽值信息。其中，文法指的是样本文本的语法组成，每个文法由至少一个槽位(Slot)组成，每个槽位对应至少一个槽值。
可以理解的是，不同的样本文本，可对应不同的文法、槽位和槽值，则可根据多个样本文本，获取多个文法，以及各文法中每个槽位对应的多个槽值。
例如，若样本文本1为“我想听A1的B1”，其中，A1为某个歌手的姓名，B1为某个歌曲的名称，则样本文本1对应的文法可为“我想听”+“歌手”+“的”+“歌曲”，文法中包括4个槽位，依次为“我想听”、“歌手”、“的”、“歌曲”，可知样本文本1对应的文法中“歌手”槽位对应的槽值为A1，“歌曲”槽位对应的槽值为B1。
或者，若样本文本2为“我想听B2”，其中，B2为某个歌曲的名称，则样本文本2对应的文法可为“我想听”+“歌曲”，文法中包括2个槽位，依次为“我想听”、“歌曲”，可知样本文本2对应的文法中“歌曲”槽位对应的槽值为B2。
或者，若样本文本3为“明天杭州的天气怎么样”，则样本文本3对应的文法可为“时间”+“地点”+“的”+“天气”+“怎么样”，文法中包括5个槽位，依次为“时间”、“地点”、“的”、“天气”、“怎么样”，可知样本文本3对应的文法中“时间”槽位对应的槽值为明天，“地点”槽位对应的槽值为杭州。
可选的，文法可包括开始槽位和结束槽位，开始槽位用于标识文法的开始字段，结束槽位用于标识文法的结束字段，开始槽位和结束槽位均可用预设字符、字符串等方式来表示，例如，开始槽位可为“s”，结束槽位可为“/s”。
例如，若样本文本4为“s我想听B3/s”，其中，B3为某个歌曲的名称，s为预设的开始槽位，/s为预设的结束槽位，则样本文本4对应的文法可为“s”+“我想听”+“歌曲”+“/s”，文法中包括4个槽位，依次为“s”、“我想听”、“歌曲”、“/s”，可知样本文本4对应的文法中“歌曲”槽位对应的槽值为B3。
可选的，在获取到样本文本之后，可通过人工抽取的方式从样本文本中抽取文法和文法中每个槽位对应的槽值，用户可根据实际模型训练需求灵活抽取文法和文法中每个槽位对应的槽值，还可将从样本文本中人工抽取的文法和文法中每个槽位对应的槽值存储在服务器的存储空间中，以供训练语言模型时获取。
S102，根据文法和文法中槽位对应的槽值生成文法对应的文法图。
可以理解的是，不同的文法可对应不同的文法图，可根据每个文法中槽位对应的槽值生成文法对应的文法图。
例如，若文法为“s”+“我想听”+“歌手”+“的”+“歌曲”+“/s”，s为预设的开始槽位，/s为预设的结束槽位，“歌手”槽位对应的槽值包括A1、A2、A3至Am，“歌曲”槽位对应的槽值包括B1、B2、B3至Bn，则文法对应的文法图如图2所示。其中，m、n均为正整数，均可根据实际情况进行设置。
例如，若文法为“s”+“我想听”+“歌曲”+“/s”，s为预设的开始槽位，/s为预设的结束槽位，“歌曲”槽位对应的槽值包括B1、B2、B3至Bn，则文法对应的文法图如图3所示。其中，n为正整数，可根据实际情况进行设置。
需要说明的是，文法图还可为图2、3所示的其他形式，这里不做过多限定。
S103，根据样本文本获取文法图中文法的权重、槽位的权重和槽值的权重。
本公开的实施例中，每个文法、槽位、槽值均对应一个权重，权重可用于计算文法频次(Count)。
可以理解的是，可根据样本文本获取文法图中文法的权重、槽位的权重和槽值的权重。
以根据样本文本获取文法图中文法的权重为例，文法的权重可与文法在所有样本文本的出现频率正相关，即文法在所有样本文本的出现频率越高，文法的权重越大，则可根据文法在所有样本文本的出现频率，获取文法图中文法的权重。
可以理解的是，若某个文法在所有样本文本的出现频率越高，表明该文法与用户的语言习惯和/或交互需求的符合度越高，该方法在获取文法的权重时能够考虑到文法在所有样本文本的出现频率，使得文法的权重能够反映文法与用户的语言习惯和/或交互需求的符合度，较为灵活和准确。
可以理解的是，根据样本文本获取文法图中槽位的权重、槽值的权重的相关内容可参照根据样本文本获取文法图中文法的权重的相关内容，这里不再赘述。
可选的，在获取到文法对应的文法图之后，还可根据样本文本人工标注文法图中文法的权重、槽位的权重和槽值的权重，用户可根据实际模型训练需求灵活标注文法图中文法的权重、槽位的权重和槽值的权重，还可将根据样本文本人工标注的文法图中文法的权重、槽位的权重和槽值的权重存储在服务器的存储空间中，以供训练语言模型时获取。
S104，根据文法图中文法的权重、槽位的权重和槽值的权重计算不同阶的文法频次。
本公开的实施例中，文法频次的阶数与文法包括的槽位数量有关。例如，若某个文法包括N个槽位，则该文法可对应1阶、2阶、3阶至N阶的文法频次。
可选的，根据文法图中文法的权重、槽位的权重和槽值的权重计算不同阶的文法频次，可包括预先设置不同阶的文法频次的计算策略，根据不同阶的文法频次的计算策略，计算不同阶的文法频次。应说明的是，计算策略可根据实际情况进行设置，并可预先设置在服务器的存储空间中。
例如，若仅存在一个文法，该文法的权重为1，该文法包括6个槽位，每个槽位均只包含一个槽值，则此时该文法中每个槽位的权重与其包含的槽值的权重相等，假设6个槽位对应的权重分别为w1、w2、w3至w6，则一阶文法频次可包括6个值，计算策略分别为w2*w3*w4*w5*w6、w1*w3*w4*w5*w6、w1*w2*w4*w5*w6、w1*w2*w3*w5*w6、w1*w2*w3*w4*w6、w1*w2*w3*w4*w5，二阶文法频次可包括5个值，计算策略分别为w3*w4*w5*w6、w1*w4*w5*w6、w1*w2*w5*w6、w1*w2*w3*w6、w1*w2*w3*w4，其他阶文法频次的计算策略可参照上述一阶文法频次、二阶文法频次的计算策略进行设置，这里不再赘述。
S105，根据文法频次进行语言模型的训练。
本公开的实施例中，获取不同阶的文法频次之后，可根据不同阶的文法频次进行语言模型的训练。
可以理解的是，本申请中可直接根据文法图中文法的权重、槽位的权重和槽值的权重计算不同阶的文法频次，文法频次的计算效率更高，从而能够显著缩短语言模型的训练时长，且语言模型的性能也较好。
综上，根据本申请实施例的语言模型的训练方法，能够直接根据文法图中文法的权重、槽位的权重和槽值的权重计算不同阶的文法频次，相较于相关技术中根据样本文本扩展得到语料，然后统计语料得到文法频次的方案，不需要进行语料扩展就可获取文法频次，解决了相关技术中语料数量过多的问题，文法频次的计算效率更高，能够显著降低模型训练过程中耗费的存储资源和计算资源，还能显著缩短语言模型的训练时长，且语言模型的性能也较好。
在上述任一实施例的基础上，如图4所示，步骤S102中根据文法和文法中槽位对应的槽值生成文法对应的文法图，可包括：
S401，将文法中的槽位依次有向连接。
可以理解的是，文法中的槽位具有先后顺序，则可将文法中的槽位按照彼此的先后顺序依次有向连接。可选的，可将文法中的相邻槽位进行连接，连接方向为相邻槽位中顺序在前的槽位指向顺序在后的槽位。
继续以图2为例，文法为“s”+“我想听”+“歌手”+“的”+“歌曲”+“/s”，文法中包括6个槽位，依次为“s”、“我想听”、“歌手”、“的”、“歌曲”、“/s”，其中，s为预设的开始槽位，/s为预设的结束槽位。则生成文法对应的文法图时，可将“s”槽位与“我想听”槽位连接，连接方向为“s”槽位指向“我想听”槽位，可将“我想听”槽位与“歌手”槽位连接，连接方向为“我想听”槽位指向“歌手”槽位，其他槽位的有向连接可参照上述连接方式，这里不再赘述。
可选的，文法图可为有向无环图(Directed Acyclic Graph，DAG)，可按照有向无环图的连接规则将文法中的槽位依次有向连接。
S402，根据槽位对应的槽值对槽位进行扩展，得到文法对应的文法图。
可以理解的是，每个槽位可对应多个槽值，可根据槽位对应的槽值对槽位进行扩展，以生成文法对应的文法图。
继续以图2为例，“歌手”槽位对应的槽值包括A1、A2、A3至Am，“歌曲”槽位对应的槽值包括B1、B2、B3至Bn，则可将“歌手”槽位对应的槽值A1、A2、A3至Am分别与“我想听”槽位和“的”槽位进行有向连接，以对“歌手”槽位进行扩展，还可将“歌曲”槽位对应的槽值B1、B2、B3至Bn粉分别与“的”槽位和“/s”槽位进行有向连接，以对“歌曲”槽位进行扩展，生成的文法图如图2所示。
由此，该方法将文法中的槽位依次进行有向连接，并根据槽位对应的槽值对槽位进行扩展，以得到文法对应的文法图。
在上述任一实施例的基础上，步骤S104中根据文法图中文法的权重、槽位的权重和槽值的权重计算不同阶的文法频次，可包括根据至少一个文法图中文法的权重、槽位的权重和槽值的权重，计算相邻N个槽位的槽值固定时的文法频次，得到N阶的文法频次。
其中，槽位的槽值固定，指的是槽位中的槽值不为空且为唯一的值。
继续以图2为例，“我想听”槽位、“歌手”槽位为相邻的2个槽位，“我想听”槽位的槽值即为我想听，“歌手”槽位对应的槽值为A1，且其他槽位(图2中“我想听”槽位和“歌手”槽位以外的其他槽位)的槽值均不固定时，则可根据文法图中文法的权重、槽位的权重和槽值的权重，计算“我想听”槽位和“歌手”槽位的槽值固定时的2阶文法频次。
由此，该方法可根据至少一个文法图中文法的权重、槽位的权重和槽值的权重，计算相邻N个槽位的槽值固定时的文法频次，得到N阶的文法频次。
在上述任一实施例的基础上，如图5所示，根据至少一个文法图中文法的权重、槽位的权重和槽值的权重，计算相邻N个槽位的槽值固定时的文法频次，得到N阶的文法频次，可包括：
S501，计算文法图中相邻N个槽位的槽值对应的权重的乘积，得到第一乘积值。
S502，计算第一乘积值与文法图中除相邻N个槽位之外的其他槽位的权重的乘积，得到第二乘积值。
S503，计算第二乘积值和文法图中文法的权重的乘积，得到第三乘积值。
S504，计算不同文法图对应的第三乘积值的和值，得到N阶的文法频次。
继续以图2、3为例，假设图2所示的文法的权重为200，“s”、“我想听”、“歌手”、“的”、“歌曲”、“/s”槽位对应的权重依次为1、1、30、1、3、1，“歌手”槽位的槽值A1、A2对应的权重依次为20、10，“歌曲”槽位的槽值B1、B2对应的权重依次为2、1。
假设图3所示的文法的权重为1000，“s”、“我想听”、歌曲”、“/s”槽位对应的权重依次为1、1、3、1，“歌曲”槽位的槽值B1、B2对应的权重依次为2、1。
下面分别描述3种情况下N阶的文法频次的计算过程。
第一种情况：“s”槽位的槽值即为s，其他槽位(图2、3中“s”槽位以外的其他槽位)的槽值均不固定时，可计算“s”槽位的槽值固定时的1阶文法频次P1，P1的具体计算过程如下：
图2所示的文法图中，第一乘积值P11即为“s”槽位的权重1，第二乘积值P12＝1*1*30*1*3*1＝90，第三乘积值P13＝P12*200＝90*200＝18000。
图3所示的文法图中，第一乘积值P11’即为“s”槽位的权重1，第二乘积值P12’＝1*1*3*1＝3，第三乘积值P13’＝P12’*1000＝3*1000＝3000。
则“s”槽位的槽值固定时的1阶文法频次P1＝P13+P13’＝18000+3000＝21000。
第二种情况：“歌手”槽位的槽值为A1，其他槽位(图2、3中“歌手”槽位以外的其他槽位)的槽值均不固定时，可计算“歌手”槽位的槽值固定为A1时的1阶文法频次P2，P2的具体计算过程如下：
图2所示的文法图中，第一乘积值P21即为A1槽值的权重20，第二乘积值P22＝20*1*1*1*3*1＝60，第三乘积值P23＝P22*200＝60*200＝12000。
图3所示的文法图中，不存在“歌手”这个槽位，则也不存在A1槽值，从而图3对应的第三乘积值P23’＝0。
则“歌手”槽位的槽值固定为A1时的1阶文法频次P2＝P23+P23’＝12000+0＝12000。
第三种情况：“我想听”槽位的槽值即为我想听，“歌曲”槽位的槽值为B1，其他槽位(图2、3中“我想听”、“歌曲”槽位以外的其他槽位)的槽值均不固定时，可计算“我想听”、“歌曲”槽位的槽值固定时的2阶文法频次P3，P3的具体计算过程如下：
图2所示的文法图中，第一乘积值P31＝1*2＝2，第二乘积值P32＝2*1*30*1*1＝60，第三乘积值P33＝P32*200＝60*200＝12000。
图3所示的文法图中，第一乘积值P31’＝1*2＝2，第二乘积值P32’＝2*1*1＝2，第三乘积值P33’＝P32’*1000＝2*1000＝2000。
则“我想听”、“歌曲”槽位的槽值固定时的2阶文法频次P3＝P33+P33’＝12000+2000＝14000。
其他N阶文法频次的计算过程可参照上述实施例，这里不再赘述。
由此，该方法可根据每个文法图中文法的权重、槽位的权重和槽值的权重，依次计算每个文法图对应的第一乘积值、第二乘积值、第三乘积值，然后计算不同文法图对应的第三乘积值的和值，得到N阶的文法频次。
在上述任一实施例的基础上，步骤S105中根据文法频次进行语言模型的训练，可包括对超过预设的频次阈值的文法频次进行降频处理，根据降频处理后的文法频次进行语言模型的训练。
可以理解的是，超过预设的频次阈值的文法频次的频次过高，不利于语言模型的训练，则可对超过预设的频次阈值的文法频次进行降频处理，根据降频处理后的文法频次进行语言模型的训练，使得语言模型的训练效果更好。
其中，频次阈值可根据实际情况进行设置，例如可设置为30万。
可选的，对超过预设的频次阈值的文法频次进行降频处理，可包括采用平滑算法对对超过预设的频次阈值的文法频次进行降频处理。其中，平滑算法包括但不限于加法平滑算法、古德-图灵估计法、Katz平滑方法等，这里不做过多限定。
在上述任一实施例的基础上，可根据多个垂类的样本文本，分别对语言模型进行训练，以提高语言模型在不同垂类上的识别性能。其中，垂类包括但不限于音乐、天气、新闻、地图、智能家居、搜索等，这里不做过多限定。
图6是根据本申请第一实施例的语言模型的训练装置的框图。
如图6所示，本申请实施例的语言模型的训练装置600，包括：第一获取模块601、生成模块602、第二获取模块603、计算模块604和训练模块605。
第一获取模块601，用于获取样本文本对应的文法和所述文法中每个槽位对应的槽值。
生成模块602，用于根据所述文法和所述文法中所述槽位对应的槽值生成所述文法对应的文法图。
第二获取模块603，用于根据所述样本文本获取所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重。
计算模块604，用于根据所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重计算不同阶的文法频次。
训练模块605，用于根据所述文法频次进行语言模型的训练。
在本申请的一个实施例中，所述第一获取模块601，还用于：获取从所述样本文本中人工抽取的所述文法和所述文法中每个槽位对应的槽值。
在本申请的一个实施例中，所述第二获取模块603，还用于：获取根据所述样本文本人工标注的所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重。
在本申请的一个实施例中，所述生成模块602，包括：连接单元，用于将所述文法中的所述槽位依次有向连接；以及扩展单元，用于根据所述槽位对应的槽值对所述槽位进行扩展，得到所述文法对应的文法图。
在本申请的一个实施例中，所述计算模块604，还用于：根据至少一个所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重，计算相邻N个所述槽位的槽值固定时的文法频次，得到所述N阶的文法频次。
在本申请的一个实施例中，所述计算模块604，包括：第一计算单元，用于计算所述文法图中所述相邻N个所述槽位的槽值对应的权重的乘积，得到第一乘积值；第二计算单元，用于计算所述第一乘积值与所述文法图中除所述相邻N个所述槽位之外的其他槽位的权重的乘积，得到第二乘积值；第三计算单元，用于计算所述第二乘积值和所述文法图中所述文法的权重的乘积，得到第三乘积值；以及第四计算单元，用于计算不同文法图对应的所述第三乘积值的和值，得到所述N阶的文法频次。
在本申请的一个实施例中，所述训练模块605，包括：降频单元，用于对超过预设的频次阈值的所述文法频次进行降频处理；以及训练单元，用于根据降频处理后的所述文法频次进行语言模型的训练。
综上，根据本申请实施例的语言模型的训练装置，能够直接根据文法图中文法的权重、槽位的权重和槽值的权重计算不同阶的文法频次，相较于相关技术中根据样本文本扩展得到语料，然后统计语料得到文法频次的方案，不需要进行语料扩展就可获取文法频次，解决了相关技术中语料数量过多的问题，文法频次的计算效率更高，能够显著降低模型训练过程中耗费的存储资源和计算资源，还能显著缩短语言模型的训练时长，且语言模型的性能也较好。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图7所示，是根据本申请实施例的语言模型的训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，智能语音交互设备、个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器701可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的语言模型的训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的语言模型的训练方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的语言模型的训练方法对应的程序指令/模块(例如，附图6所示的第一获取模块601、生成模块602、第二获取模块603、计算模块604和训练模块605)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的语言模型的训练方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据语言模型的训练方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至语言模型的训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
语言模型的训练方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生与语言模型的训练方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
本申请提供了一种计算机程序产品，包括计算机程序，其中，计算机程序被处理器执行时实现上述实施例所述的语言模型的训练方法。
根据本申请实施例的技术方案，能够直接根据文法图中文法的权重、槽位的权重和槽值的权重计算不同阶的文法频次，相较于相关技术中根据样本文本扩展得到语料，然后统计语料得到文法频次的方案，不需要进行语料扩展就可获取文法频次，解决了相关技术中语料数量过多的问题，文法频次的计算效率更高，能够显著降低模型训练过程中耗费的存储资源和计算资源，还能显著缩短语言模型的训练时长，且语言模型的性能也较好。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (12)
1.一种语言模型的训练方法，包括：
获取样本文本对应的文法和所述文法中每个槽位对应的槽值；
根据所述文法和所述文法中所述槽位对应的槽值生成所述文法对应的文法图；
根据所述样本文本获取所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重；
根据至少一个所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重，计算相邻N个所述槽位的槽值固定时的文法频次，得到N阶的文法频次；以及
根据所述文法频次进行语言模型的训练；
其中，所述根据至少一个所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重，计算相邻N个所述槽位的槽值固定时的文法频次，得到所述N阶的文法频次，包括：
计算所述文法图中所述相邻N个所述槽位的槽值对应的权重的乘积，得到第一乘积值；
计算所述第一乘积值与所述文法图中除所述相邻N个所述槽位之外的其他槽位的权重的乘积，得到第二乘积值；
计算所述第二乘积值和所述文法图中所述文法的权重的乘积，得到第三乘积值；以及
计算不同文法图对应的所述第三乘积值的和值，得到所述N阶的文法频次。
2.根据权利要求1所述的训练方法，所述获取样本文本对应的文法和所述文法中每个槽位对应的槽值，包括：
获取从所述样本文本中人工抽取的所述文法和所述文法中每个槽位对应的槽值。
3.根据权利要求1所述的训练方法，所述根据所述样本文本获取所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重，包括：
获取根据所述样本文本人工标注的所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重。
4. 根据权利要求1所述的训练方法，所述根据所述文法和所述文法中所述槽位对应的槽值生成所述文法对应的文法图，包括：
将所述文法中的所述槽位依次有向连接；以及
根据所述槽位对应的槽值对所述槽位进行扩展，得到所述文法对应的文法图。
5. 根据权利要求1所述的训练方法，所述根据所述文法频次进行语言模型的训练，包括：
对超过预设的频次阈值的所述文法频次进行降频处理；以及
根据降频处理后的所述文法频次进行语言模型的训练。
6.一种语言模型的训练装置，包括：
第一获取模块，用于获取样本文本对应的文法和所述文法中每个槽位对应的槽值；
生成模块，用于根据所述文法和所述文法中所述槽位对应的槽值生成所述文法对应的文法图；
第二获取模块，用于根据所述样本文本获取所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重；
计算模块，用于根据至少一个所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重，计算相邻N个所述槽位的槽值固定时的文法频次，得到N阶的文法频次；以及
训练模块，用于根据所述文法频次进行语言模型的训练；
其中，所述计算模块，包括：
第一计算单元，用于计算所述文法图中所述相邻N个所述槽位的槽值对应的权重的乘积，得到第一乘积值；
第二计算单元，用于计算所述第一乘积值与所述文法图中除所述相邻N个所述槽位之外的其他槽位的权重的乘积，得到第二乘积值；
第三计算单元，用于计算所述第二乘积值和所述文法图中所述文法的权重的乘积，得到第三乘积值；以及
第四计算单元，用于计算不同文法图对应的所述第三乘积值的和值，得到所述N阶的文法频次。
7.根据权利要求6所述的训练装置，所述第一获取模块，还用于：
获取从所述样本文本中人工抽取的所述文法和所述文法中每个槽位对应的槽值。
8.根据权利要求6所述的训练装置，所述第二获取模块，还用于：
获取根据所述样本文本人工标注的所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重。
9. 根据权利要求6所述的训练装置，所述生成模块，包括：
连接单元，用于将所述文法中的所述槽位依次有向连接；以及
扩展单元，用于根据所述槽位对应的槽值对所述槽位进行扩展，得到所述文法对应的文法图。
10. 根据权利要求6所述的训练装置，所述训练模块，包括：
降频单元，用于对超过预设的频次阈值的所述文法频次进行降频处理；以及
训练单元，用于根据降频处理后的所述文法频次进行语言模型的训练。
11. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的语言模型的训练方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的语言模型的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011165514.4A CN112466291B (zh) | 2020-10-27 | 2020-10-27 | 语言模型的训练方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011165514.4A CN112466291B (zh) | 2020-10-27 | 2020-10-27 | 语言模型的训练方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112466291A CN112466291A (zh) | 2021-03-09 |
| CN112466291B true CN112466291B (zh) | 2023-05-05 |
Family
ID=74835995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011165514.4A Active CN112466291B (zh) | 2020-10-27 | 2020-10-27 | 语言模型的训练方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112466291B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111737994A (zh) * | 2020-05-29 | 2020-10-02 | 北京百度网讯科技有限公司 | 基于语言模型获取词向量的方法、装置、设备及存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040085162A1 (en) * | 2000-11-29 | 2004-05-06 | Rajeev Agarwal | Method and apparatus for providing a mixed-initiative dialog between a user and a machine |
| US7603267B2 (en) * | 2003-05-01 | 2009-10-13 | Microsoft Corporation | Rules-based grammar for slots and statistical model for preterminals in natural language understanding system |
| US7529657B2 (en) * | 2004-09-24 | 2009-05-05 | Microsoft Corporation | Configurable parameters for grammar authoring for speech recognition and natural language understanding |
| CN102623010B (zh) * | 2012-02-29 | 2015-09-02 | 北京百度网讯科技有限公司 | 一种建立语言模型的方法、语音识别的方法及其装置 |
| US8909536B2 (en) * | 2012-04-20 | 2014-12-09 | Nuance Communications, Inc. | Methods and systems for speech-enabling a human-to-machine interface |
| US20160371250A1 (en) * | 2015-06-16 | 2016-12-22 | Microsoft Technology Licensing, Llc | Text suggestion using a predictive grammar model |
| CN105161095B (zh) * | 2015-07-29 | 2017-03-22 | 百度在线网络技术（北京）有限公司 | 语音识别语法树的构图方法及装置 |
| US10460040B2 (en) * | 2016-06-27 | 2019-10-29 | Facebook, Inc. | Language model using reverse translations |
| CN109087645B (zh) * | 2018-10-24 | 2021-04-30 | 科大讯飞股份有限公司 | 一种解码网络生成方法、装置、设备及可读存储介质 |
| CN111382253B (zh) * | 2020-03-02 | 2022-07-15 | 思必驰科技股份有限公司 | 语义解析方法及语义解析器 |
-
2020
- 2020-10-27 CN CN202011165514.4A patent/CN112466291B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111737994A (zh) * | 2020-05-29 | 2020-10-02 | 北京百度网讯科技有限公司 | 基于语言模型获取词向量的方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112466291A (zh) | 2021-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11928432B2 (en) | Multi-modal pre-training model acquisition method, electronic device and storage medium | |
| KR20210148873A (ko) | 언어 모델의 트레이닝 방법, 장치, 전자 기기, 판독 가능 저장 매체 및 컴퓨터 프로그램 | |
| CN112507735B (zh) | 机器翻译模型的训练方法、装置和电子设备 | |
| KR20210106397A (ko) | 음성 전환 방법, 장치 및 전자 기기 | |
| CN111680517B (zh) | 用于训练模型的方法、装置、设备以及存储介质 | |
| CN111488740B (zh) | 一种因果关系的判别方法、装置、电子设备及存储介质 | |
| CN111709234B (zh) | 文本处理模型的训练方法、装置及电子设备 | |
| CN111967569B (zh) | 神经网络结构的生成方法、装置、存储介质及电子设备 | |
| CN111078878B (zh) | 文本处理方法、装置、设备及计算机可读存储介质 | |
| CN110674314A (zh) | 语句识别方法及装置 | |
| CN111709252B (zh) | 基于预训练的语义模型的模型改进方法及装置 | |
| CN111461343B (zh) | 模型参数更新方法及其相关设备 | |
| CN114841274B (zh) | 语言模型的训练方法、装置、电子设备和存储介质 | |
| CN112015468B (zh) | 一种接口文档处理方法、装置、电子设备以及存储介质 | |
| CN105468440B (zh) | 一种信息展示方法、装置及电子设备 | |
| CN112650844B (zh) | 对话状态的追踪方法、装置、电子设备和存储介质 | |
| CN113312451B (zh) | 文本标签确定方法和装置 | |
| CN112652304B (zh) | 智能设备的语音交互方法、装置和电子设备 | |
| CN112580723B (zh) | 多模型融合方法、装置、电子设备和存储介质 | |
| CN111680599B (zh) | 人脸识别模型处理方法、装置、设备和存储介质 | |
| CN111160552B (zh) | 新闻信息的推荐处理方法、装置、设备和计算机存储介质 | |
| US20210098012A1 (en) | Voice Skill Recommendation Method, Apparatus, Device and Storage Medium | |
| CN112466291B (zh) | 语言模型的训练方法、装置和电子设备 | |
| CN112466292B (zh) | 语言模型的训练方法、装置和电子设备 | |
| CN112329434B (zh) | 文本信息识别方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |