CN101454826A - 语音识别词典/语言模型制作系统、方法、程序，以及语音识别系统 - Google Patents

语音识别词典/语言模型制作系统、方法、程序，以及语音识别系统 Download PDF

Info

Publication number
CN101454826A
CN101454826A CNA200780019786XA CN200780019786A CN101454826A CN 101454826 A CN101454826 A CN 101454826A CN A200780019786X A CNA200780019786X A CN A200780019786XA CN 200780019786 A CN200780019786 A CN 200780019786A CN 101454826 A CN101454826 A CN 101454826A
Authority
CN
China
Prior art keywords
word
classification
speech recognition
language model
dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA200780019786XA
Other languages
English (en)
Inventor
三木清一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN101454826A publication Critical patent/CN101454826A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0631—Creating reference templates; Clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

提供语音识别词典/语言模型制作系统，其能够制作词典和语言模型，所述词典和语言模型在添加没有出现在学习文本中的词语时，通过根据要添加的词语选择按词语类别词语生成模型学习方法，能认出不在学习文本中出现的词语。语音识别词典/语言模型制作系统(100)包括：语言模型估计设备(111)，其对于附加词语的每个词语类别从按词语类别学习方法知识存储区(109)中选择估计方法信息，所述附加词语是没有出现在学习文本(101)中的词语，并根据所选择的估计方法信息对于每个类别制作作为附加词语的词语生成模型的附加词语生成模型；数据库结合设备(112)，其将附加词语添加到词典(105)、将附加词语生成模型添加到按词语类别词语生成模型数据库(107)中。

Description

语音识别词典/语言模型制作系统、方法、程序，以及语音识别系统
技术领域
本发明涉及语音识别词典/语言模型制作系统、语音识别词典/语言模型制作方法以及语音词典/语言模型制作程序。更具体地，本发明涉及能够利用统计语言模型将不出现在语言模型学习文本中的词语准确地添加到语音识别设备中的词典以及语言模型中的语音词典/语言模型制作系统、语音词典/语言模型制作方法以及语音词典/语言模型制作程序。
背景技术
专利文献1描述了相关的语言模型学习方法的示例。如图9所示，对制作语言模型的部分而言，相关的语言模型学习设备500包括词典512、类别链接模型存储器513、类别内词语生成模型存储器514、分类文本转换设备521、类别链接模型估计设备522、分类应用规则抽取设备523、按类别词语生成模型估计设备524、类别链接模型学习文本数据530、类别内词语生成模型学习文本数据531、类别定义描述532以及按类别学习方法知识533。
具有这种构成的前述语言模型学习设备500操作如下。即，对于该相关的设备，语言模型被配置为类别链接模型以及类别内词语生成模型，所述两者基于语言模型学习文本数据而单独习得。类别链接模型显示词语在其中被抽象化的类别是如何链接的。类别内词语生成模型显示如何从类别生成词语。
在获取类别链接模型时，分类文本转换设备521参考类别定义描述532来将类别链接模型学习文本数据530转换为类别串。类别链接模型估计设备522使用所述类别串来估计类别链接模型，并将其存储在类别链接模型存储器513中。
另外，对于类别内词语生成模型，分类规则抽取设备523对类别内词语生成模型学习文本数据531参考类别定义描述532对类别和词语进行匹配。按类别词语生成模型估计设备524参考按类别学习方法知识533确定对于每个类别的学习方法，根据需要参考类别和词语的匹配估计类别内词语生成模型，并存储到类别内词语生成模型存储器514中。
通过使用在按类别学习方法知识533中根据类别预先准备的学习方法，能够获得高精度的语言模型。
专利文献1：特开2003-263187号公报
发明内容
第一个问题是，无法在相关联的语言模型学习方法中将没有出现在学习文本中的词语适当地在词典或语言模型中反映出来。
其理由是，因为没有能够在相关联的语言模型学习方法中将没有出现在学习文本中的词语适当地在词典或语言模型中反映出来的设备。
第二个问题是，无法在相关联的语言模型学习方法中必须根据每个类别使用最适合的按类别学习方法。
其理由是，因为在相关联的语言模型学习方法中需要预先确定按类别学习方法，而无法根据对各个类别实际观测到的数据而改变学习方法。
本发明的目的是提供语音识别词典/语言模型制作系统，其能够制作词典和语言模型，当添加不在学习文本中出现的词语以制作语音识别词典和语言模型时，所述语言模型通过根据要添加的词语选择按词语类别词语生成模型学习方法能够认出不在学习文本中出现的词语。
本发明的另一个目的是提供语音识别词典/语言模型制作系统，其能够通过根据学习文本中属于每一类别的词语的分布而自动选择适合的按词语类别词语生成模型学习方法来制作语言模型。
本发明的第一语音识别词典/语言模型制作系统包括：语言模型估计设备，其对于附加词语的每个词语类别从按词语类别学习方法知识存储区中选择估计方法信息，所述附加词语是没有出现在学习文本中的词语，并根据所选择的估计方法信息对于每个类别制作作为附加词语的词语生成模型的附加词语生成模型；数据库结合设备，其将附加词语添加到词典、将附加词语生成模型添加到按词语类别词语生成模型数据库中。
根据上述语音识别词典/语言模型制作系统，语言模型估计设备对于附加词语的每个词语类别从按词语类别学习方法存储区中选择适当的语言模型估计方法，并基于此制作附加词语的语言模型。数据库结合设备将附加词语及附加词语的语言模型分别添加到词典和按词语类别词语生成模型数据库中。
因此，能够利用对应于词语的类别的适当的学习方法将没有出现在学习文本中的附加词语添加到词典中和语言模型中。
本发明的第二语音识别词典/语言模型制作系统包括：语言模型估计设备，其从包含在学习方法知识数据库中的分布形式信息中选择与每个词语类别的分布形式最佳匹配的分布形式信息，并根据所选择的分布形式信息，对于每个类别制作作为没有出现在学习文本中的词语的附加词语的生成模型的附加词语生成模型；数据库结合设备，其分别将附加词语添加到词典并且将附加词语生成模型添加到按词语类别词语生成模型数据库。
根据上述第二语音识别词典/语言模型制作系统，语言模型估计设备基于在学习文本中的词语的分布，对用于估计附加词语的语言模型的分布形式进行选择。
因此，能够通过根据属于各个类别的词语在学习文本中的分布自动选择适当的分布形式来制作语言模型。
本发明的语音识别词典/语言模型制作方法通过以下方式制作语音识别词典和语言模型：从对于每个词语类别预先存储了描述词语生成模型的估计方法的估计方法信息的按词语类别学习方法知识存储区中，对于没有出现在学习文本中的附加词语的每个词语类别选择估计方法信息；根据所选择的估计方法信息对于每个类别制作作为附加词语的词语生成模型的附加词语生成模型；分别将附加词语添加到词典并且将附加词语生成模型添加到按词语类别词语生成模型数据库。
上述语音识别词典/语言模型制作方法：从按词语类别学习方法知识存储区中，对于附加词语的每个词语类别选择适当的语言模型估计方法；基于此制作附加词语的语言模型；分别将附加词语和附加词语的语言模型添加到词典和按词语类别词语生成模型数据库中。
因此，能够利用对应于该词语的类别的适当的学习方法将没有出现在学习文本中的附加词语添加到词典和语言模型中。
本发明的第二语音识别词典/语言模型制作方法通过以下方式制作语音识别词典和语言模型：从预先存储了显示词语的生成概率的分布形式的多个分布形式信息的学习方法知识数据库中，选择与学习文本中包含的每个词语类别的分布形式最佳匹配的分布形式信息；根据所选择的分布形式信息，对于每个类别制作没有出现在学习文本中的附加词语的生成模型；分别将附加词语添加到词典并且将附加词语生成模型添加到按词语类别词语生成模型数据库。
利用上述第二语音识别词典/语言模型制作方法，语言模型估计设备基于学习文本中的词语的分布，选择用于估计附加词语的语言模型的分布形式。
因此，能够通过根据属于各个类别的词语在学习文本中的分布自动选择适当的分布形式来制作语言模型。
本发明的语音识别系统使用利用上述第一或第二语音识别词典/语言模型制作方法所制作的语音识别词典/按词语类别词语生成模型数据库，进行语音识别。
根据上述语音识别系统，在词典和按词语类别词语生成模型数据库中，包含有利用对应于类别的适当的学习方法所习得的附加词语和其生成模型。
因此，与使用仅从学习文本生成的词典和语言模型的情况相比，能够提高语音识别的精度。
本发明的语音识别词典/语言模型制作程序使得计算机执行以下处理：从对于每个词语类别预先存储了描述词语生成模型的估计方法的估计方法信息的按词语类别学习方法知识存储区中，对于没有出现在学习文本中的附加词语的每个词语类别选择估计方法信息的处理；根据所选择的估计方法信息，对于每个类别制作作为附加词语的词语生成模型的附加词语生成模型的处理；分别将附加词语添加到词典并且将附加词语生成模型添加到按词语类别词语生成模型数据库的处理。
上述语音识别词典/语言模型制作程序：从按词语类别学习方法知识存储区中，对于附加词语的每个词语类别选择适当的语言模型估计方法；基于此制作附加词语的语言模型；分别将附加词语和附加词语的语言模型添加到词典和按词语类别词语生成模型数据库中。
本发明的第二语音识别词典/语言模型制作程序使得计算机执行以下处理：从预先存储了显示词语的生成概率的分布形式的多个分布形式信息的学习方法知识数据库中，选择与学习文本中包含的每个词语类别的分布形式最佳匹配的分布形式信息的处理；根据所选择的分布形式信息，对于每个类别制作作为没有出现在学习文本中的词语的附加词语的生成模型的附加词语生成模型的处理；分别将附加词语添加到词典并且将附加词语生成模型添加到按词语类别词语生成模型数据库的处理。
利用上述第二语音识别词典/语言模型制作程序，语言模型估计设备基于在学习文本中的词语的分布，对用于估计附加词语的语言模型的分布形式进行选择。
因此，能够通过根据属于各个类别的词语在学习文本中的分布自动选择适当的分布形式来制作语言模型。
本发明被设计为：从按词语类别学习方法存储区中，对于附加词语的每个词语类别选择适当的语言模型估计方法；基于此制作附加词语的语言模型；分别将附加词语和附加词语的语言模型添加到词典和按词语类别词语生成模型数据库中。
因此，能够利用对应于词语的类别的适当的学习方法将没有出现在学习文本中的附加词语添加到词典中和语言模型中。
附图说明
图1是作为本发明的第一实施例的语言模型制作系统的框图。
图2是示出语言模型制作系统的词语类别链接模型数据库的制作动作的流程图。
图3是示出语言模型制作系统的词典的制作动作的流程图。
图4是示出语言模型制作系统的按词语类别词语生成模型数据库的制作动作的流程图。
图5是示出语言模型制作系统的包含附加词语的词典的制作动作的流程图。
图6是示出语言模型制作系统的与附加词语有关的语言模型的制作动作的流程图。
图7是作为本发明的第二实施例的语言模型制作系统的框图。
图8是作为本发明的第三实施例的语音识别系统的框图。
图9是说明相关联的语言模型制作方法的图。
具体实施方式
以下参考附图就作为本发明的一种实施例的语言模型制作系统100的构成与操作做出说明。
参考图1，语言模型制作系统100(语音识别词典/语言模型制作系统的示例)例如被配置为个人计算机，包括：词语类别链接模型估计设备102、按词语类别词语生成模型估计设备103、按附加词语类别词语生成模型估计设备111(语言模型估计设备的示例)、按附加词语类别词语生成模型数据库结合设备112(数据库结合设备的示例)。
语言模型制作系统100包括例如硬盘装置等的存储装置，在该存储装置中存储有：学习文本101、词语类别定义描述104、词语类别链接模型数据库106、按词语类别词语生成模型数据库107、词典105、附加词语列表108、按词语类别学习方法知识109(按词语类别学习方法知识存储区的示例)以及附加词语类别定义描述110。词语类别链接模型数据库106和按词语类别词语生成模型数据库107构成语言模型113。
这些装置大致如以下所示运行。
学习文本101是预先准备的文本数据。
附加词语列表108是预先准备的词语列表。
词典105是能够从学习文本101以及附加词语108获得的作为语音识别对象的词语的列表。
词语列表定义描述104是预先准备的数据，描述了文本中出现的词语所属的词语类别。可以将例如词典(普通的日文词典或类似物)中所描述的名词和专有名词，或感叹词的词性作为词语类别来使用，也可以将通过使用词法分析工具而赋予文本的词性作为词语类别来使用，也可以使用根据使基于词语的出现概率的熵最小化等的基准，使用自动聚类等的统计方法从数据中自动获得的词语类别。
附加词语类别定义描述110是预先准备的数据，在附加词语类别定义描述110中，描述了附加词语列表108中显示的词语所属的词语类别。对于所述词语类别，可以使用与词语类别定义描述104同样地基于词性或统计方法的词语类别。
词语类别链接模型估计设备102将学习文本101根据词语类别定义描述104转换为类别串以估计词语类别的链接概率。对于词语类别链接模型，可以使用例如N元(N-gram)模型。对于概率的估计方法，可以使用例如可能性估计。在这种情况下，如下述表达式1所示进行估计(N元中的N＝2时)。
(表达式1)
P ( c n | c n - 1 ) = Count ( c n - 1 , c n ) Count ( c n - 1 )
在此，“c”表示词语类别并且“Count(计数)”表示括号中的事件被观察到的次数。
词语类别链接模型数据库106存储词语类别链接模型估计设备102所获取的词语类别链接模型的具体数据库。
按词语类别生成模型估计设备103将学习文本转换为词语类别和属于所述词语类别的词语，并根据按词语类别学习方法知识109利用对应于各个类别的估计方法估计按词语类别生成模型数据库。例如在基于学习文本进行可能性估计的情况下，可以使用下述的表达式2。
(表达式2)
P ( w | c ) = Count ( w ) Count ( c )
根据附加词语类别定义描述110，按附加词语类别词语生成模型估计设备111对包括在附加词语列表108中的每个词语确定词语类别，并根据按词语类别学习方法知识109对附加词语的按附加词语类别词语生成模型数据库(附件词语生成模型的示例)以对应于每个类别的估计方法进行估计。例如，如果附加词语列表中包含的词语的分布是均匀分布，在所述估计方法中可以使用以下的表达式3。
(表达式3)
按附加词语类别词语生成模型数据库结合设备112通过将与学习文本中出现的词语有关的按词语类别词语生成模型数据库和与附加词语有关的按词语类别词语生成模型数据库结合，生成新的按词语类别词语生成模型数据库，并存储到按词语类别词语生成模型数据库107中。作为结合的方式，将例如均匀分布1/N给予附加词语，可以通过使用如下的表达式4来将其与学习文本中出现的词语结合。
(表达式4)
P ′ ( w | c ) = 1 N + P ( w | c ) Σ w ∈ c { 1 N + P ( w ′ | c ) }
在此，右边的P(w|c)是附加词语w也在学习文本中出现时能够从与学习文本中出现的词语有关的按词语类别词语生成模型数据库获得的概率。
在将先前分布Cw给予附加词语的情况下，例如可以通过使用以下的表达式5来结合。
(表达式5)
P ′ ( w | c ) = max { C w , P ( w | c ) } Σ w ∈ c { max { C w , P ( w ′ | c ) } }
上述的各种设备通过以下来实现：语言模型制作系统的CPU(中央处理单元)执行计算机程序来控制语言模型制作系统100的硬件。
接着，参考图2至图5的流程图，就语言模型制作系统100的全部操作进行详细的说明。
首先，以图2至图5对基于学习文本的词典105以及语言模型113的制作方法作出说明。
图2是说明词语类别链接模型数据库106的制作方法的流程图。
词语类别链接模型估计设备102首先将学习文本转换为词语串(图2的步骤A1)。其次，将词语串根据词语类别定义描述104转换为类别串(步骤A2)。进一步，通过例如使用来自类别串的例如N元的频度的可能性估计，就学习辞典中包含的词语估计词语类别链接模型数据库(步骤A3)。
图3是说明词典105的制作方法的流程图。
首先，将学习文本101转换为词语串(图3的步骤B1)。其次，从词语串抽取不同的词语(相同的词语不抽出)(图3的步骤B2)。进一步，通过列出不同的词语形成词典105(图3的步骤B3)。
图4是说明对于学习文本101中出现的词语制作按词语类别生成模型数据库的方法的流程图。
按词语类别生成模型估计设备103首先将学习文本101转换为词语串(图4的步骤C1)。其次，根据词语类别定义描述110将词语串转换为类别串(图4的步骤C2)。进一步，对于学习文本中出现的每个类别，从按词语类别学习方法知识109选择按词语类别词语生成模型估计方法(图4的步骤C3)。进一步，对于各个词语，基于所选择的按词语类别词语生成模型估计方法对按词语类别词语生成模型数据库进行估计(图4的步骤C4)。
接着，参考图5和图6，就基于附加词语列表的词典105及语言模型113的制作方法和基于学习文本101的语言模型的结合作出说明。
图5是显示包含附加词语的词典105的制作方法的流程图。
按附加词语类别词语生成模型估计设备111在包含在附加词语列表中的附加词语中将从学习文本101中获得的词典105内没有包含的词语抽出(图5的步骤D1)。将所抽出的词语附加地登录到词典105中(图5的步骤D2)。
图6是显示有关附加词语的语言模型的制作方法的流程图。
按附加词语类别词语生成模型估计设备111首先根据附加词语类别定义描述110将附加词语列表转换为类别列表(图6的步骤E1)。其次，从按词语类别学习方法知识109中选择适合各个类别的按词语类别词语生成模型估计方法(图6的步骤E2)。进一步，对于各个词语，基于所选择的按词语类别词语生成模型估计方法对有关附加词语的按词语类别词语生成模型数据库(附件词语生成模型)进行估计(图6的步骤E3)。
按附加词语类别词语生成模型数据库结合设备112，对于各个词语，将与在学习文本中出现的词语有关的按词语类别词语生成模型数据库和与附加词语有关的按词语类别词语生成模型进行结合(图6的步骤E4)。
以上就附加词语列表108的一种情况进行了说明，有多个附加词语列表108的情况也是一样的。但是，在附加词语列表是多个的情况下，可以考虑逐个地添加和一起添加这两种情况以及其组合。例如当按时间顺序添加词语时则出现前者的情况，例如，一个是旧的而另一个是新的。例如当从多个领域添加词语时则出现后者的情况。这些情况的唯一不同点是作为现有的词典和语言模型包括附加词语(逐个添加)的部分或者不包括附加词语(一起添加)的部分。本示例实施例可以处理该两种情况。
在前者的情况下，将包括以前的附加词语的语言模型和与新添加的词语有关的语言模型结合。在该情况下，新的附加词语中的也包括在以前的附加词语中的词语与其它附加词语相比更被强调而被添加，通过对相同的词语重复添加而具有强调的效果。但是，对每个类别的分布本身的反映却被削弱了。
在后者的情况下，对于只从学习文本学习的语言模型，添加包括以前的附加词语的所有的附加词语。在该情况下，与逐个添加不同，由于删除了到当前为止所添加的历史，类别所拥有的性质能够直接反映到附加词语中。但是失去了词语添加的历史。
接着，就语言模型制作系统100的效果进行说明。
本发明的实施例被构建为：具有附加词语列表108，对于每个类别选择适当的按词语类别词语生成模型估计方法，以估计按词语类别词语生成模型数据库，和与学习文本101中出现的词语有关的按词语类别词语生成模型相结合，并且将附加词语列表108添加到词典105中。因此，能够对没有出现在学习文本101中的词语制作适当的语言模型113，并制作包括附加词语的词典105。
接着，参考附图对本发明的第二实施例的语言模型制作系统200进行详细说明。语言模型制作系统200与图1的语言模型制作系统100有很多共同的部分，因此在图中共同部分使用与图1相同的标记并省略了说明。
参考图7，与图1的语言模型制作系统100相比省去了按词语类别学习方法知识109，增加了按词语类别词语生成分布计算设备201、按词语类别学习方法知识选择设备202、学习方法知识数据库203。
这些设备的每一个大致如下操作。
按词语类别词语生成分布计算设备201根据预定的方法，从将学习文本转换而成的类别和属于该类别的词语计算按词语类别词语生成分布。例如，基于在文本中的频度通过可能性估计来计算按词语类别词语生成分布。
在学习方法知识数据库203中存储有预定的分布形式。对于分布形式，存在例如均匀分布和指数分布、预定的在先分布等。
按词语类别学习方法知识选择设备202，将从学习文本获得的各个类别的按词语类别词语生成分布和存储在学习方法知识数据库203中的预定的分布形式进行比较，并选择适合每个类别的分布形式。例如，在可以从学习文本中获得诸如专有名词的接近均匀分布的分布形式的情况下，对于专有名词的类别可以自动选择均匀分布。
与第一实施例不同，按词语类别词语生成模型估计设备103和按附加词语类别词语生成模型估计设备111将按词语类别学习方法知识选择设备202所确定的分布形式用作按词语类别词语生成模型估计方法。
接着，对语言模型制作系统200的效果进行说明。
语言模型制作系统200被构建为：基于从学习文本101计算的各个类别的按词语类别词语生成分布，从存储在学习方法知识数据库203中的预定的分布形式中选择各个类别的按词语类别词语生成模型估计方法，并且将附加词语列表108添加到词典中。因此，能够选择与学习文本101中的出现相对应的适当的按词语类别词语生成模型估计方法，能够制作将其适用到附加词语的语言模型113，并且能够制作包含附加词语的词典105。
接着，对作为本发明的第三实施例的语音识别系统300进行说明。
图8是语音识别系统300的功能框图。
语音识别系统300包括：输入部分301，其例如配置有麦克风，以输入用户发出的声音；语音识别部分302，其识别从输入部分301输入的语音并将它转换为识别结果，诸如字符串；以及输出部分303，其例如配置有显示单元，用于输出识别结果。
语音识别部分302通过参考由按词语类别链接模型数据库106以及按词语类别词语生成模型数据库107构成的语言模型113和词典105进行语音识别。
语言模型113和词典105由图1的语言模型制作系统100或图7的语言模型制作系统200制作而成。
接着，对本发明的其它的实施例进行逐个说明。
在上述语音识别词典/语言模型制作系统中，估计方法可以包括词语的生成概率的分布是均匀分布的估计方法。
这使得能够通过对于诸如地名和人名等已知为均匀分布的词语类别，应用基于均匀分布的估计方法来制作高精确度的生成模型。
在上述语音识别词典/语言模型制作系统中，估计方法可以包括词语的生成概率的分布是预定的在先分布的估计方法。
在上述语音识别词典/语言模型制作系统中，分布形式信息可以包括均匀分布。
这使得能够通过对于诸如地名和人名等已知为均匀分布的词语类别，应用基于均匀分布的估计方法来制作高精确度的生成模型。
在上述语音识别词典/语言模型制作系统中，分布形式信息可以包括预定的在先分布。
在上述语音识别词典/语言模型制作系统中，可以将词性作为词语类别来使用。
这使得能够期望：根据诸如地名或人名的内容信息或者诸如动词或形容词的语法信息对词语进行分类，并且其每一个都具有特定的分布。而且，能够通过使用现有资源诸如通用日语词典等以低成本进行分类。
在上述语音识别词典/语言模型制作系统中，可以将通过对词语进行词法分析而获得的词性作为词语类别使用。
在上述语音识别词典/语言模型制作系统中，可以将通过词语的自动聚类获得的类别作为词语类别使用。
这使得与使用词性的情况相比，能够更好地反映在实际的文本中的出现情况中内含的词语的特征。
在上述语音识别词典/语言模型制作方法中，估计方法可以包括词语的生成概率的分布是均匀分布的估计方法。
这使得能够通过对于诸如地名和人名等已知为均匀分布的词语类别，应用基于均匀分布的估计方法来制作高精确度的生成模型。
在上述语音识别词典/语言模型制作方法中，估计方法可以包括词语的生成概率的分布是预定的在先分布的估计方法。
在上述语音识别词典/语言模型制作方法中，分布形式信息可以包括均匀分布。
这使得能够通过对于诸如地名和人名等已知为均匀分布的词语类别，应用基于均匀分布的估计方法来制作高精确度的生成模型。
在上述语音识别词典/语言模型制作方法中，分布形式信息可以包括预定的在先分布。
在上述语音识别词典/语言模型制作方法中，可以将词性作为词语类别来使用。
这使得能够期望：根据诸如地名或人名的内容信息或者诸如动词或形容词的语法信息对词语进行分类，并且其每一个都具有特定的分布。而且，能够通过使用现有资源诸如通用日语词典等以低成本进行分类。
在上述语音识别词典/语言模型制作方法中，可以将通过对词语进行词法分析而获得的词性作为词语类别使用。
在上述语音识别词典/语言模型制作方法中，可以将通过词语的自动聚类获得的类别作为词语类别使用。
这使得与使用词性的情况相比，能够更好地反映在实际的文本中的出现情况中内含的词语的特征。
在上述语音识别词典/语言模型制作程序中，估计方法可以包括词语的生成概率的分布是均匀分布的估计方法。
这使得能够通过对于诸如地名和人名等已知为均匀分布的词语类别，应用基于均匀分布的估计方法来制作高精确度的生成模型。
在上述语音识别词典/语言模型制作程序中，估计方法可以包括词语的生成概率的分布是预定的在先分布的估计方法。
在上述语音识别词典/语言模型制作程序中，分布形式信息可以包括均匀分布。
这使得能够通过对于诸如地名和人名等已知为均匀分布的词语类别，应用基于均匀分布的估计方法来制作高精确度的生成模型。
在上述语音识别词典/语言模型制作程序中，分布形式信息可以包括预定的在先分布。
在上述语音识别词典/语言模型制作程序中，可以将词性作为词语类别来使用。
这使得能够期望：根据诸如地名或人名的内容信息或者诸如动词或形容词的语法信息对词语进行分类，并且其每一个都具有特定的分布。而且，能够通过使用现有资源诸如通用日语词典等以低成本进行分类。
在上述语音识别词典/语言模型制作程序中，可以将通过对词语进行词法分析而获得的词性作为词语类别使用。
在上述语音识别词典/语言模型制作程序中，可以将通过词语的自动聚类获得的类别作为词语类别使用。
这使得与使用词性的情况相比，能够更好地反映在实际的文本中的出现情况中内含的词语的特征。
虽然基于实施例描述了本发明，本发明并不限于上述实施例。在所附的权利要求的内容的精神和范围内，可以有各种改变和修改。
权利要求书(按照条约第19条的修改)
1.一种语音识别词典/语言模型制作系统，包括语音识别词典、按词语类别词语生成模型数据库以及预先存储了显示词语的生成概率的分布形式的多个分布形式信息的学习方法知识数据库，其中该系统包括：
语言模型估计设备，其从包含在所述学习方法知识数据库中的所述分布形式信息中选择与包含在学习文本中的词语的所述每个类别的分布形式最佳匹配的所述分布形式信息，并根据所选择的分布形式信息，对于所述每个类别制作作为没有出现在学习文本中的词语的附加词语的生成模型的附加词语生成模型；
数据库结合设备，其分别将所述附加词语添加到所述词典并且将所述附加词语生成模型添加到按词语类别词语生成模型数据库。
2.如权利要求1所述的语音识别词典/语言模型制作系统，其特征在于，所述分布形式信息包括均匀分布。
3.如权利要求1或2所述的语音识别词典/语言模型制作系统，其特征在于，所述分布形式信息包括预定的在先分布。
4.如权利要求1所述的语音识别词典/语言模型制作系统，其特征在于，将词性作为所述词语类别使用。
5.如权利要求1所述的语音识别词典/语言模型制作系统，其特征在于，将通过对词语进行词法分析而获得的词性作为所述词语类别使用。
6.如权利要求1所述的语音识别词典/语言模型制作系统，其特征在于，将通过词语的自动聚类获得的类别作为所述词语类别使用。
7.一种语音识别词典/语言模型制作方法，所述方法：
从预先存储了显示词语的生成概率的分布形式的多个分布形式信息的学习方法知识数据库中，选择与包含在学习文本中的词语的所述每个类别的分布形式最佳匹配的所述分布形式信息，
根据所选择的分布形式信息，对于所述每个类别制作作为没有出现在学习文本中的词语的附加词语的生成模型的附加词语生成模型；
分别将所述附加词语添加到所述词典并且将所述附加词语生成模型添加到按词语类别词语生成模型数据库。
8.如权利要求7所述的语音识别词典/语言模型制作方法，其特征在于，所述分布形式信息包括均匀分布。
9.如权利要求7或8所述的语音识别词典/语言模型制作方法，其特征在于，所述分布形式信息包括预定的在先分布。
10.如权利要求7所述的语音识别词典/语言模型制作方法，其特征在于，将词性作为所述词语类别使用。
11.如权利要求7所述的语音识别词典/语言模型制作方法，其特征在于，将通过对词语进行词法分析而获得的词性作为所述词语类别使用。
12.如权利要求7所述的语音识别词典/语言模型制作方法，其特征在于，将通过词语的自动聚类获得的类别作为所述词语类别使用。
13.一种语音识别系统，所述语音识别系统使用权利要求7至权利要求12的任一个所述的方法所制作的语音识别词典和按词语类别词语生成模型数据库。
14.一种语音识别词典/语言模型制作程序，用于使得计算机执行以下处理：
从预先存储了显示词语的生成概率的分布形式的多个分布形式信息的学习方法知识数据库中，选择与学习文本中包含的所述每个词语类别的分布形式最佳匹配的所述分布形式信息的处理；
根据所选择的分布形式信息，对于所述每个类别制作作为没有出现在学习文本中的词语的附加词语的生成模型的附加词语生成模型的处理；
分别将所述附加词语添加到所述词典并且将所述附加词语生成模型添加到按词语类别词语生成模型数据库的处理。
15.如权利要求14所述的语音识别词典/语言模型制作程序，其特征在于，所述分布形式信息包括均匀分布。
16.如权利要求14或15所述的语音识别词典/语言模型制作程序，其特征在于，所述分布形式信息包括预定的在先分布。
17.如权利要求14所述的语音识别词典/语言模型制作程序，其特征在于，将词性作为所述词语类别使用。
18.如权利要求14所述的语音识别词典/语言模型制作程序，其特征在于，将通过对词语进行词法分析而获得的词性作为所述词语类别使用。
19.如权利要求14所述的语音识别词典/语言模型制作程序，其特征在于，将通过词语的自动聚类获得的类别作为所述词语类别使用。

Claims (28)

1.一种语音识别词典/语言模型制作系统，包括语音识别词典、按词语类别词语生成模型数据库以及按词语类别学习方法知识存储区，在所述按词语类别学习方法知识存储区中对于每个词语类别预先存储了描述词语生成模型的估计方法的估计方法信息，其中该系统包括：
语言模型估计设备，其对于附加词语的所述每个词语类别从所述按词语类别学习方法知识存储区中选择所述估计方法信息，所述附加词语是没有出现在学习文本中的词语，并根据所选择的估计方法信息对于所述每个类别制作作为所述附加词语的词语生成模型的附加词语生成模型；
数据库结合设备，其分别将所述附加词语添加到所述词典并且将所述附加词语生成模型添加到按词语类别词语生成模型数据库。
2.如权利要求1所述的语音识别词典/语言模型制作系统，其特征在于，所述估计方法包括词语的生成概率的分布是均匀分布的估计方法。
3.如权利要求1或2所述的语音识别词典/语言模型制作系统，其特征在于，所述估计方法包括词语的生成概率的分布是预定的在先分布的估计方法。
4.一种语音识别词典/语言模型制作系统，包括语音识别词典、按词语类别词语生成模型数据库以及预先存储了显示词语的生成概率的分布形式的多个分布形式信息的学习方法知识数据库，其中该系统包括：
语言模型估计设备，其从包含在所述学习方法知识数据库中的所述分布形式信息中选择与包含在学习文本中的词语的所述每个类别的分布形式最佳匹配的所述分布形式信息，并根据所选择的分布形式信息，对于所述每个类别制作作为没有出现在学习文本中的词语的附加词语的生成模型的附加词语生成模型；
数据库结合设备，其分别将所述附加词语添加到所述词典并且将所述附加词语生成模型添加到按词语类别词语生成模型数据库。
5.如权利要求4所述的语音识别词典/语言模型制作系统，其特征在于，所述分布形式信息包括均匀分布。
6.如权利要求4或5所述的语音识别词典/语言模型制作系统，其特征在于，所述分布形式信息包括预定的在先分布。
7.如权利要求1或4所述的语音识别词典/语言模型制作系统，其特征在于，将词性作为所述词语类别使用。
8.如权利要求1或4所述的语音识别词典/语言模型制作系统，其特征在于，将通过对词语进行词法分析而获得的词性作为所述词语类别使用。
9.如权利要求1或4所述的语音识别词典/语言模型制作系统，其特征在于，将通过词语的自动聚类获得的类别作为所述词语类别使用。
10.一种语音识别词典/语言模型制作方法，其：
从对于每个词语类别预先存储了描述词语生成模型的估计方法的估计方法信息的按词语类别学习方法知识存储区中，对于没有出现在学习文本中的词语的附加词语的所述每个词语类别选择所述估计方法信息；
根据所选择的估计方法信息对于所述每个类别制作作为所述附加词语的词语生成模型的附加词语生成模型；
分别将所述附加词语添加到所述词典中并且将所述附加词语生成模型添加到按词语类别词语生成模型数据库中。
11.如权利要求10所述的语音识别词典/语言模型制作方法，其特征在于，所述估计方法包括词语的生成概率的分布是均匀分布的估计方法。
12.如权利要求10或11所述的语音识别词典/语言模型制作方法，其特征在于，所述估计方法包括词语的生成概率的分布是预定的在先分布的估计方法。
13.一种语音识别词典/语言模型制作方法，所述方法：
从预先存储了显示词语的生成概率的分布形式的多个分布形式信息的学习方法知识数据库中，选择与包含在学习文本中的词语的所述每个类别的分布形式最佳匹配的所述分布形式信息；
根据所选择的分布形式信息，对于所述每个类别制作作为没有出现在学习文本中的词语的附加词语的生成模型的附加词语生成模型；
分别将所述附加词语添加到所述词典并且将所述附加词语生成模型添加到按词语类别词语生成模型数据库。
14.如权利要求13所述的语音识别词典/语言模型制作方法，其特征在于，所述分布形式信息包括均匀分布。
15.如权利要求13或14所述的语音识别词典/语言模型制作方法，其特征在于，所述分布形式信息包括预定的在先分布。
16.如权利要求10或13所述的语音识别词典/语言模型制作方法，其特征在于，将词性作为所述词语类别使用。
17.如权利要求10或13所述的语音识别词典/语言模型制作方法，其特征在于，将通过对词语进行词法分析而获得的词性作为所述词语类别使用。
18.如权利要求10或13所述的语音识别词典/语言模型制作方法，其特征在于，将通过词语的自动聚类获得的类别作为所述词语类别使用。
19.一种语音识别系统，所述语音识别系统使用权利要求10至权利要求18的任一个所述的方法所制作的语音识别词典和按词语类别词语生成模型数据库。
20.一种语音识别词典/语言模型制作程序，用于使得计算机执行以下处理：
从对于每个词语类别预先存储了描述词语生成模型的估计方法的估计方法信息的按词语类别学习方法知识存储区中，对于作为没有出现在学习文本中的词语的附加词语的每个所述词语类别选择估计方法信息的处理；
根据所选择的估计方法信息，对于所述每个类别制作作为所述附加词语的词语生成模型的附加词语生成模型的处理；
分别将所述附加词语添加到所述词典并且将所述附加词语生成模型添加到按词语类别词语生成模型数据库的处理。
21.如权利要求20所述的语音识别词典/语言模型制作程序，其特征在于，所述估计方法包括词语的生成概率的分布是均匀分布的估计方法。
22.如权利要求20或21所述的语音识别词典/语言模型制作程序，其特征在于，所述估计方法包括词语的生成概率的分布是预定的在先分布的估计方法。
23.一种语音识别词典/语言模型制作程序，用于使得计算机执行以下处理：
从预先存储了显示词语的生成概率的分布形式的多个分布形式信息的学习方法知识数据库中，选择与学习文本中包含的所述每个词语类别的分布形式最佳匹配的所述分布形式信息的处理；
根据所选择的分布形式信息，对于所述每个类别制作作为没有出现在学习文本中的词语的附加词语的生成模型的附加词语生成模型的处理；
分别将所述附加词语添加到所述词典并且将所述附加词语生成模型添加到按词语类别词语生成模型数据库的处理。
24.如权利要求23所述的语音识别词典/语言模型制作程序，其特征在于，所述分布形式信息包括均匀分布。
25.如权利要求23或24所述的语音识别词典/语言模型制作程序，其特征在于，所述分布形式信息包括预定的在先分布。
26.如权利要求20或23所述的语音识别词典/语言模型制作程序，其特征在于，将词性作为所述词语类别使用。
27.如权利要求20或23所述的语音识别词典/语言模型制作程序，其特征在于，将通过对词语进行词法分析而获得的词性作为所述词语类别使用。
28.如权利要求20或23所述的语音识别词典/语言模型制作程序，其特征在于，将通过词语的自动聚类获得的类别作为所述词语类别使用。
CNA200780019786XA 2006-05-31 2007-05-17 语音识别词典/语言模型制作系统、方法、程序，以及语音识别系统 Pending CN101454826A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006150961 2006-05-31
JP150961/2006 2006-05-31

Publications (1)

Publication Number Publication Date
CN101454826A true CN101454826A (zh) 2009-06-10

Family

ID=38778394

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA200780019786XA Pending CN101454826A (zh) 2006-05-31 2007-05-17 语音识别词典/语言模型制作系统、方法、程序，以及语音识别系统

Country Status (4)

Country Link
US (1) US20090106023A1 (zh)
JP (1) JPWO2007138875A1 (zh)
CN (1) CN101454826A (zh)
WO (1) WO2007138875A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578464A (zh) * 2013-10-18 2014-02-12 威盛电子股份有限公司 语言模型的建立方法、语音辨识方法及电子装置
CN104246872A (zh) * 2012-04-16 2014-12-24 株式会社电装 声音识别装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4897737B2 (ja) * 2008-05-12 2012-03-14 日本電信電話株式会社 単語追加装置、単語追加方法、そのプログラム
JP2010224194A (ja) * 2009-03-23 2010-10-07 Sony Corp 音声認識装置及び音声認識方法、言語モデル生成装置及び言語モデル生成方法、並びにコンピューター・プログラム
US8719023B2 (en) * 2010-05-21 2014-05-06 Sony Computer Entertainment Inc. Robustness to environmental changes of a context dependent speech recognizer
JP5824829B2 (ja) * 2011-03-15 2015-12-02 富士通株式会社 音声認識装置、音声認識方法及び音声認識プログラム
JP5480844B2 (ja) * 2011-05-16 2014-04-23 日本電信電話株式会社 単語追加装置、単語追加方法及びそのプログラム
US8938391B2 (en) 2011-06-12 2015-01-20 Microsoft Corporation Dynamically adding personalization features to language models for voice search
CN102789779A (zh) * 2012-07-12 2012-11-21 广东外语外贸大学 一种语音识别系统及其识别方法
CN103971677B (zh) * 2013-02-01 2015-08-12 腾讯科技（深圳）有限公司 一种声学语言模型训练方法和装置
US9437189B2 (en) 2014-05-29 2016-09-06 Google Inc. Generating language models
JP6485941B2 (ja) * 2014-07-18 2019-03-20 日本放送協会 言語モデル生成装置、およびそのプログラム、ならびに音声認識装置
JP6930179B2 (ja) * 2017-03-30 2021-09-01 富士通株式会社 学習装置、学習方法及び学習プログラム
US20220277731A1 (en) * 2019-08-06 2022-09-01 Ntt Docomo, Inc. Word weight calculation system

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62235990A (ja) * 1986-04-05 1987-10-16 シャープ株式会社 音声認識方式
JP2964507B2 (ja) * 1989-12-12 1999-10-18 松下電器産業株式会社 Ｈｍｍ装置
IT1279171B1 (it) * 1995-03-17 1997-12-04 Ist Trentino Di Cultura Sistema di riconoscimento di parlato continuo
US5835888A (en) * 1996-06-10 1998-11-10 International Business Machines Corporation Statistical language model for inflected languages
JP3264626B2 (ja) * 1996-08-21 2002-03-11 松下電器産業株式会社 ベクトル量子化装置
US6092038A (en) * 1998-02-05 2000-07-18 International Business Machines Corporation System and method for providing lossless compression of n-gram language models in a real-time decoder
JP3004254B2 (ja) * 1998-06-12 2000-01-31 株式会社エイ・ティ・アール音声翻訳通信研究所 統計的シーケンスモデル生成装置、統計的言語モデル生成装置及び音声認識装置
US7120582B1 (en) * 1999-09-07 2006-10-10 Dragon Systems, Inc. Expanding an effective vocabulary of a speech recognition system
JP3907880B2 (ja) * 1999-09-22 2007-04-18 日本放送協会 連続音声認識装置および記録媒体
JP3415585B2 (ja) * 1999-12-17 2003-06-09 株式会社国際電気通信基礎技術研究所 統計的言語モデル生成装置、音声認識装置及び情報検索処理装置
JP2002207495A (ja) * 2001-01-11 2002-07-26 Nippon Hoso Kyokai <Nhk> 遠隔単語追加登録システムおよび方法
JP2002358095A (ja) * 2001-03-30 2002-12-13 Sony Corp 音声処理装置および音声処理方法、並びにプログラムおよび記録媒体
JP2003186494A (ja) * 2001-12-17 2003-07-04 Sony Corp 音声認識装置および方法、記録媒体、並びにプログラム
JP2003263187A (ja) * 2002-03-07 2003-09-19 Mitsubishi Electric Corp 言語モデル学習方法、その装置、そのプログラムおよびそのプログラムの記録媒体ならびに言語モデル学習を用いた音声認識方法、その装置、そのプログラムおよびそのプログラムの記録媒体
JP3696231B2 (ja) * 2002-10-08 2005-09-14 松下電器産業株式会社 言語モデル生成蓄積装置、音声認識装置、言語モデル生成方法および音声認識方法
AU2003277587A1 (en) * 2002-11-11 2004-06-03 Matsushita Electric Industrial Co., Ltd. Speech recognition dictionary creation device and speech recognition device
US7603267B2 (en) * 2003-05-01 2009-10-13 Microsoft Corporation Rules-based grammar for slots and statistical model for preterminals in natural language understanding system
US7478038B2 (en) * 2004-03-31 2009-01-13 Microsoft Corporation Language model adaptation using semantic supervision
JP4705023B2 (ja) * 2004-06-10 2011-06-22 パナソニック株式会社 音声認識装置、音声認識方法、及びプログラム
US20080091427A1 (en) * 2006-10-11 2008-04-17 Nokia Corporation Hierarchical word indexes used for efficient N-gram storage
JP4446313B2 (ja) * 2006-12-15 2010-04-07 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声処理用の辞書に登録するべき新規語句を検索する技術

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104246872A (zh) * 2012-04-16 2014-12-24 株式会社电装 声音识别装置
CN104246872B (zh) * 2012-04-16 2017-07-28 株式会社电装 声音识别装置
CN103578464A (zh) * 2013-10-18 2014-02-12 威盛电子股份有限公司 语言模型的建立方法、语音辨识方法及电子装置

Also Published As

Publication number Publication date
WO2007138875A1 (ja) 2007-12-06
JPWO2007138875A1 (ja) 2009-10-01
US20090106023A1 (en) 2009-04-23

Similar Documents

Publication Publication Date Title
CN101454826A (zh) 语音识别词典/语言模型制作系统、方法、程序，以及语音识别系统
CN107818781B (zh) 智能交互方法、设备及存储介质
WO2022078346A1 (zh) 文本意图识别方法、装置、电子设备及存储介质
US20200251091A1 (en) System and method for defining dialog intents and building zero-shot intent recognition models
JP5831951B2 (ja) 対話システム、冗長メッセージ排除方法および冗長メッセージ排除プログラム
KR20210158344A (ko) 디지털 어시스턴트를 위한 머신 러닝 시스템
CN110795913B (zh) 一种文本编码方法、装置、存储介质及终端
CN107423278B (zh) 评价要素的识别方法、装置及系统
JP6815899B2 (ja) 出力文生成装置、出力文生成方法および出力文生成プログラム
CN112328761B (zh) 一种意图标签设置方法、装置、计算机设备及存储介质
CN105408890A (zh) 基于声音输入执行与列表数据有关的操作
KR101677859B1 (ko) 지식 베이스를 이용하는 시스템 응답 생성 방법 및 이를 수행하는 장치
CN102246169A (zh) 为搜索词分配指标权重
CN112199512B (zh) 面向科技服务的事理图谱构建方法、装置、设备及存储介质
CN104881399A (zh) 基于概率软逻辑psl的事件识别方法和系统
CN111400340A (zh) 一种自然语言处理方法、装置、计算机设备和存储介质
CN111354354B (zh) 一种基于语义识别的训练方法、训练装置及终端设备
CN110929509B (zh) 一种基于louvain社区发现算法的领域事件触发词聚类方法
CN110347696B (zh) 数据转换方法、装置、计算机设备以及存储介质
US20060085414A1 (en) System and methods for reference resolution
CN113569578B (zh) 一种用户意图识别方法、装置和计算机设备
CN115455142A (zh) 文本检索方法、计算机设备和存储介质
CN115510188A (zh) 文本关键词关联方法、装置、设备及存储介质
CN114242047A (zh) 一种语音处理方法、装置、电子设备及存储介质
Chen et al. Learning semantic hierarchy with distributed representations for unsupervised spoken language understanding.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1130936

Country of ref document: HK

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090610

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1130936

Country of ref document: HK