CN108829894B - 口语词识别和语义识别方法及其装置 - Google Patents

口语词识别和语义识别方法及其装置 Download PDF

Info

Publication number
CN108829894B
CN108829894B CN201810714177.6A CN201810714177A CN108829894B CN 108829894 B CN108829894 B CN 108829894B CN 201810714177 A CN201810714177 A CN 201810714177A CN 108829894 B CN108829894 B CN 108829894B
Authority
CN
China
Prior art keywords
word
sentence
spoken
words
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810714177.6A
Other languages
English (en)
Other versions
CN108829894A (zh
Inventor
李剑风
姜文斌
孙珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810714177.6A priority Critical patent/CN108829894B/zh
Publication of CN108829894A publication Critical patent/CN108829894A/zh
Application granted granted Critical
Publication of CN108829894B publication Critical patent/CN108829894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Abstract

本发明提出一种口语词识别和语义识别方法及其装置，其中，口语词识别方法包括：获取经过训练的第一语言模型，其中，第一语言模型已预先学习得到口语词在语句中的上下文特征，对待识别语句中的各单词进行上下文特征提取，采用经过训练的第一语言模型，对各单词的上下文特征进行识别，确定各单词是否为口语词，提高了询问问题中口语化词的识别准确率。通过训练完成的第一语言模型，对待识别语句中的各单词进行上下文特征提取，并进行上下文特征识别，从而确定各单词是否为口语词，提高了口语词识别的效率和准确度，解决现有技术中用户询问问题中口语化词语较多，识别效率和准确度较低的技术问题。

Description

口语词识别和语义识别方法及其装置
技术领域
本发明涉及智能应答技术领域，尤其涉及一种口语词识别和语义识别方法及其装置。
背景技术
通用对话系统作为人工智能的重要场景，得到越来越多的关注，通用对话系统通过人机交互以一问一答的方式为用户智能提供信息服务。在智能问答中，人们随口说出的询问问题常常使用口语化词，而对话系统常常因为询问问题中含有口语化词而导致识别难度增大，随着输入问题的语音占比越来越大，识别询问问题中的口语化词成为了一个有实用价值的问题。
现有技术中，通过一个简单的通用口语词表，将询问问题中属于口语词表中的词进行忽略，但通用口语词表中的词一般无法识别丰富的口语词汇，使得询问问题中的口语词无法全部识别出，识别准确度较低。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种口语词识别方法，通过训练完成的第一语言模型，对待识别语句中的各单词进行上下文特征提取，并进行上下文特征识别，从而确定各单词是否为口语词，提高了口语词识别的效率和准确度。
本发明的第二个目的在于提出一种口语词识别装置。
本发明的第三个目的在于提出一种语义识别方法。
本发明的第四个目的在于提出一种语义识别装置。
本发明的第五个目的在于提出一种计算机设备。
本发明的第六个目的在于提出一种非临时性计算机可读存储介质。
本发明的第七个目的在于提出一种计算机程序产品。
为达上述目的，本发明第一方面实施例提出了一种口语词识别方法，包括：
获取经过训练的第一语言模型，其中，所述第一语言模型已预先学习得到口语词在语句中的上下文特征；
对待识别语句中的各单词进行上下文特征提取；
采用经过训练的第一语言模型，对所述各单词的上下文特征进行识别，确定各单词是否为口语词。
为达上述目的，本发明第二方面实施例提出了一种口语词识别装置，包括：
获取模块，用于获取经过训练的第一语言模型，其中，所述第一语言模型已预先学习得到口语词在语句中的上下文特征；
提取模块，用于对待识别语句中的各单词进行上下文特征提取；
识别模块，用于采用经过训练的第一语言模型，对所述各单词的上下文特征进行识别，确定各单词是否为口语词。
为达上述目的，本发明第三方面实施例提出了一种语义识别方法，该方法包括：
获取经过训练的第一语言模型，其中，所述第一语言模型已预先学习得到口语词在语句中的上下文特征；
对待识别语句中的各单词进行上下文特征提取；
采用经过训练的第一语言模型，对所述各单词的上下文特征进行识别，确定各单词是否为口语词；
在所述待识别语句中，对确定为口语词的单词进行删除，得到目标语句；
对所述目标语句进行语义识别。
为达上述目的，本发明第四方面实施例提出了一种语义识别装置，所述装置包括：
获取模块，用于获取经过训练的第一语言模型，其中，所述第一语言模型已预先学习得到口语词在语句中的上下文特征；
提取模块，用于对待识别语句中的各单词进行上下文特征提取；
口语识别模块，用于采用经过训练的第一语言模型，对所述各单词的上下文特征进行识别，确定各单词是否为口语词；
删除模块，用于在所述待识别语句中，对确定为口语词的单词进行删除，得到目标语句；
语义识别模块，用于对所述目标语句进行语义识别。
为达上述目的，本发明第五方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如第一方面所述的口语词识别方法，或者，如第二方面所述的语义识别方法。
为达上述目的，本发明第六方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如第一方面所述的口语词识别方法，或者，如第二方面所述的语义识别方法。
为达上述目的，本发明第七方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，实现如第一方面所述的口语词识别方法，或者，如第二方面所述的语义识别方法。
本发明实施例所提供的技术方案可以包含如下的有益效果：
获取经过训练的第一语言模型，其中，第一语言模型已预先学习得到口语词在语句中的上下文特征，对待识别语句中的各单词进行上下文特征提取，采用经过训练的第一语言模型，对各单词的上下文特征进行识别，确定各单词是否为口语词，提高了询问问题中口语词识别的效率和准确率。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种口语词识别方法的流程示意图；
图2为本发明实施例所提供的第一语言模型训练方法的流程示意图；
图3为本发明实施例所提供的另一种口语词识别方法的流程示意图；
图4为本发明实施例所提供的又一种口语词识别方法的流程示意图；
图5为本发明实施例所提供的语义识别方法的流程示意图；
图6为本发明实施例提供的一种口语词识别装置的结构示意图；
图7为本发明实施例所提供的一种语义识别装置的结构示意图；以及
图8示出了适于用来实现本申请实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的口语词识别和语义识别方法及其装置。
图1为本发明实施例所提供的一种口语词识别方法的流程示意图。
如图1所示，该方法包括以下步骤：
步骤101，获取经过训练的第一语言模型，其中，第一语言模型已预先学习得到口语词在语句中的上下文特征。
其中，第一语言模型用于对待识别语句中的口语词进行识别。
步骤102，对待识别语句中的各单词进行上下文特征提取。
其中，上下文特征包括对应单词的词特征，以及对应单词的上文和下文特征，还可以包括对应单词与上文和下文组合得到的短语的词特征。对于如何提取上下文特征的方法，在下述实施例中会详细说明。
步骤103，采用经过训练的第一语言模型，对各单词的上下文特征进行识别，确定各单词是否为口语词。
具体地，经过训练的第一语言模型已经学习得到了口语词在语句中的上下文特征，结合口语词的上下文特征对待识别语句进行口语词识别，符合单词通过上下文特征更能准确识别该单词的语义的特性，用于口语词识别，也提高了待识别语句中口语词识别的准确性。
本发明实施例的口语词识别方法中，获取经过训练的第一语言模型，其中，第一语言模型已预先学习得到口语词在语句中的上下文特征，对待识别语句中的各单词进行上下文特征提取，采用经过训练的第一语言模型，对各单词的上下文特征进行识别，确定各单词是否为口语词，提高了询问问题中口语词识别的效率和准确率。
上一实施例中描述了，采用训练完成的第一语言模型对待识别语句进行口语词识别，即在采用第一语言模型之前，需要先完成第一语言模型的训练，为此，本实施例中对于第一语言模型的训练方法进行详细说明，基于上一实施例，本实施例中提供了一种第一语言模型训练方法的可能的实现方式，图2为本发明实施例所提供的第一语言模型训练方法的流程示意图，如图2所示，步骤101之前，还可以包括如下步骤：
步骤201，获取第一语言模型训练的训练集。
其中，训练集中包含多个训练语句，各训练语句具有标注，标注包含多个元素，用于指示对应单词删除后是否改变相应训练语句的语义。
具体地，根据待识别语句所属的应用领域，选择相应领域的多个语句，对多个语句分别进行分词处理，并采用语言模型对多个语句进行语义识别，为了和第一语言模型进行区分，此处将用于对多个语句进行语义识别的模型称为第二语言模型，将通过第二语言模型识别后，语义识别正确的语句作为训练语句，以生成训练集。
进一步，将训练集中的各训练语句中的部分单词进行删除，并将删除了部分单词后的各训练语句，再采用第二语言模型进行语义识别，并确定在第二语言模型可正确识别的情况下，各训练语句中至少包含的目标单词，采用具有第一取值的元素，对目标单词进行标注，其中，第一取值用于指示删除后改变相应训练语句的语义，也就是说用第一取值的元素进行标注后的目标单词，若删除后，会改变训练语句的语义。同时，采用具有第二取值的元素，对各训练语句中除目标单词以外的部分进行标注，其中，第二取值用于指示删除后不改变相应训练语句的语义，也就是说采用第二取值的元素标注的训练语句中的部分，删除后不会改变相应训练语句的语义。
例如，训练语句记为q，q进行分词处理中表示为：w1，w2，w3···wn，其中，wn代表训练语句中的单词，n代表训练语句q中单词的个数，n为自然数，将训练语句中识别得到的目标单词，也就是删除后会改变相应训练语句的语义的单词，为不能删除的单词，利用第一取值的元素标注，例如，用数字“1”标注，将训练语句中除目标单词以外的部分用第二取值的元素标注，例如，用数字“0”标注。
步骤202，对各训练语句中的单词进行上下文特征提取。
其中，上下文特征包括对应单词的词特征，以及对应单词的上文和下文特征，还可以包括对应单词与上文和下文组合得到的短语的词特征。
具体地，对各训练语句中的每一个单词进行上下文特征提取，以训练语句q为例，作为一种可能的实现方式，对训练语句中的单词wi进行上下文特征提取，取单词wi的前2个单词wi-2和wi-1的特征作为上文特征，取单词的后2个单词wi+1和wi+2的特征作为下文特征，同时，将5个单词wi-2、wi-1、wi、wi+1和wi+2，进行2个至4个单词任意组合得到的短语的特征作为上下文特征，例如，可以将任意2个单词的组合得到的2词短语的特征，或者是任意3个单词的组合得到的3词短语的特征作为上下文特征等。通过对训练语句中的单词提取多个上下文特征，可以防止该单词被误识别为口语词，提高了单词识别的准确度。
步骤203，采用各训练语句中单词的上下文特征，以及对应训练语句的标注中对应单词的元素，对第一语言模型进行训练。
具体地，利用每一个训练语句对第一语言模型进行训练，第一语言模型输出的结果为训练语句中每一个单词的分值，根据预设阈值分值，单词的分值高于预设阈值分值，则说明该单词不为口语，低于预设阈值分值，则说明该单词为口语，根据第一语言模型输出的结果进行模型参数调整，当第一语言模型输出的结果和预设结果之间的损失函数值最低时，则第一语言模型训练完成。
本发明实施例的第一语言模型的训练方法中，获取训练集，并对各训练语句中的单词进行上下文特征提取，并采用各训练语句中单词的上下文特征，以及对应训练语句的标注中对应该单词的元素，对第一语言模型进行训练，通过训练语句中单词的上下文特征，对模型进行训练，使得口语词的判断更加准确，同时，通过训练语句的标注中对应的单词的元素，能加快模型收敛的速度，提高模型的训练速度和训练效果。
上述实施例中描述了，采用经过训练的第一语言模型，对训练语句进行特征提取，识别训练语句中的各单词是否为口语词，而在通过第一语言模型进行识别之前，还可以先对训练语句中的单词进行前后缀口语词的匹配，并将训练语句中匹配到的单词删除，这是因为口语中前缀口语词和后缀口语词占比较多，如前缀的“麻烦您”，后缀的语气词“吧”等，由于位置的限定，这些词的歧义较小，可以直接去除，而通过预处理减小了第一语言模型处理的数据量，可以提高后续第一语言模型识别的效率，为此，本申请实施例还提出了另一种口语词识别方法的可能的实现方式，图3为本发明实施例所提供的另一种口语词识别方法的流程示意图，如图3所示，基于上述示例，步骤102之前，还可以包括如下步骤：
步骤301，根据各口语词在句首出现的频率，生成前缀口语词，根据各口语词在句尾出现的频率，生成后缀口语词。
具体地，在日常对话中，人们经常在句首或者句尾加入口语词，因此，从日常对话中，收集大量文本，统计前缀口语词和后缀口语词能够在不依赖模型的情况下识别口语词，提高识别效率，减小运算量。具体来说，可以对收集的文本进行分词处理，统计各口语词在句首出现的频率，一般句首出现的词多为修饰语，起修饰限定或补充说明的作用，视为可删除的口语词，根据在句首出现频率较高的口语词生成前缀口语词表。并统计各口语词在句尾出现的频率，一般句尾出现的词多为语气词等，也起修饰限定或补充说明的作用，可视为可删除的口语词，根据在句尾出现频率较高的口语词生成后缀口语词表，做为一种可能的实现方式，还可以通过人工介入，对统计得到的前缀口语词表和后缀口语词表进行人工筛选，去掉其中的非口语词，以及在句首句尾起限定作用，但是会引起歧义的词，生成最终的前缀口语词和后缀口语词。
例如，最终可以生成前缀口语词，“我想”、“请问”、“我想麻烦您”等等，后缀口语词“吧”、“啊”、“好不好”、“行不行啊”等等。
需要说明的是，前缀口语词和后缀口语词中均包含口语单词和口语短语，口语短语中包含的单词数为2-5个。
步骤302，采用预设的前缀口语词和预设的后缀口语词，与待识别语句中各单词进行匹配，从待识别语句中，删除与前缀口语词和后缀口语词中至少一个匹配中的单词。
具体地，将待识别语句从句首开始的第1个单词至第n个单词，组成第一短语，其中，n取值为大于或等于2，且小于或等于5的自然数，将从句首开始的第1个单词和第一短语，分别与前缀口语词进行匹配。将待识别语句从句尾开始的第1个单词至第m个单词，组成第二短语，其中，m取值为大于或等于2，且小于或等于5的自然数，将从句尾开始的第1个单词和第二短语，分别与后缀口语词进行匹配。将待识别语句中，与前缀口语词和后缀口语词中匹配的单词删除。通过将待识别语句与预设的前后缀口语进行匹配，并将待识别语句中匹配到的单词进行删除，以减少后续第一语言模型的数据处理量，提高了处理效率。
本发明实施例的口语词识别方法中，通过大量的语料统计得到前缀口语和后缀口语，将待识别语句与预设的前后缀口语进行匹配，并将待识别语句中匹配到的单词进行删除，实现简单，可减少后续第一语言模型的数据处理量，提高处理效率。
基于上述实施例，本发明实施例还提出了一种口语词识别方法的可能的实现方式，图4为本发明实施例所提供的又一种口语词识别方法的流程示意图，如图4所示，基于图1对应的实施例，步骤103之后，还可以包括如下步骤：
步骤401，在待识别语句中，为确定为口语词的单词进行删除，得到目标语句。
步骤402，采用第二语言模型，对目标语句进行语义识别。
具体地，根据第一语言模型的识别结果，确定了待识别语句中的各单词是否为口语词，并将确定为口语词的单词进行删除，得到目标语句，采用第二语言模型，对目标语句进行语义识别，获取待识别语句的语义。
本发明实施例的口语词识别方法中，通过第一语言模型对待识别语句进行口语词识别，并将识别到的口语词进行删除，得到目标语句，并采用第二语言模型进行目标语义的语义识别，提高了待识别语句的语义识别的准确度。
基于上述实施例，本发明还提出了一种语义识别方法，图5为本发明实施例所提供的语义识别方法的流程示意图，如图5所示，该方法包括如下步骤：
步骤501，获取经过训练的第一语言模型，其中，第一语言模型已预先学习得到口语词在语句中的上下文特征。
步骤502，对待识别语句中的各单词进行上下文特征提取。
步骤503，采用经过训练的第一语言模型，对各单词的上下文特征进行识别，确定各单词是否为口语词。
上述步骤501-503可以参照图1对应实施例中的步骤101-103中的描述，原理相同，此处不再赘述。
步骤504，在待识别语句中，为确定为口语词的单词进行删除，得到目标语句。
步骤505，对目标语句进行语义识别。
需要说明的是，本实施例中对目标语句进行语义识别的模型可以为图4对应实施例中的第二语言模型，也可以为其它的语言模型，本实施例中对目标语句进行语义识别的语言模型不进行限定。
本发明实施例的语义识别方法中，通过第一语言模型对待识别语句进行口语词识别，并将识别到的口语词进行删除，得到目标语句，并对目标语义进行语义识别，提高了待识别语句的语义识别的准确度。
为了实现上述实施例，本发明还提出一种口语词识别装置。
图6为本发明实施例提供的一种口语词识别装置的结构示意图。
如图6所示，该装置包括：获取模块61、提取模块62和识别模块63。
获取模块61，用于获取经过训练的第一语言模型，其中，第一语言模型已预先学习得到口语词在语句中的上下文特征。
提取模块62，用于对待识别语句中的各单词进行上下文特征提取。
识别模块63，用于采用经过训练的第一语言模型，对各单词的上下文特征进行识别，确定各单词是否为口语词。
进一步，作为一种可能的实现方式，该装置还包括：训练模块，用于：
获取训练集；其中，训练集中包含多个训练语句，各训练语句具有标注，标注包含多个元素，用于指示对应单词删除后是否改变相应训练语句的语义；
对各训练语句中的单词进行上下文特征提取；
采用各训练语句中单词的上下文特征，以及对应训练语句的标注中对应单词的元素，对第一语言模型进行训练。
作为一种可能的实现方式，该装置还包括：语义识别模块。
语义识别模块，用于在待识别语句中，对确定为口语词的单词进行删除，得到目标语句；采用第二语言模型，对目标语句进行语义识别。
作为一种可能的实现方式，训练模块，还可以用于：
采用第二语言模型对多个语句进行语义识别；
将语义识别正确的语句作为训练语句，以生成训练集。
作为一种可能的实现方式，训练模块，还可以用于：
删除各训练语句中的部分单词；
将删除部分单词后的各训练语句，采用第二语言模型进行语义识别；
确定第二语言模型语义识别正确情况下，各训练语句至少包含的目标单词；
采用具有第一取值的元素，对目标单词进行标注；其中，第一取值用于指示删除后改变相应训练语句的语义；
采用具有第二取值的元素，对各训练语句中除目标单词以外的部分进行标注；其中，第二取值用于指示删除后不改变相应训练语句的语义。
作为一种可能的实现方式，该装置还可以包括：匹配删除模块。
匹配删除模块，用于采用预设的前缀口语词和预设的后缀口语词，与待识别语句中各单词进行匹配，从待识别语句中，删除与前缀口语词和后缀口语词中至少一个匹配中的单词。
作为一种可能的实现方式，匹配删除模块，还可以用于：
将待识别语句从句首开始的第1个单词至第n个单词，组成第一短语；n取值为大于或等于2，且小于或等于5的自然数；将从句首开始的第1个单词和所述第一短语，分别与前缀口语词进行匹配；
将待识别语句从句尾开始的第1个单词至第m个单词，组成第二短语；m取值为大于或等于2，且小于或等于5的自然数；将从句尾开始的第1个单词和所述第二短语，分别与后缀口语词进行匹配。
作为一种可能的实现方式，该装置还可以包括：生成模块，用于：
根据各口语词在句首出现的频率，生成前缀口语词；
根据各口语词在句尾出现的频率，生成后缀口语词。
作为一种可能的实现方式，上下文特征包括：对应单词的词特征；以及，对应单词的上文和下文的词特征。
作为一种可能的实现方式，上下文特征还包括：对应单词与上文和下文组合得到的短语的词特征。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
本发明实施例的口语词识别装置中，获取经过训练的第一语言模型，其中，第一语言模型已预先学习得到口语词在语句中的上下文特征，对待识别语句中的各单词进行上下文特征提取，采用经过训练的第一语言模型，对各单词的上下文特征进行识别，确定各单词是否为口语词，提高了询问问题中口语词识别的效率和准确率。
基于上述实施例，本发明实施例还提供了一种语义识别装置，图7为本发明实施例所提供的一种语义识别装置的结构示意图，如图7所示，该装置包括：获取模块71、提取模块72、口语识别模块73、删除模块74和语义识别模块75。
获取模块71，用于获取经过训练的第一语言模型，其中，第一语言模型已预先学习得到口语词在语句中的上下文特征。
提取模块72，用于对待识别语句中的各单词进行上下文特征提取。
口语识别模块73，用于采用经过训练的第一语言模型，对各单词的上下文特征进行识别，确定各单词是否为口语词。
删除模块74，用于在待识别语句中，对确定为口语词的单词进行删除，得到目标语句。
语义识别模块75，用于对目标语句进行语义识别。
本发明实施例的语义识别装置中，获取经过训练的第一语言模型，其中，第一语言模型已预先学习得到口语词在语句中的上下文特征，对待识别语句中的各单词进行上下文特征提取，采用经过训练的第一语言模型，对各单词的上下文特征进行识别，确定各单词是否为口语词，并在待识别语句中，对确定为口语词的单词进行删除，得到目标语句，并对目标语句进行语义识别，通过对待识别语句中口语词的识别和删除，提高了待识别语句语义识别的效率和准确率。
为了实现上述实施例，本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如图1-图4对应实施例中所述的口语词识别方法，或者，如图5对应实施例中所述的语义识别方法。
图8示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图8显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
为了实现上述实施例，本发明实施例还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如图1-图4对应实施例中所述的口语词识别方法，或者，如图5对应实施例中所述的语义识别方法。
为了实现上述实施例，本发明实施例还提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，实现如图1-图4对应实施例中所述的口语词识别方法，或者，如图5对应实施例中所述的语义识别方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种口语词识别方法，其特征在于，所述方法包括以下步骤：
获取经过训练的第一语言模型，其中，所述第一语言模型已预先学习得到口语词在语句中的上下文特征；
对待识别语句中的各单词进行上下文特征提取；
采用经过训练的第一语言模型，对所述各单词的上下文特征进行识别，确定各单词是否为口语词；
所述对待识别语句中的各单词进行上下文特征提取之前，还包括：
采用预设的前缀口语词和预设的后缀口语词，与所述待识别语句中各单词进行匹配，从所述待识别语句中，删除与所述前缀口语词和所述后缀口语词中至少一个匹配中的单词。
2.根据权利要求1所述的口语词识别方法，其特征在于，所述获取经过训练的第一语言模型之前，还包括：
获取训练集；其中，所述训练集中包含多个训练语句，各训练语句具有标注，所述标注包含多个元素，用于指示对应单词删除后是否改变相应训练语句的语义；
对各训练语句中的单词进行上下文特征提取；
采用各训练语句中单词的上下文特征，以及对应训练语句的标注中对应所述单词的元素，对第一语言模型进行训练。
3.根据权利要求2所述的口语词识别方法，其特征在于，所述确定各单词是否为口语词之后，还包括：
在所述待识别语句中，对确定为口语词的单词进行删除，得到目标语句；
采用第二语言模型，对所述目标语句进行语义识别。
4.根据权利要求3所述的口语词识别方法，其特征在于，所述获取训练集，包括：
采用所述第二语言模型对多个语句进行语义识别；
将语义识别正确的语句作为训练语句，以生成所述训练集。
5.根据权利要求4所述的口语词识别方法，其特征在于，所述将语义识别正确的语句作为训练语句之后，还包括：
删除各训练语句中的部分单词；
将删除部分单词后的各训练语句，采用所述第二语言模型进行语义识别；
确定所述第二语言模型语义识别正确情况下，各训练语句至少包含的目标单词；
采用具有第一取值的元素，对所述目标单词进行标注；其中，所述第一取值用于指示删除后改变相应训练语句的语义；
采用具有第二取值的元素，对各训练语句中除所述目标单词以外的部分进行标注；其中，所述第二取值用于指示删除后不改变相应训练语句的语义。
6.根据权利要求1所述的口语词识别方法，其特征在于，所述采用预设的前缀口语词和预设的后缀口语词，与所述待识别语句中各单词进行匹配，包括：
将所述待识别语句从句首开始的第1个单词至第n个单词，组成第一短语；n取值为大于或等于2，且小于或等于5的自然数；将所述从句首开始的第1个单词和所述第一短语，分别与所述前缀口语词进行匹配；
将所述待识别语句从句尾开始的第1个单词至第m个单词，组成第二短语；m取值为大于或等于2，且小于或等于5的自然数；将所述从句尾开始的第1个单词和所述第二短语，分别与所述后缀口语词进行匹配。
7.根据权利要求1所述的口语词识别方法，其特征在于，所述采用预设的前缀口语词和预设的后缀口语词，与所述待识别语句中各单词进行匹配之前，还包括：
根据各口语词在句首出现的频率，生成所述前缀口语词；
根据各口语词在句尾出现的频率，生成所述后缀口语词。
8.根据权利要求1-7任一项所述的口语词识别方法，其特征在于，所述上下文特征包括：
对应单词的词特征；
以及，所述对应单词的上文和下文的词特征。
9.根据权利要求8所述的口语词识别方法，其特征在于，所述上下文特征，还包括：
所述对应单词与所述上文和所述下文组合得到的短语的词特征。
10.一种语义识别方法，其特征在于，所述方法包括以下步骤：
获取经过训练的第一语言模型，其中，所述第一语言模型已预先学习得到口语词在语句中的上下文特征；
对待识别语句中的各单词进行上下文特征提取；
采用经过训练的第一语言模型，对所述各单词的上下文特征进行识别，确定各单词是否为口语词；
在所述待识别语句中，对确定为口语词的单词进行删除，得到目标语句；
对所述目标语句进行语义识别；
所述对待识别语句中的各单词进行上下文特征提取之前，还包括：
采用预设的前缀口语词和预设的后缀口语词，与所述待识别语句中各单词进行匹配，从所述待识别语句中，删除与所述前缀口语词和所述后缀口语词中至少一个匹配中的单词。
11.一种口语词识别装置，其特征在于，所述装置包括：
获取模块，用于获取经过训练的第一语言模型，其中，所述第一语言模型已预先学习得到口语词在语句中的上下文特征；
提取模块，用于对待识别语句中的各单词进行上下文特征提取；
识别模块，用于采用经过训练的第一语言模型，对所述各单词的上下文特征进行识别，确定各单词是否为口语词；
所述对待识别语句中的各单词进行上下文特征提取之前，还包括：
采用预设的前缀口语词和预设的后缀口语词，与所述待识别语句中各单词进行匹配，从所述待识别语句中，删除与所述前缀口语词和所述后缀口语词中至少一个匹配中的单词。
12.一种语义识别装置，其特征在于，所述装置包括：
获取模块，用于获取经过训练的第一语言模型，其中，所述第一语言模型已预先学习得到口语词在语句中的上下文特征；
提取模块，用于对待识别语句中的各单词进行上下文特征提取；
口语识别模块，用于采用经过训练的第一语言模型，对所述各单词的上下文特征进行识别，确定各单词是否为口语词；
删除模块，用于在所述待识别语句中，对确定为口语词的单词进行删除，得到目标语句；
语义识别模块，用于对所述目标语句进行语义识别；
所述对待识别语句中的各单词进行上下文特征提取之前，还包括：
采用预设的前缀口语词和预设的后缀口语词，与所述待识别语句中各单词进行匹配，从所述待识别语句中，删除与所述前缀口语词和所述后缀口语词中至少一个匹配中的单词。
13.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-8中任一所述的口语词识别方法，或者，如权利要求10所述的语义识别方法。
14.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的口语词识别方法，或者，如权利要求10所述的语义识别方法。
CN201810714177.6A 2018-06-29 2018-06-29 口语词识别和语义识别方法及其装置 Active CN108829894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810714177.6A CN108829894B (zh) 2018-06-29 2018-06-29 口语词识别和语义识别方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810714177.6A CN108829894B (zh) 2018-06-29 2018-06-29 口语词识别和语义识别方法及其装置

Publications (2)

Publication Number Publication Date
CN108829894A CN108829894A (zh) 2018-11-16
CN108829894B true CN108829894B (zh) 2021-11-12

Family

ID=64135138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810714177.6A Active CN108829894B (zh) 2018-06-29 2018-06-29 口语词识别和语义识别方法及其装置

Country Status (1)

Country Link
CN (1) CN108829894B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697291B (zh) * 2018-12-29 2023-04-18 北京百度网讯科技有限公司 文本的语义段落识别方法和装置
CN111797631A (zh) * 2019-04-04 2020-10-20 北京猎户星空科技有限公司 信息处理方法、装置及电子设备
CN110489744A (zh) * 2019-07-25 2019-11-22 腾讯科技（深圳）有限公司 一种语料的处理方法、装置、电子设备和存储介质
CN110427627B (zh) * 2019-08-02 2023-04-28 北京百度网讯科技有限公司 基于语义表示模型的任务处理方法和装置
CN112466286A (zh) * 2019-08-19 2021-03-09 阿里巴巴集团控股有限公司 数据处理方法及装置、终端设备
CN110619122B (zh) * 2019-09-19 2023-08-22 中国联合网络通信集团有限公司 分词处理方法、装置、设备及计算机可读存储介质
CN111160012B (zh) * 2019-12-26 2024-02-06 上海金仕达卫宁软件科技有限公司 医学术语识别方法、装置和电子设备
CN111563144B (zh) * 2020-02-25 2023-10-20 升智信息科技(南京)有限公司 基于语句前后关系预测的用户意图识别方法及装置
CN111738848B (zh) * 2020-05-19 2024-03-19 深圳追一科技有限公司 特征数据的生成方法、装置、计算机设备和存储介质
CN111814433B (zh) * 2020-08-20 2022-02-18 北京智源人工智能研究院 一种维吾尔语实体识别的方法、装置和电子设备
CN112651231B (zh) * 2020-12-08 2023-10-27 北京有竹居网络技术有限公司 口语信息处理方法、装置和电子设备
CN113468305B (zh) * 2021-06-29 2023-04-28 竹间智能科技（上海）有限公司 一种识别口语冗余成分的方法及装置
CN113408274B (zh) * 2021-07-13 2022-06-24 北京百度网讯科技有限公司 训练语言模型的方法和标签设置方法
CN114694139B (zh) * 2022-06-01 2022-09-13 中科航迈数控软件(深圳)有限公司 一种数控机床复杂结构件加工特征识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604520A (zh) * 2009-07-16 2009-12-16 北京森博克智能科技有限公司 基于统计模型和语法规则的口语语音识别方法
CN103309926A (zh) * 2013-03-12 2013-09-18 中国科学院声学研究所 基于条件随机场的中英文混合命名实体识别方法及系统
US8606575B1 (en) * 2011-09-06 2013-12-10 West Corporation Method and apparatus of providing semi-automated classifier adaptation for natural language processing
CN103559894A (zh) * 2013-11-08 2014-02-05 安徽科大讯飞信息科技股份有限公司 口语评测方法及系统
CN107993651A (zh) * 2017-12-29 2018-05-04 深圳和而泰数据资源与云技术有限公司 一种语音识别方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8335688B2 (en) * 2004-08-20 2012-12-18 Multimodal Technologies, Llc Document transcription system training
CN105096942A (zh) * 2014-05-21 2015-11-25 清华大学 语义分析方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604520A (zh) * 2009-07-16 2009-12-16 北京森博克智能科技有限公司 基于统计模型和语法规则的口语语音识别方法
US8606575B1 (en) * 2011-09-06 2013-12-10 West Corporation Method and apparatus of providing semi-automated classifier adaptation for natural language processing
CN103309926A (zh) * 2013-03-12 2013-09-18 中国科学院声学研究所 基于条件随机场的中英文混合命名实体识别方法及系统
CN103559894A (zh) * 2013-11-08 2014-02-05 安徽科大讯飞信息科技股份有限公司 口语评测方法及系统
CN107993651A (zh) * 2017-12-29 2018-05-04 深圳和而泰数据资源与云技术有限公司 一种语音识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN108829894A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN108829894B (zh) 口语词识别和语义识别方法及其装置
CN107195295B (zh) 基于中英文混合词典的语音识别方法及装置
CN107301860B (zh) 基于中英文混合词典的语音识别方法及装置
CN109887497B (zh) 语音识别的建模方法、装置及设备
CN110046350B (zh) 文法错误识别方法、装置、计算机设备及存储介质
US9940927B2 (en) Multiple pass automatic speech recognition methods and apparatus
KR101259558B1 (ko) 문장경계 인식 장치 및 방법
CN110033760B (zh) 语音识别的建模方法、装置及设备
CN107678561A (zh) 基于人工智能的语音输入纠错方法及装置
CN109637537B (zh) 一种自动获取标注数据优化自定义唤醒模型的方法
CN111339750B (zh) 去除停用语并预测句子边界的口语文本处理方法
CN110197279B (zh) 变换模型训练方法、装置、设备和存储介质
CN107679032A (zh) 语音转换纠错方法和装置
CN111341305A (zh) 一种音频数据标注方法、装置及系统
CN102063900A (zh) 克服混淆发音的语音识别方法及系统
CN109166569B (zh) 音素误标注的检测方法和装置
CN113838460A (zh) 视频语音识别方法、装置、设备和存储介质
CN110020163B (zh) 基于人机交互的搜索方法、装置、计算机设备和存储介质
CN112016271A (zh) 语言风格转换模型的训练方法、文本处理方法以及装置
CN111881297A (zh) 语音识别文本的校正方法及装置
JP6941494B2 (ja) エンドツーエンド日本語音声認識モデル学習装置およびプログラム
CN113923521B (zh) 一种视频的脚本化方法
CN111192572A (zh) 语义识别的方法、装置及系统
CN114970514A (zh) 基于人工智能的中文分词方法、装置、计算机设备及介质
CN107704549A (zh) 语音搜索方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant