CN106328127B - 语音识别设备，语音识别方法和电子装置 - Google Patents

语音识别设备，语音识别方法和电子装置 Download PDF

Info

Publication number
CN106328127B
CN106328127B CN201610510741.3A CN201610510741A CN106328127B CN 106328127 B CN106328127 B CN 106328127B CN 201610510741 A CN201610510741 A CN 201610510741A CN 106328127 B CN106328127 B CN 106328127B
Authority
CN
China
Prior art keywords
phoneme
probability
sequence
speech
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610510741.3A
Other languages
English (en)
Other versions
CN106328127A (zh
Inventor
柳尚贤
崔喜烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106328127A publication Critical patent/CN106328127A/zh
Application granted granted Critical
Publication of CN106328127B publication Critical patent/CN106328127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G10L15/197—Probabilistic grammars, e.g. word n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种语音识别设备、语音识别方法和电子装置。一种语音识别设备包括：概率计算器，被配置为使用声学模型计算音频信号的音素概率；候选集合提取器，被配置为从识别目标列表提取候选集合；以及结果返回器，被配置为基于计算的音素概率和提取的候选集合返回音频信号的识别结果。

Description

语音识别设备，语音识别方法和电子装置
本申请要求2015年6月30日向韩国知识产权局提交的第10-2015-0093653号韩国专利申请的利益，其全部公开通过所有目的的引用包含于此。
技术领域
本申请涉及一种语音识别技术。
背景技术
当语音识别系统被嵌入电视机、机顶盒、家用电器和其他装置时，存在没有足够的计算资源用于嵌入式语音识别系统的缺点。然而，因为在嵌入式环境中针对有限数量的命令语音识别被执行，所以这种缺陷是微不足道的，而在一般语音识别环境中，解码器使用许多计算资源来识别人们可以使用的所有单词及其组合。与此相对，在嵌入式环境中，仅几个单词到几千个单词的给定命令需要被识别。
在一般语音识别系统中，在声学模型从音频信号获得语音概率之后，隐马尔可夫模型(HMM)解码器组合这些概率，并且将概率转换成单词序列。然而，HMM解码器需要许多计算资源和操作，并且在HMM解码器中使用的维特比解码方法可能会导致庞大的信息损失。
发明内容
提供本发明内容以简化形式引入对构思的选择，其将在下面的具体实施方式中进一步描述。本发明构思并不旨在识别所要求保护的主题的关键特征或必要特征，也不旨在帮助确定所要求保护的主题的范围。
在一总体方面，一种语音识别设备包括：概率计算器，被配置为使用声学模型计算音频信号的音素概率；候选集合提取器，被配置为从目标序列的识别目标列表提取候选集合；以及结果返回器，被配置为基于计算的音素概率和提取的候选集合返回音频信号的识别结果。
可以使用包括连接时间分类(CTC)的学习算法训练声学模型。
结果返回器还可以被配置为基于计算的音素概率计算生成候选集合中包括的每个目标序列的概率，并且返回计算的生成每个目标序列的概率之中具有最高概率的候选目标序列，作为识别结果。
所述设备还可以包括序列获取器，被配置为基于计算的音素概率获取音素序列。
候选集合提取器还可以被配置为计算获取的音素序列与识别目标列表中包括的每个目标序列之间的相似度，并且基于计算的相似度提取候选集合。
候选集合提取器还可以被配置为使用包括编辑距离算法的相似度算法计算相似度。
序列获取器还可以被配置为使用最佳路径解码算法或前缀搜索解码算法基于计算的音素概率获取音素序列。
在另一总体方面，一种语音识别方法包括：使用声学模型计算音频信号的音素概率；从目标序列的识别目标列表提取候选集合；以及基于计算的音素概率和提取的候选集合返回音频信号的识别结果。
可以使用包括连接时间分类(CTC)的学习算法训练声学模型。
返回识别结果的步骤可以包括：基于计算的音素概率计算生成候选集合中包括的每个目标序列的概率；以及返回计算的生成每个目标序列的概率之中具有最高概率的候选目标序列，作为识别结果。
所述方法还可以包括基于计算的音素概率获取音素序列。
提取候选集合的步骤可以包括：计算获取的音素序列与识别目标列表中包括的每个目标序列之间的相似度；以及基于计算的相似度提取候选集合。
计算相似度的步骤可以包括：使用包括编辑距离算法的相似度算法计算相似度。
获取音素序列的步骤可以包括：使用最佳路径解码算法或前缀搜索解码算法基于计算的音素概率获取音素序列。
在另一总体方面，一种电子装置包括：语音接收器，被配置为接收用户的音频信号；语音识别器，被配置为使用声学模型计算接收的音频信号的音素概率，并且基于计算的音素概率，返回识别目标列表中包括的任何一个目标序列作为识别结果；以及处理器，被配置为基于返回的识别结果执行特定操作。
语音识别器还可以被配置为：从识别目标列表提取候选集合，基于计算的音素概率计算生成候选集合中包括的每个候选目标序列的概率，并且返回计算的生成每个目标序列的概率之中具有最高概率的候选目标序列，作为识别结果。
语音识别器还可以被配置为：通过对音素概率进行解码来获取音素序列，基于获取的音素序列与识别目标列表中包括的每个目标序列之间的相似度提取候选集合。
处理器还可以被配置为：从扬声器以声音输出识别结果，或者在显示器上以文本格式输出识别结果。
处理器还可以被配置为：将识别结果翻译成另一种语言，并且从扬声器以声音输出翻译结果，或者在显示器上以文本格式输出翻译结果。
处理器还可以被配置为响应于识别结果处理命令，所述命令包括通电/断电命令、音量控制命令、频道改变命令和目的地搜索命令中的一个或多个。
在另一总体方面，语音识别方法，包括：计算音频信号的一部分与语音单位相应的概率；从语音单位的序列的列表获得候选语音单位的序列的集合；以及基于概率将候选语音单位的候选序列中的一个候选序列识别为与音频信号相应。
计算概率的步骤可以包括使用声学模型计算概率。
语音单位可以是音素。
语音单位的候选序列可以是短语。
短语可以是控制电子装置的命令。
识别语音单位的候选序列中的一个候选序列的步骤可以包括：基于音频信号的一部分与语音单位相应的概率计算生成语音单位的每个候选序列的概率；以及将生成语音单位的每个候选序列的概率之中具有最高概率的语音单位的候选序列中的一个候选序列识别为与音频信号相应。
根据下面的详细描述，附图和权利要求，其他特征和方面将是明显的。
附图说明
图1是示出语音识别设备的示例的框图。
图2是示出语音识别设备的另一示例的框图。
图3是示出语音识别方法的示例的流程图。
图4是示出语音识别方法的另一示例的流程图。
图5是示出电子装置的示例的框图。
图6是示出电子装置中的语音识别方法的示例的流程图。
在整个附图和详细描述中，相同的附图标号指代相同的元件。为了清楚，说明和方便，这些元件的相对尺寸、比例和描绘可以被夸大。
具体实施方式
提供下面的详细描述以帮助读者获得本文所描述的方法，设备和/或系统的全面理解。然而，本文所描述的方法，设备和/或系统的各种改变、修改和等同物对本领域的普通技术人员将是显而易见的。本文所描述的操作的顺序仅是示例，并且不限于本文阐述的那些顺序，而是对本领域的普通技术人员将显而易见的是，除了必然以特定顺序发生的操作之外，本文所描述的操作的顺序可以改变。另外，为了更加清楚和简明可以省略本领域的普通技术人员公知的功能和结构的描述，。
本文所描述的特征可以体现在不同的形式，并且不应当被解释为限于本文所描述的示例。相反，提供本文所描述的示例使得本公开将是彻底和完整的，并且将向本领域的普通技术人员传达本公开的全部范围。
图1是示出语音识别设备的示例的框图。
参照图1，语音识别设备100包括概率计算器110、候选集合提取器120和结果返回器130。
概率计算器110使用声学模型计算音频信号的每个音素的概率(即，音频信号被识别为每个音素的概率)。音素是语言中有效的最小声音单位。
在一个示例中，通过提取特性的预处理过程音频信号被转换成音频帧，并且被输入到声学模型。声学模型将音频帧划分成音素，并且输出每个音素的概率。
以最大化作为答案输出的每个帧的音素的概率的方式训练基于高斯混合模型(GMM)、深度神经网络(DNN)或递归神经网络(RNN)的通用声学模型。
然而，由于很难构造可以在嵌入式环境中操作的HMM解码器，因此使用递归神经网络(RNN)和连接时间分类(CTC)构建此示例的声学模型。在这种情况下，使用诸如CTC学习算法的各种学习算法，针对可以构成答案序列的所有音素的组合，以最大化每个音频帧的音素的概率的方式训练声学模型。在下文中，为了便于说明，将利用使用CTC学习算法(即，基于CTC网络的声学模型)训练的声学模型描述示例。
下面的等式1是基于GMM、DNN或RNN训练声学模型的算法的示例。
Figure BDA0001036606300000051
在等式1中，k为音频帧的序号，x表示输入音频信号，y表示使用声学模型针对音频帧k计算的每个音素的概率，z表示音频帧k的答案，p(z|x)为音频信号x被识别为答案z的概率，“K”为音频帧的最大数量，
Figure BDA0001036606300000052
为音频帧k被识别为答案z的概率。
如上所述，以最大化作为答案输出的每个音频帧的音素的概率的方式训练一般声学模型。
与此相对，下面的等式2和3是根据本申请的示例训练声学模型的算法的示例。
Figure BDA0001036606300000053
Figure BDA0001036606300000054
在上述等式2和等式3中，t为音频帧的序号，
Figure BDA0001036606300000057
为音素序列的序号，π表示可以是答案的任何一个音素序列，“T”为音频帧t的最大数量，
Figure BDA0001036606300000055
为音频信号x被识别为答案音素序列π的概率，
Figure BDA0001036606300000058
为音频信号x被识别为答案音素序列t的概率。
Figure BDA0001036606300000056
是将神经网络的输出序列π转换为音素序列的多对一函数。例如，如果用户在一秒(sec)中说出“apple”，从0至0.5秒发出音素/ae/，从0.5秒至0.8秒发出音素/p/，从0.5秒至0.8秒发出音素/l/，则以帧单位产生音素被重复的输出序列π“ae ae ae ae...p pp p...l l l l”。
Figure BDA0001036606300000061
是从输出序列π移除重复音素并将输出序列π映射到音素序列/aep l/的函数。
以这样的方式执行声学模型训练：使用利用声学模型计算的音频帧t的音素概率y根据等式2计算生成任何一个音素序列π的概率p(π|x)，并且通过组合根据等式2计算的概率p(π|x)根据等式3计算生成答案的概率
Figure BDA0001036606300000062
在这种情况下，使用反向传播学习方法执行声学模型训练。
候选集合提取器120从识别目标列表140提取候选集合。识别目标列表包括由音素序列构成的多个单词或短语。根据包括语音识别设备100的多种类型的装置预定义识别目标列表140。例如，在TV中安装语音识别设备100的情况下，识别目标列表140包括操作TV的各种命令，诸如通电/断电命令、音量控制命令、频道改变命令和将要运行的特定节目的名称。
候选集合提取器120根据用户操作的生成候选集合的装置从识别目标列表140提取一个或多个目标序列。
结果返回器130使用利用声学模型计算的音素概率计算生成候选集合中每个候选目标序列的概率，并且返回具有最高概率的候选目标序列作为输入音频信号的识别结果。
结果返回器130通过应用上述作为用于训练声学模型的算法的等式2和3计算候选集合的每个候选目标序列的概率。
在此示例中，由于已经知道可能是答案的候选目标序列，因此可以使用利用声学模型计算的每个音素概率计算生成候选目标序列的概率。也就是说，由于不需要使用一般解码算法(诸如CTC)对音素概率进行解码，因此可以最小化解码处理中发生的信息损失。相比之下，由于在一般语音识别环境中不知道可能作为答案的候选目标序列，因此有必要使用等式1执行解码处理，从而导致语音识别处理中的信息损失。
图2是示出语音识别设备的另一示例的框图。
参照图2，语音识别设备200包括概率计算器210、序列获取器220、候选集合提取器230和结果返回器240。
概率计算器210使用声学模型计算音频信号的每个音素的概率。如上所述，使用RNN和CTC学习算法，针对可以由答案序列构成的音素的所有组合，以最大化每个音频帧的音素的概率的方式训练声学模型。
序列获取器220基于概率计算器210计算的音素概率获取一系列音素的音素序列。在这种情况下，序列获取器220通过使用解码算法(诸如最佳路径解码算法或前缀搜索解码算法)对计算的音素的概率进行解码来获取一个或多个音素序列。然而，解码算法不限于这些示例。
候选集合提取器230通过基于音素序列从识别目标列表250提取一个或多个候选目标序列生成候选集合。如上所述，识别目标列表250包括根据包括语音识别设备200的多种类型的电子装置预定义的目标序列，诸如单词/短语/命令。此外，识别目标列表250还可以包括与目标序列的使用排名(例如，使用频率、使用概率等)相关联的信息。
在一个示例中，候选集合提取器230根据识别目标列表250中包括的目标序列的数量，提取目标序列的部分或全部作为候选集合。在这种情况下，可以基于与目标序列的使用排名相关联的信息提取特定数量的目标序列作为候选集合。
在另一示例中，候选集合提取器230通过将序列获取器200获取的一个或多个音素序列与识别目标列表250中包括的每个目标序列进行比较计算相似度，并且基于相似度，提取特定数量的音素序列作为候选目标序列。在一个示例中，候选集合提取器230使用包括编辑距离算法的相似度计算算法计算音素序列和目标序列之间的相似度，并且基于相似度，按照相似度顺序提取特定数量的音素序列(例如，前20个序列)作为候选目标序列。
以这种方式，通过使用相似度算法控制包括在候选集合中的候选目标序列的数量，结果返回器240以减少的时间计算生成每个候选目标序列的概率，从而能够快速返回最终识别结果。
结果返回器240使用利用声学模型计算的音素概率返回候选集合中的至少一个候选目标序列作为音频信号的识别结果。
在一个示例中，结果返回器240使用包括编辑距离算法的相似度计算算法计算一个或多个获取的音素序列和每个候选目标序列之间的相似度，并且返回具有最高相似度的候选目标序列作为识别结果。
在另一示例中，结果返回器240通过将概率计算器210计算的音素概率应用到诸如等式2和3的概率计算算法计算生成候选集合中的每个候选目标序列的概率，并且返回具有最高概率的候选目标序列作为最终识别结果。
图3是示出语音识别方法的示例的流程图。
图3是图1所示的语音识别设备执行的语音识别方法的示例。
参照图3，在310，语音识别设备100使用声学模型计算音频信号的音素的概率。在这种情况下，通过预处理过程将音频信号转换成音频帧，并且将音频帧输入到声学模型。声学模型将每个音频帧划分成音素，并且输出每个音素的概率。如上所述，通过组合递归神经网络(RNN)和连接时间分类(CTC)训练声学模型。使用上述等式2和等式3的算法训练声学模型。
接着，在320，从识别目标列表提取包括一个或多个候选目标序列的候选集合。识别目标列表包括根据各种装置预定义的目标序列，诸如单词或短语。例如，在TV中，目标序列可以包括用于控制TV的命令诸如通电/断电命令、音量控制命令和频道改变命令。另外，在导航装置中，目标序列可以包括用于控制导航装置的命令，诸如通电/断电命令、音量控制命令以及目的地检索命令。另外，目标序列可以包括控制安装在车辆中的各种电子装置的命令。然而，目标序列不限于这些示例，并且可以被应用于用户控制的包括语音识别技术的任何电子装置。
然后，在330，基于计算的音素概率和提取的候选集合返回输入音频信号的识别结果。在一个示例中，基于使用声学模型和上述等式2和等式3的算法计算的音素概率计算生成每个候选目标序列的概率。此外，返回具有最高概率的候选目标序列作为最终识别结果。
图4是示出语音识别方法的示例的流程图。
参照图4，在410，使用声学模型计算音频信号的音素的概率。针对使用各种学习算法(例如，CTC学习算法)可以构成作为答案的音素序列的音素的所有组合，以最大化每个音频帧的音素的概率的方式训练声学模型。
接着，在420，基于计算的音素概率获取作为一系列音素的音素序列。例如，使用解码算法(诸如最佳路径解码算法或前缀搜索解码算法)获取一个或多个音素序列。
然后，在430，通过基于音素序列从识别目标列表提取一个或多个候选目标序列生成候选集合。根据包括语音识别技术的各种类型的电子装置预定义识别目标列表。在这种情况下，识别目标列表还包括与每个目标序列的使用排名(例如，使用频率、使用概率等)相关联的信息。
在一个示例中，语音识别设备根据包括在识别目标列表中的目标序列的总数提取目标序列的一部分或全部作为候选集合。在存在与目标序列的使用排名相关联的信息的情况下，可以基于该信息提取预定义数量的目标序列作为候选集合。
在另一示例中，语音识别设备通过将由序列获取器200获取的一个或多个音素序列与包括在识别目标列表中的每个目标序列进行比较计算相似度，并且基于相似度提取特定数量的音素序列作为候选目标序列。例如，语音识别设备使用包括编辑距离算法的相似度计算算法计算音素序列和目标序列之间的相似度，并且基于相似度，按照相似度的顺序提取特定数量的音素序列(例如，前20个序列)作为候选目标序列。
然后，在440，基于使用声学模型和候选集合计算的音素概率返回音频信号的识别结果。
在一个示例中，语音识别设备使用包括编辑距离算法的相似度计算算法计算一个或多个获取的音素序列与候选集合中的每个候选目标序列之间的相似度，并且返回具有最高相似度的候选目标序列作为识别结果。
在另一示例中，语音识别设备通过将计算的音素概率应用到诸如上述等式2和等式3的概率计算算法计算生成候选集合中的每个候选目标序列的概率，并且返回具有最高概率的候选目标序列作为最终识别结果。
图5是示出电子装置的示例的框图。
电子装置500包括上述语音识别设备100或200。电子装置500可以是电视机、机顶盒、台式计算机、膝上型计算机、电子翻译器、智能电话、平板电脑、车辆的电子控制装置或用户控制的通过嵌入式语音识别技术处理用户的各种命令的任何其他装置。然而，电子装置500不限于这些示例，并且可以是由用户控制的并且包括语音识别技术的任何电子装置。
参照图5，电子装置500包括语音接收器510、语音识别器520和处理器530。语音识别器520是被制造为在电子装置500中实现的硬件的图1中的语音识别设备100或图2中的语音识别设备200。
语音接收器510通过电子装置500的麦克风接收用户的音频信号输入。如图5所示，用户的音频信号可以是被翻译成另一种语言的短语，或可以是用于控制电视机、驾驶车辆或控制受用户控制的任何其他装置的命令。
在一个示例中，语音接收器510执行预处理过程，其中，用户输入的模拟音频信号被转换成数字信号，该信号被划分成多个音频帧，音频帧被发送到语音识别器520。
语音识别器520将音频信号(例如，音频帧)输入到声学模型，并且计算每个音频帧的音素的概率。一旦计算出音频帧的音素概率，语音识别器520基于计算的音素概率从识别目标列表提取候选集合，并且基于计算的音素概率和提取的候选集合返回最终识别结果。声学模型是基于递归神经网络(RNN)或深层神经网络(DNN)的网络，并且针对使用CTC学习算法可以构成答案序列的音素的所有组合以最大化每个音频帧的音素的概率的方式训练声学模型。
根据包括语音识别技术的电子装置500的类型和目的预定义识别目标列表。例如，在语音识别设备100安装在电视机中的情况下，在识别目标列表中定义经常用于电视的各种单词或命令，诸如通电/断电命令、音量控制命令和频道改变命令。此外，在电子装置500是安装在车辆上的导航装置的情况下，在识别目标列表中定义用于控制导航装置的各种命令，诸如通电/断电命令、音量控制命令以及目的地搜索命令。
语音识别器520使用语音识别的一般解码算法(例如，CTC)基于音素概率获取音素序列，并且通过将获取的音素序列与识别目标列表进行比较提取候选集合。在这种情况下，语音识别器520使用包括编辑距离算法的相似度计算算法计算获取的音素序列和识别目标列表中包括的每个目标序列之间的相似性，以及基于相似性，通过按照相似度顺序提取特定数量的音素序列作为候选目标序列生成候选集合。
语音识别器520返回基于计算的音素概率提取的候选集合中的一个候选目标序列作为最终识别结果。在这种情况下，语音识别器520返回生成候选集合的每个候选目标序列的概率之中具有最高概率的候选目标序列作为最终识别结果。在一个示例中，语音识别器520以文本格式输出最终识别结果。
处理器530响应于最终识别结果执行操作。例如，处理器530从扬声器、耳机或任何其他音频输出装置输出用户以声音输入的语音的识别结果，或在显示器上以文本格式提供识别结果。此外，处理器530执行处理命令(例如，通电/断电命令、音量控制命令等)的操作来控制电视、机顶盒、家用电器，车辆的电子控制装置或由用户控制的任何其他装置。
此外，在将最终识别结果翻译成另一种语言的情况下，处理器530将以文本形式输出的最终识别结果翻译成另一种语言，并且以声音或文本格式输出翻译结果。然而，处理器530不限于这些示例，并且可以在各种应用中使用。
图6是示出电子装置中的语音识别方法的示例的流程图。
在610，电子装置500通过麦克风或任何其他音频输入装置接收将被翻译成另一种语言的包含短语的用户音频信号，或用于控制电视或驾驶车辆的命令。此外，一旦接收到用户音频信号，电子装置500将模拟音频信号转换成数字信号，并且执行将数字信号转换成多个音频帧的预处理过程。
然后，在620，电子装置500基于预存储的声学模型和预定义的识别目标列表返回输入音频信号的最终识别结果。
例如，电子装置500将音频帧输入到声学模型来计算音频帧的音素的概率。此外，一旦已经计算音频帧的音素的概率，电子装置500基于计算的音素概率从识别目标列表提取候选集合，并且基于计算的音素概率和提取的候选集合返回最终识别结果。声学模型是基于递归神经网络(RNN)或深层神经网络(DNN)的网络，并且使用CTC学习算法进行训练。根据包括语音识别技术的电子装置500的类型和目的预定义识别目标列表。
在一个示例中，电子装置500从计算的音素概率获取音素序列，并且通过将获取的音素序列与识别对象列表进行比较提取候选集合。在这种情况下，电子装置500使用包括编辑距离算法的相似度计算算法计算获取的音素序列和识别目标列表中包括的每个目标序列之间的相似性，以及基于相似性，通过按照相似度顺序提取特定数量的音素序列作为候选目标序列生成候选集合。
电子装置500使用上述等式2和等式3计算生成每个候选目标序列的概率，并且返回具有最高概率的候选目标序列作为最终识别结果，最终识别结果可以由电子装置500转换成文本格式。
接着，在630，电子装置500响应于返回的最终识别结果执行操作。
例如，电子装置500可以从扬声器、耳机或任何其他音频输出装置输出用户以声音输入的语音的识别结果，或在显示器上以文本格式提供识别结果。此外，电子装置500可以执行处理命令的操作来控制电视、机顶盒、家用电器、车辆的电子控制装置或由用户控制的任何其他装置。另外，电子装置500可以将以文本格式输出的最终识别结果翻译成另一种语言，并且可以以声音或文本格式输出翻译结果。然而，电子装置500不限于这些示例，并且可以在各种应用中使用。
通过硬件组件实现执行本文针对图1至图6描述的操作的图1所示的语音识别设备100、概率计算器110、候选集合提取器120和结果返回器130，图1所示的语音识别设备100、概率计算器110、候选集合提取器120和结果返回器130，图2所示的语音识别设备200、概率计算器210、序列获取器220、候选集合提取器230和结果返回器240，图5所示的电子装置500、语音接收器510、语音识别器520和处理器530。硬件组件的示例包括控制器、传感器、产生器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、集成器以及本领域普通技术人员已知的任何其他电子组件。在一个示例中，通过计算硬件(例如，通过一个或多个处理器或计算机)来实现硬件组件。通过一个或多个处理元件(诸如逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或本领域的普通技术人员已知的能够以定义的方式响应并执行指令以实现期望结果的任何其他装置或装置的组合实现处理器或计算机。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件执行指令或软件，(诸如操作系统(OS)和在OS上运行的一个或多个软件应用程序)以执行本文针对图1至图6描述的操作。硬件组件还可以响应于指令或软件的执行访问、操纵、处理、创建和存储数据。为简单起见，可以在本文描述的示例的描述中使用单数术语“处理器”或“计算机”，但是在其他示例中，使用多个处理器或计算机，或处理器或计算机包括多个处理元件，或多种类型的处理元件，或者两者兼而有之。在一个示例中，硬件组件包括多个处理器，在另一示例中，硬件组件包括处理器和控制器。硬件组件具有任何一个或多个不同处理结构，其示例包括单一处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理和多指令多数据(MIMD)多处理。
通过如上所述执行用于执行本文描述的操作的指令或软件的计算硬件(例如，通过一个或多个处理器或计算机)执行执行本文针对图1至图6描述的操作的图3、图4和图6中示出的方法。
控制处理器或计算机实现硬件组件并执行如上所述的方法的指令或软件作为计算机程序、代码段、指令或其任何组合被写入，用于单独地或共同地指示或配置处理器或计算机作为机器或专用计算机操作来执行由如上所述的硬件组件和方法执行的操作。在一个示例中，指令或软件包括直接由处理器或计算机执行的机器代码，诸如由编译器产生的机器代码。在另一示例中，指令或软件包括由处理器或计算机使用解释器执行的更高级代码。本领域的普通技术人员可以基于附图中所示的框图和流程图以及说明书中的相应描述容易地编写指令或软件，附图中所示的框图和流程图以及说明书中的相应描述公开了用于执行如上所述的硬件组件和方法执行的操作的算法。
在一个或多个非暂时性计算机可读存储介质中或个或多个非暂时性计算机可读存储介质上记录、存储或固定控制处理器或计算机实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘、本领域的普通技术人员已知的能够以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构并且向处理器或计算机提供指令或软件以及任何相关联的数据、数据文件和数据结构以使处理器或计算机可以执行指令的任何装置。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得处理器或计算机可以以分布方式存储、访问和执行指令和软件以及任何相关联的数据、数据文件和数据结构。
虽然本公开包括特定示例，但是在不脱离权利要求及其等同物的精神和范围的情况下，对本领域的普通技术人员明显的是，可以在这些示例中进行形式和细节上的各种改变。本文所描述的示例被认为仅是描述性的意义，而不是为了限制的目的。每个示例中的特征或方面的描述将被认为是适用于其他示例中的类似特征或方面。如果以不同的顺序执行描述的技术，和/或如果以不同的方式组合描述的系统、架构、装置或电路中的组件，和/或由其他组件或等同物替代或补充描述的系统、架构、装置或电路中的组件，则可以实现合适的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求及其等价物来限定，权利要求及其等同物的范围之内的所有变型被解释为包括在本公开中。

Claims (22)

1.一种语音识别设备，包括：
概率计算器，被配置为使用声学模型计算音频信号的音素概率；
候选集合提取器，被配置为从目标序列的识别目标列表提取候选集合；以及
结果返回器，被配置为基于计算的音素概率和提取的候选集合返回音频信号的识别结果，
其中，候选集合提取器被配置为通过以下方式中的一种从目标序列的识别目标列表提取候选集合：
a)计算基于音素概率获取的音素序列与识别目标列表中包括的每个目标序列之间的相似度，基于计算的相似度提取候选集合，和
b)基于与目标序列的使用排名相关联的信息提取特定数量的目标序列作为候选集合，
其中，包括在识别目标列表中的目标序列根据包括所述语音识别设备的电子装置预定义。
2.如权利要求1所述的语音识别设备，其中，使用包括连接时间分类(CTC)的学习算法训练声学模型。
3.如权利要求1所述的语音识别设备，其中，结果返回器还被配置为：基于计算的音素概率计算生成候选集合中包括的每个目标序列的概率，并且返回计算的生成每个目标序列的概率之中具有最高概率的候选目标序列，作为识别结果。
4.如权利要求1所述的语音识别设备，还包括：序列获取器，被配置为基于计算的音素概率获取音素序列。
5.如权利要求4所述的语音识别设备，其中，候选集合提取器还被配置为：使用包括编辑距离算法的相似度算法计算相似度。
6.如权利要求4所述的语音识别设备，其中，序列获取器还被配置为：使用最佳路径解码算法或前缀搜索解码算法基于计算的音素概率获取音素序列。
7.一种语音识别方法，包括：
使用声学模型计算音频信号的音素概率；
从目标序列的识别目标列表提取候选集合；以及
基于计算的音素概率和提取的候选集合返回音频信号的识别结果，
其中，通过以下方式中的一种从目标序列的识别目标列表提取候选集合：
a)基于计算的音素概率获取音素序列，计算获取的音素序列与识别目标列表中包括的每个目标序列之间的相似度，基于计算的相似度提取候选集合，和
b)基于与目标序列的使用排名相关联的信息提取特定数量的目标序列作为候选集合，
其中，包括在识别目标列表中的目标序列根据包括执行所述语音识别方法的语音识别设备的电子装置预定义。
8.如权利要求7所述的语音识别方法，其中，使用包括连接时间分类(CTC)的学习算法训练声学模型。
9.如权利要求7所述的语音识别方法，其中，返回识别结果的步骤包括：
基于计算的音素概率计算生成候选集合中包括的每个目标序列的概率；以及
返回计算的生成每个目标序列的概率之中具有最高概率的候选目标序列，作为识别结果。
10.如权利要求7所述的语音识别方法，其中，计算相似度的步骤包括：使用包括编辑距离算法的相似度算法计算相似度。
11.如权利要求7所述的语音识别方法，其中，获取音素序列的步骤包括：使用最佳路径解码算法或前缀搜索解码算法基于计算的音素概率获取音素序列。
12.一种电子装置，包括：
语音接收器，被配置为接收用户的音频信号；
语音识别器，被配置为使用声学模型计算接收的音频信号的音素概率，并且基于计算的音素概率，返回识别目标列表中包括的目标序列中的任何一个目标序列作为识别结果；以及
处理器，被配置为基于返回的识别结果执行特定操作，
其中，语音识别器还被配置为：通过以下方式中的一种从目标序列的识别目标列表提取候选集合：
a)通过对音素概率进行解码来获取音素序列，并且基于获取的音素序列与识别目标列表中包括的每个目标序列之间的相似度提取候选集合，和
b)基于与目标序列的使用排名相关联的信息提取特定数量的目标序列作为候选集合，
其中，语音识别器还被配置为：基于计算的音素概率和提取的候选集合返回作为识别结果的目标序列，
其中，包括在识别目标列表中的目标序列根据所述电子装置预定义。
13.如权利要求12所述的电子装置，其中，语音识别器还被配置为：从识别目标列表提取候选集合，基于计算的音素概率计算生成候选集合中包括的每个候选目标序列的概率，并且返回计算的生成每个目标序列的概率之中具有最高概率的候选目标序列，作为识别结果。
14.如权利要求12所述的电子装置，其中，处理器还被配置为：从扬声器以声音输出识别结果，或者在显示器上以文本格式输出识别结果。
15.如权利要求14所述的电子装置，其中，处理器还被配置为：将识别结果翻译成另一种语言，并且从扬声器以声音输出翻译结果，或者在显示器上以文本格式输出翻译结果。
16.如权利要求12所述的电子装置，其中，处理器还被配置为：响应于识别结果处理命令，所述命令包括通电/断电命令、音量控制命令、频道改变命令和目的地搜索命令中的一个或多个。
17.一种语音识别方法，包括：
计算音频信号的部分与语音单位相应的概率；
从语音单位的序列的列表获得语音单位的候选序列的集合；以及
基于所述概率将语音单位的候选序列之一识别为与音频信号相应，
其中，通过以下方式中的一种从语音单位的序列的列表获得语音单位的候选序列的集合：
a)基于计算的概率获取序列，计算获取的序列与语音单位的序列的列表中包括的每个目标序列之间的相似度，基于计算的相似度获得语音单位的候选序列的集合，和
b)基于与目标序列的使用排名相关联的信息提取特定数量的目标序列作为候选集合，
其中，包括在语音单位的序列的列表中的目标序列根据包括执行所述语音识别方法的语音识别设备的电子装置预定义。
18.如权利要求17所述的语音识别方法，其中，计算概率的步骤包括使用声学模型计算概率。
19.如权利要求17所述的语音识别方法，其中，语音单位是音素。
20.如权利要求17所述的语音识别方法，其中，语音单位的候选序列是短语。
21.如权利要求20所述的语音识别方法，其中，所述短语是控制电子装置的命令。
22.如权利要求17所述的语音识别方法，其中，识别语音单位的候选序列之一的步骤包括：
基于音频信号的部分与语音单位相应的概率计算生成语音单位的每个候选序列的概率；以及
将生成语音单位的每个候选序列的概率之中具有最高概率的语音单位的候选序列之一识别为与音频信号相应。
CN201610510741.3A 2015-06-30 2016-06-30 语音识别设备，语音识别方法和电子装置 Active CN106328127B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0093653 2015-06-30
KR1020150093653A KR102371188B1 (ko) 2015-06-30 2015-06-30 음성 인식 장치 및 방법과 전자 장치

Publications (2)

Publication Number Publication Date
CN106328127A CN106328127A (zh) 2017-01-11
CN106328127B true CN106328127B (zh) 2021-12-28

Family

ID=56134254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610510741.3A Active CN106328127B (zh) 2015-06-30 2016-06-30 语音识别设备，语音识别方法和电子装置

Country Status (5)

Country Link
US (2) US20170004824A1 (zh)
EP (1) EP3113176B1 (zh)
JP (1) JP6637848B2 (zh)
KR (1) KR102371188B1 (zh)
CN (1) CN106328127B (zh)

Families Citing this family (166)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
JP6259911B2 (ja) 2013-06-09 2018-01-10 アップル インコーポレイテッド デジタルアシスタントの２つ以上のインスタンスにわたる会話持続を可能にするための機器、方法、及びグラフィカルユーザインタフェース
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
JP6614639B2 (ja) 2015-05-22 2019-12-04 国立研究開発法人情報通信研究機構 音声認識装置及びコンピュータプログラム
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
KR102371188B1 (ko) * 2015-06-30 2022-03-04 삼성전자주식회사 음성 인식 장치 및 방법과 전자 장치
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US9792907B2 (en) 2015-11-24 2017-10-17 Intel IP Corporation Low resource key phrase detection for wake on voice
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10229672B1 (en) 2015-12-31 2019-03-12 Google Llc Training acoustic models using connectionist temporal classification
US9972313B2 (en) 2016-03-01 2018-05-15 Intel Corporation Intermediate scoring and rejection loopback for improved key phrase detection
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
JP6727607B2 (ja) * 2016-06-09 2020-07-22 国立研究開発法人情報通信研究機構 音声認識装置及びコンピュータプログラム
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179343B1 (en) * 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10043521B2 (en) * 2016-07-01 2018-08-07 Intel IP Corporation User defined key phrase detection by user dependent sequence modeling
US10679643B2 (en) * 2016-08-31 2020-06-09 Gregory Frederick Diamos Automatic audio captioning
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10783883B2 (en) * 2016-11-03 2020-09-22 Google Llc Focus session at a voice interface device
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10229685B2 (en) * 2017-01-18 2019-03-12 International Business Machines Corporation Symbol sequence estimation in speech
CN106782513B (zh) * 2017-01-25 2019-08-23 上海交通大学 基于置信度的语音识别实现方法及系统
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
WO2018209608A1 (en) * 2017-05-17 2018-11-22 Beijing Didi Infinity Technology And Development Co., Ltd. Method and system for robust language identification
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
KR102339716B1 (ko) * 2017-06-30 2021-12-14 삼성에스디에스 주식회사 음성 인식 방법 및 그 장치
DE102017216571B4 (de) 2017-09-19 2022-10-06 Volkswagen Aktiengesellschaft Kraftfahrzeug
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
KR102441066B1 (ko) * 2017-10-12 2022-09-06 현대자동차주식회사 차량의 음성생성 시스템 및 방법
CN107729321A (zh) * 2017-10-23 2018-02-23 上海百芝龙网络科技有限公司 一种语音识别结果纠错方法
CN107895191B (zh) 2017-10-30 2022-02-22 上海寒武纪信息科技有限公司 一种信息处理方法及相关产品
CN107992812A (zh) * 2017-11-27 2018-05-04 北京搜狗科技发展有限公司 一种唇语识别方法及装置
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10423727B1 (en) 2018-01-11 2019-09-24 Wells Fargo Bank, N.A. Systems and methods for processing nuances in natural language
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10580432B2 (en) * 2018-02-28 2020-03-03 Microsoft Technology Licensing, Llc Speech recognition using connectionist temporal classification
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
CN108564941B (zh) 2018-03-22 2020-06-02 腾讯科技（深圳）有限公司 语音识别方法、装置、设备及存储介质
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
US10714122B2 (en) 2018-06-06 2020-07-14 Intel Corporation Speech classification of audio for wake on voice
CN108766414B (zh) * 2018-06-29 2021-01-15 北京百度网讯科技有限公司 用于语音翻译的方法、装置、设备和计算机可读存储介质
CN109121057B (zh) * 2018-08-30 2020-11-06 北京聆通科技有限公司 一种智能助听的方法及其系统
US20210133854A1 (en) 2018-09-13 2021-05-06 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
US10650807B2 (en) 2018-09-18 2020-05-12 Intel Corporation Method and system of neural network keyphrase detection
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
KR102651413B1 (ko) * 2018-10-17 2024-03-27 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
KR20200056001A (ko) * 2018-11-14 2020-05-22 삼성전자주식회사 인공신경망에서의 디코딩 방법 및 그 장치
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11127394B2 (en) 2019-03-29 2021-09-21 Intel Corporation Method and system of high accuracy keyphrase detection for low resource devices
CN111862961A (zh) * 2019-04-29 2020-10-30 京东数字科技控股有限公司 识别语音的方法和装置
CN111862943B (zh) * 2019-04-30 2023-07-25 北京地平线机器人技术研发有限公司 语音识别方法和装置、电子设备和存储介质
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN110852324A (zh) * 2019-08-23 2020-02-28 上海撬动网络科技有限公司 一种基于深度神经网络集装箱箱号检测方法
CN110503956B (zh) * 2019-09-17 2023-05-12 平安科技（深圳）有限公司 语音识别方法、装置、介质及电子设备
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
KR102577589B1 (ko) * 2019-10-22 2023-09-12 삼성전자주식회사 음성 인식 방법 및 음성 인식 장치
US11373639B2 (en) * 2019-12-12 2022-06-28 Mitsubishi Electric Research Laboratories, Inc. System and method for streaming end-to-end speech recognition with asynchronous decoders pruning prefixes using a joint label and frame information in transcribing technique
CN111090630A (zh) * 2019-12-16 2020-05-01 中科宇图科技股份有限公司 基于多源空间点数据的数据融合处理方法
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
CN111681661B (zh) * 2020-06-08 2023-08-08 北京有竹居网络技术有限公司 语音识别的方法、装置、电子设备和计算机可读介质
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
TWI759003B (zh) * 2020-12-10 2022-03-21 國立成功大學 語音辨識模型的訓練方法
CN112735394B (zh) * 2020-12-16 2022-12-30 青岛海尔科技有限公司 一种语音的语义解析方法及装置
CN112837401B (zh) * 2021-01-27 2024-04-09 网易（杭州）网络有限公司 一种信息处理方法、装置、计算机设备及存储介质
CN113488029A (zh) * 2021-06-23 2021-10-08 中科极限元(杭州)智能科技股份有限公司 基于参数共享非自回归语音识别训练解码方法及系统
US11682413B2 (en) * 2021-10-28 2023-06-20 Lenovo (Singapore) Pte. Ltd Method and system to modify speech impaired messages utilizing neural network audio filters
CN113889083B (zh) * 2021-11-03 2022-12-02 广州博冠信息科技有限公司 语音识别方法及装置、存储介质、电子设备
CN114783419B (zh) * 2022-06-21 2022-09-27 深圳市友杰智新科技有限公司 结合先验知识的文本识别方法、装置、计算机设备
CN117524263A (zh) * 2022-07-26 2024-02-06 北京三星通信技术研究有限公司 数据处理方法、设备唤醒方法、电子设备及存储介质
CN115329785B (zh) * 2022-10-15 2023-01-20 小语智能信息科技(云南)有限公司 融入音素特征的英-泰-老多语言神经机器翻译方法及装置
CN116580701B (zh) * 2023-05-19 2023-11-24 国网物资有限公司 告警音频识别方法、装置、电子设备和计算机介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1140870A (zh) * 1995-04-07 1997-01-22 索尼公司 语言识别方法和装置及语言翻译系统
CN101042867A (zh) * 2006-03-24 2007-09-26 株式会社东芝 语音识别设备和方法
CN103854643A (zh) * 2012-11-29 2014-06-11 株式会社东芝 用于合成语音的方法和装置
EP2905780A1 (en) * 2014-02-11 2015-08-12 Malaspina Labs (Barbados) Inc. Voiced sound pattern detection

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62118398A (ja) * 1985-11-19 1987-05-29 松下電器産業株式会社 単語認識装置
JP2000029486A (ja) * 1998-07-09 2000-01-28 Hitachi Ltd 音声認識システムおよび方法
US7219123B1 (en) * 1999-10-08 2007-05-15 At Road, Inc. Portable browser device with adaptive personalization capability
JP3782943B2 (ja) * 2001-02-20 2006-06-07 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声認識装置、コンピュータ・システム、音声認識方法、プログラムおよび記録媒体
KR100438838B1 (ko) * 2002-01-29 2004-07-05 삼성전자주식회사 대화 포커스 추적 기능을 가진 음성명령 해석장치 및 방법
JP4511274B2 (ja) * 2004-07-29 2010-07-28 三菱電機株式会社 音声データ検索装置
WO2008114448A1 (ja) * 2007-03-20 2008-09-25 Fujitsu Limited 音声認識システム、音声認識プログラムおよび音声認識方法
KR20090065102A (ko) * 2007-12-17 2009-06-22 한국전자통신연구원 어휘 디코딩 방법 및 장치
US9361879B2 (en) * 2009-02-24 2016-06-07 Nexidia Inc. Word spotting false alarm phrases
WO2011037587A1 (en) * 2009-09-28 2011-03-31 Nuance Communications, Inc. Downsampling schemes in a hierarchical neural network structure for phoneme recognition
JP5753769B2 (ja) * 2011-11-18 2015-07-22 株式会社日立製作所 音声データ検索システムおよびそのためのプログラム
US8682678B2 (en) * 2012-03-14 2014-03-25 International Business Machines Corporation Automatic realtime speech impairment correction
KR20140028174A (ko) * 2012-07-13 2014-03-10 삼성전자주식회사 음성 인식 방법 및 이를 적용한 전자 장치
US9263036B1 (en) * 2012-11-29 2016-02-16 Google Inc. System and method for speech recognition using deep recurrent neural networks
JP6011565B2 (ja) * 2014-03-05 2016-10-19 カシオ計算機株式会社 音声検索装置、音声検索方法及びプログラム
US9728185B2 (en) * 2014-05-22 2017-08-08 Google Inc. Recognizing speech using neural networks
US9792898B2 (en) * 2014-07-27 2017-10-17 Malaspina Labs (Barbados), Inc. Concurrent segmentation of multiple similar vocalizations
KR101594835B1 (ko) * 2014-11-05 2016-02-17 현대자동차주식회사 음성인식 기능을 갖는 차량 및 헤드유닛과 이를 위한 음성 인식방법
US10540957B2 (en) * 2014-12-15 2020-01-21 Baidu Usa Llc Systems and methods for speech transcription
US9805717B2 (en) * 2015-03-06 2017-10-31 Dell Products Lp Voice-based input using natural language processing for interfacing with one or more devices
US10127904B2 (en) * 2015-05-26 2018-11-13 Google Llc Learning pronunciations from acoustic sequences
KR102371188B1 (ko) * 2015-06-30 2022-03-04 삼성전자주식회사 음성 인식 장치 및 방법과 전자 장치
US11580978B2 (en) * 2019-12-17 2023-02-14 Google Llc Machine learning for interpretation of subvocalizations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1140870A (zh) * 1995-04-07 1997-01-22 索尼公司 语言识别方法和装置及语言翻译系统
CN101042867A (zh) * 2006-03-24 2007-09-26 株式会社东芝 语音识别设备和方法
CN103854643A (zh) * 2012-11-29 2014-06-11 株式会社东芝 用于合成语音的方法和装置
EP2905780A1 (en) * 2014-02-11 2015-08-12 Malaspina Labs (Barbados) Inc. Voiced sound pattern detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Bangla speech recognition using two stage multilayer neural networks;Qamrun Nahar Eity 等;《 2010 International Conference on Signal and Image Processing》;20110120;第222-226页 *

Also Published As

Publication number Publication date
US20210272551A1 (en) 2021-09-02
EP3113176A1 (en) 2017-01-04
EP3113176B1 (en) 2019-04-03
KR20170003246A (ko) 2017-01-09
US20170004824A1 (en) 2017-01-05
CN106328127A (zh) 2017-01-11
JP6637848B2 (ja) 2020-01-29
KR102371188B1 (ko) 2022-03-04
JP2017016131A (ja) 2017-01-19

Similar Documents

Publication Publication Date Title
CN106328127B (zh) 语音识别设备，语音识别方法和电子装置
CN106469552B (zh) 语音识别设备和方法
CN111292728B (zh) 语音识别方法和设备
CN105654946B (zh) 用于语音识别的设备和方法
CN107590135B (zh) 自动翻译方法、设备和系统
CN106688034B (zh) 具有情感内容的文字至语音转换
CN105679317B (zh) 用于训练语言模型并识别语音的方法和设备
CN106373561B (zh) 声学得分计算和语音识别的设备和方法
WO2019191554A1 (en) Adaptive permutation invariant training with auxiliary information for monaural multi-talker speech recognition
EP2685452A1 (en) Method of recognizing speech and electronic device thereof
EP2393082A2 (en) System and method of multi model adaptation and voice recognition
JP7051919B2 (ja) ストリーミングアテンションモデルに基づく音声認識復号化方法、装置、機器及びコンピュータ可読記憶媒体
US11574628B1 (en) Deep multi-channel acoustic modeling using multiple microphone array geometries
US10909972B2 (en) Spoken language understanding using dynamic vocabulary
CN112825249A (zh) 语音处理方法和设备
US11017763B1 (en) Synthetic speech processing
KR20180025634A (ko) 음성 인식 장치 및 방법
CN103943111A (zh) 一种身份识别的方法及装置
JP7178394B2 (ja) 音声信号を処理するための方法、装置、機器、および媒体
JP2020042257A (ja) 音声認識方法及び装置
US20230368796A1 (en) Speech processing
Kim et al. Sequential labeling for tracking dynamic dialog states
US20240013784A1 (en) Speaker recognition adaptation
KR102167157B1 (ko) 발음 변이를 적용시킨 음성 인식 방법
CN112863496A (zh) 一种语音端点检测方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant