CN103069480B - 用于语音识别的语音模型和噪声模型 - Google Patents

用于语音识别的语音模型和噪声模型 Download PDF

Info

Publication number
CN103069480B
CN103069480B CN201180026390.4A CN201180026390A CN103069480B CN 103069480 B CN103069480 B CN 103069480B CN 201180026390 A CN201180026390 A CN 201180026390A CN 103069480 B CN103069480 B CN 103069480B
Authority
CN
China
Prior art keywords
user
audio
sound signal
model
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180026390.4A
Other languages
English (en)
Other versions
CN103069480A (zh
Inventor
M·I·洛伊德
T·克里斯特詹森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN103069480A publication Critical patent/CN103069480A/zh
Application granted granted Critical
Publication of CN103069480B publication Critical patent/CN103069480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

接收由设备基于来自用户的音频输入生成的音频信号。该音频信号可以至少包括对应于由设备记录的一个或多个用户话语的用户音频部分。可以访问与用户相关联的用户语音模型，并且可以进行音频信号中的背景音频在定义阈值以下的确定。响应于确定音频信号中的背景音频在定义阈值以下，可以基于音频信号适配访问的用户语音模型以生成对用户的语音特性建模的适配用户语音模型。可以使用适配用户语音模型对接收的音频信号执行噪声补偿以生成与所述接收的音频信号相比具有减少的背景音频的滤波音频信号。

Description

用于语音识别的语音模型和噪声模型
相关申请的交叉引用
本申请要求于2010年6月14日递交的、标题为“SPEECH ANDNOISE MODELS FOR SPEECH RECOGNITION”的美国申请序列号12/814,665的优先权，其公开内容通过引用并入于此。
技术领域
本说明书涉及语音识别。
背景技术
语音识别可以用于话音搜索查询。通常，搜索查询包括当用户请求搜索引擎执行搜索时用户向搜索引擎提交的一个或者多个查询项。在其他方式中，用户可以通过在键盘上键入或者在话音查询的情况下通过向例如移动设备的麦克风中口述查询项来录入搜索查询的查询项。
当通过例如移动设备提交话音查询时，移动设备的麦克风除了用户的口述话语之外还可能记录环境噪声或者声音，在其他方面被称作“环境音频”或“背景音频”。例如，环境音频可以包括位于用户周围的其他人的背景聊天或者谈话或者由自然(例如，狗吠)或者人造物体(例如，办公室、机场或者公路噪声或者建筑活动)生成的噪声。环境音频可能部分地遮蔽用户的话音，从而使得自动化语音识别(“ASR”)引擎难以准确识别口述话语。
发明内容
在一个方面，一种系统包括一个或多个处理设备以及存储有指令的一个或多个存储设备，当指令被一个或多个处理设备执行时，使得一个或多个处理设备接收由设备基于来自用户的音频输入生成的音频信号，音频信号至少包括对应于由设备记录的一个或多个用户话语的用户音频部分；访问与用户相关联的用户语音模型；确定音频信号中的背景音频在定义阈值以下；响应于确定音频信号中的背景音频在定义的阈值以下，基于音频信号适配访问的用户语音模型以生成对用户语音特性建模的适配用户语音模型；以及使用适配用户语音模型对接收的音频信号执行噪声补偿以生成与接收的音频信号相比具有减少的背景音频的滤波音频信号。
实现方式可以包括一个或多个以下特征。例如，音频信号可以包括仅对应于围绕用户的背景音频的环境音频部分以确定音频信号中的背景音频在定义阈值之下，指令可以包括如下指令，当被执行时，使得一个或多个处理设备确定环境音频部分中的能量的量；以及确定环境音频部分中能量的量在阈值能量之下。为了确定音频信号中的背景音频在定义阈值之下，指令包括如下指令，当被执行时，使得所述一个或多个处理设备确定音频信号的信噪比；以及确定该信噪比在阈值信噪比之下。音频信号可以包括仅对应于围绕用户的背景音频的环境音频部分以确定音频信号的信噪比，指令包括如下指令，当被执行时，使得一个或多个处理设备确定音频信号的用户音频部分中的能量的量；确定音频信号的环境音频部分中的能量的量；以及通过确定用户音频部分与环境音频部分中的能量的量之间的比率来确定信噪比。
访问的用户语音模型可以包括尚未适配为对用户的语音特性建模的替代用户语音模型。指令可以包括如下指令，当被一个或多个处理设备执行时，使得一个或多个处理设备选择替代用户语音模型；以及将替代语音模型与用户相关联。为了选择替代用户语音模型，指令可以包括如下指令，当被一个或多个处理设备执行时，使得一个或多个处理设备确定用户的性别；以及基于用户的性别从多个替代用户语音模型之中选择替代用户语音模型。为了选择替代用户语音模型，指令可以包括如下指令，当被一个或多个处理设备执行时，使得一个或多个处理设备确定在记录一个或多个话语时用户的位置；以及基于在记录一个或多个话语时用户的位置从多个替代用户语音模型之中选择替代用户语音模型。为了选择替代用户语音模型，指令可以包括如下指令，当被一个或多个处理设备执行时，使得一个或多个处理设备确定用户的语言或口音；以及基于语言或口音从多个替代用户语音模型之中选择替代用户语音模型。为了选择替代用户语音模型，指令可以包括如下指令，当被一个或多个处理设备执行时，使得一个或多个处理设备接收至少包括对应于由设备记录的一个或多个用户话语的最初用户音频部分的最初音频信号；确定多个替代用户语音模型与基于所述最初音频信号确定的用户的期望用户语音模型之间的相似性度量；以及基于相似性度量从多个替代用户语音模型之中选择替代用户语音模型。
指令可以包括如下指令，当被执行时，使得一个或多个处理设备访问与用户相关联的噪声模型；以及其中为了执行噪声补偿，指令可以进一步包括如下指令，其使得一个或多个处理设备使用适配用户语音模型和访问噪声模型对接收的音频信号执行噪声补偿。为了执行噪声补偿，指令可以进一步包括如下指令，其使得一个或多个处理设备基于接收的音频信号适配访问噪声模型以生成对围绕用户的背景音频的特性建模的适配噪声模型；以及使用适配用户语音模型和适配噪声模型来对接收的音频信号执行噪声补偿。指令可以包括如下指令，当被执行时，使得一个或多个处理设备接收至少包括对应于由设备记录的一个或多个用户话语的第二用户音频部分的第二音频信号；确定第二音频信号中的背景音频在定义阈值之上；以及响应于确定第二音频信号中的背景音频在定义阈值之上，基于第二音频信号适配与用户相关联的噪声模型以生成对围绕用户的背景音频的特性建模的适配噪声模型。访问噪声模型可以包括尚未适配为对围绕用户的背景音频的特性建模的替代噪声模型。
指令可以包括如下指令，当被一个或多个处理设备执行时，使得一个或多个处理设备选择替代噪声模型；以及将替代噪声模型与用户相关联。为了选择替代噪声模型，指令可以包括如下指令，当被一个或多个处理设备执行时，使得一个或多个处理设备接收至少包括对应于由设备记录的一个或多个用户话语的最初用户音频部分的最初音频信号；确定在记录对应于最初用户音频部分的一个或多个话语时用户的位置；以及基于在记录对应于最初用户音频部分的一个或多个话语时用户的位置从多个替代噪声模型之中选择替代噪声模型。
为了选择替代噪声模型，指令可以包括如下指令，当被一个或多个处理设备执行时，使得一个或多个处理设备接收至少包括对应于由设备记录的一个或多个用户话语的最初用户音频部分的最初音频信号；确定多个替代噪声模型与基于最初音频信号确定的用户的期望噪声模型之间的相似性度量；以及基于相似性度量从多个替代噪声模型之中选择替代噪声模型。多个替代噪声模型中的每一个可以对特定位置中的背景音频的特性建模。多个替代噪声模型中的每一个可以对特定种类的环境条件中的背景音频的特性建模。
为了访问噪声模型，指令可以包括如下指令，当被一个或多个处理设备执行时，使得一个或多个处理设备确定在记录一个或多个话语时用户的位置；以及基于用户的位置从多个噪声模型之中选择噪声模型。
音频信号可以对应于话音搜索查询，并且指令可以包括如下指令，当被一个或多个处理设备执行时，使得一个或多个处理设备执行对滤波音频信号的语音识别以生成一个或多个用户话语的一个或多个候选转录；使用一个或多个候选转录执行搜索查询以生成搜索结果；以及向设备发送搜索结果。
在另一方面，系统包括客户端设备和自动化语音识别系统。客户端设备被配置为向自动化语音识别系统发送至少包括对应于由设备记录的一个或多个用户话语的用户音频部分的音频信号。自动化语音识别系统被配置为从客户端设备接收音频信号；访问与用户相关联的用户语音模型；确定音频信号中的背景音频在定义阈值之下；响应于确定音频信号中的背景音频在定义阈值之下，基于音频信号适配访问的用户语音模型以生成对用户的语音特性建模的适配用户语音模型；以及使用适配用户语音模型对接收的音频信号执行噪声补偿以生成与接收的音频信号相比具有减少的背景音频的滤波音频信号。
实现方式可以包括以下特征。例如，自动化语音识别系统可以被配置为对滤波音频信号执行语音识别以生成一个或多个用户话语的一个或多个候选转录。系统可以包括搜索引擎系统，其被配置为使用一个或多个候选转录来执行搜索查询以生成搜索结果；以及向客户端设备发送搜索结果。
在另一方面，方法包括接收由设备基于来自用户的音频输入生成的音频信号，音频信号至少包括对应于由设备记录的一个或多个用户话语的用户音频部分；访问与用户相关联的用户语音模型；确定音频信号中的背景音频在定义阈值以下；响应于确定音频信号中的背景音频在限定阈值以下，基于音频信号适配访问的用户语音模型以生成对用户的语音特性建模的适配用户语音模型；以及使用适配用户语音模型对接收的音频信号执行噪声补偿以生成与接收的音频信号相比具有减少的背景音频的滤波音频信号。
所描述的技术的实现方式可以包括硬件、方法或过程、或者计算机可访问介质上的计算机软件。
在附图和下文描述中阐述一个或者多个实现方式的细节。其他特征将从描述、附图和从权利要求中变得显然。
在附图和下文描述中阐述一个或者多个实现方式的细节。其他潜在特征、方面和优点将从描述、附图和权利要求中变得显然。
附图说明
图1是支持话音搜索查询的示例系统的示意图。
图2是示出过程的示例的流程图。
图3是示出过程的另一示例的流程图。
图4是示出过程的示例的泳道(swim lane)图。
具体实施方式
图1是示出了支持话音搜索查询的系统100的示例的示意图。系统100包括搜索引擎106和自动语音识别(ASR)引擎108，其通过一个或多个网络110与一组移动设备102a-102c和移动设备104连接，诸如在某些实施方式中，所述一个或多个网络110为无线蜂窝网络、无线局域网(WLAN)或者Wi-Fi网络、第三代(3G)移动电信网络、专用网络如内联网、公用网络如因特网或者其任何适当组合。
通常，设备(诸如移动设备104)的用户可以向移动设备104的麦克风口述搜索查询。在移动设备104上运行的应用将用户的口述搜索查询记录为音频信号，并且向ASR引擎108发送该音频信号作为话音搜索查询的一部分。在接收对应于话音搜索查询的音频信号之后，ASR引擎108可以将音频信号中的用户话语转译或转录成一个或多个文本候选转录，并且可以将这些候选转录作为查询项提供给搜索引擎106，从而支持移动设备104的音频搜索功能。查询项可以包括一个或多个完整或部分单词、字符或字符串。
搜索引擎106可以使用搜索查询项来向移动设备104提供搜索结果(例如，网页的统一资源标识符(URI)、图像、文档、多媒体文件等)。例如，搜索结果可以包括引用如下资源的统一资源标识符(URI)，搜索引擎确定该资源响应于搜索查询。附加地或备选地，搜索结果可以包括诸如标题、预览图像、用户评级、地图或者方向、对应资源的描述或者已经从对应资源自动或者手动提取或者以其它方式与对应资源相关联的文本的摘录之类的其他项。搜索引擎106在某些示例中可以包括用来在因特网内找到参考的web搜索引擎、用来找到企业或者个人的电话簿型搜索引擎或者另一专门化搜索引擎(例如，诸如餐馆和电影院信息、医疗和药品信息等娱乐清单)。
作为系统100的操作的示例，音频信号138被包括在通过网络110从移动设备104向ASR引擎108发送的话音搜索查询中。音频信号138包含话语140“Gym New York”。ASR引擎108接收包括音频信号138的话音搜索查询。ASR引擎108处理音频信号138以生成与在音频信号138内检测到的话语匹配的一个或多个文本候选转录或经排名的一组文本候选转录146。例如，音频信号138中的话语可以产生“Gym New York”和“Jim Newark”作为候选转录146。
由语音识别系统118生成的一个或多个候选转录146被作为搜索查询项从ASR引擎108传递到搜索引擎106。搜索引擎106向搜索算法提供搜索查询项146以生成一个或多个搜索结果。搜索引擎106向移动设备104提供一组搜索结果152(例如，网页的统一资源标识符(URI)、图像、文档、多媒体文件等)。
移动设备104在显示区域中显示搜索结果152。如屏幕截图158中所示，话语“Gym New York”140生成三个搜索结果160“JimNewark”160a、“New York Fitness”160b和“Manhattan BodyBuilding”160c。第一搜索结果160a对应于候选转录Jim Newark，并且例如可以向用户提供电话号码，或者当被选择时可以使用移动设备104自动拨打Jim Newark。最后两个搜索结果160b和160c对应于候选转录“Gym New York”并且包括网页URI。候选转录和/或搜索结果可以基于由ASR 108产生的置信测量来进行排名，该置信测量指示给定候选转录准确对应于音频信号中的话语的置信级别。
为了将音频信号中的用户话语转译或转录成一个或多个文本候选转录，ASR引擎108包括噪声补偿系统116、语音识别系统118和存储噪声模型112以及用户语音模型114的数据库111。语音识别系统118对音频信号执行语音识别以识别音频信号中的用户话语并且将这些话语转译成一个或多个文本候选转录。在某些实现方式中，语音识别系统118可以针对给定话语生成多个候选转录。例如，语音识别系统118可以将话语转录成多个项并且可以指派与话语的每个转录相关联的置信级别。
在某些实现方式中，语音识别系统118的特定变化可以基于与音频信号有关的附加上下文信息针对给定音频信号进行选择，并且选择的改变可以用于转录音频信号中的话语。例如，在某些实现方式中，连同包含用户话语的音频信号，话音搜索查询可以包括用于选择语音识别系统118的变化的区域或语言信息。在特定示例中，在其中注册移动设备104的区域或移动设备104的语言设置语言可以被提供给ASR引擎108并且供ASR引擎108用于确定移动设备104的用户可能的语言或口音。语音识别系统118的变化可以基于移动设备104的用户的预期语言或口音进行选择和使用。
ASR引擎108可以在执行语音识别之前将噪声补偿系统116应用于例如从移动设备104接收的音频信号。噪声补偿系统116可以移除或减少音频信号中的背景或环境音频以产生滤波音频信号。由于移动设备104的麦克风除了用户的话语还可以捕获环境音频，因此音频信号可能包含用户话语以及环境音频的混合。音频信号因此可以包括仅包括环境音频的一个或多个环境音频信号，以及包括用户的话语(以及潜在的环境音频)的用户音频信号。通常，环境音频可以包括发生(自然或者其他)在用户周围的任何环境声音。环境音频通常排除移动设备的用户的话音、话语或声音。语音识别系统118可以对由噪声补偿系统116产生的滤波音频信号执行语音识别以转录用户话语。在某些实例中，对滤波音频信号执行语音识别可以产生比直接对接收的音频信号执行语音识别更准确的转录。
针对给定音频信号，噪声补偿系统116使用数据库111中存储的噪声模型112之一和用户语音模型之一来移除或减少音频信号中的背景或环境音频。噪声模型112包括替代噪声模型120和适配噪声模型120b。类似地，用户语音模型包括替代用户语音模型126a和适配用户语音模型126b。通常，适配噪声模型120b和适配用户语音模型126b专用于特定用户并且已经基于通过先前话音搜索查询从该用户接收的音频信号被适配于该用户。当针对提交当前话音搜索查询的特定用户没有适配噪声模型或适配用户语音模型时，分别使用替代噪声模型120a和替代用户语音模型126a。
在某些实例中，噪声补偿系统116的性能可以通过使用适配用户语音模型进行改进，该适配用户语音模型已经被训练过或者以其它方式适配于提交话音搜索查询的特定用户的具体语音特性。然而，为了使语音模型适配于特定用户，可能需要该用户的语音的采样。在诸如系统100的环境中，那些采样最初可能并不容易地可用。因此，在一个实现方式中，当用户最初发送话音搜索查询时或者如果出于某些其他原因没有针对用户的适配用户语音模型时，ASR 108从一个或多个替代用户语音模型126a选择替代用户语音模型。所选择的替代用户语音模型可以是被确定为用户的语音特性的合理近似的用户语音模型。所选择的替代用户语音模型用于对最初音频信号执行噪声补偿。随着用户提交随后的话音搜索查询，与所述那些随后查询一起发送的某些或所有音频信号用于将所选择的替代用户语音模型训练或适配于专用于该用户的适配用户语音模型(即，对用户的语音特性建模)，其用于那些随后的音频信号的噪声补偿。
例如，在一个实现方式中，当接收到随后的音频信号时，ASR 108确定环境或背景音频是否处于特定阈值之下。如果在特定阈值之下，则该音频信号用于将替代用户语音模型适配于或者进一步将适配用户语音模型适配于特定用户。如果背景音频在阈值之上，则音频信号不用于适配用户语音模型(但可以用于适配噪声模型，如下文所述)。
用户语音模型(无论是替代用户语音模型126a还是适配用户语音模型126b)例如可以被实现为隐马尔可夫模型(HMM)或高斯混合模型(GMM)。可以使用期望最大化算法训练或以其它方式适配用户语音模型。
在某些实现方式中，用户可以被明确地标识。例如，某些实现方式可以在接受搜索查询之前向用户提示标识。其他实现方式可以使用其他可用信息隐式标识用户，诸如键入用户的模式或者用户的移动模式(例如，当加速器形成设备的一部分时)。当用户可以被具体标识时，适配用户语音模型可以通过对应于标识用户的用户标识符进行索引。
在其他实现方式中，用户可能不能够被具体标识。在此情况下，用于录入话音搜索查询的设备(诸如移动设备104)可以被用作具体用户的标识符，并且可以基于与用于提交话音搜索查询的设备对应的设备标识符索引适配用户语音模型。在其中通常只存在单个或主要设备用户的环境中，例如当移动电话被用作输入设备时，以设备为基础开发适配用户语音模型可以提供可接受的语音模型以达到噪声补偿系统116(具体地)或者ASR 108(更通用的)上强加的性能约束。
通过适配用户语音模型可以改进噪声补偿系统116的性能的相同方法，噪声补偿系统116的性能还可以通过使用已经被训练或以其它方式适配于通常围绕用户的环境音频的噪声模型而被改进。正如语音采样那样，在诸如系统100的环境中，通常围绕用户的环境音频的采样最初可能并不容易地可用。因此，在一个实现方式中，当用户最初发送话音搜索查询时或者如果出于某些其他原因没有针对用户的适配用户语音模型时，ASR 108从一个或多个替代噪声模型126b选择替代噪声模型。所选择的替代噪声模型可以是基于已知或确定的信息被确定为在用户周围的期望环境音频的合理近似的噪声模型。所选择的替代噪声模型用于对最初音频信号执行噪声补偿。随着用户提交随后的话音搜索查询，与那些查询一起发送的某些或所有音频信号用于将所选择的替代噪声模型适配于专用于该用户的适配噪声模型(即，当提交搜索查询时对围绕用户的典型环境声音的特性建模)，其用于那些随后的音频信号的噪声补偿。
例如，在一个实现方式中，当接收到随后的音频信号时，ASR 108确定环境或背景音频是否处于特定阈值之下。如果没有在特定阈值之下，则该音频信号用于将替代噪声模型适配于或者进一步将适配噪声模型适配于特定用户。在某些实现方式中，无论背景音频是否在特定阈值之上，接收的音频信号都可以用于适配替代噪声模型或适配噪声模型。
在某些实现方式中，为了确保获得不具有用户话语的环境音频的采样并且该采样可以用于适配噪声模型，移动设备104上的话音搜索查询应用可以在用户说出搜索查询之前开始记录和/或可以在用户完成说出搜索查询之后继续记录。例如，话音搜索查询应用可以捕获在用户说出搜索查询之前和/或之后两秒的音频以确保获得环境音频的采样。
在某些实现方式中，单个替代噪声模型可以被选择并适配于跨用户使用话音搜索应用的不同环境的针对该用户的单个适配噪声模型。然而，在其他实现中，当使用话音搜索应用时，适配噪声模型可以针对用户常去的各种位置进行开发。例如，可以针对不同位置开发不同噪声模型并且存储为替代噪声模型120a。当提交话音搜索查询时用户的位置可以由移动设备104发送到ASR 108，或者当提交话音搜索查询时用户的位置可以通过其他方式确定。当接收到针对给定位置的最初音频信号时，继而可以选择针对该位置的替代噪声模型，并且当从该位置接收到另外的话音搜索查询时，相关联的音频信号可以用于适配该特定噪声模型。这可以针对当执行话音搜索查询时用户所处的不同位置中的每个位置发生，由此产生针对用户的多个适配噪声模型，其中每个模型专用于某个位置。在定义的非使用时间段之后(例如，用户在特定时间里没有在该位置执行话音搜索)，可以删除位置特定噪声模型。
当提交话音搜索查询时用户的位置、与给定噪声模型相关联的位置和与给定语音模型相关联的位置均可以通过各种粒度级别进行定义，最具体地是经纬导航坐标或者由导航坐标密切界定(例如，四分之一英里或更小)的区域。备选地，位置可以使用区域标识符提供，诸如州名或标识符、城市名、惯用名(例如，“Central Park”)、国家名或任意定义区域的标识符(例如，“cell/region ABC 123”)。在某些实现方式中，位置可以表示位置的类型，诸如在某些示例中的海滩、大都会、游乐园、移动交通工具内、船上、建筑物内、户外、乡下、地下位置(例如，地铁、停车场等)、街面位置、高楼(摩天大楼)内部或者森林中，而不是地理指定位置。粒度级别与在提交话音搜索查询时的用户位置、与给定噪声模型相关联的位置和与给定语音模型相关联的位置之间可以是相同的或不同的。
噪声模型(无论是替代120a还是适配120b)例如可以被实现为隐马尔可夫模型(HMM)或高斯混合模型(GMM)。用户语音模型可以使用期望最大化算法训练或者以其它方式适配。
如上文所述，在某些实现方式中，用户可以被具体标识而在其他实现方式中设备可以被用作用户的替代。因此，类似于对语音模型的索引，适配噪声模型可以由对应于当用户可以被具体标识时标识的用户的用户标识符进行索引，或者可以被基于对应于当用户无法被具体标识时用于提交话音搜索查询的设备的设备标识符索引。
图2是示出了可以在从用户或设备接收最初话音搜索查询时执行的过程200的示例的流程图，而图3是示出了可以在从用户或设备接收随后的话音搜索查询时执行的过程300的示例的流程图。下文将系统100的组件描述为执行过程200和过程300，但系统100或另一系统的其他组件也可以执行过程200或过程300。
参考图2，ASR 108从设备(诸如移动设备104)接收最初话音搜索查询(202)。最初话音搜索查询可以是最初的，因为该话音搜索查询是针对具体用户或设备接收的第一个话音搜索查询；因为该话音搜索查询是从提交该话音搜索查询的特定位置接收的第一个；或者因为适配用户语音模型或适配噪声模型(或两者)出于某些其他原因(例如，因为该模型在特定时间段内没有使用而被删除)而针对用户或设备不存在。
话音搜索查询包括音频信号，该音频信号包括用户音频信号和环境音频信号。用户音频信号包含由用户口述至移动设备104的麦克风的一个或多个话语以及潜在的环境音频。环境音频信号仅包含环境音频。如下文所述，话音搜索查询还可以包括上下文信息。
当被采用时，ASR 108访问关于话音搜索查询的上下文信息(204)。该上下文信息例如可以提供关于话音搜索查询中的音频信号的条件的指示。该上下文信息可以包括时间信息、日期信息、引用在记录期间由特定移动设备测量的速度或移动量的数据、其他设备传感器数据、设备状态数据(例如，蓝牙头戴耳机、扬声器电话或传统输入方法)、如果用户选择提供时的用户标识符或者标识移动设备类型或型号的信息。
该上下文信息还可以包括在其提交话音搜索查询的位置。该位置例如可以通过用户的日程表确定、从用户偏好(例如，存储在ASR引擎108或搜索引擎106的用户账号中)或默认位置导出、基于过去位置(例如，由用于提交查询的设备(例如，移动设备104)的全球定位系统(GPS)模块计算的最近位置)、在提交话音查询时由用户显式提供、从话语确定、基于发射塔三角测量计算、由移动设备104中的GPS模块提供(例如，话音搜索应用可以访问GPS设备以确定位置并且随话音搜索查询一起发送该位置)、或者使用航位推测法估计。如果由设备发送，则位置信息可以包括指示该位置信息的精确程度的精确度信息。
ASR 108可以使用此类上下文信息来帮助语音识别，例如通过使用上下文信息来选择语音识别系统的特定变型或者选择适当的替代用户语音模型或替代噪声模型。ASR 108可以将此类上下文信息传递到搜索引擎106以改进搜索结果。某些或所有上下文信息可以与话音搜索查询一起接收。
如果针对用户的适配用户语音模型不存在，则ASR 108选择最初或替代用户语音模型并且将该最初用户语音模型与用户或设备相关联(例如，取决于用户是否可以被具体标识)(206)。例如，如上文所述，ASR 108可以选择若干可用替代用户语音模型中的一个。
选定的替代用户语音模型可以是基于已知或确定信息被确定为用户的语音特性的合理近似的用户语音模型，尽管该选定的替代用户语音模型尚未被用用户的语音的任意采样所适配。例如，在一个实现方式中，可以存在两个替代用户语音模型：一个用于男性话音而一个用于女性话音。用户的性别可以被确定并且适当的替代用户语音模型(男性或女性)可以基于用户的可能的性别进行选择。用户的性别例如可以通过分析与最初话音搜索查询一起接收的音频信号或者基于例如由用户自愿提交的并且包括在用户的简档中的信息中的信息进行确定。
附加地或备选地，针对其他用户(诸如移动设备102a-102c的用户)的适配用户语音模型可以被用作替代用户语音模型。当接收到最初话音搜索查询时，表示针对提交最初搜索查询的用户的期望模型与已经存储在数据库111中的适配用户语音模型(对应于其他用户)之间的相似度的相似度度量可以基于与最初搜索查询一起包括的最初音频信号进行确定。例如，如果模型基于约束最大似然线性回归技术，则相似度度量可以是模型之间的差异的L2范数(针对每个系数的平方差的总和)。在其中使用GMM技术的情况下，相似度度量可以是两个概率密度函数之间的Kullback-Leibler熵，或者如果一个模型是GMM而来自单个话语的期望模型只是空间点，则可能是GMM的概率密度位于该空间点。在使用GMM的其他实现方式中，相似度度量例如可以是每个GMM的平均之间的距离，或者是由协方差矩阵的某些范数规范化的平均之间的距离。
最接近用户的期望模型(如由相似度度量所示)的适配用户语音模型可以被选择作为针对提交最初话音搜索查询的用户的替代用户语音模型。例如，当设备104的用户提交最初话音搜索查询时，ASR 108可以确定表示针对设备104的用户的期望用户语音模型与针对设备102a的用户的适配用户语音模型之间的相似度的相似度度量。类似地，ASR 108可以确定表示针对设备104的用户的期望用户语音模型与针对设备102b的用户的适配用户语音模型之间的相似度的相似度度量。如果相似度度量指示针对设备104的用户的期望模型比针对设备102b的用户的模型更类似于针对设备102a的用户的模型，则针对设备102a的用户的模型可以被用作针对设备104的用户的替代用户语音模型。
作为采用GMM的实现方式的特定示例，话音搜索查询可以包括包含语音和环境信号的话语。该查询可以被分段成例如25ms的分段，其中每个分段是语音或者纯环境。针对每个分段，计算特征向量xt，其中对应于语音的向量被指定为xs。针对在数据库中具有的每个潜在替代模型Mi，计算每个向量的似然度：
p ( x t , i ) = p ( x t | i ) p ( i ) = Σ j π j N ( x t ; μ i , j , Σ i , j ) p ( i )
这是GMM的似然度计算并且p(i)是该替代模型的先验。假设观察的独立性，语音向量xs的集合的概率可以表示为：
p ( x s , i ) = Π s Σ j π j N ( x s ; μ i , j , Σ i , j ) p ( i ) ]
其中xs是语音向量的集合。
给定观察xs的类i的条件概率为：
p(i|xs)＝p(xs，i)/p(xs)
其中
p ( x s ) = Σ i p ( x s , i )
该条件概率可以被用作当前话语与特定替代语音模型Mi之间的相似度度量。
具有最高条件概率的替代模型可以被选择：
modelindex＝ArgMax(p(i|xs))i
上下文信息(诸如用户的口音或期望的语言)可以被独自使用或者与上文所述其他技术组合使用以选择替代用户语音模型。例如，多个替代用户语音模型可以针对不同语言和/或口音进行存储。当提交话音搜索查询时用户的位置可以供ASR 108用于确定期望的语言或口音，并且对应于期望语言和/或口音的替代用户语音模型可以被选择。类似地，针对用户的语言和/或位置信息可以被存储在例如用户的简档中，并且用于选择对应于用户的语言和/或口音的替代用户语音模型。
如果适配用户语音模型已经存成(例如，由于话音搜索查询是针对特定位置的最初位置但不是针对用户或设备)，则动作206可以被跳过，或者可以被用适配用户语音模型的其他适配所替代。例如，通过最初话音搜索查询接收的音频信号可以被评估以确定背景音频是否在特定阈值之下，并且如果在特定阈值之下，则该音频信号可以被用于进一步训练或通过其他方式适配该适配用户语音模型。
ASR 108选择最初或替代噪声模型并且将该最初噪声模型与用户或设备相关联(例如，取决于用户是否可以被具体标识)(208)。选定替代噪声模型可以是基于已知或确定信息被确定为围绕用户的期望环境音频的合理近似的噪声模型。例如，替代噪声模型可以针对不同标准种类的环境条件(诸如，在汽车中、在机场、在家或在酒吧/餐厅)进行开发。来自系统中其他用户的数据可以被用于开发替代噪声模型。例如，如果低噪声数据的某些持续时间(例如，10分钟)已经被从用户收集，则该数据可以被用于生成替代模型。当接收最初音频信号时，表示期望噪声模型与标准替代噪声模型之间的相似度的相似度度量可以基于最初音频信号进行确定，并且该标准替代噪声模型之一可以基于该相似度度量进行选择(例如，使用类似于上文关于选择替代用户模型所述的技术)。例如，期望噪声模型可以基于环境音频信号进行确定。超出特定不相似阈值(例如，基于KL距离确定)的替代噪声模型(例如，100个)的集合可以被保持为标准替代模型，并且所使用的替代模型可以使用如所述的相似度度量从该集合中进行选择。当选择替代噪声模型时，这可以最小化计算。
附加地或备选地，不同噪声模型可以针对不同位置进行开发并且存储为替代噪声模型120a。例如，针对位置A 132a和位置B 132b的噪声模型可以被开发并且存储为替代噪声模型120a。针对具体位置的噪声模型可以基于由那些位置中的其他用户发起的先前话音搜索查询进行开发。针对位置B 132b的噪声模型例如可以基于在位置B 132b时由ASR 108接收作为来自设备102b的用户的话音搜索查询的一部分的音频信号130b和在位置B 132b时由ASR 108接收作为来自设备102c的用户的话音搜索查询的一部分的音频信号130c进行开发。针对位置A 132a的噪声模型例如可以基于在位置A由ASR
108接收作为来自设备102a的用户的话音搜索查询的一部分的音频信号130a进行开发。
当接收最初音频信号时，替代噪声模型可以基于用户的位置被选择。例如，当移动设备104的用户从位置B 132b提交最初话音搜索时，ASR 108可以选择针对位置B的替代噪声模型。在某些实现方式中，移动设备104上的话音搜索应用可以访问该移动设备上的GPS以确定用户的位置并且与话音搜索查询一起向ASR 108发送位置信息。位置信息继而可以供ASR 108使用以基于该位置确定适当的替代噪声模型。在其他实现方式中，当接收最初音频信号时，表示期望噪声模型与数据库111中已经存储的位置特有的替代噪声模型之间相似度的相似度度量可以基于该最初音频信号进行确定，并且该位置特有的替代噪声模型之一可以基于该相似度度量进行选择。
使用最初(或适配)用户语音模型和最初噪声模型，ASR 108的噪声补偿系统116对与话音搜索查询一起接收的音频信号执行噪声补偿以移除或减少音频信号中的背景音频，由此产生滤波音频信号(210)。例如，在例如ALGONQUIN：Iterating Laplace′s Methodto Remove Multiple Types of Acoustic Distortion for Robust SpeechRecognition，Eurospeech 2001-Scandinavia中描述的诸如Algonquin算法之类的算法可以用于使用最初用户语音模型和最初噪声模型来执行噪声补偿。
语音识别系统对滤波音频信号执行语音识别以将音频信号中的话语转录成一个或多个候选转录(210)。搜索查询可以使用一个或多个候选转录执行。在某些实现方式中，ASR 108可以使用上下文信息来选择用于执行语音识别的语音识别系统的特定变型。例如，用户的口音和/或期望或已知语言可以用于选择适当的语音识别系统。当提交话音搜索查询时用户的位置可以用于确定用户的期望语言，或者用户的语言可以包括在该用户的简档中。
参考图3，ASR 108从设备(诸如移动设备104)接收随后的话音搜索查询(302)。该随后的话音搜索查询可以是随后的，这是因为该话音搜索查询在针对具体用户或设备的先前话音搜索查询之后接收，或者因为存在针对用户或设备的替代或适配用户语音模型或噪声模型。
随后的话音搜索查询包括音频信号，该音频信号包括用户音频信号和环境音频信号。用户音频信号包含由用户口述至移动设备104的麦克风中的一个或多个话语以及潜在的环境音频。环境音频信号仅包含环境音频。如下文所述，话音搜索查询还可以包括上下文信息。
当被采用时，ASR 108访问关于话音搜索查询的上下文信息(304)。ASR 108可以使用此类上下文信息来帮助语音识别，例如，通过使用该上下文信息来选择语音识别系统的特定变型。附加地或备选地，上下文信息可以用于帮助替代或适配用户语音模型和/或适配或替代噪声模型的选择和/或适配。ASR 108可以向搜索引擎106传递此类上下文信息以改进搜索结果。某些或所有上下文信息可以与话音搜索查询一起接收。
ASR 108确定与话音搜索查询一起接收的音频信号中环境音频是否在定义阈值之下(306)。例如，话音活动检测器可以用于确定接收的音频信号中的用户音频信号和环境音频信号。ASR 108继而可以确定环境音频信号中的能量并且将该确定的能量与阈值能量进行比较。如果该能量在所述阈值能量之下，则环境音频被认为在定义阈值之下。在另一示例中，ASR 108可以确定用户音频信号中的能量，确定环境音频信号中的能量，并且继而确定用户音频信号中的能量与环境音频信号中的能量的比率。该比率可以表示音频信号的信噪比(SNR)。音频信号的SNR继而可以与阈值SNR相比较，并且当音频信号的SNR在阈值SNR之上时，环境音频被认为在定义阈值之下。
如果与话音搜索查询一起接收的音频信号中的环境音频不在定义阈值之下，则使用该音频信号适配替代(或适配)噪声模型以生成适配噪声模型(312)。在某些实现方式中，待适配的特定噪声模型基于用户的位置进行选择。例如，当不同噪声模型用于用户从其频繁提交话音搜索查询的不同位置时，ASR 108可以使用用户或设备的位置以选择针对该位置的替代或适配噪声模型。
噪声模型可以在整个音频信号上适配，或者环境音频信号可以被提取并用于适配噪声模型，取决于噪声模型的特定实现方式以及语音增强或语音分离算法。诸如隐马尔可夫模型或高斯混合模型之类的技术可以用于实现用户语音模型，并且诸如期望最大化之类的技术可以用于适配用户语音模型。
如果与话音搜索查询一起接收的音频信号中的环境音频在定义阈值之下，则该音频信号用于适配先前选择的替代用户语音模型(如果该替代先前尚未适配于适配用户语音模型)或者适配用户语音模型(308)。用户语音模型可以在整个音频信号上适配，或者用户音频信号可以被提取并用于适配用户语音模型，取决于用户语音模型的特定实现方式。类似于噪声模型，诸如隐马尔可夫模型或高斯混合模型之类的技术可以用于实现用户语音模型，并且诸如期望最大化或最大后验(MAP)适配之类的技术可以用于适配用户语音模型。
在某些实现方式中，ASR 108还基于其中背景音频在阈值之下的音频信号训练或以其他方式适配替代噪声模型或适配噪声模型(310)。虽然在某些实现方式中，用户语音模型仅使用其中背景音频在定义阈值之下的音频信号训练或适配，但在某些实例中，噪声模型可以基于此类音频信号以及其中背景音频在阈值之上的音频信号训练或适配，这取决于用于实现噪声模型的特定技术。例如，某些噪声模型可以包括反映其中背景音频在阈值之下的环境的方面的参数，并且因此此类模型可以从适配其中背景音频在阈值之下的音频信号中受益。
使用替代或适配用户语音模型(取决于替代语音模型是否被适配)和替代或适配噪声模型(取决于替代噪声模型是否被适配)，ASR 108的噪声补偿系统116以如上文所述相同的方式对与话音搜索查询一起接收的音频信号执行噪声补偿以移除或减少音频信号中的背景音频，从而产生滤波音频信号(314)。语音识别系统以如上文所述相同的方式对滤波音频信号执行语音识别以将音频信号中的话音转录成一个或多个候选转录(316)。
虽然过程300图示了在用于噪声补偿之前适配噪声模型和/或用户语音模型，但是适配可以在执行噪声补偿之后发生，并且噪声补偿可以基于噪声和/或用户语音模型被进一步适配之前的噪声和/或用户语音模型。这可以是以下情况，例如，当适配是计算密集型时。在此情况下，对话音搜索查询的期望响应时间可以通过使用针对噪声补偿的当前噪声和用户语音模型以及基于之后新的音频信号对其更新来实现。
图4示出了由移动设备104、ASR 108和用于处理话音搜索查询的搜索引擎106执行的过程400的示例的泳道图。移动设备104向ASR 108发送话音搜索查询(402)。如上文所述，话音搜索查询包括包含环境音频信号和用户音频信号的音频信号，环境音频信号包括不具有用户话语的环境音频，并且用户音频信号包括用户话语(以及潜在地环境音频)。话音搜索查询还可以包括上下文信息，诸如上文所述的上下文信息。
ASR 108接收话音搜索查询(402)并且选择噪声模型以及用户语音模型两者(404)。ASR 108例如可以基于与话音搜索查询一起包括或通过其他方式对ASR 108可访问的用户标识符或设备标识符来选择存储的适配用户语音模型。类似地，ASR 108例如可以基于与话音搜索查询一起包括或通过其他方式对ASR 108可访问的用户标识符或设备标识符来选择存储的适配噪声模型。在使用针对具体位置的不同噪声模型的实现方式中，ASR 108可以基于用户或设备标识符以及对应于在提交话音搜索查询时用户的位置的位置标识符来从多个位置特有适配噪声模型中选择存储的适配噪声模型。ASR108可以从在话音搜索查询中发送的或者通过其他方式对ASR 108可用的上下文信息中查明位置信息。
在针对用户或设备不存在适配用户语音模型的事件中，ASR 108例如使用上文所述技术来选择替代用户语音模型(404)。类似地，如果针对用户或设备不存在适配噪声模型，或者至少没有针对在提交话音搜索查询时用户的特定位置，则ASR 108例如使用上文所述技术来选择替代噪声模型。
ASR 108继而使用与话音搜索查询一起接收的音频信号来适配所选择的用户音频模型(406)和/或所选择的噪声模型(408)以生成适配用户语音模型或适配噪声模型，这取决于音频信号中的背景音频。如上文所述，在背景音频在定义阈值之下时，音频信号用于适配所选择的用户语音模型，并且在某些实现方式中用于适配所选择的噪声模型。在背景音频在定义阈值之上时，继而至少在某些实现方式中，噪声信号用于仅适配所选择的噪声模型。
ASR 108使用适配用户语音模型和适配噪声模型对音频信号执行噪声补偿(410)以生成与接收的音频信号相比已经减少或移除背景音频的滤波音频信号。
ASR引擎404对滤波音频信号执行语音识别416以将音频信号中的一个或多个话语转录成文本候选转录(412)。ASR引擎404向搜索引擎406转发418生成的转录(414)。如果ASR引擎404生成多个转录，则可以可选地以置信度为序对转录排序。ASR引擎404可以可选地向搜索引擎406提供上下文数据，诸如地理位置，搜索引擎406可以使用该上下文数据对搜索结果进行过滤或者排序。
搜索引擎406使用转录来执行搜索操作(416)。搜索引擎406可以对与转录项有关的一个或者多个URI定位。
搜索引擎406向移动设备402提供搜索查询结果(418)。例如，搜索引擎406可以转发如下HTML代码，该代码生成定位的URI的可视清单。
已经描述了多个实现方式。然而，将理解，可以进行各种修改而不脱离公开内容的精神实质和范围。例如，以上技术已经关于对话音搜索查询中的音频信号执行语音识别进行了描述，该技术可以用于其他系统，诸如在移动或其他设备上实现的计算机化话音听写系统或对话系统。此外，可以在重新排序、添加或者去除步骤时使用上文所示流程的各种形式。因而，其他实现方式在所附权利要求的范围内。
可以在数字电子电路中或者在包括在本说明书中公开的结构及其结构等效物的计算机软件、固件或者硬件中或者在它们中的一项或者多项的组合中实现本说明书中描述的实施方式和所有功能操作。实施方式可以被实现为一个或者多个计算机程序产品、即在计算机可读介质上编码的用于由数据处理装置执行或者控制数据处理装置的操作的计算机程序指令的一个或者多个模块。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、实现机器可读传播信号的物质组成或者它们中的一项或者多项的组合。术语“数据处理装置”涵盖了用于处理数据的所有装置、设备和机器，例如包括一个可编程处理器、一个计算机或者多个处理器或者计算机。装置除了包括硬件之外还可以包括为讨论的计算机程序创建执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统或者它们中的一项或者多项的组合的代码。传播信号是人为生成的信号，例如，由机器生成的电、光学或者电磁信号，该信号被生成以用于对信息进行编码以用于向适当接收器装置发送。
可以用包括编译或者解释语言的任何形式的编程语言编写计算机程序(也称为程序、软件、软件应用、脚本或者代码)，并且可以用任何形式部署它，包括作为独立程序或者作为适合用于在计算环境中使用的模块、部件、子例程或者其它单元。计算机程序不一定对应于文件系统中的文件。程序可以存储于保持其它程序或者数据的文件的部分中(例如，存储于标记语言文档中的一个或者多个脚本)、在专用于讨论的程序的单个文件中或者在多个协同文件(例如，存储一个或者多个模块、子程序或者代码部分的文件)中。计算机程序可以被部署成在一个计算机上或者在位于一个地点或者分布于多个地点并且由通信网络互连的多个计算机上执行。
在本说明书中描述的过程和逻辑流程可以由一个或者多个可编程处理器执行，该处理器执行一个或者多个计算机程序以通过对输入数据操作并且生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路例如FPGA(现场可编程门阵列)或者ASIC(专用集成电路)执行，并且装置也可以实现为该专用逻辑电路。
适合于执行计算机程序的处理器例如包括通用和专用微处理器和任何种类的数字计算机的任何一个或者多个处理器。一般而言，处理器将从只读存储器或者随机存取存储器或者这二者接收指令和数据。计算机的基本单元是用于执行指令的处理器以及用于存储指令和数据的一个或者多个存储器设备。一般而言，计算机也将包括用于存储数据的一个或者多个海量存储设备(例如，磁盘、光磁盘或者光盘)或者操作地耦合成从该海量存储设备接收数据或者向该海量存储设备传送数据或者这二者。然而，计算机无需具有这样的设备。另外，计算机可以嵌入于另一设备中，仅举数例，该另一设备例如是平板计算机、移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器。适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备、例如包括半导体存储器设备(例如，EPROM、EEPROM和闪存设备)；磁盘(例如，内部硬盘或者可拆卸盘)；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或者并入于专用逻辑电路中。
为了提供与用户的交互，实施方式可以实限于计算机上，该计算机具有用于向用户显示信息的显示器设备(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)以及用户可以用来向计算机提供输入的键盘和指点设备(例如，鼠标或者跟踪球)。其它种类的设备也可以用来提供与用户的交互；例如，向用户提供的反馈可以是任何形式的感官反馈(例如，视觉反馈、听觉反馈或者触觉反馈)；并且可以用包括声音、语音或者触觉输入的任何形式接收来自用户的输入。
实施方式可以实现于计算系统中，该计算系统包括后端部件(例如，作为数据服务器)或者包括中间件部件(例如，应用服务器)或者包括前端部件(例如，具有用户可以用来与实现方式进行交互的图形用户界面或者Web浏览器的客户端计算机)或者这样的后端、中间件或者前端部件中的一个或者多个部件的任何组合。系统的部件可以由任何数字数据通信形式或者介质(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)，例如，因特网。
计算系统可以包括客户端和服务器。客户端和服务器一般相互远离并且通常通过通信网络交互。客户端和服务器的关系借助计算机程序来发生，这些计算机程序在相应计算机上运行并且相互具有客户端-服务器关系。
尽管本说明书包含许多细节，但是这些不应解释为对公开内容的范围或者可以要求保护的内容的范围的限制，而应当作为对特定实现实现特有的特征的描述。也可以在单个实施方式组合实施本说明书中在单独实施方式的上下文中描述的某些特征。反之，也可以在多个实施方式中单独或者在任何适当子组合中实施在单个实施方式的上下文中描述的各种特征。另外，虽然上文可以将特征描述为在某些实施方式中作用并且甚至起初这样要求保护，但是在一些情况下可以从要求保护的组合中去除来自该组合的一个或者多个特征，并且要求保护的组合可以涉及子组合或者子组合的变体。
类似地，尽管在附图中以特定顺序描绘操作，但是这不应理解为要求以所示特定顺序或者以序列顺序执行这样的操作或者执行所有所示操作以实现希望的结果。在某些境况中，多任务和并行处理可以是有利的。另外，在上文描述的实施方式中分离各种系统部件不应理解为在所有实施方式中要求这样的分离，并且应当理解，描述的程序部件和系统一般可以一起集成于单个软件产品中或者封装到多个软件产品中。
在其中提到HTML文件的每个实例中，可以替换为其它文件类型或者格式。例如，HTML文件可以替换为XML、JSON、明文或者其它类型的文件。另外，当提到表或者散列表时，可以使用其它数据结构(比如电子数据表、关系数据库或者结构化文件)。
因此，已经描述了特定实施方式。其它实施方式在所附权利要求的范围内。例如，在权利要求中记载的动作可以按不同顺序来执行并且仍然获得希望的结果。

Claims (24)

1.一种用于语音识别的系统，包括：
用于接收由设备基于来自用户的音频输入生成的音频信号的装置，所述音频信号至少包括对应于由所述设备记录的一个或多个用户话语的用户音频部分；
用于访问与所述用户相关联的用户语音模型的装置；
用于确定所述音频信号中的背景音频在定义阈值以下的装置；
用于响应于确定所述音频信号中的所述背景音频在所述定义阈值以下，基于所述音频信号适配访问的用户语音模型以生成对所述用户的语音特性建模的适配用户语音模型的装置；以及
语音使用所述适配用户语音模型对接收的音频信号执行噪声补偿以生成与所述接收的音频信号相比具有减少的背景音频的滤波音频信号的装置。
2.根据权利要求1所述的系统，其中所述音频信号包括仅对应于围绕所述用户的背景音频的环境音频部分，并且为了确定所述音频信号中的所述背景音频在定义阈值之下，所述系统包括：
用于确定所述环境音频部分中的能量的量的装置；以及
用于确定所述环境音频部分中的所述能量的量在阈值能量之下的装置。
3.根据权利要求2所述的系统，为了确定所述音频信号中的所述背景音频在定义阈值之下，所述系统包括：
用于确定所述音频信号的信噪比的装置；以及
用于确定所述信噪比在阈值信噪比之下的装置。
4.根据权利要求3所述的系统，其中所述音频信号包括仅对应于围绕所述用户的背景音频的环境音频部分，并且为了确定所述音频信号的所述信噪比，所述系统包括：
用于确定所述音频信号的所述用户音频部分中的能量的量的装置；
用于确定所述音频信号的所述环境音频部分中的能量的量的装置；以及
用于通过确定所述用户音频部分与所述环境音频部分中的能量的量之间的比率来确定所述信噪比的装置。
5.根据权利要求1所述的系统，其中访问的用户语音模型包括没有被适配为对所述用户的所述语音特性建模的替代用户语音模型。
6.根据权利要求5所述的系统，其中所述系统包括：
用于选择所述替代用户语音模型的装置；以及
用于将所述替代语音模型与所述用户进行关联的装置。
7.根据权利要求6所述的系统，其中为了选择所述替代用户语音模型，所述系统包括：
用于确定所述用户的性别的装置；以及
用于基于所述用户的所述性别从多个替代用户语音模型之中选择所述替代用户语音模型的装置。
8.根据权利要求6所述的系统，其中为了选择所述替代用户语音模型，所述系统包括：
用于确定在记录所述一个或多个话语时所述用户的位置的装置；以及
用于基于在记录所述一个或多个话语时所述用户的所述位置从多个替代用户语音模型之中选择所述替代用户语音模型的装置。
9.根据权利要求6所述的系统，为了选择所述替代用户语音模型，所述系统包括：
用于确定所述用户的语言或口音的装置；以及
用于基于所述语言或口音从多个替代用户语音模型之中选择所述替代用户语音模型的装置。
10.根据权利要求6所述的系统，其中为了选择所述替代用户语音模型，所述系统包括：
用于接收至少包括对应于由所述设备记录的一个或多个用户话语的最初用户音频部分的最初音频信号的装置；
用于确定多个替代用户语音模型与基于所述最初音频信号确定的所述用户的期望用户语音模型之间的相似性度量的装置；以及
用于基于所述相似性度量从所述多个替代用户语音模型之中选择所述替代用户语音模型的装置。
11.根据权利要求1所述的系统，其中所述系统包括：
用于访问与所述用户相关联的噪声模型的装置；以及
其中为了执行噪声补偿，所述系统进一步包括用于使用所述适配用户语音模型和访问噪声模型对接收的音频信号执行噪声补偿的装置。
12.根据权利要求11所述的系统，其中为了执行噪声补偿，所述系统进一步包括：
用于基于接收的音频信号适配访问噪声模型以生成对围绕所述用户的背景音频的特性建模的适配噪声模型的装置；以及
用于使用所述适配用户语音模型和所述适配噪声模型来对接收的音频信号执行噪声补偿的装置。
13.根据权利要求11所述的系统，其中所述系统包括：
用于接收至少包括对应于由所述设备记录的一个或多个用户话语的第二用户音频部分的第二音频信号的装置；
用于确定所述第二音频信号中的背景音频在定义阈值之上的装置；以及
用于响应于确定所述第二音频信号中的所述背景音频在所述定义阈值之上，基于所述第二音频信号适配与所述用户相关联的所述噪声模型以生成对围绕所述用户的背景音频的特性建模的适配噪声模型的装置。
14.根据权利要求ll所述的系统，其中所述访问噪声模型包括尚未被适配为对围绕所述用户的背景音频的特性建模的替代噪声模型。
15.根据权利要求14所述的系统，其中所述系统包括：
用于选择所述替代噪声模型的装置；以及
用于将所述替代噪声模型与所述用户进行关联的装置。
16.根据权利要求15所述的系统，其中为了选择所述替代噪声模型，所述系统包括：
用于接收至少包括对应于由所述设备记录的一个或多个用户话语的最初用户音频部分的最初音频信号的装置；
用于确定在记录对应于所述最初用户音频部分的所述一个或多个话语时所述用户的位置的装置；以及
用于基于在记录对应于所述最初用户音频部分的所述一个或多个话语时所述用户的所述位置从多个替代噪声模型之中选择所述替代噪声模型的装置。
17.根据权利要求15所述的系统，其中为了选择所述替代噪声模型，所述系统包括：
用于接收至少包括对应于由所述设备记录的一个或多个用户话语的最初用户音频部分的最初音频信号的装置；
用于确定多个替代噪声模型与基于所述最初音频信号确定的所述用户的期望噪声模型之间的相似性度量的装置；以及
用于基于所述相似性度量从所述多个替代噪声模型之中选择所述替代噪声模型的装置。
18.根据权利要求17所述的系统，其中所述多个替代噪声模型中的每个替代噪声模型对特定位置中的背景音频的特性建模。
19.根据权利要求17所述的系统，其中所述多个替代噪声模型中的每个替代噪声模型对特定种类的环境条件中的背景音频的特性建模。
20.根据权利要求11所述的系统，其中为了访问所述噪声模型，所述系统包括：
用于确定在记录所述一个或多个话语时所述用户的位置的装置；以及
用于基于所述用户的所述位置从多个噪声模型之中选择所述噪声模型的装置。
21.根据权利要求1所述的系统，其中所述音频信号对应于话音搜索查询，并且所述系统包括：
用于对所述滤波音频信号执行语音识别以生成所述一个或多个用户话语的一个或多个候选转录的装置；
用于使用所述一个或多个候选转录执行搜索查询以生成搜索结果的装置；以及
用于向所述设备发送所述搜索结果的装置。
22.一种用于语音识别的系统，包括：
用于向自动化语音识别系统发送至少包括对应于记录的一个或多个用户话语的用户音频部分的音频信号的装置；
用于接收所述音频信号的装置；
用于访问与所述用户相关联的用户语音模型的装置；
用于确定所述音频信号中的背景音频在定义阈值之下的装置；
用于响应于确定所述音频信号中的所述背景音频在所述定义阈值之下，基于所述音频信号适配访问的用户语音模型以生成对所述用户的语音特性建模的适配用户语音模型的装置；以及
用于使用所述适配用户语音模型对接收的音频信号执行噪声补偿以生成与所述接收的音频信号相比具有减少的背景音频的滤波音频信号的装置。
23.根据权利要求22所述的系统，其中所述系统进一步包括用于对所述滤波音频信号执行语音识别以生成所述一个或多个用户话语的一个或多个候选转录的装置，所述系统进一步包括：
用于使用所述一个或多个候选转录执行搜索查询以生成搜索结果的装置；以及
用于发送所述搜索结果的装置。
24.一种用于语音识别的方法，包括：
接收由设备基于来自用户的音频输入生成的音频信号，所述音频信号至少包括对应于由所述设备记录的一个或多个用户话语的用户音频部分；
访问与所述用户相关联的用户语音模型；
确定所述音频信号中的背景音频在定义阈值以下；
响应于确定所述音频信号中的所述背景音频在定义阈值以下，基于所述音频信号适配访问的用户语音模型以生成对所述用户的语音特性建模的适配用户语音模型；以及
使用所述适配用户语音模型对所述接收的音频信号执行噪声补偿以生成与接收的音频信号相比具有减少的背景音频的滤波音频信号。
CN201180026390.4A 2010-06-14 2011-06-13 用于语音识别的语音模型和噪声模型 Active CN103069480B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/814,665 2010-06-14
US12/814,665 US8234111B2 (en) 2010-06-14 2010-06-14 Speech and noise models for speech recognition
PCT/US2011/040225 WO2011159628A1 (en) 2010-06-14 2011-06-13 Speech and noise models for speech recognition

Publications (2)

Publication Number Publication Date
CN103069480A CN103069480A (zh) 2013-04-24
CN103069480B true CN103069480B (zh) 2014-12-24

Family

ID=44303537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180026390.4A Active CN103069480B (zh) 2010-06-14 2011-06-13 用于语音识别的语音模型和噪声模型

Country Status (5)

Country Link
US (3) US8234111B2 (zh)
EP (1) EP2580751B1 (zh)
CN (1) CN103069480B (zh)
AU (1) AU2011267982B2 (zh)
WO (1) WO2011159628A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719645A (zh) * 2014-12-17 2016-06-29 现代自动车株式会社 语音识别装置、包括其的车辆和控制语音识别装置的方法

Families Citing this family (339)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6630800A (en) * 1999-08-13 2001-03-13 Pixo, Inc. Methods and apparatuses for display and traversing of links in page character array
US8645137B2 (en) * 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
ITFI20010199A1 (it) * 2001-10-22 2003-04-22 Riccardo Vieri Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico
US7669134B1 (en) 2003-05-02 2010-02-23 Apple Inc. Method and apparatus for displaying information during an instant messaging session
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080129520A1 (en) * 2006-12-01 2008-06-05 Apple Computer, Inc. Electronic device with enhanced audio feedback
US7912828B2 (en) * 2007-02-23 2011-03-22 Apple Inc. Pattern searching methods and apparatuses
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
ITFI20070177A1 (it) 2007-07-26 2009-01-27 Riccardo Vieri Sistema per la creazione e impostazione di una campagna pubblicitaria derivante dall'inserimento di messaggi pubblicitari all'interno di uno scambio di messaggi e metodo per il suo funzionamento.
US9053089B2 (en) * 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US8165886B1 (en) 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8595642B1 (en) 2007-10-04 2013-11-26 Great Northern Research, LLC Multiple shell multi faceted graphical user interface
US8364694B2 (en) 2007-10-26 2013-01-29 Apple Inc. Search assistant for digital media assets
US8620662B2 (en) 2007-11-20 2013-12-31 Apple Inc. Context-aware unit selection
US10002189B2 (en) * 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) * 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8327272B2 (en) 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US8065143B2 (en) 2008-02-22 2011-11-22 Apple Inc. Providing text input using speech data and non-speech data
US8289283B2 (en) 2008-03-04 2012-10-16 Apple Inc. Language input interface on a device
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8464150B2 (en) 2008-06-07 2013-06-11 Apple Inc. Automatic language identification for dynamic text processing
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8768702B2 (en) * 2008-09-05 2014-07-01 Apple Inc. Multi-tiered voice feedback in an electronic device
US8898568B2 (en) * 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8396714B2 (en) * 2008-09-29 2013-03-12 Apple Inc. Systems and methods for concatenation of words in text to speech synthesis
US20100082328A1 (en) * 2008-09-29 2010-04-01 Apple Inc. Systems and methods for speech preprocessing in text to speech synthesis
US8583418B2 (en) 2008-09-29 2013-11-12 Apple Inc. Systems and methods of detecting language and natural language strings for text to speech synthesis
US8712776B2 (en) * 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US8355919B2 (en) * 2008-09-29 2013-01-15 Apple Inc. Systems and methods for text normalization for text to speech synthesis
US8352272B2 (en) * 2008-09-29 2013-01-08 Apple Inc. Systems and methods for text to speech synthesis
US8352268B2 (en) * 2008-09-29 2013-01-08 Apple Inc. Systems and methods for selective rate of speech and speech preferences for text to speech synthesis
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8380507B2 (en) 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US20110010179A1 (en) * 2009-07-13 2011-01-13 Naik Devang K Voice synthesis and processing
US20110066438A1 (en) * 2009-09-15 2011-03-17 Apple Inc. Contextual voiceover
US8682649B2 (en) * 2009-11-12 2014-03-25 Apple Inc. Sentiment prediction from textual data
US8600743B2 (en) * 2010-01-06 2013-12-03 Apple Inc. Noise profile determination for voice-related feature
US20110167350A1 (en) * 2010-01-06 2011-07-07 Apple Inc. Assist Features For Content Display Device
US8311838B2 (en) 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US8381107B2 (en) 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9058732B2 (en) * 2010-02-25 2015-06-16 Qualcomm Incorporated Method and apparatus for enhanced indoor position location with assisted user profiles
US8639516B2 (en) * 2010-06-04 2014-01-28 Apple Inc. User-specific noise suppression for voice quality improvements
US8713021B2 (en) 2010-07-07 2014-04-29 Apple Inc. Unsupervised document clustering using latent semantic density analysis
US9104670B2 (en) 2010-07-21 2015-08-11 Apple Inc. Customized search or acquisition of digital media assets
US8521526B1 (en) 2010-07-28 2013-08-27 Google Inc. Disambiguation of a spoken query term
EP2603914A4 (en) * 2010-08-11 2014-11-19 Bone Tone Comm Ltd REMOVING BACKGROUND NOISE FOR PRIVATE, PERSONALIZED USE
US8719006B2 (en) 2010-08-27 2014-05-06 Apple Inc. Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis
US8719014B2 (en) 2010-09-27 2014-05-06 Apple Inc. Electronic device with text error correction based on voice recognition data
KR20120054845A (ko) * 2010-11-22 2012-05-31 삼성전자주식회사 로봇의 음성인식방법
US10515147B2 (en) 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
WO2012107561A1 (en) * 2011-02-10 2012-08-16 Dolby International Ab Spatial adaptation in multi-microphone sound capture
US8781836B2 (en) 2011-02-22 2014-07-15 Apple Inc. Hearing assistance system for providing consistent human speech
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10409860B2 (en) * 2011-03-28 2019-09-10 Staton Techiya, Llc Methods and systems for searching utilizing acoustical context
US10672399B2 (en) 2011-06-03 2020-06-02 Apple Inc. Switching between text data and audio data based on a mapping
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8812294B2 (en) 2011-06-21 2014-08-19 Apple Inc. Translating phrases from one language into another using an order-based set of declarative rules
GB2493413B (en) 2011-07-25 2013-12-25 Ibm Maintaining and supplying speech models
TWI442384B (zh) * 2011-07-26 2014-06-21 Ind Tech Res Inst 以麥克風陣列為基礎之語音辨識系統與方法
US8595015B2 (en) * 2011-08-08 2013-11-26 Verizon New Jersey Inc. Audio communication assessment
US8706472B2 (en) 2011-08-11 2014-04-22 Apple Inc. Method for disambiguating multiple readings in language conversion
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US8712184B1 (en) * 2011-12-05 2014-04-29 Hermes Microvision, Inc. Method and system for filtering noises in an image scanned by charged particles
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US8775442B2 (en) 2012-05-15 2014-07-08 Apple Inc. Semantic search using a single-source semantic model
US11023520B1 (en) 2012-06-01 2021-06-01 Google Llc Background audio identification for query disambiguation
US9123338B1 (en) 2012-06-01 2015-09-01 Google Inc. Background audio identification for speech disambiguation
WO2013185109A2 (en) 2012-06-08 2013-12-12 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9489940B2 (en) * 2012-06-11 2016-11-08 Nvoq Incorporated Apparatus and methods to update a language model in a speech recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9384737B2 (en) * 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
CN102841932A (zh) * 2012-08-06 2012-12-26 河海大学 一种基于内容的音频语义特征相似度比较方法
EP2883204B1 (en) 2012-08-10 2020-10-07 Nuance Communications, Inc. Virtual agent communication for electronic devices
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US20140074466A1 (en) 2012-09-10 2014-03-13 Google Inc. Answering questions using environmental context
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US8935167B2 (en) 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
US9319816B1 (en) * 2012-09-26 2016-04-19 Amazon Technologies, Inc. Characterizing environment using ultrasound pilot tones
US9190057B2 (en) * 2012-12-12 2015-11-17 Amazon Technologies, Inc. Speech model retrieval in distributed speech recognition systems
US9653070B2 (en) 2012-12-31 2017-05-16 Intel Corporation Flexible architecture for acoustic signal processing engine
US8494853B1 (en) * 2013-01-04 2013-07-23 Google Inc. Methods and systems for providing speech recognition systems based on speech recordings logs
CN103065631B (zh) * 2013-01-24 2015-07-29 华为终端有限公司 一种语音识别的方法、装置
CN103971680B (zh) * 2013-01-24 2018-06-05 华为终端（东莞）有限公司 一种语音识别的方法、装置
KR102516577B1 (ko) 2013-02-07 2023-04-03 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9460715B2 (en) * 2013-03-04 2016-10-04 Amazon Technologies, Inc. Identification using audio signatures and additional characteristics
US20140278415A1 (en) * 2013-03-12 2014-09-18 Motorola Mobility Llc Voice Recognition Configuration Selector and Method of Operation Therefor
US20140278392A1 (en) * 2013-03-12 2014-09-18 Motorola Mobility Llc Method and Apparatus for Pre-Processing Audio Signals
US20140278395A1 (en) * 2013-03-12 2014-09-18 Motorola Mobility Llc Method and Apparatus for Determining a Motion Environment Profile to Adapt Voice Recognition Processing
US9257952B2 (en) * 2013-03-13 2016-02-09 Kopin Corporation Apparatuses and methods for multi-channel signal compression during desired voice activity detection
US10306389B2 (en) 2013-03-13 2019-05-28 Kopin Corporation Head wearable acoustic system with noise canceling microphone geometry apparatuses and methods
US9733821B2 (en) 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
US10642574B2 (en) 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10424292B1 (en) * 2013-03-14 2019-09-24 Amazon Technologies, Inc. System for recognizing and responding to environmental noises
US10572476B2 (en) 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
US9977779B2 (en) 2013-03-14 2018-05-22 Apple Inc. Automatic supplementation of word correction dictionaries
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
WO2014168730A2 (en) 2013-03-15 2014-10-16 Apple Inc. Context-sensitive handling of interruptions
CN105190607B (zh) 2013-03-15 2018-11-30 苹果公司 通过智能数字助理的用户培训
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
WO2014144949A2 (en) 2013-03-15 2014-09-18 Apple Inc. Training an at least partial voice command system
US9208781B2 (en) 2013-04-05 2015-12-08 International Business Machines Corporation Adapting speech recognition acoustic models with environmental and social cues
WO2014182453A2 (en) * 2013-05-06 2014-11-13 Motorola Mobility Llc Method and apparatus for training a voice recognition model database
US9953630B1 (en) * 2013-05-31 2018-04-24 Amazon Technologies, Inc. Language recognition for device settings
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
EP3008964B1 (en) 2013-06-13 2019-09-25 Apple Inc. System and method for emergency calls initiated by voice command
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US20170017501A1 (en) * 2013-12-16 2017-01-19 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
US9953634B1 (en) * 2013-12-17 2018-04-24 Knowles Electronics, Llc Passive training for automatic speech recognition
GB2524222B (en) * 2013-12-18 2018-07-18 Cirrus Logic Int Semiconductor Ltd Activating speech processing
US9589560B1 (en) * 2013-12-19 2017-03-07 Amazon Technologies, Inc. Estimating false rejection rate in a detection system
US9466310B2 (en) * 2013-12-20 2016-10-11 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Compensating for identifiable background content in a speech recognition device
WO2015146017A1 (ja) * 2014-03-28 2015-10-01 パナソニックＩｐマネジメント株式会社 音声検索装置、音声検索方法、および表示装置
US10446168B2 (en) * 2014-04-02 2019-10-15 Plantronics, Inc. Noise level measurement with mobile devices, location services, and environmental response
KR102257910B1 (ko) * 2014-05-02 2021-05-27 삼성전자주식회사 음성 인식 장치 및 방법, 잡음-음성 인식 모델 생성 장치 및 방법
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9904851B2 (en) 2014-06-11 2018-02-27 At&T Intellectual Property I, L.P. Exploiting visual information for enhancing audio signals via source separation and beamforming
US9858922B2 (en) 2014-06-23 2018-01-02 Google Inc. Caching speech recognition scores
US9639854B2 (en) 2014-06-26 2017-05-02 Nuance Communications, Inc. Voice-controlled information exchange platform, such as for providing information to supplement advertising
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9837102B2 (en) * 2014-07-02 2017-12-05 Microsoft Technology Licensing, Llc User environment aware acoustic noise reduction
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9953646B2 (en) 2014-09-02 2018-04-24 Belleau Technologies Method and system for dynamic speech recognition and tracking of prewritten script
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9299347B1 (en) 2014-10-22 2016-03-29 Google Inc. Speech recognition using associative mapping
US10999636B1 (en) * 2014-10-27 2021-05-04 Amazon Technologies, Inc. Voice-based content searching on a television based on receiving candidate search strings from a remote server
US10218630B2 (en) 2014-10-30 2019-02-26 Pearson Education, Inc. System and method for increasing data transmission rates through a content distribution network
CN107004006A (zh) 2014-10-30 2017-08-01 培生教育公司 内容数据库的生成
US9667321B2 (en) * 2014-10-31 2017-05-30 Pearson Education, Inc. Predictive recommendation engine
US10333857B1 (en) 2014-10-30 2019-06-25 Pearson Education, Inc. Systems and methods for data packet metadata stabilization
US10116563B1 (en) 2014-10-30 2018-10-30 Pearson Education, Inc. System and method for automatically updating data packet metadata
US10110486B1 (en) 2014-10-30 2018-10-23 Pearson Education, Inc. Automatic determination of initial content difficulty
US10735402B1 (en) 2014-10-30 2020-08-04 Pearson Education, Inc. Systems and method for automated data packet selection and delivery
US10318499B2 (en) 2014-10-30 2019-06-11 Pearson Education, Inc. Content database generation
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
JP2016109725A (ja) * 2014-12-02 2016-06-20 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10504509B2 (en) * 2015-05-27 2019-12-10 Google Llc Providing suggested voice-based action queries
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US9786270B2 (en) 2015-07-09 2017-10-10 Google Inc. Generating acoustic models
US10008199B2 (en) * 2015-08-22 2018-06-26 Toyota Motor Engineering & Manufacturing North America, Inc. Speech recognition system with abbreviated training
US10614368B2 (en) 2015-08-28 2020-04-07 Pearson Education, Inc. System and method for content provisioning with dual recommendation engines
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US11631421B2 (en) 2015-10-18 2023-04-18 Solos Technology Limited Apparatuses and methods for enhanced speech recognition in variable environments
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10468016B2 (en) 2015-11-24 2019-11-05 International Business Machines Corporation System and method for supporting automatic speech recognition of regional accents based on statistical information and user corrections
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10229672B1 (en) 2015-12-31 2019-03-12 Google Llc Training acoustic models using connectionist temporal classification
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US11138987B2 (en) * 2016-04-04 2021-10-05 Honeywell International Inc. System and method to distinguish sources in a multiple audio source environment
US10325215B2 (en) 2016-04-08 2019-06-18 Pearson Education, Inc. System and method for automatic content aggregation generation
US10789316B2 (en) 2016-04-08 2020-09-29 Pearson Education, Inc. Personalized automatic content aggregation generation
US10642848B2 (en) 2016-04-08 2020-05-05 Pearson Education, Inc. Personalized automatic content aggregation generation
US11188841B2 (en) 2016-04-08 2021-11-30 Pearson Education, Inc. Personalized content distribution
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
WO2017213709A1 (en) * 2016-06-08 2017-12-14 Google Llc Scalable dynamic class language modeling
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US20180018973A1 (en) 2016-07-15 2018-01-18 Google Inc. Speaker verification
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10951720B2 (en) 2016-10-24 2021-03-16 Bank Of America Corporation Multi-channel cognitive resource platform
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10706840B2 (en) 2017-08-18 2020-07-07 Google Llc Encoder-decoder models for sequence to sequence mapping
US10096311B1 (en) 2017-09-12 2018-10-09 Plantronics, Inc. Intelligent soundscape adaptation utilizing mobile devices
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
CN107908742A (zh) * 2017-11-15 2018-04-13 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
KR102446637B1 (ko) * 2017-12-28 2022-09-23 삼성전자주식회사 음향 출력 시스템 및 음성 처리 방법
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
CN108182270A (zh) * 2018-01-17 2018-06-19 广东小天才科技有限公司 搜索内容发送及搜索方法、智能笔、搜索终端及存储介质
US10706842B2 (en) 2018-01-23 2020-07-07 Google Llc Selective adaptation and utilization of noise reduction technique in invocation phrase detection
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
KR102585231B1 (ko) * 2018-02-02 2023-10-05 삼성전자주식회사 화자 인식을 수행하기 위한 음성 신호 처리 방법 및 그에 따른 전자 장치
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10923139B2 (en) 2018-05-02 2021-02-16 Melo Inc. Systems and methods for processing meeting information obtained from multiple sources
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
CN109087659A (zh) * 2018-08-03 2018-12-25 三星电子（中国）研发中心 音频优化方法及设备
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
BE1026886B1 (nl) * 2018-12-18 2020-07-22 Soundtalks Nv Werkwijze voor het monitoren van een veeteeltfaciliteit en/of veeteeltdieren in een veeteeltfaciliteit met behulp van verbeterde geluidsverwerkingstechnieken
CN111415653B (zh) * 2018-12-18 2023-08-01 百度在线网络技术（北京）有限公司 用于识别语音的方法和装置
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN109841227B (zh) * 2019-03-11 2020-10-02 南京邮电大学 一种基于学习补偿的背景噪声去除方法
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11848023B2 (en) * 2019-06-10 2023-12-19 Google Llc Audio noise reduction
CN112201247B (zh) * 2019-07-08 2024-05-03 北京地平线机器人技术研发有限公司 语音增强方法和装置、电子设备和存储介质
KR102260216B1 (ko) * 2019-07-29 2021-06-03 엘지전자 주식회사 지능적 음성 인식 방법, 음성 인식 장치, 지능형 컴퓨팅 디바이스 및 서버
CN110648680B (zh) * 2019-09-23 2024-05-14 腾讯科技（深圳）有限公司 语音数据的处理方法、装置、电子设备及可读存储介质
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11489794B2 (en) 2019-11-04 2022-11-01 Bank Of America Corporation System for configuration and intelligent transmission of electronic communications and integrated resource processing
CN110956955B (zh) * 2019-12-10 2022-08-05 思必驰科技股份有限公司 一种语音交互的方法和装置
CN112820307B (zh) * 2020-02-19 2023-12-15 腾讯科技（深圳）有限公司 语音消息处理方法、装置、设备及介质
CN111461438B (zh) * 2020-04-01 2024-01-05 中国人民解放军空军93114部队 一种信号检测方法、装置、电子设备和存储介质
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11580959B2 (en) * 2020-09-28 2023-02-14 International Business Machines Corporation Improving speech recognition transcriptions
CN112652304B (zh) * 2020-12-02 2022-02-01 北京百度网讯科技有限公司 智能设备的语音交互方法、装置和电子设备
CN112669867B (zh) 2020-12-15 2023-04-11 阿波罗智联(北京)科技有限公司 噪声消除算法的调试方法、装置和电子设备
CN112634932B (zh) * 2021-03-09 2021-06-22 赣州柏朗科技有限公司 音频信号处理方法、装置、服务器及相关设备
CN113053382B (zh) * 2021-03-30 2024-06-18 联想(北京)有限公司 处理方法和装置
US11875798B2 (en) 2021-05-03 2024-01-16 International Business Machines Corporation Profiles for enhanced speech recognition training
CN114333881B (zh) * 2022-03-09 2022-05-24 深圳市迪斯声学有限公司 基于环境自适应的音频传输降噪方法、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1453767A (zh) * 2002-04-26 2003-11-05 日本先锋公司 语音识别装置以及语音识别方法
US6718302B1 (en) * 1997-10-20 2004-04-06 Sony Corporation Method for utilizing validity constraints in a speech endpoint detector

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5970446A (en) * 1997-11-25 1999-10-19 At&T Corp Selective noise/channel/coding models and recognizers for automatic speech recognition
US7209880B1 (en) * 2001-03-20 2007-04-24 At&T Corp. Systems and methods for dynamic re-configurable speech recognition
JP3826032B2 (ja) * 2001-12-28 2006-09-27 株式会社東芝 音声認識装置、音声認識方法及び音声認識プログラム
JP4357867B2 (ja) * 2003-04-25 2009-11-04 パイオニア株式会社 音声認識装置、音声認識方法、並びに、音声認識プログラムおよびそれを記録した記録媒体
US7321852B2 (en) * 2003-10-28 2008-01-22 International Business Machines Corporation System and method for transcribing audio files of various languages
JP4340686B2 (ja) * 2004-03-31 2009-10-07 パイオニア株式会社 音声認識装置及び音声認識方法
DE102004017486A1 (de) 2004-04-08 2005-10-27 Siemens Ag Verfahren zur Geräuschreduktion bei einem Sprach-Eingangssignal
ATE457511T1 (de) * 2007-10-10 2010-02-15 Harman Becker Automotive Sys Sprechererkennung
US20100145687A1 (en) 2008-12-04 2010-06-10 Microsoft Corporation Removing noise from speech

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6718302B1 (en) * 1997-10-20 2004-04-06 Sony Corporation Method for utilizing validity constraints in a speech endpoint detector
CN1453767A (zh) * 2002-04-26 2003-11-05 日本先锋公司 语音识别装置以及语音识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719645A (zh) * 2014-12-17 2016-06-29 现代自动车株式会社 语音识别装置、包括其的车辆和控制语音识别装置的方法
CN105719645B (zh) * 2014-12-17 2020-09-18 现代自动车株式会社 语音识别装置、包括其的车辆和控制语音识别装置的方法

Also Published As

Publication number Publication date
AU2011267982B2 (en) 2015-02-05
CN103069480A (zh) 2013-04-24
US20120259631A1 (en) 2012-10-11
WO2011159628A1 (en) 2011-12-22
EP2580751B1 (en) 2014-08-13
US20110307253A1 (en) 2011-12-15
US20120022860A1 (en) 2012-01-26
US8666740B2 (en) 2014-03-04
US8234111B2 (en) 2012-07-31
US8249868B2 (en) 2012-08-21
AU2011267982A1 (en) 2012-11-01
EP2580751A1 (en) 2013-04-17

Similar Documents

Publication Publication Date Title
CN103069480B (zh) 用于语音识别的语音模型和噪声模型
CN104575493B (zh) 使用地理信息的声学模型适配
EP3923281B1 (en) Noise compensation using geotagged audio signals
AU2014200999B2 (en) Geotagged environmental audio for enhanced speech recognition accuracy

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.