CN105006235B - 基于词比较的语音端点定位 - Google Patents
基于词比较的语音端点定位 Download PDFInfo
- Publication number
- CN105006235B CN105006235B CN201510195100.9A CN201510195100A CN105006235B CN 105006235 B CN105006235 B CN 105006235B CN 201510195100 A CN201510195100 A CN 201510195100A CN 105006235 B CN105006235 B CN 105006235B
- Authority
- CN
- China
- Prior art keywords
- utterance
- incomplete
- words
- transcription
- classifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013518 transcription Methods 0.000 claims abstract description 58
- 230000035897 transcription Effects 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000004807 localization Effects 0.000 claims abstract description 5
- 238000004590 computer program Methods 0.000 abstract description 13
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 12
- 230000005236 sound signal Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000003058 natural language processing Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000009118 appropriate response Effects 0.000 description 2
- 230000030279 gene silencing Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
- G10L15/05—Word boundary detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/06—Decision making techniques; Pattern matching strategies
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L2025/783—Detection of presence or absence of voice signals based on threshold decision
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/87—Detection of discrete points within a voice signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
Landscapes
- Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- Machine Translation (AREA)
- Telephonic Communication Services (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明的各实施例涉及基于词比较的语音端点定位。描述了用于基于词比较的语音端点定位的方法、系统以及包括编码在计算机存储介质上的计算机程序的装置。在一个方面,一种方法包括获得话语的转录的动作。动作进一步包括将文本样本的汇集中的(i)包括与转录匹配的词语并且(ii)不包括任何附加的词语的文本样本的数量确定为第一值。动作进一步包括将文本样本的汇集中的(i)包括与转录匹配的词语并且(ii)包括一个或者多个附加的词语的文本样本的数量确定为第二值。动作进一步包括至少基于比较第一值与第二值来将话语分类为很可能不完整的话语或者非很可能不完整的话语。
Description
相关申请的交叉引用
本申请要求于2014年4月23日提交的、申请号为61/983,025的美国专利申请的权益,其内容通过引用并入。
技术领域
本公开内容总体上涉及语音识别,并且一个特定实现方式涉及对语音进行端点定位(endpointing)。
背景技术
自然语言处理系统通常使用端点器(endpointer)来确定用户何时开始以及结束说话。一些传统的端点器在确定话语何时开始或者结束时对词之间的停顿的持续时间进行评价。例如,如果用户说“what is<长停顿>for dinner”,则传统的端点器可以在长停顿处分割话音输入,并且可以指令自然语言处理系统尝试处理不完整的短语“what is”,而不是处理完整的短语“what is for dinner”。如果端点器为话音输入指定了错误的开始点或者结束点,则使用自然语言处理系统处理语音的结果可能是错误的或者不符合需要的。
发明内容
根据在本说明书中所描述的主题内容的创新的方面,一种计算设备可以接收由用户说出的话语的话音输入,并且可以使用连续语音识别器来递增地转录话语。计算设备比较递增地识别的转录与来自文本样本的汇集(诸如,由其他用户之前提交给搜索引擎的搜索查询的汇集)中的文本样本进行比较,以确定转录更可能表示完整的查询还是不完整的查询。
根据一个方式,确定转录更可能表示完整的查询还是不完整的查询包括:确定与转录匹配并且不包括任何附加的词语(term)的文本样本的数量,并且确定与转录匹配并且包括一个或者多个附加的词语的文本样本的数量。计算设备可以然后基于那两个数量确定比率并且比较确定的比率与阈值比率。如果确定的比率不满足阈值比率,则计算设备将话语分类为很可能不完整的话语。如果确定的比率满足阈值比率,则计算设备将话语分类为非很可能不完整的话语。
基于将话语分类为很可能完整的话语或者不完整的话语,设备可以对话音输入进行端点定位,或者可以去激活麦克风或者将麦克风维持在激活状态。如果话语被分类为很可能不完整的话语,则设备可以将麦克风维持在激活状态以接收附加的话语,或者可以在对话音输入进行端点定位之前进一步等待。如果话语被分类为非很可能不完整的话语,则设备可以去激活麦克风并且处理话语,或者可以在对话音输入进行端点定位之前不进行进一步等待。
一般来说,在本说明书中所描述的主题内容的另一个创新的方面可以被实施为方法,这些方法包括以下动作:获得话语的转录;将文本样本的汇集中的(i)包括与转录匹配的词语并且(ii)不包括任何附加的词语的文本样本的数量确定为第一值;将文本样本的汇集中的(i)包括与转录匹配的词语并且(ii)包括一个或者多个附加的词语的文本样本的数量确定为第二值;并且至少基于比较第一值与第二值来将话语分类为很可能不完整的话语或者非很可能不完整的话语。
这些和其他实施例可以各自可选地包括以下特征中的一个或者多个特征。将文本样本的汇集中的(i)包括与转录匹配的词语并且(ii)不包括任何附加的词语的文本样本的数量确定为第一值的动作包括:在每个文本样本中确定与转录匹配的词语以与在转录中相同的顺序出现。将文本样本的汇集中的(i)包括与转录匹配的词语并且(ii)包括一个或者多个附加的词语的文本样本的数量确定为第二值的动作包括:在每个文本样本中确定与转录匹配的词语在每个文本样本的前缀处出现。
至少基于比较第一值与第二值来将话语分类为很可能不完整的话语或者非很可能不完整的话语的动作包括:确定第一值与第二值的比率;确定比率满足阈值比率;并且基于确定比率满足阈值比率来将话语分类为很可能不完整的话语。至少基于比较第一值与第二值来将话语分类为很可能不完整的话语或者非很可能不完整的话语的动作包括:将话语分类为很可能不完整的话语;并且基于将话语分类为很可能不完整的话语来将麦克风维持在激活状态以接收附加的话语。
至少基于比较第一值与第二值来将话语分类为很可能不完整的话语或者非很可能不完整的话语的动作包括:将话语分类为非很可能不完整的话语;并且基于将话语分类为非很可能不完整的话语来去激活麦克风。这些动作进一步包括接收指示话语完整的数据;其中至少基于比较第一值与第二值来将话语分类为很可能不完整的话语或者非很可能不完整的话语包括:将话语分类为很可能不完整的话语;并且基于将话语分类为很可能不完整的话语来覆盖指示话语完整的数据。
这一方面的其他实施例包括对应的系统、装置以及记录在计算机存储设备上的计算机程序,每个均被配置为执行该方法的操作。
一般来说,在本说明书中所描述的主题内容的另一个创新的方面可以被实施为方法,这些方法包括以下动作:获得话语的转录;确定在文本样本的汇集中,与话语所匹配的相比,话语是更经常地与(i)包括与转录匹配的词语并且不包括任何附加的词语的文本样本匹配,还是更经常地与(ii)包括与转录匹配的词语并且包括一个或者多个附加的词语的文本样本匹配;并且基于该确定来确定话语是否很可能不完整。
这一方面的其他实施例包括对应的系统、装置以及记录在计算机存储设备上的计算机程序,每个均被配置为执行该方法的操作。
在本说明书中所描述的主题内容的特定实施例可以被实施以使得实现以下优点中的一个或者多个优点。用户可以使用计算设备的话音输入能力并且以对用户来说舒适的速度说话。话语可以在话语的预期的结束处被端点定位,从而得到更精确的或更希望的自然语言处理输出,并且得到自然语言处理系统的更快的处理。在背景噪声存在的情况下,话语可以在话语的预期的结束处被端点定位。
在本说明书中所描述的主题内容的一个或者多个实施例的细节在以下的附图和描述中被阐明。主题内容的其他特征、方面和优点将从描述、附图以及权利要求书变得显而易见。
附图说明
图1A至图1C是话语和在对话语是否很可能不完整进行分类中使用的示例信号的示图。
图2是将话语分类为很可能完整或者很可能不完整示例系统的示图。
图3是用于对话语是否很可能不完整进行分类的示例过程的示图。
在各个附图中相同的附图标记和标示指示相同的元件。
具体实施方式
图1是话语和在对话语是否很可能不完整进行分类中使用的示例信号的示图100。一般来说,示图100图示了在计算设备110处理传入音频输入102时由计算设备110生成或者检测到的信号102至108。计算设备110通过计算设备的麦克风或者其他音频输入设备来接收音频输入102,并且对音频输入102是很可能完整的话语还是很可能不完整的话语进行分类。
计算设备110接收音频输入102并且以预先指定的频率和分辨率对音频输入102采样。例如,计算设备110可以在8kHz、16kHz、44.1kHz或任何其他采样率对音频输入102采样,并且分辨率可以是16比特、32比特或任何其他分辨率。音频输入102图示了基于来自用户114的话语112的采样的模拟数据。在图1A中所图示的示例中,用户114对着计算设备110说出“What is…the meaning of life?”计算设备110可以记录并且存储对应于话语112的音频输入102。
计算设备110转录由用户114说出的话语112。在一些实现方式中,计算设备110使用运行自动语音识别(ASR)软件的计算设备110的处理器来转录话语112的词。例如,计算设备110可以在计算设备110本地确定初始部分音频输入102包含词语120“what”。随着计算设备110从用户接收话语112,ASR软件接收音频输入102。随着ASR软件在音频输入102中识别词语,ASR软件继而将提供该词语以用于向计算设备110输出。计算设备110记录在ASR软件返回ASR软件识别的词语之间的时间量。例如,ASR软件可以返回词语120“what”,然后一百毫秒之后返回词语122“is”,并且然后两百毫秒之后返回词语124“the”。计算设备110记录词语122“is”在一百毫秒之后跟随词语120“what”并且词语124“the”在两百毫秒之后跟随词语122“is”。在一些实现方式中,通过网络可访问的服务器可以运行ASR软件。在这种情况下,计算设备在网络上向服务器传输音频输入102,从服务器接收词语并且记录在服务器返回词语之间的时间量。
随着计算设备110转录话语112的词语120至130,计算设备110从通用端点器接收通用端点器信号104。计算设备110向通用端点器提供从ASR软件接收的词语和在每个词语之间的记录的时间。通用端点器比较记录的时间与阈值。如果在两个词语之间的记录的时间中的一个记录的时间满足阈值,则通用端点器在将端点标识为在两个词语之间。例如,阈值可以是一百五十毫秒。通用端点器比较在词语120“what”与词语122“is”之间的一百毫秒的时间。因为一百毫秒小于一百五十毫秒的阈值,所以通用端点器不在词语120“what”与词语122“is”之间添加端点。通用端点器也比较在词语122“is”与词语124“the”之间的两百毫秒的时间。因为两百毫秒大于一百五十毫秒的阈值,所以通用端点器在词语122“is”与词语124“the”之间添加端点。通用端点器信号104将端点图示为在活跃的信号与不活跃的信号之间的过渡。通用端点器信号在词语120“what”与词语122“is”之间活跃,并且在词语122“is”与词语124“the”之间变成不活跃。
在一些实现方式中,通用端点器等待在词语的结束之后、在通用端点器标识端点之前的时间的特定时段。在每个词语从ASR软件被接收之后或者在通用端点器接收到ASR标识了词语的指示之后,通用端点器进行等待。如果等待时间满足阈值,等通用端点器标识端点。例如,阈值可以是一百五十毫秒。如果通用端点器接收ASR软件已经标识了词语(诸如词语120“what”)的指示,则通用端点器将开始定时器。一百毫秒之后,通用端点器接收ASR软件已经标识了另一个词语(诸如词语122“is”)的指示。因为通用端点器的定时器没有达到一百五十毫秒的阈值,所以通用端点器在词语120“what”之后不标识端点。作为另一示例,通用端点器接收ASR软件已经标识了词语(诸如词语122“is”)的指示并且通用端点器开始定时器。如果一百五十毫秒之后,通用端点器没有接收到随后的词语的指示,则通用端点器在词语122“is”之后标识端点。
计算设备110使用ASR软件从音频输入102标识的词语来将词语分类为很可能不完整的话语或者非很可能不完整的话语。很可能不完整的话语信号106图示了这一分类的结果。为了将话语112的标识的词语分类为很可能不完整的话语,计算设备110比较标识的词语与文本样本的汇集中的文本样本。计算设备110确定以话语112的标识的词语开始并且包含附加的词语的文本样本的汇集中的文本样本的数量。换句话说,计算设备110确定文本样本的汇集中的包含与话语112的标识的词语匹配的前缀的文本样本的数量。例如,ASR软件将话语112的前两个词语标识为“what is”。计算设备110确定文本样本的汇集中,两千个文本样本以前缀“what is”开始并且包含附加的词语。计算设备还标识文本样本的汇集中的与话语112的标识的词语匹配并且不包含任何附加的词语的文本样本的数量。例如,计算设备110确定文本样本的汇集中,五个文本样本包含词语“what is”并且不包含附加的词语。
利用文本样本的汇集中的以话语112的标识的词语开始的文本样本的数量和包含话语112的标识的词语的文本样本的数量,计算设备110比较两个数量的比率与阈值比率。比较表示包含标识的词语并且不包含其他词语的文本样本的数量与以标识的词语开始并且包含附加的词语的文本样本的数量的比较。如果比率小于阈值比率,则计算设备110将标识的词语分类为表示很可能不完整的话语。如果比率大于阈值比率,则计算设备110将标识的词语分类为不表示很可能不完整的话语。例如,如果比率是5:2000并且阈值比率是1:200,则计算设备110将标识的词语分类为表示很可能不完整的话语。
在一些实现方式中,计算设备110可以在数量中的一个或者两个数量都不满足阈值的情况下使比较无效。例如,如果包含标识的词语并且不包含其他词语的文本样本的数量与以标识的词语开始并且包含附加的词语的文本样本的数量的比率是1:2,则计算设备可以基于以标识的词语开始并且包含附加的词语的文本样本的数量低于五的阈值来使比较无效。作为另一示例,如果包含标识的词语并且不包含其他词语的文本样本的数量与以标识的词语开始并且包含附加的词语的文本样本的数量的比率是11,000:12,000,则然后计算设备110可以基于包含标识的词语并且不包含其他词语的文本样本的数量或者以标识的词语开始并且包含附加的词语的文本样本的数量或者这两者高于一万的阈值(如可能是具有诸如“so”等词语的情况)来使比较无效。
在一些实现方式中,除非通用端点器指示在两个词语之间存在端点,否则计算设备110不比较标识的词语与文本样本的汇集。例如,因为通用端点器信号104在词语120“what”之后是活跃的,所以计算设备110可以不比较词语120“what”与文本样本的汇集。作为另一示例,因为通用端点器信号在词语122之后是不活跃的,所以计算设备可以比较词语120至122“what is”与文本样本的汇集。
在一些实现方式中,除非在词语之间的停顿满足阈值,否则计算设备110不比较标识的词语与文本样本的汇集。例如,如果在词语之间的停顿大于一百五十毫秒,则计算设备110可以比较标识的词语。如果用户114在词语120“what”与词语122“is”之间停顿了一百毫秒,则计算设备将不比较词语120“what”与文本样本的汇集。如果用户114在词语122“is”与词语124“the”之间停顿了两百毫秒,则计算设备比较“what is”与文本样本的汇集。
基于在包含标识的词语并且不包含其他词语的文本样本的数量与以标识的词语开始并且包含附加的词语的文本样本的数量的比率与阈值比率之间的比较,计算设备110标识话语很可能不完整,直到在词语130“life”之后。响应于通用端点器信号104不活跃,计算设备110可能已经利用词语120和122“what is”比较了数量的比率与阈值比率,并且确定了“what is”表示很可能不完整的话语。响应于通用端点器信号104不活跃,计算设备110可能已经利用词语120至130“what is the meaning of life”比较了数量的比率与阈值比率,并且确定了“what is the meaning of life”不表示很可能不完整的话语。计算设备110可能已经确定了词语120至130对应于一百个文本样本的开始并且确定了词语120至130对应于一千个完整的样本。比率将是1000:100,其大于1:200的阈值比率。因此,计算设备110将词语120至130分类为非很可能不完整的话语。如在图1A中所示出的,话语112很可能是不完整的,直到在词语130“life”之后。
如在话语信号108的结束中所图示的,计算设备110断定话语112完整。一旦计算设备110断定话语112完整,计算设备110就将话语112输出为转录135。例如,计算设备110可以将“what is the meaning of life”输出为话语112的转录135。
在一些实现方式中,计算设备110基于将话语分类为很可能不完整来覆盖通用端点定位确定。例如,计算设备110将“what is”分类为很可能不完整的话语。在确定话语的结束被到达之前,计算设备110覆盖通用端点定位确定。
图1B是话语和在对话语是否很可能不完整进行分类中使用的示例信号的示图150。示图150图示了处理对应于由用户164说出的话语162“who is Barack Obama”的音频输入152的计算设备160。与图1A中的计算设备110类似,计算设备160接收用于音频输入152的通用端点器信号154。计算设备160从通用端点器接收通用端点器信号154,其中通用端点器基于在词语120至126之间的时间来标识端点。例如,计算设备160确定在词语170“who”与词语172“is”之间的时间是五十毫秒,并且确定在词语172“is”与词语174“Barack”之间的时间是两百毫秒。如果由用于通用端点定位的通用端点器使用的阈值是一百五十毫秒,则通用端点器在词语172“is”与词语174“Barack”之间标识端点,并且在词语170“who”与词语172“is”之间不标识端点。通用端点器信号154图示了在词语170和词语174之前并且在词语172和176之后的这些端点。
随着ASR软件标识话语162的词语并且通用端点器标识端点,计算设备160生成很可能不完整的话语信号156。与图1A中的计算设备110类似,计算设备160确定文本样本的汇集中的与标识的词语匹配的文本样本的数量和文本样本的汇集中的以标识的词语开始并且包含附加的词语的文本样本的数量。例如,计算设备160确定词语170和172“who is”与文本样本的汇集中的五十个文本样本匹配。为了图示,文本样本的汇集可以包含词语128“whois”的五十个样本。计算设备160确定词语170和172“who is”与文本样本的汇集中的三千个文本样本的开头匹配。为了图示,文本样本的汇集可以包含样本,诸如“who is thepope”、“who is my congressman”以及“who is Barack Obama”。
计算设备160计算文本样本的汇集中的与标识的词语匹配的文本样本的数量与文本样本的汇集中的以标识的词语开始的文本样本的数量的比率。计算设备比较这个比率与阈值比率以确定标识的词语是否表示很可能不完整的查询。在这一示例中,比率是50:3000。如以上所描述的,阈值比率可以是1:200。因为50:3000的比率大于1:200的阈值比率,所以如由词语178“whois”所图示的,计算设备160确定词语170和172为非很可能不完整的话语,并且在词语178处的音频输入152的结束处的很可能不完整的话语信号156是少量。
一旦计算设备160不再将标识的词语分类为很可能不完整的话语,计算设备160就确定话语的结束已经被到达。话语信号158的结束指示计算设备160已经在词语178处的音频输入152处标识了话语的结束。计算设备160将词语178输出为话语185。
在一些实现方式中,计算设备160基于标识的词语为非很可能不完整的分类来去激活计算设备160的麦克风。例如,一旦计算设备160确定词语178“whois”为非很可能不完整的词语,计算设备160就可以去激活用来接收音频输入152的麦克风。在一些实现方式中,一旦计算设备将词语标识为非很可能不完整,计算设备160就将端点添加到标识的词语。例如,计算设备可以在词语178“whois”之后对话语进行端点定位。
在一些实现方式中,计算设备可以基于文本样本的汇集中的与标识的词语匹配的文本样本的数量与文本样本的汇集中的以标识的词语开始的文本样本的数量的比率来去激活麦克风。如果比率不满足特定范围,则计算设备可以去激活麦克风,如果比率满足特定范围,则使得麦克风激活特定时段,或者如果比率不满足特定范围,则使得麦克风激活,直到计算设备再次确定话语很可能不完整。例如,比率的特定范围可以是1:200到1:30。如果确定的比率是5:2000,其小于1:200,则计算设备确定使得麦克风激活。如果确定的比率是5:300,其在1:200到1:30之间,则计算设备确定使得麦克风激活特定时段,诸如两秒。如果计算设备在两秒之前接收附加的音频输入,则计算设备处理附加的音频输入。如果计算设备在两秒内没有接收到附加的音频输入,则计算设备去激活麦克风。如果确定的比率是1:20,则计算设备去激活麦克风。
在图1B中,计算设备160在第二点处确定话语为非很可能不完整的。计算设备160确定词语174和176“Brack Obama”对应于非很可能不完整的话语,并且因此计算设备160如利用话语信号158的结束所图示的,在词语176“Obama”之后确定话语的结束。计算设备160输出转录185“whois”和转录188“Brack Obama”两个转录。
图1C是话语和用于在将话语分类为很可能不完整或者非很可能不完整中使用的示例信号的示图200。一般来说,示图200图示了在背景噪声存在的情况下,当计算设备处理传入音频信号时,由计算设备210生成或者检测到的信号202至208。计算设备210通过计算设备210的麦克风或者其他音频输入设备来接收音频输入202和背景噪声,并将音频输入202分类为很可能不完整或者非很可能不完整的话语。在示图200中所图示的示例中,背景噪声是音乐218。
除了计算设备210接收的附加的音乐218之外,在图1C中所图示的示例与在图1A中所图示的示例类似。在图1C中,用户214说出话语212“what is...the meaning of life”。计算设备210接收音频输入202和音乐218并且生成通用端点器信号204。用于音频输入202的初始端点对应于词语220“what”。利用在背景中的音乐218,因为音频输入202的信号强度不会降到阈值以下,所以计算设备210不能标识用于音频输入202的附加的端点。如由通用端点定位信号204所图示的,甚至在用户214完成说出话语212之后,通用端点定位信号204保持活跃。
尽管在音乐218存在的情况下,计算设备210或者在计算设备210上执行的通用端点器不能生成通用端点器信号204,计算设备210还是标识话语212的词语220至230。如上,计算设备210比较标识的词语与文本样本的汇集。计算设备210计算文本样本的汇集中的以话语212的标识的词语开始的文本样本的数量和包含话语212的标识的词语的文本样本的数量。计算设备210确定具有词语220至222“what is”的比率是5:2000和具有词语220至230“what is the meaning of life”的比率是1000:100。如由很可能不完整的话语信号206所图示的,计算设备210比较词语与1:200的阈值,并且确定词语220至230“what is themeaning of life”不对应于很可能不完整的话语。计算设备210基于不对应于很可能不完整的话语的词语220至230“what is the meaning of life”来断定话语212已经到达了话语的结束。计算设备210然后输出转录235“what is the meaning of life”。
图2是将话语分类为很可能完整或者很可能不完整的示例系统300的示图。系统300的组件可以被包含在计算设备中,诸如,计算设备110、160或者210。系统300包括音频子系统305。音频子系统305可以从外部源(诸如,人类的语音)接收音频信号310。音频子系统305包括麦克风315以接收音频信号310。音频子系统使用模数转换器320将通过麦克风315接收的音频转换成数字信号。音频子系统305也包括缓冲器325。缓冲器325可以存储数字化的音频,例如,为系统300的进一步处理做准备。
话语检测器的增强的结束330从音频子系统305接收并处理数字化的音频。话语检测器的增强的结束330通过使用连续语音识别器350来标识数字化的音频的词语并且比较标识的词语与文本语料库345来将数字化的音频分类为很可能不完整的话语或者非很可能不完整的话语。此外,话语检测器的增强的结束330使用通用端点器340来标识用于数字化的音频的通用端点。
随着话语检测器的增强的结束330接收数字化的音频,话语检测器的增强的结束330使用连续语音识别器350来标识对应于数字化的音频的词语。连续语音识别器350使用自动的语音识别来标识对应于数字化的音频的词语。在一些实现方式中,连续语音识别器350可以被本地实现在接收音频信号310的设备上。在一些实现方式中,连续语音识别器350被实现在服务器上,并且接收音频信号310的设备通过网络向服务器传送数字化的音频。随着服务器标识数字化的音频的词语,服务器然后发送回它们。话语检测器的增强的结束330记录在从连续语音识别器350接收词语之间的时间。例如,连续语音识别器350标识词语“what”,向连续语音识别器350传送该词语并且一百毫秒之后标识词语“is”并向连续语音识别器350传送该词语。
随着话语检测器的增强的结束330接收数字化的音频,话语检测器的增强的结束330使用来自通用端点器340的数据以标识对应于数字化的音频的通用端点。在一些实现方式中,通用端点器340分析数字化的音频的能量水平以确定端点。如果能量水平降低到阈值至少特定的时间量,则通用端点器340可以对数字化的音频进行端点定位。例如,如果数字化的音频对应于用户说出“what is”并且然后沉默三百毫秒,则通用端点器340确定沉默低于能量阈值,并且沉默的时段三百毫秒至少长于两百毫秒的阈值时间。在这种情况下,通用端点器340确定在数字化的音频的结束处存在对应于“is”的端点。
在一些实现方式中,通用端点器340接收由连续语音识别器350标识的词语和在每个词语之间的时间。如果在两个词语之间的时间满足阈值,则通用端点器340在这些两个词语之间添加端点。例如,如果在“what”与“is”之间是一百毫秒的时段并且阈值是一百五十毫秒,则因为时间时段低于阈值,所以通用端点器可以不在“what”与“is”之间添加端点。作为另一示例,如果在“is”与“the之间是两百毫秒的时段并且阈值是一百五十毫秒,则因为时间时段高于阈值,所以通用端点器可以在“is”与“the”之间添加端点。
当数字化的音频的能量水平高于阈值时,通用端点器340也可以标识通用端点。例如,如果数字化的音频对应于由说出“the”的用户跟随的沉默,则通用端点器340可以确定对应于“the”的数字化的音频的能量高于阈值。在这种情况下,通用端点器340确定在对应于“the”开始的数字化的音频中存在端点。
话语检测器的增强的结束330使用前缀或者完整的话语计数器335将对应于音频信号310的话语分类为很可能完整的话语或者非很可能完整的话语。在一些实现方式中,随着话语检测器的增强的结束330从连续语音识别器350接收标识的词语,话语检测器的增强的结束330比较那些标识的词语与文本语料库345。文本语料库345可以包括由多个用户执行的搜索查询或者由特定用户执行的搜索查询。在一些实现方式中,话语检测器的增强的结束330确定文本语料库345中的与标识的词语匹配的文本样本的数量和文本语料库345中的以标识的词语开始并且不包含附加的词语的文本样本的数量。例如,如果标识的词语是“what”,则话语检测器的增强的结束330确定“what”与文本语料库345中的文本样本中的三文本样本匹配并且“what”是文本语料库345中的三千个文本样本的前缀。如果标识的词语是“what is”,则话语检测器的增强的结束330确定“what is”与文本语料库345中的文本样本中的三个文本样本匹配并且“what is”是文本语料库345中的两千个文本样本的前缀。
在一些实现方式中,当标识的词语由满足阈值的停顿跟随时,话语检测器的增强的结束330确定文本语料库345中的与标识的词语匹配的文本样本的数量。例如,阈值可以是一百五十毫秒。如果标识的词语是“what”并且接着五十毫秒,则话语检测器的增强的结束330不能确定文本语料库345中的与“what”匹配的文本采样的数量和文本语料库345中的以“what”开始的文本采样的数量。作为另一示例,如果标识的词语是“what is”并且接着两百毫秒,则话语检测器的增强的结束330确定“what is”与文本语料库345中的文本样本中的三个文本样本匹配并且“what is”是文本语料库345中的两千个文本样本的前缀。在一些实现方式中,话语检测器的增强的结束330使用来自通用端点器340的通用端点定位信号,而不是标识由满足阈值的停顿跟随的词语。
前缀或者完整的话语计算器335使用确定的文本样本的数量来将标识的词语分类为很可能不完整的话语或者非很可能不完整的话语。前缀或者完整的话语计算器335使用文本语料库345中的与标识的词语匹配的文本样本的数量和文本语料库345中的以标识的词语开始的文本样本的数量来计算比率。前缀或者完整的话语计算器335比较确定的比率与阈值比率。如果计算出的比率满足阈值比率,则标识的词语为非很可能不完整的话语。如果计算出的比率不满足阈值比率,则标识的词语是很可能不完整的话语。例如,如果阈值比率是1:200并且标识的词语是“what is”,则确定的比率将是3:2000。在这种情况下,计算的比率小于阈值比率,因此前缀或者完整的话语计算器335将标识的词语分类为很可能不完整的话语。作为另一示例,如果阈值比率是1:200并且标识的词语是“who is”,则计算的比率将是1:150。在这种情况下,计算的比率大于阈值比率,因此前缀或者完整的话语计算器335将标识的词语分类为非很可能不完整的话语。
在一些实现方式中,一旦前缀或者完整的话语计算器335将话语分类为非很可能不完整的,话语检测器的增强的结束330就去激活麦克风315,从而使得音频子系统305不接收附加的音频信号。在一些实现方式中,一旦前缀或者完整的话语计算器335将话语分类成很可能不完整,话语检测器的增强的结束330就将麦克风315维持在激活的状态,从而使得音频子系统305接收附加的音频信号。
一旦话语检测器的增强的结束330将话语分类为非很可能不完整的,话语检测器的增强的结束330就将标识的词语输出为转录或者音频片段355。在一些实现方式中,转录或者音频片段355是话语检测器的增强的结束330分类为非很可能不完整的标识的词语的转录。例如,转录或者音频片段355可以是词语“what is the meaning of life”。在一些实现方式中,转录或者音频片段355是话语检测器的增强的结束330分类为非很可能不完整的标识的词语的音频片段。例如,转录或者音频片段355可以是对应于词语“whois”的音频片段。音频片段可以被缩短以仅包括音频信号310的包含标识的词语的部分。音频片段可以带有转录或者附加的元数据。
图3是用于对话语是否很可能不完整进行分类的示例过程的示图。过程400可以由计算设备(诸如来自图1A的计算设备110)执行。过程400分析音频数据并且使用词比较将话语分类为很可能不完整的或者非很可能不完整的。
计算设备获得话语的转录(410)。话语可以从向设备的麦克风中说话的用户以及接收对应于用户说话的音频信号的设备被接收。设备处理音频信号以标识用户正在说出的词语的转录。在一些实现方式中,设备可以记录指定在转录的词语之间的时间的定时数据。
计算设备将文本样本的汇集中的(i)包括与转录匹配的词语并且(ii)不包括任何附加的词语的文本样本的数量确定为第一值(420)。文本样本的汇集可以是可以关联于特定用户或者由多个用户生成的搜索查询的汇集。在一些实现方式中,设备标识以与转录相同的顺序包括词语的文本样本的数量。例如,转录是“what is”。设备标识包括词语“what”和“is”并且不包括其他词语的文本样本的汇集中的五个文本样本。设备标识那些文本样本中的三个文本样本以与“what is”相同的顺序包括“what”和“is”。在这一示例中,第一值是三。
计算设备将文本样本的汇集中的(i)包括与转录匹配的词语并且(ii)包括一个或者多个附加的词语的文本样本的数量确定为第二值(430)。在一些实现方式中,设备标识包括转录的词语作为文本样本的前缀的文本样本的数量。例如,转录是“what is”。设备标识包括词语“what is”作为前缀的文本样本的汇集中的三千个文本样本。例如,“what is theweather”包括前缀“what is”。设备也可以标识包括词语“what is”作为中缀的文本样本的汇集中的五十个文本样本。例如,“most popular movie what is it”包括“what is”作为中缀。设备也可以标识包括“what is”作为后缀的文本样本的汇集中的两个文本样本。例如,“scary monster what is”包括“what is”作为后缀。在这一示例中,第二值是三千。
计算设备至少基于比较第一值与第二值来将话语分类为很可能不完整的话语或者非很可能不完整的话语(440)。在一些实现方式中,设备计算第一值与第二值的比率并且比较计算出的比率与阈值比率。基于计算出的比率与阈值比率的比较,设备可以将话语分类为很可能不完整的。例如,如果第一值与第二值的计算出的比率是3:3000并且阈值比率是1:200,则其中计算出的比率小于阈值比率,设备将话语分类为很可能不完整的。如果第一值与第二值的计算出的比率是1:150并且阈值比率是1:200,则其中计算出的比率大于阈值比率,设备将话语分类为不大可能不完整的。
在一些实现方式中,设备将话语分类为很可能不完整的并且将设备的麦克风维持在激活状态以接收附加的话语。在一些实现方式中,设备将话语分类为非很可能不完整的并且去激活设备的麦克风并且开始处理话语。在一些实现方式中,设备可以基于在说话之后用户停顿长时间来将话语分类为完整的。例如,设备可以通过使用通用端点器来断定有长停顿跟随的“what is”是完整的话语。如果设备比较“what is”与文本样本的汇集并且将“what is”分类为很可能不完整的话语,则设备可以覆盖话语完整的初始结论。设备可以将麦克风维持在激活状态中以接收附加的话语。
在一些实现方式中,设备将话语分类为非很可能不完整的并且处理话语。设备可以向搜索引擎或者其他自然语言处理引擎提交话语的转录。在一些情况下,搜索引擎或者其他自然语言处理引擎可以确定对话语的适当的响应并且向设备输出响应以用于向用户回放。搜索引擎或者其他自然语言处理引擎可以确定具有从用户引出答复的可能性的响应。在那种情况下,搜索引擎或者其他自然语言处理引擎可以在响应中包括供设备将麦克风维持在激活状态以使得用户可以回答的标志。例如,设备向搜索引擎提交话语“whattime is it”并且搜索引擎确定是三点钟。在这一示例中,存在较少的可能性用户将在对时间的响应上具有跟随。因此,搜索引擎向设备提供数据以使得设备告诉用户时间是“threeo’clock”并且数据包括供设备在告诉用户时间之后不将麦克风维持在激活状态中的标志。作为另一示例,设备向搜索引擎提交话语“when is the next baseball game”并且搜索引擎确定适当的响应是“The baseball game is on Sunday.Would you like to set areminder?”。在这一示例中,存在较高的可能性用户将在对关于设置提醒的问题的响应上具有跟随。因此,搜索引擎向设备提供数据以使得设备告诉用户“The baseball game ison Sunday.Would you like to set a reminder?”并且数据包括供设备在告诉用户时间之后将麦克风维持在激活状态中的标志,以使得用户在不用手动地激活麦克风或者不使用热词的情况下可以说出答案。
可以在数字电子电路中或者在计算机软件、固件或者硬件(包括在本说明书中所公开的结构及其结构等效物)中或者在它们中的一项或者多项的组合中实施在本说明书中描述的主题内容和操作的实施例。可以将在本说明书中描述的主题内容的实施例实施为一个或者多个计算机程序,即,编码在计算机存储介质上的用于由数据处理装置执行或者控制数据处理装置的操作的一个或者多个计算机程序指令模块。备选地或者附加地,可以在人为生成的传播的信号(例如,机器生成的电、光或者电磁信号)上对程序指令编码,该信号被生成用于对信息编码以用于向适当接收器设备传输以供数据处理装置执行。计算机存储介质可以是或者被包括在计算机可读存储设备、计算机可读存储衬底、随机或者串行访问存储器阵列或者设备或者它们中的一项或者多项的组合。此外,虽然计算机存储介质不是传播的信号,但是计算机存储介质可以是被编码在人工生成的传播的信号中的计算机程序指令的源或者目的地。计算机存储介质也可以是或者被包括在一个或者多个分离的物理组件或者介质(例如,多个CD、磁盘或者其他存储设备)中。
本说明书中所描述的操作可以被实施为在存储在一个或者多个计算机可读存储设备中或者从其他源接收的数据上由数据处理装置执行的操作。
词语“数据处理装置”涵盖各种用于处理数据的装置、设备和机器,举例而言包括可编程处理器、计算机、片上系统、或者多个或者前述的组合。该装置可以包括专用逻辑电路装置,例如,FPGA(现场可编程门阵列)或者ASIC(专用集成电路)。该装置除了硬件之外也可以包括为讨论的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统的代码、跨平台运行环境、虚拟机或者它们中的一项或者多项的组合。装置和执行环境可以实现各种不同的计算模型基础设施,诸如web服务、分布式计算以及网格计算基础设施。
计算机程序(也被称为程序、软件、软件应用、脚本或者代码)可以用任何形式的编程语言(包括编译或者解译语言、说明或者过程语言)编写,并且计算机程序可以用任何形式被部署,包括被部署为独立程序或者被部署为适合于在计算环境中使用的模块、组件、子例程、对象或者其他单元。计算机程序可以但是无需对应于文件系统中的文件。程序可以被存储于保持其他程序或者数据的文件(例如,存储于标记语言文档中的一个或者多个脚本)的一部分中、专用于讨论的程序的单个文件中,或者多个协同文件(例如,存储一个或者多个模块、子程序或者代码部分的文件)中。计算机程序可以被部署用于在一个计算机上或者在位于一个地点或者跨多个地点分布并且由通信网络互连的多个计算机上执行。
本说明书中所描述的过程和逻辑流可以由一个或者多个可编程处理器执行,该一个或者多个可编程处理器执行一个或者多个计算机程序以通过对输入数据操作并且生成输出来执行动作。该过程和逻辑流也可以由专用逻辑电路装置(例如,FPGA(现场可编程门阵列)或者ASIC(专用集成电路))执行并且也可以将设备实施为专用逻辑电路。
举例而言,适合于执行计算机程序的处理器可以包括通用微处理器和专用微处理器二者、以及任何之类的数字计算机中的任何一个或者多个处理器。一般而言,处理器将从只读存储器或者随机访问存储器或者二者接收指令和数据。计算机的必要元件是用于执行根据指令的动作的处理器以及用于存储指令和数据的一个或者多个存储器设备。一般而言,计算机还将包括用于存储数据的一个或者多个海量存储设备(例如,磁盘、磁光盘或者光盘)或者被操作地耦合用于从该一个或者多个海量存储设备接收数据或者向该一个或者多个海量存储设备传送数据或者接收和传送二者。然而,计算机无需具有这样的设备。另外,计算机可以被嵌入于另一设备中,聊举数例,例如,移动电话、个人数字助理(PDA)、移动音频或者视频播放器、游戏控制台、全球定位系统(GPS)接收器或者便携存储设备(例如,通用串行总线(USB)闪存驱动)。适合于存储计算机程序指令和数据的设备包括各种形式的非易失性存储器、介质、存储器设备,举例而言包括半导体存储设备,例如,EPROM、EEPROM以及闪存设备;磁盘,例如,内部硬盘或者可拆卸磁盘;磁光盘;CD-ROM、以及DVD-ROM磁盘。处理器和存储器可以被补充到或者并入专用逻辑电路中。
为了提供与用户的交互,可以在计算机上实施在本说明书中描述的主题内容的实施例,该计算机具有用于向用户显示信息的显示设备(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器)以及用户可以用来向计算机提供输入的键盘和指点设备,例如,鼠标或者轨迹球。其他种类的设备也可以用来提供与用户的交互;例如,向用户提供的反馈可以是任何形式的感官反馈,例如,视觉反馈、听觉反馈或者触觉反馈;并且可以接收来自用户的包括声音、语音或者触觉输入的任何形式的输入。此外,计算机可以通过向用户使用的设备发送文档和从该设备接收文档(例如,通过响应于从用户的客户端设备上的web浏览器接收的请求向web浏览器发送网页)来与用户交互。
本说明书中所描述的主题内容的实施例可以在计算系统中被实施,该计算系统包括例如作为数据服务器的后端组件或者包括中间件组件(例如,应用服务器)或者包括前端组件(例如,具有图形用户接口或者Web浏览器(用户可以通过该图形用户接口或者Web浏览器与在本说明书中描述的主题内容的实现方式交互)的客户端计算机)或者一个或者多个这样的后端、中间件或者前端部件的任何组合。系统的组件可以通过任何数字数据通信形式或者介质(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”),互联网络(例如,因特网)以及对等网络(例如,自组织对等网络)。
由于具有安装在操作中的系统上的软件、固件、硬件或者它们的组合引起系统执行动作,一个或者多个计算机的系统可以被配置为执行特定操作或者动作。由于包括当由数据处理装置执行时引起装置执行动作的指令,一个或者多个程序可以被配置为执行特定操作或者动作。
计算系统可以包括客户端和服务器。客户端和服务器一般相互远离并且通常通过通信网络交互。客户端和服务器的关系借助在相应计算机上运行并且相互具有客户端-服务器关系的计算机程序而产生。在一些实施例中,(例如,出于显示数据并且从与客户端设备交互的用户接收用户输入的目的)服务器向客户端设备传送数据(例如,HTML页面)。在客户端设备处生成的数据(例如,用户交互的结果)可以从服务器处的客户端设备被接收。
尽管本说明书包含许多具体实现方式细节,但是不应将这些解释为限制可以要求保护的或者任何创新的内容的范围,而是应解释为对特定创新的特定实施例特有的特征的解释。在本说明书中在分离的实施例的背景中描述的某些特征也可以在单个实施例中被组合实施。相反地,在单个实施例的背景中描述的各种特征也可以在多个实施例中分离地或者在任何适当子组合中被实施。另外,虽然上文可以将特征描述为在某些组合中动作并且甚至起初这样要求保护,但是来自要求保护的组合的一个或者多个特征可以在一些情况下从该组合中被删除,并且要求保护的组合可以涉及子组合或者子组合的变型。
类似地,尽管在附图中以特定顺序描绘操作,但是这不应被理解为要求以所示特定顺序或者以依次顺序执行这样的操作或者执行所有所示操作以实现希望的结果。在某些境况中,多任务和并行处理可以是有利的。另外,在上文描述的实施例中的各种系统部件的分离不应被理解为在所有实施例中要求这样的分离,并且应当理解描述的程序组件和系统一般可以被一起集成于单个软件产品中或者被封装到多个软件产品中。
因此,已经描述了主题内容的特定实施例。其他实施例在所附权利要求的范围内。在一些情况下,在权利要求中记载的动作可以按不同顺序被执行而仍然实现希望的结果。此外,在附图中描绘的过程未必需要所示特定顺序或者依次顺序以实现希望的结果。在某些实现方式中,多任务和并行处理可以是有利的。
Claims (15)
1.一种计算机实现的用于对语音进行端点定位的方法,包括:
获得话语的转录;
确定文本样本的汇集中的(i)包括与所述转录匹配的词语并且(ii)不包括任何附加的词语的文本样本的第一数量;
确定文本样本的所述汇集中的(i)包括与所述转录匹配的词语并且(ii)包括一个或者多个附加的词语的文本样本的第二数量;
比较所述第一数量和第二数量;
至少基于比较所述第一数量与所述第二数量来将所述话语分类为很可能不完整的话语或者非很可能不完整的话语;以及
基于将所述话语分类为很可能不完整的话语,维持麦克风处于激活状态以接收附加的话语,或者基于将所述话语分类为非很可能不完整的话语,去激活所述麦克风。
2.根据权利要求1所述的方法,其中,确定文本样本的汇集中的(i)包括与所述转录匹配的词语并且(ii)不包括任何附加的词语的文本样本的第一数量包括:
在每个文本样本中确定与所述转录匹配的词语以与在所述转录中相同的顺序出现。
3.根据权利要求1所述的方法,其中,确定文本样本的所述汇集中的(i)包括与所述转录匹配的词语并且(ii)包括一个或者多个附加的词语的文本样本的第二数量包括:
在每个文本样本中确定与所述转录匹配的所述词语在每个文本样本的前缀处出现。
4.根据权利要求1所述的方法,其中,
比较所述第一数量和第二数量包括:
确定所述第一数量与所述第二数量的比率,
确定所述比率满足阈值比率;并且
至少基于比较所述第一数量与所述第二数量来将所述话语分类为很可能不完整的话语或者非很可能不完整的话语包括:
基于确定所述比率满足所述阈值比率来将所述话语分类为很可能不完整的话语。
5.根据权利要求1所述的方法,包括:
接收指示话语完整的数据;
其中至少基于比较所述第一数量与所述第二数量来将所述话语分类为很可能不完整的话语或者非很可能不完整的话语包括:将所述话语分类为很可能不完整的话语;并且
基于将所述话语分类为很可能不完整的话语来覆盖指示话语完整的所述数据。
6.根据权利要求1所述的方法,其中,所述文本样本的汇集是搜索查询的汇集。
7.一种用于对语音进行端点定位的系统,包括:
一个或者多个计算机和一个或者多个存储设备,所述存储设备存储可操作的指令,所述指令当由所述一个或者多个计算机执行时,使得所述一个或者多个计算机执行操作,所述操作包括:
获得话语的转录;
确定文本样本的汇集中的(i)包括与所述转录匹配的词语并且(ii)不包括任何附加的词语的文本样本的第一数量;
确定文本样本的所述汇集中的(i)包括与所述转录匹配的词语并且(ii)包括一个或者多个附加的词语的文本样本的第二数量;
比较所述第一数量和第二数量;
至少基于比较所述第一数量与所述第二数量来将所述话语分类为很可能不完整的话语或者非很可能不完整的话语;以及
基于将所述话语分类为很可能不完整的话语,维持麦克风处于激活状态以接收附加的话语,或者基于将所述话语分类为非很可能不完整的话语,去激活所述麦克风。
8.根据权利要求7所述的系统,其中,确定文本样本的汇集中的(i)包括与所述转录匹配的词语并且(ii)不包括任何附加的词语的文本样本的第一数量包括:
在每个文本样本中确定与所述转录匹配的词语以与在所述转录中相同的顺序出现。
9.根据权利要求7所述的系统,其中,确定文本样本的所述汇集中的(i)包括与所述转录匹配的词语并且(ii)包括一个或者多个附加的词语的文本样本的第二数量包括:
在每个文本样本中确定与所述转录匹配的所述词语在每个文本样本的前缀处出现。
10.根据权利要求7所述的系统,其中,
比较所述第一数量和第二数量包括:
确定所述第一数量与所述第二数量的比率,
确定所述比率满足阈值比率;并且
至少基于比较所述第一数量与所述第二数量来将所述话语分类为很可能不完整的话语或者非很可能不完整的话语包括:
基于确定所述比率满足所述阈值比率来将所述话语分类为很可能不完整的话语。
11.根据权利要求7所述的系统,所述操作还包括:
接收指示话语完整的数据;
其中至少基于比较所述第一数量与所述第二数量来将所述话语分类为很可能不完整的话语或者非很可能不完整的话语包括:将所述话语分类为很可能不完整的话语;并且
基于将所述话语分类为很可能不完整的话语来覆盖指示话语完整的所述数据。
12.一种存储软件的非瞬态的计算机可读介质,所述软件包括由一个或者多个计算机可执行的指令,所述指令在这样的执行时,使得所述一个或者多个计算机执行操作,所述操作包括:
获得话语的转录;
确定文本样本的汇集中的(i)包括与所述转录匹配的词语并且(ii)不包括任何附加的词语的文本样本的第一数量;
确定文本样本的所述汇集中的(i)包括与所述转录匹配的词语并且(ii)包括一个或者多个附加的词语的文本样本的第二数量;
比较所述第一数量和第二数量;
至少基于比较所述第一数量与所述第二数量来将所述话语分类为很可能不完整的话语或者非很可能不完整的话语;以及
基于将所述话语分类为很可能不完整的话语,维持麦克风处于激活状态以接收附加的话语,或者基于将所述话语分类为非很可能不完整的话语,去激活所述麦克风。
13.根据权利要求12所述的介质,其中,确定文本样本的汇集中的(i)包括与所述转录匹配的词语并且(ii)不包括任何附加的词语的文本样本的第一数量包括:
在每个文本样本中确定与所述转录匹配的词语以与在所述转录中相同的顺序出现。
14.根据权利要求12所述的介质,其中,
比较所述第一数量和第二数量包括:
确定所述第一数量与所述第二数量的比率,
确定所述比率满足阈值比率;并且
至少基于比较所述第一数量与所述第二数量来将所述话语分类为很可能不完整的话语或者非很可能不完整的话语包括:
基于确定所述比率满足所述阈值比率来将所述话语分类为很可能不完整的话语。
15.根据权利要求12所述的介质,所述操作还包括:
接收指示话语完整的数据;
其中至少基于比较所述第一数量与所述第二数量来将所述话语分类为很可能不完整的话语或者非很可能不完整的话语包括:将所述话语分类为很可能不完整的话语;并且
基于将所述话语分类为很可能不完整的话语来覆盖指示话语完整的所述数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010581401.6A CN111627424A (zh) | 2014-04-23 | 2015-04-22 | 基于词比较的语音端点定位的方法、系统和介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461983025P | 2014-04-23 | 2014-04-23 | |
US61/983,025 | 2014-04-23 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010581401.6A Division CN111627424A (zh) | 2014-04-23 | 2015-04-22 | 基于词比较的语音端点定位的方法、系统和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105006235A CN105006235A (zh) | 2015-10-28 |
CN105006235B true CN105006235B (zh) | 2020-07-17 |
Family
ID=52991538
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510195100.9A Active CN105006235B (zh) | 2014-04-23 | 2015-04-22 | 基于词比较的语音端点定位 |
CN202010581401.6A Pending CN111627424A (zh) | 2014-04-23 | 2015-04-22 | 基于词比较的语音端点定位的方法、系统和介质 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010581401.6A Pending CN111627424A (zh) | 2014-04-23 | 2015-04-22 | 基于词比较的语音端点定位的方法、系统和介质 |
Country Status (3)
Country | Link |
---|---|
US (6) | US9607613B2 (zh) |
EP (3) | EP3188183A1 (zh) |
CN (2) | CN105006235B (zh) |
Families Citing this family (144)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
KR20150104615A (ko) | 2013-02-07 | 2015-09-15 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
EP3008641A1 (en) | 2013-06-09 | 2016-04-20 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
CN105453026A (zh) | 2013-08-06 | 2016-03-30 | 苹果公司 | 基于来自远程设备的活动自动激活智能响应 |
US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
US9607613B2 (en) | 2014-04-23 | 2017-03-28 | Google Inc. | Speech endpointing based on word comparisons |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
TWI566107B (zh) | 2014-05-30 | 2017-01-11 | 蘋果公司 | 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置 |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10186254B2 (en) * | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
US10339917B2 (en) | 2015-09-03 | 2019-07-02 | Google Llc | Enhanced speech endpointing |
US20170069309A1 (en) | 2015-09-03 | 2017-03-09 | Google Inc. | Enhanced speech endpointing |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10133821B2 (en) * | 2016-01-06 | 2018-11-20 | Google Llc | Search result prefetching of voice queries |
JP6447578B2 (ja) * | 2016-05-27 | 2019-01-09 | トヨタ自動車株式会社 | 音声対話装置および音声対話方法 |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
US10559309B2 (en) | 2016-12-22 | 2020-02-11 | Google Llc | Collaborative voice controlled devices |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
US10593352B2 (en) | 2017-06-06 | 2020-03-17 | Google Llc | End of query detection |
US10929754B2 (en) | 2017-06-06 | 2021-02-23 | Google Llc | Unified endpointer using multitask and multidomain learning |
US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
US10276031B1 (en) | 2017-12-08 | 2019-04-30 | Motorola Solutions, Inc. | Methods and systems for evaluating compliance of communication of a dispatcher |
US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
US10496705B1 (en) | 2018-06-03 | 2019-12-03 | Apple Inc. | Accelerated task performance |
CN110827795A (zh) * | 2018-08-07 | 2020-02-21 | 阿里巴巴集团控股有限公司 | 语音输入结束判断方法、装置、设备、系统以及存储介质 |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
EP3948854B1 (en) * | 2019-04-16 | 2024-01-31 | Google LLC | Joint endpointing and automatic speech recognition |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
DK201970510A1 (en) | 2019-05-31 | 2021-02-11 | Apple Inc | Voice identification in digital assistant systems |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
CN110619873A (zh) | 2019-08-16 | 2019-12-27 | 北京小米移动软件有限公司 | 音频处理方法、装置及存储介质 |
WO2021056255A1 (en) | 2019-09-25 | 2021-04-01 | Apple Inc. | Text detection using global geometry estimators |
KR20210044985A (ko) * | 2019-10-16 | 2021-04-26 | 엘지전자 주식회사 | 음성 처리 방법 및 음성 처리 장치 |
US11043220B1 (en) | 2020-05-11 | 2021-06-22 | Apple Inc. | Digital assistant hardware abstraction |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
US11984124B2 (en) | 2020-11-13 | 2024-05-14 | Apple Inc. | Speculative task flow execution |
CN112530424A (zh) * | 2020-11-23 | 2021-03-19 | 北京小米移动软件有限公司 | 语音处理方法及装置、电子设备、存储介质 |
US11705125B2 (en) * | 2021-03-26 | 2023-07-18 | International Business Machines Corporation | Dynamic voice input detection for conversation assistants |
CN113393840B (zh) * | 2021-08-17 | 2021-11-05 | 硕广达微电子(深圳)有限公司 | 一种基于语音识别的移动终端控制系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1180204A (zh) * | 1996-05-02 | 1998-04-29 | 微软公司 | 大写和无重音文本的词典处理的方法和系统 |
US5940794A (en) * | 1992-10-02 | 1999-08-17 | Mitsubishi Denki Kabushiki Kaisha | Boundary estimation method of speech recognition and speech recognition apparatus |
CN1252592A (zh) * | 1998-10-28 | 2000-05-10 | 国际商业机器公司 | 会话自然语言的命令边界鉴别器 |
TW201403590A (zh) * | 2012-07-06 | 2014-01-16 | Realtek Semiconductor Corp | 訊號處理裝置以及訊號處理方法 |
Family Cites Families (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4713777A (en) * | 1984-05-27 | 1987-12-15 | Exxon Research And Engineering Company | Speech recognition method having noise immunity |
US4980918A (en) * | 1985-05-09 | 1990-12-25 | International Business Machines Corporation | Speech recognition system with efficient storage and rapid assembly of phonological graphs |
JP3045510B2 (ja) * | 1989-12-06 | 2000-05-29 | 富士通株式会社 | 音声認識処理装置 |
JP2764343B2 (ja) * | 1990-09-07 | 1998-06-11 | 富士通株式会社 | 節/句境界抽出方式 |
JP3533696B2 (ja) * | 1994-03-22 | 2004-05-31 | 三菱電機株式会社 | 音声認識の境界推定方法及び音声認識装置 |
JP3004883B2 (ja) * | 1994-10-18 | 2000-01-31 | ケイディディ株式会社 | 終話検出方法及び装置並びに連続音声認識方法及び装置 |
JP3611223B2 (ja) * | 1996-08-20 | 2005-01-19 | 株式会社リコー | 音声認識装置及び方法 |
US6018708A (en) * | 1997-08-26 | 2000-01-25 | Nortel Networks Corporation | Method and apparatus for performing speech recognition utilizing a supplementary lexicon of frequently used orthographies |
US6321197B1 (en) | 1999-01-22 | 2001-11-20 | Motorola, Inc. | Communication device and method for endpointing speech utterances |
WO2000046789A1 (fr) | 1999-02-05 | 2000-08-10 | Fujitsu Limited | Detecteur de la presence d'un son et procede de detection de la presence et/ou de l'absence d'un son |
US6324509B1 (en) | 1999-02-08 | 2001-11-27 | Qualcomm Incorporated | Method and apparatus for accurate endpointing of speech in the presence of noise |
IT1315917B1 (it) | 2000-05-10 | 2003-03-26 | Multimedia Technologies Inst M | Metodo di rivelazione di attivita' vocale e metodo per lasegmentazione di parole isolate, e relativi apparati. |
US6873953B1 (en) * | 2000-05-22 | 2005-03-29 | Nuance Communications | Prosody based endpoint detection |
US6810375B1 (en) * | 2000-05-31 | 2004-10-26 | Hapax Limited | Method for segmentation of text |
US20020042709A1 (en) * | 2000-09-29 | 2002-04-11 | Rainer Klisch | Method and device for analyzing a spoken sequence of numbers |
US7277853B1 (en) | 2001-03-02 | 2007-10-02 | Mindspeed Technologies, Inc. | System and method for a endpoint detection of speech for improved speech recognition in noisy environments |
US7177810B2 (en) | 2001-04-10 | 2007-02-13 | Sri International | Method and apparatus for performing prosody-based endpointing of a speech signal |
JP3557605B2 (ja) * | 2001-09-19 | 2004-08-25 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 文切り方法及びこれを用いた文切り処理装置、機械翻訳装置並びにプログラム |
US20050108011A1 (en) | 2001-10-04 | 2005-05-19 | Keough Steven J. | System and method of templating specific human voices |
US7366667B2 (en) * | 2001-12-21 | 2008-04-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and device for pause limit values in speech recognition |
US7035807B1 (en) | 2002-02-19 | 2006-04-25 | Brittain John W | Sound on sound-annotations |
US9117460B2 (en) * | 2004-05-12 | 2015-08-25 | Core Wireless Licensing S.A.R.L. | Detection of end of utterance in speech recognition system |
US7610199B2 (en) * | 2004-09-01 | 2009-10-27 | Sri International | Method and apparatus for obtaining complete speech signals for speech recognition applications |
US20080294433A1 (en) * | 2005-05-27 | 2008-11-27 | Minerva Yeung | Automatic Text-Speech Mapping Tool |
US8170875B2 (en) | 2005-06-15 | 2012-05-01 | Qnx Software Systems Limited | Speech end-pointer |
JP4732030B2 (ja) * | 2005-06-30 | 2011-07-27 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
US7831425B2 (en) * | 2005-12-15 | 2010-11-09 | Microsoft Corporation | Time-anchored posterior indexing of speech |
KR100762636B1 (ko) * | 2006-02-14 | 2007-10-01 | 삼성전자주식회사 | 네트워크 단말의 음성 검출 제어 시스템 및 방법 |
CA2570744C (en) | 2006-04-24 | 2014-07-15 | Bce Inc. | Method, system and apparatus for conveying an event reminder |
JP4282704B2 (ja) * | 2006-09-27 | 2009-06-24 | 株式会社東芝 | 音声区間検出装置およびプログラム |
CN101197131B (zh) | 2006-12-07 | 2011-03-30 | 积体数位股份有限公司 | 随机式声纹密码验证系统、随机式声纹密码锁及其产生方法 |
US8364485B2 (en) | 2007-08-27 | 2013-01-29 | International Business Machines Corporation | Method for automatically identifying sentence boundaries in noisy conversational data |
KR100925479B1 (ko) * | 2007-09-19 | 2009-11-06 | 한국전자통신연구원 | 음성 인식 방법 및 장치 |
JP5229234B2 (ja) * | 2007-12-18 | 2013-07-03 | 富士通株式会社 | 非音声区間検出方法及び非音声区間検出装置 |
US8577679B2 (en) | 2008-02-13 | 2013-11-05 | Nec Corporation | Symbol insertion apparatus and symbol insertion method |
CA2680304C (en) | 2008-09-25 | 2017-08-22 | Multimodal Technologies, Inc. | Decoding-time prediction of non-verbalized tokens |
DE102008058883B4 (de) | 2008-11-26 | 2023-07-27 | Lumenvox Corporation | Verfahren und Anordnung zur Steuerung eines Nutzerzugriffs |
US8494857B2 (en) * | 2009-01-06 | 2013-07-23 | Regents Of The University Of Minnesota | Automatic measurement of speech fluency |
US8412525B2 (en) | 2009-04-30 | 2013-04-02 | Microsoft Corporation | Noise robust speech classifier ensemble |
KR101622111B1 (ko) * | 2009-12-11 | 2016-05-18 | 삼성전자 주식회사 | 대화 시스템 및 그의 대화 방법 |
KR101377459B1 (ko) | 2009-12-21 | 2014-03-26 | 한국전자통신연구원 | 자동 통역 장치 및 그 방법 |
KR20140026229A (ko) | 2010-04-22 | 2014-03-05 | 퀄컴 인코포레이티드 | 음성 액티비티 검출 |
US8762150B2 (en) | 2010-09-16 | 2014-06-24 | Nuance Communications, Inc. | Using codec parameters for endpoint detection in speech recognition |
US20140006825A1 (en) * | 2012-06-30 | 2014-01-02 | David Shenhav | Systems and methods to wake up a device from a power conservation state |
US9015048B2 (en) * | 2012-11-30 | 2015-04-21 | At&T Intellectual Property I, L.P. | Incremental speech recognition for dialog systems |
US9437186B1 (en) | 2013-06-19 | 2016-09-06 | Amazon Technologies, Inc. | Enhanced endpoint detection for speech recognition |
US8843369B1 (en) * | 2013-12-27 | 2014-09-23 | Google Inc. | Speech endpointing based on voice profile |
US9311932B2 (en) * | 2014-01-23 | 2016-04-12 | International Business Machines Corporation | Adaptive pause detection in speech recognition |
US9607613B2 (en) | 2014-04-23 | 2017-03-28 | Google Inc. | Speech endpointing based on word comparisons |
-
2015
- 2015-04-08 US US14/681,203 patent/US9607613B2/en active Active
- 2015-04-17 EP EP17152524.9A patent/EP3188183A1/en not_active Withdrawn
- 2015-04-17 EP EP20195420.3A patent/EP3767620A3/en active Pending
- 2015-04-17 EP EP15164091.9A patent/EP2937860B1/en active Active
- 2015-04-22 CN CN201510195100.9A patent/CN105006235B/zh active Active
- 2015-04-22 CN CN202010581401.6A patent/CN111627424A/zh active Pending
-
2016
- 2016-05-17 US US15/156,478 patent/US10140975B2/en active Active
-
2018
- 2018-10-09 US US16/154,875 patent/US10546576B2/en active Active
-
2019
- 2019-08-14 US US16/540,795 patent/US11004441B2/en active Active
-
2021
- 2021-04-30 US US17/245,019 patent/US11636846B2/en active Active
-
2023
- 2023-03-24 US US18/189,270 patent/US20230237988A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5940794A (en) * | 1992-10-02 | 1999-08-17 | Mitsubishi Denki Kabushiki Kaisha | Boundary estimation method of speech recognition and speech recognition apparatus |
CN1180204A (zh) * | 1996-05-02 | 1998-04-29 | 微软公司 | 大写和无重音文本的词典处理的方法和系统 |
CN1252592A (zh) * | 1998-10-28 | 2000-05-10 | 国际商业机器公司 | 会话自然语言的命令边界鉴别器 |
TW201403590A (zh) * | 2012-07-06 | 2014-01-16 | Realtek Semiconductor Corp | 訊號處理裝置以及訊號處理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20230237988A1 (en) | 2023-07-27 |
US20190043480A1 (en) | 2019-02-07 |
US11636846B2 (en) | 2023-04-25 |
EP3767620A2 (en) | 2021-01-20 |
EP2937860A1 (en) | 2015-10-28 |
CN105006235A (zh) | 2015-10-28 |
US10140975B2 (en) | 2018-11-27 |
US20200043466A1 (en) | 2020-02-06 |
CN111627424A (zh) | 2020-09-04 |
US11004441B2 (en) | 2021-05-11 |
US10546576B2 (en) | 2020-01-28 |
EP3188183A1 (en) | 2017-07-05 |
US20150310879A1 (en) | 2015-10-29 |
US9607613B2 (en) | 2017-03-28 |
EP2937860B1 (en) | 2020-10-14 |
US20210248995A1 (en) | 2021-08-12 |
EP3767620A3 (en) | 2021-04-07 |
US20160260427A1 (en) | 2016-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105006235B (zh) | 基于词比较的语音端点定位 | |
US11942083B2 (en) | Recognizing speech in the presence of additional audio | |
US9754584B2 (en) | User specified keyword spotting using neural network feature extractor | |
JP7359886B2 (ja) | 強化された発話エンドポイント指定のための方法、システム、およびコンピュータ可読記憶媒体 | |
KR102205371B1 (ko) | 개별화된 핫워드 검출 모델들 | |
CN110825340B (zh) | 提供预先计算的热词模型 | |
US8843369B1 (en) | Speech endpointing based on voice profile | |
US20080189106A1 (en) | Multi-Stage Speech Recognition System | |
US9240183B2 (en) | Reference signal suppression in speech recognition | |
DK201770105A1 (en) | Improving automatic speech recognition based on user feedback | |
US9443517B1 (en) | Generating sounds for detectability by neural networks | |
US20240221737A1 (en) | Recognizing speech in the presence of additional audio | |
AU2019100034A4 (en) | Improving automatic speech recognition based on user feedback |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: American California Applicant after: Google limited liability company Address before: California Applicant before: Google Inc. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |