CN109479172A - 电子设备麦克风监听模式 - Google Patents
电子设备麦克风监听模式 Download PDFInfo
- Publication number
- CN109479172A CN109479172A CN201680087064.7A CN201680087064A CN109479172A CN 109479172 A CN109479172 A CN 109479172A CN 201680087064 A CN201680087064 A CN 201680087064A CN 109479172 A CN109479172 A CN 109479172A
- Authority
- CN
- China
- Prior art keywords
- electronic equipment
- microphone
- listening mode
- focusing
- wide scope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 68
- 230000007246 mechanism Effects 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 17
- 230000004888 barrier function Effects 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000005611 electricity Effects 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 20
- 241000251468 Actinopterygii Species 0.000 description 5
- 241000209140 Triticum Species 0.000 description 4
- 235000021307 Triticum Nutrition 0.000 description 4
- 230000000977 initiatory effect Effects 0.000 description 4
- 238000010079 rubber tapping Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 239000008267 milk Substances 0.000 description 3
- 210000004080 milk Anatomy 0.000 description 3
- 235000013336 milk Nutrition 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/004—Monitoring arrangements; Testing arrangements for microphones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/08—Mouthpieces; Microphones; Attachments therefor
- H04R1/083—Special constructions of mouthpieces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/34—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by using a single transducer with sound reflecting, diffracting, directing or guiding means
- H04R1/342—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by using a single transducer with sound reflecting, diffracting, directing or guiding means for microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Otolaryngology (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
可以将电子设备的麦克风的宽范围、非聚焦监听模式设置成选择性地小于设备周围的最大范围。麦克风可以在宽范围、非聚焦监听模式下操作,以检测说出的触发短语。然后,麦克风可以在窄范围、聚焦的监听模式下操作,该模式指向在宽范围、非聚焦监听模式下从其处检测到说出的触发短语的位置。
Description
背景技术
语音识别已经变得足够先进,以至于它正代替经由文本输入与电子设备交互而成为用户与它们交互的流行方式。例如,许多智能电话和其他移动计算设备可以被配置成处于“始终监听”模式。用户可能能够询问“明天天气如何”而不必键入这个问题,并接收到来自设备的口头回复作为回应。作为另一示例,最近,旨在保持停留在用户家中的电子设备已经变得可用。因此,用户可以在他或她自己的家中舒适地询问类似的问题,以及例如当用户稍后在商店时将项目添加到可以可从用户的智能手机检索的购物清单中。
附图说明
图1是用于在不同的监听模式下操作电子设备的麦克风的示例方法的流程图。
图2是图1的方法的示例图解执行的图示。
图3是用于在窄范围、聚焦的监听模式下操作电子设备的麦克风的示例方法的流程图。
图4是用于定制电子设备的麦克风可在其中操作的宽范围、非聚焦监听模式的示例方法的流程图。
图5是图4的方法的示例图解执行的图示。
图6是用于将电子设备所处的环境的一部分定义成要在宽范围、非聚焦监听模式下被设备的麦克风选择性地忽略的示例方法的流程图。
图7是图6的方法的示例图解执行的图示。
图8是用于将电子设备所处的环境的一部分定义成要在宽范围、非聚焦监听模式下被设备的麦克风选择性地忽略的另一示例方法的流程图。
图9是图8的方法的示例图解执行的图示。
图10是用于将电子设备所处的环境的一部分定义成要在宽范围、非聚焦监听模式下被设备的麦克风选择性地忽略的第三示例方法的流程图。
图11是图10的方法的示例图解执行的图示。
图12是用于将电子设备所处的环境的一部分定义成要在宽范围、非聚焦监听模式下被设备的麦克风选择性地忽略的第四示例方法的流程图。
图13是图12的方法的示例图解执行的图示。
图14是具有麦克风的示例电子设备的图示。
图15是具有包括多个麦克风机构的麦克风的示例电子设备的图示。
具体实施方式
如背景技术部分中指出的,语音识别已经成为一种流行的方式,通过该方式,用户参与与他们的电子设备的对话以接收所需信息。这种技术允许更方便和安全地使用电子设备。例如,用户可以在驾驶时以这种方式请求信息而不必使他或她的眼睛离开道路。用户可以在他或她的家中走动时以这种方式请求信息,而不必掏出智能手机、打开平板计算设备或者接近膝上型或台式计算机。
然而,从电子设备口头引出信息通常不如以文本方式直接在设备上输入信息请求那样可靠。用户可能位于嘈杂的环境中,使得电子设备难以清楚地辨别用户的语音。作为另一示例,电子设备可能靠着墙壁放置或放置在角落,导致设备拾取了用户语音的回声,然后必须正确地抵消该回声以便恰当地理解口头请求。
本文公开了在从电子设备口头请求信息时减轻这些问题的技术。在一个示例技术中,这种设备的麦克风可在两种模式下操作:宽范围、非聚焦监听模式和窄范围、聚焦的监听模式。该设备在前一模式下操作以监听说出的(spoken)触发阶段,例如“嘿设备”。一旦设备检测到触发短语,电子设备然后就在后一模式下操作,将其麦克风指向从其处检测到说出的触发短语的位置。
在另一示例技术中,可以将宽范围、非聚焦监听模式设置成从其最大范围中选择性地忽略某些位置,该最大范围可以是该设备周围的360度。例如,鱼缸可能具有嘈杂的起泡器,导致不适当的背景噪声。将宽范围监听模式指定成忽略来自该缸方向的声音使得麦克风拾取较少的背景噪声。
作为另一示例,电视在观看时可能无意中导致电子设备在电视输出相同或相似的短语时检测到触发短语。将宽范围、非聚焦监听模式指定成忽略来自电视方向的声音会降低发生这种情况的可能性。作为第三示例,电子设备可能沿着墙壁放置或放置在角落,导致设备的麦克风检测到离开墙壁的回声,必须正确地抵消该回声才能得到最佳语音识别。将宽范围的监听模式指定成忽略来自这些墙壁方向的声音意味着更可能发生最佳语音识别。
图1示出了用于在各种监听模式下操作电子设备的麦克风的示例方法100。方法100可以由电子设备来执行。例如,方法100可以被实现为存储在非暂时性计算机可读数据存储介质上并且可由电子设备执行的计算机可执行代码。
当在宽范围、非聚焦监听模式下操作时,电子设备的麦克风检测说出的触发短语(102)。当电子设备开启并且可操作时,麦克风可以在该监听模式下连续操作,例如直到它听到被说出的触发短语为止。宽范围、非聚焦监听模式可以是麦克风能够从其处检测到声音的电子设备周围的最大范围。例如,该范围可以是电子设备周围的360度。该监听模式可以是非聚焦监听模式,因为麦克风不将其焦点指向其总的监听范围内的任何特定部分,而是非聚焦的并且可以在整个定义的宽范围内进行监听。
触发短语是预先指定的,并且用户可以能够选择触发短语。触发短语可以包括一个单词或多个连续的单词。触发短语的用途可以是使得电子设备能够辨别检测到的语音是针对该设备的。例如,如果两个人在同一个房间中,并且一个人问另一个人“明天天气应该是什么样的”,那么电子设备不应该用明天的天气预报做出可听响应,因为该交流不是针对该设备的。相比之下,如果触发短语是“嘿设备”,并且一个人大声说出“嘿设备,明天天气应该是什么样的”,那么电子设备将确定该人希望设备提供明天的天气预报,因为问题前面有触发短语。
响应于麦克风在宽范围、非聚焦监听模式下操作时检测到被说出的触发短语,电子设备将麦克风切换成在指向从其处检测到说出的触发短语的位置的窄范围、聚焦的监听模式下操作(104)。在窄范围、聚焦的监听模式下操作使得麦克风仅从从其处听到了说出的触发短语的方向检测声音。窄范围、聚焦的监听模式不同于宽范围、非聚焦监听。前一种模式具有较窄的范围;例如,不是像在后一种模式中那样监听电子设备周围的360度,而是麦克风可以在窄范围、聚焦的监听中在诸如15-30度之类的小得多的角度内进行监听。窄范围、聚焦的监听模式可以是聚焦的监听模式,因为麦克风聚焦在特定区域上以最佳地仅倾听发出了所述说出的触发短语的那个人。
图2示出了方法100的示例图解执行。电子设备202具有围绕设备202的周边布置的麦克风204。这样,在宽范围、非聚焦监听模式下,麦克风204可以能够在电子设备202周围的360度圆形范围206内进行监听。当麦克风204处于该监听模式下时,用户208说出诸如“嘿设备”之类的触发短语,麦克风204检测该触发短语。
响应于麦克风204检测到说出的触发短语,电子设备使麦克风204在指向从其处检测到触发短语的位置的窄范围、聚焦的监听模式下操作。因此,在图2的示例中,在窄范围、聚焦的监听模式下,麦克风204随后监听与完整的360度圆形范围206相比较小的成角度范围210。因此,麦克风204很可能能够更清楚地听到(即,检测)来自用户208的后续话语,因为麦克风204不再检测来自360度圆形范围206内的其他部分的声音。
图3示出了用于在窄范围、聚焦的监听模式下操作电子设备的麦克风的示例方法300。例如,一旦麦克风当在宽范围、非聚焦监听模式下操作时检测到了说出的触发短语并且电子设备已将麦克风切换成在窄范围、聚焦的监听模式下操作,就可以在方法100之后执行方法300。方法300可以以与如上所述的方法100相同的方式实现。
电子设备可以通过使用该设备的扬声器来可听地确认其麦克风检测到了说出的触发短语(302)。在另一实施方式中,该确认可以是可视的,诸如经由发光二极管(LED)。例如,如果用户发出了触发短语并且然后在进一步说出什么内容之前停顿了,则用户可能正在等候设备证实其麦克风检测到了说出的触发短语。因此,电子设备可以经由其扬声器说出诸如“你想让我做什么”或甚至“发生了什么事”之类的确认。
电子设备的麦克风在窄范围、聚焦的监听模式下从麦克风最初在宽范围、非聚焦监听模式下在其处检测到触发短语的方向和位置内检测说出的信息请求(304)。用户可以做出用户认为电子设备能够履行的说出的信息请求。说出的信息请求可以是以问题的形式,诸如“本周末会是什么样的天气”。该请求可以是以命令的形式,诸如“将鸡蛋和牛奶添加到我的购物清单中”或“将广播电台改为经典流行音乐”。
电子设备可以通过使用该设备的扬声器来可听地确认其麦克风检测到了该说出的信息请求(306)。在另一实施方式中,该确认可以是可视的,诸如经由LED。如果履行请求花费了比用户可能预期的更多的时间,则可以进行这样的可听或可视确认。例如,如果在用户询问明天的天气预报后经过了几秒钟,则电子设备可以宣布:“我现在正在查阅您的天气,给我一点时间”。作为另一示例,如果说出的信息请求是命令而非问题,则确认可以指示是否已成功履行该命令。例如,如果用户告诉设备将鸡蛋和牛奶放到他或她的购物清单上,则电子设备可以宣布:“已完成——我已将鸡蛋和牛奶添加到您的购物清单”。
电子设备执行响应于说出的信息请求并且履行该请求的动作(308)。如果信息请求是个问题,则该动作可以包括说出的回答。例如,如果用户询问星期四的天气,那么电子设备可以在从在线来源检索了天气预报之后经由设备的扬声器说“看起来星期四的天气非常不错——最高气温75(华氏)度左右,天气晴朗”。因此,电子设备可以通过诸如互联网以及本地网络之类的网络来与计算设备通信,以便通过执行适当的动作来履行该请求。
一旦电子设备完成了动作,它就可以继续在窄范围、聚焦的监听模式下操作,以防最初发出触发短语的用户还有要该设备履行的其他信息请求。在完成请求之后,电子设备甚至可以询问用户例如“还有其他的吗”。如果用户说了具有否定回答效果的什么内容,或者即使电子设备没有向用户询问他或她是否有任何另外的信息请求而如果没有检测到进一步的话语,那么在预定的时间长度之后,该设备可以将麦克风切换成再次在宽范围、非聚焦监听模式下操作(310)。这样,可以再次执行方法100。
图4示出了用于定制电子设备的麦克风的宽范围、非聚焦监听模式的示例方法400。方法400可以在方法100之前执行,例如,以将电子设备配置成可在其麦克风检测用户发出的触发短语的能力的最佳操作。方法400可以以与如上所述的方法100可能的相同方式来实现。
将电子设备的麦克风的宽范围、非聚焦监听模式设置成选择性地忽略设备位于其中的环境的一部分(402)。可以选择性地忽略多于一个部分。可以将每个部分定义为电子设备周围的麦克风的最大范围的成角度的局部的圆。例如,如果在宽范围、非聚焦监听模式下的麦克风的最大范围是电子设备周围的360度,则可以将一部分定义为例如从最大圆形范围内的特定成角度位置开始的指定的度数,诸如在15-45之间。这样,可以将宽范围、非聚焦监听模式设置成选择性地小于电子设备周围的最大范围,以将设备位于其中的环境考虑在内,使得麦克风不会监听并忽略在该环境的一部分内的说出的触发短语。
一旦将电子设备的麦克风的宽范围、非聚焦监听模式设置成了选择性地忽略该设备位于其中的环境的至少一部分,该设备就使得麦克风检测除了该环境的被选择性地忽略的部分的该环境内的说出的触发短语(404)。换句话说,电子设备使麦克风进入宽范围、非聚焦监听模式并持续监听说出的触发短语。因此,可以在方法400的部分404之后执行方法100,使得当检测到说出的触发短语时,电子设备使得麦克风在窄范围、聚焦的监听模式下操作。
图5示出了方法400的示例图解执行。电子设备202具有围绕设备202的周边布置的麦克风204。在宽范围、非聚焦监听模式下,麦克风204可以能够最大限度地在电子设备202周围的360度圆形范围206中进行监听。电子设备202位于靠着墙壁502,并且鱼缸504和电视506也位于所讨论的房间中。
将宽范围、非聚焦监听模式设置成选择性地忽略图5的环境的三个部分。第一部分被定义为从虚线508A顺时针到虚线508B的包括墙壁502的180度半圆弧。因此,麦克风204较不可能听到(即,检测到)从墙壁502反射出来的声音的回声。第二部分被定义为从虚线510A顺时针到虚线510B的包括鱼缸504的部分圆弧。因此,麦克风204较不可能检测到从鱼缸504发出的声音。第三部分被定义为从虚线512A顺时针到虚线512B的包括电视506的部分圆弧。因此,麦克风204较不可能检测到从电视506发出的声音。
一旦将宽范围、非聚焦监听模式设置成了选择性地忽略图5的环境的这三个部分,处于该监听模式下的电子设备202的麦克风204就将仅在设备202周围的最大360度圆形范围206的部分514、516和518内监听说出的触发短语。因为来自鱼缸504和电视506的背景噪声被最小化并且从墙壁502出来的声音反射同样被最小化,因此说出的触发短语的检测很可能会得到改善。此外,较不可能检测到用户说出的触发短语的误报,诸如来自在电视506上显示的电视节目以及从电视506的扬声器发出的对应声音。
可以直接或间接地定义被选择性地忽略的电子设备位于其中的环境的一个或多个部分。在以下描述中,呈现了各种示例,其中通过定义和/或指定在宽范围、非聚焦监听模式下将被选择性地忽略的部分来直接定义这些部分。然而也可以间接地定义这些部分。例如,可以直接定义和/或指定在宽范围、非聚焦监听模式下将不被选择性地忽略的部分,从而间接地将要被忽略的部分定义为排除将不被忽略的已定义区域之外的电子设备位于其中的环境。因此,指定要被忽略的环境的部分包括这种直接和间接指定和/或定义二者。
图6示出了用于将电子设备的麦克风的宽范围、非聚焦监听模式设置成选择性地忽略该设备位于其中的环境的一部分的示例方法600。方法600可以作为用来实现方法400的部分402的示例技术来执行。方法600可以以与如上所述的方法100相同的方式来实现。
当在宽范围、非聚焦监听模式下操作设备的麦克风时,电子设备的用户接口检测到用户发起训练模式,以定义要被选择性地忽略的部分(602)。作为一个示例,用户接口可以是用户能够致动的物理按钮。用户接口可以是触摸屏接口,或者甚至是麦克风本身,只要用户可以与设备口头交互以发起训练模式即可。用户接口还可以是用户的移动计算设备,诸如智能手机,用户能够用它来通信和控制电子设备。
响应于检测到用户发起训练模式,电子设备的位置传感器确定设备的基线取向(604)。位置传感器能够确定电子设备的相对或绝对位置或取向。位置传感器可以是加速度计、陀螺仪、数字罗盘、全球定位系统(GPS)传感器或其他类型的位置传感器。电子设备的基线取向是设备在用户发起训练模式时的取向。在位置传感器确定了设备的基线取向之后,用户然后移动电子设备,这可以包括在设备保持处于同一绝对位置的同时旋转设备。
然后,电子设备的用户接口检测到用户终止训练模式(606)。例如,用于发起训练模式的相同物理按钮也可以用于终止训练模式。响应于检测到用户终止训练模式,电子设备的位置传感器确定设备的当前位置(608)。电子设备的当前位置是设备在用户终止训练模式时的取向。
电子设备基于由设备的位置传感器确定的设备的基线和当前取向来定义在宽范围、非聚焦监听模式下要由设备的麦克风选择性地忽略的部分(610)。例如,该部分可以被定义为基线取向和当前取向之间的部分圆形的成角度的弧。如果用户在发起训练模式和终止训练模式之间顺时针旋转了电子设备,则该弧同样从基线取向到当前取向顺时针地定义。如果用户在发起和终止训练模式之间逆时针旋转了电子设备,则该弧同样从基线取向到当前取向逆时针地定义。
图7A和7B示出了方法600的示例图解执行。电子设备202具有围绕其周边布置的麦克风204。电子设备202还具有物理按钮702。在图7A中,用户旋转电子设备202,使得从设备202的中心延伸穿过物理按钮702的假想线704划定在宽范围、非聚焦监听模式下要由麦克风204选择性地忽略的部分的起始。然后,用户致动按钮702以发起训练模式,并且电子设备202的位置传感器响应性地检测基线取向。
在发起训练模式之后,用户顺时针旋转电子设备202,使得在图7B中,从设备202的中心延伸穿过物理按钮702的假想线706划定在宽范围、非聚焦监听模式下要由麦克风选择性地忽略的部分的结束。用户再次按下按钮702,终止训练模式。电子设备202的位置传感器响应性地检测当前取向,并且设备202将要选择性地忽略的部分定义在假想线704顺时针到假想线706之间。
图8示出了用于将电子设备的麦克风的宽范围、非聚焦监听模式设置成选择性地忽略该设备位于其中的环境的一部分的另一示例方法800。方法800可以作为用来实现方法400的部分402的示例技术来执行。方法800可以以与如上所述的方法100相同的方式来实现。
当在宽范围、非聚焦监听模式下操作设备的麦克风时,电子设备的用户接口(诸如触敏表面)检测用户对要被选择性地忽略的部分的定义(802)。作为一个示例,电子设备的顶表面上的至少一圆形范围可以是触敏的。为了定义要被选择性地忽略的部分,用户可以在触敏表面的与要选择性地忽略的部分的期望开始相对应的位置上用手指轻敲并保持,然后沿着该表面顺时针或逆时针移动手指,并且最后在对应于该部分的期望结束的位置处放开手指。
作为另一示例,用户可以轻敲并释放触敏表面的对应于要被选择性地忽略的部分的期望起始的位置,并且然后轻敲并释放该表面的对应于该部分的期望结束的另一位置。在后一示例中,该部分可以或顺时针或逆时针地(例如如由用户预先指定)按照第一轻敲位置和最后轻敲位置来定义。在另一实施方式中,可以在这两个位置之间的较小角度数上按照第一轻敲和最后轻敲位置来定义该部分。例如,如果在从第一轻敲位置到最后轻敲位置的顺时针方向上在所述位置之间为45度,并且因此在逆时针方向上为360-45=315度,则该部分被定义为作为较小的角度数的顺时针方向上的所述位置之间的45度。
然后,电子设备根据用户定义来定义要在设备的麦克风的宽范围、非聚焦监听模式下被选择性地忽略的环境部分(804)。可以通过重复执行方法800来连续地定义要被选择性地忽略的多个部分。可以用来自电子设备的扬声器的说出的反馈来提示用户,以帮助他或她来定义要被选择性地忽略的部分。
图9示出了方法800的示例图解执行。电子设备202具有围绕其周边布置的麦克风204。电子设备202保持静止,同时用户定义要在宽范围、非聚焦监听模式下选择性地忽略的部分。电子设备在其顶表面上包括在顶表面的外部部分上的360度环或带中的触敏表面902。
在图9的示例中,用户在触敏表面902的位置906A处用手指轻敲并保持。用户沿着触敏表面902的阴影部分904顺时针地移动该手指,并最后在位置906B处释放它。因此,电子设备202将要由麦克风204选择性地忽略的部分定义成从对应于用户轻敲并将他或她的手指保持在触敏表面902上的位置906A的虚线908A顺时针到对应于用户从表面902释放手指的位置906B的虚线908B。
图10示出了用于将电子设备的麦克风的宽范围、非聚焦监听模式设置成选择性地忽略该设备位于其中的环境的一部分的第三示例方法1000。方法1000可以作为用来实现方法400的部分402的示例技术来执行。方法1000可以以与如上所述的方法100相同的方式来实现。
电子设备的位置传感器确定环境内的电子设备旁边的障碍物(1002)。例如,位置传感器可以是一个或多个光学或其他类型的波发射和检测传感器。可以存在能够发射并然后检测电子设备周围的定向波的一个传感器。这种传感器可以是可移动的或多向传感器。在电子设备的周边周围可以存在布置成阵列的多于一个这样的传感器,特别是如果每个传感器不是多向传感器的话。每个传感器发射波,诸如光波,并检测波是否已被障碍物反射。
这样,可以基于被反射和检测到的那些波以及未被反射和未被检测到的那些波来确定障碍物的位置。例如,如果围绕电子设备的周边布置位置传感器的阵列,则障碍物的位置可以从检测到所发射的反射波的第一传感器开始顺时针延伸穿过各自检测到所发射的反射波的零个或更多个其他传感器,并在检测到所发射的反射波的最后一个传感器处结束。电子设备将要在设备的麦克风的宽范围、非聚焦监听模式下选择性地忽略的环境部分定义为障碍物的位置(1004)。如果多个连续的位置传感器组检测到了反射波,则可以将多个障碍物位置定义为对应的要被选择性地忽略的多个部分。
图11示出了方法1000的示例图解执行。电子设备202被放置于墙壁1106旁边,墙壁1106是障碍物的示例。电子设备202具有围绕其周边布置的麦克风204。电子设备202还包括围绕其周边布置的位置传感器阵列1102。每个传感器1102发射对应的波,并且然后尝试检测如由诸如墙壁1106之类的障碍物反射的波。
在图11的示例中,发射波1104A的传感器1102是检测到从墙壁1106反射出来的波的顺时针方向上的第一传感器,其在各自检测到从墙壁1106反射出来的波的连续的传感器组1102内。该组在发射了波1104B的传感器1102处结束,该传感器是检测到从墙壁1106反射出来的波的顺时针方向上的最后的传感器。因此,电子设备将要在该环境内选择性地忽略的部分定义为如由位置传感器1102确定的墙壁1106的位置。具体来说,墙壁1106的位置被确定为从对应于波1104A的假想线顺时针到对应于波1104B的假想线定义的局部圆形区域。在另一实施方式中,该位置可以被确定为这样定义的局部圆形区域:始于对应于未被检测到其反射并且在顺时针方向上紧接在波1104A之前的波的假想线,而结束于对应于未检测到其反射并且在顺时针方向上紧跟在波1104B之后的波的假想线。
图12示出了用于将电子设备的麦克风的宽范围、非聚焦监听模式设置成选择性地忽略该设备位于其中的环境的一部分的第四示例方法1200。方法1200可以作为用来实现方法400的部分402的示例技术来执行。方法1200可以以与如上所述的方法100相同的方式来实现。
电子设备从电子设备通信地连接到的计算设备接收用户对当设备的麦克风在宽范围、非聚焦监听模式下操作时要选择性地忽略的部分的定义(1202)。例如,用户可以一起使用智能手机、另一种类型的移动计算设备、平板计算设备、膝上型或台式计算机或其他类型的计算设备。该计算设备可以运行显示电子设备的图形表示的应用程序或应用,并且允许用户选择设备周围的局部圆形成角度区域或弧作为要被选择性地忽略的部分。可以以这种方式定义一个或多个这样的部分。
电子设备以有线和/或无线方式从计算设备接收要被选择性地忽略的部分的该用户定义。就此而言,电子设备和/或计算设备可以以有线或无线方式连接到网络,诸如局域网(LAN)、广域网(WAN)、互联网等。电子设备和计算设备可以更直接地彼此连接,诸如通过对等蓝牙无线连接或经由连接两个设备的诸如通用串行总线(USB)线缆之类的线缆。一旦电子设备接收到了用户对要被选择性地忽略的部分的定义,电子设备就根据该用户定义来定义要在宽范围、非聚焦监听模式下被其麦克风选择性地忽略的部分(1204)。
图13示出了方法1200的示例图解执行。电子设备202具有围绕其周边布置的麦克风204。计算设备1300(诸如图13的示例中的智能电话)在其触敏显示器上显示电子设备202的图形表示1302。允许用户选择或绘制图形表示1302周围的区域。在图13的示例中,用户选择或绘制了局部圆形成角度区域1304。
电子设备202从设备202通信地连接到的计算设备1300接收该区域1304的用户定义。电子设备202根据该用户定义来定义在宽范围、非聚焦监听模式下要被麦克风204选择性地忽略的部分。这样,电子设备定义从虚线1306A到虚线1306B的部分,其包括成角度区域,该成角度区域具有与用户在计算设备1300上选择或绘制的区域1304的角度相对应的角度。
图14示出了示例电子设备202。电子设备202包括如已经描述的麦克风204。电子设备202还包括处理器1402和非暂时性计算机可读数据存储介质1404。电子设备202还可以包括其他组件,诸如扬声器、一个或多个位置传感器、允许设备202通过网络进行通信的通信硬件等等。
计算机可读数据存储介质1404存储处理器1402执行的计算机可执行代码1406。处理器1402可以执行代码1406以实行已经描述的方法。例如,处理器1402可以执行代码1406以将麦克风204的宽范围、非聚焦监听模式指定成选择性地小于设备202周围的最大范围。处理器1402可以执行代码1406以在该监听模式下操作麦克风204以检测说出的触发短语,并且然后在指向从其处检测到说出的触发短语的位置的窄范围、聚焦的监听模式下操作麦克风204。
图15示出了具有麦克风204的示例特定实施方式的示例电子设备202。在图15中,麦克风包括围绕电子设备202的周边布置的多个分立的麦克风单元或机构1502。每个麦克风机构1502可以至少在操作上被分离地开启和关断。也就是说,每个麦克风机构1502可以完全通电和断电,或者在功能上开启和关断。当麦克风机构1502在功能上关断时,机构1502仍然通电,但是其检测到的声音被忽略,而当机构1502在功能上开启时,机构1502通电并且其检测到的声音不被忽略。
每个麦克风机构1502可以是定向的,因为它主要检测从机构1502面向的方向发出的声音。此外,麦克风机构1502彼此独立地检测声音。也就是说,一个麦克风机构1502检测声音的能力并不基于任何其他机构1502检测声音的能力。
在宽范围、非聚焦监听下,麦克风204的所有麦克风机构1502可以至少在操作上开启,除非已经定义了电子设备202位于其中的环境的一部分被麦克风204选择性地忽略。例如,在图15中,虚线1506A和1506B之间的局部圆形区域1504可以已经被定义为了要被麦克风204选择性地忽略的部分。因此,在一个实施方式中,当电子设备202至少在宽范围、非聚焦监听模式下操作麦克风204时,虚线1506A和1506B之间的麦克风机构1502可以至少在操作上被关断。
当电子设备202将麦克风204切换成其替代地在窄范围、聚焦的监听模式下操作时,设备202可以执行与麦克风204相关的波束形成技术,使得麦克风指向先前在宽范围、非聚焦监听模式下检测到的说出的触发短语所来自的位置。例如,在图15中,当麦克风204在宽范围、非聚焦监听模式下操作时,它可以检测用户208从虚线1508A和1508B之间的位置发出触发短语(例如,“嘿设备”)。因此,电子设备202使麦克风204在指向该位置的窄范围、聚焦的监听模式下操作。
在一个实施方式中,电子设备202可以在该示例中通过至少在操作上关断除了从其处检测到说出的触发短语的位置内的麦克风机构1502之外的麦克风机构1502来执行与麦克风204相关的波束形成技术。如图15中描绘的,在该示例中,在虚线1508A和1508B之间的仅一个麦克风机构1502可以保持在操作上开启。在另一实施方式中,电子设备202还可以使被定义在虚线1508A和1508B之间的位置的任一侧的一个或多个麦克风机构1502保持开启,但是令其输入的加权小于虚线1508A和1508B之间的麦克风机构1502。
作为这种实施方式的一个示例,在虚线1508A和1508B之间的区域之外但紧邻虚线1508A和1508B的麦克风机构1502可以使其输入加权50%,而其相邻的机构1502加权25%。虚线1508A和1508B之间的区域之外的其他麦克风机构1502可以至少在操作上关断。当麦克风机构204在窄范围、聚焦的监听模式下操作时,也可以采用其他波束形成技术。
因此,本文公开的技术可以提供麦克风204在宽范围、非聚焦监听模式下对说出的触发短语的改善的检测,以及麦克风204在窄范围、聚焦的监听下对后续说出的信息请求的改善的检测。前者可以通过将电子设备202位于其中的环境的一个或多个部分定义成在宽范围、非聚焦监听模式下被麦克风204忽略来实现。后者可以通过如下方式来实现:当在宽范围、非聚焦监听模式下检测到说出的触发短语之后,在指向从其处检测到说出的触发短语的位置的窄范围、聚焦的监听模式下操作麦克风204。
Claims (15)
1.一种方法,包括:
由在宽范围、非聚焦监听模式下操作的电子设备的麦克风检测说出的触发短语;以及
响应于检测到所述说出的触发短语:
由所述电子设备将所述麦克风切换成在指向从其处检测到所述说出的触发短语的位置的窄范围、聚焦的监听模式下操作。
2.根据权利要求1所述的方法,还包括:
由所述电子设备将所述宽范围、非聚焦监听模式设置成选择性地小于所述电子设备周围的最大范围,以将所述电子设备位于其中的环境考虑在内,并且使得所述麦克风不监听并且忽略所述环境的一部分内的说出的触发短语。
3.根据权利要求1所述的方法,还包括响应于检测到所述说出的触发短语:
由所述电子设备的扬声器以可听方式和可视方式中的一种或多种来确认所述说出的触发短语。
4.根据权利要求1所述的方法,还包括在将所述麦克风切换成在窄范围、聚焦的监听模式下操作之后:
由在窄范围、聚焦的监听模式下操作的麦克风检测说出的信息请求;
由所述电子设备以可听方式或可视方式中的一种或多种来确认所述说出的信息请求;以及
由所述电子设备执行响应于所述说出的信息请求并履行所述说出的信息请求的动作。
5.一种存储计算机可执行代码的非暂时性计算机可读数据存储介质,具有麦克风的电子设备执行所述计算机可执行代码以:
将所述麦克风的宽范围监听模式设置成选择性地忽略所述电子设备位于其中的环境的一部分;以及
在所述宽范围监听模式下,使得所述麦克风检测除了其被选择性地忽略的部分的所述环境内的说出的触发短语。
6.根据权利要求5所述的非暂时性计算机可读数据存储介质,其中所述电子设备执行所述计算机可执行代码以进一步:
响应于所述麦克风在所述宽范围监听模式下检测到所述说出的触发短语而使得所述麦克风切换成在指向从其处检测到所述说出的触发短语的位置的窄范围监听模式下操作;以及
响应于所述麦克风在所述窄范围监听模式下检测到说出的信息请求而执行响应于所述说出的信息请求并履行所述说出的信息请求的动作。
7.根据权利要求5所述的非暂时性计算机可读数据存储介质,其中所述麦克风要通过以下方式来将所述麦克风的宽范围监听模式设置成选择性地忽略所述电子设备位于其中的环境的部分:
响应于所述电子设备的用户接口检测到用户发起训练模式以定义要在宽范围监听模式下选择性地忽略的环境部分,使用所述电子设备的位置传感器来确定所述电子设备的基线取向;
响应于所述用户接口检测到用户终止训练模式,使用所述电子设备的位置传感器来确定所述电子设备的当前取向,所述电子设备已在用户发起训练模式和用户终止训练模式之间进行了物理旋转;以及
基于所述电子设备的基线取向和当前取向来定义要在宽范围监听模式下选择性地忽略的环境部分。
8.根据权利要求5所述的非暂时性计算机可读数据存储介质,其中所述麦克风要通过以下方式来将所述麦克风的宽范围监听模式设置成选择性地忽略所述电子设备位于其中的环境的部分:
在所述电子设备保持静止的同时,由所述电子设备的用户接口检测用户对要在宽范围监听模式下选择性地忽略的环境部分的定义;以及
根据用户对其的定义来定义要在宽范围监听模式下选择性地忽略的环境部分。
9.根据权利要求5所述的非暂时性计算机可读数据存储介质,其中所述麦克风要通过以下方式来将所述麦克风的宽范围监听模式设置成选择性地忽略所述电子设备位于其中的环境的部分:
使用所述电子设备的位置传感器来确定所述电子设备旁边的障碍物;以及
将要在宽范围监听模式下选择性地忽略的环境部分定义为所述障碍物的位置。
10.根据权利要求5所述的非暂时性计算机可读数据存储介质,其中所述麦克风要通过以下方式来将所述麦克风的宽范围监听模式设置成选择性地忽略所述电子设备位于其中的环境的部分:
从通信地连接到所述电子设备的计算设备接收用户对要在宽范围监听模式下选择性地忽略的环境部分的定义;以及
根据用户对其的定义来定义要在宽范围监听模式下选择性地忽略的环境部分。
11.一种电子设备,包括:
麦克风;
处理器;
存储计算机可执行代码的非暂时性计算机可读数据存储介质,所述处理器要执行所述计算机可执行代码以:
将所述麦克风的非聚焦监听模式指定成选择性地小于所述电子设备周围的最大范围;
在所述非聚焦监听模式下操作所述麦克风以检测说出的触发短语;以及
在聚焦的监听模式下操作所述麦克风,所述聚焦的监听模式指向在所述非聚焦监听模式下从其处检测到所述说出的触发短语的位置。
12.根据权利要求11所述的电子设备,其中所述麦克风包括围绕所述电子设备布置的麦克风机构的阵列,
并且其中所述处理器要通过至少在操作上关断所述阵列的麦克风机构中的一个或多个来将所述麦克风的非聚焦监听模式指定成选择性地小于所述电子设备周围的最大范围。
13.根据权利要求11所述的电子设备,其中所述处理器要通过执行与所述麦克风相关的波束形成技术来在所述聚焦的监听模式下操作所述麦克风。
14.根据权利要求11所述的电子设备,其中所述处理器要在所述聚焦的监听模式下操作所述麦克风以检测说出的信息请求,
其中所述处理器要执行所述计算机可执行代码以进一步实行响应于所述说出的信息请求并履行所述说出的信息请求的动作。
15.根据权利要求11所述的电子设备,还包括:
位置传感器,
其中所述处理器要通过使用所述位置传感器来将所述麦克风的非聚焦监听模式指定成小于所述电子设备周围的最大范围。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2016/028655 WO2017184149A1 (en) | 2016-04-21 | 2016-04-21 | Electronic device microphone listening modes |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109479172A true CN109479172A (zh) | 2019-03-15 |
CN109479172B CN109479172B (zh) | 2021-06-29 |
Family
ID=60116270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680087064.7A Active CN109479172B (zh) | 2016-04-21 | 2016-04-21 | 电子设备麦克风监听模式 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10993057B2 (zh) |
EP (1) | EP3434024B1 (zh) |
CN (1) | CN109479172B (zh) |
WO (1) | WO2017184149A1 (zh) |
Families Citing this family (70)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
KR20240132105A (ko) | 2013-02-07 | 2024-09-02 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
KR101772152B1 (ko) | 2013-06-09 | 2017-08-28 | 애플 인크. | 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
DE112014003653B4 (de) | 2013-08-06 | 2024-04-18 | Apple Inc. | Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
CN110797019B (zh) | 2014-05-30 | 2023-08-29 | 苹果公司 | 多命令单一话语输入方法 |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
DK201770428A1 (en) | 2017-05-12 | 2019-02-18 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
US11150869B2 (en) * | 2018-02-14 | 2021-10-19 | International Business Machines Corporation | Voice command filtering |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US11200890B2 (en) * | 2018-05-01 | 2021-12-14 | International Business Machines Corporation | Distinguishing voice commands |
US11238856B2 (en) * | 2018-05-01 | 2022-02-01 | International Business Machines Corporation | Ignoring trigger words in streamed media content |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
US11521598B2 (en) * | 2018-09-18 | 2022-12-06 | Apple Inc. | Systems and methods for classifying sounds |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US10674260B1 (en) | 2018-11-20 | 2020-06-02 | Microsoft Technology Licensing, Llc | Smart speaker system with microphone room calibration |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
DK201970511A1 (en) | 2019-05-31 | 2021-02-15 | Apple Inc | Voice identification in digital assistant systems |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11355108B2 (en) * | 2019-08-20 | 2022-06-07 | International Business Machines Corporation | Distinguishing voice commands |
WO2021056255A1 (en) | 2019-09-25 | 2021-04-01 | Apple Inc. | Text detection using global geometry estimators |
US11038934B1 (en) | 2020-05-11 | 2021-06-15 | Apple Inc. | Digital assistant hardware abstraction |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
US11756574B2 (en) | 2021-03-11 | 2023-09-12 | Apple Inc. | Multiple state digital assistant for continuous dialog |
US11533577B2 (en) | 2021-05-20 | 2022-12-20 | Apple Inc. | Method and system for detecting sound event liveness using a microphone array |
US20230077780A1 (en) * | 2021-09-16 | 2023-03-16 | International Business Machines Corporation | Audio command corroboration and approval |
US20230197097A1 (en) * | 2021-12-16 | 2023-06-22 | Mediatek Inc. | Sound enhancement method and related communication apparatus |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1288223A (zh) * | 1999-09-14 | 2001-03-21 | 德国汤姆森-布兰特有限公司 | 用于语音控制的适应方向性特征的装置 |
CN1813284A (zh) * | 2003-06-17 | 2006-08-02 | 索尼爱立信移动通讯股份有限公司 | 语音活动检测的装置和方法 |
CN101132839A (zh) * | 2005-05-05 | 2008-02-27 | 索尼计算机娱乐公司 | 结合计算机交互处理的选择性声源监听 |
CN102498709A (zh) * | 2009-05-14 | 2012-06-13 | 鹦鹉股份有限公司 | 从两个或多个麦克风中为语音处理系统,例如工作在嘈杂环境中的免提电话设备,选择一个麦克风的方法 |
CN103403798A (zh) * | 2011-04-08 | 2013-11-20 | 三菱电机株式会社 | 声音识别装置及导航装置 |
CN103888861A (zh) * | 2012-12-19 | 2014-06-25 | 联想(北京)有限公司 | 麦克风阵列指向性调节方法、装置及电子设备 |
US20150006176A1 (en) * | 2013-06-27 | 2015-01-01 | Rawles Llc | Detecting Self-Generated Wake Expressions |
US20160012827A1 (en) * | 2014-07-10 | 2016-01-14 | Cambridge Silicon Radio Limited | Smart speakerphone |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5561737A (en) * | 1994-05-09 | 1996-10-01 | Lucent Technologies Inc. | Voice actuated switching system |
JP2002034092A (ja) * | 2000-07-17 | 2002-01-31 | Sharp Corp | 収音装置 |
GB0121206D0 (en) * | 2001-08-31 | 2001-10-24 | Mitel Knowledge Corp | System and method of indicating and controlling sound pickup direction and location in a teleconferencing system |
JP4744874B2 (ja) | 2002-05-03 | 2011-08-10 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | サウンドの検出および特定システム |
JP3910898B2 (ja) | 2002-09-17 | 2007-04-25 | 株式会社東芝 | 指向性設定装置、指向性設定方法及び指向性設定プログラム |
JP4837917B2 (ja) * | 2002-10-23 | 2011-12-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 音声に基づく装置制御 |
JP4516527B2 (ja) * | 2003-11-12 | 2010-08-04 | 本田技研工業株式会社 | 音声認識装置 |
US7472058B2 (en) * | 2004-12-28 | 2008-12-30 | Cyberlink Corp. | Automatic audio source detection for capture devices |
US8099289B2 (en) | 2008-02-13 | 2012-01-17 | Sensory, Inc. | Voice interface and search for electronic devices including bluetooth headsets and remote systems |
US9113240B2 (en) | 2008-03-18 | 2015-08-18 | Qualcomm Incorporated | Speech enhancement using multiple microphones on multiple devices |
US9549717B2 (en) * | 2009-09-16 | 2017-01-24 | Storz Endoskop Produktions Gmbh | Wireless command microphone management for voice controlled surgical system |
US20130190041A1 (en) | 2012-01-25 | 2013-07-25 | Carlton Andrews | Smartphone Speakerphone Mode With Beam Steering Isolation |
KR20240132105A (ko) | 2013-02-07 | 2024-09-02 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
EP2946383B1 (en) * | 2013-03-12 | 2020-02-26 | Nuance Communications, Inc. | Methods and apparatus for detecting a voice command |
CN104464739B (zh) * | 2013-09-18 | 2017-08-11 | 华为技术有限公司 | 音频信号处理方法及装置、差分波束形成方法及装置 |
US10854199B2 (en) * | 2016-04-22 | 2020-12-01 | Hewlett-Packard Development Company, L.P. | Communications with trigger phrases |
US10362393B2 (en) * | 2017-02-08 | 2019-07-23 | Logitech Europe, S.A. | Direction detection device for acquiring and processing audible input |
-
2016
- 2016-04-21 EP EP16899640.3A patent/EP3434024B1/en active Active
- 2016-04-21 CN CN201680087064.7A patent/CN109479172B/zh active Active
- 2016-04-21 US US16/095,693 patent/US10993057B2/en active Active
- 2016-04-21 WO PCT/US2016/028655 patent/WO2017184149A1/en active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1288223A (zh) * | 1999-09-14 | 2001-03-21 | 德国汤姆森-布兰特有限公司 | 用于语音控制的适应方向性特征的装置 |
CN1813284A (zh) * | 2003-06-17 | 2006-08-02 | 索尼爱立信移动通讯股份有限公司 | 语音活动检测的装置和方法 |
CN101132839A (zh) * | 2005-05-05 | 2008-02-27 | 索尼计算机娱乐公司 | 结合计算机交互处理的选择性声源监听 |
CN102498709A (zh) * | 2009-05-14 | 2012-06-13 | 鹦鹉股份有限公司 | 从两个或多个麦克风中为语音处理系统,例如工作在嘈杂环境中的免提电话设备,选择一个麦克风的方法 |
CN103403798A (zh) * | 2011-04-08 | 2013-11-20 | 三菱电机株式会社 | 声音识别装置及导航装置 |
CN103888861A (zh) * | 2012-12-19 | 2014-06-25 | 联想(北京)有限公司 | 麦克风阵列指向性调节方法、装置及电子设备 |
US20150006176A1 (en) * | 2013-06-27 | 2015-01-01 | Rawles Llc | Detecting Self-Generated Wake Expressions |
US20160012827A1 (en) * | 2014-07-10 | 2016-01-14 | Cambridge Silicon Radio Limited | Smart speakerphone |
Also Published As
Publication number | Publication date |
---|---|
EP3434024A4 (en) | 2019-12-18 |
US20190132694A1 (en) | 2019-05-02 |
EP3434024B1 (en) | 2023-08-02 |
EP3434024A1 (en) | 2019-01-30 |
US10993057B2 (en) | 2021-04-27 |
WO2017184149A1 (en) | 2017-10-26 |
CN109479172B (zh) | 2021-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109479172A (zh) | 电子设备麦克风监听模式 | |
US12087318B1 (en) | Voice controlled system | |
KR101726945B1 (ko) | 수동 시작/종료 포인팅 및 트리거 구문들에 대한 필요성의 저감 | |
JP6514225B2 (ja) | 空間音響特性に少なくとも部分的に基づく動作指令の決定 | |
JP6739907B2 (ja) | 機器特定方法、機器特定装置及びプログラム | |
US20200092625A1 (en) | Smart device cover | |
TWI603258B (zh) | 用於隨時聽取語音觸發之動態臨限值 | |
US9418658B1 (en) | Configuration of voice controlled assistant | |
JPWO2016157662A1 (ja) | 情報処理装置、制御方法、およびプログラム | |
US9293134B1 (en) | Source-specific speech interactions | |
WO2019013849A1 (en) | PROVIDING AMBIENT ASSISTANCE MODE FOR COMPUTER DEVICES | |
US9864576B1 (en) | Voice controlled assistant with non-verbal user input | |
KR102421824B1 (ko) | 외부 장치를 이용하여 음성 기반 서비스를 제공하기 위한 전자 장치, 외부 장치 및 그의 동작 방법 | |
KR102490518B1 (ko) | 가시적 피드백을 제공하는 제스처-작동식 오디오 장치 | |
BR102016004328A2 (pt) | método e aparelho para interface de usuário de controle de voz com modo de operação discreto | |
JP2017203967A (ja) | 音声出力制御装置、電子機器、および音声出力制御装置の制御方法 | |
US10671343B1 (en) | Graphical interface to preview functionality available for speech-enabled processing | |
KR102629796B1 (ko) | 음성 인식의 향상을 지원하는 전자 장치 | |
JP2014191029A (ja) | 音声認識システムおよび音声認識システムの制御方法 | |
KR20140095998A (ko) | 원격 제어 시스템 및 장치 | |
US9167076B2 (en) | Ring accessory | |
JP2019009770A (ja) | 音声入出力装置 | |
US9213407B2 (en) | Ring accessory | |
CN106873939A (zh) | 电子设备及其使用方法 | |
Meza et al. | On Indexicality, Direction of Arrival of Sound Sources, and Human‐Robot Interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |