CN110083225A - 应用处理器、电子装置以及操作应用处理器的方法 - Google Patents

应用处理器、电子装置以及操作应用处理器的方法 Download PDF

Info

Publication number
CN110083225A
CN110083225A CN201910033457.5A CN201910033457A CN110083225A CN 110083225 A CN110083225 A CN 110083225A CN 201910033457 A CN201910033457 A CN 201910033457A CN 110083225 A CN110083225 A CN 110083225A
Authority
CN
China
Prior art keywords
audio
speech trigger
application processor
data
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910033457.5A
Other languages
English (en)
Inventor
金善奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110083225A publication Critical patent/CN110083225A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L15/222—Barge in, i.e. overridable guidance for interrupting prompts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

提供了一种应用处理器、电子装置以及操作应用处理器的方法。所述应用处理器可包括：电连接到系统总线的主处理器、语音触发系统和音频子系统。语音触发系统可被配置为执行语音触发操作并且发出触发事件。音频子系统可被配置为通过音频接口重放音频输出流。直接总线可被配置为在语音触发操作和音频输出流的重放被一起执行的语音打断状况期间在语音触发系统与音频子系统之间提供通信路径。应用处理器可被配置为通过针对从麦克风接收的麦克风数据执行回声消除来生成补偿的触发数据，语音触发系统可被配置为在语音打断状况期间基于补偿的触发数据执行语音触发操作。

Description

应用处理器、电子装置以及操作应用处理器的方法
本申请要求于2018年1月25日提交到韩国知识产权局(KIPO)的第10-2018-0009496号韩国专利申请的优先权，所述韩国专利申请的内容通过引用完整地包含于此。
技术领域
示例实施例总体涉及半导体集成电路，更具体地讲，涉及包括具有针对语音打断的直接路径的低功率语音触发系统的应用处理器、包括所述应用处理器的电子装置以及操作所述应用处理器的方法。
背景技术
一些电子装置可包括基于语音或基于声音的智能接口。这样的基于语音或基于声音的智能接口的一个优点是用户可以以免提方式与装置交互，而不需要操作或甚至查看装置。当人不能或不应物理地操作装置时(诸如，当他们正在驾驶时)，免提操作可以是特别有益的。然而，为了启动一些基于语音或基于声音的智能接口，用户可能需要按下按钮或在触摸屏上选择图标。这种触觉输入降低了基于语音或基于声音的智能接口的用户体验。
因此，已经开发了一些电子装置以使用语音、讲话、声音、感测等的输入而不需要触觉输入来激活基于语音或基于声音的智能接口。这样的电子装置可能需要对音频通道进行持续或间歇的监控以检测语音输入，并可发出用于启动基于语音的智能接口的触发事件。用于发出触发事件的操作可被称为语音触发操作。对音频通道的这种监控会消耗电能，而电能可能在依赖电池的手持装置或便携式装置上是有限的资源。
发明内容
在一些实施例中，应用处理器可包括能够执行具有低功率的语音触发操作并支持针对语音打断状况的直接路径的语音触发系统。
在一些实施例中，电子装置可包括所述应用处理器。
一些实施例可包括操作所述应用处理器的方法。
根据一些实施例，可提供一种应用处理器。所述应用处理器可包括：系统总线、直接总线、主处理器、语音触发系统和音频子系统。主处理器、语音触发系统和音频子系统可电连接到系统总线。语音触发系统可被配置为执行语音触发操作并且发出触发事件。音频子系统可被配置为通过音频接口重放音频输出流。直接总线可将语音触发系统电连接到音频子系统，并可被配置为在语音触发操作和音频输出流的重放被一起执行的语音打断状况期间在语音触发系统与音频子系统之间提供通信路径。在语音打断状况期间通过音频接口执行音频输出流的重放时，应用处理器可被配置为通过针对从麦克风接收的麦克风数据执行回声消除来生成补偿的触发数据，语音触发系统可被配置为基于补偿的触发数据执行语音触发操作。
所述应用处理器被配置为：执行从语音触发系统到音频子系统的第一数据传输以及从音频子系统到语音触发系统的第二数据传输。
音频子系统包括：回声消除器，被配置为执行回声消除。
语音触发系统包括：触发接口，被配置为：在处理的音频输出流的重放被执行时，接收触发接口音频输入信号。
语音触发系统被配置为：通过第一数据传输将触发接口音频输入信号的样本数据传送至音频子系统；音频子系统中的回声消除器被配置为：基于音频输出流针对样本数据执行回声消除以生成补偿的样本数据；音频子系统被配置为：通过第二数据传输将补偿的样本数据传送至语音触发系统；语音触发系统被配置为：基于补偿的样本数据执行语音触发操作。
音频子系统被配置为：在执行处理的音频输出流的重放时，通过音频接口的输入垫接收音频输入信号。
音频子系统中的回声消除器被配置为：基于音频输出流针对音频输入信号的音频输入数据执行回声消除以生成补偿的音频输入数据；音频子系统被配置为：通过第二数据传输将补偿的音频输入数据传送至语音触发系统；语音触发系统被配置为：基于补偿的音频输入数据执行语音触发操作。
语音触发系统包括：触发接口，被配置为：接收触发接口音频输入信号，应用处理器被配置为：在执行处理的音频输出流的重放时，禁用触发接口。
语音触发系统包括：回声消除器，被配置为执行回声消除。
语音触发系统包括：触发接口，被配置为在音频输出流的重放被执行时接收触发接口音频输入信号。
音频子系统被配置为：通过第二数据传输将对应于音频输出流的音频输出数据传送至语音触发系统；语音触发系统中的回声消除器被配置为：基于音频输出数据针对触发接口音频输入信号的样本数据执行回声消除以生成补偿的样本数据；语音触发系统被配置为：基于补偿的样本数据执行语音触发操作。
语音触发系统包括触发接口，其中，连接到触发接口的音频编解码器包括：回声消除器，被配置为执行回声消除。
音频编解码器被配置为：在音频输出流的重放被执行时，从模拟麦克风接收麦克风数据。
音频编解码器中的回声消除器被配置为：基于音频输出流针对麦克风数据执行回声消除以生成补偿的触发输入信号；音频编解码器被配置为：通过触发接口将补偿的触发输入信号传送至语音触发系统；语音触发系统被配置为：基于补偿的触发输入信号执行语音触发操作。
直接总线包括在语音触发系统与音频子系统之间的共享存储器，在语音打断状况期间在语音触发系统与音频子系统之间传送的数据被存储在共享存储器中，在语音打断状况期间通过音频接口执行处理的音频输出流的重放时，应用处理器被配置为：使用共享存储器针对从麦克风接收的麦克风数据执行回声消除，以生成补偿的触发数据，并且语音触发系统被配置为：基于补偿的触发数据执行语音触发操作。
系统总线、主处理器、语音触发系统、音频子系统和直接总线集成在单个半导体芯片中。
所述应用处理器被配置为：在通过音频接口执行处理的音频输出流的重放时，将主处理器和系统总线维持在睡眠模式而不将主处理器和系统总线唤醒到用于语音触发操作的活动模式。
语音触发系统和音频子系统中的每个独立于主处理器而被电源门控并被启用。
根据一些实施例，可提供一种电子装置。所述电子装置可包括：应用处理器和至少一个音频输入输出装置。应用处理器可包括：系统总线、直接总线、主处理器、语音触发系统和音频子系统。主处理器、语音触发系统和音频子系统可电连接到系统总线。语音触发系统可被配置为执行语音触发操作并且发出触发事件。音频子系统可被配置为通过所述至少一个音频输入输出装置重放音频输出流。直接总线可将语音触发系统电连接到音频子系统，并可被配置为在语音触发操作和音频输出流的重放被一起执行的语音打断状况期间在语音触发系统与音频子系统之间提供通信路径。当在语音打断状况期间通过所述至少一个音频输入输出装置执行音频输出流的重放时，应用处理器可被配置为通过针对从麦克风接收的麦克风数据执行回声消除以生成补偿的触发数据，语音触发系统可被配置为基于补偿的触发数据执行语音触发操作。
根据一些实施例，可提供一种操作应用处理器的方法。所述方法可包括：由语音触发系统，执行语音触发操作以发出触发事件。语音触发系统可与主处理器和音频子系统集成在单个半导体芯片中。应用处理器可包括将语音触发系统和音频子系统电连接的直接总线。应用处理器可包括将主处理器、语音触发系统以及音频子系统电连接的系统总线。所述方法可包括：由音频子系统，通过音频接口重放音频输出流。所述方法可包括：在语音触发操作和音频输出流的重放被一起执行的语音打断状况期间，通过针对从麦克风接收的麦克风数据执行回声消除来生成补偿的触发数据。直接总线可被配置为：在语音打断状况期间，在语音触发系统与音频子系统之间提供通信路径。所述方法可包括：由语音触发系统，基于补偿的触发数据执行语音触发操作。
根据一些实施例的应用处理器、包括所述应用处理器的电子装置以及操作所述应用处理器的方法可通过将语音触发系统集成在应用处理器中，以低功率和高效率执行语音触发操作。片上语音触发系统而不是应用处理器中的主处理器，可执行一些操作以降低功耗并提高电子装置的性能。
此外，在语音打断状况期间可使用直接总线来提供语音触发系统与音频子系统之间的直接路径。因此，在执行回声消除的同时可使用片上语音触发系统来执行独立于系统总线的数据通信，以减少应用处理器和系统总线的唤醒频率，从而进一步降低功耗并提高语音触发操作的识别率。
附图说明
从以下结合附图进行的详细描述，将会更清楚地理解说明性的、非限制性的示例实施例。
图1是示出根据一些实施例的操作应用处理器的方法的操作的流程图。
图2A是示出根据一些实施例的电子装置的框图。
图2B是示出根据一些实施例的图2A的电子装置的实现方式的正视图。
图3是示出根据一些实施例的应用处理器的框图。
图4是示出根据一些实施例的包括在应用处理器中的回声消除器的框图。
图5是示出根据一些实施例的应用处理器中的语音触发系统与音频子系统之间的连接的框图。
图6A是示出根据一些实施例的包括在图5的应用处理器中的直接总线的框图。
图6B是示出根据一些实施例的包括在图5的应用处理器中的邮箱模块的实施例的框图。
图7是示出根据一些实施例的操作应用处理器的方法的操作的流程图。
图8是示出根据一些实施例的执行操作图7的应用处理器的方法的操作的语音触发系统和音频子系统的框图。
图9是示出根据一些实施例的操作应用处理器的方法的操作的流程图。
图10是示出根据一些实施例的执行操作图9的应用处理器的方法的操作的语音触发系统和音频子系统的框图。
图11是示出根据一些实施例的应用处理器中的语音触发系统与音频子系统之间的连接的框图。
图12是示出根据一些实施例的操作应用处理器的方法的操作的流程图。
图13是示出根据一些实施例的执行操作图12的应用处理器的方法的操作的语音触发系统和音频子系统的框图。
图14是示出根据一些实施例的应用处理器中的语音触发系统与音频子系统之间的连接的框图。
图15是示出根据一些实施例的操作应用处理器的方法的操作的流程图。
图16是示出根据一些实施例的执行操作图15的应用处理器的方法的操作的语音触发系统和音频子系统的框图。
图17是示出根据一些实施例的应用处理器中的语音触发系统与音频子系统之间的连接的框图。
图18A和图18B是示出根据一些实施例的应用处理器的电源域的框图。
具体实施方式
将参照示出一些实施例的附图更充分地描述各种实施例。然而，本公开可以以许多不同的形式来实施，并且不应被解释为限于在此阐述的实施例。贯穿本申请，相同的参考标号表示相同的元件。
图1是示出根据一些实施例的操作应用处理器的方法的操作的流程图。
参照图1，在主处理器、语音触发系统、音频子系统、直接总线以及电连接主处理器、语音触发系统和音频子系统的系统总线集成为单个半导体芯片的应用处理器中，可基于通过触发接口提供的触发输入信号通过语音触发系统执行语音触发操作，以发出触发事件(S100)。
通过音频接口重放或记录的音频流可通过音频子系统处理(S200)。音频子系统还可支持音频接口与存储器装置之间的音频流的传送。
语音触发操作可监控触发输入信号是否包括特定的触发声音，并且当检测到触发声音时发出触发事件(诸如，中断信号)，以启动语音识别模式或基于语音的智能接口。语音识别模式的启动可包括将主处理器和/或系统总线启动到活动模式。换言之，为了降低功耗，可在睡眠模式期间(例如，当系统总线和主处理器被禁用并且仅语音触发系统被启用时)执行语音触发操作，并且当发出触发事件以启动语音识别模式时，系统总线和主处理器可进入或唤醒到活动模式。
在一些实施例中，触发声音可包括人类语音的单词和/或短语。在一些实施例中，触发声音可包括人类语音以外的声音，诸如口哨、拍手声、汽笛、碰撞声、特定频率范围的声波等。
如将参照图5所述，直接总线可将语音触发系统电连接到音频子系统，并可在语音触发操作和音频重放被一起执行的语音打断状况期间，提供语音触发系统与音频子系统之间的通信路径。直接总线的通信路径可以是直接路径。换言之，在语音打断状况期间，可使用独立于系统总线的直接路径执行语音触发系统与音频子系统之间的数据通信。如在此使用的，直接总线可表示语音触发系统与音频子系统之间的通信路径，使得在主处理器和系统总线处于睡眠模式时可在语音触发系统与音频子系统之间传送数据，而无需将主处理器和系统总线唤醒到活动模式。
当在语音打断状况期间通过音频接口执行音频重放时，可使用直接总线针对从麦克风接收的麦克风数据执行回声消除以生成补偿的数据(S300)。将参照图4描述回声消除。
基于补偿的数据通过语音触发系统执行语音触发操作(S400)。
根据一些实施例的应用处理器、包括所述应用处理器的电子装置以及操作所述应用处理器的方法可通过将语音触发系统集成在应用处理器中，以低功率和高效率执行语音触发操作。此外，在语音打断状况期间，可通过独立于系统总线和主处理器的直接路径执行回声消除。因此，可以以低功率执行音频重放，并且语音触发操作的准确性(例如，识别率)可被提高。
图2A是示出根据一些实施例的电子装置的框图。
参照图2A，电子装置1000可包括应用处理器AP 2000、存储器装置(MEM)1200、存储装置(STRG)1300、多个功能模块1400、1500、1600、1700以及电源管理集成电路PMIC 1800。
应用处理器2000可控制电子装置1000的一些整体操作。例如，应用处理器2000可控制存储器装置1200、存储装置1300和/或多个功能模块1400、1500、1600、1700。应用处理器AP 2000可以是片上系统(SoC)。
应用处理器2000可包括系统总线2100和电连接到系统总线2100的主处理器或中央处理器(CPU)100、语音触发系统VTS 200和/或音频处理系统AUD 250。
语音触发系统200可电连接到系统总线2100，基于通过触发接口提供的触发输入信号，执行语音触发操作并且发出触发事件。音频处理系统250可包括音频子系统，并且还包括将被描述的传感器中枢。音频子系统可电连接到系统总线2100，以处理通过音频接口重放或记录的音频流。此外，音频子系统还可支持在音频接口与存储器装置1200之间的音频流的传送。将参照图3至图18B描述语音触发系统200和音频处理系统250的一些实施例。
存储器装置1200和/或存储装置1300可存储用于电子装置1000的操作的数据。存储器装置1200可包括易失性存储器装置，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、移动DRAM等。存储装置1300可包括非易失性存储器装置，诸如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、相变随机存取存储器(PRAM)、电阻随机存取存储器(RRAM)、纳米浮栅存储器(NFGM)、聚合物随机存取存储器(PoRAM)、磁随机存取存储器(MRAM)、铁电随机存取存储器(FRAM)等。在一些实施例中，存储装置1300可包括嵌入式多媒体卡(eMMC)、通用闪存(UFS)、固态驱动器(SSD)、硬盘驱动器(HDD)、CD-ROM等。
功能模块1400、1500、1600和1700可执行电子装置1000的各种功能。例如，电子装置1000可包括：可执行通信功能的通信模块1400，例如，码分多址(CDMA)模块、长期演进(LTE)模块、射频(RF)模块、超宽带(UWB)模块、无线局域网(WLAN)模块、全球互操作性微波接入(WIMAX)模块等；可执行拍照功能的相机模块1500；包括可执行显示功能的显示模块和/或执行触摸感测功能的触摸板模块的输入输出(I/O)模块1600；以及包括可执行音频信号的输入和/或输出的麦克风(MIC)模块、扬声器模块等的音频模块1700。在一些实施例中，电子装置1000可包括全球定位系统(GPS)模块、陀螺仪模块等。然而，电子装置1000中的功能模块1400、1500、1600和1700不限于此。
电源管理集成电路1800可将一个或多个操作电压提供给应用处理器2000、存储器装置1200、存储装置1300和/或功能模块1400、1500、1600及1700。
图2B是示出根据一些实施例的图2A的电子装置的实现方式的正视图。
图2A的电子装置1000可以是诸如台式计算机、膝上型计算机、移动电话、智能电话、MP3播放器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、数字电视、数码相机、服务器计算机、工作站、机顶盒、便携式游戏机、导航系统、可穿戴装置、物联网(IoT)装置、万物互联网(IoE)装置、电子书、虚拟现实(VR)装置、增强现实(AR)装置等的装置。电子装置1000通常可响应于直接的用户输入而操作，但是也可用于经由互联网或其他网络系统与其他装置通信。作为图2A的电子装置1000的示例，图2B示出作为包括触摸屏的移动电话或智能电话的电子装置1000a。
参照图2B，电子装置1000a可包括前置摄像头2、扬声器3、接近传感器4、照度传感器5、通用串行总线(USB)接口6、电源按钮7、音量按钮8、显示和触摸屏9、图标10、菜单按钮11、主页按钮12、返回按钮13、麦克风14、音频输出接口15和/或天线16。
前置摄像头2可面向与显示和触摸屏9相同的方向，并且用于视频电话或视频拍摄或照片拍摄。当用户通过触摸多个图标10中的一个图标上的显示和触摸屏9或者通过说话输入信号来播放多媒体数据、通过公用交换电话网络与另一用户通话或播放电子装置1000a的操作声音或通知声音时，扬声器3可输出音频数据。接近传感器4可控制显示和触摸屏9的开启或关闭，以在用户将电子装置1000a拿在耳朵旁进行电话交谈时节约电力并防止误操作。照度传感器5可根据来自电子装置1000a的周边环境的入射光的量，控制显示和触摸屏9以及前置摄像头2的操作。USB接口6可以是用于与外部装置的数据通信和供电的输入/输出接口。
电源按钮7可接通或断开电子装置1000a的电源，和/或可开启或关闭显示和触摸屏9。音量按钮8可控制扬声器3的音频输出。与不同的功能对应的多个图标10可显示在显示和触摸屏9上。例如，用户可触摸与多媒体数据的重放对应的图标。
菜单按钮11可允许用户浏览包括图标和设置的菜单。即使当电子装置1000a正在显示和触摸屏9上执行特定的操作时，主页按钮12也可允许主屏幕出现以用于多工作模式。返回按钮13可取消当前正被电子装置1000a执行的操作并可将用户返回到前一屏幕。
麦克风14可以是用于语音电话和/或语音输入信号的输入输出(I/O)接口。音频输出接口15(例如，耳机插孔)可用于正在播放的多媒体数据的音频输出。可选地，例如，音频输出和/或麦克风输入可通过支持蓝牙的装置无线地接口连接。天线16可用于接收数字多媒体广播服务。电子装置1000a的元件可以以本领域普通技术人员可实现的各种方式来实现。图2B中的一些元件可省略或用其他元件代替。
图3是示出根据一些实施例的应用处理器的框图。
参照图3，应用处理器2000可包括系统总线SYSBUS 2100、主处理器CPU 100、语音触发系统200、音频子系统300和传感器中枢400。音频子系统300和传感器中枢400可包括在图2A中的音频处理系统250中。根据一些实施例，应用处理器2000还可包括活动电源管理器APM、邮箱模块MBXa、MBXb和MBXc以及中断控制器ITRC。
系统总线2100可被称为互联装置或骨干(backbone)。在一些实施例中，系统总线2100可包括高层总线、低层总线和连接它们的桥。例如，系统总线2100可包括各种总线(诸如，高级可扩展接口(AXI)、高级高性能总线(AHB)、高级外围总线(APB)等)和连接它们的至少一个桥。主处理器100可通过系统总线2100访问诸如存储器装置1200和/或存储装置1300的外部装置。此外，主处理器100可通过系统总线2100与语音触发系统200、音频子系统300和传感器中枢400通信。
尽管为了便于说明，在图3中示出了一个中断控制器ITRC，但是中断控制器ITRC可包括至少一个通用中断控制器(GIC)、至少一个向量中断控制器(VIC)等。例如，中断控制器ITRC可被实现为可编程中断控制器(PIC)。可编程中断控制器可用具有由向量表示的优先级系统的多个层实现。可编程中断控制器可从外围装置接收中断信号，确定接收的中断信号的优先级，并且向处理器或控制器发出具有指针地址的中断信号。
活动电源管理器APM可管理应用处理器2000的电源。活动电源管理器APM可管理供给应用处理器2000的各个区域或功能块的电源。邮箱模块MBXa、MBXb和MBXc可支持应用处理器2000中的元件之间的数据通信的同步或应用处理器2000与外部装置之间的数据通信的同步。将参照图6B描述邮箱模块MBXa、MBXb和MBXc。
尽管图3示出通过一个邮箱模块MBXc彼此连接的语音触发系统200和音频子系统300，以及通过一个活动电源管理器APM和两个邮箱模块MBXa和MBXb彼此连接的语音触发系统200和传感器中枢400，但是本发明构思不限于此。例如，在一些实施例中，语音触发系统200和音频子系统300可通过一个活动电源管理器和两个邮箱模块彼此连接，和/或语音触发系统200和传感器中枢400可通过一个邮箱模块彼此连接。
语音触发系统200可电连接到系统总线2100。语音触发系统200可基于通过触发接口提供的触发输入信号，执行语音触发操作并可发出触发事件。触发输入信号可以是音频输入信号。在一些实施例中，语音触发系统200可从数字麦克风DMIC 40和/或音频编解码器(编码器和解码器)CODEC 50接收触发输入信号。换言之，语音触发系统200的触发接口可直接连接到数字麦克风40和音频编解码器50。音频编解码器50可执行从数字麦克风40或模拟麦克风AMIC 61接收的音频信号和输出到扬声器62的音频信号的编码和解码(或者，模数转换(ADC)和数模转换(DAC))。数字麦克风40可以是与应用处理器2000一起安装在电子装置的板上的板上麦克风。在一些实施例中，模拟麦克风61和扬声器62中的一个或二者可以是可附接到音频编解码器50的端子并且可从音频编解码器50的端子拆卸的装置。
音频子系统300可电连接到系统总线2100。音频子系统300可处理通过音频接口重放或记录的音频流，并且可支持存储器装置1200与音频接口之间的音频流的传送。在一些实施例中，音频子系统300可与音频编解码器50和/或蓝牙模块BTM 70交换音频流。换言之，音频子系统300的音频接口可直接连接到音频编解码器50和/或蓝牙模块70。蓝牙模块70可通过蓝牙音频模块BTAUD 80连接到蓝牙麦克风BMIC 81和蓝牙扬声器82，以从蓝牙麦克风81接收音频信号并将音频信号输出到蓝牙扬声器82。蓝牙模块70可直接连接到另一蓝牙扬声器85或另一蓝牙装置。在一些实施例中，音频子系统300可连接到通用串行总线(USB)模块，以与USB模块交换音频流。
传感器中枢400可电连接到系统总线2100。传感器中枢400可处理从一个或多个传感器SEN1 31和SEN2 32提供的信号。传感器中枢400可测量与电子装置相关联的物理量并进行处理，以检测电子装置的操作状态并处理检测的信息。例如，传感器31和32可包括运动传感器、陀螺仪传感器、大气压力传感器、磁传感器、加速计、握持传感器、接近传感器、生物特征传感器、温度/湿度传感器、照度传感器、以及紫外线(UV)传感器、电子鼻(E-nose)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。
在一些实施例中，如图3所示，系统总线2100、语音触发系统200、音频子系统300和传感器中枢400全部可集成在形成应用处理器2000的单个半导体芯片中。在一些实施例中，系统总线2100、语音触发系统200和音频子系统300可集成在单个芯片中，而传感器中枢400可在应用处理器2000的外部。此外，参照图5描述的直接总线500也可集成在应用处理器2000中。
图4是示出根据一些实施例的包括在应用处理器中的回声消除器的框图。
参照图4，声学回声消除器或回声消除器95可包括滤波器96和回声抑制器97。
从音频子系统300提供的音频输出信号x(t)可从扬声器98输出并输出给用户。麦克风99可接收音频输入信号y(t)。尽管没有示出，但是在从扬声器98播出之前，数模转换(DAC)可应用于音频输出信号x(t)(例如，数字信号)，并且模数转换(ADC)可应用于由麦克风99捕获的信号以得出音频输入信号y(t)(例如，数字信号)。
由麦克风99接收的音频输入信号y(t)可包括近端(near-end)信号v(t)和回声信号s(t)。近端信号v(t)可被称为用户希望麦克风99接收的期望信号或原始信号。回声信号s(t)可包括从扬声器98输出的音频信号生成的回声分量。尽管没有示出，但是音频输入信号y(t)还可包括噪声。回声分量和/或噪声会作为近端信号v(t)的干扰，因此减少、消除或移除回声分量和/或噪声会是有益的。
在一些实施例中，诸如双端发声检测、步长控制等的各种算法中的至少一种可用于执行回声消除。
滤波器96可基于音频输出信号x(t)和音频输入信号y(t)来估计包括在音频输入信号y(t)中的回声信号s(t)，以生成估计的回声信号s’(t)。换言之，滤波器96可对音频输入信号y(t)中的回声分量和引起回声分量的回声路径进行建模，并估计回声路径如何将期望的音频输出信号x(t)改变为音频输入信号y(t)中的不期望的回声分量。音频输出信号x(t)可用作参考信号。
回声路径描述了远端信号从扬声器98传播到麦克风99的声学路径的影响。远端信号可直接从扬声器98传播到麦克风99，或者它可从近端终端环境中的各种表面反射。从扬声器98输出的远端信号经过的回声路径可被视为具有可随时间改变的频率和相位响应的系统。
在一些实施例中，可基于各种线性滤波器(诸如，有限脉冲响应(FIR)滤波器、无限脉冲响应(IIR)滤波器等)中的至少一个来对回声路径进行建模。例如，回声路径的估计可以是具有(N+1)个值的向量，其中N是自然数，滤波器96可被实现为(在时间上)具有有限长度的N阶滤波器。
在一些实施例中，可能不需要明确地计算回声路径的估计，而是可通过从各种随机梯度算法(诸如，最小均方(LMS)、归一化最小均方(NLMS)、快速仿射投影(FAP)和递归最小二乘(RLS)等)中的至少一个获得的滤波器系数来表示回声路径的估计。
在一些实施例中，可在时间上连续更新回声路径的估计。
回声抑制器97可基于估计的回声信号s’(t)和音频输入信号y(t)来生成估计的近端信号v’(t)。例如，回声抑制器97可基于估计的回声信号s’(t)将回声抑制应用于音频输入信号y(t)，以生成估计的近端信号v’(t)，从而抑制接收到的音频信号中的回声。由于回声路径被更精确地估计，所以估计的近端信号v’(t)可更接近于近端信号v(t)。
在一些实施例中，回声抑制器97可被实现为回声减法器。例如，回声减法器可从音频输入信号y(t)减去估计的回声信号s’(t)，以生成估计的近端信号v’(t)。
根据一些实施例，可利用各种配置来实现回声消除器95中的元件，回声消除器95中的一些元件可被省略或者被其他元件替换，并且一些元件可被添加到回声消除器95。根据一些实施例，回声消除器95的至少部分可被实现为硬件，或者实现为指令和/或程序例程(例如，软件程序)。
图5是示出根据一些实施例的应用处理器中的语音触发系统与音频子系统之间的连接的框图。为了便于说明，图3的主处理器100和其它元件在图5中可被省略，并且与图3重复的描述可被省略。
参照图5，应用处理器2001可包括系统总线SYSBUS 2100、语音触发系统201、音频子系统301、直接总线500以及邮箱模块MBX。音频子系统301可包括在图2A的音频处理系统250中。
语音触发系统201可电连接到系统总线2100。语音触发系统201可基于通过触发接口TIF提供的触发输入信号SDMIC和SAMIC，执行语音触发操作。语音触发系统201可从数字麦克风DMIC 40接收触发输入信号SDMIC和/或从音频编解码器(编码器和解码器)CODEC 50接收触发输入信号SAMIC。麦克风时钟信号MICCLK可在语音触发系统201、数字麦克风40与音频编解码器50之间传送，用于信号传送的同步。触发输入信号SDMIC和SAMIC以及麦克风时钟信号MICCLK可分别通过垫PD 11、PD 12和PD 13传送。垫PD 11、PD 12和PD 13可被实现为减少或防止垫PD 11、PD 12和PD 13之间的干扰。
音频子系统301可电连接到系统总线2100。音频子系统301可处理通过音频接口AIF重放或记录的音频流，并且可支持存储器装置1200与音频接口AIF之间的音频流的传送。在一些实施例中，音频子系统301可与音频编解码器50交换音频流。音频子系统301可通过音频输入垫PD21从音频编解码器50接收音频输入信号SDI，并且可通过音频输出垫PD22将音频输出信号SDO发送至音频编解码器50。
语音触发系统201可包括触发接口电路IFV 211、包装器WRPP 221、触发存储器MEMV 231和触发处理器PRCV 241。
触发接口电路211与垫PD11、PD12和PD13可形成触发接口TIF，以对从数字麦克风40或音频编解码器50提供的触发输入信号SDMIC和SAMIC进行采样和转换。包装器221可将从触发接口电路211提供的数据存储在触发存储器231中。当预定的数据量存储在触发存储器231中时，包装器221可向触发处理器241发出中断信号，使得触发处理器241可基于存储在触发存储器231中的数据执行语音触发操作。
在一些实施例中，语音触发系统201可接收脉冲密度调制(PDM)信号作为触发输入信号SDMIC和SAMIC。触发接口电路211可将PDM信号转换为脉冲编码调制(PCM)数据。包装器221可将PCM数据存储在触发存储器231中。包装器221可使用直接存储器访问控制器来实现。
音频子系统301可包括音频接口电路AIF 311、直接存储器访问控制器DMA321、音频存储器MEMA331和音频处理器PRCA341。
音频接口电路311和垫PD21与PD22可形成音频接口AIF，以通过音频输入信号SDI和音频输出信号SDO传送音频流。音频存储器331可存储音频流的数据，并且直接存储器访问控制器321可控制对音频存储器的访问，即，从音频存储器331读取数据和向音频存储器331写入数据。音频处理器341可处理存储在音频存储器331中的数据。
在一些实施例中，音频子系统301中的音频处理器341可包括回声消除器AEC 701。回声消除器701可以是参照图4描述的回声消除器95。
在一些实施例中，音频接口电路311可与I2S(集成电路内置音频总线，Inter-ICSound)或IIS(集成音频接口芯片，Integrated Interchip Sound)标准兼容。在一些实施例中，音频接口电路311可基于根据I2S标准的时钟信号进行操作。在一些实施例中，音频接口电路311可直接连接到数据麦克风40和/或音频编解码器50。
直接总线500可电连接语音触发系统201和音频子系统301。直接总线500可在语音触发操作和音频重放被一起执行(例如，声音输入和声音输出被同时执行)的语音打断状况期间在语音触发系统201与音频子系统301之间提供直接路径。换言之，语音打断状况(或简称语音打断)可表示在由语音触发系统201执行语音触发操作的同时由音频子系统301执行音频重放的状况。将参照图6A描述直接总线500。
在语音打断状况期间执行回声消除可提高语音触发操作的识别率。在语音打断状况期间通过音频接口AIF执行音频重放时，根据一些实施例的应用处理器2001可使用直接总线500针对从麦克风(例如，数字麦克风40或模拟麦克风61)接收的麦克风数据执行回声消除，以生成补偿的数据，并且语音触发系统201可基于补偿的数据执行语音触发操作。回声消除可由音频子系统301中的回声消除器701执行。
此外，应用处理器2001还可包括支持语音触发系统201与音频子系统301之间的数据传输或数据通信的同步的邮箱模块MBX。
应用处理器2001可通过独立于系统总线2100的直接总线500和邮箱模块MBX来执行语音触发系统201与音频子系统301之间的数据通信。这样，在通过音频接口AIF执行音频重放，并在执行回声消除时，主处理器100和系统总线2100可维持睡眠模式并且不会唤醒到用于语音触发操作的活动模式。
图6A是示出根据一些实施例的包括在图5的应用处理器中的直接总线的框图。
参照图5和图6A，直接总线500a可包括总线矩阵510、第一直接路径①以及第二直接路径②。图6A的直接总线500a可以是根据一些实施例的图5的直接总线500的示例。
直接总线500a可在语音打断状况期间在语音触发系统201与音频子系统301之间提供直接路径，以执行回声消除。直接路径可包括第一直接路径①和第二直接路径②，其中，第一直接路径①提供用于从语音触发系统201到音频子系统301的第一数据传输的路径，第二直接路径②提供用于从音频子系统301到语音触发系统201的第二数据传输的路径。
当音频子系统301需要存储在语音触发系统201中的数据时，第一直接路径①可被音频子系统301使用。例如，音频处理器341可发出数据请求(REQ FROM PRCA)并执行对触发存储器231的访问(ACC TO MEMV)，因此，可通过第一直接路径①将存储在触发存储器231中的数据传送到音频子系统301和音频处理器341。
当语音触发系统201需要存储在音频子系统301中的数据时，第二直接路径②可被语音触发系统201使用。例如，触发处理器241可发出数据请求(REQ FROM PRCV)并执行对音频存储器331的访问(ACC TO MEMA)，因此，可通过第二直接路径②将存储在音频存储器331中的数据传送到语音触发系统201和触发处理器241。
数据请求(REQ FROM PRCA)、数据请求(REQ FROM PRCV)、访问(ACC TO MEMV)和访问(ACC TO MEMA)可由总线矩阵510控制。
语音触发系统201和音频子系统301可通过总线矩阵510、第一直接路径①和第二直接路径②而不通过系统总线2100(例如，独立于系统总线2100)直接交换数据。因此，在执行回声消除的同时可使用片上语音触发系统和直接总线执行独立于系统总线2100的数据通信，以减少应用处理器和系统总线2100的唤醒频率，从而进一步降低功耗并提高语音触发操作的识别率。
图6B是示出根据一些实施例的包括在图5的应用处理器中的邮箱模块的实施例的框图。
参照图6B，邮箱模块900可包括接口910、消息框920、包括多个寄存器INTGR0、INTCR0、INTMR0、INTSR0和INTMSR0的第一寄存器电路930以及包括多个寄存器INTGR1、INTCR1、INTMR1、INTSR1和INTMSR1的第二寄存器电路940。图6B的邮箱模块900可以是根据一些实施例的图5的邮箱模块MBX的示例。图6B示出邮箱模块900通过APB接口连接到系统总线2100的AHB2APB桥2110并且消息框920使用6×32位的共享寄存器实现的非限制性示例，然而，实施例不限于此。可不同地确定接口910的类型、消息框920中的寄存器的数量以及寄存器的位数。第一寄存器电路930可生成提供给语音触发系统201中的触发处理器241的中断信号(IRQ TOPRCV)，第二寄存器电路940可生成提供给音频子系统301中的音频处理器341的中断信号(IRQ TO PRCA)。语音触发系统201与音频子系统301之间的数据传输可使用邮箱模块900同步。
邮箱模块900可在触发处理器241和音频处理器341中的一个将消息写入消息框920中之后通过发送中断信号来执行双边通信。语音触发系统201与音频子系统301之间的数据传输的同步可通过轮询方法等实现。
图7是示出根据一些实施例的操作应用处理器的方法的操作的流程图。图8是示出执行操作图7的应用处理器的方法的操作的语音触发系统和音频子系统的框图。
参照图7和图8，在由音频子系统ASS通过音频接口AIF的输出垫基于对应于音频输出信号SDO的音频输出数据执行音频重放时，语音触发系统VTS可通过触发接口TIF接收触发输入信号SMIC(S510)。
语音触发系统VTS可将触发输入信号SMIC的样本数据DSM传送到音频子系统ASS(S520)。例如，样本数据DSM可通过直接总线500中的第一直接路径(例如，图6A中的第一直接路径①)而不通过系统总线2100传送。因此，在语音打断状况期间，主处理器100和系统总线2100可维持睡眠模式，并且样本数据DSM的传送不会将主处理器100和系统总线2100唤醒到活动模式。
音频子系统ASS中的回声消除器AEC可基于对应于音频输出信号SDO的音频输出数据针对样本数据DSM执行回声消除，以生成补偿的样本数据CDSM(S530)。音频输出数据可用作参考信号，并且样本数据DSM可用作用于回声消除的接收信号。
音频子系统ASS可将补偿的样本数据CDSM传送到语音触发系统VTS(S540)。例如，补偿的样本数据CDSM可通过直接总线500中的第二直接路径(例如，图6A中的第二直接路径②)而不通过系统总线2100传送。因此，在语音打断状况期间，主处理器100和系统总线2100可维持睡眠模式，并且补偿的样本数据CDSM的传送不会将主处理器100和系统总线2100唤醒到活动模式。
语音触发系统VTS可基于补偿的样本数据CDSM执行语音触发操作(S550)。可基于应用了回声消除的补偿的样本数据CDSM执行语音触发操作，从而语音触发操作的识别率可被提高。
图9是示出根据一些实施例的操作应用处理器的方法的操作的流程图。图10是示出根据一些实施例的执行操作图9的应用处理器的方法的操作的语音触发系统和音频子系统的框图。
参照图9和图10，在由音频子系统ASS通过音频接口AIF的输出垫基于对应于音频输出信号SDO的音频输出数据执行音频重放时，音频子系统ASS可通过音频接口AIF的输入垫接收音频输入信号SDI(S610)。
音频子系统ASS中的回声消除器AEC可基于对应于音频输出信号SDO的音频输出数据针对音频输入信号SDI的音频输入数据执行回声消除，以生成补偿的音频输入数据CSDI(S620)。音频输出数据可用作参考信号，并且音频输入数据可用作用于回声消除的接收信号。
音频子系统ASS可将补偿的音频输入数据CSDI传送到语音触发系统VTS(S630)。例如，补偿的音频输入数据CSDI可通过直接总线500中的第二直接路径(例如，图6A中的第二直接路径②)而不通过系统总线2100传送。因此，在语音打断状况期间，主处理器100和系统总线2100可维持睡眠模式，并且补偿的音频输入数据CSDI的传送不会将主处理器100和系统总线2100唤醒到活动模式。
语音触发系统VTS可基于补偿的音频输入数据CSDI执行语音触发操作(S640)。可基于应用了回声消除的补偿的音频输入数据CSDI执行语音触发操作，从而语音触发操作的识别率可被提高。
在一些实施例中，在执行音频重放时可禁用触发接口TIF。换言之，触发接口TIF不会接收触发输入信号SMIC，并且语音触发系统VTS可基于补偿的音频输入数据CSDI而不是触发输入信号SMIC来执行语音触发操作。在一些实施例中，可基于触发输入信号SMIC在语音打断状况之外执行第一语音触发操作，并且可基于补偿的音频输入数据CSDI在语音打断状况期间执行第二语音触发操作。
图11是示出根据一些实施例的应用处理器中的语音触发系统与音频子系统之间的连接的框图。为了便于说明，图3的主处理器100和其它元件在图11中可被省略，并且与图3和图5重复的描述可被省略。
参照图11，应用处理器2002可包括系统总线SYSBUS 2100、语音触发系统202、音频子系统302、直接总线500以及邮箱模块MBX。音频子系统302可包括在图2A的音频处理系统250中。
语音触发系统202可包括触发接口电路(IFV)212、包装器(WRPP)222、触发存储器(MEMV)232以及触发处理器(PRCV)242。
音频子系统302可包括音频接口电路(IFA)312、直接存储器访问控制器(DMA)322、音频存储器(MEMA)332以及音频处理器(PRCA)342。
与包括在图5的应用处理器2001的音频子系统301中的回声消除器701相比较，回声消除器(AEC)702可包括在图11的应用处理器2002的语音触发系统202中的触发处理器242中。回声消除器702可以是参照图4描述的回声消除器95。在一些实施例中，回声消除可由语音触发系统202中的回声消除器702执行。
图12是示出根据一些实施例的操作应用处理器的方法的操作的流程图。图13是示出根据一些实施例的执行操作图12的应用处理器的方法的操作的语音触发系统和音频子系统的框图。
参照图12和图13，在由音频子系统ASS通过音频接口AIF的输出垫基于对应于音频输出信号SDO的音频输出数据SDO’执行音频重放时，语音触发系统VTS可通过触发接口TIF接收触发输入信号SMIC(S710)。
音频子系统ASS可将音频输出数据SDO’传送到语音触发系统VTS(S720)。例如，音频输出数据SDO’可通过直接总线500中的第二直接路径(例如，图6A中的第二直接路径②)而不通过系统总线2100传送。因此，在语音打断状况期间，主处理器100和系统总线2100可维持睡眠模式，并且音频输出数据SDO’的传送不会将主处理器100和系统总线2100唤醒到活动模式。
语音触发系统VTS中的回声消除器AEC可基于音频输出数据SDO’针对触发输入信号SMIC的样本数据执行回声消除，以生成补偿的样本数据(S730)。音频输出数据SDO’可用作参考信号，并且样本数据可用作用于回声消除的接收信号。
语音触发系统VTS可基于补偿的样本数据执行语音触发操作(S740)。可基于应用了回声消除的补偿的样本数据执行语音触发操作，从而语音触发操作的识别率可被提高。
在一些示例实施例中，在图8、图10和图13的示例中可通过直接总线500传送数据DSM、CDSM、CSDI和/或SDO’时，邮箱模块MBX可用于数据通信的同步。
图14是示出根据一些实施例的应用处理器中的语音触发系统与音频子系统之间的连接的框图。为了便于说明，图3的主处理器100和其它元件在图14中可被省略，并且与图3和图5重复的描述可被省略。
参照图14，应用处理器2003可包括系统总线SYSBUS 2100、语音触发系统203、音频子系统303、直接总线500以及邮箱模块MBX。音频子系统303可包括在图2A的音频处理系统250中。
语音触发系统203可包括触发接口电路(IFV)213、包装器(WRPP)223、触发存储器(MEMV)233以及触发处理器(PRCV)243。
音频子系统303可包括音频接口电路(IFA)313、直接存储器访问控制器(DMA)323、音频存储器(MEMA)333以及音频处理器(PRCA)343。
与包括在图5的应用处理器2001的音频子系统301中的回声消除器701以及包括在图11的应用处理器2002的语音触发系统202中的回声消除器702相比较，回声消除器703可包括在连接到图14的应用处理器2003的触发接口TIF的音频编解码器55中。回声消除器703可以是参照图4描述的回声消除器95。在一些实施例中，回声消除可由音频编解码器55中的回声消除器703执行。
图15是示出根据一些实施例的操作应用处理器的方法的操作的流程图。图16是示出根据一些实施例的执行操作图15的应用处理器的方法的操作的语音触发系统和音频子系统的框图。
参照图15和图16，在由音频子系统ASS通过音频接口AIF的输出垫基于对应于音频输出信号SDO的音频输出数据执行音频重放时，音频编解码器CODEC可从模拟麦克风接收麦克风数据DMC(S810)。
音频编解码器CODEC中的回声消除器AEC可基于音频输出数据针对麦克风数据DMC执行回声消除，以生成补偿的触发输入信号CSAIC(S820)。音频输出数据可用作参考信号，并且麦克风数据DMC可用作用于回声消除的接收信号。
音频编解码器CODEC可通过触发接口TIF将补偿的触发输入信号CSAIC传送到语音触发系统VTS(S830)。
语音触发系统VTS可基于补偿的触发输入信号CSAIC执行语音触发操作(S840)。可基于应用了回声消除的补偿的触发输入信号CSAIC执行语音触发操作，从而语音触发操作的识别率可被提高。
在一些实施例中，可通过触发接口TIF将补偿的触发输入信号CSAIC直接传送到语音触发系统VTS。因此，在语音打断状况期间，主处理器100和系统总线2100可维持睡眠模式，并且补偿的触发输入信号CSAIC的传送不会将主处理器100和系统总线2100唤醒到用于语音触发操作的活动模式。
在一些实施例中，音频编解码器50或音频编解码器55可包括在语音触发系统中，或可在语音触发系统与音频子系统之间，或者音频子系统还可连接到与蓝牙麦克风BMIC81和蓝牙扬声器82连接的蓝牙模块70、或连接到与USB麦克风和USB扬声器连接的USB模块，或者音频编解码器50可被蓝牙模块70和/或USB模块代替。
图17是示出根据一些实施例的应用处理器中的语音触发系统与音频子系统的连接的框图。为了便于说明，图3的主处理器100和其它元件在图17中可被省略，并且与图3和图5重复的描述可被省略。
参照图17，应用处理器2004可包括系统总线SYSBUS 2100、语音触发系统201、音频子系统301、共享存储器800和邮箱模块MBX。音频子系统301可包括在图2A的音频处理系统250中。
与图5的包括语音触发系统201与音频子系统301之间的直接总线500的应用处理器2001相比较，在应用处理器2004中，直接总线可被共享存储器800代替。共享存储器800可在语音触发系统201与音频子系统301之间，并且在语音打断状况期间可存储在语音触发系统201与音频子系统301之间传送的数据。在语音打断状况期间通过音频接口AIF执行音频重放时，应用处理器2004可使用共享存储器800针对从麦克风接收的麦克风数据执行回声消除，以生成补偿的数据，并且语音触发系统201可基于补偿的数据执行语音触发操作。
在一些实施例中，图11的应用处理器2002和图14的应用处理器2003中的直接总线500可被共享存储器800代替。
图18A和图18B是示出根据一些实施例的应用处理器的电源域的框图。
应用处理器可包括独立供电的多个电源域。图18A和图18B示出第一电源域PWDM1和第二电源域PWDM2作为示例。第一电源域PWDM1可对应于在活动模式和待机模式(或睡眠模式)二者下均供电的永远供电区域，第二电源域PWDM2可对应于在待机模式下阻断电源的节电区域。
参照图18A，系统计数器SYSCNT、活动电源管理器APM和语音触发系统VTS可在永远供电区域PWDM1中。多个硬件块(诸如主处理器CPU、音频子系统ABOX、传感器中枢CHUB等)可在节电区域PWDM2中。
系统计数器SYSCNT可生成时间信息TM，并将时间信息TM提供给系统的内部电路。活动电源管理器APM可生成多个电源使能信号EN，以控制系统中的各个元件的电源供应、电源阻断等。语音触发系统VTS可生成表示触发事件的中断信号ITRR。
如在此使用的，活动模式表示至少主处理器CPU被启用，并且操作系统(OS)运行。睡眠模式或待机模式表示主处理器CPU被禁用的掉电模式。
与图18A的布置相比较，如图18B所示，语音触发系统VTS可设置在节电区域PWDM2中。
如图18A和图18B中所示，主处理器CPU、语音触发系统VTS、音频子系统ABOX和传感器中枢CHUB可包括电源门控电路PG1、PG2、PG3和PG4。电源门控电路PG1～PG4可响应于电源使能信号EN1、EN2、EN3和EN4选择性地供电。这样，语音触发系统VTS、音频子系统ABOX和传感器中枢CHUB可独立于主处理器CPU被电源门控并被启用。在一些示例实施例中，当有需要时，语音触发系统VTS可请求活动电源管理器APM，使得传感器中枢CHUB可被启用。
本发明构思可应用于支持语音触发功能的各种集成电路、电子装置和电子系统。例如，本发明构思可应用于诸如移动电话、智能电话、平板计算机、膝上型计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、数码相机、便携式游戏机、音乐播放器、摄像机、视频播放器、导航装置、可穿戴装置、物联网(IoT)装置、万物互联网(IoE)装置、电子书阅读器、虚拟现实(VR)装置、增强现实(AR)装置、机器人装置等的系统。
前述内容是对一些实施例的说明，并且不被解释为对其加以限制。虽然已经描述了一些示例实施例，但是本领域的技术人员将容易理解，在实质不脱离本公开的新颖教导和优点的情况下，在示例实施例中可以进行很多修改。因此，所有这样的修改意图包括在如权利要求限定的本公开的范围内。因此，将理解，前述内容是对各种示例实施例的说明，并且不被解释为受限于公开的特定示例实施例，并且对公开的示例实施例以及其他实施例的修改意图包括在权利要求的范围内。

Claims (20)

1.一种应用处理器，包括：
系统总线；
主处理器，电连接到系统总线；
语音触发系统，电连接到系统总线，语音触发系统被配置为执行语音触发操作并且发出触发事件；
音频子系统，电连接到系统总线，音频子系统被配置为通过音频接口重放音频输出流；
直接总线，将语音触发系统电连接到音频子系统，直接总线被配置为：在语音触发操作和音频输出流的重放被一起执行的语音打断状况期间，在语音触发系统与音频子系统之间提供通信路径，
其中，在语音打断状况期间通过音频接口执行音频输出流的重放时，所述应用处理器被配置为：通过针对从麦克风接收的麦克风数据执行回声消除来生成补偿的触发数据，语音触发系统被配置为：基于补偿的触发数据执行语音触发操作。
2.根据权利要求1所述的应用处理器，其中，所述应用处理器被配置为：通过直接总线，执行从语音触发系统到音频子系统的第一数据传输以及从音频子系统到语音触发系统的第二数据传输。
3.根据权利要求2所述的应用处理器，其中，音频子系统包括：回声消除器，被配置为执行回声消除。
4.根据权利要求3所述的应用处理器，
其中，语音触发系统包括：触发接口，被配置为：在音频输出流的重放被执行时，接收触发接口音频输入信号。
5.根据权利要求4所述的应用处理器，
其中，语音触发系统被配置为：通过第一数据传输将触发接口音频输入信号的样本数据传送至音频子系统，
其中，音频子系统中的回声消除器被配置为：基于音频输出流针对样本数据执行回声消除以生成补偿的样本数据，
其中，音频子系统被配置为：通过第二数据传输将补偿的样本数据传送至语音触发系统，
其中，语音触发系统被配置为：基于补偿的样本数据执行语音触发操作。
6.根据权利要求3所述的应用处理器，其中，音频子系统被配置为：在执行音频输出流的重放时，通过音频接口的输入垫接收音频输入信号。
7.根据权利要求6所述的应用处理器，
其中，音频子系统中的回声消除器被配置为：基于音频输出流针对音频输入信号的音频输入数据执行回声消除以生成补偿的音频输入数据，
其中，音频子系统被配置为：通过第二数据传输将补偿的音频输入数据传送至语音触发系统，
其中，语音触发系统被配置为：基于补偿的音频输入数据执行语音触发操作。
8.根据权利要求6所述的应用处理器，
其中，语音触发系统包括：触发接口，被配置为：接收触发接口音频输入信号，
其中，所述应用处理器被配置为：在执行音频输出流的重放时，禁用触发接口。
9.根据权利要求2所述的应用处理器，其中，语音触发系统包括：回声消除器，被配置为执行回声消除。
10.根据权利要求9所述的应用处理器，其中，语音触发系统包括：触发接口，被配置为在音频输出流的重放被执行时接收触发接口音频输入信号。
11.根据权利要求10所述的应用处理器，
其中，音频子系统被配置为：通过第二数据传输将对应于音频输出流的音频输出数据传送至语音触发系统，
其中，语音触发系统中的回声消除器被配置为：基于音频输出数据针对触发接口音频输入信号的样本数据执行回声消除以生成补偿的样本数据，
其中，语音触发系统被配置为：基于补偿的样本数据执行语音触发操作。
12.根据权利要求2所述的应用处理器，
语音触发系统包括触发接口，
其中，连接到触发接口的音频编解码器包括：回声消除器，被配置为执行回声消除。
13.根据权利要求12所述的应用处理器，其中，音频编解码器被配置为：在音频输出流的重放被执行时，从模拟麦克风接收麦克风数据。
14.根据权利要求13所述的应用处理器，
其中，音频编解码器中的回声消除器被配置为：基于音频输出流针对麦克风数据执行回声消除以生成补偿的触发输入信号，
其中，音频编解码器被配置为：通过触发接口将补偿的触发输入信号传送至语音触发系统，
其中，语音触发系统被配置为：基于补偿的触发输入信号执行语音触发操作。
15.根据权利要求1所述的应用处理器，其中，
直接总线包括在语音触发系统与音频子系统之间的共享存储器，
在语音打断状况期间在语音触发系统与音频子系统之间传送的数据被存储在共享存储器中，
在语音打断状况期间通过音频接口执行音频输出流的重放时，所述应用处理器被配置为：使用共享存储器针对从麦克风接收的麦克风数据执行回声消除，以生成补偿的触发数据，并且语音触发系统被配置为：基于补偿的触发数据执行语音触发操作。
16.根据权利要求1所述的应用处理器，其中，系统总线、主处理器、语音触发系统、音频子系统和直接总线集成在单个半导体芯片中。
17.根据权利要求1所述的应用处理器，其中，所述应用处理器被配置为：在通过音频接口执行音频输出流的重放时，将主处理器和系统总线维持在睡眠模式而不将主处理器和系统总线唤醒到用于语音触发操作的活动模式。
18.根据权利要求17所述的应用处理器，其中，语音触发系统和音频子系统中的每个独立于主处理器而被电源门控并被启用。
19.一种电子装置，包括：
应用处理器；
至少一个音频输入输出装置，
其中，应用处理器包括：
系统总线；
主处理器，电连接到系统总线；
语音触发系统，电连接到系统总线，语音触发系统被配置为：执行语音触发操作并且发出触发事件；
音频子系统，电连接到系统总线，音频子系统被配置为：通过所述至少一个音频输入输出装置重放音频输出流；
直接总线，将语音触发系统电连接到音频子系统，直接总线被配置为：在语音触发操作和音频输出流的重放被一起执行的语音打断状况期间，在语音触发系统与音频子系统之间提供通信路径，
其中，在通过所述至少一个音频输入输出装置执行音频输出流的重放时，应用处理器被配置为：通过针对从麦克风接收的麦克风数据执行回声消除以生成补偿的触发数据，语音触发系统被配置为：基于补偿的触发数据执行语音触发操作。
20.一种操作应用处理器的方法，所述方法包括：
由语音触发系统，执行语音触发操作以发出触发事件，语音触发系统与主处理器和音频子系统集成在单个半导体芯片中，应用处理器包括将语音触发系统和音频子系统电连接的直接总线，应用处理器包括将主处理器、语音触发系统、音频子系统电连接的系统总线；
由音频子系统，通过音频接口重放音频输出流；
在语音触发操作和音频输出流的重放被一起执行的语音打断状况期间，通过针对从麦克风接收的麦克风数据执行回声消除来生成补偿的触发数据，直接总线被配置为：在语音打断状况期间，在语音触发系统与音频子系统之间提供通信路径，
由语音触发系统，基于补偿的触发数据执行语音触发操作。
CN201910033457.5A 2018-01-25 2019-01-14 应用处理器、电子装置以及操作应用处理器的方法 Pending CN110083225A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0009496 2018-01-25
KR1020180009496A KR102629385B1 (ko) 2018-01-25 2018-01-25 바지-인 관련 직접 경로를 지원하는 저전력 보이스 트리거 시스템을 포함하는 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
CN110083225A true CN110083225A (zh) 2019-08-02

Family

ID=67145229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910033457.5A Pending CN110083225A (zh) 2018-01-25 2019-01-14 应用处理器、电子装置以及操作应用处理器的方法

Country Status (5)

Country Link
US (1) US10971154B2 (zh)
KR (1) KR102629385B1 (zh)
CN (1) CN110083225A (zh)
DE (1) DE102018128225A1 (zh)
TW (1) TWI776988B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6101472A (en) * 1997-04-16 2000-08-08 International Business Machines Corporation Data processing system and method for navigating a network using a voice command
US20110238417A1 (en) * 2010-03-26 2011-09-29 Kabushiki Kaisha Toshiba Speech detection apparatus
US20140222436A1 (en) * 2013-02-07 2014-08-07 Apple Inc. Voice trigger for a digital assistant
KR20170093491A (ko) * 2016-02-05 2017-08-16 삼성전자주식회사 음성 인식 방법 및 이를 사용하는 전자 장치

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4266254A (en) * 1977-06-06 1981-05-05 National Semiconductor Corp. Integrated circuit for recording and playback of such recording
US4501012A (en) * 1980-11-17 1985-02-19 Nissan Motor Company, Limited Speech recognition system for an automotive vehicle
US4870704A (en) * 1984-10-31 1989-09-26 Flexible Computer Corporation Multicomputer digital processing system
US4736317A (en) * 1985-07-17 1988-04-05 Syracuse University Microprogram-coupled multiple-microprocessor module with 32-bit byte width formed of 8-bit byte width microprocessors
JPH07113840B2 (ja) * 1989-06-29 1995-12-06 三菱電機株式会社 音声検出器
US5657422A (en) * 1994-01-28 1997-08-12 Lucent Technologies Inc. Voice activity detection driven noise remediator
US5708704A (en) * 1995-04-07 1998-01-13 Texas Instruments Incorporated Speech recognition method and system with improved voice-activated prompt interrupt capability
GB2325112B (en) * 1997-05-06 2002-07-31 Ibm Voice processing system
US6151397A (en) * 1997-05-16 2000-11-21 Motorola, Inc. Method and system for reducing undesired signals in a communication environment
US6411929B1 (en) * 1997-11-27 2002-06-25 Hitachi, Ltd. Speech recognition method and system
US6574597B1 (en) * 1998-05-08 2003-06-03 At&T Corp. Fully expanded context-dependent networks for speech recognition
US6098043A (en) * 1998-06-30 2000-08-01 Nortel Networks Corporation Method and apparatus for providing an improved user interface in speech recognition systems
US6970925B1 (en) * 1999-02-03 2005-11-29 William H. Gates, III Method and system for property notification
US6353867B1 (en) * 2000-01-14 2002-03-05 Insilicon Corporation Virtual component on-chip interface
US6678661B1 (en) * 2000-02-11 2004-01-13 International Business Machines Corporation Method and system of audio highlighting during audio edit functions
US6725193B1 (en) * 2000-09-13 2004-04-20 Telefonaktiebolaget Lm Ericsson Cancellation of loudspeaker words in speech recognition
KR20030070925A (ko) * 2001-12-26 2003-09-02 스미토모 도큐슈 긴조쿠 가부시키가이샤 영구자석의 제조방법 및 프레스장치
US7587318B2 (en) * 2002-09-12 2009-09-08 Broadcom Corporation Correlating video images of lip movements with audio signals to improve speech recognition
US20040243405A1 (en) * 2003-05-29 2004-12-02 International Business Machines Corporation Service method for providing autonomic manipulation of noise sources within computers
AU2003302486A1 (en) * 2003-09-15 2005-04-06 Zakrytoe Aktsionernoe Obschestvo Intel Method and apparatus for encoding audio
CA2539442C (en) * 2003-09-17 2013-08-20 Nielsen Media Research, Inc. Methods and apparatus to operate an audience metering device with voice commands
US20050114118A1 (en) * 2003-11-24 2005-05-26 Jeff Peck Method and apparatus to reduce latency in an automated speech recognition system
US20050136848A1 (en) * 2003-12-22 2005-06-23 Matt Murray Multi-mode audio processors and methods of operating the same
US8170875B2 (en) 2005-06-15 2012-05-01 Qnx Software Systems Limited Speech end-pointer
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
US20080140412A1 (en) * 2006-12-07 2008-06-12 Jonathan Travis Millman Interactive tutoring
CN101636729B (zh) * 2007-03-16 2012-05-16 林晖 一种存储卡加载数字内容的量化制作系统
JP4869420B2 (ja) * 2010-03-25 2012-02-08 株式会社東芝 音情報判定装置、及び音情報判定方法
CN103098131B (zh) * 2010-08-24 2015-03-11 杜比国际公司 调频立体声无线电接收器的间歇单声道接收的隐藏
US8972251B2 (en) * 2011-06-07 2015-03-03 Qualcomm Incorporated Generating a masking signal on an electronic device
WO2014144579A1 (en) * 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
TWI624709B (zh) * 2013-06-25 2018-05-21 寇平公司 具有麥克風陣列的眼鏡及其用以減降雜訊的方法
US10186262B2 (en) * 2013-07-31 2019-01-22 Microsoft Technology Licensing, Llc System with multiple simultaneous speech recognizers
WO2015034504A1 (en) * 2013-09-05 2015-03-12 Intel Corporation Mobile phone with variable energy consuming speech recognition module
US9582983B2 (en) * 2013-09-11 2017-02-28 Intel Corporation Low power voice trigger for finding mobile devices
US20150112690A1 (en) 2013-10-22 2015-04-23 Nvidia Corporation Low power always-on voice trigger architecture
GB2523984B (en) 2013-12-18 2017-07-26 Cirrus Logic Int Semiconductor Ltd Processing received speech data
WO2015094369A1 (en) * 2013-12-20 2015-06-25 Intel Corporation Transition from low power always listening mode to high power speech recognition mode
US9460735B2 (en) * 2013-12-28 2016-10-04 Intel Corporation Intelligent ancillary electronic device
JP2015138147A (ja) * 2014-01-22 2015-07-30 シャープ株式会社 サーバ、対話装置、対話システム、対話方法および対話プログラム
CN106062661B (zh) * 2014-03-31 2021-09-07 英特尔公司 用于常开常听的语音识别系统的位置感知功率管理方案
KR102208477B1 (ko) * 2014-06-30 2021-01-27 삼성전자주식회사 마이크 운용 방법 및 이를 지원하는 전자 장치
KR102299330B1 (ko) 2014-11-26 2021-09-08 삼성전자주식회사 음성 인식 방법 및 그 전자 장치
WO2016118480A1 (en) 2015-01-21 2016-07-28 Knowles Electronics, Llc Low power voice trigger for acoustic apparatus and method
US9653079B2 (en) * 2015-02-12 2017-05-16 Apple Inc. Clock switching in always-on component
US9672821B2 (en) * 2015-06-05 2017-06-06 Apple Inc. Robust speech recognition in the presence of echo and noise using multiple signals for discrimination
US9691378B1 (en) * 2015-11-05 2017-06-27 Amazon Technologies, Inc. Methods and devices for selectively ignoring captured audio data
US10089989B2 (en) 2015-12-07 2018-10-02 Semiconductor Components Industries, Llc Method and apparatus for a low power voice trigger device
US10089987B2 (en) * 2015-12-21 2018-10-02 Invensense, Inc. Music detection and identification
US9805714B2 (en) * 2016-03-22 2017-10-31 Asustek Computer Inc. Directional keyword verification method applicable to electronic device and electronic device using the same
KR101850762B1 (ko) 2016-07-19 2018-04-20 최병락 내구성이 우수한 방풍부재용 혼합섬유 모헤어
US10121494B1 (en) * 2017-03-30 2018-11-06 Amazon Technologies, Inc. User presence detection
CN107577449B (zh) * 2017-09-04 2023-06-23 百度在线网络技术（北京）有限公司 唤醒语音的拾取方法、装置、设备及存储介质
JP2019053165A (ja) * 2017-09-14 2019-04-04 株式会社東芝 音声認識装置
US10482868B2 (en) * 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
EP3692522A4 (en) * 2017-12-31 2020-11-11 Midea Group Co., Ltd. METHOD AND SYSTEM FOR THE CONTROL OF HOME ASSISTANT DEVICES

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6101472A (en) * 1997-04-16 2000-08-08 International Business Machines Corporation Data processing system and method for navigating a network using a voice command
US20110238417A1 (en) * 2010-03-26 2011-09-29 Kabushiki Kaisha Toshiba Speech detection apparatus
US20140222436A1 (en) * 2013-02-07 2014-08-07 Apple Inc. Voice trigger for a digital assistant
KR20170093491A (ko) * 2016-02-05 2017-08-16 삼성전자주식회사 음성 인식 방법 및 이를 사용하는 전자 장치

Also Published As

Publication number Publication date
KR20190090596A (ko) 2019-08-02
TWI776988B (zh) 2022-09-11
US10971154B2 (en) 2021-04-06
DE102018128225A1 (de) 2019-07-25
US20190228772A1 (en) 2019-07-25
KR102629385B1 (ko) 2024-01-25
TW201933086A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110083224A (zh) 应用处理器、电子装置及操作应用处理器的方法
CN105745615B (zh) 用于移动设备的始终进行的音频控制
CN110086923B (zh) 应用处理器和包括其的电子装置
CN110083327A (zh) 应用处理器、电子装置和操作应用处理器的方法
US10861462B2 (en) Dual pipeline architecture for wakeup phrase detection with speech onset detection
CN108681474A (zh) 应用预加载方法、装置、存储介质及终端
WO2017173663A1 (zh) 具有USB Type-C接口的电子设备
CN110087166B (zh) 应用处理器、包括其的电子装置及操作应用处理器的方法
CN110083225A (zh) 应用处理器、电子装置以及操作应用处理器的方法
CN110083218A (zh) 应用处理器、电子装置以及操作应用处理器的方法
CN104461122A (zh) 自适应触摸扫描
CN108882085A (zh) 一种可穿戴设备电量均衡方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination