CN110087166B - 应用处理器、包括其的电子装置及操作应用处理器的方法 - Google Patents

应用处理器、包括其的电子装置及操作应用处理器的方法 Download PDF

Info

Publication number
CN110087166B
CN110087166B CN201910031791.7A CN201910031791A CN110087166B CN 110087166 B CN110087166 B CN 110087166B CN 201910031791 A CN201910031791 A CN 201910031791A CN 110087166 B CN110087166 B CN 110087166B
Authority
CN
China
Prior art keywords
audio
trigger
voice
data
voice trigger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910031791.7A
Other languages
English (en)
Other versions
CN110087166A (zh
Inventor
金善奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110087166A publication Critical patent/CN110087166A/zh
Application granted granted Critical
Publication of CN110087166B publication Critical patent/CN110087166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Abstract

提供一种应用处理器、包括其的电子装置及操作应用处理器的方法。所述应用处理器包括：系统总线以及电连接到系统总线的主处理器、语音触发系统和音频子系统。语音触发系统基于通过触发接口提供的触发输入信号，执行语音触发操作并发出触发事件。音频子系统通过音频接口处理音频流。在通过音频接口执行音频重放的同时，应用处理器针对从麦克风接收的麦克风数据执行回声消除以生成补偿的数据，并且语音触发系统基于补偿的数据执行语音触发操作。

Description

应用处理器、包括其的电子装置及操作应用处理器的方法
本申请要求于2018年1月25日提交到韩国知识产权局(KIPO)的第10-2018-0009388号韩国专利申请的优先权，所述韩国专利申请的公开通过引用完整地包含于此。
技术领域
与本公开一致的设备、方法、装置和制品总体涉及半导体集成电路，更具体地讲，涉及支持低功率回声消除的应用处理器、包括所述应用处理器的电子装置以及相关联的方法。
背景技术
近来，基于语音(voice-based)或基于声音(sound-based)的智能接口已经被引入。这样的基于语音的智能接口的一个优点是用户可以以免提方式与装置交互，而不需要对装置进行操作或者甚至不需要看着装置。当人不能或不应物理地操作装置时(诸如，当他们正在驾驶时或当他们有残疾时)，免提操作可以是特别有利的。然而，为了启动基于语音的智能接口，用户通常必须按下按钮或在触摸屏上选择图标。这种触觉输入降低了基于语音的智能接口的用户体验。
因此，已经开发了电子装置以使用语音、讲话、声音、感测等的输入而不是触觉输入来激活基于语音的智能接口。电子装置执行对音频通道的持续或间歇的监控，以检测语音输入并发出用于启动基于语音的智能接口的触发事件。用于发出触发事件的操作可被称为语音触发操作。对音频通道的这种监控消耗在依赖电池的手持式或便携式装置上是有限资源的电力。因此，提供一种与语音触发操作相关联的节能方案是有利的。
发明内容
一方面在于提供一种能够支持低功率回声消除的应用处理器和包括所述应用处理器的电子装置。
另一方面在于提供一种操作能够支持低功率回声消除的应用处理器的方法。
根据一个或多个示例实施例的一个方面，一种应用处理器包括：系统总线以及电连接到系统总线的主处理器、语音触发系统和音频子系统。语音触发系统基于通过触发接口提供的触发输入信号，执行语音触发操作并发出触发事件。音频子系统通过音频接口处理音频流。在通过音频接口执行音频重放的同时，应用处理器针对从麦克风接收的麦克风数据执行回声消除以生成补偿的数据，并且语音触发系统基于补偿的数据执行语音触发操作。
根据一个或多个示例实施例的另一方面，一种电子装置包括：至少一个音频输入输出装置；以及应用处理器，其中，应用处理器包括：系统总线；主处理器，电连接到系统总线；语音触发系统，电连接到系统总线，其中，语音触发系统被配置为：基于通过触发接口提供的触发输入信号，执行语音触发操作并发出触发事件；音频子系统，包括音频接口并且电连接到系统总线，其中，音频子系统被配置为：通过音频接口处理音频流，其中，在通过音频接口执行音频重放的同时，应用处理器针对从麦克风接收的麦克风数据执行回声消除以生成补偿的数据，并且语音触发系统基于补偿的数据执行语音触发操作。
根据一个或多个示例实施例的另一方面，一种操作应用处理器的方法包括：基于通过触发接口提供的触发输入信号，由语音触发系统执行语音触发操作以发出触发事件，语音触发系统与主处理器、音频子系统及电连接主处理器、语音触发系统和音频子系统的系统总线被集成在形成应用处理器的单个半导体芯片中；由音频子系统通过音频子系统的音频接口处理音频流；在通过音频接口执行音频重放的同时，针对从麦克风接收的麦克风数据执行回声消除以生成补偿的数据；由语音触发系统基于补偿的数据执行语音触发操作。
附图说明
通过以下结合附图的具体实施方式，将会更清楚地理解示例实施例，其中：
图1是示出根据示例实施例的操作应用处理器的方法的流程图；
图2A是示出根据示例实施例的电子装置的框图；
图2B是图2A的电子装置的示例实现方式；
图3是示出根据示例实施例的应用处理器的框图；
图4是示出根据示例实施例的包括在应用处理器中的回声消除器的框图；
图5是示出根据示例实施例的应用处理器中的语音触发系统和音频子系统的示例连接的框图；
图6是示出包括在图5的应用处理器中的邮箱模块的示例实施例的示图；
图7是示出根据示例实施例的操作应用处理器的方法的流程图；
图8是用于描述图7的操作应用处理器的方法的框图；
图9是示出根据示例实施例的操作应用处理器的方法的流程图；
图10是用于描述图9的操作应用处理器的方法的框图；
图11是示出根据示例实施例的应用处理器中的语音触发系统和音频子系统的示例连接的框图；
图12是示出根据示例实施例的操作应用处理器的方法的流程图；
图13是用于描述图12的操作应用处理器的方法的框图；
图14是示出根据示例实施例的应用处理器中的语音触发系统和音频子系统的示例连接的框图；
图15是示出根据示例实施例的操作应用处理器的方法的流程图；
图16是用于描述图15的操作应用处理器的方法的框图；
图17A和图17B是用于描述根据示例实施例的应用处理器的电源域(powerdomain)的示图。
具体实施方式具体实施方式
在下文中，将参照示出一些示例实施例的附图更充分地描述各种示例实施例。在附图中，相同的参考标号始终表示相同的元件。可省略重复的描述。
根据示例实施例的应用处理器、包括所述应用处理器的电子装置和操作所述应用处理器的方法可通过将语音触发系统集成在应用处理器中，以低功率和高效率执行语音触发操作。片上语音触发系统可代替应用处理器中的主处理器执行一些操作，以降低功耗并且增强电子装置的性能。此外，可以以低功率执行音频重放和回声消除，并且可通过使用邮箱模块支持语音触发系统和音频子系统之间的数据通信，增强语音触发操作的性能。
图1是示出根据示例实施例的操作应用处理器的方法的流程图。
参照图1，在应用处理器中，由语音触发系统基于通过触发接口提供的触发输入信号来执行语音触发操作以发出触发事件，其中，在应用处理器中，主处理器、语音触发系统、音频子系统以及电连接主处理器、语音触发系统和音频子系统的系统总线被集成为单个半导体芯片(S100)。
音频子系统处理通过音频接口重放或记录的音频流(S200)。音频子系统还可支持音频接口和存储器装置之间的音频流的传送。
本公开中的语音触发操作可指示这样的操作，该操作用于监控触发输入信号是否包括特定的触发声音，并在检测到触发声音时发出触发事件(诸如，中断信号)，以启动语音识别模式或基于语音的智能接口。语音识别模式的启动可包括使主处理器和/或系统总线进入活动模式(active mode)。换句话说，为了减少功耗，可在睡眠模式期间(例如，当系统总线和主处理器被禁用，并且仅语音触发系统被启用时)执行语音触发操作，并且当发出触发事件以启动语音识别模式时，系统总线和主处理器可进入或唤醒活动模式。
在一些示例实施例中，触发声音可包括人类语音的词和/或短语。在其他示例实施例中，触发声音可包括除了人类语音以外的声音(诸如，口哨、拍手声、汽笛声、碰撞声、特定频率范围的声波等)。在本公开中，用户语音信息可对应于上述的触发声音。
在通过音频接口执行音频重放的同时，针对从麦克风接收的麦克风数据执行回声消除以生成补偿的数据(S300)。例如，可在断插条件(barge-in condition)期间通过音频接口执行音频重放，并且可针对从麦克风接收的麦克风数据执行回声消除以生成补偿的数据。将参照图4描述回声消除。
由语音触发系统基于补偿的数据执行语音触发操作(S400)。
根据示例实施例的应用处理器、包括应用处理器的电子装置和操作应用处理器的方法可通过将语音触发系统集成在应用处理器中，以低功率和高效率执行语音触发操作。此外，可以以低功率执行音频重放，并且语音触发操作的准确度(例如，识别率)可被增强。
图2A是示出根据示例实施例的电子装置的框图。
参照图2A，电子装置1000包括应用处理器AP 2000、存储器装置1200、存储装置1300、多个功能模块和电源管理集成电路PMIC 1800，其中，多个功能模块包括通信模块1400、相机模块1500、输入/输出(I/O)模块1600和音频模块1700。
应用处理器2000控制电子装置1000的整体操作。例如，应用处理器2000可控制存储器装置1200、存储装置1300和多个功能模块1400、1500、1600和1700。应用处理器2000可以是片上系统(SoC)。
应用处理器2000可包括系统总线2100以及电连接到系统总线2100的主处理器100(也称为中央处理器(CPU))、语音触发系统VTS 200和音频处理系统AUD 250。
语音触发系统200可电连接到系统总线2100，基于通过触发接口提供的触发输入信号，执行语音触发操作并发出触发事件。音频处理系统250可包括音频子系统，并且还可包括如下将描述的传感器中枢。音频子系统可电连接到系统总线2100，以处理通过音频接口重放或记录的音频流。此外，音频子系统还可支持音频接口和存储器装置1200之间的音频流的传送。以下将参照图3至图17B描述语音触发系统200和音频处理系统250的示例实施例。
存储器装置1200和存储装置1300可存储用于电子装置1000的操作的数据。存储器装置1200可包括易失性存储器装置(诸如，动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、移动DRAM等)。存储装置1300可包括非易失性存储器装置(诸如，可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、相变随机存取存储器(PRAM)、电阻随机存取存储器(RRAM)、纳米浮栅存储器(NFGM)、聚合物随机存取存储器(PoRAM)、磁随机存取存储器(MRAM)、铁电随机存取存储器(FRAM)等)。在一些示例实施例中，存储装置1300还可包括嵌入式多媒体卡(eMMC)、通用闪存(UFS)、固态驱动器(SSD)、硬盘驱动器(HDD)、CD-ROM等。
功能模块1400、1500、1600和1700可执行电子装置1000的各种功能。例如，电子装置1000可包括：执行通信功能的通信模块1400(例如，码分多址(CDMA)模块、长期演进(LTE)模块、射频(RF)模块、超宽带(UWB)模块、无线局域网(WLAN)模块、全球微波互联接入(WIMAX)模块等)、执行照相功能的相机模块1500、包括执行显示功能的显示模块和执行触摸感测功能的触摸板模块的输入输出(I/O)模块1600、以及执行音频信号的输入输出的包括麦克风(MIC)模块、扬声器模块等的音频模块1700。在一些示例实施例中，电子装置1000还可包括全球定位系统(GPS)模块、陀螺仪模块等。然而，电子装置1000中的功能模块1400、1500、1600和1700不限于此。
电源管理集成电路1800可将操作电压提供给应用处理器2000、存储器装置1200、存储装置1300和功能模块1400、1500、1600和1700。
图2B是图2A的电子装置的示例实现方式。
图2A的电子装置1000可以是诸如台式计算机、膝上型计算机、蜂窝电话、智能电话、MP3播放器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、数字电视、数码相机、服务器计算机、工作站、机顶盒、便携式游戏机、导航系统、可穿戴装置、物联网(IoT)装置、万物互联网(IoE)装置、电子书、虚拟现实(VR)装置、增强现实(AR)装置等的装置。电子装置1000通常可响应于直接的用户输入而进行操作，但也可用于经由互联网或其他网络系统与其他装置进行通信。作为图2A的电子装置1000的示例，图2B示出包括触摸屏的蜂窝电话或智能电话。
参照图2B，电子装置1000a包括：前置摄像头2、扬声器3、接近传感器4、照度传感器5、通用串行总线(USB)接口6、电源按钮7、音量按钮8、显示和触摸屏9、图标10、菜单按钮11、主页按钮12、返回按钮13、麦克风14、音频输出接口15和天线16。
前置摄像头2可与显示和触摸屏9面向相同的方向，并用于视频通话或者视频拍摄或照片拍摄。当用户通过触摸显示和触摸屏9上的图标10中的一个图标或者通过说话输入信号来播放多媒体数据、通过公共交换电话网络与另一用户通话、播放电子装置1000a的操作声音或通知声音时，扬声器3可输出音频数据。接近传感器4可控制显示和触摸屏9的开启或关闭，以在用户将电子装置1000a举起到耳边进行电话交谈时节约电力并防止误操作。照度传感器5可根据来自电子装置1000a的周边环境的入射光的量，控制显示和触摸屏9和前置摄像头2的操作。USB接口6可以是用于与外部装置的数据通信和电力供应的输入/输出接口。
电源按钮7可开启或关闭电子装置1000a的电源，或者可开启或关闭显示和触摸屏9。音量按钮8可控制扬声器3的音频输出。与不同的功能相应的图标10可显示在显示和触摸屏9上。例如，用户可触摸与多媒体数据的回放相应的图标10。
菜单按钮11可允许用户浏览包括图标和设置的菜单。即使当电子装置1000a正在显示和触摸屏9上执行特定的操作时，主页按钮12也可允许主屏幕出现以用于多工作模式。返回按钮13可取消当前正被电子装置1000a执行的操作，并使用户返回到先前屏幕。
麦克风14可以是用于语音通话或语音输入信号的输入/输出(I/O)接口。音频输出接口15(例如，耳机插孔)可用于正在播放的多媒体数据的音频输出。尽管没有示出，但是音频输出和麦克风输入可通过支持蓝牙的装置接口连接。天线16可用于接收数字媒体广播服务。电子装置1000a的元件可以以本领域普通技术人员可实现的各种方式来实现。图2B中的一些元件可省略或使用其他元件代替。
图3是示出根据示例实施例的应用处理器的框图。
参照图3，应用处理器2000可包括系统总线SYSBUS 2100、主处理器100、语音触发系统200、音频子系统300和传感器中枢400。音频子系统300和传感器中枢400可包括在图2A中的音频处理系统250中。根据示例实施例，应用处理器2000还可包括活动电源管理器APM、邮箱模块MBXa、MBXb和MBXc以及中断控制器ITRC。
系统总线2100可被称为互联装置或主干(backbone)。系统总线2100可包括高层总线、低层总线和连接它们的桥。例如，系统总线2100可包括各种总线(诸如，高级可扩展接口(AXI)、高级高性能总线(AHB)、高级外围总线(APB)等)和连接高级可扩展接口(AXI)、高级高性能总线(AHB)、高级外围总线(APB)等的至少一个桥。主处理器100可通过系统总线2100访问诸如存储器装置1200和/或存储装置1300的外部装置。此外，主处理器100可通过系统总线2100与语音触发系统200、音频子系统300和传感器中枢400通信。
尽管为了便于说明，在图3中示出了一个中断控制器ITRC，但是中断控制器ITRC可包括至少一个通用中断控制器(GIC)、至少一个向量中断控制器(VIC)等。例如，中断控制器ITRC可被实现为可编程中断控制器(PIC)。可编程中断控制器可使用具有由向量表示的优先级系统的多个层来实现。可编程中断控制器可从外围装置接收中断，确定接收的中断信号的优先级，并向处理器或控制器发出具有指针地址的中断信号。
活动电源管理器APM可管理应用处理器2000的电源。活动电源管理器APM可管理供应给应用处理器2000的各个区域或功能块的电力。邮箱模块MBXa、MBXb和MBXc可支持应用处理器2000中的元件之间的数据通信或应用处理器2000和外部装置之间的数据通信的同步。以下将参照图6描述邮箱模块MBXa、MBXb和MBXc。
语音触发系统200电连接到系统总线2100。语音触发系统200基于通过触发接口提供的触发输入信号，执行语音触发操作并发出触发事件。在一些示例实施例中，语音触发系统200可从数字麦克风DMIC 40和/或音频编解码器(编码器和解码器)CODEC 50接收触发输入信号。换句话说，语音触发系统200的触发接口可直接连接到数字麦克风40和音频编解码器50。音频编解码器50可对从数字麦克风40或/或模拟麦克风AMIC 61接收的音频信号和输出到扬声器62的音频信号，执行编码和解码(或模数转换(ADC)和数模转换(DAC))。数字麦克风40可以是与应用处理器2000的安装在电子装置的基板上的板上麦克风。模拟麦克风61和扬声器62可以是可附接到音频编解码器50的端口并可从音频编解码器50的端口拆卸的装置。
音频子系统300电连接到系统总线2100。音频子系统300处理通过音频接口重放或记录的音频流，并支持存储器装置1200和音频接口之间的音频流的传送。在一些示例实施例中，音频子系统300可与音频编解码器50和/或蓝牙模块BTM 70交换音频流。换句话说，音频子系统300的音频接口可直接连接到音频编解码器50和蓝牙模块70。蓝牙模块70可通过蓝牙音频模块BTAUD 80连接到蓝牙麦克风BMIC 81和蓝牙扬声器82，以从蓝牙麦克风81接收音频信号并将音频信号输出到蓝牙扬声器82。蓝牙模块70可直接连接到另一蓝牙扬声器85或其他蓝牙装置。尽管没有在图3中示出，但是音频子系统300可连接到通用串行总线(USB)模块，以与USB模块交换音频流。
传感器中枢400电连接到系统总线。传感器中枢400处理从一个或多个传感器SEN131和SEN2 32提供的信号。传感器中枢400可测量与电子装置相关联的物理量，处理物理量以检测电子装置的操作状态，并处理检测的操作状态。例如，传感器31和32可包括运动传感器、陀螺仪传感器、大气压力传感器、磁传感器、加速计、握持传感器、接近传感器、生物特征传感器、温度/湿度传感器、照度传感器以及紫外线(UV)传感器、电子鼻(E-nose)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。
在一些示例实施例中，如图3所示，系统总线2100、语音触发系统200、音频子系统300和传感器中枢400可全部集成在形成应用处理器2000的单个半导体芯片中。在其他示例实施例中，系统总线2100、语音触发系统200和音频子系统300可集成在单个芯片中，而传感器中枢400可设置在应用处理器2000外部。然而，在任一情况下，语音触发系统200被设置在应用处理器2000上，因此，根据示例实施例的应用处理器、包括应用处理器的电子装置和操作应用处理器的方法可通过将语音触发系统集成在应用处理器中，以低功率和高效率执行语音触发操作。
图4是示出根据示例实施例的包括在应用处理器中的回声消除器的框图。
参照图4，回声消除器95可包括滤波器96和回声抑制器97。
从音频子系统300提供的音频输出信号x(t)可从扬声器98输出，并且输出到用户。麦克风99可输出音频输入信号y(t)。尽管没有示出，但是在从扬声器98播出之前，数模转换(DAC)可被施加到音频输出信号x(t)(例如，数字信号)，并且模数转换(ADC)可被施加到由麦克风99捕获的信号，以将音频输入信号y(t)(例如，数字信号)提供给回声抑制器97。
来自麦克风99的音频输入信号y(t)可包括近端信号v(t)和回声信号s(t)。近端信号v(t)可被称为用户希望麦克风99接收的期望信号或主信号。回声信号s(t)可包括由扬声器98输出的音频信号产生的回声分量。尽管没有示出，但是音频输入信号y(t)还可包括噪声。回声分量和噪声可充当近端信号v(t)的干扰，因此消除或移除回声分量和噪声是有利的。
在一些示例实施例中，可使用各种算法(诸如，双端通话检测(doubletalkdetection)、步长控制等)中的至少一种来执行回声消除。
滤波器96可基于音频输出信号x(t)和音频输入信号y(t)来估计包括在音频输入信号y(t)中的回声信号s(t)，以生成估计的回声信号s'(t)。换句话说，滤波器96可对音频输入信号y(t)中的回声分量和导致回声分量的回声路径进行建模，并且估计回声路径如何将期望的音频输出信号x(t)改变为音频输入信号y(t)中的不期望的回声分量。音频输出信号x(t)可用作参考信号。
回声路径描述远端信号从扬声器98传播至麦克风99的声学路径的影响。远端信号可直接从扬声器98传播到麦克风99，或者远端信号可从近端终端的环境中的各种表面反射。从扬声器98输出的远端信号所经过的回声路径可被认为是具有可随时间变化的频率和相位响应的系统。
在一些示例实施例中，可基于各种线性滤波器(诸如，有限脉冲响应(FIR)滤波器、无限脉冲响应(IIR)滤波器等)中的至少一种，对回声路径建模。例如，回声路径的估计可以是具有(N+1)个值的向量，其中，N是自然数，并且滤波器96可被实现为具有有限长度(在时间上)的N阶滤波器。
在一些示例实施例中，回声路径的估计可不被明确地计算，但是可通过从各种随机梯度算法(诸如，最小均方(LMS)、归一化最小均方(NLMS)、快速仿射投影(FAP)和递归最小二乘(RLS)等)中的至少一种获得的滤波器系数的方法来表示。
在一些示例实施例中，回声路径的估计可实时地连续更新。
回声抑制器97可基于估计的回声信号s'(t)和音频输入信号y(t)，生成估计的近端信号v'(t)。例如，回声抑制器97可基于估计的回声信号s'(t)将回声抑制施加到音频输入信号y(t)，以生成估计的近端信号v'(t)，从而抑制接收的音频信号中的回声。随着回声路径被更精确地估计，估计的近端信号v'(t)可更接近近端信号v(t)。也就是说，随着回声路径的估计精度的提高，估计的近端信号v'(t)变得更接近近端信号v(t)。
在一些示例实施例中，回声抑制器97可被实现为回声减法器。例如，回声减法器可从音频输入信号y(t)减去估计的回声信号s'(t)，以生成估计的近端信号v'(t)。
根据示例实施例，回声消除器95中的元件可用各种配置来实现，回声消除器95中的一些元件可被省略或者用其他元件替换，并且一些元件可被添加至回声消除器95。根据示例实施例，回声消除器95的至少部分可被实现为硬件(诸如，电路)，或者被实现为由一个或多个处理器执行的指令和/或程序例程(例如，软件程序)。
图5是示出根据示例实施例的应用处理器中的语音触发系统和音频子系统的示例连接的框图。为了便于说明，存在于图3中的主处理器100和一些其他元件在图5中被省略。
参照图5，应用处理器2001可包括系统总线SYSBUS 2100、语音触发系统201、音频子系统301和邮箱模块MBX。音频子系统301可包括在图2A中的音频处理系统250中。
语音触发系统201电连接到系统总线2100。语音触发系统201基于通过触发接口TIF提供的麦克风触发输入信号SDMIC和/或编解码器触发输入信号SAMIC，执行语音触发操作。语音触发系统201可从数字麦克风DMIC 40接收麦克风触发输入信号SDMIC和/或从音频编解码器(编码器和解码器)CODEC 50接收编解码器触发输入信号SAMIC。麦克风时钟信号MICCLK可在语音触发系统201、数字麦克风40和音频编解码器50之间传送，以用于信号传送的同步。麦克风触发输入信号SDMIC和编解码器触发输入信号SAMIC以及麦克风时钟信号MICCLK可通过垫(pad)PD11、PD12和PD13来传送。垫PD11、PD12和PD13可被实现为使得使用的垫避免被其他未使用的垫干扰。
音频子系统301电连接到系统总线2100。音频子系统301处理通过音频接口AIF重放或记录的音频流，并支持存储器装置1200和音频接口之间的音频流的传送。在一些示例实施例中，音频子系统301可与音频编解码器50交换音频流。音频子系统301可通过音频输入垫PD21从音频编解码器50接收音频输入信号SDI，并通过音频输出垫PD22将音频输出信号SDO发送到音频编解码器50。
语音触发系统201可包括触发接口电路IFV 211、包装器(wrapper)WRPP221、触发存储器MEMV 231和触发处理器PRCV 241。
触发接口电路211与垫PD11、PD12和PD13可形成触发接口TIF，以对从数字麦克风40提供的麦克风触发输入信号SDMIC和/或从音频编解码器50提供的编解码器触发输入信号SAMIC进行采样和转换。包装器221可将从触发接口电路211提供的数据存储在触发存储器231中。当阈值量的数据被存储在触发存储器231中时，包装器221可向触发处理器241发出中断信号，使得触发处理器241可基于存储在触发存储器231中的数据执行语音触发操作。
在一些示例实施例中，语音触发系统201可接收脉冲密度调制(PDM)信号作为麦克风触发输入信号SDMIC和编解码器触发输入信号SAMIC。触发接口电路211可将PDM信号转换为脉冲编码调制(PCM)数据。包装器221可将PCM数据存储在触发存储器231中。包装器221可使用直接存储器访问控制器来实现。
音频子系统301可包括音频接口电路IFA311、直接存储器访问控制器DMA 321、音频存储器MEMA 331和音频处理器PRCA 341。
音频接口电路311以及音频输入垫PD21和音频输出垫PD22可形成音频接口AIF，以通过音频输入信号SDI和音频输出信号SDO传送音频流。音频存储器331可存储音频流的数据，直接存储器访问控制器321可控制对音频存储器的访问(即，从音频存储器331读取数据和向音频存储器331写入数据)。音频处理器341可处理存储在音频存储器331中的数据。
在一些示例实施例中，音频子系统301中的音频处理器341可包括回声消除器AEC701。回声消除器701可以是参照图4所描述的回声消除器95。
在一些示例实施例中，音频接口电路IFA 311可与I2S(Inter-IC Sound，集成电路内置音频总线)或IIS(Integrated Interchip Sound，集成音频接口芯片)标准兼容。尽管没有在图5中示出，但是音频接口电路311可基于根据I2S标准的时钟信号进行操作。在一些示例实施例中，音频接口电路311可直接连接到数字麦克风40和/或音频编解码器50。
在一些示例实施例中，应用处理器2001还可包括被配置为支持语音触发系统201和音频子系统301之间的数据通信的同步的邮箱模块MBX。
在音频重放期间执行回声消除以提高语音触发操作的识别率是有利的。在通过音频接口AIF执行音频重放的同时，根据示例实施例的应用处理器2001可针对从麦克风(例如，数字麦克风40或模拟麦克风61)接收的麦克风数据执行回声消除以生成补偿的数据，并且语音触发系统201可基于补偿的数据执行语音触发操作。回声消除可由音频子系统301中的回声消除器701来执行。
应用处理器2001可使用邮箱模块MBX通过系统总线2100执行语音触发系统201与音频子系统301之间的数据通信。这样，在通过音频接口AIF执行音频重放的同时和/或在回声消除被执行的同时，主处理器100和/或系统总线2100可保持睡眠模式，并且不唤醒为用于语音触发操作的活动模式。也就是说，在通过音频接口AIF执行音频重放的同时和/或在回声消除被执行的同时，仅音频子系统301、与邮箱模块MBX有关的组件以及语音触发系统201处于活动模式。
图6是示出包括在图5的应用处理器中的邮箱模块的示例实施例的示图。
参照图6，邮箱模块900可包括接口APB 910、消息框MESSAGE 920、包括多个寄存器INTGR0、INTCR0、INTMR0、INTSR0和INTMSR0的第一寄存器电路930以及包括多个寄存器INTGR1、INTCR1、INTMR1、INTSR1和INTMSR1的第二寄存器电路940。图6示出邮箱模块900通过APB接口连接到系统总线2100的AHB2APB桥2110并且消息框920使用6×32位的共享寄存器实现的非限制性示例。然而，这仅仅是示例，并且可不同地确定接口910的类型、消息框920中的寄存器的数量和位数。第一寄存器电路930可生成提供给语音触发系统201中的触发处理器241的中断信号(IRQ TO PRCV)，第二寄存器电路940可生成提供给音频子系统301中的音频处理器341的中断信号(IRQ TO PRCA)。语音触发系统201和音频子系统301之间的数据传输可使用邮箱模块900进行同步。
邮箱模块900可通过在触发处理器241和音频处理器341中的一个将消息写入在消息框920中之后发送中断信号来执行双边通信。语音触发系统201和音频子系统301之间的数据传输的同步可通过轮询方法等来实现。
图7是示出根据示例实施例的操作应用处理器的方法的流程图。图8是用于描述图7的操作应用处理器的方法的框图。
参照图7和图8，当由音频子系统ASS基于音频输出信号SDO的音频输出数据，通过音频接口AIF的输出垫执行音频重放时，语音触发系统VTS可通过触发接口TIF接收触发输入信号SMIC(S510)。
语音触发系统VTS可使用邮箱模块MBX将触发输入信号SMIC的采样数据DSM传送到音频子系统ASS(S520)。例如，采样数据DSM可通过系统总线2100从语音触发系统VTS传送到音频子系统ASS。
音频子系统ASS中的回声消除器AEC可基于音频输出信号SDO的音频输出数据，针对采样数据DSM执行回声消除，以生成补偿的采样数据CDSM(S530)。音频输出数据可用作参考信号，并且采样数据DSM可用作用于回声消除的接收信号。
音频子系统ASS可使用邮箱模块MBX将补偿的采样数据CDSM传送到语音触发系统VTS(S540)。例如，补偿的采样数据CDSM可通过系统总线2100从音频子系统ASS传送到语音触发系统VTS。
语音触发系统VTS可基于补偿的采样数据CDSM执行语音触发操作(S550)。可基于施加了回声消除的补偿的采样数据CDSM来执行语音触发操作，因此可增强语音触发操作的识别率。
图9是示出根据示例实施例的操作应用处理器的方法的流程图。图10是用于描述图9的操作应用处理器的方法的框图。
参照图9和图10，当由音频子系统ASS基于音频输出信号SDO的音频输出数据，通过音频接口AIF的输出垫执行音频重放时，音频子系统ASS可通过音频接口AIF的输入垫接收音频输入信号SDI(S610)。
音频子系统ASS中的回声消除器AEC可基于音频输出信号SDO的音频输出数据，针对音频输入信号SDI的音频输入数据执行回声消除，以生成补偿的音频输入数据CSDI(S620)。音频输出数据可用作参考信号，并且音频输入数据可用作用于回声消除的接收信号。
音频子系统ASS可使用邮箱模块MBX将补偿的音频输入数据CSDI传送到语音触发系统VTS(S630)。例如，补偿的音频输入数据CSDI可通过系统总线2100从音频子系统ASS传送到语音触发系统VTS。
语音触发系统VTS可基于补偿的音频输入数据CSDI执行语音触发操作(S640)。可基于施加了回声消除的补偿的音频输入数据CSDI来执行语音触发操作，因此可增强语音触发操作的识别率。
在一些示例实施例中，在执行音频重放的同时，触发接口TIF可被禁用。换句话说，触发接口TIF可不接收触发输入信号SMIC，并且语音触发系统VTS可基于补偿的音频输入数据CSDI而不是触发输入信号SMIC来执行语音触发操作。
图11是示出根据示例实施例的应用处理器中的语音触发系统和音频子系统的示例连接的框图。为了便于说明，存在于图3中的主处理器100和一些其它元件在图11中被省略，并且与图3和图5重复的描述可被省略。
参照图11，应用处理器2002可包括系统总线SYSBUS 2100、语音触发系统202、音频子系统302和邮箱模块MBX。音频子系统302可包括在图2A的音频处理系统205中。
语音触发系统202可包括触发接口电路IFV 212、包装器WRPP 222、触发存储器MEMV 232和触发处理器PRCV 242。
音频子系统302可包括音频接口电路IFA 312、直接存储器访问控制器DMA 322、音频存储器MEMA 332和音频处理器PRCA 342。
如图11的示例实施例所示，与包括在图5的应用处理器2001的音频子系统301中的回声消除器701相比，回声消除器702可包括在应用处理器2002的语音触发系统202的触发处理器242中。回声消除器702可以是参照图4所描述的回声消除器95。在图11的示例中，可通过语音触发系统202中的回声消除器702执行回声消除。
图12是示出根据示例实施例的操作应用处理器的方法的流程图。图13是用于描述图12的操作应用处理器的方法的框图。
参照图12和图13，当由音频子系统ASS基于音频输出数据SDO，通过音频接口AIF的输出垫执行音频重放时，语音触发系统VTS可通过触发接口TIF接收触发输入信号SMIC(S710)。
音频子系统ASS可使用邮箱模块MBX将与音频输出信号SDO相应的音频输出数据SDO'传送到语音触发系统VTS(S720)。例如，音频输出数据SDO'可通过系统总线2100将从音频子系统ASS传送到语音触发系统VTS。
语音触发系统VTS中的回声消除器AEC可基于音频输出数据SDO'，针对触发输入信号SMIC的采样数据执行回声消除以生成补偿的采样数据(S730)。音频输出数据SDO'可用作参考信号，并且采样数据可用作用于回声消除的接收信号。
语音触发系统VTS可基于补偿的采样数据执行语音触发操作(S740)。可基于施加了回声消除的补偿的采样数据来执行语音触发操作，因此可增强语音触发操作的识别率。
图14是示出根据示例实施例的应用处理器中的语音触发系统和音频子系统的示例连接的框图。为了方便说明，存在于图3中的主处理器100和一些其它元件在图14中被省略，并且与图3和图5重复的描述可被省略。
参照图14，应用处理器2003可包括系统总线SYSBUS 2100、语音触发系统203、音频子系统303和邮箱模块MBX。音频子系统303可包括在图2A的音频处理系统250中。
语音触发系统203可包括触发接口电路IFV 213、包装器WRPP 223、触发存储器MEMV 233和触发处理器PRCV 243。
音频子系统303可包括音频接口电路IFA 313、直接存储器访问控制器DMA 323、音频存储器MEMA 333和音频处理器PRCA 343。
与包括在图5的应用处理器2001的音频子系统301中的回声消除器701和包括在图11的应用处理器2002的语音触发系统202中的回声消除器702相比，回声消除器703可包括在连接到图14的应用处理器2003的触发接口TIF和音频接口AIF的音频编解码器55中。回声消除器703可以是参照图4所描述的回声消除器95。在图14的示例中，可通过音频编解码器55中的回声消除器703执行回声消除。
图15是示出根据示例实施例的操作应用处理器的方法的流程图。图16是用于描述图15的操作应用处理器的方法的框图。
参照图15和图16，当由音频子系统ASS基于音频输出信号SDO的音频输出数据，通过音频接口AIF的输出垫执行音频重放时，音频编解码器CODEC可从模拟麦克风接收麦克风数据DMC(S810)。
音频编解码器CODEC中的回声消除器AEC可基于音频输出数据，针对麦克风数据DMC执行回声消除以生成补偿的触发输入信号CSAIC(S820)。音频输出信号SDO的音频输出数据可用作参考信号，并且麦克风数据DMC可用作用于回声消除的接收的信号。
音频编解码器CODEC可通过触发接口TIF将补偿的触发输入信号CSAIC传送到语音触发系统VTS(S830)。
语音触发系统VTS可基于补偿的触发输入信号CSAIC执行语音触发操作(S840)。可基于施加了回声消除的补偿的触发输入信号CSAIC来执行语音触发操作，因此可增强语音触发操作的识别率。
在图16的示例中，补偿的触发输入信号CSAIC可通过触发接口TIF被直接传送到语音触发系统VTS，因此主处理器和/或系统总线2100也可保持睡眠模式而不唤醒为用于语音触发操作的活动模式。
尽管没有示出，但是根据示例实施例，图5和图11中的音频编解码器50或图14中的音频编解码器55可包括在语音触发系统中，或者设置在语音触发系统与音频子系统之间，或者音频子系统还可连接到与蓝牙麦克风BMIC81和蓝牙扬声器82连接的蓝牙模块70或与USB麦克风和USB扬声器连接的USB模块，或者音频编解码器50可用蓝牙模块70和/或USB模块代替。
图17A和图17B是用于描述根据示例实施例的应用处理器的电源域的示图。
应用处理器可包括独立供电的多个电源域。图17A和图17B示出第一电源域PWDM1和第二电源域PWDM2作为示例。第一电源域PWDM1对应于在活动模式和待机模式(或睡眠模式)二者下供电的不间断供电域(always-powered domain)，第二电源域PWDM2对应于在待机模式下断电的节电域(power-save domain)。
参照图17A，系统计数器SYSCNT、活动电源管理器APM和语音触发系统VTS可设置在不间断供电域PWDM1中。多个硬件块(诸如，主处理器CPU、音频子系统ABOX、传感器中枢CHUB等)可设置在节电域PWDM2中。
系统计数器SYSCNT可生成时间信息TM，并可将时间信息TM提供给系统的内部电路。活动电源管理器APM可生成多个电源使能信号EN，以控制系统中的各个元件的供电、断电等。语音触发系统VTS可生成表示触发事件的中断信号ITRR。
在本公开中，活动模式表示至少主处理器CPU被启用，并且操作系统(OS)运行。睡眠模式或待机模式表示主处理器CPU被禁用的掉电模式(power-down mode)。
与图17A的布置相比，如图17B所示，语音触发系统VTS可设置在节能域PWDM2中。
如图17A和图17B所示，主处理器CPU、语音触发系统VTS、音频子系统ABOX和传感器中枢CHUB可分别包括电源门控电路PG1、PG2、PG3和PG4。电源门控电路PG1～PG4可分别响应于电源使能信号EN1、EN2、EN3和EN4选择性地供电。这样，语音触发系统VTS、音频子系统ABOX和传感器中枢CHUB可独立于主处理器CPU被电源门控并被启用。在一些示例实施例中，语音触发系统VTS可请求活动电源管理器APM启用或禁用传感器中枢CHUB，使得传感器中枢CHUB可被启用。
本发明构思可应用于支持语音触发功能的任何电子装置和系统。例如，本发明构思可应用于诸如台式计算机、膝上型计算机、蜂窝电话、智能电话、MP3播放器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、数字电视、数码相机、服务器计算机、工作站、机顶盒、便携式游戏机、导航系统、可穿戴装置、物联网(IoT)装置、万物互联网(IoE)装置、电子书、虚拟现实(VR)装置、增强现实(AR)装置等的系统。
前述内容是对示例实施例的说明，并且不被解释为对示例实施例的限制。虽然已经描述了一些示例实施例，但是本领域的技术人员将容易理解，在实质不脱离本公开的新颖教导和优点的情况下，可对示例实施例进行很多修改。因此，所有这样的修改意图包括在如权利要求限定的本公开的范围内。因此，将理解，前述内容是对各种示例实施例的说明并且不被解释为受限于公开的特定示例实施例，并且对公开的示例实施例的修改以及其他示例实施例意图包括在所附权利要求的范围内。

Claims (9)

1.一种应用处理器，包括：
系统总线；
主处理器，电连接到系统总线；
语音触发系统，电连接到系统总线，其中，语音触发系统被配置为：基于通过触发接口提供的触发输入信号，执行语音触发操作并发出触发事件；
音频子系统，包括音频接口，并且电连接到系统总线，
其中，在通过音频接口执行音频重放的同时，应用处理器针对从麦克风接收的麦克风数据执行回声消除，以生成补偿的数据，并且语音触发系统基于补偿的数据执行语音触发操作，
其中，音频子系统还包括：回声消除器，被配置为：执行回声消除，
其中，在基于音频输出数据通过音频接口的输出垫执行音频重放的同时，音频子系统通过音频接口的输入垫接收音频输入信号，音频子系统中的回声消除器基于音频输出数据，针对音频输入信号的音频输入数据执行回声消除，以生成补偿的音频输入数据，并且音频子系统将补偿的音频输入数据传送到语音触发系统，
其中，语音触发系统基于补偿的音频输入数据执行语音触发操作，
其中，在音频重放被执行的同时，语音触发系统的触发接口被禁用。
2.根据权利要求1所述的应用处理器，其中，系统总线、主处理器、语音触发系统和音频子系统全部集成在单个半导体芯片中。
3.根据权利要求1所述的应用处理器，其中，在通过音频接口执行音频重放的同时，主处理器保持睡眠模式，并且主处理器不唤醒为用于语音触发操作的活动模式。
4.根据权利要求1所述的应用处理器，还包括：
邮箱模块，被配置为：支持语音触发系统和音频子系统之间的数据通信的同步。
5.根据权利要求4所述的应用处理器，其中，在基于音频输出数据通过音频接口的输出垫执行音频重放的同时，语音触发系统通过触发接口接收触发输入信号。
6.根据权利要求5所述的应用处理器，
其中，语音触发系统使用邮箱模块将触发输入信号的采样数据传送到音频子系统，
其中，音频子系统中的回声消除器基于音频输出数据，针对采样数据执行回声消除，以生成补偿的采样数据，并且音频子系统使用邮箱模块将补偿的采样数据传送到语音触发系统，
其中，语音触发系统基于补偿的采样数据执行语音触发操作。
7.根据权利要求1所述的应用处理器，其中，语音触发系统和音频子系统中的每个独立于主处理器被电源门控并被启用。
8.一种电子装置，包括：
至少一个音频输入输出装置；
应用处理器，包括：
系统总线；
主处理器，电连接到系统总线；
语音触发系统，电连接到系统总线，其中，语音触发系统被配置为：基于通过触发接口提供的触发输入信号，执行语音触发操作并发出触发事件，
音频子系统，包括音频接口，并且电连接到系统总线，
其中，在通过音频接口执行音频重放的同时，应用处理器针对从麦克风接收的麦克风数据执行回声消除，以生成补偿的数据，并且语音触发系统基于补偿的数据执行语音触发操作，
其中，音频子系统还包括：回声消除器，被配置为：执行回声消除，
其中，在基于音频输出数据通过音频接口的输出垫执行音频重放的同时，音频子系统通过音频接口的输入垫接收音频输入信号，音频子系统中的回声消除器基于音频输出数据，针对音频输入信号的音频输入数据执行回声消除，以生成补偿的音频输入数据，并且音频子系统将补偿的音频输入数据传送到语音触发系统，
其中，语音触发系统基于补偿的音频输入数据执行语音触发操作，
其中，在音频重放被执行的同时，语音触发系统的触发接口被禁用。
9.一种操作应用处理器的方法，包括：
基于通过触发接口提供的触发输入信号，由语音触发系统执行语音触发操作以发出触发事件，语音触发系统与主处理器、音频子系统及电连接主处理器、语音触发系统和音频子系统的系统总线集成在形成应用处理器的单个半导体芯片中；
在通过音频接口执行音频重放的同时，针对从麦克风接收的麦克风数据执行回声消除，以生成补偿的数据；
由语音触发系统基于补偿的数据执行语音触发操作，
其中，音频子系统包括：回声消除器，被配置为：执行回声消除，
其中，在基于音频输出数据通过音频接口的输出垫执行音频重放的同时，音频子系统通过音频接口的输入垫接收音频输入信号，音频子系统中的回声消除器基于音频输出数据，针对音频输入信号的音频输入数据执行回声消除，以生成补偿的音频输入数据，并且音频子系统将补偿的音频输入数据传送到语音触发系统，
其中，语音触发系统基于补偿的音频输入数据执行语音触发操作，
其中，在音频重放被执行的同时，语音触发系统的触发接口被禁用。
CN201910031791.7A 2018-01-25 2019-01-14 应用处理器、包括其的电子装置及操作应用处理器的方法 Active CN110087166B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180009388A KR102459920B1 (ko) 2018-01-25 2018-01-25 저전력 에코 제거를 지원하는 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 그 동작 방법
KR10-2018-0009388 2018-01-25

Publications (2)

Publication Number Publication Date
CN110087166A CN110087166A (zh) 2019-08-02
CN110087166B true CN110087166B (zh) 2022-01-14

Family

ID=67145183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910031791.7A Active CN110087166B (zh) 2018-01-25 2019-01-14 应用处理器、包括其的电子装置及操作应用处理器的方法

Country Status (5)

Country Link
US (1) US11044368B2 (zh)
KR (1) KR102459920B1 (zh)
CN (1) CN110087166B (zh)
DE (1) DE102018129733A1 (zh)
TW (1) TWI794342B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10225395B2 (en) * 2015-12-09 2019-03-05 Whatsapp Inc. Techniques to dynamically engage echo cancellation
US11863710B2 (en) * 2021-11-01 2024-01-02 Mediatek Inc. Audio device and method for detecting device status of audio device in audio/video conference

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101106405A (zh) * 2006-07-12 2008-01-16 北京大学深圳研究生院 回声消除器、回声消除方法及其双端通话检测系统
CN101167403A (zh) * 2005-04-27 2008-04-23 金奉硕 具有回声功能的遥控器
CN101878637A (zh) * 2007-11-29 2010-11-03 艾利森电话股份有限公司 用于对语音信号进行回声消除的方法和配置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001016940A1 (en) * 1999-08-31 2001-03-08 Accenture, Llp System, method, and article of manufacture for a voice recognition system for identity authentication in order to gain access to data on the internet
US20020055844A1 (en) * 2000-02-25 2002-05-09 L'esperance Lauren Speech user interface for portable personal devices
WO2004046950A1 (en) * 2002-11-15 2004-06-03 Infineon Technologies Ag Mailbox interface between processors
FR2945413B1 (fr) 2009-05-15 2011-05-06 Aplix Sa Element d'accrochage pour former la partie male d'un auto-agrippant
US8223986B2 (en) * 2009-11-19 2012-07-17 Apple Inc. Electronic device and external equipment with digital noise cancellation and digital audio path
US9104423B2 (en) * 2012-05-16 2015-08-11 Nvidia Corporation Method and system for advance wakeup from low-power sleep states
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US9542933B2 (en) 2013-03-08 2017-01-10 Analog Devices Global Microphone circuit assembly and system with speech recognition
WO2015030474A1 (ko) 2013-08-26 2015-03-05 삼성전자 주식회사 음성 인식을 위한 전자 장치 및 방법
US9251806B2 (en) 2013-09-05 2016-02-02 Intel Corporation Mobile phone with variable energy consuming speech recognition module
US9582983B2 (en) 2013-09-11 2017-02-28 Intel Corporation Low power voice trigger for finding mobile devices
WO2015094369A1 (en) * 2013-12-20 2015-06-25 Intel Corporation Transition from low power always listening mode to high power speech recognition mode
KR102018152B1 (ko) * 2014-03-31 2019-09-04 인텔 코포레이션 항상-온-항상-청취 음성 인식 시스템을 위한 위치 인식 전력 관리 스킴
KR102208477B1 (ko) 2014-06-30 2021-01-27 삼성전자주식회사 마이크 운용 방법 및 이를 지원하는 전자 장치
US9530404B2 (en) * 2014-10-06 2016-12-27 Intel Corporation System and method of automatic speech recognition using on-the-fly word lattice generation with word histories
US10101800B2 (en) * 2015-07-29 2018-10-16 Samsung Electronics Co., Ltd. Method of managing power and electronic device
US9667803B2 (en) * 2015-09-11 2017-05-30 Cirrus Logic, Inc. Nonlinear acoustic echo cancellation based on transducer impedance
KR102476600B1 (ko) * 2015-10-21 2022-12-12 삼성전자주식회사 전자 장치, 그의 음성 인식 방법 및 비일시적 컴퓨터 판독가능 기록매체
CN106297815B (zh) * 2016-07-27 2017-09-01 武汉诚迈科技有限公司 一种语音识别场景中回音消除的方法
CN107454508B (zh) * 2017-08-23 2020-07-14 深圳创维－Rgb电子有限公司 麦克风阵列的电视机及电视系统
US10601599B2 (en) * 2017-12-29 2020-03-24 Synaptics Incorporated Voice command processing in low power devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101167403A (zh) * 2005-04-27 2008-04-23 金奉硕 具有回声功能的遥控器
CN101106405A (zh) * 2006-07-12 2008-01-16 北京大学深圳研究生院 回声消除器、回声消除方法及其双端通话检测系统
CN101878637A (zh) * 2007-11-29 2010-11-03 艾利森电话股份有限公司 用于对语音信号进行回声消除的方法和配置

Also Published As

Publication number Publication date
US20190228788A1 (en) 2019-07-25
KR20190090553A (ko) 2019-08-02
TW201933335A (zh) 2019-08-16
KR102459920B1 (ko) 2022-10-27
DE102018129733A1 (de) 2019-07-25
CN110087166A (zh) 2019-08-02
US11044368B2 (en) 2021-06-22
TWI794342B (zh) 2023-03-01

Similar Documents

Publication Publication Date Title
US11256638B2 (en) Application processor supporting interrupt during audio playback, electronic device including the same and method of operating the same
CN110086923B (zh) 应用处理器和包括其的电子装置
US11061465B2 (en) Application processor including low power voice trigger system with security, electronic device including the same and method of operating the same
CN110087166B (zh) 应用处理器、包括其的电子装置及操作应用处理器的方法
CN108681474A (zh) 应用预加载方法、装置、存储介质及终端
TWI776988B (zh) 包含具插話用直接路徑之低電力語音觸發系統的應用處理器、包含該處理器的電子裝置及其操作方法
US10783887B2 (en) Application processor including low power voice trigger system with external interrupt, electronic device including the same and method of operating the same
US20220374375A1 (en) Method of operating audio subsystem for usb module, system-on-chip performing the same and method of operating system-on-chip using the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant