CN110083224A - 应用处理器、电子装置及操作应用处理器的方法 - Google Patents

应用处理器、电子装置及操作应用处理器的方法 Download PDF

Info

Publication number
CN110083224A
CN110083224A CN201910031927.4A CN201910031927A CN110083224A CN 110083224 A CN110083224 A CN 110083224A CN 201910031927 A CN201910031927 A CN 201910031927A CN 110083224 A CN110083224 A CN 110083224A
Authority
CN
China
Prior art keywords
audio
application processor
speech trigger
interface
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910031927.4A
Other languages
English (en)
Inventor
金善奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110083224A publication Critical patent/CN110083224A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/24—Handling requests for interconnection or transfer for access to input/output bus using interrupt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/24—Interrupt
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Telephone Function (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)

Abstract

提供了一种应用处理器、电子装置及操作应用处理器的方法。所述应用处理器包括：系统总线以及电连接到系统总线的主处理器、语音触发系统和音频子系统。语音触发系统基于通过触发接口提供的触发输入信号执行语音触发操作并发出触发事件。音频子系统处理通过音频接口重放或记录的音频流，并当通过音频接口执行音频重放时，通过音频接口接收中断信号。

Description

应用处理器、电子装置及操作应用处理器的方法
本申请要求于2018年1月25日提交的第10-2018-0009376号韩国专利申请的优先权，所述韩国专利申请的公开通过引用整体包含于此。
技术领域
本发明构思的示例性实施例总体涉及半导体集成电路，更具体地讲，涉及在音频重放期间支持中断的应用处理器、包括应用处理器的电子装置以及相关联的方法。
背景技术
基于语音或基于声音的智能接口(有时被称为虚拟助理)正变得越来越普遍。这样的基于语音的智能接口的一个优点是用户可以以免提方式与装置交互，而不需要触摸或甚至不需要看着装置。当人不能或不应物理地操作装置时(诸如，当人正在驾驶车辆时)，免提操作可以是特别有益的。然而，为了启动基于语音的智能接口，用户通常必须按下按钮或在触摸屏上选择图标。
因此，正在开发允许使用除了触觉输入以外的输入(例如，语音输入)在电子装置上激活基于语音的智能接口。为了起作用，这样的电子装置可持续或间歇的监控音频通道以检测语音输入，并发出用于启动基于语音的智能接口的触发事件。用于发出触发事件的操作可被称为语音触发操作。监控音频通道消耗电能，而电能在依赖电池的手持装置或便携式装置上是有限的资源。
发明内容
本发明构思的示例性实施例提供一种能够以低功耗在音频回放期间执行中断和回声消除的应用处理器和包括该应用处理器的电子装置。
本发明构思的示例性实施例提供一种操作能够以低功耗在音频回放期间执行中断和回声消除的应用处理器的方法。
根据本发明构思的示例性实施例，应用处理器包括系统总线以及电连接到系统总线的主处理器、语音触发系统和音频子系统。语音触发系统基于通过触发接口提供的触发输入信号执行语音触发操作并发出触发事件。音频子系统处理通过音频接口重放或记录的音频流，并当通过音频接口执行音频重放操作时，通过音频接口接收中断信号。
系统总线、主处理器、语音触发系统和音频子系统集成在单个半导体芯片中。
当通过音频接口的输出垫执行音频重放操作时，音频子系统通过音频接口的输入垫接收中断信号。
当通过音频接口的输出垫执行音频重放操作时，语音触发系统通过触发接口接收触发输入信号，并基于触发输入信号执行语音触发操作。
语音触发系统将触发输入信号的样本数据传送至音频子系统，音频子系统针对样本数据执行回声消除操作，并将补偿的样本数据传送至语音触发系统。
当通过音频接口的输出垫执行音频重放操作时，音频子系统通过音频接口的中断垫接收中断信号。
当通过音频接口的输出垫执行音频重放操作时，音频子系统通过音频接口的输入垫接收音频输入信号，并且语音触发系统基于音频输入信号执行语音触发操作。
音频子系统针对音频输入信号的音频输入数据执行回声消除操作，并将补偿的音频输入数据传送至语音触发系统。
当通过音频接口的输出垫执行音频重放操作时，触发接口被禁用。
所述应用处理器还包括：邮箱模块，被配置为：支持语音触发系统与音频子系统之间的数据通信的同步。
所述应用处理器还包括：直接总线，电连接语音触发系统与音频子系统。
语音触发系统与音频子系统之间的数据通信通过独立于系统总线的直接总线来执行。
语音触发系统将触发输入信号的样本数据传送至音频子系统。设置在音频子系统中的回声消除器通过基于音频输出信号的音频输出数据针对样本数据执行回声消除操作来生成补偿的样本数据，并将补偿的样本数据传送至语音触发系统。语音触发系统基于补偿的样本数据执行语音触发操作。
设置在音频子系统中的回声消除器通过基于音频输出信号的音频输出数据针对音频输入信号的音频输入数据执行回声消除操作来生成补偿的音频输入数据，并将补偿的音频输入数据传送至语音触发系统。语音触发系统基于补偿的音频输入数据执行语音触发操作。
音频接口包括：蓝牙输入垫，从蓝牙模块接收音频输入信号；蓝牙输出垫，将音频输出信号发送至蓝牙模块；蓝牙中断垫，从蓝牙模块接收中断信号。
音频接口包括：USB输入垫，从USB模块接收音频输入信号；USB输出垫，将音频输出信号发送至USB模块；USB中断垫，从USB模块接收中断信号。
语音触发系统和音频子系统中的每个独立于主处理器而被电源门控并被启用。根据本发明构思的示例性实施例，电子装置包括应用处理器和至少一个音频输入/输出装置。应用处理器包括系统总线以及电连接到系统总线的主处理器、语音触发系统和音频子系统。语音触发系统基于通过触发接口提供的触发输入信号执行语音触发操作并发出触发事件。音频子系统处理通过音频接口重放或记录的音频流，并当通过音频接口执行音频重放操作时，通过音频接口接收中断信号。
音频接口包括：蓝牙输入垫，从蓝牙模块接收音频输入信号；蓝牙输出垫，将音频输出信号发送至蓝牙模块；蓝牙中断垫，从蓝牙模块接收中断信号。
根据本发明构思的示例性实施例，操作应用处理器的方法包括：接收通过触发接口提供的触发输入信号，并由语音触发系统基于触发输入信号发出触发事件。语音触发系统、音频子系统和主处理器在形成应用处理器的单个半导体芯片中经由系统总线彼此电连接。所述方法还包括：由音频子系统处理通过音频接口重放或记录的音频流。所述方法还包括：当通过音频接口执行音频重放操作时，由音频子系统通过音频接口接收中断信号。
根据本发明构思的示例性实施例的应用处理器、包括应用处理器的电子装置以及操作应用处理器的方法可通过将系统总线、主处理器、语音触发系统和音频子系统一起集成在应用处理器中，从而形成片上语音触发系统，来以低功耗和高效率执行语音触发操作。片上语音触发系统而不是应用处理器中的主处理器可执行一些操作以降低功耗并提高电子装置的性能。此外，可以以低功耗执行音频重放操作，并且可通过支持当执行音频重放操作时通过音频接口的中断来提高语音触发操作的性能。
附图说明
通过参照附图详细描述本发明构思的示例性实施例，本发明构思的以上和其他特征将变得更清楚，其中：
图1是示出根据本发明构思的示例性实施例的操作应用处理器的方法的流程图。
图2A是示出根据本发明构思的示例性实施例的电子装置的框图。
图2B是图2A的电子装置的示例性实现方式。
图3是示出根据本发明构思的示例性实施例的应用处理器的框图。
图4是示出根据本发明构思的示例性实施例的应用处理器中的语音触发系统和音频子系统的示例性连接的框图。
图5A是示出包括在图4的应用处理器中的邮箱模块的示例性实施例的示图；
图5B是示出根据本发明构思的示例性实施例的包括在应用处理器中的回声消除器的框图。
图6是示出根据本发明构思的示例性实施例的操作应用处理器的方法的流程图。
图7是示出根据本发明构思的示例性实施例的应用处理器中的语音触发系统和音频子系统的示例性连接的框图。
图8是示出根据本发明构思的示例性实施例的操作应用处理器的方法的流程图。
图9和图10是示出根据本发明构思的示例性实施例的应用处理器中的语音触发系统和音频子系统的示例性连接的框图。
图11A和图11B是用于描述根据本发明构思的示例性实施例的应用处理器的电源域的示图。
具体实施方式
在下文中将参照附图更充分地描述本发明构思的示例性实施例。贯穿附图，相同的参考标号可表示相同的元件。
将理解，术语“第一”、“第二”、“第三”等在此用于将一个元件与另一个元件区分开，并且元件不被这些术语限制。因此，示例性实施例中的“第一”元件可被描述为另一示例性实施例中的“第二”元件。
图1是示出根据本发明构思的示例性实施例的操作应用处理器的方法的流程图。
参照图1，在示例性实施例中，应用处理器包括集成为单个芯片的主处理器、语音触发系统、音频子系统以及系统总线。系统总线电连接主处理器、语音触发系统和音频子系统。在操作S100中，由语音触发系统基于通过触发接口提供的触发输入信号执行语音触发操作以发出触发事件。在操作S200中，由音频子系统处理通过音频接口重放或记录的音频流。音频子系统还可支持音频接口与存储器装置之间的音频流的传送。
在此，术语语音触发系统和语音触发电路可以可交换地使用，术语音频子系统和音频子系统电路可以可交换地使用。
根据本发明构思的示例性实施例的语音触发操作指示这样的操作：该操作用于监控触发输入信号是否包括特定的触发声音，并当检测到触发声音时发出触发事件(例如，中断信号)，以启动语音识别模式或基于语音的智能接口。语音识别模式的启动可包括使主处理器和/或系统总线从睡眠模式进入活动模式。例如，为了降低功耗，当主处理器和系统总线处于睡眠模式时，语音触发系统可被启用以执行语音触发操作，并且只有触发事件被发出并且语音识别被启动，主处理器和系统总线才可进入活动模式。
在示例性实施例中，例如，触发声音可包括人类语音的词或短语，或者人类语音以外的声音(例如，口哨、拍手声、汽笛、碰撞声、特定频率范围的声波等)。
在操作S300中，当通过音频接口执行音频重放操作时，由音频子系统通过音频接口接收中断信号。例如，根据示例性实施例，通过音频接口接收中断信号，并且同时通过音频接口执行音频重放操作。
根据本发明构思的示例性实施例的应用处理器、包括应用处理器的电子装置以及操作应用处理器的方法通过将语音触发系统集成在应用处理器中，以低功率和高效率执行语音触发操作。此外，通过在音频重放操作期间支持通过音频接口的中断程序(例如，通过在音频数据正在回放时支持通过音频接口的中断程序)，可以以低功耗执行音频重放操作，并且语音触发操作的性能可被提高。
图2A是示出根据本发明构思的示例性实施例的电子装置的框图。
参照图2A，在示例性实施例中，电子装置1000包括应用处理器AP 2000、存储器装置MEM 1200、存储装置STRG1300、多个功能模块1400、1500、1600和1700以及电源管理集成电路PMIC 1800。
应用处理器2000控制电子装置1000的整体操作。例如，应用处理器2000控制存储器装置1200、存储装置1300和多个功能模块1400、1500、1600和1700。例如，应用处理器2000可以是片上系统(SoC)。
在示例性实施例中，应用处理器2000包括系统总线2100以及电连接到系统总线2100的主处理器或中央处理器(CPU)100、语音触发系统VTS 200和音频处理系统AUD 250。
语音触发系统200电连接到系统总线2100，并且基于通过触发接口提供的触发输入信号，执行语音触发操作并发出触发事件。如下面将描述的，音频处理系统250可至少包括音频子系统。音频子系统电连接到系统总线2100，并可处理通过音频接口重放或记录的音频流。此外，音频子系统还可支持音频接口和存储器装置1200之间的音频流的传送。以下将参照图3至图10描述语音触发系统200和音频处理系统250的示例性实施例。
存储器装置1200和存储装置1300可存储用于电子装置1000的操作的数据。存储器装置1200可包括易失性存储器装置(例如，动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、移动DRAM等)。存储装置1300可包括非易失性存储器装置(例如，可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、相变随机存取存储器(PRAM)、电阻随机存取存储器(RRAM)、纳米浮栅存储器(NFGM)、聚合物随机存取存储器(PoRAM)、磁随机存取存储器(MRAM)、铁电随机存取存储器(FRAM)等)。在示例性实施例中，存储装置1300还包括嵌入式多媒体卡(eMMC)、通用闪存(UFS)、固态驱动器(SSD)、硬盘驱动器(HDD)、CD-ROM等。
功能模块1400、1500、1600和1700可执行电子装置1000的各种功能。例如，电子装置1000可包括执行通信功能的通信模块1400(例如，码分多址(CDMA)模块、长期演进(LTE)模块、射频(RF)模块、超宽带(UWB)模块、无线局域网(WLAN)模块、全球互操作性微波接入(WIMAX)模块等)。电子装置1000还可包括：执行拍照功能的相机模块1500，包括例如执行显示功能的显示模块和执行触摸感测功能的触摸板模块的输入/输出(I/O)模块1600，以及执行音频信号的输入/输出的包括例如麦克风(MIC)模块、扬声器模块等的音频模块1700。在示例性实施例中，电子装置1000还可包括全球定位系统(GPS)模块、陀螺仪模块等。将理解，包括在电子装置1000中的功能模块1400、1500、1600和1700不限于图2A中示出的那些。
电源管理集成电路1800可向应用处理器2000、存储器装置1200、存储装置1300和功能模块1400、1500、1600和1700提供操作电压。
图2B是图2A的电子装置的示例性实现方式。
图2A的电子装置1000可以是诸如台式计算机、膝上型计算机、移动电话、智能电话、MP3播放器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、数字电视、数码相机、服务器计算机、工作站、机顶盒、便携式游戏机、导航系统、可穿戴装置、物联网(IoT)装置、万物互联网(IoE)装置、电子书、虚拟现实(VR)装置、增强现实(AR)装置等的装置。电子装置1000通常可响应于直接用户输入而进行操作，但也可用于经由互联网或其他网络系统与其他装置通信。作为图2A的电子装置1000的示例，图2B示出包括触摸屏的移动电话或智能电话。
参照图2B，在示例性实施例中，电子装置1000a包括前置摄像头2、扬声器3、接近传感器4、环境光传感器5、通用串行总线(USB)接口6、电源按钮7、音量按钮8、显示和触摸屏9、图标10、菜单按钮11、主页按钮12、返回按钮13、麦克风14、音频输出接口15和天线16。将理解，图2B中示出的元件是示例性的，电子装置1000a不限于此。
前置摄像头2面向与显示和触摸屏9相同的方向，并可用于例如视频电话或者视频拍摄或照片拍摄。扬声器3输出音频数据。例如，当用户通过触摸显示和触摸屏9上的多个图标10中的一个图标来播放多媒体数据时，当用户经由说话输入信号时，当用户通过公用交换电话网络与另一用户通话时，或者当播放电子装置1000a的操作声音或通知声音时，扬声器3可输出音频数据。接近传感器4可控制显示和触摸屏9调节亮度或开启和关闭显示和触摸屏9，以在用户将电子装置1000a拿在耳边进行电话交谈时节约电力并防止意外触摸。环境光传感器5可基于来自电子装置1000a的周边环境的入射光的量，控制显示和触摸屏9以及前置摄像头2的操作。USB接口6可以是用于与外部装置的数据通信和供电的输入/输出接口。
电源按钮7可接通和断开电子装置1000a的电源，并可开启和关闭显示和触摸屏9。音量按钮8可控制扬声器3的音频输出。与不同的功能相应的多个图标10可显示在显示和触摸屏9上。例如，用户可触摸引起多媒体数据的回放的图标。
菜单按钮11可允许用户浏览包括图标和设置的菜单。即使当电子装置1000a正在显示和触摸屏9上执行特定的操作时，主页按钮12也可允许主屏幕出现以用于多工作模式。返回按钮13可取消当前正被电子装置1000a执行的操作，并使用户返回到先前屏幕。
麦克风14可以是用于语音电话或语音输入信号的输入/输出(I/O)接口。音频输出接口15(例如，耳机插孔)可用于正在播放的多媒体数据的音频输出。音频输出和麦克风输入可通过支持蓝牙的装置接口连接。天线16可用于接收数字媒体广播服务。电子装置1000a的元件可以以如本领域普通技术人员理解的各种方式来实现。根据示例性实施例，图2B中的元件中的一些可被省略或被其他元件代替。
图3是示出根据本发明构思的示例性实施例的应用处理器的框图。
参照图3，在示例性实施例中，应用处理器2000包括系统总线2100、主处理器CPU100、语音触发系统200、音频子系统300和传感器中枢400。音频子系统300和传感器中枢400可包括在图2A中的音频处理系统250中。根据示例性实施例，应用处理器2000还可包括活动电源管理器APM、邮箱模块MBXa、MBXb和MBXc(还被称为邮箱电路)以及中断控制器ITRC。
系统总线2100在此还可被称为互联装置或骨干。系统总线2100可包括高层总线、低层总线和将高层总线连接到低层总线的桥。例如，系统总线2100可包括各种总线(例如，高级可扩展接口(AXI)、高级高性能总线(AHB)、高级外围总线(APB)等)和连接多个总线的至少一个桥。主处理器100可通过系统总线2100访问诸如存储器装置1200和/或存储装置1300的外部装置。此外，主处理器100可通过系统总线2100与语音触发系统200、音频子系统300和传感器中枢400通信。
尽管为了便于说明，在图3中示出了一个中断控制器ITRC，但是本发明构思的示例性实施例不限于此。例如，根据示例性实施例，中断控制器ITRC可包括至少一个通用中断控制器(GIC)、至少一个向量中断控制器(VIC)等。例如，中断控制器ITRC可被实现为可编程中断控制器(PIC)。可编程中断控制器可使用具有由向量表示的优先级系统的多个层实现。可编程中断控制器可从外围装置接收中断信号，确定接收的中断信号的优先级，并向处理器或控制器发出具有指针地址的中断信号。
活动电源管理器APM可管理应用处理器2000的电源。例如，活动电源管理器APM可管理供应给应用处理器2000的各个区域或功能块的电力。邮箱模块MBXa、MBXb和MBXc可支持应用处理器2000中的元件之间的数据通信或应用处理器2000和外部装置之间的数据通信的同步。以下将参照图5描述邮箱模块MBXa、MBXb和MBXc。
语音触发系统200电连接到系统总线2100。语音触发系统200基于通过触发接口提供的触发输入信号，执行语音触发操作并发出触发事件。在示例性实施例中，语音触发系统200可从数字麦克风DMIC40和/或音频编解码器(编码器和解码器)CODEC 50接收触发输入信号。例如，语音触发系统200的触发接口可直接连接到数字麦克风40和音频编解码器50。音频编解码器50可对从数字麦克风40或模拟麦克风AMIC 61接收的音频信号和输出到扬声器62的音频信号执行编码和解码(或模数转换(ADC)和数模转换(DAC))。例如，数字麦克风40可以是与应用处理器2000安装在电子装置的板上的板上麦克风。模拟麦克风61和扬声器62可以是可附接到音频编解码器50的端口并可从音频编解码器50的端口拆卸的装置。
音频子系统300电连接到系统总线2100。音频子系统300处理通过音频接口重放或记录的音频流，并支持存储器装置1200和音频接口之间的音频流的传送。在示例性实施例中，音频子系统300可与音频编解码器50和/或蓝牙模块BTM 70交换音频流。蓝牙模块70在此还可被称为蓝牙电路。例如，音频子系统300的音频接口可直接连接到音频编解码器50和蓝牙模块70。蓝牙模块70可通过蓝牙音频模块BTAUD 80连接到蓝牙麦克风BMIC 81和蓝牙扬声器82，以从蓝牙麦克风81接收音频信号并将音频信号输出到蓝牙扬声器82。蓝牙模块70可直接连接到任意蓝牙装置85。音频子系统300可连接到通用串行总线(USB)模块，以与USB模块交换音频流。
传感器中枢400电连接到系统总线2100。传感器中枢400处理从一个或多个传感器SEN1 31和SEN2 32提供的信号。传感器中枢400可测量与电子装置相关联的物理量，以检测电子装置的操作状态并处理检测到的信息。例如，传感器31和32可包括运动传感器、陀螺仪传感器、大气压力传感器、磁传感器、加速计、握持传感器、接近传感器、生物特征传感器、温度/湿度传感器、照度传感器以及紫外线(UV)传感器、电子鼻(E-nose)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。
在示例性实施例中，如图3中所示，系统总线2100、语音触发系统200、音频子系统300和传感器中枢400全部可集成在形成应用处理器2000的单个半导体芯片中。在其他示例性实施例中，系统总线2100、语音触发系统200和音频子系统300可集成在单个芯片中，而传感器中枢400可设置在应用处理器2000外部。结果，根据本发明构思的示例性实施例的应用处理器、包括应用处理器的电子装置和操作应用处理器的方法可通过将语音触发系统集成在应用处理器中，来以低功率和高效率执行语音触发操作。
图4是示出根据本发明构思的示例性实施例的应用处理器中的语音触发系统和音频子系统的示例性连接的框图。为了便于解释，先前描述的元件和处理的进一步描述在此可被省略，并且在图4中，图3的主处理器100和其它元件被省略。
参照图4，在示例性实施例中，应用处理器2006包括系统总线2100、语音触发系统206、音频子系统306、直接总线500以及邮箱模块MBX。音频子系统306可包括在图2A中的音频处理系统250中。
语音触发系统206电连接到系统总线2100。语音触发系统206基于通过触发接口TIF提供的触发输入信号SDMIC和SAMIC执行语音触发操作。语音触发系统206可从数字麦克风DMIC40接收触发输入信号SDMIC和/或从音频编解码器(编码器和解码器)CODEC 50接收触发输入信号SAMIC。麦克风时钟信号MICCLK可在语音触发系统206、数字麦克风40和音频编解码器50之间传送，以用于信号传送的同步。触发输入信号SDMIC和SAMIC以及麦克风时钟信号MICCLK可通过包括在触发接口TIF中的垫(pad)PD11、PD 12和PD13来传送。垫PD11、PD12和PD13可被实现为使得防止使用的垫受其他未使用的垫干扰。
音频子系统306电连接到系统总线2100。音频子系统306处理通过音频接口AIF重放或记录的音频流，并支持存储器装置1200与音频接口AIF之间的音频流的传送。
在示例性实施例中，音频子系统306可与音频编解码器50交换音频流。音频子系统306可通过音频接口AIF的音频输入垫PD21从音频编解码器50接收音频输入信号SDI，并且可通过音频接口AIF的音频输出垫PD22将音频输出信号SDO发送至音频编解码器50。
在示例性实施例中，音频子系统306可与蓝牙模块70交换音频流。音频子系统306可通过音频接口AIF的蓝牙输入垫PD23从蓝牙模块70接收音频输入信号SDIB，并且可通过音频接口AIF的蓝牙输出垫PD24将音频输出信号SDOB发送至蓝牙模块70。
语音触发系统206可包括触发接口电路IFV 216、包装器WRPP 226、触发存储器MEMV 236以及触发处理器PRCV 246。
触发接口电路216以及垫PD11、PD12和PD13可形成触发接口TIF，其中，触发接口TIF用于对从数字麦克风40提供的触发输入信号SDMIC和/或从音频编解码器50提供的触发输入信号SAMIC进行采样和转换。包装器226可将从触发接口电路216提供的数据存储在触发存储器236中。当预定数量的数据存储在触发存储器236中时，包装器226可向触发处理器246发出中断信号，使得触发处理器246可基于存储在触发存储器236中的数据执行语音触发操作。
在示例性实施例中，语音触发系统206可接收脉冲密度调制(PDM)信号作为触发输入信号SDMIC和SAMIC，并将PDM信号转换为脉冲编码调制(PCM)数据。包装器226可将PCM数据存储在触发存储器236中。例如，包装器226可利用直接存储器访问控制器来实现。
音频子系统306可包括第一音频接口电路IFA1 316、第一直接存储器访问控制器DMA1 326、音频存储器MEMA336、音频处理器PRCA346、第二音频接口电路IFA2 356、第二直接存储器访问控制器DMA2 366以及中断控制器ITRC 700。
第一音频接口电路316、第二音频接口电路356以及垫PD21、PD22、PD23和PD24可形成通过音频输入信号SDI和SDIB以及音频输出信号SDO和SDOB传送音频流的音频接口AIF。音频存储器336可存储音频流的数据，并且第一直接存储访问控制器326和第二直接存储器访问控制器366可控制对音频存储器346的访问(例如，从音频存储器336读取数据和向音频存储器336写入数据)。音频处理器346可处理存储在音频存储器336中的数据。
应用处理器2006还可包括支持语音触发系统206与音频子系统306之间的数据传输或数据通信的同步的邮箱模块MBX。以下将参照图5A描述邮箱模块MBX。
可在音频子系统306执行音频重放时利用回声消除来提高语音触发操作的识别率的性能。
在示例性实施例中，音频子系统306中的音频处理器346可包括如图4中所示的回声消除器AEC 800。以下将参照图5B描述回声消除器800。回声消除器800在此还可被称为回声消除电路。
在示例性实施例中，在通过音频接口AIF的输出垫执行音频重放时，音频子系统306可通过音频接口AIF的输入垫接收中断信号ITRB。例如，在示例性实施例中，通过音频接口AIF的输出垫执行音频重放操作，同时，音频子系统306通过音频接口AIF的输入垫接收中断信号ITRB。在这种情况下，语音触发系统206可通过触发接口TIF接收触发输入信号SDMIC或触发输入信号SAMIC，并基于触发输入信号SDMIC或触发输入信号SAMIC执行语音触发操作。
例如，如图4中所示，在通过蓝牙输出垫PD24执行音频重放时，可通过蓝牙输入垫PD23从蓝牙模块70接收中断信号ITRB。例如，根据示例性实施例，通过蓝牙输入垫PD23从蓝牙模块70接收中断信号ITRB，同时，通过蓝牙输出垫PD24执行音频重放操作。例如，中断信号ITRB可表示音频重放的错误。接收到的中断信号ITRB可被提供给中断控制器700，并且中断控制器700可将根据中断信号ITRB的控制信号发送至音频处理器346。语音触发系统206可通过触发接口TIF接收触发输入信号SDMIC或触发输入信号SAMIC。在这种情况下，语音触发系统206可将触发输入信号SDMIC或触发输入信号SAMIC的样本数据传送至音频子系统306，并且音频子系统306中的回声消除器800可基于音频输出信号SDO或音频输出信号SDOB的音频输出数据来针对样本数据执行回声消除，以生成补偿的样本数据。音频子系统306可将补偿的样本数据传送至语音触发系统206，语音触发系统206可基于补偿的样本数据执行语音触发操作。补偿的样本数据的传送可通过系统总线2100或独立于系统总线2100的直接总线500来执行。直接总线500不限于典型的总线系统，直接总线500可利用任意信号传输方案来实现。
在示例性实施例中，第一音频接口电路316与I2S(集成电路内置音频总线，Inter-IC Sound))或IIS(集成音频接口芯片，Integrated Interchip Sound)标准兼容。在示例性实施例中，第一音频接口电路316可基于根据I2S标准的时钟信号进行操作。在示例性实施例中，第一音频接口电路316可直接连接到数字麦克风40和/或音频编解码器50。
在示例性实施例中，第二音频接口电路356可与UART(通用异步收发器，universalasynchronous receiver transmitter)标准兼容。在示例性实施例中，第二音频接口电路356可基于根据UART标准的时钟信号进行操作。在示例性实施例中，第二音频接口电路356可直接连接到蓝牙模块70。
直接总线500可电连接语音触发系统206和音频子系统306，以在它们之间提供直接信号路径。
应用处理器2006可使用邮箱模块MBX来执行语音触发系统206与音频子系统306之间的数据通信。数据通信可通过系统总线2100或通过独立于系统总线2100的直接总线500来执行。
直接总线500不限于典型的总线系统，直接总线500可利用任意信号传输方案来实现。
结果，根据本发明构思的示例性实施例，通过在通过音频接口AIF的输出垫PD24执行音频重放操作时支持通过音频接口AIF的输入垫PD23的中断，以低功耗执行音频重放操作，并且语音触发操作的识别率的性能被提高。例如，根据本发明构思的示例性实施例，通过音频接口AIF的输入垫PD23提供中断，同时，通过音频接口AIF的输出垫PD24执行音频重放操作。
图5A是示出包括在图4的应用处理器中的邮箱模块的示例性实施例的示图。
参照图5A，在示例性实施例中，邮箱模块900包括接口(例如，APB接口)910、消息框920、包括多个寄存器INTGR0、INTCR0、INTMR0、INTSR0和INTMSR0的第一寄存器电路930以及包括多个寄存器INTGR1、INTCR1、INTMR1、INTSR1和INTMSR1的第二寄存器电路940。邮箱模块900在此还可被称为邮箱电路。图5A示出邮箱模块900通过APB接口连接到系统总线2100的AHB2APB桥2110并且消息框920使用6×32位的共享寄存器来实现的非限制性示例。然而，本发明构思的示例性实施例不限于此。例如，根据示例性实施例，接口910的类型、消息框920中的寄存器的数量和消息框920中的寄存器的位数可改变。第一寄存器电路930可生成提供给语音触发系统206中的触发处理器PRCV 246的中断信号(IRQ TO PRCV)，第二寄存器电路940可生成提供给音频子系统306中的音频处理器PRCA346的中断信号(IRQ TO PRCA)。语音触发系统206和音频子系统306之间的数据传输可使用邮箱模块900来同步。
邮箱模块900可通过在触发处理器PRCV 246和音频处理器PRCA346中的一个将消息写入消息框920中后发送中断信号来执行双边通信。语音触发系统206和音频子系统306之间的数据传输的同步可使用例如轮询方法来实现。
图5B是示出根据本发明构思的示例性实施例的包括在应用处理器中的回声消除器的框图。
参照图5B，在示例性实施例中，声学回声消除器95(还被称为回声消除器)包括滤波器96和回声抑制器97。
从图3中的音频子系统300提供的音频输出信号x(t)可从扬声器98输出给用户。麦克风99可接收音频输入信号y(t)。在从扬声器98回放之前，数模转换(DAC)操作可应用于音频输出信号x(t)(例如，数字信号)，并且模数转换(ADC)操作可应用于由麦克风99捕获的信号以获得音频输入信号y(t)(例如，数字信号)。
由麦克风99接收的音频输入信号y(t)可包括近端(near-end)信号v(t)和回声信号s(t)。近端信号v(t)可被称为用户希望麦克风99接收的期望信号或原始信号。回声信号s(t)可包括从扬声器98输出的音频信号生成的回声分量。音频输入信号y(t)可包括噪声。回声分量和噪声可充当近端信号v(t)的干扰。因此，根据示例性实施例，回声分量和噪声被消除或移除。
在示例性实施例中，诸如双端发声检测、步长控制等的各种算法中的至少一种可用于执行回声消除。
滤波器96可基于音频输出信号x(t)和音频输入信号y(t)来估计包括在音频输入信号y(t)中的回声信号s(t)，以生成估计的回声信号s’(t)。例如，滤波器96可对音频输入信号y(t)中的回声分量和引起回声分量的回声路径进行建模，并估计回声路径如何将期望的音频输出信号x(t)改变为音频输入信号y(t)中的不期望的回声分量。音频输出信号x(t)可用作参考信号。
回声路径描述了远端信号从扬声器98传播到麦克风99的声学路径的影响。远端信号可直接从扬声器98传播到麦克风99，或者远端信号可从近端终端的环境中的各种表面反射。由从扬声器98输出的远端信号经过的回声路径可被视为具有可随时间改变的频率和相位响应的系统。
在示例性实施例中，可基于各种线性滤波器(诸如，有限脉冲响应(FIR)滤波器、无限脉冲响应(IIR)滤波器等)中的至少一个来对回声路径进行建模。例如，回声路径的估计可以是具有(N+1)个值的向量，滤波器96可被实现为(在时间上)具有有限长度的N阶滤波器，其中，N是自然数。
在示例性实施例中，不明确地计算回声路径的估计，而是相反，通过从各种随机梯度算法(诸如，最小均方(LMS)、归一化最小均方(NLMS)、快速仿射投影(FAP)和递归最小二乘(RLS)等)中的至少一个获得的滤波器系数来表示回声路径的估计。
在示例性实施例中，可实时连续更新回声路径的估计。
回声抑制器97可基于估计的回声信号s’(t)和音频输入信号y(t)来生成估计的近端信号v’(t)。例如，回声抑制器97可基于估计的回声信号s’(t)将回声抑制应用于音频输入信号y(t)，以生成估计的近端信号v’(t)，从而抑制接收到的音频信号中的回声。由于回声路径被更精确地估计，所以估计的近端信号v’(t)可更接近近端信号v(t)。
在示例性实施例中，回声抑制器97可被实现为回声减法器。例如，回声减法器可从音频输入信号y(t)减去估计的回声信号s’(t)，以生成估计的近端信号v’(t)。
根据示例性实施例，可利用各种配置来实现回声消除器95中的元件，回声消除器95中的一些元件可被省略或者被其他元件替换，并且一些元件可被增加到回声消除器95。根据示例性实施例，回声消除器95的至少部分可被实现为硬件、或者实现为指令和/或程序例程(例如，软件程序)。
图6是示出根据本发明构思的示例性实施例的操作应用处理器的方法的流程图。
参照图4和图6，在操作S510中，通过音频接口AIF的输出垫执行音频重放。在操作S520中，当音频重放被执行时，由音频子系统306通过音频接口AIF的输入垫接收中断信号ITRB。例如，当通过蓝牙输出垫PD24执行音频重放时，可通过蓝牙输入垫PD23接收中断信号ITRB。例如，根据示例性实施例，通过蓝牙输入垫PD23接收中断信号ITRB，同时，通过蓝牙输出垫PD24执行音频重放操作。
在操作S530中，当通过音频接口AIF的输出垫执行音频重放时，由语音触发系统206通过触发接口TIF接收触发输入信号SDMIC或触发输入信号SAMIC，在操作S540中，由语音触发系统206基于触发输入信号SDMIC或触发输入信号SAMIC执行语音触发操作。
可在语音触发操作之前执行回音消除，以提高语音触发操作的可靠性。在示例性实施例中，回声消除器95可包括在如图4中所示的音频子系统306中。在其他示例性实施例中，回声消除器95可包括在语音触发系统206中。根据示例性实施例，可通过系统总线2100或通过直接总线500执行语音触发系统206与音频子系统306之间的数据传输。可使用邮箱模块MBX使数据通信同步。
图7是示出根据本发明构思的示例性实施例的应用处理器中的语音触发系统和音频子系统的示例性连接的框图。为了便于解释，先前描述的元件和处理的进一步描述在此可被省略，并且在图7中，图3的主处理器100和其它元件被省略。
参照图7，在示例性实施例中，应用处理器2007包括系统总线2100、语音触发系统207、音频子系统307、直接总线500以及邮箱模块MBX。音频子系统307可包括在图2A中的音频处理系统250中。
语音触发系统207电连接到系统总线2100。语音触发系统207基于通过触发接口TIF提供的触发输入信号SDMIC和触发输入信号SAMIC，执行语音触发操作。语音触发系统207可从数字麦克风DMIC40接收触发输入信号SDMIC和/或可从音频编解码器CODEC 50接收触发输入信号SAMIC。麦克风时钟信号MICCLK可在语音触发系统207、数字麦克风40与音频编解码器50之间传送，以用于信号传送的同步。触发输入信号SDMIC和SAMIC以及麦克风时钟信号MICCLK可通过垫PD11、PD12和PD13传送。
音频子系统307电连接到系统总线2100。音频子系统307处理通过音频接口AIF重放或记录的音频流，并且支持存储器装置1200与音频接口之间的音频流的传送。
在示例性实施例中，音频子系统307可与音频编解码器50交换音频流。音频子系统307可通过音频接口AIF的音频输入垫PD21从音频编解码器50接收音频输入信号SDI，并且通过音频接口AIF的音频输出垫PD22将音频输出信号SDO发送至音频编解码器50。
在示例性实施例中，音频子系统307可与蓝牙模块70交换音频流。音频子系统307可通过音频接口AIF的蓝牙输入垫PD23从蓝牙模块70接收音频输入信号SDIB，并且通过音频接口AIF的蓝牙输出垫PD24将音频输出信号SDOB发送至蓝牙模块70。
语音触发系统207可包括触发接口电路IFV 217、包装器WRPP 227、触发存储器MEMV 237以及触发处理器PRCV 247。音频子系统307可包括第一音频接口电路IFA1 317、第一直接存储器访问控制器DMA1 327、音频存储器MEMA 337、音频处理器PRCA347、第二音频接口电路IFA2 357、第二直接存储器访问控制器DMA2 367以及中断控制器ITRC 700。语音触发系统207和音频子系统307的操作与参照图4描述的操作基本相同。因此，其重复的描述被省略。
应用处理器2007还可包括支持语音触发系统207与音频子系统307之间的数据传输或数据通信的同步的邮箱模块MBX。邮箱模块MBX与以上参照图5A描述的相同。根据示例性实施例，可在音频子系统307执行音频重放时执行回声消除操作，以提高语音触发操作的识别率的性能。因此，在示例性实施例中，包括在音频子系统307中的音频处理器347可包括如图7中所示的回声消除器AEC 800。回声消除器800与以上参照图5B描述的相同。
在示例性实施例中，当通过音频接口AIF的输出垫执行音频重放时，通过音频接口AIF的附加中断垫PD25接收中断信号ITRB。在这种情况下，音频子系统307可通过音频接口AIF接收音频输入信号，并且语音触发系统207可基于音频输入信号执行语音触发操作。
例如，如图7中所示，当通过蓝牙输出垫PD24执行音频重放时，可通过蓝牙中断垫PD25从蓝牙模块70接收中断信号ITRB。例如，中断信号ITRB可表示音频重放的错误。接收到的中断信号ITRB可被提供给中断控制器700，中断控制器700可将根据中断信号ITRB的控制信号发送至包括在音频子系统307中的音频处理器347。音频子系统307可通过蓝牙输入垫PD23接收蓝牙输入信号SDIB。在这种情况下，包括在音频子系统307中的回声消除器800可基于蓝牙输出信号SDOB的音频输出数据针对蓝牙输入信号SDIB的音频输入数据执行回声消除，以生成补偿的音频输入数据。音频子系统307可将补偿的音频输入数据传送至语音触发系统207，语音触发系统207可基于补偿的音频输入数据执行语音触发操作。音频输入数据和补偿的音频输入数据的传送可通过系统总线2100或通过独立于系统总线2100的直接总线500来执行。
因为可通过蓝牙中断垫PD25接收中断信号，所以音频子系统307可通过蓝牙输入垫PD23接收用于语音触发操作的输入信号，因此，语音触发系统207的触发接口TIF可被禁用。此外，音频子系统307的第一音频接口电路317、数字麦克风40和音频编解码器50可被禁用。因此，使用附加蓝牙中断垫PD25可进一步降低用于语音触发操作的功耗。
在示例性实施例中，第一音频接口电路317可与I2S或IIS标准兼容。在示例性实施例中，第一音频接口电路317可基于根据I2S标准的时钟信号进行操作。在示例性实施例中，第一音频接口电路317可直接连接到数字麦克风40和/或音频编解码器50。
在示例性实施例中，第二音频接口电路357可与UART标准兼容。在示例性实施例中，第二音频接口电路357可基于根据UART标准的时钟信号进行操作。在示例性实施例中，第二音频接口电路357可直接连接到蓝牙模块70。
直接总线500可电连接语音触发系统207和音频子系统307，以在他们之间提供直接信号路径。
应用处理器2007可使用邮箱模块MBX，通过系统总线2100或者通过独立于系统总线2100的直接总线500来执行语音触发系统207与音频子系统307之间的数据通信。
结果，根据本发明构思的示例性实施例，通过在通过音频接口AIF的输出垫PD24执行音频重放时支持通过音频接口AIF的附加蓝牙中断垫PD25的中断(例如，通过同时支持中断操作和音频重放操作)，以低功耗执行音频重放并且语音触发操作的识别率的性能被提高。
图8是示出根据本发明构思的示例性实施例的操作应用处理器的方法的流程图。
参照图7和图8，在示例性实施例中，在操作S610中，通过音频接口AIF的输出垫执行音频重放。在操作S620中，当音频重放被执行时，由音频子系统307通过音频接口AIF的附加中断垫接收中断信号ITRB。例如，当通过蓝牙输出垫PD24执行音频重放时，可由音频子系统307通过蓝牙中断垫PD25接收中断信号ITRB。
在操作S630中，当通过音频接口AIF的输出垫执行音频重放时，由音频子系统307通过音频接口AIF的输入垫接收音频输入信号，并且在操作S640中，由语音触发系统207基于音频输入信号执行语音触发操作。
如上所述，根据本发明构思的示例性实施例，可在语音触发操作之前执行回音消除，以提高语音触发操作的可靠性。在示例性实施例中，回声消除器800可包括在如图7中所示的音频子系统307中。在其他示例性实施例中，回声消除器800可包括在语音触发系统207中。根据示例性实施例，可通过系统总线2100或通过直接总线500执行语音触发系统207与音频子系统307之间的数据传输。可使用邮箱模块MBX使数据通信同步。
图9和图10是示出根据本发明构思的示例性实施例的应用处理器中的语音触发系统和音频子系统的示例性连接的框图。除了音频子系统以外，图9和图10中的元件与参照图4到图8描述的元件相同。为了便于解释，先前描述的元件的进一步描述在此可被省略。
参照图9，在示例性实施例中，应用处理器2008包括系统总线2100、语音触发系统208、音频子系统308、直接总线500以及邮箱模块MBX。音频子系统308可包括在图2A中的音频处理系统250中。
语音触发系统208可包括触发接口电路IFV 218、包装器WRPP 228、触发存储器MEMV 238以及触发处理器PRCV 248。音频子系统308可包括音频接口电路IFA318、直接存储器访问控制器DMA 328、音频存储器MEMA338、音频处理器PRCA 348、桥电路BRDG 358以及中断控制器ITRC 700。
与图7的应用处理器2007相比，图9的应用处理器2008不包括用于连接音频编解码器50的接口，并且音频子系统308可与通用串行总线(USB)模块USBM 90交换音频流。USB模块90在此还可被称为USB电路。USB模块90连接到USB麦克风UMIC 91和USB扬声器92。音频子系统308可通过音频接口AIF的输入垫PD21(还被称为USB输入垫)从USB模块90接收音频输入信号SDI，并通过音频接口AIF的输出垫PD22(还被称为USB输出垫)将音频输出信号SDO发送至USB模块90。桥电路358可将USB信号转换为用于触发接口电路IFV 218的信号(例如，脉冲密度调制(PDM)信号)。
在示例性实施例中，当通过音频接口AIF的输出垫PD22执行音频重放时，音频子系统308通过音频接口AIF的附加USB中断垫PD25接收中断信号ITRB。例如，中断信号ITRB可表示音频重放的错误。接收到的中断信号ITRB可被提供给中断控制器700。中断控制器700可将根据中断信号ITRB的控制信号发送至包括在音频子系统308中的音频处理器348。
参照图10，在示例性实施例中，应用处理器2009包括系统总线2100、语音触发系统209、音频子系统309、直接总线500以及邮箱模块MBX。音频子系统309可包括在图2A中的音频处理系统250中。
语音触发系统209可包括触发接口电路IFV 219、包装器WRPP 229、触发存储器MEMV 239以及触发处理器PRCV 249。音频子系统309可包括音频接口电路IFA 319、直接存储器访问控制器DMA 329、音频存储器MEMA 339、音频处理器PRCA 349、桥电路BRDG 359以及中断控制器ITRC 700。
与图7的应用处理器2007相比，图10的应用处理器2009不包括用于连接音频编解码器50的接口，并且音频子系统309可与蓝牙模块BTM 70交换音频流。蓝牙模块70连接到蓝牙扬声器72。音频子系统309可通过音频接口AIF的输入垫PD21从蓝牙模块70接收音频输入信号SDI，并可通过音频接口AIF的输出垫PD22将音频输出信号SDO发送至蓝牙模块70。桥电路358可将USB信号转换为用于触发接口电路219的信号(例如，脉冲密度调制(PDM)信号)。
在示例性实施例中，当通过音频接口AIF的蓝牙输出垫PD22执行音频重放时，音频子系统309通过音频接口AIF的附加蓝牙中断垫PD25接收中断信号ITRB。例如，中断信号ITRB可表示音频重放的错误。接收到的中断信号ITRB可被提供给中断控制器700，中断控制器700可将根据中断信号ITRB的控制信号发送至包括在音频子系统309中的音频处理器349。
图11A和图11B是用于描述根据本发明构思的示例性实施例的应用处理器的电源域的示图。
应用处理器可包括独立供电的多个电源域。图11A和图11B示出第一电源域PWDM1和第二电源域PWDM2作为示例。第一电源域PWDM1对应于在活动模式和待机模式(或睡眠模式)二者下供电的永远供电域，第二电源域PWDM2对应于在待机模式下阻断电源的节电域。
参照图11A，在示例性实施例中，系统计数器SYSCNT、活动电源管理器APM和语音触发系统VTS设置在永远供电域PWDM1中。多个硬件块(例如，主处理器CPU、音频子系统ABOX、传感器中枢CHUB等)可设置在节电域PWDM2中。
系统计数器SYSCNT可生成时间信息TM，并将时间信息TM提供给系统的内部电路。活动功率管理器APM可生成控制系统中的各个元件的电源供应、电源阻断等的多个电源使能信号EN。语音触发系统VTS可生成表示触发事件的中断信号ITRR。
在此，活动模式表示至少主处理器CPU被启用，并且操作系统(OS)正在运行的模式。睡眠模式或待机模式表示主处理器CPU被禁用的掉电模式。
与图11A的布置相比，图11B中的语音触发系统VTS设置在节电域PWDM2中。
如图11A和图11B中所示，主处理器CPU、音频子系统ABOX、传感器中枢CHUB和语音触发系统VTS可分别包括电源门控电路PG1、PG2、PG3和PG4。电源门控电路PG1～PG4可响应于电源使能信号EN1、EN2、EN3和EN4选择性地供电。结果，语音触发系统VTS、音频子系统ABOX和传感器中枢CHUB可独立于主处理器CPU被电源门控并被启用。
本发明构思的示例性实施例可应用于支持语音触发功能的任何电子装置和系统。例如，本发明构思的示例性实施例可应用于诸如台式计算机、膝上型计算机、移动电话、智能电话、MP3播放器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、数字电视、数码相机、服务器计算机、工作站、机顶盒、便携式游戏机、导航系统、可穿戴装置、物联网(IoT)装置、万物互联网(IoE)装置、电子书、虚拟现实(VR)装置、增强现实(AR)装置等的系统。
如在本发明构思的领域中的传统，在功能块、单元和/或模块方面描述并在附图中示出了示例性实施例。本领域的技术人员将理解，这些块、单元和/或模块通过电子(或光学)电路(诸如，可使用基于半导体的制造技术或其他制造技术形成的逻辑电路、分立组件、微处理器、硬连线电路、存储器元件、布线连接等)来物理地实现。在块、单元和/或模块通过微处理器或类似物来实现的情况下，块、单元和/或模块可使用软件(例如，微代码)而被编程以执行在此讨论的各种功能，并可通过固件和/软件而被选择性地驱动。可选地，每个块、单元和/或模块可通过专用硬件来实现，或被实现为用于执行一些功能的专用硬件和用于执行其他功能的处理器(例如，一个或多个编程的微处理器和相关联的电路)的组合。此外，在不脱离本发明构思的范围的情况下，示例性实施例的每个块、单元和/或模块均可被物理地分离成两个或更多个交互和分立的块、单元和/或模块。此外，在不脱离本发明构思的范围的情况下，示例性实施例的块、单元和/或模块可被物理地组合为更复杂的块、单元和/或模块。
尽管已经参照本发明构思的示例性实施例具体示出和描述了本发明构思，但是本领域普通技术人员将理解的是，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可对其进行形式和细节上的各种改变。

Claims (20)

1.一种应用处理器，包括：
系统总线；
主处理器，电连接到系统总线；
语音触发系统，电连接到系统总线，其中，语音触发系统被配置为：基于通过触发接口提供的触发输入信号执行语音触发操作并发出触发事件；
音频子系统，电连接到系统总线，其中，音频子系统被配置为：处理通过音频接口重放或记录的音频流，并当通过音频接口执行音频重放操作时，通过音频接口接收中断信号。
2.根据权利要求1所述的应用处理器，其中，系统总线、主处理器、语音触发系统和音频子系统集成在单个半导体芯片中。
3.根据权利要求2所述的应用处理器，其中，当通过音频接口的输出垫执行音频重放操作时，音频子系统通过音频接口的输入垫接收中断信号。
4.根据权利要求3所述的应用处理器，其中，当通过音频接口的输出垫执行音频重放操作时，语音触发系统通过触发接口接收触发输入信号，并基于触发输入信号执行语音触发操作。
5.根据权利要求4所述的应用处理器，其中，语音触发系统将触发输入信号的样本数据传送至音频子系统，音频子系统针对样本数据执行回声消除操作以生成补偿的样本数据，并将补偿的样本数据传送至语音触发系统。
6.根据权利要求2所述的应用处理器，其中，当通过音频接口的输出垫执行音频重放操作时，音频子系统通过音频接口的中断垫接收中断信号。
7.根据权利要求6所述的应用处理器，其中，当通过音频接口的输出垫执行音频重放操作时，音频子系统通过音频接口的输入垫接收音频输入信号，并且语音触发系统基于音频输入信号执行语音触发操作。
8.根据权利要求7所述的应用处理器，其中，音频子系统针对音频输入信号的音频输入数据执行回声消除操作以生成补偿的音频输入信号，并将补偿的音频输入数据传送至语音触发系统。
9.根据权利要求6所述的应用处理器，其中，当通过音频接口的输出垫执行音频重放操作时，触发接口被禁用。
10.根据权利要求2所述的应用处理器，还包括：
邮箱模块，被配置为：支持语音触发系统与音频子系统之间的数据通信的同步。
11.根据权利要求2所述的应用处理器，还包括：
直接总线，电连接语音触发系统与音频子系统。
12.根据权利要求11所述的应用处理器，其中，语音触发系统与音频子系统之间的数据通信通过独立于系统总线的直接总线来执行。
13.根据权利要求2所述的应用处理器，
其中，语音触发系统将触发输入信号的样本数据传送至音频子系统，
其中，设置在音频子系统中的回声消除器通过基于音频输出信号的音频输出数据针对样本数据执行回声消除操作来生成补偿的样本数据，并将补偿的样本数据传送至语音触发系统，
其中，语音触发系统基于补偿的样本数据执行语音触发操作。
14.根据权利要求11所述的应用处理器，
其中，设置在音频子系统中的回声消除器通过基于音频输出信号的音频输出数据针对音频输入信号的音频输入数据执行回声消除操作来生成补偿的音频输入数据，并将补偿的音频输入数据传送至语音触发系统，
其中，语音触发系统基于补偿的音频输入数据执行语音触发操作。
15.根据权利要求1所述的应用处理器，其中，音频接口包括：
蓝牙输入垫，从蓝牙模块接收音频输入信号；
蓝牙输出垫，将音频输出信号发送至蓝牙模块；
蓝牙中断垫，从蓝牙模块接收中断信号。
16.根据权利要求1所述的应用处理器，其中，音频接口包括：
通用串行总线输入垫，从通用串行总线模块接收音频输入信号；
通用串行总线输出垫，将音频输出信号发送至通用串行总线模块；
通用串行总线中断垫，从通用串行总线模块接收中断信号。
17.根据权利要求1所述的应用处理器，其中，语音触发系统和音频子系统中的每个独立于主处理器而被电源门控并被启用。
18.一种电子装置，包括：
应用处理器；
至少一个音频输入/输出装置，
其中，应用处理器包括：
系统总线；
主处理器，电连接到系统总线；
语音触发系统，电连接到系统总线，其中，语音触发系统被配置为：
基于通过触发接口提供的触发输入信号执行语音触发操作并发出触发事件；
音频子系统，电连接到系统总线，其中，音频子系统被配置为：处理通过音频接口重放或记录的音频流，并当通过音频接口执行音频重放操作时，通过音频接口接收中断信号。
19.根据权利要求18所述的电子装置，其中，音频接口包括：
蓝牙输入垫，从蓝牙模块接收音频输入信号；
蓝牙输出垫，将音频输出信号发送至蓝牙模块；
蓝牙中断垫，从蓝牙模块接收中断信号。
20.一种操作应用处理器的方法，包括：
接收通过触发接口提供的触发输入信号；
由语音触发系统基于触发输入信号发出触发事件；
由音频子系统处理通过音频接口重放或记录的音频流；
当通过音频接口执行音频重放操作时，由音频子系统通过音频接口接收中断信号；
其中，语音触发系统、音频子系统和主处理器在形成应用处理器的单个半导体芯片中经由系统总线彼此电连接。
CN201910031927.4A 2018-01-25 2019-01-14 应用处理器、电子装置及操作应用处理器的方法 Pending CN110083224A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0009376 2018-01-25
KR1020180009376A KR102585784B1 (ko) 2018-01-25 2018-01-25 오디오 재생시 인터럽트를 지원하는 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
CN110083224A true CN110083224A (zh) 2019-08-02

Family

ID=67299476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910031927.4A Pending CN110083224A (zh) 2018-01-25 2019-01-14 应用处理器、电子装置及操作应用处理器的方法

Country Status (4)

Country Link
US (2) US10789190B2 (zh)
KR (1) KR102585784B1 (zh)
CN (1) CN110083224A (zh)
TW (1) TWI798291B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102585784B1 (ko) 2018-01-25 2023-10-06 삼성전자주식회사 오디오 재생시 인터럽트를 지원하는 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 그 동작 방법
TWI727607B (zh) 2019-02-14 2021-05-11 美商萬國商業機器公司 用於具有中斷表之經引導中斷虛擬化之方法、電腦系統及電腦程式產品
TWI748594B (zh) * 2020-08-10 2021-12-01 盛微先進科技股份有限公司 可補償斷音的無線接收裝置及其資訊處理方法
US11792560B2 (en) 2021-05-21 2023-10-17 Skullcandy, Inc. Audio operating systems for portable electronic accessory systems and related systems, methods, and devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090307511A1 (en) * 2008-06-06 2009-12-10 Hugo Fiennes Portable electronic devices with power management capabilities
US20150070184A1 (en) * 2013-09-11 2015-03-12 Saurabh Dadu Low power voice trigger for finding mobile devices
CN105632491A (zh) * 2014-11-26 2016-06-01 三星电子株式会社 用于语音识别的方法和电子装置
CN107017004A (zh) * 2017-05-24 2017-08-04 建荣半导体（深圳）有限公司 噪声抑制方法、音频处理芯片、处理模组及蓝牙设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5524261A (en) * 1991-12-31 1996-06-04 Dictaphone Corporation (U.S.) Voice processor interface chip with arbitration unit
US20020099893A1 (en) * 2001-01-24 2002-07-25 Nguyen Tuyet-Huong Thi System and method for the handling of system management interrupts in a multiprocessor computer system
KR100735413B1 (ko) 2006-08-08 2007-07-04 삼성전자주식회사 블루투스를 이용하여 음악 데이터 재생 중 음성을입출력하는 이동통신 단말기 및 음성 입출력 방법
EP2608444B1 (en) 2011-12-19 2014-10-22 GN Netcom A/S Method and system for synchronizing isochronous usb audio data to a rf communication device clock
CN103379231B (zh) 2012-04-17 2016-02-10 中兴通讯股份有限公司 一种无线会议电话及其进行语音信号传递的方法
US9479275B2 (en) 2012-06-01 2016-10-25 Blackberry Limited Multiformat digital audio interface
US9164935B2 (en) * 2013-01-04 2015-10-20 International Business Machines Corporation Determining when to throttle interrupts to limit interrupt processing to an interrupt processing time period
DE212014000045U1 (de) * 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
JP2015052466A (ja) 2013-09-05 2015-03-19 株式会社デンソー 車両用装置及び音声切換制御プログラム
US20150112690A1 (en) * 2013-10-22 2015-04-23 Nvidia Corporation Low power always-on voice trigger architecture
KR20150077774A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 화면 전환 방법 및 그 장치
KR102346302B1 (ko) * 2015-02-16 2022-01-03 삼성전자 주식회사 전자 장치 및 음성 인식 기능 운용 방법
CN106484441B (zh) * 2015-08-26 2020-02-28 鸿富锦精密电子(天津)有限公司 控制器初始化方法及应用该方法的电子装置
US20180254042A1 (en) * 2015-10-23 2018-09-06 Samsung Electronics Co., Ltd. Electronic device and control method therefor
US10678494B2 (en) * 2016-06-27 2020-06-09 Qualcomm Incorporated Controlling data streams in universal serial bus (USB) systems
CN107124674B (zh) 2017-06-20 2019-11-08 歌尔科技有限公司 一种蓝牙耳机的音频输出方法、装置和蓝牙耳机
KR102585784B1 (ko) 2018-01-25 2023-10-06 삼성전자주식회사 오디오 재생시 인터럽트를 지원하는 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 그 동작 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090307511A1 (en) * 2008-06-06 2009-12-10 Hugo Fiennes Portable electronic devices with power management capabilities
US20150070184A1 (en) * 2013-09-11 2015-03-12 Saurabh Dadu Low power voice trigger for finding mobile devices
CN105632491A (zh) * 2014-11-26 2016-06-01 三星电子株式会社 用于语音识别的方法和电子装置
CN107017004A (zh) * 2017-05-24 2017-08-04 建荣半导体（深圳）有限公司 噪声抑制方法、音频处理芯片、处理模组及蓝牙设备

Also Published As

Publication number Publication date
TW201933088A (zh) 2019-08-16
TWI798291B (zh) 2023-04-11
US10789190B2 (en) 2020-09-29
US20190227964A1 (en) 2019-07-25
KR102585784B1 (ko) 2023-10-06
KR20190090550A (ko) 2019-08-02
US20200401539A1 (en) 2020-12-24
US11256638B2 (en) 2022-02-22

Similar Documents

Publication Publication Date Title
CN110083224A (zh) 应用处理器、电子装置及操作应用处理器的方法
CN110086923B (zh) 应用处理器和包括其的电子装置
CN110083327A (zh) 应用处理器、电子装置和操作应用处理器的方法
CN108681474A (zh) 应用预加载方法、装置、存储介质及终端
CN110087166B (zh) 应用处理器、包括其的电子装置及操作应用处理器的方法
CN110083225A (zh) 应用处理器、电子装置以及操作应用处理器的方法
CN110083218A (zh) 应用处理器、电子装置以及操作应用处理器的方法
CN108965576A (zh) 来电处理方法、装置、存储介质及电子设备
CN110362253A (zh) 一种操作方法及移动终端
CN109614829A (zh) 一种移动终端的数据处理方法和数据读写装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination