CN110086923B - 应用处理器和包括其的电子装置 - Google Patents

应用处理器和包括其的电子装置 Download PDF

Info

Publication number
CN110086923B
CN110086923B CN201910032095.8A CN201910032095A CN110086923B CN 110086923 B CN110086923 B CN 110086923B CN 201910032095 A CN201910032095 A CN 201910032095A CN 110086923 B CN110086923 B CN 110086923B
Authority
CN
China
Prior art keywords
trigger
audio
voice
application processor
voice trigger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910032095.8A
Other languages
English (en)
Other versions
CN110086923A (zh
Inventor
金善奎
李炳卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110086923A publication Critical patent/CN110086923A/zh
Application granted granted Critical
Publication of CN110086923B publication Critical patent/CN110086923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/36—Handling requests for interconnection or transfer for access to common bus or bus system
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72484—User interfaces specially adapted for cordless or mobile telephones wherein functions are triggered by incoming communication events
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Power Sources (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

公开一种应用处理器和包括其的电子装置。所述应用处理器包括：系统总线和电连接到系统总线的主处理器、语音触发系统和音频子系统。语音触发系统基于通过触发接口提供的触发输入信号，执行语音触发操作并发出触发事件。音频子系统处理通过音频子系统的音频接口的音频流。

Description

应用处理器和包括其的电子装置
本申请要求于2018年1月25日提交到韩国知识产权局(KIPO)的第10-2018-0009330号韩国专利申请的优先权，所述韩国专利申请的公开通过引用完整地包含于此。
技术领域
与本公开一致的设备、方法、装置和制品总体涉及半导体集成电路，更具体地讲，涉及用于低功率操作的应用处理器、包括应用处理器的电子装置以及相关联的方法。
背景技术
近来，基于语音或基于声音的智能接口已经被引入。这样的基于语音的智能接口的一个优点是用户可以以免提方式与装置交互，而不需要对装置进行操作或者甚至不需要看着装置。当人不能或不应物理地操作装置时(诸如，当他们正在驾驶时或当他们有肢体残障时等)，免提操作可以是特别有益的。然而，为了启动基于语音的智能接口，用户通常必须按下按钮或在触摸屏上选择图标。这种触觉输入降低了基于语音的智能接口的用户体验。
因此，已经开发了电子装置以使用语音、讲话、声音、感测等的输入而不是触觉输入来激活基于语音的智能接口。电子装置执行对音频通道的持续或间歇的监控，以检测语音输入并发出用于启动基于语音的智能接口的触发事件。用于发出触发事件的操作可被称为语音触发操作。对音频通道的这种监控消耗电力，其中，电力在依赖电池的手持式或便携式装置上是有限资源。因此，提供一种与语音触发操作相关联的节能方案是有益的。
发明内容
一方面提供一种能够以低功率执行语音触发操作的应用处理器和包括应用处理器的电子装置。
另一方面提供一种操作能够以低功率执行语音触发操作的应用处理器的方法。
根据一个或多个示例实施例的一个方面，一种应用处理器包括：系统总线；主处理器，电连接到系统总线；语音触发系统，电连接到系统总线，语音触发系统被配置为：基于通过触发接口提供的触发输入信号，执行语音触发操作并发出触发事件；音频子系统，包括音频接口并电连接到系统总线，音频子系统被配置为：处理通过音频接口的音频流。
系统总线、主处理器、语音触发系统和音频子系统全部集成在单个半导体芯片中。
所述应用处理器还包括：直接总线，电连接语音触发系统和音频子系统。
所述应用处理器还包括：邮箱模块，被配置为：支持语音触发系统和音频子系统之间的数据通信的同步。
通过直接总线和邮箱模块，独立于系统总线执行语音触发系统和音频子系统之间的数据通信。
音频子系统在语音触发系统不执行语音触发操作的时间期间，通过直接总线将语音触发系统中的存储器用作高速缓冲存储器。
所述应用处理器还包括：传感器中枢，电连接到系统总线，传感器中枢被配置为：处理从至少一个传感器提供的信号。
系统总线、主处理器、语音触发系统、音频子系统和传感器中枢全部集成在单个半导体芯片中。
所述应用处理器还包括：直接总线，电连接语音触发系统和传感器中枢。
所述应用处理器还包括：邮箱模块，被配置为：支持语音触发系统和传感器中枢之间的数据通信的同步。
通过直接总线和邮箱模块，独立于系统总线执行语音触发系统和传感器中枢之间的数据通信。
语音触发系统从数字麦克风或音频编解码器接收触发输入信号，以处理模拟麦克风的输出。
语音触发系统接收脉冲密度调制信号作为触发输入信号，并将脉冲密度调制信号转换为脉冲编码调制数据以存储脉冲编码调制数据。
音频编解码器与系统总线、主处理器、语音触发系统、音频子系统一起集成在单个半导体芯片中。
语音触发系统在第一操作模式下通过以第一采样率对触发输入信号进行采样，生成第一采样数据，并在第二操作模式下通过分别以第一采样率和第二采样率对触发输入信号进行采样，生成第一采样数据和第二采样数据，其中，第二采样率高于第一采样率。
第一采样率是16KHz，第二采样率是48KHz。
语音触发系统和音频子系统中的每个独立于主处理器被电源门控并被启用。
所述应用处理器还包括：RC振荡器，被配置为：生成时钟信号，其中，通过将来自RC振荡器的时钟信号进行分频或者通过接收外部时钟信号，将麦克风时钟信号提供给触发接口。
根据一个或多个示例实施例的另一方面，一种电子装置包括：至少一个音频输入输出装置；以及应用处理器，应用处理器包括：系统总线；主处理器，电连接到系统总线；语音触发系统，电连接到系统总线，语音触发系统被配置为：基于通过触发接口提供的触发输入信号，执行语音触发操作并发出触发事件；音频子系统，包括音频接口并电连接到系统总线，音频子系统被配置为：处理通过音频接口的音频流。
音频包括：数字麦克风，直接连接到触发接口；音频编解码器，直接连接到触发接口和音频接口。
根据一个或多个示例实施例的另一方面，一种方法包括：基于通过触发接口提供的触发输入信号，由语音触发系统执行语音触发操作以发出触发事件，其中，语音触发系统与主处理器、音频子系统和系统总线被集成在形成应用处理器的单个半导体芯片中，系统总线电连接主处理器、语音触发系统和音频子系统；由音频子系统处理通过音频子系统的音频接口的音频流。
附图说明
通过以下结合附图进行的详细描述，将会更清楚地理解示例实施例，其中：
图1是示出根据示例实施例的操作应用处理器的方法的流程图；
图2A是示出根据示例实施例的电子装置的框图；
图2B是图2A的电子装置的示例实现方式；
图3是示出根据示例实施例的应用处理器的框图；
图4是示出根据示例实施例的操作应用处理器的方法的流程图；
图5是示出根据示例实施例的应用处理器中的语音触发系统和音频子系统的示例连接的框图；
图6是示出包括在图5的应用处理器中的邮箱模块的示例实施例的示图；
图7是示出根据示例实施例的应用处理器中的语音触发系统和音频子系统的示例连接的框图；
图8是示出根据示例实施例的操作应用处理器的方法的流程图；
图9是示出根据示例实施例的应用处理器中的语音触发系统和传感器中枢(sensor hub)的示例连接的框图；
图10A和图10B是示出包括在图9的应用处理器中的语音触发系统的示例实施例的框图；
图11是示出根据示例实施例的操作应用处理器的方法的流程图；
图12A和图12B是用于描述根据示例实施例的应用处理器的电源域的示图。
具体实施方式
在下文中，将参照示出一些示例实施例的附图更充分地描述各种示例实施例。在附图中，相同的参考标号始终表示相同的元件。重复的描述可被省略。
根据示例实施例的应用处理器、包括应用处理器的电子装置和操作应用处理器的方法可通过将语音触发系统集成在应用处理器中，以低功率和高效率执行语音触发操作。片上语音触发系统可代替应用处理器中的主处理器执行一些操作，以降低功耗并增强电子装置的性能。此外，可使用片上语音触发系统和直接总线来执行独立于系统总线的数据通信，以降低应用处理器的唤醒频率，从而进一步降低功耗并增强性能。
图1是示出根据示例实施例的操作应用处理器的方法的流程图。
参照图1，在应用处理器中，基于通过触发接口提供的触发输入信号，由语音触发系统执行语音触发操作以发出触发事件，其中，在应用处理器中，主处理器、语音触发系统、音频子系统和电连接主处理器、语音触发系统和音频子系统的系统总线被集成为单个半导体芯片(S100)。由音频子系统处理通过音频接口重放或记录的音频流(S200)。音频子系统还可支持音频接口和存储器装置之间的音频流的传送。
本公开中的语音触发操作可指示这样的操作，该操作用于监控触发输入信号是否包括特定的触发声音，并当检测到触发声音时发出触发事件(诸如，中断信号)，以启动语音识别模式或基于语音的智能接口。语音识别模式的启动可包括使主处理器和/或系统总线进入活动模式。
在一些示例实施例中，触发声音可包括人类语音的词和/或短语。在其他示例实施例中，触发声音可包括人类语音以外的声音(诸如，口哨、拍手声、汽笛声、碰撞声、特定频率范围的声波等)。
根据示例实施例的应用处理器、包括应用处理器的电子装置和操作应用处理器的方法可通过将语音触发系统集成在应用处理器中，以低功率和高效率执行语音触发操作。
图2A是示出根据示例实施例的电子装置的框图。
参照图2A，电子装置1000包括应用处理器AP 2000、存储器装置1200、存储装置1300、多个功能模块和电源管理集成电路PMIC 1800，其中，多个功能模块包括通信模块1400、相机模块1500、输入/输出(I/O)模块1600和音频模块1700。
应用处理器2000控制电子装置1000的整体操作。例如，应用处理器2000可控制存储器装置1200、存储装置1300和多个功能模块1400、1500、1600和1700。应用处理器2000可以是片上系统(SoC)。
应用处理器2000可包括系统总线2100和电连接到系统总线2100的主处理器100(也称为中央处理器(CPU))、语音触发系统VTS 200以及音频处理系统AUD 250。
语音触发系统200可电连接到系统总线2100，以基于通过触发接口提供的触发输入信号，执行语音触发操作并发出触发事件。音频处理系统250可包括音频子系统，并且还可包括如下将描述的传感器中枢。音频子系统可电连接到系统总线2100，以处理通过音频接口重放或记录的音频流。此外，音频子系统还可支持音频接口和存储器装置1200之间的音频流的传送。以下将参照图3至图12B描述音频触发系统200和音频处理系统250的示例实施例。
存储器装置1200和存储装置1300可存储用于电子装置1000的操作的数据。存储器装置1200可包括易失性存储器装置(诸如，动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、移动DRAM等)。存储装置1300可包括非易失性存储器装置(诸如，可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、相变随机存取存储器(PRAM)、电阻随机存取存储器(RRAM)、纳米浮栅存储器(NFGM)、聚合物随机存取存储器(PoRAM)、磁随机存取存储器(MRAM)、铁电随机存取存储器(FRAM)等)。在一些示例实施例中，存储装置1300还可包括嵌入式多媒体卡(eMMC)、通用闪存(UFS)、固态驱动器(SSD)、硬盘驱动器(HDD)、CD-ROM等。
功能模块1400、1500、1600和1700可执行电子装置1000的各种功能。例如，电子装置1000可包括：执行通信功能的通信模块1400(例如，码分多址(CDMA)模块、长期演进(LTE)模块、射频(RF)模块、超宽带(UWB)模块、无线局域网(WLAN)模块、全球微波互联接入(WIMAX)模块等)；执行照相功能的相机模块1500；包括执行显示功能的显示模块和执行触摸感测功能的触摸板模块的输入输出(I/O)模块1600；以及执行音频信号的输入输出的包括麦克风(MIC)模块、扬声器模块等的音频模块1700。在一些示例实施例中，电子装置1000还可包括全球定位系统(GPS)模块、陀螺仪模块等。然而，电子装置1000中的功能模块1400、1500、1600和1700不限于此。
电源管理集成电路1800可将操作电压提供给应用处理器2000、存储器装置1200、存储装置1300和功能模块1400、1500、1600和1700。
图2B是图2A的电子装置的示例实现方式。
图2A的电子装置1000可以是诸如台式计算机、膝上型计算机、移动电话、智能电话、MP3播放器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、数字电视、数码相机、服务器计算机、工作站、机顶盒、便携式游戏机、导航系统、可穿戴装置、物联网(IoT)装置、万物互联网(IoE)装置、电子书、虚拟现实(VR)装置、增强现实(AR)装置等的装置。电子装置1000通常可响应于直接的用户输入而进行操作，但也可用于经由互联网或其他网络系统与其他装置通信。图2B示出包括触摸屏的移动电话或智能电话作为图2A的电子装置1000的示例。
参照图2B，电子装置1000a包括前置摄像头2、扬声器3、接近传感器4、照度传感器5、通用串行总线(USB)接口6、电源按钮7、音量按钮8、显示和触摸屏9、图标10、菜单按钮11、主页按钮12、返回按钮13、麦克风14、音频输出接口15和天线16。
前置摄像头2可面向显示和触摸屏9的方向，并用于视频电话或者视频拍摄或照片拍摄。当用户通过触摸显示和触摸屏9上的图标10中的一个图标或者通过说话输入信号来播放多媒体数据、通过公共交换电话网络与另一用户通话或者播放电子装置1000a的操作声音或通知声音时，扬声器3可输出音频数据。接近传感器4可控制显示和触摸屏9的开启或关闭，以在用户将电子装置1000a拿在耳边进行电话交谈时节约电力并防止误操作。照度传感器5可根据来自电子装置1000a的周边环境的入射光的量，控制显示和触摸屏9和前置摄像头2的操作。USB接口6可以是用于与外部装置的数据通信和电力供应的输入/输出接口。
电源按钮7可接通或断开电子装置1000a的电源，或者可开启或关闭显示和触摸屏9。音量按钮8可控制扬声器3的音频输出。与不同的功能相应的图标10可显示在显示和触摸屏9上。例如，用户可触摸与多媒体数据的回放相应的图标10。
菜单按钮11可允许用户浏览包括图标和设置的菜单。即使当电子装置1000a正在显示和触摸屏9上执行特定的操作时，主页按钮12也可允许主屏幕出现以用于多工作模式。返回按钮13可取消当前正被电子装置1000a执行的操作，并使用户返回到先前屏幕。
麦克风14可以是用于语音电话或语音输入信号的输入/输出(I/O)接口。音频输出接口15(例如，耳机插孔)可用于正在播放的多媒体数据的音频输出。尽管没有示出，但是音频输出和麦克风输入可通过支持蓝牙的装置接口连接。天线16可用于接收数字媒体广播服务。电子装置1000a的元件可以以本领域普通技术人员可实现的各种方式来实现。图2B中的一些元件可被省略或使用其他元件代替。
图3是示出根据示例实施例的应用处理器的框图。
参照图3，应用处理器2000可包括系统总线SYSBUS 2100、主处理器CPU 100、语音触发系统200、音频子系统300和传感器中枢400。音频子系统300和传感器中枢400可包括在图2A中的音频处理系统250中。根据示例实施例，应用处理器2000还可包括活动电源管理器APM、邮箱模块MBXa、MBXb和MBXc以及中断控制器ITRC。
系统总线2100可被称为互联装置或骨干(backbone)。系统总线2100可包括高层总线、低层总线和连接它们的桥。例如，系统总线2100可包括各种总线(诸如，高级可扩展接口(AXI)、高级高性能总线(AHB)、高级外围总线(APB)等)和连接高级可扩展接口(AXI)、高级高性能总线(AHB)、高级外围总线(APB)等的至少一个桥。主处理器100可通过系统总线2100访问诸如存储器装置1200和/或存储装置1300的外部装置。此外，主处理器100可通过系统总线2100与语音触发系统200、音频子系统300和传感器中枢400通信。
尽管为了便于说明，在图3中示出了一个中断控制器ITRC，但是中断控制器ITRC可包括至少一个通用中断控制器(GIC)、至少一个向量中断控制器(VIC)等。例如，中断控制器ITRC可被实现为可编程中断控制器(PIC)。可编程中断控制器可使用具有由向量表示的优先级系统的多个层实现。可编程中断控制器可从外围装置接收中断信号，确定接收的中断信号的优先级，并向处理器或控制器发出具有指针地址的中断信号。
活动电源管理器APM可管理应用处理器2000的电源。活动电源管理器APM可管理供应给应用处理器2000的各个区域或功能块的电力。邮箱模块MBXa、MBXb和MBXc可支持应用处理器2000中的元件之间的数据通信或应用处理器2000和外部装置之间的数据通信的同步。以下将参照图6描述邮箱模块MBXa、MBXb和MBXc。
语音触发系统200电连接到系统总线2100。语音触发系统200基于通过触发接口提供的触发输入信号，执行语音触发操作并发出触发事件。在一些示例实施例中，语音触发系统200可从数字麦克风DMIC40和/或音频编解码器(编码器和解码器)CODEC 50接收触发输入信号。换句话说，语音触发系统200的触发接口可直接连接到数字麦克风40和音频编解码器50。音频编解码器50可对从数字麦克风40或/或模拟麦克风AMIC 61接收的音频信号和输出到扬声器62的音频信号执行编码和解码(或模数转换(ADC)和数模转换(DAC))。数字麦克风40可以是与应用处理器2000安装在电子装置的板上的板上麦克风。模拟麦克风61和扬声器62可以是可附接到音频编解码器50的端口并可从音频编解码器50的端口拆卸的装置。
音频子系统300电连接到系统总线2100，并且音频子系统300处理通过音频接口重放或记录的音频流，并支持存储器装置1200和音频接口之间的音频流的传送。在一些示例实施例中，音频子系统300可与音频编解码器50和/或蓝牙模块BTM70交换音频流。换句话说，音频子系统300的音频接口可直接连接到音频编解码器50和蓝牙模块70。蓝牙模块70可通过蓝牙传送模块BTAUD 80连接到蓝牙麦克风BMIC 81和蓝牙扬声器82，以从蓝牙麦克风81接收音频信号并将音频信号输出到蓝牙扬声器82。蓝牙模块70可直接连接到另一蓝牙扬声器85。尽管没有在图3中示出，但是音频子系统300可连接到通用串行总线(USB)模块，以与USB模块交换音频流。
传感器中枢400电连接到系统总线，并且传感器中枢400处理从一个或多个传感器SEN1 31和SEN2 32提供的信号。传感器中枢400可测量与电子装置相关联的物理量，处理物理量以检测电子装置的操作状态，并处理检测的操作状态。例如，传感器31和32可包括运动传感器、陀螺仪传感器、大气压力传感器、磁传感器、加速计、握持传感器、接近传感器、生物特征传感器、温度/湿度传感器、照度传感器以及紫外线(UV)传感器、电子鼻(E-nose)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。
在一些示例实施例中，如图3所示，系统总线2100、语音触发系统200、音频子系统300和传感器中枢400全部可集成在形成应用处理器2000的单个半导体芯片中。在其他示例实施例中，系统总线2100、语音触发系统200和音频子系统300可集成在单个芯片中，而传感器中枢400可设置在应用处理器2000外部。然而，在任一情况下，语音触发系统200都设置在应用处理器2000上，因此，根据示例实施例的应用处理器、包括应用处理器的电子装置和操作应用处理器的方法可通过将语音触发系统集成在应用处理器中，以低功率和高效率执行语音触发操作。
图4是示出根据示例实施例的操作应用处理器的方法的流程图。
参照图4，设置直接总线以电连接语音触发系统和音频子系统(S510)，并且设置邮箱模块以支持语音触发系统和音频子系统之间的数据通信的同步(S520)。通过直接总线和邮箱模块，数据通信在语音触发系统和音频子系统之间独立于系统总线被执行(S530)。
在下文中，以下将参照图5、图6和图7描述图4的方法和应用处理器的相关联的配置的示例实施例。
图5是示出根据示例实施例的应用处理器中的语音触发系统和音频子系统的示例连接的框图。为了便于说明，图3中的主处理器100和一些其他元件在图5中被省略，并且与图3重复的描述可被省略。
参照图5，应用处理器2001可包括系统总线SYSBUS 2100、语音触发系统201、音频子系统301、直接总线500和邮箱模块MBX。音频子系统301可包括在图2A中的音频处理系统250中。
语音触发系统201电连接到系统总线2100，并且语音触发系统201基于通过触发接口TIF提供的麦克风触发输入信号SDMIC和/或编解码器触发输入信号SAMIC，执行语音触发操作。语音触发系统201可从数字麦克风DMIC40接收麦克风触发输入信号SDMIC和/或从音频编解码器(编码器和解码器)CODEC 50接收编解码器触发输入信号SAMIC。麦克风时钟信号MICCLK可在语音触发系统201、数字麦克风40和音频编解码器50之间传送，以用于信号传送的同步。麦克风触发输入信号SDMIC和编解码器触发输入信号SAMIC以及麦克风时钟信号MICCLK可通过垫(pad)PD11、PD12和PD13来传送。垫PD11、PD12和PD13可被实现为使得可防止使用的垫被其他未使用的垫干扰。
音频子系统301电连接到系统总线2100，并且音频子系统301处理通过音频接口AIF重放或记录的音频流，并支持存储器装置1200和音频接口之间的音频流的传送。在一些示例实施例中，音频子系统301可与音频编解码器50交换音频流。音频子系统301可通过音频输入垫PD21从音频编解码器50接收音频输入信号SDI，并通过音频输出垫PD22将音频输出信号SDO输出到音频编解码器50。
语音触发系统201可包括触发接口电路IFV 211、包装器(wrapper)WRPP221、触发存储器MEMV 231和触发处理器PRCV 241。
触发接口电路211与垫PD11、PD12和PD13可形成触发接口TIF，以对从数字麦克风40提供的麦克风触发输入信号SDMIC和/或从音频编解码器50提供的编解码器触发输入信号SAMIC进行采样和转换。包装器221可将从触发接口电路211提供的数据存储在触发存储器231中。当阈值量的数据存储在触发存储器231中时，包装器221可向触发处理器241发出中断信号，使得触发处理器241可基于存储在触发存储器231中的数据执行语音触发操作。
在一些示例实施例中，语音触发系统201可接收脉冲密度调制(PDM)信号作为麦克风触发输入信号SDMIC和编解码器触发输入信号SAMIC，并将PDM信号转换为脉冲编码调制(PCM)数据。包装器221可将PCM数据存储在触发存储器231中。包装器221可使用直接存储器访问控制器来实现。
音频子系统301可包括音频接口电路IFA311、直接存储器访问控制器DMA321、音频存储器MEMA331和音频处理器PRCA 341。
音频接口电路311和音频输入垫PD21与音频输出垫PD22可形成音频接口AIF，以通过音频输入信号SDI和音频输出信号SDO传送音频流。音频存储器331可存储音频流的数据，并且直接存储器访问控制器321可控制对音频存储器的访问(即，从音频存储器331读取数据和向音频存储器331写入数据)。音频处理器341可处理存储在音频存储器331中的数据。
在一些示例实施例中，音频接口电路IFA311可与I2S(集成电路内置音频总线，Inter-IC Sound)或IIS(集成音频接口芯片，Integrated Interchip Sound)标准兼容。即使没有在图5中示出，但是音频接口电路311可基于根据I2S标准的时钟信号进行操作。在一些示例实施例中，音频接口电路311可直接连接到数字麦克风40和/或音频编解码器50。
如图5所示，应用处理器2001还可包括连接语音触发系统201和音频子系统301的直接总线500。此外，应用处理器2001还可包括支持语音触发系统201和音频子系统301之间的数据传输或数据通信的同步的邮箱模块MBX。
应用处理器2001可通过直接总线500和邮箱模块MBX，独立于系统总线2100执行语音触发系统201和音频子系统301之间的数据通信。直接总线500不限于通常的总线系统，并且直接总线500可使用任意的信号传输方案实现。
在一些示例实施例中，在语音触发系统201不执行语音触发操作的情况下，音频子系统301可通过直接总线500将语音触发系统201中的触发存储器MEMV 231的至少一部分用作高速缓冲存储器。例如，在应用处理器2001执行呼叫功能或记录功能时，语音触发系统201可不执行语音触发操作。在这种情况下，音频子系统301可通过将触发存储器231的至少部分用作高速缓冲存储器来提高操作速度。例如，音频子系统301可将音频子系统301内部的音频存储器MEMA 331用作L1高速缓存，并将语音触发系统201中的触发存储器231用作L2高速缓存。
图6是示出包括在图5的应用处理器中的邮箱模块的示例实施例的示图。
参照图6，邮箱模块900可包括接口(APB接口)910、消息框MESSAGE920、包括多个寄存器INTGR0、INTCR0、INTMR0、INTSR0和INTMSR0的第一寄存器电路930以及包括多个寄存器INTGR1、INTCR1、INTMR1、INTSR1和INTMSR1的第二寄存器电路940。图6示出邮箱模块900通过APB接口连接到系统总线2100的AHB2APB桥2110并且消息框920使用6×32位的共享寄存器实现的非限制性示例。然而，这仅仅是示例，并且接口910的类型、消息框920中的寄存器的数量和位数可被不同地确定。第一寄存器电路930可生成提供给语音触发系统201中的触发处理器PRCV的中断信号(IRQ TO PRCV)，第二寄存器电路940可生成提供给音频子系统301中的音频处理器PRCA的中断信号(IRQ TO PRCA)。语音触发系统201和音频子系统301之间的数据传输可使用邮箱模块900进行同步。
邮箱模块900可通过在触发处理器PRCV和音频处理器PRCA中的一个在消息框920中写入消息后发送中断信号来执行双边通信。语音触发系统201和音频子系统301之间的数据传输的同步可通过轮询方法等来实现。
图7是示出根据示例实施例的应用处理器中的语音触发系统和音频子系统的示例连接的框图。为了描述的简洁和清楚，可省略与图5中的组件的描述相同或类似的组件的描述。
参照图7，应用处理器2002可包括系统总线SYSBUS 2100、语音触发系统202、音频子系统302、直接总线500和邮箱模块MBX。音频子系统302可包括在图2A的音频处理系统250中。
语音触发系统202可包括触发接口电路IFV 212、包装器WRPP 222、触发存储器MEMV 232和触发处理器PRCV 242。音频子系统302可包括音频接口电路IFA 312、直接存储器访问控制器DMA 322、音频存储器MEMA 332和音频处理器PRCA 342。
与音频子系统连接到外部的音频编解码器50的图5的应用处理器2001相比，应用处理器2002可包括片上音频编解码器55。即使在图7中音频编解码器55被示为包括在音频子系统302中，但是在一些示例实施例中，音频编解码器55也可包括在语音触发系统202中或设置在语音触发系统202与音频子系统302之间。这样，音频编解码器55可与系统总线2100、语音触发系统202和音频子系统302集成在形成应用处理器2002的单个半导体芯片中。
图8是示出根据示例实施例的操作应用处理器的方法的流程图。
参照图8，设置直接总线以电连接语音触发系统和传感器中枢(S710)并设置邮箱模块以支持语音触发系统与传感器中枢之间的数据通信的同步(S720)。通过直接总线和邮箱模块，数据通信可在语音触发系统与传感器中枢之间独立于系统总线被执行(S730)。
在下文中，以下将参照图9、图10A和图10B，描述图8的方法和应用处理器的相关联的配置的示例实施例。
图9是示出根据示例实施例的应用处理器中的语音触发系统和传感器中枢的示例连接的框图。为了方便说明，图3的主处理器100和一些其它元件在图9中被省略，并且与图3重复的描述可被省略。
参照图9，应用处理器2003可包括系统总线SYSBUS 2100、语音触发系统203、传感器中枢403、直接总线600、活动电源管理器APM以及邮箱模块MBXa和MBXb。传感器中枢403可包括在图2A中的音频处理系统250中。
语音触发系统203电连接到系统总线2100，并且语音触发系统203基于通过触发接口提供的麦克风触发输入信号SDMIC和编解码器触发输入信号SAMIC，执行语音触发操作。语音触发系统203可从数字麦克风DMIC40接收麦克风触发输入信号SDMIC和/或从音频编解码器CODEC 50接收编解码器触发输入信号SAMIC。麦克风时钟信号MICCLK可在语音触发系统203、数字麦克风40和音频编解码器50之间传送，以用于信号传送的同步。麦克风触发输入信号SDMIC和编解码器触发输入信号SAMIC以及麦克风时钟信号MICCLK可分别通过垫PD11、PD12和PD13来传送。
传感器中枢403电连接到系统总线2100，以处理从一个或多个传感器SEN1 31、SEN2 32和SEN3 33提供的信号。
语音触发系统203可包括触发接口电路IFV 213、包装器WRPP 223、触发存储器MEMV 233和触发处理器PRCV 243。
触发接口电路213和垫PD11、PD12和PD13可形成触发接口TIF，以对从数字麦克风40提供的麦克风触发输入信号SDMIC或从音频编解码器50提供的编解码器触发输入信号SAMIC进行采样(例如，仅作为示例，以16KHz或48KHz的频率进行采样)和转换。包装器223可将从触发接口电路213提供的数据存储在触发存储器233中。当阈值量的数据存储在触发存储器233中时，包装器223可向触发处理器243发出中断信号，使得触发处理器243可基于存储在触发存储器233中的数据执行语音触发操作。
在一些示例实施例中，语音触发系统203可接收脉冲密度调制(PDM)信号作为麦克风触发输入信号SDMIC和编解码器触发输入信号SAMIC，并将PDM信号转换为脉冲编码调制(PCM)数据。包装器223可将PCM数据存储在触发存储器233中。包装器223可使用直接存储器访问控制器来实现。
传感器中枢403可包括传感器逻辑LOGS 413、传感器存储器MEMS 423和传感器处理器PRCS 433，以如参照图3所述处理从各个传感器提供的信号。
如图9所示，应用处理器2003还可包括连接语音触发系统203和传感器中枢403的直接总线600。此外，应用处理器2003还可包括活动电源管理器APM和支持语音触发系统203与传感器中枢403之间的数据传输的同步的第一邮箱模块MBXa和第二邮箱模块MBXb。第一邮箱模块MBXa可将中断信号传送给语音触发系统203和活动电源管理器APM。第二邮箱模块MBXb可将中断信号传送给活动电源管理器APM和传感器中枢403。
在一些示例实施例中，如图9所示，两个邮箱模块MBXa和MBXb可经由活动电源管理器APM，执行语音触发系统203和传感器中枢403之间的数据通信的同步。邮箱模块MBXa和MBXb中的每个与参照图6所述的邮箱模块相同。在其他示例实施例中，一个邮箱模块可在没有活动电源管理器APM的情况下执行语音触发系统203和传感器中枢403之间的同步。
应用处理器2003可通过直接总线600和邮箱模块MBXa与MBXb，独立于系统总线2100执行语音触发系统203和传感器中枢403之间的数据通信。
图10A和图10B是示出包括在图9的应用处理器中的语音触发系统的示例实施例的框图。
参照图10A，语音触发系统204可包括触发接口电路214、包装器224、触发存储器MEMV 234、触发处理器PRCV 244和信号选择器MUX 254。图10A还示出时钟供应电路271，其中，时钟供应电路271包括时钟选择器MUX272、锁相环电路PLL 273、RC振荡器RCO 275、时钟分频器DIV 274、276和278、时钟发生器CG 277和开关279。时钟供应电路271的一些元件可被认为是语音触发系统204的部分。例如，RC振荡器275可包括在语音触发系统204中或设置在语音触发系统204的外部。时钟供应电路271可从外部装置(诸如，音频编解码器)或从应用处理器的内部块接收时钟信号。
触发接口电路214可对从数字麦克风或音频编解码器提供的触发输入信号SMIC进行采样，并对采样的数据进行转换。包装器224可将从触发接口电路214提供的数据存储在触发存储器234中。当阈值量的数据存储在触发存储器234时，包装器224可向触发处理器244发出中断信号，使得触发处理器244可基于存储在触发存储器234中的数据执行语音触发操作。
触发接口电路214可包括第一采样器SMP1 214a和第二采样器SMP2214b，其中，第一采样器SMP1 214a被配置为：通过以第一采样率对触发输入信号SMIC进行采样，生成第一采样数据；第二采样器SMP2 214b被配置为：通过以高于第一采样率的第二采样率对触发输入信号SMIC进行采样，生成第二采样数据。包装器224可包括第一包装器WRPP1 224a和第二包装器WRPP2 224b，其中，第一包装器WRPP1 224a被配置为将第一采样数据存储在触发存储器234中，第二包装器WRPP2 224b被配置为：、将第二采样数据存储在触发存储器234中。在一些示例实施例中，第一采样率可以是16KHz，第二采样率可以是48KHz。然而，这些采样率仅是说明性的，并且不同的采样率被考虑。第二采样数据可对应于包括在触发输入信号SMIC中的超声波。
语音触发系统204可在第一操作模式下生成第一采样率的第一采样数据，并在第二操作模式下生成第一采样率的第一采样数据和第二采样率的第二采样数据二者。在图10A的示例配置中，在第一操作模式下，第一采样器214a可被启用，第二采样器214b可被禁用；在第二操作模式下，第一采样器214a和第二采样器214b二者可被启用。在一些示例实施例中，在第三操作模式下，第一采样器214a可被禁用，第二采样器214b可被启用。
信号选择器254可在第一操作模式下仅将触发输入信号SMIC提供给第一采样器214a，并在第二操作模式下将触发输入信号SMIC提供给第一采样器214a和第二采样器214b二者。时钟选择器272可选择来自锁相环电路273和时钟分频器274的第一时钟信号、来自RC振荡器275和时钟分频器276的第二时钟信号以及来自时钟发生器277和时钟分频器278的第三时钟信号中的一个，以将选择的时钟信号提供给触发接口电路214。开关279可选择第二时钟信号和第三时钟信号中的一个，以将选择的时钟信号作为麦克风时钟信号MICCLK提供。
参照图10B，语音触发系统205可包括触发接口电路IFV 215、包装器225、触发存储器MEMV 235、触发处理器PRCV 245和采样率转换器265。
触发接口电路215可对从数字麦克风或音频编解码器提供的触发输入信号SMIC进行采样，并对采样的数据进行转换。包装器225可将从触发接口电路215提供的数据存储在触发存储器235中。当阈值量的数据存储在触发存储器235中时，包装器225可向触发处理器245发出中断信号，使得触发处理器245可基于存储在触发存储器235中的数据执行语音触发操作。
如图10B所示，触发接口电路215可通过以第一采样率对触发输入信号SMIC进行采样，生成第一采样数据，并且采样率转换器265可通过将第一采样数据转换为高于第一采样率的第二采样率的第二采样数据，生成第二采样数据。相反，在其他示例实施例中，触发接口电路215可通过以第二采样率对触发输入信号SMIC进行采样，生成第二采样数据，并且采样率转换器265可通过将第二采样数据转换为第一采样数据来生成第一采样数据。
包装器225可包括第一包装器WRPP1 225a和第二包装器WRPP2 225b，其中，第一包装器WRPP1 225a被配置为将第一采样数据存储在触发存储器234中，第二包装器WRPP2225b被配置为将第二采样数据存储在触发存储器234中。在一些示例实施例中，第一采样率可以是16KHz，并且第二采样率可以是48KHz。然而，这些采样率仅是说明性的，并且不同的采样率被考虑。第二采样数据可对应于包括在触发输入信号SMIC中的超声波。
语音触发系统205可在第一操作模式下生成第一采样率的第一采样数据，并在第二操作模式下生成第一采样率的第一采样数据和第二采样率的第二采样数据二者。此外，在一些示例实施例中，语音触发系统205可在第三操作模式下生成第二采样率的第二采样数据。
图11是示出根据示例实施例的操作应用处理器的方法的流程图。
参照图10A和图11，语音触发系统204可在第一操作模式下执行单采样(S10)。换句话说，语音触发系统204可在第一操作模式下通过以第一采样率(例如，16KHz)对触发输入信号SMIC进行采样，生成第一采样数据。
电子装置可在操作S20中确定是否执行配对应用。当执行配对应用时(S20：是)，语音触发系统204被转换至第二操作模式以执行双采样(S30)。换句话说，语音触发系统204可通过以第一采样率(例如，16KHz)和第二采样率(例如，48KHz)对触发输入信号SMIC进行采样，生成第一采样数据和第二采样数据。
在第二操作模式下，音频子系统或传感器中枢可基于第二采样数据，执行音频感测操作，并且语音触发系统基于第一采样数据执行语音触发操作(S40)。
相反，当不执行配对应用时(S20：否)，语音触发系统204可保持第一操作模式，并基于第一采样数据执行语音触发操作(S50)。
这样，第一操作模式可以是用于仅执行语音触发操作的模式，第二操作模式可以是用于执行语音触发操作和配对操作二者的模式。在一些示例实施例中，在第三操作模式下，可仅执行音频感测操作(诸如，配对操作)。
作为音频感测操作或配对操作的示例，会议室中的用户的移动装置可通过超声波与会议室中的系统进行配对。移动装置中的语音触发系统不必一直监视来自外部系统的信号。相反，语音触发系统可仅在用户执行配对操作时启用监视。在通过语音触发系统一直监视的一些示例实施例中，例如，如果用户在购物中心中，则关于购物中心的信息可使用用户的耳朵听不到的超声波被提供给移动装置。购物中心可使用简单的扬声器输出来触发向用户的移动装置传送信息。
图12A和图12B是用于描述根据示例实施例的应用处理器的电源域的示图。
应用处理器可包括独立供电的多个电源域。图12A和图12B示出第一电源域PWDM1和第二电源域PWDM2作为示例。第一电源域PWDM1对应于在活动模式和待机模式(或睡眠模式)二者下供电的永远供电域，第二电源域PWDM2对应于在待机模式下断电的节电域。
参照图12A，系统计数器SYSCNT、活动电源管理器APM和语音触发系统VTS可设置在永远供电域PWDM1中。多个硬件块(诸如，主处理器CPU、音频子系统ABOX、传感器中枢CHUB等)可设置在节电域PWDM2中。
系统计数器SYSCNT可生成时间信息TM，并可将时间信息TM提供给系统的内部电路。活动电源管理器APM可生成多个功率使能信号EN，以控制系统中的各个元件的供电、断电等。语音触发系统VTS可生成表示触发事件的中断信号ITRR。
在本公开中，活动模式表示：至少主处理器CPU被启用，并且操作系统(OS)运行。睡眠模式或待机模式表示主处理器CPU被禁用的掉电模式。
与图12A的布置相比，如图12B所示，语音触发系统VTS可设置在节电域PWDM2中。
如图12A和图12B所示，主处理器CPU、语音触发系统VTS、音频子系统ABOX和传感器中枢CHUB可分别包括电源门控电路PG1、PG2、PG3和PG4。电源门控电路PG1～PG4可分别响应于电源使能信号EN1、EN2、EN3和EN4选择性地供电。这样，语音触发系统VTS、音频子系统ABOX和传感器中枢CHUB可独立于主处理器CPU被电源门控并被启用。在一些示例实施例中，语音触发系统VTS可请求活动电源管理器APM启用或禁用传感器中枢CHUB，使得传感器中枢CHUB可被启用。
如上所述，根据示例实施例的应用处理器、包括应用处理器的电子装置以及操作应用处理器的方法可通过将语音触发系统集成在应用处理器中，以低功率和高效率执行语音触发操作。片上语音触发系统可代替应用处理器中的主处理器执行一些操作，以降低功耗并增强电子装置的性能。此外，可使用片上语音触发系统和直接总线执行独立于系统总线的数据通信，以降低应用处理器的唤醒频率，从而进一步降低功耗并增强性能。
本发明构思可应用于支持语音触发功能的任何电子装置和系统。例如，本发明构思可应用于诸如台式计算机、膝上型计算机、移动电话、智能电话、MP3播放器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、数字电视、数码相机、服务器计算机、工作站、机顶盒、便携式游戏机、导航系统、可穿戴装置、物联网(IoT)装置、万物互联网(IoE)装置、电子书、虚拟现实(VR)装置、增强现实(AR)装置等的系统。
前述内容是对示例实施例的说明，并且不被解释为对示例实施例的限制。虽然已经描述了一些示例实施例，但是本领域的技术人员将容易理解，在实质不脱离本公开的新颖教导和优点的情况下，可对示例实施例进行很多修改。因此，所有这样的修改意图包括在如权利要求限定的本公开的范围内。因此，将被理解，前述内容是对各种示例实施例的说明并且不被解释为受限于公开的特定示例实施例，并且对公开的示例实施例的修改以及其他示例实施例意图包括在所附权利要求的范围内。

Claims (16)

1.一种应用处理器，包括：
系统总线；
主处理器，电连接到系统总线；
语音触发系统，电连接到系统总线，语音触发系统被配置为：基于通过触发接口提供的触发输入信号，执行语音触发操作并发出触发事件；
音频子系统，包括音频接口并电连接到系统总线，音频子系统被配置为：处理通过音频接口的音频流；
第一直接总线，电连接语音触发系统和音频子系统；
第一邮箱模块，被配置为：支持语音触发系统和音频子系统之间的数据通信的同步，
其中，语音触发系统在第一操作模式下通过以第一采样率对触发输入信号进行采样，生成第一采样数据，并在第二操作模式下通过分别以第一采样率和第二采样率对触发输入信号进行采样，生成第一采样数据和第二采样数据，其中，第二采样率高于第一采样率，
其中，通过第一直接总线和第一邮箱模块，独立于系统总线执行语音触发系统和音频子系统之间的数据通信。
2.根据权利要求1所述的应用处理器，其中，系统总线、主处理器、语音触发系统和音频子系统全部集成在单个半导体芯片中。
3.根据权利要求1所述的应用处理器，其中，音频子系统在语音触发系统不执行语音触发操作的时间期间，通过直接总线将语音触发系统中的存储器用作高速缓冲存储器。
4.根据权利要求1所述的应用处理器，还包括：
传感器中枢，电连接到系统总线，传感器中枢被配置为：处理从至少一个传感器提供的信号。
5.根据权利要求4所述的应用处理器，其中，系统总线、主处理器、语音触发系统、音频子系统和传感器中枢全部集成在单个半导体芯片中。
6.根据权利要求5所述的应用处理器，还包括：
第二直接总线，电连接语音触发系统和传感器中枢。
7.根据权利要求6所述的应用处理器，还包括：
第二邮箱模块，被配置为：支持语音触发系统和传感器中枢之间的数据通信的同步。
8.根据权利要求7所述的应用处理器，其中，通过第二直接总线和第二邮箱模块，独立于系统总线执行语音触发系统和传感器中枢之间的数据通信。
9.根据权利要求1所述的应用处理器，其中，语音触发系统从数字麦克风或音频编解码器接收触发输入信号。
10.根据权利要求9所述的应用处理器，其中，语音触发系统接收脉冲密度调制信号作为触发输入信号，并将脉冲密度调制信号转换为脉冲编码调制数据以存储脉冲编码调制数据。
11.根据权利要求9所述的应用处理器，其中，音频编解码器与系统总线、主处理器、语音触发系统、音频子系统一起集成在单个半导体芯片中。
12.根据权利要求1所述的应用处理器，其中，第一采样率是16KHz，第二采样率是48KHz。
13.根据权利要求1所述的应用处理器，其中，语音触发系统和音频子系统中的每个独立于主处理器被电源门控并被启用。
14.根据权利要求1所述的应用处理器，还包括：
RC振荡器，被配置为：生成时钟信号，
其中，生成的时钟信号被分频或者外部时钟信号被接收，分频的时钟信号或接收的外部时钟信号作为麦克风时钟信号被提供给触发接口。
15.一种电子装置，包括：
至少一个音频输入输出装置；
应用处理器，包括：
系统总线；
主处理器，电连接到系统总线；
语音触发系统，电连接到系统总线，语音触发系统被配置为：基于通过触发接口提供的触发输入信号，执行语音触发操作并发出触发事件；
音频子系统，包括音频接口并电连接到系统总线，音频子系统被配置为：处理通过音频接口的音频流；
直接总线，电连接语音触发系统和音频子系统；
邮箱模块，被配置为：支持语音触发系统和音频子系统之间的数据通信的同步，
其中，语音触发系统在第一操作模式下通过以第一采样率对触发输入信号进行采样，生成第一采样数据，并在第二操作模式下通过分别以第一采样率和第二采样率对触发输入信号进行采样，生成第一采样数据和第二采样数据，其中，第二采样率高于第一采样率，
其中，通过直接总线和邮箱模块，独立于系统总线执行语音触发系统和音频子系统之间的数据通信。
16.根据权利要求15所述的电子装置，其中，所述至少一个音频输入输出装置包括：
数字麦克风，直接连接到触发接口；
音频编解码器，直接连接到触发接口和音频接口。
CN201910032095.8A 2018-01-25 2019-01-14 应用处理器和包括其的电子装置 Active CN110086923B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180009330A KR102453656B1 (ko) 2018-01-25 2018-01-25 저전력 동작을 위한 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 그 동작 방법
KR10-2018-0009330 2018-01-25

Publications (2)

Publication Number Publication Date
CN110086923A CN110086923A (zh) 2019-08-02
CN110086923B true CN110086923B (zh) 2023-10-13

Family

ID=67145198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910032095.8A Active CN110086923B (zh) 2018-01-25 2019-01-14 应用处理器和包括其的电子装置

Country Status (5)

Country Link
US (2) US10754804B2 (zh)
KR (1) KR102453656B1 (zh)
CN (1) CN110086923B (zh)
DE (1) DE102018128244A1 (zh)
TW (1) TWI791677B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10755708B2 (en) * 2018-06-20 2020-08-25 International Business Machines Corporation Operating a voice response system based on non-human audio sources
CN112738732B (zh) * 2019-10-28 2022-07-29 成都鼎桥通信技术有限公司 一种音频播放方法和装置
TWI749728B (zh) * 2020-08-24 2021-12-11 和碩聯合科技股份有限公司 可攜式電子裝置
TWI774320B (zh) * 2021-04-14 2022-08-11 新唐科技股份有限公司 晶片結構及晶片功能控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI266202B (en) * 2002-11-15 2006-11-11 Infineon Technologies Ag Mailbox interface and method for temporally storing messages, data processing system including a plurality of processors and a mailbox interface, and method for transferring a message between two processors
CN101609676A (zh) * 2008-06-19 2009-12-23 美国博通公司 一种处理音频信号的方法及系统
WO2015038105A1 (en) * 2013-09-11 2015-03-19 Intel Corporation Low power voice triggers for finding mobile devices
CN105723451A (zh) * 2013-12-20 2016-06-29 英特尔公司 从低功率始终侦听模式到高功率语音识别模式的转换
CN106062661A (zh) * 2014-03-31 2016-10-26 英特尔公司 用于常开常听的语音识别系统的位置感知功率管理方案

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5524261A (en) * 1991-12-31 1996-06-04 Dictaphone Corporation (U.S.) Voice processor interface chip with arbitration unit
US20020099893A1 (en) * 2001-01-24 2002-07-25 Nguyen Tuyet-Huong Thi System and method for the handling of system management interrupts in a multiprocessor computer system
US6938253B2 (en) * 2001-05-02 2005-08-30 Portalplayer, Inc. Multiprocessor communication system and method
US8171322B2 (en) * 2008-06-06 2012-05-01 Apple Inc. Portable electronic devices with power management capabilities
US20090319260A1 (en) 2008-06-19 2009-12-24 Hongwei Kong Method and system for audio transmit processing in an audio codec
US20120250877A1 (en) 2011-03-31 2012-10-04 Taiyi Cheng Method and system for processing audio signals in a central audio hub
KR102179811B1 (ko) 2012-12-03 2020-11-17 엘지전자 주식회사 포터블 디바이스 및 음성 인식 서비스 제공 방법
US9164935B2 (en) 2013-01-04 2015-10-20 International Business Machines Corporation Determining when to throttle interrupts to limit interrupt processing to an interrupt processing time period
US20150032238A1 (en) 2013-07-23 2015-01-29 Motorola Mobility Llc Method and Device for Audio Input Routing
WO2016118480A1 (en) * 2015-01-21 2016-07-28 Knowles Electronics, Llc Low power voice trigger for acoustic apparatus and method
US9478231B1 (en) 2015-03-10 2016-10-25 Cadence Design Systems, Inc. Microphone interface and IP core for always-on system
US9811313B2 (en) 2015-08-17 2017-11-07 Microsoft Technology Licensing, Llc Voice-triggered macros
CN106484441B (zh) 2015-08-26 2020-02-28 鸿富锦精密电子(天津)有限公司 控制器初始化方法及应用该方法的电子装置
KR102434103B1 (ko) * 2015-09-18 2022-08-19 엘지전자 주식회사 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법
US10678494B2 (en) * 2016-06-27 2020-06-09 Qualcomm Incorporated Controlling data streams in universal serial bus (USB) systems
KR20180009330A (ko) 2017-12-28 2018-01-26 에스지생활안전 주식회사 상품 추적 시스템 및 상품 추적 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI266202B (en) * 2002-11-15 2006-11-11 Infineon Technologies Ag Mailbox interface and method for temporally storing messages, data processing system including a plurality of processors and a mailbox interface, and method for transferring a message between two processors
CN101609676A (zh) * 2008-06-19 2009-12-23 美国博通公司 一种处理音频信号的方法及系统
WO2015038105A1 (en) * 2013-09-11 2015-03-19 Intel Corporation Low power voice triggers for finding mobile devices
CN105723451A (zh) * 2013-12-20 2016-06-29 英特尔公司 从低功率始终侦听模式到高功率语音识别模式的转换
CN106062661A (zh) * 2014-03-31 2016-10-26 英特尔公司 用于常开常听的语音识别系统的位置感知功率管理方案

Also Published As

Publication number Publication date
US20190227967A1 (en) 2019-07-25
TWI791677B (zh) 2023-02-11
TW201933087A (zh) 2019-08-16
DE102018128244A1 (de) 2019-07-25
US10754804B2 (en) 2020-08-25
CN110086923A (zh) 2019-08-02
US20200379932A1 (en) 2020-12-03
KR20190090532A (ko) 2019-08-02
KR102453656B1 (ko) 2022-10-12
US11216399B2 (en) 2022-01-04

Similar Documents

Publication Publication Date Title
CN110086923B (zh) 应用处理器和包括其的电子装置
TWI791662B (zh) 包含具安全性之低電力語音觸發系統的應用處理器
US11256638B2 (en) Application processor supporting interrupt during audio playback, electronic device including the same and method of operating the same
CN110087166B (zh) 应用处理器、包括其的电子装置及操作应用处理器的方法
US10783887B2 (en) Application processor including low power voice trigger system with external interrupt, electronic device including the same and method of operating the same
TWI776988B (zh) 包含具插話用直接路徑之低電力語音觸發系統的應用處理器、包含該處理器的電子裝置及其操作方法
TWI475557B (zh) 音訊處理裝置
US11409680B2 (en) Method of operating audio subsystem for USB module, system-on-chip performing the same and method of operating system-on-chip using the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant