CN111402871A - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN111402871A
CN111402871A CN201911425722.0A CN201911425722A CN111402871A CN 111402871 A CN111402871 A CN 111402871A CN 201911425722 A CN201911425722 A CN 201911425722A CN 111402871 A CN111402871 A CN 111402871A
Authority
CN
China
Prior art keywords
processor
memory
microphone
electronic device
sound signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911425722.0A
Other languages
English (en)
Inventor
朴钟禛
金新芽
李沅栽
金民燮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111402871A publication Critical patent/CN111402871A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3275—Power saving in memory, e.g. RAM, cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3293—Power saving characterised by the action undertaken by switching to a less power-consuming processor, e.g. sub-CPU
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/03—Constructional features of telephone transmitters or receivers, e.g. telephone hand-sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Telephone Function (AREA)

Abstract

提供一种电子装置及其控制方法。该电子装置包括：麦克风、可操作地耦合到麦克风并被配置为在电子装置的低功率模式下保持活动状态的第一处理器、以及被配置为在低功率模式下保持非活动状态的第二处理器，所述第一处理器被配置为：基于在低功率模式下通过麦克风感测到特定频带中的声音信号，控制所述电子装置向所述第二处理器发送触发信号以激活第二处理器，所述第二处理器包括被配置为在低功率模式下接收电力的存储器，并被配置为基于触发信号根据存储在存储器中的数据被激活，并对从麦克风接收到的声音信号执行话音识别。

Description

电子装置及其控制方法
技术领域
本公开涉及一种电子装置及其控制方法，例如，涉及一种进行话音识别的电子装置及其控制方法。
背景技术
近年来，许多电子装置都配备了话音识别功能。电子装置可以分析用户发出的语音中所包含的意图，并执行与语音命令相对应的操作。
现有技术的电子装置始终向与话音识别相关的组件供电，以便检测用户发出的语音并执行话音识别。备选地，现有技术的电子装置可以具有单独的空间以用于存储在与话音识别相关的组件被激活之前所需的一段时间期间用户发出的语音。在这种情况下，电子装置始终向该存储空间供电。
因此，存在电子装置的功耗增加的问题。尤其是，如果电子装置是基于电池的便携式设备，例如遥控器，则存在随着功耗增加而必须频繁更换电池或对电池再充电的问题。
因此，需要一种技术来最小化和/或减少待机功率同时对用户发出的语音进行话音识别。
发明内容
本公开的实施例涉及可以缩短激活话音识别功能所需时间的电子装置及其控制方法。
根据示例性实施例的电子装置包括：麦克风、可操作地耦合到该麦克风并被配置为在低功率模式下保持活动状态的第一处理器、以及被配置为在低功率模式下保持非活动状态的第二处理器，其中，第一处理器被配置为：基于在低功率模式下通过所述麦克风感测到特定频带内的声音信号，控制该电子装置向第二处理器发送触发信号以激活第二处理器，第二处理器包括被配置为在低功率模式下接收电力的存储器，并且第二处理器被配置为根据触发信号基于存储在存储器中的数据被激活，并对从麦克风接收到的声音信号执行话音识别。
该存储器可以是易失性存储器，该第二处理器可以包括用于在非活动状态下向存储器供电的电路，并且该电路可以在第二处理器处于非活动状态时向存储器供电以保持存储在存储器中的数据。
存储在存储器中的数据可以包括用于将第二处理器转换为活动状态的引导数据。
该电子装置还可以包括连接到第一处理器和第二处理器的控制器，并且该控制器可以被配置为：基于接收到触发信号，控制电子装置将用于激活第二处理器的信号发送给第二处理器。
该控制器可以控制该电子装置在低功率模式下向存储器供电。
特定频带内的声音信号可以是100Hz到500Hz的频带内的声音信号。
麦克风可以实现为压电麦克风或者晶体麦克风之一。
该装置还可以包括存储设备，该存储设备被配置为存储用于执行噪声滤波和回声消除的噪声提取算法，并且第二处理器可以被配置为在使用噪声提取算法提取出声音信号中的噪声之后，执行话音识别。
该装置可以包括包含电路的通信接口，并且该电子装置可以包括被配置为控制外部设备的遥控器，并且第二处理器可以被配置为控制该通信接口将基于话音识别获得的命令发送到外部设备。
该装置还可以包括包含电路的通信接口，并且该第二处理器可以被配置为基于识别出声音信号包括触发词，进入话音识别模式并控制该通信接口将接收到的声音信号发送给执行话音识别的外部服务器。
根据示例性实施例的控制电子装置的方法，该电子装置包括：麦克风、可操作地耦合到该麦克风并被配置为在电子装置的低功率模式下保持活动状态的第一处理器、以及被配置为在低功率模式下保持非活动状态的第二处理器，该方法包括：基于在低功率模式下通过麦克风感测到特定频带内的声音信号，向第二处理器发送触发信号以激活第二处理器，根据该触发信号基于设置在第二处理器中的存储器中存储的数据激活第二处理器，并通过第二处理器对从麦克风接收到的声音信号执行话音识别，其中，存储器是在电子装置的低功率模式下被供电的。
该存储器可以是易失性存储器，并且第二处理器可以包括用于在非活动状态下向存储器供电的电路，并且该方法还可以包括：在第二处理器处于非活动状态时通过该电路向存储器供电，以保持存储在存储器中的数据。
存储在存储器中的数据可以包括用于将第二处理器转换为活动状态的引导数据。
向第二处理器发送触发信号可以包括：基于接收到触发信号，通过连接到第一处理器和第二处理器的控制器向第二处理器发送用于激活第二处理器的信号。
该方法可以包括：在低功率模式下通过控制器向存储器供电。
特定频带内的声音信号可以是100Hz到500Hz的频带内的声音信号。
麦克风可以实现为压电麦克风或者晶体麦克风之一。
该电子装置可以包括用于执行噪声滤波和回声消除的噪声提取算法，并且执行话音识别可以包括：在使用噪声提取算法提取出声音信号中的噪声之后执行话音识别。
该电子装置可以包括被配置为远程控制外部设备的遥控器，该方法可以包括：基于话音识别，将基于话音识别获得的命令发送给外部设备。
该方法可以包括：基于识别出声音信号包括触发词，进入话音识别模式，并将接收到的声音信号发送给执行话音识别的外部服务器。
根据各示例性实施例，电子装置可以在最小化和/或降低待机功率的同时，基于感测到语音，快速激活话音识别功能。因此，电子装置的功耗可以降低。
附图说明
根据以下结合附图的描述，本公开的某些实施例的上述和其他方案、特征和优点将会变得更加清楚，在附图中：
图1是示出了根据实施例的执行话音识别的示例性电子装置的示意图；
图2是示出了根据实施例的示例性电子装置的示例性配置的框图；
图3是示出了根据实施例的示例性电子装置的示例性配置的框图；
图4是示出了根据实施例的示例性低功率模式的示意图；
图5是示出了根据实施例的向存储器供电的示例的示意图；
图6是示出了根据实施例的示例性电子装置的示意图；
图7是示出了根据实施例的与外部设备进行通信的示例性电子装置的示意图；以及
图8是示出了根据实施例的控制电子装置的示例性方法的流程图。
具体实施方式
下面将参照附图更详细地描述本公开。
考虑到本公开的配置和功能，本公开中所使用的术语被选择为当前广泛使用的通用术语，但是根据本领域技术人员的意图、先例、新技术的出现等，本公开中所使用的术语可以不同。此外，在特定情况下，可以任意选择术语。在这种情况下，将在对应实施例的描述中描述术语的含义。因此，说明书中使用的术语不一定应解释为术语的简单名称，而是应根据术语的含义和本公开的总体内容来定义。
在本申请中，术语“包括”、“可以包括”、“包含”和“可以包含”表示相应特征(例如，数字、功能、操作或诸如部件的组件)的存在，但不排除存在或可能添加一个或多个其他特征。
在说明书中，术语“A或/和B中的至少一个”可以包括一起列出的项目的所有可能的组合。例如，术语“A或/和B中的至少一个”包括：(1)包括至少一个A、(2)包括至少一个B、或者(3)包括至少一个A和至少一个B。
在各种示例性实施例中使用的诸如“第一”和“第二”之类的术语可以用于修饰各种元件，而不考虑相应元件的顺序和/或重要性，并且不限制相应元件。
如果描述特定元件(例如，第一元件)“可操作地或可通信地耦合到/至”或“连接到”到另一元件(例如，第二元件)，则应该理解，该特定元件可以直接或通过另一个元件(例如，第三元件)连接到该另一元件。
除非上下文另有明确说明，否则单数形式旨在包括复数形式。在本公开中，术语“包括”和“包含”指定存在本公开中描述的特征、数字、步骤、操作、组件、元件或其组合，但不排除存在或可能添加一个或多个其他特征、数字、步骤、操作、组件、元件或其任何组合。
在本公开中，“模块”或“单元”执行至少一个功能或操作，并且可以通过硬件、或软件、或硬件和软件的组合来实现。此外，除应在特定硬件中实现的“模块”或“单元”外，多个“模块”或多个“单元”可以集成到至少一个处理器(未示出)中。
在本公开中，术语“用户”可以指使用电子装置的人或使用电子装置的装置(例如，人工智能(AI)电子装置)。
下面将参照附图更详细地描述各种示例性实施例。
图1是示出了根据实施例的执行话音识别的示例性电子装置的示意图。
参考图1，电子装置100可以感测发出的语音并执行话音识别。
在图1中，电子装置100被示出为遥控器，但这仅为一个示例，本公开不限于此。电子装置100可以以各种形式实现。根据各示例性实施例的电子装置可以例如包括但不限于以下中的至少一种：智能手机、平板电脑、移动电话、视频电话、电子书阅读器、台式电脑、膝上型电脑、上网本计算机、工作站、服务器、PDA、便携式多媒体播放器(PMP)、MP3播放器、医疗设备、相机、可穿戴设备等。可穿戴设备可以包括但不限于以下中的至少一种：配件型设备(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式设备(HMD))、织物或衣物安装设备(例如，电子服装)、身体安装设备(例如，皮肤垫、纹身等)、可植入电路等。在其他示例性实施例中，电子装置可以例如包括但不限于以下中的至少一种：电视、数字视频光盘(DVD) 播放器、音箱、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气清洁器、机顶盒、家庭自动化控制面板、安全控制面板、媒体盒(例如Samsung HomeSyncTM、Apple TVTM或GoogleTVTM)、游戏机(例如 XboxTM和PlayStationTM)、电子词典、电子钥匙、摄像机、电子相框等。
在其他实施例中，电子装置可以例如包括但不限于以下中的至少一种：各种医疗设备(例如，各种便携式医疗测量设备(例如血糖计、心率计、血压计、体温计等)、磁共振血管造影(MRA)、磁共振成像 (MRI)、计算机断层扫描(CT)、摄影设备、超声波设备等)、导航设备、全球导航卫星系统(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐设备、船用电子装置(例如，船用导航设备、陀螺罗盘等)、航空电子装置、安全设备、汽车主机、工业或家用机器人、无人机、金融机构的自动取款机、商店的销售点(POS)、物联网(IoT)设备(例如，灯泡、各种传感器、洒水系统、火警、恒温器、路灯、烤面包机、运动设备、热水箱、加热器、锅炉等)等。例如，根据实施例的电子装置100可以实现为具有麦克风(未示出) 并且通过麦克风感测和接收声音和用户发出的语音的各种类型的电子装置。
参考图1，例如，根据实施例的电子装置100可以实现为用于控制外部设备200的遥控器。
电子装置100可以具有麦克风(未示出)，并且通过麦克风感测声音信号。电子装置100可以基于感测到的声音信号执行话音识别。
参考图1，提供了一个非限制性示例，其中电子装置100根据用户发出的语音感测声音信号10，但是可以理解，本公开不限于此。如果电子装置100根据声音识别出声音信号包括在特定频带中，则电子装置100可以进入正常模式。例如，正常模式可以是进入用于执行话音识别的模式的状态(例如，电子装置100中与话音识别相关的组件从待机模式进入正常模式的状态、或者从不向电子装置100中与话音识别相关的组件供电的状态改变为向这些组件供电的状态)。例如，待机模式和不向电子装置100中与话音识别相关的组件供电的状态可以称为低功率模式。以下，为了便于解释，将上述状态称为低功率模式。低功率模式不是指不向电子装置100的所有组件供电的状态，而是可以指例如不向电子装置100中用于基于感测到的声音信号10执行话音识别的组件(例如，处理声音信号的数字信号处理(DSP)芯片)供电的状态。
如果感测到声音信号10，则根据实施例的电子装置100可以激活与话音识别相关的组件，并对感测到的声音信号执行话音识别。电子装置100可以通过在感测到声音信号10之前将与话音识别相关的组件保持在低功率模式下，在低功率模式下操作。例如，可以由设备(例如，电池)向电子装置100供电，其中该设备(例如，电池)可以在低功率模式下用比在正常模式下相对低的功率向电子装置100供电。
图2是示出了根据实施例的示例性电子装置的示例性配置的框图。
参考图2，电子装置100包括：麦克风110、第一处理器(例如，包括处理电路)120、第二处理器(例如，包括处理电路)130和设置在第二处理器130上的存储器131。
麦克风110可以包括用于收集声音信号的组件。麦克风110可以被配置为收集用户发出的语音或其他声音，将声音信号转换为电信号，并将转换后的电信号发送给第二处理器130。
根据实施例的麦克风110可以一体地形成到电子装置100的上侧、前方、侧方等。麦克风110可以包括各种组件，例如但不限于：用于以模拟形式收集用户声音的麦克风、用于将收集的用户声音放大到预定增益值的AMP电路、用于对放大后的用户声音进行采样并将其转换为数字信号的A/D转换电路、用于从转换后的数字信号中去除噪声的滤波电路等。
例如，根据实施例的麦克风110可以包括第一处理器120。
第一处理器120可以包括各种处理电路，并控制电子装置100的整体操作。
例如，第一处理器120可以但不限于实现为用于处理数字信号的数字信号处理器(DSP)、微处理器、时间控制器(TCON)等。然而，这只是一个示例，并且第一处理器120不限于此。例如，第一处理器 120可以包括但不限于以下中的至少一种：中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、图形处理单元(GPU)、通信处理器(CP)、ARM处理器等，或者可以定义为相应的术语。此外，处理器130可以实现为片上系统(SoC) 或大规模集成(LSI)，或者可以实现为现场可编程门阵列(FPGA) 的形式。此外，第一处理器120可以实现为集成芯片(IC)等。例如，第一处理器120可以实现在麦克风110内部，或者可以实现为与麦克风110分离的组件。
如果第一处理器120通过麦克风110感测到特定频带中的声音信号10，则根据实施例的第一处理器120可以向第二处理器130发送触发信号。
例如，特定频带内的声音信号10可以是100Hz到500Hz的频带内的声音信号。例如，男性的基本话音频带可以是100Hz到150Hz，女性的基本话音频带可以是200Hz到250Hz。根据实施例的第一处理器120可以识别声音信号是否属于特定频带(例如，100Hz至500Hz)，以便识别通过麦克风110感测到的声音信号10是否是符合人的话音的声音信号10。这里，100Hz到500Hz的特定频带只是一个例子，特定频带并不限于此。可以根据制造商的制造目的、用户设置、固件更新等以各种方式设置特定频带。
根据实施例的麦克风110和第一处理器120可以在电子装置100 的低功率模式下保持活动状态，而第二处理器130可以保持非活动状态。
根据实施例，第一处理器120发送给第二处理器130的触发信号可以是用于将第二处理器130从非活动状态转换为活动状态的信号。第二处理器130的活动状态可以是向第二处理器130供电并且第二处理器130能够执行话音识别的状态。
根据实施例的第二处理器130可以基于从第一处理器120接收到的触发信号来执行引导或启动操作。基于正在完成引导操作，第二处理器130可以对麦克风110感测到的声音信号10执行话音识别。当第二处理器130的引导操作完成时，麦克风110感测到的声音信号10 可以不存储在单独的存储空间(例如，存储器)中，而是可以被发送给第二处理器130。因此，需要快速执行第二处理器130的引导操作。
第二处理器130可以包括各种处理电路，并且可以控制与对声音信号10的话音识别相关的整体操作。
例如，第二处理器130可以而不限于实现为用于处理数字信号的数字信号处理器(DSP)、微处理器、时间控制器(TCON)等。然而，这只是一个示例，并且第一处理器120不限于此。例如，第一处理器 120可以包括但不限于以下中的至少一个或多个：中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、图形处理单元(GPU)或通信处理器(CP)、ARM 处理器等，或者可以定义为相应的术语。此外，处理器130可以实现为片上系统(SoC)或大规模集成(LSI)，或者可以实现为现场可编程门阵列(FPGA)。
例如，第二处理器130可以在电子装置100的低功率模式下保持非活动状态。第二处理器130可以基于从第一处理器120接收到的触发信号执行引导操作，并将非活动状态转换为活动状态。
第二处理器130可以通过执行设置在第二处理器130上或第二处理器130中的存储器131中存储的计算机可执行指令来执行各种功能。例如，第二处理器130可以通过执行存储在存储器131中的指令、数据等，来执行引导操作。例如，存储在存储器131中的数据可以包括：引导加载程序、内核数据等。
根据实施例的存储器131可以实现为易失性存储器(例如，动态 RAM(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM) 等)。同时，这只是一个例子，并且存储器131不限于此。例如，存储器131可以实现为以下中的至少一种：闪存(例如，NAND闪存、NOR 闪存等)、硬盘驱动器或固态驱动器(SSD)，并且在可从电子装置100 拆卸的存储器的情况下，存储器131可以实现为存储卡(例如，紧致闪存(CF)、安全数字(SD)、微型安全数字(微型SD)、迷你型安全数字(迷你型SD)、极限数字(xD)、多媒体卡(MMC)等)、可连接到USB端口的外部存储器(例如，USB存储器)等。
根据实施例的存储器131可以加载并存储用于系统引导的指令集，这些指令在第二处理器130的控制下存储在ROM(未示出)中。例如，如果当从第一处理器120接收到触发信号时向第二处理器130供电，则第二处理器130可以根据存储在ROM中的指令复制存储器131中的内核数据、O/S等并执行引导操作。当引导完成时，第二处理器 130可以复制存储器131中用于对声音信号10执行话音识别的各种应用程序，并且通过执行所复制的应用程序来执行话音识别。
为了存储数据，必须持续地向易失性存储器供电。如果切断电源，则存储在易失性存储器中的数据可能会丢失或损坏。即使第二处理器 130根据电子装置100的低功率模式而处于非活动状态时，也可以向根据实施例的存储器131供电。
根据实施例的第二处理器130可以包括用于在第二处理器130处于非活动状态时向存储器131供电的电路。这样的电路可以在第二处理器130处于非活动状态时向存储器131供电，使得保持存储在存储器中的数据。
根据实施例的第二处理器130可以省略基于触发信号根据存储在 ROM中的指令来加载引导数据(例如，引导加载程序、内核数据等) 并将引导数据存储到存储器131中的步骤。
例如，当在第二处理器130处于非活动状态的情况下供电时，存储在易失性存储器中的引导数据不会损坏(或丢失)。当基于触发信号供电时，第二处理器130可以基于存储在易失性存储器131中的引导数据完成引导操作，并对通过麦克风110接收的声音信号10执行话音识别。
根据实施例的电子装置100还可以包括连接到第一处理器120和第二处理器130的控制器(未示出)。当从第一处理器120接收到触发信号时，控制器可以向第二处理器130发送用于激活第二处理器130 的信号，这将参考图4详细描述。
图4是示出了根据实施例的示例性低功率模式的示意图。
根据实施例的控制器(例如，包括处理电路)140可以连接到第一处理器120和第二处理器130。控制器140可以实现为不同于第一处理器120和第二处理器130的各种类型的集成电路。
参考图4，根据实施例的电子装置100可以被配置为在低功率模式下向麦克风110、第一处理器120、控制器140和设置在第二处理器 130上的存储器131供电，并且第二处理器130可以处于非活动状态。
例如，在第二处理器130处于非活动状态并且设置在电子装置100 上的电池等未向第二处理器130供电的情况下，控制器140可以向设置在第二处理器130上的存储器131供电。
当根据实施例的第二处理器130从设置在电子装置100上的第一处理器120接收到触发信号时，可以向第二处理器130供电。
在另一示例中，第二处理器130可以在控制器140的控制下被供电，其中控制器140从第一处理器120接收触发信号。例如，如果当感测到声音信号10时从第一处理器120接收到触发信号，则控制器 140可以向第二处理器130发送用于引导(或者激活)第二处理器130的信号。例如，控制器140可以生成用于向第二处理器130供电的信号，其中该第二处理器130在电子装置100的低功率模式下已被去激活。在另一示例中，控制器140可以将从第一处理器120接收到的触发信号发送给第二处理器130。第二处理器130可以基于从控制器140接收到的触发信号从非活动状态转换为活动状态。
参考图2，根据实施例的第二处理器130可以基于引导数据转换为活动状态，其中即使在电子装置100的低功率模式下引导数据也保持(或存储)在存储器131中，这将参考图5进行详细描述。
图5是示出了根据实施例的向存储器供电的示例的示意图。
参考图5，电子装置100可以基于保留时间和刷新时间防止存储在存储器131中的数据被损坏(或丢失)。
当对易失性存储器的供电被切断或易失性存储器的电源未再充电时，存储在易失性存储器中的数据可能被损坏或丢失。当随着电子装置100的关闭对易失性存储器的供电暂停时，不会保持存储在易失性存储器中的数据。在电子装置100接通期间或第二处理器130的引导操作期间，应当先进行将引导数据加载到存储器131的操作。在第二处理器130将引导数据加载到存储器131之后，执行引导数据和完成引导操作所需的时间可能相对较长。
如果在完成第二处理器130的引导操作之前接收到麦克风110感测到的声音信号10的起点，则会存在如下问题，即，第二处理器130 应仅基于除声音信号10的起点的一部分之外的剩余声音信号10执行话音识别。
即使当第二处理器130处于非活动状态时(或者当电子装置100 处于低功率模式时)，根据实施例的电子装置100也可以通过向设置在第二处理器130上的存储器131供电来防止存储在存储器131中的引导数据被损坏(或丢失)。
参考图5，第二处理器130可以向存储器131供电，使得可以通过执行存储器刷新或RAM刷新操作来保持存储在存储器131中的数据。根据实施例的易失性存储器可以由存储器单元矩阵构成，并且可以具有保留时间以保持存储在每个存储器单元中的数据。易失性存储器可以在保留时间内周期性地执行刷新操作以保持所存储的数据。例如，电子装置100可以通过基于刷新周期时间顺序地施加电压来对构成存储器131的多个存储器单元中的每一个进行充电。即使存储器单元带电，随着时间的流逝，存储器单元也会由于电流泄漏而放电，并且即使在第二处理器131处于非活动状态时，电子装置100也可以周期性地对存储器131执行刷新操作，以防止和/或减少数据被损坏或丢失。
参考图5，如果存储器131中有N个字行，则刷新周期时间可以是刷新时间/N。
根据实施例的存储器131可以包括用于在没有控制器140的情况下或在没有外部电路的控制的情况下执行自刷新操作的电路。存储器 131可以使用自刷新电路周期性地对多个存储器单元中的每一个执行刷新操作，并在电子装置100的低功率模式下保持存储在存储器131 中的数据。
参考图2，根据实施例的电子装置100还可以包括包含电路的通信接口(未示出)。如果电子装置100实现为遥控器以控制外部设备 200，则第二处理器130可以对声音信号10执行话音识别，并且可以控制通信接口将基于话音识别获得的用户命令发送给外部设备200，这将在下面参照图6进行更详细的描述。
图6是示出了根据实施例的电子装置的示例性操作的示意图。
参考图6，电子装置100可以实现为用于控制诸如电视等外部设备200的遥控器。应当理解，这只是一个示例，并且电子装置100可以实现为各种类型的设备，例如，与外部设备200执行通信的AI扬声器、用户终端设备等。
当感测到声音信号10时，电子装置100可以使用第二处理器130 对声音信号10执行话音识别，并且可以从所识别的话音获得用户命令。根据实施例，如果感测到声音信号10，则即使在低功率模式下也保持其活动状态的第一处理器120可以向第二处理器130发送触发信号，并且第二处理器130可以基于存储在存储器131中的引导数据来完成引导。第二处理器130可以对声音信号10执行话音识别。
根据实施例的第二处理器130可以基于话音识别获得与声音信号 10相对应的文本，并且可以基于所获得的文本获得用户命令。例如，第二处理器130可以通过亲自对声音信号10进行话音识别来获得文本 (例如，调高电视音量)。例如，第二处理器130可以通过应用例如话音到文本(STT)功能，来获得与声音信号10相对应的文本信息。第二处理器130可以控制通信接口向外部设备200发送与文本相对应的用于控制外部设备200的用户命令。
在另一示例中，第二处理器130可以控制通信接口将声音信号10 发送给执行话音识别的外部服务器。第二处理器130可以控制通信接口将从外部服务器接收到的用户命令发送给外部设备200。在另一示例中，外部服务器300(例如，参见图7)可以通过应用STT对从电子装置100接收到的声音信号10进行转换，并将转换后的文本发送给电子装置100。第二处理器130可以控制通信接口将与文本相对应的用户命令(或控制信号)发送给外部设备200。
根据另一实施例(例如，参见图7)，可以假设电子装置100在与执行话音识别的外部服务器300的通信方面受到限制。在这种情况下，电子装置100可以与外部设备200通信，并且通过外部设备200获得与声音信号10相对应的用户命令。例如，电子装置100可以将声音信号10或与声音信号20相对应的文本发送给外部设备200。外部设备200可以通过与外部服务器300进行通信来获得与声音信号10相对应的用户命令，或者获得与接收到的文本相对应的用户命令。外部设备 200可以根据获得的用户命令来操作。即使电子装置100在与外部服务器300的通信方面受到限制，电子装置100也可以向外部设备200 发送第二声音信号20和控制命令，使得外部设备200从外部服务器获得与声音信号20相对应的用户命令。
例如，用户命令可以是用于控制外部电子装置的命令(或控制信号)。例如，如果获得的文本是用于进入话音识别模式的触发词，则电子装置100可以进入话音识别模式或向外部设备200发送用于允许外部设备200进入话音识别模式的控制命令。
例如，话音识别模式可以指用于利用用户发出的语音控制电子装置100、外部设备200等的模式。例如，电子装置100或外部设备200 可以不由设置在电子装置100上的按钮等控制，而是在电子装置100 进入话音识别模式时基于用户语音来控制。
触发词也可以称为唤醒词等。以下称为触发词，以便于解释。触发词可以在电子装置100的制造阶段预没，或者可以根据用户的设置来执行诸如添加、删除等的编辑。在另一示例中，可以通过固件更新等来改变或添加触发词。此外，触发词可以是用于激活话音识别模式的四个音节的预设词，但不限于此。
参考图2，如果识别出在声音信号10中包括触发词，则第二处理器130可以进入话音识别模式。第二处理器130可以将接收到的声音信号发送给执行话音识别的外部服务器，这将在下面参照图7进行更详细的描述。
图7是示出了根据实施例的与外部设备进行通信的电子装置的示意图。
参考图7，根据实施例的第二处理器130基于触发信号转换到活动状态，并且可以对声音信号10执行话音识别。如果识别出声音信号 10中包含触发词(例如，“嗨，三星”)，则第二处理器130可以进入话音识别模式。
根据实施例的第二处理器130可以将接收到的声音信号发送给外部服务器300，并从外部服务器300接收与该声音信号相对应的用于控制电子装置100或外部设备200的控制命令。
例如，如果接收到包括触发词的声音信号10和与用于控制外部设备200的发出的语音相对应的声音信号20，则第二处理器130可以基于声音信号10包括触发词而进入话音识别模式，并将与发出的语音相对应的声音信号20发送给外部服务器300。电子装置100可以从外部服务器300接收与用于控制外部设备200的发出的语音相对应的控制命令。电子装置100可以将该控制命令发送给外部设备200。
这只是一个示例，并且实施例不限于此。例如，处理器130可以通过应用例如话音到文本(STT)功能，来获得声音信号10、20中所包含的文本信息。随后，可以获得与所获得的文本信息相对应的控制命令。
在另一示例中，第二处理器130可以将声音信号10、20发送给外部服务器300，并从外部服务器300接收与声音信号10、20相对应的文本信息。随后，第二处理器130可以获得与从外部服务器300接收到的文本信息相对应的控制命令，并将所获得的控制命令发送给外部设备200。
图3是示出了根据实施例的示例性电子装置的示例性配置的框图。
参考图3，根据实施例的电子装置可以包括麦克风110、第一处理器(例如，包括处理电路)120、第二处理器(例如，包括处理电路) 130、控制器(例如，包括处理电路)140、存储设备150、通信接口 (例如，包括通信电路)160、用户接口(例如，包括接口电路)170、以及输入/输出接口(例如，包括输入/输出电路)180。
图3中的组件中与图2所示的组件重叠的组件的详细描述在此不再赘述。
麦克风110被配置为检测声音并将声音转换成电信号。根据实施例的麦克风110可以例如包括但不限于放大器，并且基于预定增益值放大(或减小)信号。
例如，根据实施例的麦克风110可以实现为利用压电效应的压电麦克风或晶体麦克风。例如，压电效应可以指当振膜根据声波的振动而振动时，在晶体的前表面和后表面上产生正(+)电极和负(-)电极的效应。这只是一个示例，压电效应并不限于此。例如，麦克风110 可以实现为利用俘获方法的麦克风110。
第二处理器130可以包括各种处理电路，并控制电子装置100的整体操作。例如，第二处理器130可以驱动操作系统和应用来控制连接到第二处理器130的多个硬件或软件组件，并且可以执行各种数据处理和操作。第二处理器130使用存储在存储设备150中的各种程序来控制电子装置100的整体操作。例如，第二处理器130可以对接收到的声音信号10执行话音识别。
第二处理器130可以包括：存储器131、ROM 132、主CPU 133、第一接口134-1至第n接口134-n和总线135。
存储器131、ROM 132、主CPU 133和第一接口134-1至第n接口134-n可以通过总线135相连。
ROM 132可以存储用于系统引导的命令集。当输入接通命令并供电时，主CPU 133根据ROM 132中存储的命令，将存储在存储设备 150中的O/S复制到存储器131，并执行O/S以引导系统。如果引导完成，则主CPU 133将存储在存储设备150中的各种应用程序复制到存储器131，并执行复制到存储器131中的应用程序，从而执行各种操作。第二处理器130可以通过执行刷新操作来保持存储在存储器131 中的引导数据。在这种情况下，第二处理器130可以基于存储在存储器131中的引导数据来执行引导。
主CPU 133访问存储器131以使用存储在存储器131中的OS执行引导。此外，CPU133可以使用存储在存储设备150中的各种程序、内容数据等来执行各种操作。
第一接口134-1至第n接口134-n与上述各种组件相连。上述接口之一可以是经由网络连接到外部设备的网络接口。
第二处理器130可以执行图形处理功能(视频处理功能)。例如，第二处理器130使用计算器(未显示)和渲染器(未显示)生成包括各种对象(例如，图标、图像、文本等)的屏幕。操作器(未示出) 可以基于接收到的控制指令，根据屏幕的布局来操作属性值，例如，将表示每个对象的坐标值、形状、大小和颜色。渲染器(未示出)可以基于操作器(未示出)所操作的属性值生成包含对象的各种布局的屏幕。此外，第二处理器130可以对音频数据执行各种图像处理过程，例如，解码、缩放、噪声滤波、帧速率转换和分辨率转换。
第二处理器130可以对音频数据执行处理。例如，第二处理器130 可以对音频数据执行各种处理，这些处理例如是但不限于：解码、放大、噪声滤波等。
存储设备150可以存储各种数据，例如，用于驱动电子装置100 的操作系统(O/S)软件模块、以及诸如各种多媒体内容的各种数据。
存储设备150可以以内部存储器的形式实现，内部存储器例如是包含在处理器中的ROM(例如，电可擦除可编程只读存储器 (EEPROM))、RAM等，或者可以实现为与处理器120分离的存储器。在这种情况下，存储设备150可以根据数据存储用途，以嵌入在电子装置100中的存储器的形式实现，或者可以以可从电子装置100 拆卸的存储器的形式实现。例如，在用于驱动电子装置100的数据的情况下，该数据可以存储在嵌入在电子装置100中的存储器中，而在用于扩展电子装置100的功能的数据的情况下，该数据可以存储在可从电子装置100拆卸的存储器中。同时，嵌入在电子装置中的存储器可以实现为以下中的至少一种：易失性存储器(例如，动态RAM (DRAM)、静态RAM(SRAM)或同步动态RAM(SDRAM)等)、或者非易失性存储器(例如，一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程 ROM(EEPROM)、掩模ROM、闪存ROM、闪存(例如，NAND闪存或NOR闪存等)、硬盘驱动器或固态驱动器(SSD)。可从电子装置上拆卸的存储器可以包括：存储卡(例如，紧致闪存(CF)、安全数字(SD)、微型安全数字(微型SD)、迷你型安全数字(迷你型SD)、极限数字(xD)、多媒体卡(MMC)等)、可以连接到USB端口的外部存储器(例如，USB存储器)等。
例如，存储设备150可以存储用于执行噪声滤波和回声消除的噪声提取算法。处理器130可以使用噪声提取算法提取声音信号10中的噪声，并对声音信号10执行话音识别。
通信接口160可以包括各种通信电路，并且被配置为根据各种类型的通信方法来与各种类型的外部设备进行通信。通信接口160可以包括包含各种通信电路的各种模块，例如但不限于：WiFi模块161、蓝牙模块162、红外通信模块163、无线通信模块164、有线通信模块 165等。第二处理器130可以使用通信接口160与各种外部设备进行通信。例如，外部设备200可以包括但不限于诸如电视的显示设备、诸如机顶盒的图像处理设备、诸如外部服务器的控制设备、遥控器、诸如蓝牙扬声器的音频输出设备、诸如照明设备的家用电器、智能清洁器、智能冰箱、诸如IoT家庭管理器的服务器等。
WiFi模块161和蓝牙模块162分别根据WiFi方法和蓝牙方法执行通信。在使用WiFi方法或蓝牙方法的情况下，可以首先发送/接收诸如SSID和会话密钥之类的各种连接信息以用于通信连接，然后可以发送/接收各种信息。
红外通信模块163根据红外数据协会(IrDA)技术执行通信，该 IrDA技术使用可见光与毫米波之间的红外线进行短距离无线数据传输。
无线通信模块164可以包括至少一个通信芯片，该通信芯片根据各种无线通信标准执行通信，无线通信标准例如是zigbee、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、高级LTE(LTE-A)、第四代(4G)、第五代(5G)等。
此外，通信接口160可以包括有线通信模块165中的至少一个，该有线通信模块165使用局域网(LAN)模块或以太网模块中的至少一个、以及双绞线、同轴电缆、光纤电缆中的至少一个等进行通信。
根据实施例的通信接口160可以使用相同的通信模块(例如，WiFi 模块)与外部设备(例如，遥控器)和外部服务器通信。
根据实施例的通信接口160可以使用不同的通信模块(例如，WiFi 模块)与外部设备(例如，遥控器)和外部服务器通信。例如，通信接口160可以使用以太网模块或WiFi模块中的至少一个与外部服务器通信，并且使用BT模块与诸如遥控器的外部设备通信。然而，这只是一个示例，并且如果通信接口160与多个外部设备或外部服务器通信，则它可以使用各种通信模块中的至少一个通信模块。
根据实施例，通信接口160可以与诸如遥控器之类的外部设备和外部服务器进行通信。例如，通信接口160可以从包括麦克风的外部设备接收用户发出的语音。在这种情况下，根据实现的实施例，接收到的用户发出的语音或语音信号可以是数字语音信号，但是也可以是模拟语音信号。例如，电子装置可以通过诸如蓝牙、WiFi等无线通信方法接收用户语音信号。外部设备可以实现为遥控器或智能电话。根据实施例，外部设备可以根据制造商的目的或在用户的控制下安装或移除用于控制电子装置100的应用。例如，智能电话可以安装用于控制电子装置100的远程控制应用。通过设置在智能电话上的麦克风接收用户语音，并可以通过远程控制应用获得与所接收的用户语音相对应的控制信号，并将该控制信号发送给电子装置100。这只是一个示例，实施例不必限于此。例如，智能电话可以将麦克风接收到的用户语音发送给话音识别服务器，从话音识别服务器获得与用户语音相对应的控制信号，并将获得的控制信号发送给电子装置100。
电子装置100可以将相应的语音信号发送给外部服务器，以对从外部设备接收到的语音信号执行话音识别。通信接口160可以与外部服务器进行通信，以接收通过麦克风110收集的声音信号的属性信息、声音信号中包含的文本信息等。
用于与外部设备和外部服务器通信的通信模块可以实现为一个模块或者可以单独地实现。例如，可以使用蓝牙模块与外部设备进行通信，并且可以使用以太网调制解调器或WiFi模块与外部服务器进行通信。
根据实施例的电子装置100可以将接收到的数字语音信号和声音信号发送给话音识别服务器。话音识别服务器可以使用STT将声音信号转换成文本信息。话音识别服务器可以将文本信息发送给另一服务器或电子装置以执行与文本信息相对应的搜索，并且在某些情况下可以直接执行搜索。
用户接口170可以包括各种接口电路，例如但不限于：按钮、触摸板、鼠标和键盘等，或者可以实现为还可以执行显示功能和操纵输入功能的触摸屏。按钮可以包括各种类型的按钮，例如但不限于：在主体外部的正面、侧面或背面上形成的机械按钮、触摸板、滚轮等。
输入/输出接口180可以包括各种输入/输出电路，例如但不限于以下中的一个：高清多媒体接口(HDMI)、移动高清链路(MHL)、通用串行总线(USB)、显示端口(DP)、雷电接口(Thunderbolt)、视频图形阵列(VGA)端口、RGB端口、D-超小型(D-SUB)、数字视觉接口(DVI)等。
输入/输出接口180可以输入/输出视频信号和音频信号中的至少一个。
根据实施例，输入/输出接口180可以单独地包括仅用于输入/输出音频信号的端口和仅用于输入/输出视频信号的端口，或者可以实现为用于输入/输出音频信号和视频信号二者的一个端口。同时，电子装置100可以实现为不包括显示器的设备，并且可以向单独的显示设备发送图像信号。
显示器(未示出)可以实现为各种类型的显示器，例如但不限于：液晶显示器(LCD)、有机发光二极管(OLED)显示器、等离子显示器面板(PDP)等。显示器可以包括驱动电路、背光单元等，其可以以非晶硅TFT、低温多晶硅(LTPS)TFT、有机TFT(OTFT)等的形式实现。同时，显示器可以实现为与触摸传感器、柔性显示器、3D 显示器等相结合的触摸屏。
此外，根据实施例，显示器不仅可以包括用于输出图像的显示面板，而且还可以包括用于容纳显示面板的边框。例如，根据实施例的边框可以包括用于感测用户交互的触摸传感器(未示出)。
扬声器(未示出)执行输出音频信号的功能。例如，扬声器可以包括至少一个扬声器单元(或音频放大器)。
例如，扬声器可以包括低音扬声器、中音扬声器和高音扬声器中的至少一个。然而，扬声器不限于此，并且可以使用多个扬声器输出各种声带的声音信号。
根据实施例，电子装置100还可以包括调谐器和解调器。
调谐器(未示出)可以通过调谐用户选择的信道来接收经由天线或者预先存储的所有信道接收的射频(RF)广播信号中的RF广播信号。
解调器(未示出)可以接收并解调由调谐器转换的数字IF信号 (DIF)，并执行信道解码。
图8是示出了根据实施例的控制电子装置的示例性方法的流程图。
参考图8，控制电子装置的方法包括：基于在低功率模式下通过麦克风感测到特定频带的声音信号，通过第一处理器向第二处理器发送触发信号，以激活第二处理器(S810)，该电子装置包括：麦克风、用于在电子装置的低功率模式下保持活动状态的第一处理器、以及用于在低功率模式下保持非活动状态的第二处理器。
基于触发信号根据存储在第二处理器的存储器中的数据来激活第二处理器(S820)。
通过第二处理器对麦克风接收到的声音执行话音识别(S830)。存储器可以是在电子装置的低功率模式下被供电的存储器。
根据实施例的存储器是易失性存储器，并且第二处理器可以包括用于在非活动状态下向存储器供电的电路。根据实施例的控制方法还可以包括在第二处理器处于非活动状态时通过电路向存储器供电，使得保持存储器中存储的数据。
存储在存储器中的数据可以是用于将第二处理器转换为活动状态的引导数据。
此外，向第二处理器发送触发信号的步骤S810可以包括：基于接收到触发信号，通过连接到第一处理器和第二处理器的控制器向第二处理器发送用于激活第二处理器的信号。
根据实施例的方法可以包括在低功率模式下通过控制器向存储器供电。
此外，特定频带的声音信号可以是100Hz到500Hz的声音信号。
根据实施例的麦克风可以实现为压电麦克风或晶体麦克风之一。
根据实施例的电子装置可以包括用于执行噪声滤波和回声消除的噪声提取算法，并且执行话音识别的步骤S830可以包括使用噪声提取算法提取声音信号中的噪声，并执行话音识别。
根据实施例的电子装置可以是用于远程控制外部设备的遥控器，并且根据实施例的控制方法可以包括将基于话音识别获得的用户命令发送给外部设备。
根据实施例的方法可以包括：基于识别出声音信号中包括触发词，进入话音识别模式并将接收到的声音信号发送给执行话音识别的外部服务器。
根据上述各种示例性实施例的方法可以以可安装在现有电子装置中的应用的形式实现。
此外，根据上述各种示例性实施例的方法可以通过现有电子装置的软件升级或硬件升级来实现。
此外，可以通过包含在电子装置中的嵌入式服务器或者电子装置的至少一个外部服务器以及显示设备来执行上述各种示例性实施例。
同时，根据实施例，上述各种示例性实施例可以实现为包括存储在存储介质中的一个或多个指令的软件，该存储介质可以被机器(例如，计算机)读取。例如，机器可以从存储介质中调用所存储的一个或多个指令中的至少一个指令并根据该指令执行操作，并且可以包括根据实施例的电子装置。当指令在处理器的控制下执行时，处理器可以直接或使用处理器控制下的其他组件来执行与该指令相对应的功能。一个或多个指令可以包括由编译器编写的代码或可由解释器执行的代码。可以由机器读取的存储介质可以以非暂时性存储介质的形式提供。这里，“非暂时性”存储介质是有形设备且不包括信号，并且该术语不用于区分在存储介质中半永久性地存储数据的情况和临时存储数据的情况。
根据实施例，根据各种实施例的方法可以包括在计算机程序产品中并在其中提供。计算机程序产品可以作为产品在买卖双方之间进行交易。计算机程序产品可以以机器可以读取的存储介质(例如，紧致盘只读存储器(CD-ROM))的形式分发，或可以通过应用商店(例如， PlayStoreTM)在线分发(例如，下载或上传)，或者直接在两个用户设备之间分发。在在线分发的情况下，计算机程序产品的至少一部分可以至少临时存储在存储介质(例如，制造商的服务器、应用商店的服务器或中继服务器的存储器)中，或者可以临时生成。
此外，根据示例性实施例，计算机或类似设备可以使用软件、硬件或其组合来读取上述各种实施例。其可以在记录介质中实现。在一些情况下，本文描述的实施例可以由处理器本身实现。根据软件实现，本文描述的诸如过程和功能等的实施例可以实现为单独的软件模块。每个软件模块可以执行本文描述的一个或多个功能和操作。
同时，用于执行根据上述各种实施例的设备的处理操作的计算机指令可以存储在非暂时性计算机可读介质中。存储在非暂时性计算机可读介质中的计算机指令在由特定设备的处理器执行时，允许特定设备执行根据上述各种实施例的设备中的处理操作。
根据各示例性实施例的各组件(例如，模块或程序)可以包括单个实体或多个实体，并且可以省略上面描述的一些对应的子组件，或者可以将另一子组件进一步添加到各种示例性实施例中。备选地或另外，一些组件(例如，模块或程序)可以组合以形成单个实体，该实体执行与这些组件在被组合之前的功能相同或相似的功能。根据各种示例性实施例由模块、程序或其他组件执行的操作可以是顺序的、并行的、或者两者并存的，迭代地或启发式地执行，或者至少一些操作可以以不同的顺序执行，至少一些操作可以被省略，或者可以添加其他操作。
上述示例性实施例和优点仅仅是示例，而不应理解为限制本公开。本教导可以容易地应用于其他类型的设备。本公开的示例性实施例的描述意在说明而不是限制权利要求的范围，并且许多替代、修改和变化对于本领域技术人员来说是显而易见的。

Claims (15)

1.一种电子装置，包括：
麦克风；
第一处理器，可操作地耦合到所述麦克风，并被配置为在所述电子装置的低功率模式下保持活动状态；以及
第二处理器，被配置为在所述低功率模式下保持非活动状态；
其中，所述第一处理器被配置为：基于在所述低功率模式下通过所述麦克风感测到特定频带内的声音信号，控制所述电子装置向所述第二处理器发送触发信号以激活所述第二处理器，并且
所述第二处理器包括被配置为在所述低功率模式下接收电力的存储器，所述第二处理器被配置为基于所述触发信号根据存储在所述存储器中的数据被激活，并对从所述麦克风接收到的声音信号执行话音识别。
2.根据权利要求1所述的装置，其中，所述存储器包括易失性存储器，
其中所述第二处理器包括被配置为在所述非活动状态下向所述存储器供电的电路。
3.根据权利要求2所述的装置，其中，存储在所述存储器中的数据包括用于将所述第二处理器转换为活动状态的引导数据。
4.根据权利要求1所述的装置，还包括：
控制器，连接到所述第一处理器和所述第二处理器，
其中，所述控制器被配置为基于接收到所述触发信号向所述第二处理器发送信号以激活所述第二处理器。
5.根据权利要求4所述的装置，其中，所述控制器被配置为在所述低功率模式下向所述存储器供电。
6.根据权利要求1所述的装置，其中，所述特定频带是100Hz至500Hz的频带。
7.根据权利要求1所述的装置，其中，所述麦克风包括压电麦克风或晶体麦克风之一。
8.根据权利要求1所述的装置，还包括：
存储设备，被配置为存储用于执行噪声滤波和回声抵消的噪声提取算法，
其中所述第二处理器被配置为基于使用所述噪声提取算法提取出所述声音信号中的噪声来执行所述话音识别。
9.根据权利要求1所述的装置，还包括：
包括电路的通信接口，
其中所述电子装置包括遥控器，所述遥控器被配置为控制外部设备，并且
所述第二处理器被配置为控制所述通信接口将基于所述话音识别获得的用户命令发送给所述外部设备。
10.根据权利要求1所述的装置，还包括：
包括电路的通信接口，
其中所述第二处理器被配置为：基于识别出所述声音信号包括触发词，进入话音识别模式并控制所述通信接口将接收到的声音信号发送给执行所述话音识别的外部服务器。
11.一种控制电子装置的方法，所述电子装置包括麦克风、第一处理器和第二处理器，所述第一处理器可操作地耦合到所述麦克风并被配置为在所述电子装置的低功率模式下保持活动状态，并且所述第二处理器被配置为在所述低功率模式下保持非活动状态，所述方法包括：
基于在所述低功率模式下通过所述麦克风感测到特定频带中的声音信号，向所述第二处理器发送触发信号以激活所述第二处理器；
基于所述触发信号根据设置在所述第二处理器中的存储器中存储的数据来激活所述第二处理器；以及
通过所述第二处理器对从所述麦克风接收到的所述声音信号执行话音识别，
其中，所述存储器是在所述电子装置的低功率模式下被供电的。
12.根据权利要求11所述的方法，其中，所述存储器包括易失性存储器，并且
所述第二处理器包括被配置为在所述非活动状态下向所述存储器供电的电路，
所述方法还包括：
在所述第二处理器处于非活动状态时，通过所述电路向所述存储器供电，以保持所述存储器中存储的数据。
13.根据权利要求12所述的方法，其中，存储在所述存储器中的数据包括用于将所述第二处理器转换为活动状态的引导数据。
14.根据权利要求11所述的方法，其中，向所述第二处理器发送触发信号包括：通过连接到所述第一处理器和所述第二处理器的控制器基于接收到所述触发信号向所述第二处理器发送信号以激活所述第二处理器。
15.根据权利要求14所述的方法，包括：
在所述低功率模式下通过所述控制器向所述存储器供电。
CN201911425722.0A 2019-01-03 2019-12-31 电子装置及其控制方法 Pending CN111402871A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190000938A KR20200084730A (ko) 2019-01-03 2019-01-03 전자 장치 및 이의 제어 방법
KR10-2019-0000938 2019-01-03

Publications (1)

Publication Number Publication Date
CN111402871A true CN111402871A (zh) 2020-07-10

Family

ID=69005542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911425722.0A Pending CN111402871A (zh) 2019-01-03 2019-12-31 电子装置及其控制方法

Country Status (5)

Country Link
US (1) US20200219504A1 (zh)
EP (1) EP3677991B1 (zh)
KR (1) KR20200084730A (zh)
CN (1) CN111402871A (zh)
WO (1) WO2020141769A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022068544A1 (zh) * 2020-09-29 2022-04-07 华为技术有限公司 语音唤醒方法、电子设备及芯片系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192518B (zh) * 2021-04-14 2023-03-17 上海交通大学 毫米波侦听方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6397186B1 (en) * 1999-12-22 2002-05-28 Ambush Interactive, Inc. Hands-free, voice-operated remote control transmitter
US20120136655A1 (en) * 2010-11-30 2012-05-31 JVC KENWOOD Corporation a corporation of Japan Speech processing apparatus and speech processing method
US20140163978A1 (en) * 2012-12-11 2014-06-12 Amazon Technologies, Inc. Speech recognition power management
CN104144377A (zh) * 2013-05-09 2014-11-12 Dsp集团有限公司 话音激活设备的低功率激活
CN105283836A (zh) * 2013-07-11 2016-01-27 英特尔公司 利用相同的音频输入的设备唤醒和说话者验证
CN105632491A (zh) * 2014-11-26 2016-06-01 三星电子株式会社 用于语音识别的方法和电子装置
US20160171976A1 (en) * 2014-12-11 2016-06-16 Mediatek Inc. Voice wakeup detecting device with digital microphone and associated method
CN105723451A (zh) * 2013-12-20 2016-06-29 英特尔公司 从低功率始终侦听模式到高功率语音识别模式的转换
CN106104675A (zh) * 2013-12-18 2016-11-09 思睿逻辑国际半导体有限公司 激活语音处理
US20170123814A1 (en) * 2015-10-30 2017-05-04 Samsung Electronics Co., Ltd. Nonvolatile memory device for providing fast booting and system including the same
CN106714023A (zh) * 2016-12-27 2017-05-24 广东小天才科技有限公司 一种基于骨传导耳机的语音唤醒方法、系统及骨传导耳机
WO2017147428A1 (en) * 2016-02-25 2017-08-31 Dolby Laboratories Licensing Corporation Capture and extraction of own voice signal

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4517303B2 (ja) * 2006-12-28 2010-08-04 ソニー株式会社 情報処理装置、起動方法、およびプログラム
JP5994157B2 (ja) * 2011-07-26 2016-09-21 マーベル ワールド トレード リミテッド 即座にｏｎになるゼロ電力のハイバーネイトモード
US20190304460A1 (en) * 2012-10-30 2019-10-03 Google Technology Holdings LLC Voice control user interface with progressive command engagement
US10395651B2 (en) * 2013-02-28 2019-08-27 Sony Corporation Device and method for activating with voice input
KR20150051776A (ko) * 2013-11-05 2015-05-13 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
US10591980B2 (en) * 2015-01-02 2020-03-17 Mentor Graphics Corporation Power management with hardware virtualization
KR102346302B1 (ko) * 2015-02-16 2022-01-03 삼성전자 주식회사 전자 장치 및 음성 인식 기능 운용 방법
US9710045B2 (en) * 2015-10-14 2017-07-18 Quanta Computer Inc. Managing network wake-up commands
US10651827B2 (en) * 2015-12-01 2020-05-12 Marvell Asia Pte, Ltd. Apparatus and method for activating circuits
CN107422934B (zh) * 2016-05-23 2020-04-28 华为终端有限公司 一种图标的设置方法及电子设备
CN106157950A (zh) * 2016-09-29 2016-11-23 合肥华凌股份有限公司 语音控制系统及其唤醒方法、唤醒装置和家电、协处理器
KR20180084392A (ko) * 2017-01-17 2018-07-25 삼성전자주식회사 전자 장치 및 그의 동작 방법
US20180293221A1 (en) * 2017-02-14 2018-10-11 Microsoft Technology Licensing, Llc Speech parsing with intelligent assistant
US10572270B1 (en) * 2017-03-03 2020-02-25 Amazon Technologies, Inc. Wakeup from hibernation state using motion sensor
US10547729B2 (en) * 2017-03-27 2020-01-28 Samsung Electronics Co., Ltd. Electronic device and method of executing function of electronic device
US20210089103A1 (en) * 2018-01-31 2021-03-25 Hewlett-Packard Development Company, L.P. Changing power states

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6397186B1 (en) * 1999-12-22 2002-05-28 Ambush Interactive, Inc. Hands-free, voice-operated remote control transmitter
US20120136655A1 (en) * 2010-11-30 2012-05-31 JVC KENWOOD Corporation a corporation of Japan Speech processing apparatus and speech processing method
US20140163978A1 (en) * 2012-12-11 2014-06-12 Amazon Technologies, Inc. Speech recognition power management
CN104144377A (zh) * 2013-05-09 2014-11-12 Dsp集团有限公司 话音激活设备的低功率激活
CN105283836A (zh) * 2013-07-11 2016-01-27 英特尔公司 利用相同的音频输入的设备唤醒和说话者验证
CN106104675A (zh) * 2013-12-18 2016-11-09 思睿逻辑国际半导体有限公司 激活语音处理
CN105723451A (zh) * 2013-12-20 2016-06-29 英特尔公司 从低功率始终侦听模式到高功率语音识别模式的转换
CN105632491A (zh) * 2014-11-26 2016-06-01 三星电子株式会社 用于语音识别的方法和电子装置
US20160171976A1 (en) * 2014-12-11 2016-06-16 Mediatek Inc. Voice wakeup detecting device with digital microphone and associated method
US20170123814A1 (en) * 2015-10-30 2017-05-04 Samsung Electronics Co., Ltd. Nonvolatile memory device for providing fast booting and system including the same
WO2017147428A1 (en) * 2016-02-25 2017-08-31 Dolby Laboratories Licensing Corporation Capture and extraction of own voice signal
CN106714023A (zh) * 2016-12-27 2017-05-24 广东小天才科技有限公司 一种基于骨传导耳机的语音唤醒方法、系统及骨传导耳机

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022068544A1 (zh) * 2020-09-29 2022-04-07 华为技术有限公司 语音唤醒方法、电子设备及芯片系统

Also Published As

Publication number Publication date
KR20200084730A (ko) 2020-07-13
EP3677991B1 (en) 2021-04-21
US20200219504A1 (en) 2020-07-09
WO2020141769A1 (en) 2020-07-09
EP3677991A1 (en) 2020-07-08

Similar Documents

Publication Publication Date Title
US10909946B2 (en) Low power driving method and electronic device performing thereof
KR102264710B1 (ko) 디스플레이 구동 방법, 디스플레이 구동 회로, 이를 포함하는 전자 장치
US10963211B2 (en) Electronic device and method for controlling audio path thereof
CN105573697B (zh) 可拆卸的电子设备及其操作方法
KR102394485B1 (ko) 음성 인식을 위한 전자 장치 및 방법
CN108574322B (zh) 基于电池的电压的充电控制方法和电子设备
US11449672B2 (en) Method for operating speech recognition service and electronic device and server for supporting the same
US20160027146A1 (en) Display driver, display system, and method of operating the display driver
CN107407951B (zh) 电子设备及其电池信息提供方法
CN107111443B (zh) 电子设备及其显示方法
KR102540111B1 (ko) 전자 장치 및 전자 장치의 동작 방법
CN107800865B (zh) 电子设备和在低功率状态下显示时间信息的方法
US10216244B2 (en) Electronic device and method for controlling the same
KR102305765B1 (ko) 전자 장치 및 전자 장치에서의 디스플레이 제어 방법
US11467642B2 (en) Electronic apparatus and controlling method thereof
US11972762B2 (en) Electronic apparatus and controlling method thereof
KR102557935B1 (ko) 전자 장치 및 전자 장치의 디스플레이 제어 방법
EP3677991B1 (en) Apparatus and method for transition from low power always listening mode to high power speech recognition mode
US10574077B2 (en) Method for charging electronic device, electronic device, and storage medium
KR20160111786A (ko) 전자 장치의 절전 방법 및 장치
CN112113305A (zh) 线控器、线控设备、空调器及线控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination