CN112150778A - 环境音处理方法及相关装置 - Google Patents
环境音处理方法及相关装置 Download PDFInfo
- Publication number
- CN112150778A CN112150778A CN201910581121.2A CN201910581121A CN112150778A CN 112150778 A CN112150778 A CN 112150778A CN 201910581121 A CN201910581121 A CN 201910581121A CN 112150778 A CN112150778 A CN 112150778A
- Authority
- CN
- China
- Prior art keywords
- user
- sound
- head
- electronic device
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007613 environmental effect Effects 0.000 title claims description 30
- 238000003672 processing method Methods 0.000 title claims description 11
- 230000005236 sound signal Effects 0.000 claims abstract description 100
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000004891 communication Methods 0.000 claims description 58
- 230000006854 communication Effects 0.000 claims description 58
- 230000006399 behavior Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 59
- 238000012545 processing Methods 0.000 description 28
- 238000007726 management method Methods 0.000 description 19
- 230000001133 acceleration Effects 0.000 description 15
- 238000010295 mobile communication Methods 0.000 description 15
- 230000004044 response Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 12
- 210000000988 bone and bone Anatomy 0.000 description 10
- 230000008901 benefit Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000001413 cellular effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 230000008447 perception Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000036760 body temperature Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- JLGLQAWTXXGVEM-UHFFFAOYSA-N triethylene glycol monomethyl ether Chemical compound COCCOCCOCCO JLGLQAWTXXGVEM-UHFFFAOYSA-N 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/725—Cordless telephones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Telephone Function (AREA)
Abstract
本申请公开了一种环境音处理方法及相关装置,在该方法中,用户在佩戴头戴式设备时,电子设备或者头戴式设备可以确定用户当前所处的场景,并根据用户当前所处的场景确定该场景下的预设环境音;当采集到的外界环境的声音信号与该场景下的预设环境音匹配时,电子设备或者头戴式设备可以输出外界环境的声音信号或者输出提示信息,以使得用户能够感知外界环境,从而做出对应的反应,进而提高用户使用头戴式设备的安全性。
Description
技术领域
本申请涉及终端及通信技术领域,特别涉及环境音处理方法及相关装置。
背景技术
随着可穿戴设备技术的发展,蓝牙耳机及降噪耳机因其音效好及便携性越来越受到人们的欢迎。然而,用户在佩戴耳机时,无法听清外界声音,尤其是降噪耳机对外界环境音中的所有声音,甚至是用于提醒用户的汽车喇叭、报警声音进行了抵消,如此,为用户带来了一定的危险性。
耳机屏蔽环境音后,用户无法感知外界环境,这并不是用户所希望的。用户在佩戴耳机时,需要感知外界环境,从而做出对应的反应。并且,在不同的场景下,用户对于外界环境的感知需求不同。例如,用户佩戴耳机行走在马路上时,需要获知路上是否有车辆、车辆的方向,避免可能的安全隐患。又例如,当用户佩戴耳机在客厅时,需要获知是否有来客。如何满足在不同场景下,用户对于外界环境的感知需求,是当前需要解决的技术问题。
发明内容
本申请提供了环境音处理方法及相关装置,可以满足用户在不同场景下对于外界环境的感知需求,从而使用户做出对应的反应。
上述目标和其他目标将通过独立权利要求中的特征来达成。进一步的实现方式在从属权利要求、说明书和附图中体现。
第一方面,本申请提供了一种环境音处理方法,该方法可包括:头戴式设备确定用户当前所处的场景;所述头戴式设备根据所述用户当前所处的场景采集外界环境的声音信号;所述采集到的所述声音信号与当前场景对应的预设环境音匹配时,所述头戴式设备输出所述外界环境的声音信号或输出提示信息。
第一方面所描述的技术方案,可使得在用户有感知外界环境的需求的情况下,输出外界环境的声音信号或者输出提示信息以对用户进行提醒,使得用户能够留意外界环境,从而做出对应的反应。
根据第一方面,在一种可能的实现方式中,所述头戴式设备确定用户当前所处的场景,包括以下一项或多项:所述头戴式设备根据用户当前的位置信息确定用户当前所处的场景;或者,所述头戴式设备根据用户的行为体征信息确定用户当前所处的场景;或者,所述头戴式设备根据所识别到的语音内容确定用户当前所处的场景。如此,头戴式设备可以根据获取的数据自动确定用户当前所处的场景,避免的手动设置,提高了用户体验。
其中,用户的位置信息可以通过全球导航卫星系统、基站定位技术、无线室内定位技术或传感器采集到的数据中的至少一种来确定;用户的行为体征信息可以通过加速度传感器、温度传感器、心率传感器或者脉搏传感器中的至少一种所感测到的数据来确定;语音内容可以通过麦克风等拾音装置来采集。
在另一实施方式中,头戴式设备根据接收到的用户操作确定用户所处的场景。具体地,“设置”应用根据接收到用户的操作开启“手动模式”,接着监控用户的操作设置相应的场景。
根据第一方面,在一种可能的实现方式中,所述预设环境音由所述场景与所述预设环境音的对应关系获得。其中,所述场景与所述预设环境音的对应关系是预先设置的,或者,是通过机器学习算法获得的。这样,可以根据场景获得该场景下对应的预设环境音,即预设环境音可以根据场景的改变而发生变化,更满足用户在不同场景下对外界环境感知的需求。
在另一种可能实现的方式中,所述预设环境音是由用户设置的。具体地,“设置”应用根据接收到用户的操作开启“手动模式”,接着监控用户的操作设置相应的场景以及每个场景对应的预设环境音。
根据第一方面,在一种可能的实现方式中,当采集到的所述声音信号包括所述预设环境音时,确定采集到的所述声音信号与当前场景对应的预设环境音匹配;或者,当采集到的所述声音信号包括所述预设环境音且阈值达到预设阈值时,确定采集到的所述声音信号与当前场景对应的预设环境音匹配。如此,可以在用户需要感知外界环境的情况下才对用户进行提醒,避免了因过多的提醒而对用户产生干扰的情况。
其中,阈值包括预设环境的响度阈值、持续时间阈值或重复次数阈值中的至少一种。
根据第一方面,在一种可能的实现方式中,所述提示信息包括以下一项或多项:语音、振动反馈或者灯光反馈。其中,所述语音包括以下的任意一项:与所述预设环境音相匹配的声音内容,或者,预设的特定语音提示内容。
根据第一方面,在一种可能的实现方式中,头戴式设备在输出所述提示语音时,暂停播放所述头戴式设备当前的音频数据,当停止播放提示语音时,头戴式设备可以检测停止播放提示语音的时长,当停止播放提示语音的时长达到预设时长阈值时,继续播放当前的音频数据。这样,当提示语音播放完成后再过预设时间才恢复当前的音频数据的播放,可以给用户留有响应特定声音信号的时间。
根据第一方面,在一种可能的实现方式中,所述方法在所述输出提示信息后还通过以下方式中的任意一种,停止发出提示信息:当所述提示信息的持续时间达到预设时间时,终止发出所述提示信息;或者,当检测到的外界环境的声音信号不包括所述预设的环境音时,终止发出所述提示信息;或者,响应用户的操作而终止发出所示提示信息。如此,可以避免因对用户过度提醒而产生干扰的情况发生。
第二方面,本申请还提供一种头戴式设备,包括:一个或多个处理器、存储器和通信模块;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述头戴式设备执行:
确定用户当前所处的场景;
根据所述用户当前所处的场景采集外界环境的声音信号;
所述采集到的所述声音信号与当前场景对应的预设环境音匹配时,所述头戴式设备输出所述外界环境的声音信号或输出提示信息。
第二方面所描述的技术方案,可使得在用户有感知外界环境的需求的情况下,输出外界环境的声音信号或者输出提示信息以对用户进行提醒,使得用户能够留意外界环境,从而做出对应的反应。
根据第二方面,在一种可能的实现方式中,确定用户当前所处的场景,包括以下一项或多项:根据用户当前的位置信息确定用户当前所处的场景;或者,根据用户的行为体征信息确定用户当前所处的场景;或者,根据所识别到的语音内容确定用户当前所处的场景。
其中,头戴式设备通过全球导航卫星系统、基站定位技术、无线室内定位技术或传感器采集到的数据中的至少一种来确定用户的位置信息;头戴式设备通过加速度传感器、温度传感器、心率传感器或者脉搏传感器中的至少一种所感测到的数据来确定用户的行为体征信息;头戴式设备通过麦克风等拾音装置来采集语音内容。
根据第二方面,在一种可能的实现方式中,所述预设环境音由所述场景与所述预设环境音的对应关系获得。其中,所述场景与所述预设环境音的对应关系是预先设置的,或者,是通过机器学习算法获得的。这样,可以根据场景获得该场景下对应的预设环境音,即预设环境音可以根据场景的改变而发生变化,更满足用户在不同场景下对外界环境感知的需求。
在另一种可能实现的方式中,所述预设环境音是由用户设置的。具体地,“设置”应用根据接收到用户的操作开启“手动模式”,接着监控用户的操作设置相应的场景以及每个场景对应的预设环境音。
根据第二方面,在一种可能的实现方式中,当采集到的所述声音信号包括所述预设环境音时,确定采集到的所述声音信号与当前场景对应的预设环境音匹配;或者,当采集到的所述声音信号包括所述预设环境音且阈值达到预设阈值时,确定采集到的所述声音信号与当前场景对应的预设环境音匹配。如此,可以在用户需要感知外界环境的情况下才对用户进行提醒,避免了因过多的提醒而对用户产生干扰的情况。
其中,阈值包括预设环境的响度阈值、持续时间阈值或重复次数阈值中的至少一种。
根据第二方面,在一种可能的实现方式中,所述提示信息包括以下一项或多项:语音、振动反馈或者灯光反馈。其中,所述语音包括以下的任意一项:与所述预设环境音相匹配的声音内容,或者,预设的特定语音提示内容。
根据第二方面,在一种可能的实现方式中,在输出所述提示语音时,所述一个或多个处理器还用于调用所述计算机指令以使得所述头戴式设备执行:暂停播放所述头戴式设备当前的音频数据,当停止播放提示语音时,头戴式设备可以检测停止播放提示语音的时长,当停止播放提示语音的时长达到预设时长阈值时,继续播放当前的音频数据。这样,当提示语音播放完成后再过预设时间才恢复当前的音频数据的播放,可以给用户留有响应特定声音信号的时间。
根据第二方面,在一种可能的实现方式中,在所述输出提示信息后,所述一个或多个处理器还用于调用所述计算机指令以使得所述头戴式设备执行:当所述提示信息的持续时间达到预设时间时,终止发出所述提示信息;或者,当检测到的外界环境的声音信号不包括所述预设的环境音时,终止发出所述提示信息;或者,响应用户的操作而终止发出所示提示信息。如此,可以避免因对用户过度提醒而产生干扰的情况发生。
第三方面,本申请还提供一种音频播放系统,该音频播放系统可包括电子设备,还包括头戴式设备。其中头戴式设备可以为如第二方面中任一可能的实现方式。
第四方面,本申请提供一种包含指令的计算机程序产品,当上述计算机程序产品在电子设备上运行时,使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第五方面,本申请提供一种计算机可读存储介质,包括指令,当上述指令在电子设备上运行时,使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
应当理解的是,说明书中对技术特征、技术方案、优点或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反,可以理解的是对于特征或优点的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或优点。因此,本说明书中对于技术特征、技术方案或优点的描述并不一定是指相同的实施例。进而,还可以任何适当的方式组合以下各个实施例中所描述的技术特征、技术方案和优点。本领域技术人员将会理解,无需特定实施例的一个或多个特定的技术特征、技术方案或优点即可实现实施例。在其他实施例中,还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和优点。
附图说明
图1为本申请实施例提供的音频播放系统的结构示意图。
图2为本申请一实施例提供的电子设备的结构的示意性图。
图3为本申请一实施例提供的头戴式设备的结构的示意性图。
图4A-图4B为本申请一实施例提供的开启“提醒功能”的示意图。
图5为本申请一实施例提供的环境音处理方法流程示意图。
图6A-图6D为本申请一实施例的手动设置环境音内容及阈值的界面示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。例如,A和/或B,可以表示:单独存在A,同时存在A和 B,单独存在B这三种情况。
本申请以下实施例提供了一种环境音处理方法及相关装置,电子设备或者头戴式设备可以根据环境音,判断在当前场景下用户是否有感知外界环境的需求,若是,则电子设备或头戴式设备可以输出提示信息或者外界环境的声音信号,使得用户能够感知外界环境,从而做出对应的反应。
在本申请以下实施例中,在智能手机等电子设备的“提醒功能”开启的条件下,电子设备或者头戴式设备可以自动识别用户所处的场景,并根据用户所处的场景对用户进行提示,进而可以满足用户在不同场景下对于外界环境的感知需求。
其中,“提醒功能”可以是电子设备提供的一种服务或功能,可以以APP的形式安装于电子设备中。在本申请实施例中,“提醒功能”可支持该电子设备在用户使用头戴式设备时对用户进行提示。在本申请实施例中,电子设备在用户使用头戴式设备时对用户进行提示是指,在用户使用头戴式设备时,电子设备或者头戴式设备可以根据预设环境音判断当前场景下用户是否需要感知外界环境,当确定用户需要感知外界环境,电子设备或者头戴式设备发出提示信息或者外界环境的声音信号以提醒用户留意当前场景下的外界环境。这里,“提醒功能”支持电子设备在用户使用头戴式设备时所提供的提醒功能的方式可参照后续实施例的相关描述,在此暂不赘述。
在本申请实施例中,开启电子设备的“提醒功能”后,当用户使用头戴式设备时,电子设备或者头戴式设备可以根据环境音,判断在当前场景下用户是否需要感知外界环境,若是,则电子设备或头戴式设备可以输出提示信息或者外界环境的声音信号,使得用户能够感知外界环境,从而做出对应的反应,进而提高用户使用头戴式设备的安全性。而关闭电子设备的“提醒功能”后,该电子设备和该头戴式设备将不会判断用户是否有感知外界环境的需求,也不会发出提示信息。本申请实施例中,用户可以根据自身的需求而选择是否需要启动该提醒功能。例如,当用户在家里休息,并只想通过头戴式设备聆听优美的音乐且不希望被外界环境打扰时,可以选择关闭该“提醒功能”。而当用户在马路行行走且使用头戴式设备在打电话时,此时希望获知马路上车辆的鸣笛声,以提高行走的安全性,此时可选择开启该“提醒功能”。这样,可以更好的满足用户的需求,提高用户体验。
可以理解的是,“提醒功能”只是本实施例中所使用的一个词语,其代表的含义在本实施例中已经记载,其名称并不能对本实施例构成任何限制。
首先介绍本申请以下实施例中提供的示例性音频播放系统1000。
请参考图1,图1示出了本申请一实施例提供的音频播放系统1000的结构示意图。如图 1所示,该音频播放系统1000可包括:电子设备100及头戴式设备300。
在本申请实施例中,电子设备100用于发送音频信号至头戴式设备300以进行播放。电子设备100可以为手机、平板电脑、个人数字助理(personal digital assistant,PDA)、可穿戴设备等便携式电子设备。便携式电子设备的示例性实施例包括但不限于搭载iOS、Android、 Microsoft或者其他操作系统的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备,诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。还应当理解的是,在本申请其他一些实施例中,电子设备100也可以不是便携式电子设备,而是具有触敏表面 (例如触控面板)的台式计算机或者车载设备等。
在本申请的一些实施例中,电子设备100可以获取当前场景,确定当前场景下的预设环境音,采集外界环境的声音信号,匹配预设环境音以及提示用户等。其中,电子设备可以根据用户当前的位置信息、用户的行为体征信息、外界环境的语音内容中的至少一种来确定用户当前的所处场景。
头戴式设备300用于将电子设备100提供的音频信号转化成声音信号以供用户收听。本申请实施例中,头戴式设备300为耳机。其中,根据佩戴方式进行分类,耳机300还可以是入耳式耳机、头戴式耳机或者耳塞式耳机。头戴式设备300可以是有线头戴式设备也可以是无线头戴式设备。例如,当头戴式设备300为有线头戴式设备时,其可以通过插接的方式与所述电子设备100相通信。当头戴式设备300为无线头戴式设备时,其可以通过蜂窝网络、WiFi网络、蓝牙网络或者其他无线通信方式与电子设备100建立通信连接。
具体的,当头戴式设备300与电子设备100通信连接时,头戴式设备300将电子设备100 中的媒体播放器所发出的电信号转换成声音信号并通过贴近耳朵的扬声器播放,进而使用户可以在不影响其他人的前提下收听各种音频信号。其中,媒体播放器是指电子设备100中用来播放多媒体文件的应用程序,例如,“酷狗音乐”、“优酷视频”及“QQ音乐”等。
在本申请的一些实施例中,头戴式设备300也可以获取当前场景,确定当前场景下的预设环境音,采集外界环境的声音信号,匹配预设环境音以及提示用户等。其中,头戴式设备 300也可以根据用户当前的位置信息、用户的行为体征信息、外界环境的语音内容中的至少一种来确定用户当前所处的场景。
接着介绍本申请以下实施例中提供的示例性电子设备100。
图2示出了电子设备100的结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器 180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。在一些实施例中,电子设备100也可以包括一个或多个处理器110。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110 中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了电子设备100的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface, MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头 193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙头戴式设备接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface, DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100 的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S 接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块 141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块 150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。示例性地,无线通信模块160可以包括蓝牙模块、Wi-Fi模块等。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution, LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system, GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统 (quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems, SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等可以实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode 的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed, Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体 (complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组 (moving picture experts group,MPEG)-1,MPEG-2,MPEG-3,MPEG-4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐、照片、视频等数据保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令,从而使得电子设备100执行本申请一些实施例中所提供的环境音处理方法,以及各种功能应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统;该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如照片,联系人等)。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
在申请的一些实施例中,内部存储器121可以用于存储预设的多个场景、每个场景下的预设环境音以及每个场景与该场景下对应的预设环境音的关联关系。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110 中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备 100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。在本申请的一些实施例中,电子设备100可以通过麦克风170C 采集外界环境的声音信号。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm 的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。在本申请实施例中,电子设备100可以通过耳机接口170D与有线耳机300相连接。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100 抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C 测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D 检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。在本申请实施例中,电子设备100可以通过加速度传感器180E确定用户的运动行为。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100 使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器 180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J 检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备 100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142 的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也可称触控面板或触敏表面。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。 SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
图2示例性所示的电子设备100可以通过显示屏194显示以下各个实施例中所描述的各个用户界面。电子设备100可以通过触摸传感器180K在各个用户界面中检测触控操作,例如在各个用户界面中的点击操作(如在图标上的触摸操作、双击操作),又例如在各个用户界面中的向上或向下的滑动操作,或执行画圆圈手势的操作,等等。在一些实施例中,电子设备100可以通过陀螺仪传感器180B、加速度传感器180E等检测用户手持电子设备100执行的运动手势,例如晃动电子设备。在一些实施例中,电子设备100可以通过摄像头193(如3D摄像头、深度摄像头)检测非触控的手势操作。
下面介绍本申请以下实施例中提供的示例性耳机300。
图3示出了耳机300的结构示意图。
如图3所示,耳机300可包括:处理器310、存储器320、无线通信处理模块330、电源管理模块340、有线通信模块350、扬声器360、麦克风370、按键控制模块380及传感器模块390。
处理器310可用于读取和执行计算机可读指令。具体实现中,处理器310可主要包括控制器、运算器和寄存器。其中,控制器主要负责指令译码,并为指令对应的操作发出控制信号。运算器主要负责执行定点或浮点算数运算操作、移位操作以及逻辑操作等,也可以执行地址运算和转换。寄存器主要负责保存指令执行过程中临时存放的寄存器操作数和中间操作结果等。具体实现中,处理器310的硬件架构可以是专用集成电路(ASIC)架构、MIPS架构、 ARM架构或者NP架构等等。
在一些实施例中,处理器310可以用于解析无线通信处理模块330和/或有线通信模块350 接收到的信号,如电子设备100的广播的探测请求,电子设备100发送的连接请求,电子设备100发送的音频数据,等等。处理器310可以用于根据解析结果进行相应的处理操作,如生成探测响应,又如根据该音频数据控制所述扬声器模块360播放相应的声音信号,等等。
在一些实施例中,处理器310还可以用于生成无线通信处理模块330和/或有线通信模块 350向外发送的信号,如蓝牙广播信号、信标信号,又如向电子设备发送的用于反馈连接状态(如连接成功、连接失败等)的信号。
存储器320与处理器310耦合,用于存储各种软件程序和/或多组指令。具体实现中,存储器320可包括高速随机存取的存储器,并且也可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器320可以存储操作系统,例如 uCOS、VxWorks、RTLinux等嵌入式操作系统。存储器320还可以存储通信程序,该通信程序可用于与电子设备100,一个或多个服务器,或附加设备进行通信。
在申请的一些实施例中,存储器320可以用于存储预设的多个场景、每个场景下的预设环境音以及每个场景与该场景下对应的预设环境音的关联关系。
无线通信处理模块330可以包括蓝牙(BT)通信处理模块330A、Wi-Fi通信处理模块330B 中的一项或多项。
在一些实施例中,蓝牙(BT)通信处理模块、Wi-Fi通信处理模块中的一项或多项用于与电子设备100建立通信连接,且在建立通信连接后接收电子设备100所发送的音频信号,并将接收到的音频信号发送至处理器310进行处理。
无线通信处理模块330还可以包括蜂窝移动通信处理模块(未示出)。蜂窝移动通信处理模块可以通过蜂窝移动通信技术与其他设备(如服务器)进行通信。
电源管理模块340用于从充电器接收充电输入,以为电池(图未示)进行充电。其中,充电器可以是无线充电器,也可以是有线充电器。电源管理模块340还用于连接处理器310。电源管理模块340接收电池和/或充电器的输入,为处理器310,存储器320和无线通信模块 330等供电。
扬声器360,也称“喇叭”,用于将音频电信号转换为声音信号。具体地,头戴式设备300 包括左扬声器和右扬声器,以便为用户的左耳和右耳分别提供声音。
麦克风370,也称“话筒”,“传声器”,用于将声音信号转换为电信号。头戴式设备300 可以通过麦克风拾取用户周围的环境音,当用户佩戴头戴式设备300拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风370发声,将声音信号输入到麦克风370。麦克风370 将声音信号转化为电信号后通过无线通信处理模块330或者有线通信模块350发送至电子设备100。具体地,头戴式设备300可以包括左拾音麦克风和右拾音麦克风。在本申请的一些实施例中,头戴式设备300可以通过麦克风370采集外界环境的声音信号。
按键控制模块380包括按键及实现按键功能的外围电路。其中,按键包括开机键,音量键等。通过按键可以实现开机、音量调节及接听电话等功能。按键190可以是机械按键。也可以是触摸式按键。
传感器模块390包括心率传感器、温度传感器、脉搏传感器中的一项或者多项。当用户佩戴头戴式设备300时,传感器模块390可以采集用户的生命体征信息。例如,当所述所述传感器模块390包括温度传感器检测用户的体温。在另一实施例中,当传感器模块390包心率传感器时,且可以检测用户的心率。此外,所述传感器模块390还可以包括加速度传感器等运动传感器。在本申请的一些实施例中,头戴式设备300可以通过心率传感器、温度传感器、脉搏传感器中的至少一种来确定用户的生命体征。头戴式设备300还可以通过加速度传感器来确定用户的运动行为。
可以理解的是图3示意的结构并不构成对头戴式设备300的具体限定。在本申请另一些实施例中,头戴式设备300可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
下面介绍电子设备100提供的一些示例性用户界面(user interface,UI)。本申请各实施例中的术语“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
图4A示例性示出了电子设备100上的用于展示电子设备100安装的应用程序的示例性用户界面21。
用户界面21可包括:状态栏201,日历指示符202,天气指示符203,具有常用应用程序图标的托盘204,导航栏205,以及其他应用程序图标。其中:
状态栏201可包括:移动通信信号(又可称为蜂窝信号)的一个或多个信号强度指示符 201A、运营商名称(例如“中国移动”)201B、无线高保真(wireless fidelity,Wi-Fi)信号的一个或多个信号强度指示符201C,电池状态指示符201D、时间指示符201E。
日历指示符202可用于指示当前时间,例如日期、星期几、时分信息等。
天气指示符203可用于指示天气类型,例如多云转晴、小雨等,还可以用于指示气温等信息。
具有常用应用程序图标的托盘204可展示:电话图标204A、联系人图标204B、短信图标204C、相机图标204D。
导航栏205可包括:返回键205A、主屏幕键205B、多任务键205C等系统导航键。当检测到用户点击返回键205A时,电子设备100可显示当前页面的上一个页面。当检测到用户点击主屏幕键205B时,电子设备100可显示主界面。当检测到用户点击多任务键205C时,电子设备100可显示用户最近打开的任务。各导航键的命名还可以为其他,本申请对此不做限制。不限于虚拟按键,导航栏205中的各导航键也可以实现为物理按键。
其他应用程序图标可例如:微信(Wechat)的图标206、QQ的图标207、推特(Twitter) 的图标208、脸书(Facebook)的图标209、邮箱的图标210、云共享的图标211、备忘录的图标212、支付宝的图标213、图库的图标214、设置的图标215。用户界面21还可包括页面指示符216。其他应用程序图标可分布在多个页面,页面指示符216可用于指示用户当前浏览的是哪一个页面中的应用程序。用户可以左右滑动其他应用程序图标的区域,来浏览其他页面中的应用程序图标。
在一些实施例中,图4A示例性所示的用户界面21可以为主界面(Home screen)。
可以理解的是,图4A仅仅示例性示出了电子设备100上的用户界面,不应构成对本申请实施例的限定。
请再一并参阅图4B,图4A及图4B示例性示出了电子设备100上的一种开启“提醒功能”的操作。
如图4A所示,当电子设备100检测到在状态栏201上的向下滑动手势时,响应于该手势,电子设备100可以在用户界面21上显示窗口217。如图4B所示,窗口217中可以显示有“提醒功能”的开关控件217A,还可以显示有其他功能(如Wi-Fi、蓝牙、手电筒等等) 的开关控件。当检测到在窗口217中的开关控件217A上的操作(如在开关控件217A上的触摸操作)时,响应于该操作,电子设备100可以开启“提醒功能”。
也就是说,用户可以在状态栏201处做一个向下滑动的手势来打开窗口217,并可以在窗口217中点击“提醒功能”的开关控件217A来方便地开启“提醒功能”。“提醒功能”的开关控件217A的表现形式可以为文本信息或者图标。
在一些实施方式中,“提醒功能”还可以通过用户在“设置”应用中的设置而打开。例如,在“设置”应用中,将“提醒功能”的设置项由“OFF”设置为“ON”即可将电子设备100 的“提醒功能”开启。其中,“设置”应用是安装于智能手机、平板电脑等电子设备上的一款用于设置电子设备的各项功能的应用程序,本申请实施例对该应用程序的名称不做限制。
在另一些实施方式中,还可以通过在电子设备100的显示屏194上输入特定的手势操作而打开。例如,用户通过在显示屏194上输入画圆形、画星形的手势操作而将“提醒功能”开启。此外,还可以通过语音输入的方式来将电子设备100的“提醒功能”开启。例如,当用户对着电子设备100说出“开启提醒功能”或者“请将提醒功能打开”时,电子设备100 即可将“提醒功能”开启。
在其他实施方式中,还可以是当头戴式设备300与电子设备100相连后,默认开启该“提醒功能”。还可以是当头戴式设备300与电子设备100相连后,电子设备100的显示屏上显示一提示框以提示用户是否需要开启该“提醒功能”。例如,当头戴式设备300与电子设备100 相连后,电子设备100的显示屏显示是否开启“提醒功能”,当用户选择“是”时,则开启该“提醒功能”,而当用户选择“否”时,则不开启该“提醒功能”。其中,当头戴式设备300 为有线头戴式设备时,“头戴式设备300与电子设备100相连”是指头戴式设备300插入到电子设备100的头戴式设备接口中。而当头戴式设备300为无线头戴式设备时,“头戴式设备 300与电子设备100相连”是指头戴式设备300与电子设备100建立通信连接。
可以理解的,上述“提醒功能”的开启方式仅仅是示例,并不作为对“提醒功能”开始方式的限定。即在实际应用中,还可采用其他方式来将电子设备100的“提醒功能”开启。
在本申请实施例中,通过上述实施例所示的操作来开启“提醒功能”后,当头戴式设备 300与电子设备100连接后,电子设备100或者头戴式设备300可以根据预设环境音,判断在当前场景下用户是否有感知外界环境的需求,若是,则电子设备100或头戴式设备300可以输出提示信息,使得用户能够感知外界环境,从而做出对应的反应。
下面详细描述电子设备100或者头戴式设备300根据用户所处场景对用户进行提示的过程。
示例性地,参见图5,图5示出了本申请实施例提供的电子设备100或头戴式设备300 根据用户所处场景对环境音处理的方法的流程示意图。如图5所示,该方法可包括如下步骤:
步骤S101,确定用户当前所处的场景。
下面对电子设备100或者头戴式设备300如何确定用户所处的场景的方式做详细的介绍。
在第一实施方式中,电子设备100或者头戴式设备300可以根据用户当前的位置信息来确定用户当前所处的场景。例如,当用户的位置信息为一商业广场时,可以确定用户处于商场场景;当用户的位置信息为一街道上时,可以确定用户处于马路场景;当用户的位置信息为一住宅小区时,可以确定用户处于家里场景;当用户的位置信息为某一公园时,可以确定用户处于公园场景等。具体地,电子设备100或者头戴式设备300可通过以下任意一种方式或者结合以下任意几种方式获取用户的位置信息:
1.电子设备100或者头戴式设备300通过全球导航卫星系统,例如GPS、GLONASS、BDS、QZSS或SBAS等获取经纬度坐标或者地理位置名称。
2.电子设备100或者头戴式设备300采用基站定位的方式获取经纬度坐标。
3.电子设备100或者头戴式设备300采用无线室内定位技术获取经纬度坐标或者地理位置名称。无线室内定位技术可包括Wi-Fi、射频识别(radio frequencyidentification,RFID)、蓝牙、红外、超声波等短距离无线技术。
4.电子设备100或者头戴式设备300通过传感器采集到的数据获取位置信息。例如,电子设备100可通过气压传感器170B测量气压值,并根据测量得到的气压值计算海拔高度。电子设备100还可通过加速度传感器170C测量速度和加速度,并根据测量得到的速度、加速度和之前某个时间点的经纬度坐标计算当前时间点的经纬度坐标等。电子设备100还可以通过距离传感器170D测量和某个物体之间的距离,并根据测量到的距离和该物体的经纬度坐标计算自身的经纬度坐标等。
在本申请实施例中,电子设备100的部分传感器例如气压传感器170B、加速度传感器 170C等可以连续长时间工作以采集数据,从而获取用户的位置信息。
需要说明的是,由于头戴式设备300和电子设备100是配套使用的,电子设备100和头戴式设备300所获取的位置信息均是用户的位置信息,因此,本申请实施例中,可以通过电子设备100来获取用户的位置信息也可以通过头戴式设备300来获取用户的位置信息,即在实际应用中,可以根据具体需求而将用于获取位置信息所需要的装置设置于电子设备100中或者头戴式设备300中,在此不做限定。
在第二实施方式中,电子设备100或者头戴式设备300可以根据用户的行为体征信息来确定用户当前所处的场景。其中,行为体征信息包括运动行为以及生命体征信息。例如,当检测到用户处于跑步状态时,则可以确定用户处于健身房场景或者公园场景;由于人处于睡眠或浅度休息状态时,体温会下降,因此当检测到用户的体温较低时,可以确定用户处于家里场景;此外,当用户处于运动状态时,心率会提升,因此当检测到用户的心率提升时,可以确定用户处于运动状态,进而确定用户处于健身房场景或者公园场景。电子设备100或者头戴式设备300可通过以下任意一种方式或者结合以下任意几种方式获取用户的行为体征信息:
1.电子设备100或者头戴式设备300通过加速度传感器测量速度和加速度,进而确定用户的运动行为。
2.电子设备100或者头戴式设备300通过温度传感器、心率传感器或者脉搏传感器来测量用户的生命体征。其中,温度传感器用于测量用户的体温;心率传感器用于测量用户的心率,心率传感器可以是光电式心率传感器、振动式心率传感器等;脉搏传感器用于测量用户的脉搏。
需要说明的是,由于生命体征信息需要贴近用户的皮肤才能测量,而电子设备100经常在距离用户一定距离范围内携带,因此,将该等传感器设置于佩戴于用户耳朵上的头戴式设备300中更容易测量用户的生命体征信息。例如,在用户运动的过程中,心率传感器贴合用户耳朵的皮肤,光电式心率传感器可以将心率信号转换成对应的电信号后输出至处理器310。
在第三实施方式中,电子设备100或者头戴式设备300可以根据所识别到的语音内容来确定用户当前所处的场景。具体地,所述电子设备100或者头戴式设备300通过麦克风来对语音内容进行采集,当识别出语音内容中包含有特定的语音内容时,可以确定用户所处的场景。例如,当识别出语音内容中包括:“开始会议”、“大家上午好”等内容时,可以确定用户当前处于会议场景。可以理解的,特定的语音内容可以预先存储于电子设备100或者头戴式设备300存储器中。
在第四实施方式中,电子设备100或者头戴式设备300可以根据接收到的用户输入或者选择的场景来确定用户当前所处的场景。例如,用户可以将当前的场景设置为马路场景或者家里场景。关于如对场景进行设置可参考后续实施例的描述,在此暂不赘述。
上述第一至第三实施例中,电子设备100或者头戴式设备300可以自动确定用户所处的场景,避免了手动设置的过程,具有便捷性。此外,上述第一至第三实施例中用于确定用户所处场景的方式可以结合使用也可以单独使用,在此不做限定。
步骤S102,根据用户所处的场景确定与该场景所对应的预设环境音。
第一实施方式中,电子设备100或者头戴式设备300可以根据预存的场景与预设环境音之间的对应关系来确定当前场景下的预设环境音。即当确定用户当前所处的场景时,根据对应关系即可确定预设环境音。在本申请实施例中,电子设备100或头戴式设备300可以获知用户所处不同场景下的预设环境音。其中,各类场景以及每个场景下的预设环境音可以根据经验数据预先设置,例如可以由研发人员通过调研等方式确定适合不同场景的预设环境音,并将其预置在电子设备100、头戴式设备300或者云服务器(图未示)中。当预存的场景、预存的预设环境音以及场景与预设环境音之间的对应关系存储在云服务器中时,电子设备100 或者头戴式设备300需要先获取该存储的数据。
具体地,在一实施方式中,电子设备100或者头戴式设备300需要根据用户所处的场景确定该场景下对应的预设环境音的内容。示例地,请参见表1,表1给出了几种场景下分别对应的预设环境音的内容。
表1不同场景对应的预设环境音的内容
场景 | 预设环境音的内容 |
家里场景 | 敲门声、家电警报音、闹钟声、儿童哭闹声 |
公园场景 | 雷雨声、呼喊声、狗叫声、打招呼声(嗨,喂,你好等) |
商场场景 | 打招呼声、警报声、用户姓名声 |
马路场景 | 鸣笛声、自行车铃声、报站声、警报声 |
会议场景 | 用户姓名声、打招呼声、开门声、手机铃声 |
其中,表1仅是示例,在表1中每个场景下的预设环境音内容可以部分相同。例如,公园场景和会议场景中都包括“打招呼声”。在实际应用中,场景的类别也不仅限于表1所示的各类场景,每个场景下的预设环境音的内容也不限于上述表1中所示的示例。
在另一些实施方式中,电子设备100或者头戴式设备300需要根据用户所处的场景确定该场景下对应的预设环境音的内容及每个预设环境音所对应的阈值。示例地,请参见表2,表2给出了几种场景下分别对应的预设环境音内容以及每个预设环境音所对应的阈值,其中,阈值包括响度阈值、持续时间的阈值和重复次数的阈值中的至少一种。
表2不同场景对应的预设环境音的内容及相应的阈值
其中,表2仅是示例,在表2中每个场景下的不同预设环境音的响度阈值相同,可以理解,在实际应用中,相同场景下的不同的预设环境音也可以设置不同的响度阈值,场景的类别也不仅限于表2所示的各类场景,每个场景下的预设环境音的内容及相应的阈值也不限于上述表2中所示的示例。
其中,响度阀值为声音响度的一个门限值,其可以根据不同的场景进行预先设定。例如,对于马路场景下的汽车喇叭声、自行车铃声、警报声等危险信号的声音信息,可以采取较高响度阀值(比如75分贝),以用户在听到该声音信号能够及时避开危险的情况进行设定;再如:在会议场景下的对于他人呼叫的姓名声音,可以采取最低响度阀值(比如45分贝),以灵敏的拾取到声音,避免被交到名字却听不见的现象。此处根据不同的场景设定不同的响度阈值,既可避免过于灵敏的采集环境信号而干扰头戴式设备300的正常工作,以保证头戴式设备300的正常工作,又可灵敏的进行声音的拾取,很好的将外界有效的环境声音信号通知到用户。
第二实施方式中,电子设备100或者头戴式设备300可以根据接收到的用户输入或选择来确定当前场景下的预设环境音。在本实施方式中,以电子设备100为例来进行说明,当“设置”应用(图4A中的215)接收到用户的操作(如触摸操作)时,可以进入如图6A所示的设置界面。如图6A所示,该用户界面10可包括状态栏101、标题栏102、“手动模式”的开关控件103及提示信息104。其中,状态栏101可参照图4A所示的用户界面21中的状态栏 201,这里不再赘述。
标题栏102可包括:当前页面指示符102A和102B。其中,当前页面指示符102A和102B 可用于指示当前页面,例如文本信息“设置”“提醒功能”可用于指示当前页面用于展示提醒功能设置项的对应内容,不限于文本信息,当前页面指示符102A和102B还可以是图标。
开关控件103用于监听开启/关闭“手动模式”的操作(例如触摸操作)。如图6B所示,当检测到在开关控件103上的操作(如在开关控件103上的触摸操作)时,响应于该操作,电子设备100可以开启“手动模式”。开关控件103的表现形式可以为文本信息或者图标。
提示信息104可用于介绍“手动模式”,提示用户“手动模式”的作用。提示信息104的表现形式可以为文本信息或者图标。
当“手动模式”开启后呈现图6B所示的用户界面20,场景选择或设定设置项105和预设环境音设定选项106会呈现于当前应用界面20上。在一实施方式中,电子设备100可以根据用户手动输入内容来确定当前的场景。例如,用户在“请选择或输入场景”区域手动输入“马路场景”,则在该区域显示“马路场景”字样(参图6C)。在另一实施方式中,电子设备100还可以根据用户选择的场景来确定用户当前所处的场景。例如,当用户触摸该“请选择或输入场景”的区域时,电子设备100可以显示一包括各种场景的列表,而当用户选择其中的马路场景时,该场景则显示在“请选择或输入场景”区域(参图6C)。当设置好场景后,电子设备100还根据用户的输入或者选择来确定该场景下的预设环境音。其中,预设环境音的设置方式可参场景设置的方式,在此不再赘述。
此外,在一实施例中,当检测到用户手动模式开启的次数大于预设次数时,还可以根据用户设置的环境音的内容对自动模式中该场景下的预设环境音的内容进行修正。在另一些实施方式中,还可以根据用户设置的阈值对自动模式下的预设环境音的阈值进行修正。如此可以提高自动模式下对预设环境音确定的准确性,使得用户体验更佳。
具体地,不同场景下的预设环境音内容及相应的阈值也可以存储于云服务器中,电子设备100或者头戴式设备300从云服务器500获取该内容。由于云服务器与不同的头戴式设备 300和电子设备100相通信,随着越来越多的电子设备100或头戴式设备300投入使用,会产生越来越丰富的数据。云服务器可以获取到这些数据并根据大数据统计算法对不同场景下的预设环境音内容及相应的阈值进行统计与分析,进而可以根据统计与分析结果定期对不同场景下的预设环境音内容及相应的阈值进行修正更新,如此,可以更贴近用户的需求,提高用户体验。例如,根据大数据统计分析,在家里场景下,用户设置的环境音内容多为闹钟声和敲门声且响度阈值设置为45分贝,因此,可以根据该结果对预设环境音内容及响度阈值进行调整。
请参阅图6D,在第三实施方式中,所述电子设备100还可以根据接收到的用户输入或选择来确定预设环境音。在本申请实施例中,不管处于什么场景,其对应的预设环境音内容或者其对应的预设环境音内容及阈值都是相同的。即预设环境音内容或者预设环境音内容及阈值不会随着场景的改变而发生变化。例如,当手动模式开启后,用户将预设环境音设置为鸣笛声和闹钟声,此时,不论用户处于何种场景,预设环境音内容都鸣笛声和闹钟声。这样,可以满足不同特殊用户的特殊需求,使得电子设备100更具有实用性。
步骤S103,采集外界环境的声音信号。
外界环境声音信号是指外界环境中可以拾取的所有声音信号,包括汽车喇叭声、行人说话声、自行车铃声、外界播放的音乐、狗叫声、闹铃声等。在一些实施方式中,可以通过电子设备100或者头戴式设备300上的麦克风来对外界环境中的声音信号进行采集。具体地,可以采用至少一个普通的全指向性麦克风进行拾音,还可以通过声音传感器或者其他具有拾音功能的装置对外界环境中的声音信号进行采集,在此不做限定。
步骤S104,当采集到的声音信号与当前场景对应的预设环境音匹配时,输出外界环境的声音信号或者输出提示信息。
在一些实施方式中,当采集到的声音信号包括预设环境音时,即可判定采集到的声音信号与当前场景对应的预设环境音匹配。例如,当确定当前用户所处的场景为马路场景时,对应的环境音内容为鸣笛声、自行车铃声及报站声,而对所采集的外界环境的声音信号进行识别后,发现当前环境的声音信号中包括了汽车鸣笛声,此时可以确定外界环境的声音信号与预设环境音匹配。
在另一些实施方式中,当采集到的声音信号包括预设环境音且阈值达到预设阈值时,判定采集到的声音信号与预设环境音匹配。其中,阈值包括响度阈值、持续时间阈值和重复次数阈值中的至少一种。举例来说,当采集到的声音信号包括预设环境音且声音信号的响度大于预设的响度阈值(比如55分贝)时,可以确定采集到的声音信号与当前场景对应的预设环境音匹配。再举例来说,当采集到的声音信号包括预设环境音且声音信号的响度大于预设的响度阈值(比如55分贝),且持续时间大于预设的时间阈值(比如5s)时,可以确定采集到的声音信号与当前场景对应的预设环境音匹配。
当采集到的声音信号与当前场景对应的预设环境音匹配时,电子设备100或者头戴式设备300可以发出提示信息,使得用户感知外界环境。该提示信息可包括但不限于:语音提示信息、震动提示信息、灯光提示信息及显示提示信息。
例如,在马路场景下,当外界环境中存在预设的汽车鸣笛声时,则判断用户有感知外界环境的需求,此时,电子设备100或者头戴式设备300可以发出语音提示信息以对用户进行提醒。又例如,在家里场景下,当外界环境中存在预设的敲门声或者闹钟声时,则判断用户有感知外界环境的需求,此时,电子设备100或者头戴式设备300可以发出灯光提示信息以对用户进行提醒。再例如,在公园场景下,当外界环境中存在预设的狗叫声或者打闹声时,则判断用户有感知外界的需求,此时,电子设备100或者头戴式设备300可以发出震动提示信息以对用户进行提醒。
下面对电子设备100或者头戴式设备300通过提示信息来提示用户的方式进行介绍。具体地,所述电子设备100或者所述头戴式设备100可以通过以下任意一种方式或者结合以下任意几种方式提示用户:
1.控制头戴式设备300输出提示语音以提示用户。
在一实施方式中,当头戴式设备300输出提示语音时,可以暂停播放头戴式设备300当前的音频数据。例如,电子设备100可以暂停用户正在观看的视频或正在听的音乐,即暂停播放头戴式设备300当前的音频数据,并且通过头戴式设备300发出语音,以提示用户此时可能存在危险或者存在需要响应的声音信号。可选的,当停止播放提示语音时,电子设备100 或者头戴式设备300可以检测停止播放提示语音的时长,当停止播放提示语音的时长达到预设时长阈值(比如2s)时,可以继续播放当前的音频数据。这样,当提示语音播放完成后再过预设时间才恢复当前的音频数据的播放,可以给用户留有响应特定声音信号的时间。
举例来说,用户在路上行走并佩戴头戴式设备300收听电子设备300播放的音乐时,电子设备100或者头戴式设备300可检测到用户当前处于马路场景,若麦克风检测到外界环境的声音信号与预设的鸣笛声匹配时,则暂停当前的音乐播放,并通过头戴式设备300输出提示语音。当提示语音播放完成时,检测停止播放提示语音的时间,当停止播放提示语音的时长达到预设时长阈值时,可以继续播放用户正在收听的音乐。这样,可以为用户查看车辆的位置以及躲闪车辆预留时间,待用户躲闪车辆后,再自动播放用户正在收听的音乐。
其中,提示语音的实现方式可以通过以下方式来实现。
方式一,提示语音可以是与预设的环境音相匹配的声音内容。例如,当所采集的外界环境的声音信号与预设的环境音内容中的鸣笛声相匹配时,则通过头戴式设备300播放鸣笛声;而当所采集的外界环境的声音信号与预设的环境音内容中的闹钟声相匹配时,则通过头戴式设备300播放闹钟声。
方式二,提示语音可以是预设的特定语音提示内容。具体地,电子设备100或者头戴式设备300中可以预先存储用于提醒用户特定语音提示内容,当所采集的外界环境的声音信号与预设的环境音内容中的鸣笛声相匹配时,可以通过头戴式设备300播放预先存储的特定语音提示内容,例如,可以播放“有车辆靠近,请避让”的特定语音提示内容;还可以播放“有人敲门,请开门”的特定语音提示。需要说明的是,在本实施方式中,不同场景下的特定语音播报内容可以不同,可以在设置预设环境音的内容的时候进行设定。
2.控制电子设备100或头戴式设备300振动反馈以提示用户,进而提示用户留意外界环境。
3.控制电子设备100或头戴式设备300的灯光闪烁以提示用户。例如,电子设备100的 LED(Light Emitting Display,发光二极管)闪烁,或者按键灯闪烁等,以提示用户留意外界环境。
4.控制电子设备100在显示屏194上显示提示内容。其中,提示内容可以是图片、文字或者符号中的任意一种。例如,当用户使用电子设备100并佩戴头戴式设备300在家里观看视屏时,若麦克风检测到了敲门声且符合预设条件,则可以通过电子设备100的显示屏194 上显示一“铃铛”的符号以对用户进行提示。
在一些实施方式中,可以在以下几种情况下,停止提示用户:
1.当提示信息的持续时间达到预设时间时,可以终止发出提示信息。例如,当提示信息发出的持续时间达到30s时,则终止发出提示信息。
2.当检测到的外界环境的声音信号不包括预设的环境音时,终止发出提示信息。例如,当汽车经过后,鸣笛声可能已经消失,因此当环境声中不存在鸣笛声时,即可终止发出提示信息。在本实施方式中,若选取上述第一中方式发出提示信息,则当终止发出提示信息时,可继续通过头戴式设备300播放当前的音频数据,如此,可以避免用户手动操作,提高了用户体验。
3.响应用户的操作而终止发出提示信息。在本实施方式中,当提醒功能开启时,可以赋予音量键或者电源键来终止提示信息的功能。例如,当用户接收到电子设备100震动的提示信息时,可以通过对音量键的操作来控制电子设备100停止震动。
可以理解地,上述电子设备100或者头戴式设备300根据用户所处场景对用户进行提示的过程中,所有步骤(S101~S104)可以全部由电子设备100来执行,也可以全部由头戴式设备300来执行,还可以由电子设备100和头戴式设备300来共同执行。当上述过程中的步骤由电子设备100和头戴式设备300共同完成时,在不同步骤之间切换执行主体时,可以发送触发信号来提醒另一主体来完成相应的步骤。举例来说,当上述步骤S101-S103由电子设备100来执行,而步骤S104由头戴式设备300来执行时,当确定采集到的声音信号与预设环境音匹配时,电子设备100发送一触发信号至头戴式设备300,以提醒头戴式设备300执行相应的步骤。其中,触发信号可以是高电平信号也可以是低电平信号,在此不做限定。
由上述方法实施例以及人机交互实施例可知,实施本申请实施例提供的环境音处理方法,电子设备100或者头戴式设备300可以根据用户当前所处的场景确定预设环境的,并当采集到的外界环境的声音信号与预设的环境音匹配时发出提示信息,进而可以使得用户在使用头戴式设备300的情况下也能获知不同场景下的外界环境,从而做出对应的反应,提高了使用头戴式设备300的安全性。
需要说明的是,当上述环境音处理方法由头戴式设备300来执行时,电子设备100可以根据“提示功能”是否开启来发送控制指令至头戴式设备300以告知头戴式设备300是否需要执行上述方法。
本申请的各实施方式可以任意进行组合,以实现不同的技术效果。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid StateDisk) 等。
总之,以上所述仅为本发明技术方案的实施例而已,并非用于限定本发明的保护范围。凡根据本发明的揭露,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (13)
1.一种环境音处理方法,其特征在于,包括:
头戴式设备确定用户当前所处的场景;
所述头戴式设备根据所述用户当前所处的场景采集外界环境的声音信号;
所述采集到的所述声音信号与当前场景对应的预设环境音匹配时,所述头戴式设备输出所述外界环境的声音信号或输出提示信息。
2.根据权利要求1所述的方法,其特征在于,所述头戴式设备确定用户当前所处的场景,包括以下一项或多项:
所述头戴式设备根据用户当前的位置信息确定用户当前所处的场景;
或者,
所述头戴式设备根据用户的行为体征信息确定用户当前所处的场景;
或者,
所述头戴式设备根据所识别到的语音内容确定用户当前所处的场景。
3.根据权利要求1-2任一项所述的方法,其特征在于,所述预设环境音由所述场景与所述预设环境音的对应关系获得,或者,所述预设环境音是由用户设置的。
4.根据权利要求1-3任一项所述的方法,其特征在于,当采集到的所述声音信号包括所述预设环境音时,确定采集到的所述声音信号与当前场景对应的预设环境音匹配;或者,
当采集到的所述声音信号包括所述预设环境音且阈值达到预设阈值时,确定采集到的所述声音信号与当前场景对应的预设环境音匹配。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述提示信息包括以下一项或多项:语音、振动反馈或者灯光反馈。
6.一种头戴式设备,其特征在于,包括:一个或多个处理器、存储器和通信模块;
所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述头戴式设备执行:
确定用户当前所处的场景;
根据所述用户当前所处的场景采集外界环境的声音信号;
所述采集到的所述声音信号与当前场景对应的预设环境音匹配时,输出所述外界环境的声音信号或输出提示信息。
7.根据权利要求6所述的头戴式设备,其特征在于,所述确定用户当前所处的场景,包括以下一项或多项:
根据用户当前的位置信息确定用户当前所处的场景;
或者,
根据用户的行为体征信息确定用户当前所处的场景;
或者,
根据所识别到的语音内容确定用户当前所处的场景。
8.根据权利要求6-7任一项所述的头戴式设备,其特征在于,所述预设环境音由所述场景与所述预设环境音的对应关系获得,或者,所述预设环境音是由用户设置的。
9.根据权利要求6-8任一项所述的头戴式设备,其特征在于,当采集到的声音信号包括所述预设环境音时,确定采集到的所述声音信号与当前场景对应的预设环境音匹配;或者,
当采集到的声音信号包括所述预设环境音且阈值达到预设阈值时,确定采集到的所述声音信号与当前场景对应的预设环境音匹配。
10.根据权利要求6-9任一项所述的头戴式设备,其特征在于,所述提示信息包括以下一项或多项:语音、振动反馈或者灯光反馈。
11.一种音频播放系统,其特征在于,包括电子设备和如权利要求6-10任意一项所述的头戴式设备;所述电子设备用于发送音频信号至所述头戴式设备以进行播放。
12.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1-5中任一项所述的方法。
13.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-5中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910581121.2A CN112150778A (zh) | 2019-06-29 | 2019-06-29 | 环境音处理方法及相关装置 |
PCT/CN2020/098733 WO2021000817A1 (zh) | 2019-06-29 | 2020-06-29 | 环境音处理方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910581121.2A CN112150778A (zh) | 2019-06-29 | 2019-06-29 | 环境音处理方法及相关装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112150778A true CN112150778A (zh) | 2020-12-29 |
Family
ID=73891276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910581121.2A Pending CN112150778A (zh) | 2019-06-29 | 2019-06-29 | 环境音处理方法及相关装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112150778A (zh) |
WO (1) | WO2021000817A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113496694A (zh) * | 2020-03-19 | 2021-10-12 | 上汽通用汽车有限公司 | 一种车辆声学系统、车辆用座椅以及车辆 |
CN114171060A (zh) * | 2021-12-08 | 2022-03-11 | 广州彩熠灯光股份有限公司 | 灯具管理方法、装置和计算机程序产品 |
CN116594511A (zh) * | 2023-07-17 | 2023-08-15 | 天安星控(北京)科技有限责任公司 | 基于虚拟现实的场景体验方法、装置、计算机设备和介质 |
CN117097775A (zh) * | 2023-09-06 | 2023-11-21 | 深圳市芯隆科技有限公司 | 一种基于人工智能的蓝牙播放控制系统及方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4206900A4 (en) * | 2021-01-22 | 2024-04-10 | Samsung Electronics Co., Ltd. | ELECTRONIC DEVICE CONTROLLED BASED ON SOUND DATA AND METHOD FOR CONTROLLING AN ELECTRONIC DEVICE BASED ON SOUND DATA |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009171621A (ja) * | 2002-04-12 | 2009-07-30 | Mitsubishi Electric Corp | ヒント情報記述方法 |
JP2009300915A (ja) * | 2008-06-17 | 2009-12-24 | Fujitsu Ltd | 音楽再生機能を有する携帯端末 |
CN101840700A (zh) * | 2010-04-28 | 2010-09-22 | 宇龙计算机通信科技(深圳)有限公司 | 基于移动终端的声音识别方法及移动终端 |
CN106550294A (zh) * | 2015-09-18 | 2017-03-29 | 丰唐物联技术(深圳)有限公司 | 基于耳机的监听方法及装置 |
WO2018045536A1 (zh) * | 2016-09-08 | 2018-03-15 | 华为技术有限公司 | 声音信号处理的方法、终端和耳机 |
CN207531029U (zh) * | 2017-11-30 | 2018-06-22 | 歌尔科技有限公司 | 一种线控装置和耳机 |
CN109120784A (zh) * | 2018-08-14 | 2019-01-01 | 联想(北京)有限公司 | 音频播放方法以及电子设备 |
CN109145847A (zh) * | 2018-08-30 | 2019-01-04 | Oppo广东移动通信有限公司 | 识别方法、装置、穿戴式设备及存储介质 |
CN109345767A (zh) * | 2018-10-19 | 2019-02-15 | 广东小天才科技有限公司 | 穿戴式设备用户的安全提醒方法、装置、设备及存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1897054A (zh) * | 2005-07-14 | 2007-01-17 | 松下电器产业株式会社 | 可根据声音种类发出警报的传输装置及方法 |
CN101790000B (zh) * | 2010-02-20 | 2014-08-13 | 华为终端有限公司 | 一种环境声音提醒方法和移动终端 |
CN105263078A (zh) * | 2015-10-26 | 2016-01-20 | 无锡智感星际科技有限公司 | 一种识别多种音源并提供多样化提示预警机制的智能耳机系统及方法 |
KR20170111450A (ko) * | 2016-03-28 | 2017-10-12 | 삼성전자주식회사 | 보청장치, 휴대장치 및 그 제어방법 |
CN107147795A (zh) * | 2017-05-24 | 2017-09-08 | 上海与德科技有限公司 | 一种提示方法及移动终端 |
CN107613113A (zh) * | 2017-09-05 | 2018-01-19 | 深圳天珑无线科技有限公司 | 一种耳机模式控制方法、装置及计算机可读存储介质 |
CN107863110A (zh) * | 2017-12-14 | 2018-03-30 | 西安Tcl软件开发有限公司 | 基于智能耳机的安全提醒方法、智能耳机及存储介质 |
CN107948801B (zh) * | 2017-12-21 | 2020-02-07 | 广东小天才科技有限公司 | 一种耳机的控制方法及耳机 |
CN109243442A (zh) * | 2018-09-28 | 2019-01-18 | 歌尔科技有限公司 | 声音监测方法、装置及头戴显示设备 |
CN109493884A (zh) * | 2018-12-06 | 2019-03-19 | 江苏满运软件科技有限公司 | 一种外部声源安全提醒方法、系统、设备以及介质 |
CN109887271A (zh) * | 2019-03-21 | 2019-06-14 | 深圳市科迈爱康科技有限公司 | 行人安全预警方法、装置及系统 |
-
2019
- 2019-06-29 CN CN201910581121.2A patent/CN112150778A/zh active Pending
-
2020
- 2020-06-29 WO PCT/CN2020/098733 patent/WO2021000817A1/zh active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009171621A (ja) * | 2002-04-12 | 2009-07-30 | Mitsubishi Electric Corp | ヒント情報記述方法 |
JP2009300915A (ja) * | 2008-06-17 | 2009-12-24 | Fujitsu Ltd | 音楽再生機能を有する携帯端末 |
CN101840700A (zh) * | 2010-04-28 | 2010-09-22 | 宇龙计算机通信科技(深圳)有限公司 | 基于移动终端的声音识别方法及移动终端 |
CN106550294A (zh) * | 2015-09-18 | 2017-03-29 | 丰唐物联技术(深圳)有限公司 | 基于耳机的监听方法及装置 |
WO2018045536A1 (zh) * | 2016-09-08 | 2018-03-15 | 华为技术有限公司 | 声音信号处理的方法、终端和耳机 |
CN207531029U (zh) * | 2017-11-30 | 2018-06-22 | 歌尔科技有限公司 | 一种线控装置和耳机 |
CN109120784A (zh) * | 2018-08-14 | 2019-01-01 | 联想(北京)有限公司 | 音频播放方法以及电子设备 |
CN109145847A (zh) * | 2018-08-30 | 2019-01-04 | Oppo广东移动通信有限公司 | 识别方法、装置、穿戴式设备及存储介质 |
CN109345767A (zh) * | 2018-10-19 | 2019-02-15 | 广东小天才科技有限公司 | 穿戴式设备用户的安全提醒方法、装置、设备及存储介质 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113496694A (zh) * | 2020-03-19 | 2021-10-12 | 上汽通用汽车有限公司 | 一种车辆声学系统、车辆用座椅以及车辆 |
CN114171060A (zh) * | 2021-12-08 | 2022-03-11 | 广州彩熠灯光股份有限公司 | 灯具管理方法、装置和计算机程序产品 |
CN116594511A (zh) * | 2023-07-17 | 2023-08-15 | 天安星控(北京)科技有限责任公司 | 基于虚拟现实的场景体验方法、装置、计算机设备和介质 |
CN116594511B (zh) * | 2023-07-17 | 2023-11-07 | 天安星控(北京)科技有限责任公司 | 基于虚拟现实的场景体验方法、装置、计算机设备和介质 |
CN117097775A (zh) * | 2023-09-06 | 2023-11-21 | 深圳市芯隆科技有限公司 | 一种基于人工智能的蓝牙播放控制系统及方法 |
CN117097775B (zh) * | 2023-09-06 | 2024-04-30 | 深圳市芯隆科技有限公司 | 一种基于人工智能的蓝牙播放控制系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2021000817A1 (zh) | 2021-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109584879B (zh) | 一种语音控制方法及电子设备 | |
CN110138937B (zh) | 一种通话方法、设备及系统 | |
WO2020177619A1 (zh) | 终端充电提醒方法、装置、设备及存储介质 | |
CN113169760B (zh) | 无线短距离音频共享方法及电子设备 | |
CN112399390B (zh) | 一种蓝牙回连的方法及相关装置 | |
CN110347269B (zh) | 一种空鼠模式实现方法及相关设备 | |
CN110825469A (zh) | 语音助手显示方法及装置 | |
WO2021000817A1 (zh) | 环境音处理方法及相关装置 | |
CN111819533B (zh) | 一种触发电子设备执行功能的方法及电子设备 | |
WO2020062159A1 (zh) | 无线充电方法及电子设备 | |
CN111182140B (zh) | 马达控制方法及装置、计算机可读介质及终端设备 | |
CN112119641B (zh) | 通过转发模式连接的多tws耳机实现自动翻译的方法及装置 | |
CN113170279B (zh) | 基于低功耗蓝牙的通信方法及相关装置 | |
CN110742580A (zh) | 一种睡眠状态识别方法及装置 | |
CN111835907A (zh) | 一种跨电子设备转接服务的方法、设备以及系统 | |
CN113452945A (zh) | 分享应用界面的方法、装置、电子设备及可读存储介质 | |
CN114115770A (zh) | 显示控制的方法及相关装置 | |
CN113728295A (zh) | 控屏方法、装置、设备及存储介质 | |
CN113141483B (zh) | 基于视频通话的共享屏幕方法及移动设备 | |
CN111492678B (zh) | 一种文件传输方法及电子设备 | |
CN115514844A (zh) | 一种音量调节的方法,电子设备和系统 | |
CN111930335A (zh) | 声音调节方法及装置、计算机可读介质及终端设备 | |
CN115022807A (zh) | 快递信息提醒方法和电子设备 | |
CN114375027A (zh) | 降低功耗的方法和装置 | |
CN113467747A (zh) | 音量调节方法、电子设备、存储介质及计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201229 |