CN108605073B - 声音信号处理的方法、终端和耳机 - Google Patents
声音信号处理的方法、终端和耳机 Download PDFInfo
- Publication number
- CN108605073B CN108605073B CN201680080782.1A CN201680080782A CN108605073B CN 108605073 B CN108605073 B CN 108605073B CN 201680080782 A CN201680080782 A CN 201680080782A CN 108605073 B CN108605073 B CN 108605073B
- Authority
- CN
- China
- Prior art keywords
- signal
- sound signal
- output mode
- prompt
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 650
- 238000003672 processing method Methods 0.000 title description 4
- 230000007613 environmental effect Effects 0.000 claims abstract description 141
- 238000012545 processing Methods 0.000 claims abstract description 138
- 238000000034 method Methods 0.000 claims abstract description 121
- 230000033001 locomotion Effects 0.000 claims abstract description 38
- 230000009467 reduction Effects 0.000 claims description 71
- 238000004891 communication Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 description 57
- 238000013507 mapping Methods 0.000 description 33
- 230000006870 function Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 238000005406 washing Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 229910001385 heavy metal Inorganic materials 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 240000001949 Taraxacum officinale Species 0.000 description 1
- 235000005187 Taraxacum officinale ssp. officinale Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/3827—Portable transceivers
- H04B1/385—Transceivers carried on the body, e.g. in helmets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/725—Cordless telephones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M19/00—Current supply arrangements for telephone systems
- H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
- H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/563—User guidance or feature selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/3827—Portable transceivers
- H04B1/385—Transceivers carried on the body, e.g. in helmets
- H04B2001/3866—Transceivers carried on the body, e.g. in helmets carried on the head
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2203/00—Aspects of automatic or semi-automatic exchanges
- H04M2203/25—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service
- H04M2203/251—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service where a voice mode or a visual mode can be used interchangeably
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Otolaryngology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Telephone Function (AREA)
Abstract
本发明公开了一种声音信号处理的方法、终端和耳机,能够避免外界环境中的声音对用户造成不必要的干扰,提高用户体验。该终端包括:麦克风,用于采集环境声音信号;处理器,用于获取麦克风采集的声音信号,并根据用户状态信息对麦克风采集的环境声音信号进行处理,其中,用户状态信息包括:使用该终端的用户所处的地理位置或用户的运动状态。
Description
技术领域
本发明涉及信息技术领域,并且更具体地,涉及声音信号处理的方法、终端和耳机。
背景技术
耳机是目前广泛使用的一种用于播放声音信号的设备。但是,耳机的使用使得用户对外界环境中的声音感受程度降低,这可能具有丢失对于用户来说必须的信号或者声音的风险。
目前,已知一种技术,在终端运行当前业务(例如,打电话、播放音频文件、玩游戏等)的同时采集外界环境中的声音信号,对采集到的声音信号的声音特征进行分析,在确定采集到的声音信号(为便于区分和说明,记作目标声音信号)的声音特征与预设的声音特征匹配时,将该目标声音信号以音频通知的形式通过耳机输出。
但是,这种方法并没有获得非常好的用户体验。例如,当用户正在打电话时,突然接收到来自外界环境的洗衣机提示声,就会严重影响用户的通话质量;或者,当用户正在家中佩戴耳机欣赏音乐时,突然接收到来自家中电视里传来的汽车喇叭声,而对于用户当前所处的位置而言,是完全不用担心汽车安全问题的,从而造成了对用户的干扰,严重影响用户体验。
因此,需要提供一种技术,能够避免外界环境中的声音对用户造成不必要的干扰。
发明内容
本申请提供一种声音信号处理的方法、终端和耳机,以根据当前的用户状态信息,对接收到的环境声音信号进行处理,从而避免了环境声音信号对用户不必要的干扰。
第一方面,提供了一种终端,包括:
麦克风,用于采集环境声音信号;
处理器,用于获取所述麦克风采集的所述环境声音信号,并根据用户状态信息对所述环境声音信号进行处理,其中,所述用户状态信息包括:使用所述终端的用户所处的地理位置和所述用户的运动模式。
可选地,所述用户状态信息可以通过以下信息确定:所述环境声音信号的采集时间、用户日程安排或用户行为习惯。
通过根据当前的用户状态信息,对接收到的环境声音信号确定处理策略,对需要提示用户的环境声音信号进行处理以生成提示信号提示用户,对不需要提示用户的环境声音信号进行降噪处理,以避免对用户不必要的干扰,从而提高了用户体验。
结合第一方面,在第一方面的第一种可能的实现方式中,所述处理器在用于根据所述用户状态信息,对所述环境声音信号进行处理时,具体包括:
所述处理器用于根据所述用户状态信息,确定用于提示用户的有效声音信号集合;
所述处理器用于在确定所述环境声音信号属于所述有效声音信号集合时,根据所述环境声音信号生成提示信号;或者,
所述处理器用于在确定所述环境声音信号不属于所述有效声音信号集合时,对所述环境声音信号进行降噪处理。
结合第一方面,在第一方面的第二种可能的实现方式中,所述处理器在用于根据所述用户状态信息,对所述环境声音信号进行处理时,具体包括:
所述处理器用于根据所述环境声音信号,确定对所述环境声音信号进行处理以生成提示信号时满足的目标用户状态信息集合;
所述处理器用于在确定所述用户状态信息集合属于所述目标用户状态信息集合时,根据所述环境声音信号生成提示信号;或者,
所述处理器用于在确定所述用户状态信息不属于所述目标用户状态信息集合时,对所述环境声音信号进行降噪处理。
通过根据当前的用户状态信息,确定有效声音信号集合,或者,根据接收到的环境声音信号,确定与该环境声音信号的目标用户状态信息集合,从而确定相应的处理策略,对需要提示用户的环境声音信号进行处理以生成提示信号提示用户,对不需要提示用户的环境声音信号进行降噪处理,以避免对用户不必要的干扰,从而提高了用户体验。
作为一个实施例,所述处理器还用于根据所述用户状态信息对多个声音信号进行处理,所述处理器在用于根据所述用户状态信息,对多个声音信号进行处理时,具体包括:
所述处理器用于根据所述用户状态信息以及预先保存的多个有效声音信号子集合与多个场景的映射关系,确定所述用户状态信息是否属于所述多个场景中的至少一个;
所述处理器用于在确定当前的用户状态信息属于所述多个场景中的至少一个,且所述环境声音信号属于所述用户状态信息所属场景对应的有效声音信号子集合时,根据所述环境声音信号生成提示信号;或者,
所述处理器用于确定所述用户状态信息不属于所述多个场景中的任意一个时,确定对所述环境声音信号进行降噪处理;或者,
所述处理器用于确定所述用户状态信息属于所述多个场景中的至少一个,但所述环境声音信号不属于所述用户状态信息所属场景对应的有效声音信号子集合时,对所述环境声音信号进行降噪处理。
其中,所述多个场景包括:居家场景、办公室场景、户外乘坐交通工具场景和户外运动场景。
处理器可以根据当前的用户状态信息,确定所属的场景,进而确定该场景对应的有效声音信号集合,进而根据接收到的环境声音信号确定相应的处理策略。
结合第一方面及其上述可能的实现方式,在第一方面的第三种可能的实现方式中,所述处理器在用于根据所述环境声音信号生成所述提示信号时,具体包括:
所述处理器用于根据所述终端当前运行的业务的优先级信息和/或所述环境声音信号的优先级信息,确定所述提示信号的输出方式;
所述处理器用于根据所述提示信号的输出方式和所述环境声音信号,生成所述提示信号。
通过结合业务的优先级信息和/或环境声音信号的优先级信息,能够对不同的环境声音信号确定不同的输出方式(或者说,提示方式),以更大程度地减少对用户的干扰,提高用户体验。
可选地,所述输出方式包括:声音输出方式,所述提示信号包括声音提示信号;
所述处理器在用于根据所述提示信号的输出方式和所述环境声音信号,生成所述提示信号时,具体用于在确定所述提示信号的输出方式为所述声音输出方式时,根据所述环境声音信号生成声音提示信号;
所述终端还包括通信模块,用于向耳机发送所述声音提示信号,以通过所述耳机播放所述处理器生成的所述声音提示信号。
作为一个实施例,所述声音输出方式包括第一输出方式,所述第一输出方式为中断所述耳机当前的工作模式,并播放所述声音提示信号,其中,所述耳机当前的工作模式与所述终端当前运行的业务相对应;
所述处理器在用于根据所述终端当前运行的业务的业务信息,确定所述提示信号的输出方式时,具体用于:
在确定所述环境声音信号的优先级处于最高优先级时,或者,
在确定所述终端当前运行的业务的优先级处于最低优先级时,或者,
在确定所述环境声音信号的优先级高于或等于所述业务的优先级时,确定所述提示信号的输出方式为所述第一输出方式。
通过对优先级最高的环境声音信号或者优先级高于业务的优先级的环境声音信号确定第一输出方式,即,通过最容易引起用户注意的方式提示用户,使用户能够基于该提示信号作出反应,避免了可能会对用户造成的不必要的损失或危险。
可选地,所述输出方式包括文本输出方式,所述提示信号包括文本提示消息;
所述处理器在用于根据所述提示信号的输出方式和所述环境声音信号生成所述提示信号时,具体用于在确定所述提示信号的输出方式为所述文本输出方式时,根据所述环境声音信号生成文本提示消息;
所述终端还包括显示屏,用于呈现所述文本提示消息。
通过根据业务的优先级信息和/或环境声音信号的优先级信息,确定不同的提示方式,对重要的提示通过声音信号来提示,对不重要的提示通过文本消息来提示,能够最大程度的减小对用户的不必要的干扰,同时又不会忽略重要的提示信号,非常灵活,并且大大提高用户体验。
第二方面,提供了一种耳机,包括:
麦克风,用于采集环境声音信号;
处理器,用于获取所述麦克风采集的所述环境声音信号,并根据用户状态信息,对所述环境声音信号进行处理,其中,所述用户状态信息包括:使用所述终端的用户所处的地理位置或所述用户的运动状态。
可选地,所述用户状态信息可以通过以下信息确定:所述环境声音信号的采集时间、用户日程安排或用户行为习惯。
通过根据当前的用户状态信息,对接收到的环境声音信号确定处理策略,对需要提示用户的环境声音信号进行处理以生成提示信号提示用户,对不需要提示用户的环境声音信号进行降噪处理,以避免对用户不必要的干扰,从而提高了用户体验。
结合第二方面,在第二方面的第一种可能的实现方式中,述处理器在用于根据所述用户状态信息,对所述环境声音信号进行处理时,具体包括:
所述处理器用于根据所述用户状态信息,确定用于提示用户的有效声音信号集合;
所述处理器用于在确定所述环境声音信号属于所述有效声音信号集合时,根据所述环境声音信号生成提示信号;或者,
所述处理器用于在确定所述环境声音信号不属于所述有效声音信号集合时,对所述环境声音信号进行降噪处理。
结合第二方面,在第二方面的第二种可能的实现方式中,所述处理器在用于根据所述用户状态信息,对所述环境声音信号进行处理时,具体包括:
所述处理器用于根据所述环境声音信号,确定对所述环境声音信号进行处理以生成提示信号时满足的目标用户状态信息集合;
所述处理器用于在确定所述用户状态信息属于所述目标用户状态信息集合时,根据所述环境声音信号生成所述提示信号;或者,
所述处理器用于在确定所述用户状态信息不属于所述目标用户状态信息集合时,对所述环境声音信号进行降噪处理。
通过根据当前的用户状态信息,确定有效声音信号集合,或者,根据接收到的环境声音信号,确定与该环境声音信号的目标用户状态信息集合,从而确定相应的处理策略,对需要提示用户的环境声音信号进行处理以生成提示信号提示用户,对不需要提示用户的环境声音信号进行降噪处理,以避免对用户不必要的干扰,从而提高了用户体验。
作为一个实施例,所述处理器还用于根据所述用户状态信息对多个声音信号进行处理,所述处理器在用于根据所述用户状态信息,对多个声音信号进行处理时,具体包括:
所述处理器用于根据所述用户状态信息以及预先保存的多个有效声音信号子集合与多个场景的映射关系,确定所述用户状态信息是否属于所述多个场景中的至少一个;
所述处理器用于在确定当前的用户状态信息属于所述多个场景中的至少一个,且所述环境声音信号属于所述用户状态信息所属场景对应的有效声音信号子集合时,根据所述环境声音信号生成提示信号;或者,
所述处理器用于确定所述用户状态信息不属于所述多个场景中的任意一个时,确定对所述环境声音信号进行降噪处理;或者,
所述处理器用于确定所述用户状态信息属于所述多个场景中的至少一个,但所述环境声音信号不属于所述用户状态信息所属场景对应的有效声音信号子集合时,对所述环境声音信号进行降噪处理。
其中,多个场景包括:居家场景、办公室场景、户外乘坐交通工具场景和户外运动场景。
处理器可以根据当前的用户状态信息,确定所属的场景,进而确定该场景对应的有效声音信号集合,进而根据接收到的环境声音信号确定相应的处理策略。
结合第二方面及其上述可能的实现方式,在第二方面的第三种可能的实现方式中,所述处理器在用于根据所述环境声音信号生成提示信号时,具体包括:
所述处理器用于根据所述终端当前运行的业务的优先级信息和/或所述环境声音信号的优先级信息,确定所述提示信号的输出方式;
所述处理器用于根据所述提示信号的输出方式和所述环境声音信号,生成所述提示信号。
通过结合业务的优先级信息和/或环境声音信号的优先级信息,能够对不同的环境声音信号确定不同的输出方式(或者说,提示方式),以更大程度地减少对用户的干扰,提高用户体验。
可选地,所述输出方式包括:声音输出方式,所述提示信号包括声音提示信号;
所述处理器在用于根据所述提示信号的输出方式和所述环境声音信号,生成所述提示信号时,具体用于在确定所述提示信号的输出方式为所述声音输出方式时,根据所述环境声音信号生成声音提示信号;
所述耳机还包括扬声器,用于播放所述处理器生成的所述声音提示信号。
作为一个实施例,所述声音输出方式包括第一输出方式,所述第一输出方式为中断所述耳机当前的工作模式,并播放所述声音提示信号,其中,所述耳机当前的工作模式与所述终端当前运行的业务相对应;
所述处理器在用于根据所述终端当前运行的业务的业务信息,确定所述提示信号的输出方式时,具体用于:
在确定所述环境声音信号的优先级处于最高优先级时,或者,
在确定所述终端当前运行的业务的优先级处于最低优先级时,或者,
在确定所述环境声音信号的优先级高于或等于所述业务的优先级时,确定所述提示信号的输出方式为所述第一输出方式。
通过对优先级最高的环境声音信号或者优先级高于业务的优先级的环境声音信号确定第一输出方式,即,通过最容易引起用户注意的方式提示用户,使用户能够基于该提示信号作出反应,避免了可能会对用户造成的不必要的损失或危险。
可选地,所述输出方式包括文本输出方式,所述提示信号包括文本提示消息;
所述处理器在用于根据所述提示信号的输出方式和所述环境声音信号生成所述提示信号时,具体用于在确定所述提示信号的输出方式为所述文本输出方式时,根据所述环境声音信号生成文本提示消息;
所述耳机还包括通信模块,用于将所述文本提示消息发送至所述耳机所连接的终端,以通过所述终端所配置的显示屏呈现所述文本提示消息。
通过根据业务的优先级信息和/或环境声音信号的优先级信息,确定不同的提示方式,对重要的提示通过声音信号来提示,对不重要的提示通过文本消息来提示,能够最大程度的减小对用户的不必要的干扰,同时又不会忽略重要的提示信号,非常灵活,并且大大提高用户体验。
第三方面,提供了一种声音信号处理的方法,所述方法可以声音信号处理装置执行,所述声音信号处理装置可以为上述第一方面中的终端或者第二方面中的耳机,所述方法包括:
获取环境声音信号;
根据用户状态信息对所述环境声音信号进行处理,其中,所述用户状态信息包括:使用所述终端的用户所处的地理位置或所述用户的运动状态。
可选地,所述用户状态信息可以通过以下信息确定:所述环境声音信号的采集时间、用户日程安排或用户行为习惯。
通过根据当前的用户状态信息,对接收到的环境声音信号确定处理策略,对需要提示用户的环境声音信号进行处理以生成提示信号提示用户,对不需要提示用户的环境声音信号进行降噪处理,以避免对用户不必要的干扰,从而提高了用户体验。
结合第三方面,在第三方面的第一种可能的实现方式中,所述根据用户状态信息对所述环境声音信号进行处理,包括:
根据所述用户状态信息,确定用于提示用户的有效声音信号集合;
在确定所述环境声音信号属于所述有效声音信号集合时,根据所述环境声音信号生成提示信号;或者,
在确定所述环境声音信号不属于所述有效声音信号集合时,对所述环境声音信号进行降噪处理。
结合第三方面,在第三方面的第二种可能的实现方式中,所述根据用户状态信息对所述环境声音信号进行处理,包括:
根据所述环境声音信号,确定对所述环境声音信号进行处理以生成提示信号时满足的目标用户状态信息集合;
在确定所述用户状态信息属于所述目标用户状态信息集合时,根据所述环境声音信号生成所述提示信号;或者,
在确定所述用户状态信息不属于所述目标用户状态信息集合时,对所述环境声音信号进行降噪处理。
通过根据当前的用户状态信息,确定有效声音信号集合,或者,根据接收到的环境声音信号,确定与该环境声音信号的目标用户状态信息集合,从而确定相应的处理策略,对需要提示用户的环境声音信号进行处理以生成提示信号提示用户,对不需要提示用户的环境声音信号进行降噪处理,以避免对用户不必要的干扰,从而提高了用户体验。
作为一个实施例,所述根据用户状态信息和所述环境声音信号,确定处理策略,包括:
获取多个有效声音信号子集合与多个场景的映射关系,每个有效声音信号子集合包括至少一个声音信号,每个场景包括至少一个用户状态信息,每个场景包括用于表示确定对所对应的有效声音信号子集合中每个声音信号进行处理以生成提示信号时所满足的用户状态信息;
根据该用户状态信息和该多个有效声音信号子集合与多个场景的映射关系,确定该用户状态信息属于该多个场景中的至少一个,且该环境声音信号属于该用户状态信息所属场景对应的有效声音信号子集合时,确定对该环境声音信号进行该处理,以生成提示信号;或者,
确定该用户状态信息不属于该多个场景中的任意一个时,确定对该环境声音信号进行降噪处理;或者,
确定该用户状态信息属于该多个场景中的至少一个,但该环境声音信号不属于该用户状态信息所属场景对应的有效声音信号子集合时,对该环境声音信号进行降噪处理。
其中,多个场景包括:居家场景、办公室场景、户外乘坐交通工具场景和户外运动场景。
处理器可以根据当前的用户状态信息,确定所属的场景,进而确定该场景对应的有效声音信号集合,进而根据接收到的环境声音信号确定相应的处理策略。
结合第三方面及其上述可能的实现方式,在第三方面的第三种可能的实现方式中,所述根据所述环境声音信号生成所述提示信号,包括:
根据所述终端当前运行的业务的业务优先级信息和/或所述环境声音信号的优先级信息,确定所述提示信号的输出方式;
根据所述提示信号的输出方式和所述环境声音信号,生成所述提示信号。
通过结合业务的优先级信息和/或环境声音信号的优先级信息,能够对不同的环境声音信号确定不同的输出方式(或者说,提示方式),以更大程度地减少对用户的干扰,提高用户体验。
可选地,所述输出方式包括声音输出方式,所述提示信号包括声音提示信号;以及,
所述根据所述提示信号的输出方式和所述环境声音信号,生成所述提示信号,包括:
在确定所述提示信号的输出方式为所述声音提示方式时,根据所述环境声音信号生成所述声音提示信号;
所述方法还包括:
播放所述声音提示信号。
作为一个实施例,所述声音输出方式包括第一输出方式,所述第一输出方式为中断所述耳机当前的工作模式,并播放所述声音提示信号,其中,所述耳机当前的工作模式与所述终端当前运行的业务相对应;以及,
所述根据所述终端当前运行的业务的业务优先级信息和/或所述环境声音信号的优先级信息,确定所述提示信号的输出方式,包括:
确定所述终端当前运行的业务的业务优先级处于最低优先级时,或者,
确定所述环境声音信号的优先级处于最高优先级时,或者,
确定所述环境声音信号的优先级高于或等于所述业务的业务优先级时,确定所述提示信号的输出方式为所述第一输出方式。
通过对优先级最高的环境声音信号或者优先级高于业务的优先级的环境声音信号确定第一输出方式,即,通过最容易引起用户注意的方式提示用户,使用户能够基于该提示信号作出反应,避免了可能会对用户造成的不必要的损失或危险。
可选地,所述输出方式包括文本输出方式,所述提示信号包括文本提示消息;以及,
所述根据所述提示信号的输出方式和所述环境声音信号,生成所述提示信号,包括:
在确定所述提示信号的输出方式为所述文本输出方式时,根据所述环境声音信号生成所述文本提示消息;
所述方法还包括:
呈现所述文本提示消息。
通过根据业务的优先级信息和/或环境声音信号的优先级信息,确定不同的提示方式,对重要的提示通过声音信号来提示,对不重要的提示通过文本消息来提示,能够最大程度的减小对用户的不必要的干扰,同时又不会忽略重要的提示信号,非常灵活,并且大大提高用户体验。
第四方面,提供了一种计算机存储介质,该计算机存储介质中存储有程序代码,该程序代码用于指示执行上述第三方面或第三方面的任意可选的实现声音信号处理装置执行的操作。
因此,本发明实施例的声音信号处理的方法、终端和耳机,根据当前的用户状态信息,对接收到的环境声音信号进行处理,避免造成对用户不必要的干扰,从而提高了用户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a和图1b示出了适用于本发明实施例的信号处理的方法的系统的示意图。
图2示出了根据本发明一实施例的声音信号处理的方法的示意性流程图。
图3示出了根据本发明一实施例的终端的示意性框图。
图4示出了根据本发明另一实施例的手机的示意性框图。
图5示出了根据本发明又一实施例的耳机的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例涉及的终端可以是支持将声音信号输出的各种设备,例如,可用于播放音频、视频文件,或者接听电话。相对应地,该终端可以是手机、手环、平板电脑、笔记本电脑、超级移动个人计算机(Ultra-Mobile Personal Computer,简称“UMPC”)、个人数字助理(Personal Digital Assistant,简称“PDA”)、媒体播放器、录音机以及可穿戴设备等,而不仅限于通信终端。
本发明实施例涉及的耳机可用于播放终端设备输出的声音信号。该耳机可以包括听筒(也可称之为耳塞或耳罩),听筒中包括扬声器,用于播放声音信号。
在本发明实施例中,耳机与终端连接,可以构成声音信号处理的系统。图1a和图1b分别示出了适用于本发明实施例的信号处理的方法的系统100a和系统100b的示意图。
需要说明的是,终端具体可以通过通信模块(为便于区分和说明,记作第一通信模块)与耳机的通信模块(为便于区分,记作第二通信模块)连接。具体地,该耳机和终端的连接形式可以为有线连接或者无线连接。当耳机与终端通过有线连接方式连接时,该第一通信模块为耳机插孔,第二通信模块为耳机线;当耳机与终端通过无线连接方式连接时,例如,该无线连接方式可以为蓝牙(Bluetooth)或者无线保真(Wireless Fidelity,简称“WiFi”)。示例性地,当该无线连接方式为蓝牙连接时,该第一通信模块和第二通信模块都可以为蓝牙模块。
在本发明实施例中,以有线连接方式具体为耳机线连接,无线连接方式具体为蓝牙连接为例进行说明。但应理解,这仅是为便于说明而示出的实施例,不应对本发明构成任何限定。
在一种可能的设计中,如图1a所示,该系统100a包括:耳机110a和终端120a。
具体地,终端120a可以配置有耳机插孔121(或者蓝牙模块)、麦克风122、处理器(为便于区分和说明,将终端中配置的处理器记作第一处理器)123、显示屏124。该第一处理器123分别与麦克风122、显示屏124、耳机插孔121(或者蓝牙模块)直接或者间接相连,以控制麦克风122、显示屏124、耳机插孔121(或者蓝牙模块)收发信号。相对应地,耳机110a可以配置有扬声器111和耳机线112(或者蓝牙模块)。
其中,耳机110a可以通过耳机线112(具体地,可以通过耳机线的四段式引脚)与终端120a的耳机插孔121连接。终端120a可以为耳机110a提供电源,驱动耳机110a的扬声器(或者说,喇叭)111。即,终端通过耳机线与耳机传输声音信号。
或者,耳机110a也可以通过无线射频技术(例如,蓝牙(Bluetooth)等)与终端120a连接。具体地,该耳机为蓝牙耳机,终端可以通过蓝牙模块与该蓝牙耳机连接,实现信号的传输。应理解,虽然图1a中未示出,但这不应对本发明构成任何限定。
在上述可能的设计中,终端可以通过麦克风采集环境声音信号,通过第一处理器对环境声音信号进行处理以生成提示信号,并将生成的声音提示信号通过耳机插孔或者蓝牙模块发送给耳机,或者,将生成的文本提示消息通过显示屏呈现给用户(情况一)。后文中将结合各模块单元的具体功能详细说明声音信号处理的方法。
在另一种可能的设计中,如图1b所示,该系统100b包括:耳机110b和终端120b。
耳机110b可以配置有扬声器(或者说,喇叭)111、耳机线112(或者蓝牙模块)、麦克风113、处理器(为便于区分和说明,将耳机中配置的处理器记作第二处理器)114,该第二处理器114可以分别与扬声器111、耳机线112(或者蓝牙模块)、麦克风113直接或者间接相连,以控制扬声器111、耳机线112(或者蓝牙模块)、麦克风113收发信号。
相对应地,终端120b可以配置有耳机插孔121(或者蓝牙模块)、处理器(即,第一处理器)123和显示屏124。该第一处理器可以分别与耳机插孔121(或者蓝牙模块)、显示屏125直接或间接相连,以控制耳机插孔121(或者蓝牙模块)收发信号,控制显示屏124呈现文本提示消息。
其中,耳机110b可以通过耳机线112(具体地,可以通过耳机线的四段式引脚)与终端120b的耳机插孔121连接。终端120b可以为耳机110b提供电源,驱动耳机的扬声器(或者说,喇叭)111和麦克风113。即,终端通过耳机线向耳机传输声音信号。
或者,耳机110b也可以通过无线射频技术(例如,蓝牙(Bluetooth)等)与终端120b连接。具体地,该耳机为蓝牙耳机,终端可以通过蓝牙模块与该蓝牙耳机连接,实现信号的传输。应理解,虽然图1b中未示出,但这不应对本发明构成任何限定。
在上述可能的设计中,耳机可以通过麦克风采集环境声音信号,通过处理器对环境声音信号进行处理以生成提示信号,并将生成的声音提示信号通过扬声器输出给用户,或者,将生成的文本提示消息发送给终端,并通过终端的显示屏呈现给用户(情况二)。后文中将结合各模块单元的具体功能详细说明声音信号处理的方法。
应理解,图1a和图1b中所示出的耳机和终端,以及耳机与终端之间的连接关系仅为示例性说明,不应对本发明构成任何限定,例如,耳机或终端还可以包含更多的模块单元,例如,图1a中的耳机也可以包括麦克风,图1b中的终端还可以包括更多数量的麦克风等等。
需要说明的是,在上述两种可能的设计中,可以分别通过配置在终端中的麦克风采集环境声音信号,并通过配置在终端中的处理器(即,第一处理器)对环境声音信号进行处理(即,对应于情况一);也可以通过耳机中的麦克风采集环境声音信号,和耳机中的处理器(即,第二处理器)对环境声音信号进行处理(即,对应于情况二)。以下,为了方便说明,在未作出特别说明的情况下,麦克风可以为情况一下配置在终端中的麦克风,处理器可以为情况一下配置在终端中的第一处理器;麦克风可以为情况二下配置在耳机中的麦克风,也可以为情况二下配置在耳机中的第二处理器。
换句话说,麦克风、处理器、耳机(或者说,扬声器)构成了声音信号处理装置,该声音信号处理装置可以用于执行以下所描述的方法200中的步骤和流程。可选地,该声音信号处理装置还可以包括显示屏。应理解,该声音信号处理装置可以为一个独立的装置,也可以集成于终端或者耳机中,或者,还可以将各模块单元分别配置于终端和耳机中,以完成声音信号处理的功能,本发明对此并未特别限定。
以下,结合图2详细说明声音信号处理装置用于本发明实施例进行声音信号处理的详细过程。
图2示出了根据本发明一实施例的声音信号处理的方法200的示意性流程图。应理解,图2示出了声音信号处理的方法的详细的通信步骤或操作,但这些步骤或操作仅是示例,本发明实施例还可以执行其它操作或者图2中的各种操作的变形。此外,图2中的各个步骤可以按照与图2呈现的不同的顺序来执行,并且有可能并非要执行图2中的全部操作。
以下,结合该声音信号处理装置的各模块单元,详细说明根据本发明实施例的声音信号处理的方法200。
如图2所示,该方法200包括:
S210,通过麦克风采集环境声音信号,并将该环境声音信号发送给处理器。
即,在S210中,处理器获取到环境声音信号(为便于区分和说明,将处理器获取到的环境声音信号记作环境声音信号A),以便于该处理器对环境声音信号进行分析。
示例性地,本发明实施例所涉及的环境声音信号包括但不限于特定人的说话声,公交车、地铁等的广播声,车辆的喇叭声、报警声音、电器(例如,微波炉、洗衣机等)的提示声、手机铃声、电话铃声、门铃声以及电视中传出的声音等。
S220,通过处理器根据用户状态信息对环境声音信号进行处理。
该处理器可以对该环境声音信号A的声音特征进行分析,以识别出该环境声音信号A的声源,并根据当前的用户状态信息(为便于区分和说明,将当前的用户状态信息记作用户状态信息A),确定采集到的环境声音信号A相对于当前的用户状态信息A,是否为有效声音信号。
其中,作为示例而非限定,用户状态信息可以包括:使用该终端的用户所处的地理位置或该用户的运动状态。
其中,用户所处的地理位置包括:地域位置以及室内外位置。例如,用户处于北京市海淀区丹棱街海兴大厦内。其中,地域位置可以通过现有技术(例如,全球定位系统(Global Positioning System,简称“GPS”))确定,并且可以进一步通过地区中所绘制的各建筑物的边界线,确定该用户处于室内还是室外。
用户的运动状态包括:静止、行走、跑步、乘坐交通工具等。处理器可以通过运动传感器确定运动状态,例如,若运动传感器检测到终端处于静止状态,则认为用户正处于静止状态;若运动传感器检测到终端的运动是水平位移,且移动速度较慢,接近步行速度,则认为用户正在行走;若运动传感器检测到终端的运动是水平位移,且移动速度接近车速,则认为用户正在乘坐交通工具;若运动传感器检测到终端的运动在水平移动的基础上还伴随有上下反复运动,则认为用户正在跑步。
可选地,该用户状态信息可以通过以下信息确定:该环境声音信号的采集时间、用户日程安排该用户的行为习惯。
例如,处理器可以根据环境声音信号的采集时间和用户日程安排推断用户的地理位置,或者,还可以通过机器学习的方法统计该用户的行为习惯,进而推断该用户的地理位置;甚至还可以通过定位终端的运动路线,确定该用户是乘坐公交车还是私家车等等。
应理解,以上列举的确定用户状态信息的方法仅为示例性说明,不应对本发明构成任何限定,本发明也不应限于此。例如,处理器还可以根据无线网络的信号强弱来判断该用户处于室内还是室外。应理解,处理器确定用户状态信息的具体方法可以通过现有或者未来的技术来实现,而这也并非本发明的核心所在,这里不再赘述。
该处理器通过上述列举的方法可以确定当前的用户状态信息,进而对接收到的环境声音信号确定处理策略,从而对环境声音信号进行处理。具体地,该处理策略可以为:根据该环境声音信号生成提示信号,或者,对该环境声音信号进行降噪处理。
其中,根据环境声音信号生成提示信号,即,将接收到的环境声音信号中的有效信号(即,需要输出以提示用户的信号)提取出来,而把其他的环境杂音进行降噪,或者对接收到的环境声音信号中的有效信号进行合成处理,以生成提示信号,并输出以提示用户。
对该环境声音信号进行降噪处理,即,将接收到的环境声音信号A作为噪音,对该环境声音信号进行处理,使得该环境声音信号不被用户感知到。或者说,在处理器获取到该环境声音信号时,对其进行处理,使其不被处理器输出,并通过耳机(或者说,扬声器)播放。后文中会就对环境声音信号的上述两种处理方式进行详细说明,这里不再赘述。举例来说,当用户正在家或办公室时,接收到窗外传来的汽车喇叭声,可以确定对该汽车喇叭声进行降噪处理;若当前时间为深夜两点,接收到洗衣机传来的提示声,可以确定对该提示声进行降噪处理;若用户的移动速度为接近跑步速度时,可以确定用户正在做运动,此时接收到汽车喇叭声,可以确定对该汽车喇叭声进行处理生成提示信号;若根据用户日程安排,确定用户在当前时间正在开会,则可以确定对接收到的门铃声进行降噪处理;若根据用户的行为习惯确定用户正处于上下班开车状态,则对窗外传来的公交车报站声进行降噪处理,而对汽车喇叭声进行处理生成提示信号。
需要说明的是,对于情况一,终端配置处理器(即,第一处理器),当通过处理器从定位模块中获取到地理位置时,因为定位模块配置于终端中,该地理位置为终端的地理位置。但由于耳机和终端可以通过耳机线或者无线射频连接,其有效距离不超过10米,因此,可以通过终端的地理位置来确定用户的地理位置;对于情况二,耳机配置处理器(即,第二处理器),当通过处理器从定位模块中获取到地理位置时,该地理位置为耳机的地理位置,即佩戴耳机的用户的地理位置。相似地,终端或耳机也分别可以通过处理器获取用户的移动速度。
处理器在获取环境声音信号A并确定用户状态信息A后,便可以根据该用户状态信息A和环境声音信号A,确定处理策略。
可选地,S220通过处理器根据用户状态信息,对所述环境声音信号进行处理,包括:
S222,通过该处理器根据该用户状态信息,确定用于提示用户的有效声音信号集合;
S224,通过该处理器确定该环境声音信号是否属于有效声音信号集合;
在确定该环境声音信号属于该有效声音信号集合时,通过该处理器根据该环境声音信号生成提示信号;或者,
在确定该环境声音信号不属于该有效声音信号集合时,通过该处理器对该环境声音信号进行降噪处理。
这里,需要说明的是,上文所示出的S222、S224和后文中所示出的S226、S228是用于确定对该环境声音信号的处理策略的两种可能的实现方式,可以通过执行S222、S224,也可以通过执行S226、S228来确定处理策略,本发明对此并未特别限定。因此,上述过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
还需要说明的是,上文所示出的以及后文所示出的根据该环境声音信号生成提示信号的步骤对应于S224或S228的判断结果为是时后续执行的步骤,对环境声音信号进行降噪处理的步骤可对应于S224或S228的判断结果为否时后续执行的步骤。因此,S224和S228的判断结果,执行的步骤也不同,上述过程的序号的大小不应对执行顺序的先后构成任何限定。
这里,为方便说明和理解,将该处理器根据用户状态信息确定的需要提示用户的环境声音信号的集合记作有效声音信号集合,该有效声音信号集合包括一个或多个有效声音信号。即,处理器可以根据用户状态信息A,确定环境声音信号A是否为有效声音信号。
示例性地,该有效声音信号可以是对用户或与用户相关的人(例如,亲人、朋友等)的安全、隐私、生活、工作等造成影响的声音信号。
举例来说,当用户正在家中欣赏音乐时,突然接收到火警的警报声,这严重影响到人身安全,因此可以认为是有效声音信号;当用户正乘坐在公交车上观看视频,接收到公交站的报站声,这会影响到用户是否错过目的地,因此可以认为是有效声音信号;当用户正在自家院子里边跑步边欣赏音乐时,接收到门铃声,这有可能是用户的亲人或朋友来访,也有可能是盗贼想通试探家中是否有人,这可能会影响到用户的亲人或朋友在门外的等待时长,也有可能会影响到用户的财产安全,因此可以认为是有效声音信号;当用户正在办公室工作,并开启耳机降噪功能时,接收到办公电话的铃声时,这有可能会影响到用户的工作,因此可以认为是有效声音信号。
进一步地,处理器可以通过分析环境声音信号A的声音特征信息,确定该环境声音信号A是否属于有效声音信号集合,或者说,识别该环境声音信号A是否为有效声音信号。
在一种可能的实现方式中,该终端或者耳机可以预先保存上述有效声音信号,处理器可以从终端或者耳机获取上述有效声音信号,或者,处理器也可以从服务器获取上述有效声音信号集合。该有效声音集合中保存有各有效声音信号的声音特征信息,例如,声波的波长、频率、强度、节奏等特征信息。该处理器在接收到麦克风发送来的环境声音信号A时,可以分析该环境声音信号A的声音特征信息,将该环境声音信号A的声音特征信息与有效声音信号集合中各有效声音信号的声音特征信息进行匹配,在匹配到相同声音特征信息的声音信号时,则可以认为该环境声音信号A为有效声音信号,可以根据该环境声音信号A生成提示信号;若在该有效声音信号集合中未匹配到与该环境声音信号A具有相同声音特征信息的声音信号,则认为该环境声音信号A不是有效声音信号,可以确定对该环境声音信号进行降噪处理。后文中会详细说明对该环境声音信号A进行处理的具体过程。
这里,需要说明的是,服务器可以理解为用于提供数据存储的云端数据库,终端或耳机可以通过无线网络与该服务器相连,以从该服务器获取所需的数据。该服务器可以对数据进行存储、维护和更新。应理解,从服务器获取数据仅为处理器获取有效声音信号集合或后文所述的目标用户状态信息集合的一种可能的实现方式不应对本发明构成任何限定。
可选地,该处理器可以预先保存或从服务器获取目标声音信号集合。这里所说的目标声音信号集合可以理解为在各种用户状态下所对应的有效声音信号集合的并集。即,目标声音信号集合中包括若干个有效声音信号集合。
该处理器在确定与用户状态信息A对应的有效声音信号集合时,便可以从该目标声音信号集合中获取该有效声音信号集合,以便于对该环境声音信号A进行匹配。
这里,需要说明的是,环境声音信号可以包括语音信号或非语音信号。
其中,语音信号可以为特定人发出的声音信号,或者公共场所的语音信号。例如,特定人可以为特定的某个人(例如,亲人、领导等)或者公共场所的广播声(例如,公交车、地铁等的广播声等)。该语音信号的声音特征信息可以为声纹特征信息。
非语音信号可以为除上述语音信号之外的声音信号。非语音信号可以包括:电子设备发出的提示音信号、环境噪音等。例如,洗衣机、微波炉的提示音或者电话铃声。该非语音信号的声音特征信息包括例如,频率、波长等声音特征信息。
可选地,该有效声音信号集合可以分为若干个子集合。
例如,该有效声音集合可以分为私有声音子集合、公有声音子集合以及非语音提示音子集合。每个子集合中都保存有声音信号与声音特征信息的对应关系。特别地,对于语音信号,可以保存有声音信号和声纹特征的对应关系。
其中,私有声音子集合可以是根据用户个人设置的需要进行外界声音提示的语音信号的集合,例如,亲人、领导的说话声;公有声音子集合可以是一些公共场所、设施、设备的提示语音的声纹特征,例如,公交车、地铁等的广播音;非语音提示音子集合可以是非语音类型、需要进行提示的声音,例如,汽车喇叭声、手机铃声、家电的提示音、门铃等。
该处理器可以在接收到环境声音信号A后,分别到上述子集合中匹配相同的声音信号。
该处理器在匹配环境声音信号时,可以根据每个有效声音信号所属的子集合,去每个子集合中匹配。
应理解,以上示出的三个有效声音信号子集合仅作为示例,是基于不同的特征信息分类得到的集合,而不应对本发明构成任何限定。该三个有效声音信号子集合中各有效声音信号可以根据特征信息分类或者不作分类地存储在数据库中,同理,也不应对环境声音信号的匹配过程构成任何限定。
由此,该处理器可以确定对该环境声音信号A的处理策略。
应理解,处理器分析环境声音信号的声音特征信息,并与预设的声音特征信息进行匹配的方法可以通过现有技术来实现,为了简洁,这里省略其详细说明。
可选地,S220通过该处理器根据用户状态信息对环境声音信号进行处理,包括:
S226,通过该处理器根据该环境声音信号确定对该环境声音信号进行处理以生成提示信号时满足的目标用户状态信息集合;
S228,通过该处理器确定该用户状态信息是否属于目标用户状态信息集合;
在确定该用户状态信息是否属于该目标用户状态信息集合时,通过该处理器根据该环境声音信号生成该提示信号;或者,
在确定该用户状态信息不属于目标用户状态信息集合时,通过该处理器对该环境声音信号进行降噪处理。这里,为方便说明和理解,将该处理器将对该环境声音信号进行处理以生成提示信号时满足的用户状态信息的集合记作目标用户状态信息集合。也就是说,同一个环境声音信号可以对应有多种用户状态信息。这里的对应是指,当前的用户状态信息与该目标用户状态集合所包括的用户状态信息中至少一个相匹配时,可以对该环境声音信号进行处理生成提示信号。
即,环境声音信号A对应有用户状态信息1和用户状态信息2,当若当前的用户状态信息A与用户状态信息1或用户状态信息2匹配,可以对该环境声音信号A进行处理生成提示信号。
由上文描述可知,用户状态信息包括:地理位置或运动状态。这里,可以将地理位置或运动状态理解为匹配项,每一项所对应的具体内容理解为匹配内容。假设当前的用户状态信息A与目标用户状态信息集合中的至少一个(例如,用户状态信息1)匹配,这里的匹配可以包括以下几种情况:
1、用户状态信息A所包括的匹配项与用户状态信息1所包括的匹配项有交集(例如,为地理位置)。若用户状态信息A中的地理位置信息与用户状态信息1中的地理位置信息完全相同,即,匹配内容相同,则认为用户状态信息A与用户状态信息1匹配。通常情况下,当前采集到的用户状态信息A所包括的匹配项多于或等于预存的用户状态信息1所包括的匹配项;
2、用户状态信息A所包括的匹配项与用户状态信息1所包括的匹配项相同(例如,为地理位置和运动状态)。若用户状态信息A中的地理位置信息与用户状态信息1中的地理位置信息完全相同,且用户状态信息A中的运动状态信息与用户状态信息1中的运动状态信息也完全相同,则认为匹配内容相同,用户状态信息A与用户状态信息1匹配。
相反,若用户状态信息A所包括的匹配项与用户状态信息1所包括的匹配项相同(例如,为地理位置和运动状态)。若用户状态信息A中的地理位置信息与用户状态信息1中的地理位置信息完全相同,而用户状态信息A中的运动状态信息与用户状态信息1中的运动状态信息不同,则认为匹配内容不相同,用户状态信息A与用户状态信息1不匹配。
举例来说,终端采集的当前用户状态信息A包括地理位置(例如,办公室外)和运动模式(例如,行走);而环境声音信号A对应的用户状态信息1包括地理位置(例如,办公室外),那么匹配项的交集就是地理位置,如果用户状态信息A与用户状态信息1中的具体内容是相吻合的(即,办公室外),则认为匹配内容也是完全吻合的,可以对该环境声音信号A进行处理生成提示信号。
再例如,终端采集的当前用户状态信息A包括地理位置(例如,办公室外)和运动模式(例如,行走);而环境声音信号A对应的用户状态信息1包括地理位置(例如,办公室外)和运动模式(例如,乘车)。则认为用户状态信息A与用户状态信息1的匹配项的交集是地理位置和运动模式,而匹配内容运动模式的具体内容是不吻合的,则认为用户状态信息A与用户状态信息1是不匹配的,可以对环境声音信号进行降噪处理。
在本发明实施例中,该处理器在接收到环境声音信号A时,可以根据该环境声音信号A的声音特征信息确定对应的目标用户状态信息集合。该处理器将用户状态信息A与目标用户状态信息集合中的用户状态信息进行匹配,若该用户状态信息A与目标用户状态信息集合中的至少一个用户状态信息匹配,则认为该用户状态信息A与目标用户状态信息集合匹配成功,可以确定对该环境声音信号进行处理生成提示信号;若该用户状态信息A与目标用户状态集合中的任意一个用户状态信息都不匹配,则认为该用户状态信息A与目标用户状态信息集合匹配不成功,可以确定对该环境声音信号进行降噪处理。后文中会详细说明对该环境声音信号A进行处理的具体过程。
由此,该处理器可以确定对该环境声音信号A的处理策略。
应理解,处理器分析环境声音信号的声音特征信息,并与预设的声音特征信息进行匹配的方法可以通过现有技术来实现,为了简洁,这里省略其详细说明。
通过上述两种方法,可以看到,处理器确定对环境声音信号A的处理策略,主要考虑用户状态信息A。可以理解为,将环境声音信号A与用户状态信息A构成一个对应关系(为便于区分和说明,记作对应关系A),当该对应关系A满足有效声音信号与目标用户状态信息的对应关系时,则可以对该环境声音信号A进行处理生成提示信号;当不满足上述有效声音信号与目标用户状态信息的对应关系时,则对该环境声音信号A进行降噪处理。
需要说明的是,这里所说的有效声音信号与目标用户状态信息的对应关系,可以预先保存在终端或者耳机中,也可以是服务器获取。其中,该目标用户状态信息用于表示需要对所对应的有效声音信号进行处理生成提示信号时所满足的用户状态信息。以下结合表1详细说明多个有效声音信号与多个目标用户状态信息的映射关系。
这里,假设对应关系A中的用户状态信息A包括a1、a2和a3三个匹配项,并假设匹配项对应的匹配内容相同。
表1
表1中示出了预存的五个映射关系(即,映射关系1至映射关系5),分别为环境声音信号A与用户状态信息的对应关系,以及环境声音信号B与用户状态信息的对应关系。可以看到,同一个环境声音信号(例如,环境声音信号A)可以对应有多个不同的用户状态信息,不同的环境声音信号(例如,环境声音信号A和环境声音信号B)也可以对应相同的用户状态信息。
处理器可以根据预存的多个映射关系,确定对应关系A是否满足多个映射关系中的任意一个。应注意,这里所说的对应关系A满足有效声音信号与目标用户状态信息的映射关系,包括:对应关系A中的环境声音信号A与有效环境声音信号相同,并且,该对应关系A中的用户状态信息A所包含的信息与目标用户状态信息所包含的用户状态信息有交集(即,用户状态信息A与目标用户状态信息中的一个全部或部分相同)。
仍以表1所示为例,处理器可以根据用户状态信息A,从表1示出的多个映射关系中,确定该用户状态信息A所满足的用户状态信息。即,例如表1中所示,处理器根据用户状态信息a1、a2和a3,可以确定其所满足的用户状态信息分别保存在映射关系1(a1、a2和a3)、映射关系3(a1和a2)、映射关系4(a1、a2和a3)和映射关系5(a1、a2、a5)中。处理器进一步从映射关系1、映射关系3、映射关系4和映射关系5中,确定是否存在与环境声音信号A具有相同声音特征信息的环境声音信号。即,在映射关系1、映射关系3、映射关系4和映射关系5中确定是否存在环境声音信号A。处理器在确定映射关系1和映射关系3中存在环境声音信号A时,确定对该环境声音信号A进行处理生成提示信号。
可以理解,用户状态信息A也可能与预存的多个用户状态信息中的任意一个都没有交集。此情况下,处理器可以直接确定对环境声音信号A进行降噪处理,而不必再进一步去分析环境声音信号的声音特征信息。
作为一个实施例,S220通过该处理器根据用户状态信息对环境声音信号进行处理,包括:
通过该处理器获取多个有效声音信号子集合与多个场景的映射关系,每个有效声音信号子集合包括至少一个声音信号,每个场景包括至少一个用户状态信息,每个场景包括用于表示确定对所对应的有效声音信号子集合中每个声音信号进行处理以生成提示信号时所满足的用户状态信息;
通过该处理器根据该用户状态信息和该多个有效声音信号子集合与多个场景的映射关系,确定该用户状态信息属于该多个场景中的至少一个,且该环境声音信号属于该用户状态信息所属场景对应的有效声音信号子集合时,根据该环境声音信号生成提示信号;或者,
确定该用户状态信息不属于该多个场景中的任意一个时,对该环境声音信号进行降噪处理;或者,
确定该用户状态信息属于该多个场景中的至少一个,但该环境声音信号不属于该用户状态信息所属场景对应的有效声音信号子集合时,对该环境声音信号进行降噪处理。
也就是说,终端或者耳机中可以预先保存多个有效声音信号子集合与多个场景的映射关系,或者,处理器可以预先从服务器获取该多个有效声音信号子集合与多个场景的映射关系,根据当前的用户状态信息,确定所属的场景,再进一步确定环境声音信号是否属于该场景所对应的目标声音信号集合。
具体地,根据通过统计用户的行为习惯,根据多种可能的用户状态信息,划分为多个场景,对于每个场景,都有不同的目标声音信号集合。例如:
第一场景可以为居家场景,对应的目标声音信号集合可以为私有声纹语音(例如,家人的说话声)和家庭环境下的提示音(例如,火警、门铃等);
第二场景可以为办公室场景,对应的目标声音信号集合可以为私有声纹语音(例如,同事或领导的说话声)和办公环境下的提示音(例如,火警、电话铃等);
第三场景可以为户外乘坐交通工具场景,对应的目标声音信号集合可以为公有声纹语音(例如,公交车或地铁的广播声);
第四场景可以为户外运动场景,对应的目标声音信号集合可以为室外环境下的提示音(例如,汽车喇叭声)。
由此,处理器可以根据当前的用户状态信息,确定所属的场景,并将接收到的环境声音信号在该场景所对应的目标声音信号集合中匹配,若匹配到相同的环境声音信号,则确定对该环境声音信号进行处理以生成提示信号;若匹配不到相同的环境声音信号,则确定对该环境声音信号进行降噪处理。
应理解,以上所列举的处理器根据用户状态信息和环境声音信号,确定处理策略的具体方法仅为示例性说明,不应对本发明构成任何限定。其他可以根据用户状态信息和环境声音信号,确定处理策略的方法均应落入本发明的保护范围内。
可以理解,麦克风在任意一个时间段采集到的环境声音信号可能为一个,也可能为多个。处理器可以直接对接收到的环境声音信号进行分析,确定处理策略;也可以对接收到的环境声音信号进行一次筛选,将各种用户状态信息下都不需要用于提示用户的环境声音信号排除后,再结合当前的用户状态信息,对未被排除的环境声音信号(为便于区分和理解,将一次筛选未被排除的环境声音信号记作有效声音信号)进行二次筛选,最终确定是否对环境声音信号进行处理以生成提示信号。
因此,本发明实施例通过根据当前的用户状态信息,对接收到的环境声音信号进行处理,对需要提示用户的环境声音信号进行处理以生成提示信号提示用户,对不需要提示用户的环境声音信号进行降噪处理,以避免对用户不必要的干扰,从而提高了用户体验。
进一步地,当该处理器确定对环境声音信号A进行处理生成提示信号时,可以直接将该环境声音信号A通过耳机(或者,扬声器)播放以输出给用户。但是,这并不能达到最好的用户体验。例如,当用户正在进行一个非常重要的电话会议时,若接收到外界传来的一个电话铃声,就会影响到用户当前的电话会议;或者,当用户正在接听一个重要的电话时,若接收到外界传来的公交车报站声,就会影响到用户的通话质量;或者当用户正处于游戏的重要阶段,例如,正在进行一些跳跃以避免坠落悬崖,若此时接收到洗衣机传来的提示声,可能会使用户被干扰,错过跳跃的最佳时机等等。因此,本发明实施例进一步结合当前运行的业务的优先级信息和/或环境声音信号的优先级信息,确定提示信号的输出方式。
可选地,所述通过该处理器根据环境声音信号生成提示信号,包括:
S232通过该处理器根据该终端当前运行的业务的优先级信息和/或该环境声音信号的优先级信息,确定该提示信号的输出方式;
S234,通过该处理器根据该提示信号的输出方式和该环境声音信号,生成该提示信号。
具体地,该处理器可以根据终端当前运行的业务的优先级信息确定提示信号的输出方式,也可以根据该环境声音信号的优先级信息,确定该提示信号的输出方式,还可以根据业务的优先级信息与环境声音信号的优先级的关系,确定该提示信号的输出方式。举例来说,当用户正在进行一个重要的电话会议时,若接收到外界传来的电话铃声,可以降低当前电话会议的播放声音,同时播放电话铃声,或者,待到电话会议结束后,通过文本消息提示用户有电话接入。此情况下,该电话会议的优先级高于电话铃声的优先级,即,业务的优先级高于环境声音信号的优先级。
相反,若此时接收到外界传来的火警报警声,则必须立刻播放该火警报警声,并且可以中断当前电话会议的播放声音,以最能够引起用户注意的方式播放该火警报警声。此情况下,火警报警声处于最高优先级,即环境声音信号处于最高优先级。
又例如,当用户正处于游戏的重要阶段,若接收到洗衣机传来的提示音,可以不以声音信号的形式提醒,而在游戏结束后,以文本消息的形式提示用户。此情况下,该游戏的优先级高于洗衣机提示音的优先级,即,业务的优先级高于环境声音信号的优先级。
相反,若此时接收到电话铃声,则可以通过中断当前游戏,立刻播放电话铃声的方式提示用户。即,该游戏的优先级低于电话铃声的优先级,即,业务的优先级低于环境声音信号的优先级。
再例如,当用户正在办公室戴着的开启了降噪功能的耳机工作,接到办公电话的铃声,则可以暂停降噪功能,播放该电话铃声以提示用户。此情况下,降噪功能的优先级低于电话铃声的优先级,即业务的优先级低于环境声音信号的优先级。
再例如,当用户正在家戴着耳机看视频,突然接收到门铃声,此时,可以直接暂停视频播放,播放门铃声以提示用户。此情况下,播放视频处于最低优先级,即,业务处于最低优先级。
再例如,当用户正在听着比较舒缓的音乐午休,突然接收到电话铃声,并且该电话铃声是重金属歌曲时,突然切换到重金属歌曲的电话铃声会使用户非常郁闷。此时,可以通过对该电话铃声进行声音合成处理,使该电话铃声以较为舒缓的曲调播放以提示用户。此情况下,可以认为播放音乐的优先级与电话铃声的优先级相同。
通过以上示例可以看到,通过结合终端当前运行的业务优先级和/或环境声音信号的优先级,可以确定该提示信号的输出方式,以提高用户体验。
在一种可能的实现方式中,处理器可以预先保存或从服务器获取业务的优先级信息和/或环境声音信号的优先级信息。
需要说明的是,该多种业务的优先级信息与多种环境声音信号的优先级信息的关系可以通过人为定义并预先设置在终端或服务器中。例如,可以设置根据业务类型分为五个优先级,并将环境声音信号也分为五个优先级。当认为其中的业务A与环境声音信号A具有相同的优先级时,可以对业务A和环境声音信号A设置相同的优先级,例如,优先级为1;当认为业务B的优先级高于业务A的优先级时,可以设置业务B的优先级为2。
应理解,这里所列举的对业务的优先级与环境声音信号的优先级的具体设置仅为示例性说明,不应对本发明构成任何限定。
可选地,该环境声音信号的优先级信息可以保存在有效环境声音集合中,与每个声音特征信息构成映射关系。即,每个声音特征信息对应一个优先级信息。
可选地,该业务的优先级信息可以根据该业务的业务类型和业务参数确定。
举例来说,当终端当前运行的业务类型为接听电话业务,可以进一步确定该业务的业务参数。例如,可以通过该终端中保存的通讯录确定通话对象,或者还可以根据通讯录中是否保存有该电话号码,确认是否为广告电话或骚扰电话。当通过通讯录确定该通话对象为领导或亲人时,可以认为此时该业务的优先级较高,或者,当确定该通话对象不在通讯录中时,可以认为此时该业务的优先级较低。
通过上述S232步骤,该处理器可以确定该环境声音信号A的输出方式,其后,可以根据该输出方式,生成相对应的提示信号。
应理解,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
例如,S232可以在S222、S224或S226、S228之前执行。即,首先根据环境声音信号的优先级信息,确定输出方式,然后在确定对该环境声音信号进行处理生成提示信号时,直接根据预先确定好的输出方式,生成相应的提示信号。
可选地,该预先保存的有效声音信号集合中可以预先保存有效声音信号与输出方式的映射关系,当接收到该有效声音信号时,可以直接根据对应的输出方式生成提示信号。
这种方式可以在采集到有效声音信号时,立刻对其进行处理生成提示信号,与上文描述的方法(确定需要对该有效声音信号进行处理生成提示信号时才进一步确定输出方式)相比,减少了S234步骤在输出提示信号前才执行S232确定输出方式造成的提示时间延迟。
可选地,该预先保存的有效声音信号集合中也可以不保存有效声音信号与输出方式的映射关系,而在确定需要进行处理生成提示信号后进一步确定输出方式。
这种方式可以动态地根据业务类型和业务参数确定业务优先级,并进一步根据业务优先级和/或环境声音信号的优先级确定输出方式,比较灵活。在本发明实施例中,作为示例而非限定,该输出方式包括:声音输出方式或文本输出方式。与之对应地,提示信号可以为声音提示信号或文本提示消息。
可选地,S234通过该处理器根据该提示信号的输出方式和该环境声音信号,生成提示信号,包括:
在该处理器确定该提示信号的输出方式为声音输出方式时,通过该处理器根据该环境声音信号生成声音提示信号;或者,
在该处理器确定该提示信号的输出方式为文本输出方式时,通过该处理器根据该环境声音信号生成文本提示消息。
可选地,通过该处理器根据该环境声音信号生成声音提示信号,包括:
通过该处理器确定该环境声音信号的信噪比;
在该环境声音信号的信噪比大于或等于预设门限值时,通过该处理器对该环境声音信号进行降噪处理和/或合成处理,生成该声音提示信号;或者,
在该环境声音信号的信噪比小于该预设门限值时,将该环境声音信号作为该声音提示信号。
具体地,该处理器可以对接收到的环境声音信号A进行分析,确定信噪比。即,采集到的环境声音信号包括提示音和环境噪音两部分,该处理器可以将提示音与环境噪音单独提取出来,计算提示音与环境噪音的比值。
当确定信噪比大于或等于预设门限值时,则可以认为该环境声音信号质量不佳,需要对该环境声音信号进行降噪处理和/或声音合成处理。其中,降噪处理是指,将该环境声音信号中的有效声音信号(即,提示音)提取出来,对剩余的声音信号(即,噪音)进行处理,使得经过处理后得到的提示信号具有较高的信噪比,具有较高的清晰度,能够很容易被用户辨识(为便于说明,以下简称为,具有较好的声音质量);声音合成处理是指,将提示音提取出来,与预存的声音进行合成,生成提示信号,使得该提示信号输出的质量更好。
可选地,处理器也可以通过首先通过降噪处理对环境声音信号进行处理后,再与预存的声音进行合成,生成提示信号,以提高提示信号的输出质量。
应理解,降噪处理和声音合成处理都可以通过现有技术来实现,这里为了简洁,省略对其具体过程的详细说明。还应理解,降噪处理和声音合成处理仅为用于对环境声音信号进行处理生成提示信号的两种可能的实现方式,不应对本发明构成任何限定,处理器也可以通过其他的方式来对环境声音信号进行处理,以提高输出的声音信号的质量。
可选地,通过该处理器根据该环境声音信号生成文本提示消息,包括:
通过该处理器确定该环境声音信号为语音信号或非语音信号;
当该环境声音信号为该语音信号时,通过该处理器获取该语音信号承载的提示信息;
通过该处理器生成该文本提示消息,该文本提示消息承载该提示信息;或者,
当该环境声音信号为该非语音信号时,通过该处理器根据该环境声音信号的声音特征,以及预先保存的多个声音特征信息与多个关联提示语句的一一对应关系,确定与该环境声音信号的声音特征对应的关联提示语句;
通过该处理器生成该文本提示消息,该文本提示消息包括该关联提示语句。
具体地,当该环境声音信号为语音信号时,该处理器可以通过现有的声音识别技术获取语音信号所承载的信息,并将该信息转换为文本提示消息;当该环境声音信号为该非语音信号时,该处理器可以将预先保存多个声音特征信息与多个关联提示语句的一一对应关系,当接收到非语音信号时,将接收到的非语音信号的声音特征信息与预先保存的多个声音特征信息进行匹配,将匹配到的非语音信号对应的关联提示语句提取出来,生成文本提示消息。
举例来说,当可以将洗衣机的提示音的声音特征信息(例如,频率)与提示语句“洗衣机发来提示”的文本提示消息关联起来。当处理器获取到具有与该声音特征信息相同的环境声音信号时,可以将该环境声音信号转换为所关联的文本提示消息。
应理解,通过声音识别技术识别语音信号可以通过现有技术来实现,这里为了简洁,省略对其具体过程的详细说明。
可选地,声音输出方式可以包括第一输出方式。第一输出方式具体为:中断耳机当前的工作模式,并播放该声音提示信号。其中,耳机当前的工作模式与终端当前运行的业务相对应。
可选地,通过该处理器根据该终端当前运行的业务的优先级信息和/或环境声音信号的优先级信息,确定该提示信号的输出方式,包括:
通过该处理器确定该环境声音信号的优先级处于最高优先级时,或者,
在确定该终端当前运行的业务的优先级处于最低优先级时,或者,
在确定该环境声音信号的优先级高于或等于该终端当前运行的业务的优先级时,确定该提示信号的输出方式为该第一输出方式。
具体地,该耳机当前的工作模式可以与终端当前运行的业务相对应。例如,当终端正在运行音频、视频等输出声音信号的业务时,该耳机处于播放声音信号的工作模式;当终端正在运行接听电话的业务时,该耳机也处于播放声音信号的模式;当终端正在运行降噪功能时,该耳机处于降噪模式。
该第一输出方式即中断当前耳机正在播放的声音信号,或者,暂停降噪模式,播放声音提示信号。
进一步地,该声音输出方式还可以包括第二输出方式。第二输出方式具体为:降低当前播放的声音信号的音量,并同时播放所述声音提示信号。
可选地,通过该处理器根据该终端当前运行的业务的优先级信息,以及环境声音信号的优先级信息,确定该提示信号的输出方式,包括:
通过该处理器确定该环境声音信号的优先级等于该终端当前运行的业务的优先级时,确定该提示信号的输出方式为该第二输出方式。
再进一步地,该处理器还可以预先检测该终端是否配置有显示屏,在确定该终端配置有显示屏时,可以通过文本输出方式输出该提示信号;在确定该终端未配置有电视屏时,可以依然通过声音输出方式(例如,下文所述的第三输出方式)输出该提示信号。
可选地,通过该处理器根据该终端当前运行的业务的优先级信息,以及环境声音信号的优先级信息,确定该提示信号的输出方式,包括:
通过该处理器确定该环境声音信号的优先级低于该终端当前运行的业务的优先级时,确定该提示信号的输出方式为该文本输出方式。
可选地,该声音输出方式还可以包括第三输出方式。第三输出方式具体为:在结束耳机当前播放的声音信号之后,播放该声音提示信号。
可选地,通过该处理器根据该终端当前运行的业务的优先级信息,以及环境声音信号的优先级信息,确定该提示信号的输出方式,包括:
通过该处理器确定该环境声音信号的优先级低于该终端当前运行的业务的优先级时,确定该提示信号的输出方式为该第三输出方式。
应理解,以上所列举的根据业务的优先级与环境声音信号的优先级确定提示信号的输出方式的具体方法仅为示例性说明,不应对本发明构成任何限定,本发明也不应限于此。
可选地,在S234根据该环境声音信号生成提示信号之后,该方法200还包括:
S236,输出该提示信号。
可选地,S236输出该提示信号,包括:
通过耳机或扬声器播放该声音提示消息。
具体地,在情况一下,终端可以配置有耳机插孔或者蓝牙模块,终端配置的处理器(即,第一处理器)可以通过耳机线或者无线射频技术,向耳机发送声音提示信号,通过耳机播放该声音提示信号;在情况二下,耳机可以配置有扬声器,扬声器可以从耳机的处理器(即,第二处理器)中获取声音提示信号,并播放该声音提示信号。
可选地,S236输出该提示信号,包括:
通过该显示屏呈现该文本提示消息。
具体地,在情况一下,终端可以配置有显示屏,该显示屏可以从第一处理器获取文本提示消息,并呈现该文本提示消息;在情况二下,终端可以配置有显示屏,耳机可以配置有耳机线或者蓝牙模块,第二处理器可以通过耳机线或蓝牙模块向终端发送文本提示消息,通过显示屏呈现该文本提示消息。
以上,详细说明了处理器根据业务的优先级和/或环境声音信号的优先级,确定提示信号的输出方式,以及生成提示信号的具体过程。以下,详细说明对环境声音信号进行降噪处理的过程。
通过上文S220步骤(具体地,S222、S224或S226、S228)中描述的方法,该处理器可以确定是否对环境声音信号A进行降噪处理。
这里所说的对环境声音信号A进行降噪处理,是指将接收到的环境声音信号A作为噪音,对该环境声音信号A进行处理,使得该环境声音信号A不被用户感知到。或者说,在处理器获取到该环境声音信号A时,对其进行处理,使其不被处理器输出,并通过耳机(或者说,扬声器)播放。
需要说明的是,本发明实施例中的耳机可以为具有主动降噪功能的耳机,在检测到环境声音信号A时,若通过上文描述的方法确定对该环境声音信号A进行降噪处理,便可以继续执行该耳机的降噪功能;相反,若通过上文描述的方法确定对该环境声音信号A进行处理以生成提示信号,可以暂停耳机的降噪功能,以采集该环境声音信号A,以对其进行处理以生成提示信号。
本发明实施例中的耳机也可以为被动降噪功能的耳机,该耳机是通过物理的方法进行降噪。在检测到环境声音信号A时,若通过上文描述的方法确定对该环境声音信号A进行降噪处理,可以不作任何处理;相反,若通过上文描述的方法确定对该环境声音信号A进行处理以生成提示信号时,可以对采集到的环境声音信号A进行处理以生成提示信号。
本发明实施例中的耳机还可以为普通耳机。在检测到环境声音信号A时,若通过上文描述的方法确定对该环境声音信号A进行降噪处理,可以通过终端中的处理器对其进行降噪处理;相反,若通过上文描述的方法确定对该环境声音信号A进行处理以生成提示信号时,可以对采集到的环境声音信号A进行处理以生成提示信号。
因此,本发明实施例的声音信号处理的方法,通过结合用户状态信息,确定处理策略,能够避免对用户造成不必要的干扰。并进一步根据业务优先级信息和/或环境声音信号的优先级信息,确定环境声音信号的输出方式,可以进一步用户体验。
以上,结合图2详细说明了根据本发明实施例的声音信号处理的方法。以下,结合图3至图5详细说明根据本发明实施例的声音信号处理的装置。
图3示出了根据本发明一实施例的终端300的示意性框图。如图3所示,该终端300包括:麦克风310和处理器320。
其中,该麦克风310用于采集环境声音信号;
该处理器320用于获取该该麦克风310采集的该环境声音信号,并根据用户状态信息对该环境声音信号进行处理,其中,该用户状态信息包括:使用该终端300的用户所处的地理位置或该用户的运动状态。
可选地,该处理器320在用于根据该用户状态信息对该环境声音信号进行处理时,具体包括:
该处理器320用于根据该用户状态信息,确定用于提示用户的有效声音信号集合;
该处理器320用于在确定该环境声音信号属于该有效声音信号集合时,根据该环境声音信号生成提示信号;或者,
该处理器320用于在确定该环境声音信号不属于该有效声音信号集合时,对该环境声音信号进行降噪处理。
可选地,该处理器320在用于根据该用户状态信息对该环境声音信号进行处理,具体包括:
该处理器320用于根据该环境声音信号,确定对该环境声音信号进行处理以生成提示信号时满足的目标用户状态信息集合;
该处理器320用于在确定该用户状态信息属于该目标用户状态信息集合时,根据该环境声音信号生成该提示信号;或者,
该处理器320用于在确定该环境声音信号不属于该目标用户状态信息集合时,对该环境声音信号进行降噪处理。
可选地,该处理器320还用于根据该终端300当前运行的业务的优先级信息和/或该环境声音信号的优先级信息,确定该提示信号的输出方式;
该处理器320还用于根据该提示信号的输出方式和该环境声音信号,生成该提示信号。
可选地,该输出方式包括:声音输出方式,该提示信号包括声音提示信号;
该处理器320在用于根据该提示信号的输出方式和该环境声音信号,生成该提示信号时,具体用于在确定该提示信号的输出方式为该声音输出方式时,根据该环境声音信号生成声音提示信号;
该终端300还包括通信模块330,用于向耳机发送该声音提示信号,以通过该耳机播放该处理器生成的该声音提示信号。具体地,可以通过耳机中的扬声器播放该声音提示信号。
可选地,该通信模块330包括:耳机插孔和/或蓝牙模块。
可选地,该声音输出方式包括第一输出方式,该第一输出方式为中断该耳机当前的工作模式,并播放该声音提示信号,其中,该耳机当前的工作模式与该终端300当前运行的业务相对应;
该处理器320在用于根据该终端300当前运行的业务的业务信息,确定该提示信号的输出方式时,具体用于:
在确定该环境声音信号的优先级处于最高优先级时,或者,
在确定该终端当前运行的业务的优先级处于最低优先级时,或者,
在确定该环境声音信号的优先级高于或等于该业务的优先级时,确定该提示信号的输出方式为该第一输出方式。
可选地,该输出方式包括文本输出方式,该提示信号包括文本提示消息;
该处理器320在用于根据该提示信号的输出方式和该环境声音信号生成该提示信号时,具体用于在确定该提示信号的输出方式为该文本输出方式时,根据该环境声音信号生成文本提示消息;
该终端还包括显示屏340,用于呈现该文本提示消息。
根据本发明实施例的处理器320可对应于根据本发明实施例的声音信号处理的方法200中的声音信号处理装置,并且,该处理器320配置在终端300中,通过上述其他操作和/或功能为了实现图2中的方法的相应流程,为了简洁,在此不再赘述。
因此,本发明实施例的终端,通过结合用户状态信息,对需要提示用户的环境声音信号进行处理以生成提示信号提示用户,对不需要提示用户的环境声音信号进行降噪处理,能够避免对用户造成不必要的干扰。并进一步根据业务优先级信息和/或环境声音信号的优先级信息,确定环境声音信号的输出方式,可以进一步用户体验。
以下,为便于理解,以手机为例,详细说明根据本发明实施例的终端。
图4示出了是根据本发明另一实施例的手机400的示意性框图。具体地,图4示出的是与本发明实施例相关的手机的部分结构的框图。如图4所示,该手机400包括:射频(RadioFrequency,简称“RF”)电路410、存储器420、其他输入设备430、显示屏440、传感器450、音频电路460、I/O子系统470、处理器480、以及电源490等部件。本领域技术人员可以理解,图4中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。本领域技术人员可以理解,显示屏410属于用户界面(UserInterface,简称“UI”),且手机400可以包括比图示更多或者更少的用户界面。
下面结合图4对手机的各个构成部件进行具体的介绍。
RF电路410可用于收发信息或通话过程中信号的接收和发送,特别地,将基站的下行信息接收后,给处理器480处理;另外,将手机的上行数据发送给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier,简称“LNA”)、双工器等。此外,RF电路410还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(Global Systemof Mobile communication,简称“GSM”)、通用分组无线服务GPRS(General Packet RadioService,简称“GPRS”)、码分多址(Code Division Multiple Access,简称“CDMA”)、宽带码分多址(Wideband Code Division Multiple Access,简称“WCDMA”)、长期演进(Long TermEvolution,简称“LTE”)、电子邮件、短消息服务(Short Messaging Service,简称“SMS”)等。
可选地,该RF电路410可以包括蓝牙模块,与蓝牙耳机连接,用于传输信号。
存储器420可用于存储软件程序以及模块,处理器480通过运行存储在存储器420的软件程序以及模块,从而执行该手机400的各种功能应用以及数据处理。存储器420可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图象播放功能等)等;存储数据区可存储根据手机400的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其他输入设备430可用于接收输入的数字或字符信息,以及产生与手机400的用户设置以及功能控制有关的键信号输入。具体地,其他输入设备130可包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、光鼠(光鼠是不显示可视输出的触摸敏感表面,或者是由触摸屏形成的触摸敏感表面的延伸)等中的一种或多种。
其他输入设备430与I/O子系统470的其他输入设备控制器471相连接,在其他设备输入控制器471的控制下与处理器480进行信号交互。
显示屏440可用于显示由用户输入的信息或提供给用户的信息以及手机400的各种菜单,还可以接收用户输入。具体的显示屏440可包括显示面板441,以及触控面板442。其中显示面板441可以采用LCD(Liquid Crystal Display,液晶显示器)、OLED(OrganicLight-Emitting Diode,有机发光二极管)等形式来配置显示面板441。触控面板442,也称为触摸屏、触敏屏等,可收集用户在其上或附近的接触或者非接触操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板442上或在触控面板442附近的操作,也可以包括体感操作;该操作包括单点控制操作、多点控制操作等操作类型。),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板442可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位、姿势,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成处理器能够处理的信息,再送给处理器480,并能接收处理器480发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板442,也可以采用未来发展的任何技术实现触控面板442。进一步的,触控面板442可覆盖显示面板441,用户可以根据显示面板441显示的内容(该显示内容包括但不限于,软键盘、虚拟鼠标、虚拟按键、图标等等),在显示面板441上覆盖的触控面板442上或者附近进行操作,触控面板442检测到在其上或附近的操作后,通过I/O子系统470传送给处理器480以确定用户输入,随后处理器480根据用户输入通过I/O子系统470在显示面板441上提供相应的视觉输出。虽然在图4中,触控面板442与显示面板441是作为两个独立的部件来实现手机400的输入和输入功能,但是在某些实施例中,可以将触控面板442与显示面板441集成而实现手机400的输入和输出功能。
该手机400还可包括至少一种传感器450,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板441的亮度,接近传感器可在手机400移动到耳边时,关闭显示面板441和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机400还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路460、扬声器461,麦克风462可提供用户与手机400之间的音频接口。音频电路460可将接收到的音频数据转换后的信号,传输到扬声器461,由扬声器461转换为声音信号输出;另一方面,麦克风462将收集的声音信号转换为信号,由音频电路460接收后转换为音频数据,再将音频数据输出至RF电路410以发送给比如另一手机,或者将音频数据输出至存储器420以便进一步处理。
可选地,该音频电路460可以包括耳机插孔,该耳机插孔可以通过耳机线与耳机相连,以传输信号。
I/O子系统470用来控制输入输出的外部设备,可以包括其他设备输入控制器471、传感器控制器472、显示控制器473。可选的,一个或多个其他输入控制设备控制器471从其他输入设备430接收信号和/或者向其他输入设备430发送信号,其他输入设备430可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮、光鼠(光鼠是不显示可视输出的触摸敏感表面,或者是由触摸屏形成的触摸敏感表面的延伸)。值得说明的是,其他输入控制设备控制器471可以与任一个或者多个上述设备连接。所述I/O子系统470中的显示控制器473从显示屏440接收信号和/或者向显示屏440发送信号。显示屏440检测到用户输入后,显示控制器473将检测到的用户输入转换为与显示在显示屏440上的用户界面对象的交互,即实现人机交互。传感器控制器472可以从一个或者多个传感器450接收信号和/或者向一个或者多个传感器450发送信号。
处理器480是手机400的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器420内的软件程序和/或模块,以及调用存储在存储器420内的数据,执行手机400的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器480可包括一个或多个处理单元;优选的,处理器480可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器480中。
该手机400还包括给各个部件供电的电源490(比如电池),优选的,电源可以通过电源管理系统与处理器480逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗等功能。
尽管未示出,手机400还可以包括摄像头、蓝牙模块等,在此不再赘述。
应理解,上文所描述的终端300可以是图4所示出的手机400,当终端300是该手机400时,该终端300中的处理器320可以是手机400中的处理器480,该终端300中的通信模块330可以包括手机400中蓝牙模块和/或耳机插孔,该终端300中的显示屏340可以是手机400中的触摸屏。
图5是根据本发明又一实施例的耳机500的示意性框图。如图5所示,该耳机500:麦克风510和处理器520。
其中,该麦克风510用于采集环境声音信号;
该处理器520用于获取该麦克风510采集的该环境声音信号,并根据用户状态信息对该环境声音信号进行处理,其中,该用户状态信息包括:使用该终端的用户所处的地理位置或该用户的运动状态。
可选地,该处理器520在用于根据该用户状态信息对该环境声音信号进行处理时,具体包括:
该处理器520用于根据该用户状态信息,确定用于提示用户的有效声音信号集合;
该处理器520用于在确定该环境声音信号属于该有效声音信号集合时,根据该环境声音信号生成提示信号;或者,
该处理器520用于在确定该环境声音信号不属于该有效声音信号集合时,对该环境声音信号进行降噪处理。
可选地,该处理器520在用于根据该用户状态信息对该环境声音信号进行处理时,具体包括:
该处理器520用于根据该环境声音信号,确定对该环境声音信号进行处理以生成提示信号时满足的目标用户状态信息集合;
该处理器520用于在确定该用户状态信息属于该目标用户状态信息集合时,根据该环境声音信号生成该提示信号;或者,
该处理器520用于在确定该用户状态信息不属于该目标用户状态信息集合时,对该环境声音信号进行降噪处理。
可选地,该处理器520还用于根据该终端当前运行的业务的优先级信息和/或该环境声音信号的优先级信息,确定该提示信号的输出方式;
该处理器520还用于根据该提示信号的输出方式和该环境声音信号,生成该提示信号。
可选地,该输出方式包括:声音输出方式,该提示信号包括声音提示信号;
该处理器520在用于根据该提示信号的输出方式和该环境声音信号,生成该提示信号时,具体用于在确定该提示信号的输出方式为该声音输出方式时,根据该环境声音信号生成声音提示信号;
该耳机500还包括扬声器,用于播放该处理器520生成的该声音提示信号。
可选地,该声音输出方式包括第一输出方式,该第一输出方式为中断该耳机500当前的工作模式,并播放该声音提示信号,其中,该耳机500当前的工作模式与该终端当前运行的业务相对应;
该处理器520在用于根据该终端当前运行的业务的优先级信息和/或该环境声音信号的优先级信息,确定该提示信号的输出方式时,具体用于:
在确定该环境声音信号的优先级处于最高优先级时,或者,
在确定该终端当前运行的业务的优先级处于最低优先级时,或者,
在确定该环境声音信号的优先级高于或等于该业务的优先级时,确定该提示信号的输出方式为该第一输出方式。
可选地,该输出方式包括文本输出方式,该提示信号包括文本提示消息;
该处理器520在用于根据该提示信号的输出方式和该环境声音信号生成该提示信号时,具体用于在确定该提示信号的输出方式为该文本输出方式时,根据该环境声音信号生成文本提示消息;
该耳机500还包括通信模块530,用于将该文本提示消息发送至该耳机500所连接的终端,以通过该终端所配置的显示屏呈现该文本提示消息。
可选地,该通信模块530包括耳机线和/或蓝牙模块。
根据本发明实施例的处理器520可对应于根据本发明实施例的声音信号处理的方法200中的声音信号处理装置,并且,该处理器520配置在耳机500中,通过上述其他操作和/或功能为了实现图2中的方法的相应流程,为了简洁,在此不再赘述。
因此,本发明实施例的耳机,通过结合用户状态信息对环境声音信号进行处理,对需要提示用户的环境声音信号进行处理以生成提示信号提示用户,对不需要提示用户的环境声音信号进行降噪处理,能够避免对用户造成不必要的干扰。并进一步根据业务优先级信息和/或环境声音信号的优先级信息,确定环境声音信号的输出方式,可以进一步用户体验。
应理解,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器执行存储器中的指令,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例中描述的各方法步骤和单元,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称为“ROM”)、随机存取存储器(Random Access Memory,简称为“RAM”)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (6)
1.一种终端,其特征在于,包括:
麦克风,用于采集环境声音信号;
处理器,用于根据用户状态信息,确定用于提示用户的有效声音信号集合;并用于在确定所述环境声音信号属于所述有效声音信号集合时,根据所述环境声音信号生成提示信号;或者,在确定所述环境声音信号不属于所述有效声音信号集合时,对所述环境声音信号进行降噪处理;或者,
所述处理器,用于根据所述环境声音信号,确定对所述环境声音信号进行处理以生成提示信号时满足的目标用户状态信息集合;并用于在确定所述用户状态信息属于所述目标用户状态信息集合时,根据所述环境声音信号生成提示信号;或者,在确定所述用户状态信息不属于所述目标用户状态信息集合时,对所述环境声音信号进行降噪处理;
其中,所述用户状态信息包括:使用所述终端的用户所处的地理位置或所述用户的运动状态;
所述处理器在用于根据所述环境声音信号生成所述提示信号时,具体用于:
根据所述终端当前运行的业务的优先级信息和/或所述环境声音信号的优先级信息,确定所述提示信号的输出方式;
根据所述提示信号的输出方式和所述环境声音信号,生成所述提示信号;
其中,所述输出方式包括:声音输出方式,所述提示信号包括声音提示信号;
所述处理器在用于根据所述提示信号的输出方式和所述环境声音信号,生成所述提示信号时,具体用于在确定所述提示信号的输出方式为所述声音输出方式时,根据所述环境声音信号生成声音提示信号;
所述终端还包括通信模块,用于向耳机发送所述声音提示信号,以通过所述耳机播放所述处理器生成的所述声音提示信号;
其中,所述声音输出方式包括第一输出方式、第二输出方式和第三输出方式,所述第一输出方式为中断所述耳机当前的工作模式,并播放所述声音提示信号,所述耳机当前的工作模式与所述终端当前运行的业务相对应;所述第二输出方式为降低当前播放的声音信号的音量,并同时播放所述声音提示信号;所述第三输出方式为在结束所述耳机当前播放的声音信号之后,播放所述声音提示信号;
所述处理器在用于根据所述终端当前运行的业务的业务信息,确定所述提示信号的输出方式时,具体用于:
在确定所述环境声音信号的优先级处于最高优先级时,或者,
在确定所述终端当前运行的业务的优先级处于最低优先级时,或者,
在确定所述环境声音信号的优先级高于或等于所述业务的优先级时,确定所述提示信号的输出方式为所述第一输出方式;
在确定所述环境声音信号的优先级等于所述终端当前运行的业务的优先级时,确定所述提示信号的输出方式为所述第二输出方式;或者
在确定所述环境声音信号的优先级低于所述终端当前运行的业务的优先级时,确定所述提示信号的输出方式为所述第三输出方式。
2.根据权利要求1所述的终端,其特征在于,所述输出方式还包括文本输出方式,所述提示信号包括文本提示消息;
所述处理器在用于根据所述提示信号的输出方式和所述环境声音信号生成所述提示信号时,具体用于在确定所述提示信号的输出方式为所述文本输出方式时,根据所述环境声音信号生成文本提示消息;
所述终端还包括显示屏,用于呈现所述文本提示消息。
3.一种耳机,其特征在于,包括:
麦克风,用于采集环境声音信号;
处理器,用于根据用户状态信息,确定用于提示用户的有效声音信号集合;并用于在确定所述环境声音信号属于所述有效声音信号集合时,根据所述环境声音信号生成提示信号;或者,在确定所述环境声音信号不属于所述有效声音信号集合时,对所述环境声音信号进行降噪处理;或者,
所述处理器,用于根据所述环境声音信号,确定对所述环境声音信号进行处理以生成提示信号时满足的目标用户状态信息集合;并用于在确定所述用户状态信息属于所述目标用户状态信息集合时,根据所述环境声音信号生成提示信号;或者,在确定所述用户状态信息不属于所述目标用户状态信息集合时,对所述环境声音信号进行降噪处理;
其中,所述用户状态信息包括:使用终端的用户所处的地理位置或所述用户的运动状态,所述耳机与所述终端连接;
所述处理器在用于根据所述环境声音信号生成提示信号时,具体用于:
根据所述终端当前运行的业务的优先级信息和/或所述环境声音信号的优先级信息,确定所述提示信号的输出方式;
根据所述提示信号的输出方式和所述环境声音信号,生成所述提示信号;
其中,所述输出方式包括:声音输出方式,所述提示信号包括声音提示信号;
所述处理器在用于根据所述提示信号的输出方式和所述环境声音信号,生成所述提示信号时,具体用于在确定所述提示信号的输出方式为所述声音输出方式时,根据所述环境声音信号生成声音提示信号;
所述耳机还包括扬声器,用于播放所述处理器生成的所述声音提示信号;
其中,所述声音输出方式包括第一输出方式、第二输出方式和第三输出方式,所述第一输出方式为中断所述耳机当前的工作模式,并播放所述声音提示信号,其中,所述耳机当前的工作模式与所述终端当前运行的业务相对应;所述第二输出方式为降低当前播放的声音信号的音量,并同时播放所述声音提示信号;所述第三输出方式为在结束所述耳机当前播放的声音信号之后,播放所述声音提示信号;
所述处理器在用于根据所述终端当前运行的业务的优先级信息和/或所述环境声音信号的优先级信息,确定所述提示信号的输出方式时,具体用于:
在确定所述环境声音信号的优先级处于最高优先级时,或者,
在确定所述终端当前运行的业务的优先级处于最低优先级时,或者,
在确定所述环境声音信号的优先级高于或等于所述业务的优先级时,确定所述提示信号的输出方式为所述第一输出方式;
在确定所述环境声音信号的优先级等于所述终端当前运行的业务的优先级时,确定所述提示信号的输出方式为所述第二输出方式;或者
在确定所述环境声音信号的优先级低于所述终端当前运行的业务的优先级时,确定所述提示信号的输出方式为所述第三输出方式。
4.根据权利要求3所述的耳机,其特征在于,所述输出方式还包括文本输出方式,所述提示信号包括文本提示消息;
所述处理器在用于根据所述提示信号的输出方式和所述环境声音信号生成所述提示信号时,具体用于在确定所述提示信号的输出方式为所述文本输出方式时,根据所述环境声音信号生成文本提示消息;
所述耳机还包括通信模块,用于将所述文本提示消息发送至所述耳机所连接的终端,以通过所述终端所配置的显示屏呈现所述文本提示消息。
5.一种声音信号处理的方法,其特征在于,所述方法由声音处理装置执行,所述方法包括:
获取环境声音信号;
根据用户状态信息,确定用于提示用户的有效声音信号集合;
在确定所述环境声音信号属于所述有效声音信号集合时,根据所述环境声音信号生成提示信号;或者,在确定所述环境声音信号不属于所述有效声音信号集合时,对所述环境声音信号进行降噪处理;或者,
根据所述环境声音信号,确定对所述环境声音信号进行处理以生成提示信号时满足的目标用户状态信息集合;
在确定所述用户状态信息属于所述目标用户状态信息集合时,根据所述环境声音信号生成提示信号;或者,在确定所述用户状态信息不属于所述目标用户状态信息集合时,对所述环境声音信号进行降噪处理;
其中,所述用户状态信息包括:使用终端的用户所处的地理位置或所述用户的运动状态;其中,所述根据所述环境声音信号生成所述提示信号,包括:
根据所述终端当前运行的业务的业务优先级信息和/或所述环境声音信号的优先级信息,确定所述提示信号的输出方式;
根据所述提示信号的输出方式和所述环境声音信号,生成所述提示信号;
其中,所述输出方式包括声音输出方式,所述提示信号包括声音提示信号;以及,
所述根据所述提示信号的输出方式和所述环境声音信号,生成所述提示信号,包括:
在确定所述提示信号的输出方式为所述声音提示方式时,根据所述环境声音信号生成所述声音提示信号;
所述方法还包括:
播放所述声音提示信号;
其中,所述声音输出方式包括第一输出方式、第二输出方式和第三输出方式,所述第一输出方式为中断耳机当前的工作模式,并播放所述声音提示信号,其中,所述耳机与所述终端连接,所述耳机当前的工作模式与所述终端当前运行的业务相对应;所述第二输出方式为降低当前播放的声音信号的音量,并同时播放所述声音提示信号;所述第三输出方式为在结束所述耳机当前播放的声音信号之后,播放所述声音提示信号;以及,
所述根据所述终端当前运行的业务的业务优先级信息和/或所述环境声音信号的优先级信息,确定所述提示信号的输出方式,包括:
确定所述终端当前运行的业务的业务优先级处于最低优先级时,或者,
确定所述环境声音信号的优先级处于最高优先级时,或者,
确定所述环境声音信号的优先级高于或等于所述业务的业务优先级时,确定所述提示信号的输出方式为所述第一输出方式;
在确定所述环境声音信号的优先级等于所述终端当前运行的业务的优先级时,确定所述提示信号的输出方式为所述第二输出方式;或者
在确定所述环境声音信号的优先级低于所述终端当前运行的业务的优先级时,确定所述提示信号的输出方式为所述第三输出方式。
6.根据权利要求5所述的方法,其特征在于,所述输出方式还包括文本输出方式,所述提示信号包括文本提示消息;以及,
所述根据所述提示信号的输出方式和所述环境声音信号,生成所述提示信号,包括:
在确定所述提示信号的输出方式为所述文本输出方式时,根据所述环境声音信号生成所述文本提示消息;
所述方法还包括:
呈现所述文本提示消息。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2016/098455 WO2018045536A1 (zh) | 2016-09-08 | 2016-09-08 | 声音信号处理的方法、终端和耳机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108605073A CN108605073A (zh) | 2018-09-28 |
CN108605073B true CN108605073B (zh) | 2021-01-05 |
Family
ID=61562425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680080782.1A Active CN108605073B (zh) | 2016-09-08 | 2016-09-08 | 声音信号处理的方法、终端和耳机 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10902866B2 (zh) |
CN (1) | CN108605073B (zh) |
WO (1) | WO2018045536A1 (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3445063B1 (en) * | 2017-08-18 | 2020-04-22 | Honeywell International Inc. | System and method for hearing protection device to communicate alerts from personal protection equipment to user |
JP7289614B2 (ja) * | 2018-03-07 | 2023-06-12 | 株式会社日立製作所 | 通信管理方法、通信システム及びプログラム |
US10817252B2 (en) * | 2018-03-10 | 2020-10-27 | Staton Techiya, Llc | Earphone software and hardware |
CN109451385A (zh) * | 2018-10-16 | 2019-03-08 | 深圳壹账通智能科技有限公司 | 一种基于使用耳机时的提醒方法以及装置 |
CN109949822A (zh) * | 2019-03-31 | 2019-06-28 | 联想(北京)有限公司 | 信号处理方法和电子设备 |
CN112150778A (zh) * | 2019-06-29 | 2020-12-29 | 华为技术有限公司 | 环境音处理方法及相关装置 |
CN110475170A (zh) * | 2019-07-10 | 2019-11-19 | 深圳壹账通智能科技有限公司 | 耳机播放状态的控制方法、装置、移动终端及存储介质 |
CN117909082B (zh) | 2019-12-31 | 2024-09-20 | 华为技术有限公司 | 占用设备的方法以及电子设备 |
JP7410557B2 (ja) * | 2020-02-04 | 2024-01-10 | 株式会社Agama-X | 情報処理装置及びプログラム |
WO2021159369A1 (zh) * | 2020-02-13 | 2021-08-19 | 深圳市汇顶科技股份有限公司 | 一种用于降噪的助听方法、装置、芯片、耳机及存储介质 |
CN111464902A (zh) * | 2020-03-31 | 2020-07-28 | 联想(北京)有限公司 | 信息处理方法、装置及耳机和存储介质 |
CN111698602A (zh) * | 2020-06-19 | 2020-09-22 | 青岛歌尔智能传感器有限公司 | 耳机及其耳机控制方法、控制装置和可读存储介质 |
CN111741396A (zh) * | 2020-06-29 | 2020-10-02 | 维沃移动通信有限公司 | 控制方法、装置、电子设备及可读存储介质 |
CN111818165A (zh) * | 2020-07-09 | 2020-10-23 | 深圳市科奈信科技有限公司 | 一种耳机找回提示方法、系统、电子设备及存储介质 |
US11937148B2 (en) * | 2020-07-30 | 2024-03-19 | Qualcomm Incorporated | User equipment indoor/outdoor indication |
US11474774B2 (en) * | 2020-11-24 | 2022-10-18 | Arm Limited | Environmental control of audio passthrough amplification for wearable electronic audio device |
CN114613380A (zh) * | 2020-12-04 | 2022-06-10 | 中国移动通信集团终端有限公司 | 一种录音的方法、装置、设备及存储介质 |
CN113766382B (zh) * | 2021-08-31 | 2024-09-24 | 安克创新科技股份有限公司 | 耳机控制方法、装置和电子设备 |
CN113938785A (zh) * | 2021-11-24 | 2022-01-14 | 英华达(上海)科技有限公司 | 降噪处理方法、装置、设备、耳机及存储介质 |
CN114390391B (zh) * | 2021-12-29 | 2023-10-27 | 联想(北京)有限公司 | 一种音频处理方法以及设备 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1897054A (zh) | 2005-07-14 | 2007-01-17 | 松下电器产业株式会社 | 可根据声音种类发出警报的传输装置及方法 |
CN101238711A (zh) | 2005-08-25 | 2008-08-06 | 诺基亚公司 | 用于将事件通知嵌入多媒体内容的方法和设备 |
CN101203059A (zh) | 2006-12-15 | 2008-06-18 | 英业达股份有限公司 | 可播放环境声音的耳机 |
CN101840700B (zh) | 2010-04-28 | 2012-05-23 | 宇龙计算机通信科技(深圳)有限公司 | 基于移动终端的声音识别方法及移动终端 |
CN202353638U (zh) | 2010-10-29 | 2012-07-25 | 上海华勤通讯技术有限公司 | 具有外界声音提醒功能的手机 |
US20120114130A1 (en) | 2010-11-09 | 2012-05-10 | Microsoft Corporation | Cognitive load reduction |
CN103339960A (zh) | 2010-12-01 | 2013-10-02 | 索纳麦克斯科技股份有限公司 | 先进的通信耳机装置及方法 |
CN202310041U (zh) | 2011-10-11 | 2012-07-04 | 南通芯迎设计服务有限公司 | 不影响外界声音的耳机 |
US9191744B2 (en) | 2012-08-09 | 2015-11-17 | Logitech Europe, S.A. | Intelligent ambient sound monitoring system |
US9391580B2 (en) * | 2012-12-31 | 2016-07-12 | Cellco Paternership | Ambient audio injection |
KR102090948B1 (ko) * | 2013-05-20 | 2020-03-19 | 삼성전자주식회사 | 대화 기록 장치 및 그 방법 |
KR102094219B1 (ko) | 2014-01-13 | 2020-04-14 | 엘지전자 주식회사 | 음향 액세서리 장치 및 그 동작 방법 |
US10425717B2 (en) * | 2014-02-06 | 2019-09-24 | Sr Homedics, Llc | Awareness intelligence headphone |
CN103825993B (zh) * | 2014-03-11 | 2017-05-17 | 宇龙计算机通信科技(深圳)有限公司 | 一种通话时环境声音的处理方法及装置 |
US9788101B2 (en) * | 2014-07-10 | 2017-10-10 | Deutsche Telekom Ag | Method for increasing the awareness of headphone users, using selective audio |
CN104301827A (zh) | 2014-10-24 | 2015-01-21 | 合肥星服信息科技有限责任公司 | 一种智能过滤耳机 |
CN204145709U (zh) | 2014-10-26 | 2015-02-04 | 孙鹏昌 | 耳机提醒器 |
CN105759948A (zh) * | 2014-12-18 | 2016-07-13 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN105895092B (zh) * | 2015-01-26 | 2020-12-18 | 阿里巴巴集团控股有限公司 | 一种处理环境声音的方法和装置 |
CN105205955B (zh) * | 2015-09-25 | 2018-07-31 | 小米科技有限责任公司 | 一种发出提示信号的方法和装置 |
US9936297B2 (en) * | 2015-11-16 | 2018-04-03 | Tv Ears, Inc. | Headphone audio and ambient sound mixer |
US9749766B2 (en) * | 2015-12-27 | 2017-08-29 | Philip Scott Lyren | Switching binaural sound |
-
2016
- 2016-09-08 CN CN201680080782.1A patent/CN108605073B/zh active Active
- 2016-09-08 US US16/331,617 patent/US10902866B2/en active Active
- 2016-09-08 WO PCT/CN2016/098455 patent/WO2018045536A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN108605073A (zh) | 2018-09-28 |
WO2018045536A1 (zh) | 2018-03-15 |
US10902866B2 (en) | 2021-01-26 |
US20190362738A1 (en) | 2019-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108605073B (zh) | 声音信号处理的方法、终端和耳机 | |
CN108874357B (zh) | 一种提示方法及移动终端 | |
CN108886653B (zh) | 一种耳机声道控制方法、相关设备及系统 | |
CN106095387B (zh) | 一种终端的音效设置方法及终端 | |
CN109062535B (zh) | 发声控制方法、装置、电子装置及计算机可读介质 | |
US9706321B2 (en) | Electronic device including modifiable output parameter | |
CN109656511A (zh) | 一种音频播放方法、终端及计算机可读存储介质 | |
CN110022401A (zh) | 一种控制参数设置方法、终端及计算机可读存储介质 | |
CN108777827B (zh) | 无线耳机、音量调整方法及相关产品 | |
CN108781236A (zh) | 音频播放方法及电子设备 | |
CN107547704A (zh) | 通话mic的切换方法、装置和移动终端 | |
US11507340B2 (en) | Audio output method, electronic device, and storage medium | |
CN112997471A (zh) | 音频通路切换方法和装置、可读存储介质、电子设备 | |
CN106126170B (zh) | 一种终端的音效设置方法及终端 | |
CN108668018B (zh) | 移动终端、音量控制方法及相关产品 | |
CN108683975A (zh) | 一种音频设备 | |
CN109040425B (zh) | 信息处理方法及相关产品 | |
CN108600906B (zh) | 一种多音箱的播放控制方法及装置 | |
WO2015030642A1 (en) | Volume reduction for an electronic device | |
CN109923848B (zh) | 一种设备音量的控制方法、设备以及服务器 | |
CN109800097A (zh) | 通知消息提醒方法、存储介质和移动终端 | |
CN106713668B (zh) | 控制终端震动的方法和装置 | |
CN107295169A (zh) | 一种背景音的优化方法和设备以及移动终端 | |
CA2799048C (en) | Electronic device including modifiable output parameter | |
CN109618062A (zh) | 语音交互方法、装置、设备以及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |