CN108521621B - 信号处理方法、装置、终端、耳机及可读存储介质 - Google Patents

信号处理方法、装置、终端、耳机及可读存储介质 Download PDF

Info

Publication number
CN108521621B
CN108521621B CN201810291148.3A CN201810291148A CN108521621B CN 108521621 B CN108521621 B CN 108521621B CN 201810291148 A CN201810291148 A CN 201810291148A CN 108521621 B CN108521621 B CN 108521621B
Authority
CN
China
Prior art keywords
sound signal
earphone
sound
user
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810291148.3A
Other languages
English (en)
Other versions
CN108521621A (zh
Inventor
严笔祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810291148.3A priority Critical patent/CN108521621B/zh
Publication of CN108521621A publication Critical patent/CN108521621A/zh
Priority to PCT/CN2018/116743 priority patent/WO2019184398A1/en
Priority to EP18208009.3A priority patent/EP3547709A1/en
Priority to US16/229,422 priority patent/US10349176B1/en
Application granted granted Critical
Publication of CN108521621B publication Critical patent/CN108521621B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17823—Reference signals, e.g. ambient acoustic environment
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17879—General system configurations using both a reference signal and an error signal
    • G10K11/17881—General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17885—General system configurations additionally using a desired external signal, e.g. pass-through audio such as music or speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3012—Algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/107—Monophonic and stereophonic headphones with microphone for two-way hands free communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2400/00—Loudspeakers
    • H04R2400/01—Transducers used as a loudspeaker to generate sound aswell as a microphone to detect sound

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Telephone Function (AREA)

Abstract

本申请涉及一种信号处理方法、装置、终端、耳机及可读存储介质。该方法包括：当通过所述耳机进行通话时，基于所述耳机上的电声换能器，间隔录制外部环境的第一声音信号和通话方的第二声音信号，并根据所述第二声音信号消除所述第一声音信号中的通话语音；识别所述第一声音信号中的特征音频，并获取与所述特征音频对应的提示信息；当检测到通话结束时，根据所述提示信息询问用户当前录制内容是否关键；检测用户的输入操作，并根据用户的输入操作处理所述第一声音信号。通过上述方法，提升了用户使用耳机过程中的便捷性，让用户有更好的使用体验。

Description

信号处理方法、装置、终端、耳机及可读存储介质
技术领域
本申请涉及通信技术领域，特别是涉及一种信号处理方法、装置、终端、耳机及可读存储介质。
背景技术
随着通信设备的智能化发展，人们在日常生活中对智能终端的使用越来越频繁，通过智能终端可以进行视频、通话、语音、以及听音乐和影视播放等多种多样的活动。同时，耳机作为传递声音的工具给人们带来了不一样的听觉感受，耳机在人们日常生活中的使用频率非常高，用户可以通过耳机进行听音乐、通话、语音、视频、影视播放等多种活动，人们在越来越多的场合都喜欢佩戴着耳机，耳机的隔音、降噪效果也越来越好。
当用户戴上耳机聆听终端设备播放的声音时，作为辅助视觉感官的听觉因耳机播放的声音受到了极大的限制，用户很难注意到外部环境的声音信号，这使得用户可能会错过一些重要信息，例如他人的说话内容，为此用户可能需要将耳机取下或暂停耳机的播放来接收外界的声音，影响用户体验。
发明内容
本申请实施例提供一种信号处理方法、装置、终端、耳机及可读存储介质，能够提升用户在佩戴耳机时的安全性和便捷性。
一种信号处理方法，基于与终端进行通信连接的耳机，所述耳机包括麦克风和电声换能器，所述电声换能器用于播放和采集音频信号；该方法包括：
当通过该耳机进行通话时，基于该耳机上的电声换能器间隔录制外部环境的第一声音信号和通话方的第二声音信号，并根据该第二声音信号消除该第一声音信号中的通话语音；
识别该第一声音信号中的特征音频，并获取与该特征音频对应的提示信息；
当检测到通话结束时，根据该提示信息询问用户当前录制内容是否关键；
检测用户的输入操作，并根据用户的输入操作处理该第一声音信号。
一种信号处理装置，包括：
信号录制模块，用于当通过该耳机进行通话时，基于该耳机上的电声换能器间隔录制外部环境的第一声音信号和通话方的第二声音信号，并根据该第二声音信号消除该第一声音信号中的通话语音；
特征识别模块，用于识别该第一声音信号中的特征音频，并获取与该特征音频对应的提示信息；
内容提示模块，用于当检测到通话结束时，根据该提示信息询问用户当前录制内容是否关键；
信号处理模块，用于检测用户的输入操作，并根据用户的输入操作处理该第一声音信号。
一种终端，包括存储器及处理器，该存储器中储存有计算机可读指令，该指令被所述处理器执行时，使得所述处理器执行上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
一种耳机，包括电声换能器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器与所述电声换能器及所述存储器电连接，所述处理器执行所述计算机程序时实现上述方法的步骤。
上述信号处理方法、装置、终端、耳机及计算机可读存储介质，当通过所述耳机进行通话时，基于所述耳机上的电声换能器，间隔录制外部环境的第一声音信号和通话方的第二声音信号，并根据所述第二声音信号消除所述第一声音信号中的通话语音；识别所述第一声音信号中的特征音频，并获取与所述特征音频对应的提示信息；当检测到通话结束时，根据所述提示信息询问用户当前录制内容是否关键；检测用户的输入操作，并根据用户的输入操作处理所述第一声音信号。通过上述方法，仅利用耳机上固有的器件就可以实现对外部环境声音的录制，使用户能够兼顾耳机播放以及获取外界声音，并且根据录制内容提示用户可以使得用户在佩戴耳机时不错过重要信息，提升了用户使用耳机过程中的便捷性，让用户有更好的使用体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中信号处理方法的应用环境示意图；
图2为一个实施例中终端的内部结构示意图；
图3为一个实施例中信号处理方法的流程示意图；
图4为另一个实施例中信号处理方法的流程示意图；
图5为另一个实施例中信号处理方法的流程示意图；
图6为另一个实施例中信号处理方法的流程示意图；
图7为另一个实施例中信号处理方法的流程示意图；
图8为另一个实施例中信号处理方法的流程示意图；
图9为一个实施例中信号处理装置的结构框图；
图10为与本申请实施例提供的终端相关的手机的部分结构的框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请。可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一应用程序称为第二应用程序，且类似地，可将第二进应用程序为第一应用程序。第一应用程序和第二应用程序两者都是应用程序，但其不是同一应用程序。
图1为一个实施例中数据处理方法的应用环境示意图。如图1所示，该应用环境包括终端110和与该终端110进行通信的耳机120。
其中，终端110与耳机120进行通信连接。耳机120的类型包括但不限于入耳式耳机、耳塞式耳机。终端110与耳机120可以通过有线或无线的方式进行通信，实现数据的传输。
终端110上播放有音频信号，该音频信号可以是音乐、视频音、通话音等，终端110播放的音频信号通过耳机120传递至用户耳朵，使用户听到声音。同理，耳机120也可以采集音频信号，该音频信号可以是用户语音和周围环境音等，耳机120采集的音频信号传递至终端110处理，可以用于通话语音、声音指令、音频降噪等。
耳机120包括麦克风、左喇叭和右喇叭，其中左喇叭和右喇叭可以用电声换能器121替代，电声换能器121位于耳机的尖端部分，将耳机的尖端部分定位在用户的耳道内时，电声换能器121将终端110播放的音频信号输出至用户耳道中。电声换能器121包括扬声器和麦克风，扬声器用于播放终端110发送的音频信号，麦克风用于录制耳机120周围的音频信号。可选地，所述扬声器和所述麦克风为一体式结构。
图2为一个实施例中终端的内部结构示意图。该终端110包括通过系统总线连接的处理器、存储器和显示屏。其中，该处理器用于提供计算和控制能力，支撑整个终端110的运行。存储器用于存储数据、程序、和/或指令代码等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于终端110的信号处理方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random-Access-Memory，RAM)等。例如，在一个实施例中，存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统、数据库和计算机程序。该数据库中存储有用于实现以上各个实施例所提供的一种信号处理方法相关的数据。该计算机程序可被处理器所执行，以用于实现本申请各个实施例所提供的一种信号处理方法。内存储器为非易失性存储介质中的操作系统、数据库和计算机程序提供高速缓存的运行环境。显示屏可以是触摸屏，比如为电容屏或电子屏，用于显示终端110的界面信息，显示屏包括亮屏状态和灭屏状态。该终端110可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端110的限定，具体的终端110可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
如图3所示，为一个实施例中信号处理方法的流程图，本实施例中的信号处理方法，以运行于图1中的终端或耳机上为例进行描述。该方法基于与终端进行通信连接的耳机，所述耳机包括麦克风和电声换能器，所述电声换能器用于播放和采集音频信号。该信号处理方法，包括以下步骤302～步骤308：
步骤302：当通过所述耳机进行通话时，基于所述耳机上的电声换能器，间隔录制外部环境的第一声音信号和通话方的第二声音信号，并根据所述第二声音信号消除所述第一声音信号中的通话语音。
其中，耳机可以通过有线或无线的方式与终端进行通信，用户通过耳机进行通话的过程中，终端将通话方的音频信号传递至耳机上，通过耳机上的电声换能器(喇叭)将声音传至用户耳朵，同时会通过耳机上的麦克风采集用户的说话语音，发送至通话方。当用户通过耳机进行通话时，基于耳机上的麦克风采集用户的语音信号，基于耳机上播放音频信号的至少一个电声换能器间隔录制外部环境的第一声音信号和通话方的第二声音信号。其中第一声音信号表示为外界的环境音，通话方指的是与当前用户进行通话的通话对象，第二声音信号表示为该通话对象的通话语音。
具体地，耳机上的麦克风通常设置于靠近用户嘴唇的位置，便于采集用户说话时发出的语音信号。在通过耳机进行通话时，耳机上的麦克风会被占用，从而无法获取周围的环境音，此时基于耳机上的电声换能器间隔录制外部环境的第一声音信号和通话方的第二声音信号。
耳机上的电声换能器包括第一电声换能器和第二电声换能器，第一电声换能器、第二电声换能器分别可作为原有耳机的左喇叭(扬声器)、右喇叭(扬声器)，将音频信号对应的电信号转换成用户可以听到的声波信号。同时，电声换能器对声波非常敏感，能够引起扬声器纸盆的振动，带动与纸盆相连的线圈在永久磁体的磁场中作切割磁力线的运动，从而产生随着声波的变化而变化的电流(产生电流的现象在物理学上称为电磁感应现象)，同时，在线圈两端将输出音频的电动势，因此，电声转换器还可以采集和录制声音信号。也即，可以将耳机原有的第一电声换能器(左喇叭)、第二电声换能器(右喇叭)当做麦克风使用。
电声换能器，尽管其类型、功能或工作状态不同，它们都包括两个基本组成部分，即电系统和机械振动系统，在电声换能器内部，电系统和机械振动系统之间通过某种物理效应相互联系，以完成能量的转换。
基于耳机上播放音频信号的至少一个电声换能器间隔录制外部环境的第一声音信号和通话方的第二声音信号。也即，耳机的第一电声换能器(左喇叭)和/或第二电声换能器(右喇叭)会周期性的录制声音信号，根据录制周期在录制第一声音信号和录制第二声音信号之间切换。具体地，为了使信号更具连续性，设置切换间隔为时分切换，时分切换的方式通过把时间划分为若干互不重叠的时隙，由不同的时隙建立不同的子信道，通过时隙交换网络完成信号的时隙搬移，从而实现不同信号传输通路间声音信号的切换。例如，预设录制周期为5ms，则每隔5ms切换一次对声音信号的录制，在第一各5ms内录制第一声音信号，则下一个5ms内录制第二声音信号，从而实现对第一声音信号和第二声音信号的间隔录制。需要说明的是，第一声音信号可以是喇叭、某个音响设备或者发生器产生的，也可以是人说话的声音，本申请中，不对声音信号做任何限定。
进一步地，根据第二声音信号消除第一声音信号中的通话语音，以获得外部环境音。具体地，根据第二声音信号对第一声音信号进行滤波处理，基于第二声音信号产生一个相反相位的滤波波形，将第一声音信号与该滤波波形叠加，从而实现消除第一声音信号中的通话语音的效果，除去了通话语音的干扰，获得只包含外部环境音的第一声音信号。
步骤304：识别所述第一声音信号中的特征音频，并获取与所述特征音频对应的提示信息。
其中，特征音频包括但不限于人物特征音频、时间特征音频、位置特征音频以及事件特征音频。具体地，人物特征音频可以为用户所关注的人群、公司的名称、昵称等；时间特征音频可以为包括数字、年、月、日的音频信号；位置特征音频可以为用户所在的国家、城市、公司、家庭住址等；事件特征音频可以为特殊的警示音频，例如鸣笛声、呼救声等。
例如，若用户李四把“李四”、“小李”作为特征音频进行存储。当有人呼叫“李四”或“小李”时，相似度达到设定的程度时，则认为该第一声音信号中包括了特征音频，当第一声音信号中包括特征音频时，则获取与所述特征音频对应的提示信息。
其中，提示信息包括第一提示信息和第二提示信息，其中，第一提示信息为耳机提醒，也即，通过耳机播放某些特定的录音传送到用户耳朵来提醒用户。第二提示信息为与耳机进行通讯的终端提醒，其中，终端提醒可以为界面显示提醒，界面显示与铃声组合提醒或界面显示与振动组合提醒等。本领域技术人员能够想到的各种提醒方式都应包括在本申请实施例中。
步骤306：当检测到通话结束时，根据所述提示信息询问用户当前录制内容是否关键。
其中，通话结束表示通话双方中有一方挂断电话，使终端脱离通话状态。当检测到通话结束时，用户不再需要通过耳机接听通话语音，此时根据所述提示信息询问用户当前录制内容是否关键。例如，若识别出录制的外部环境的声音信号中包含人物特征音频，则在通话结束后，提示用户“刚刚有人提到了你，是否需要收听录音”，这样便能够将录制内容提示给用户，以使得用户快速地了解录制内容是否关键，避免用户错过重要信息。
步骤308：检测用户的输入操作，并根据用户的输入操作处理所述第一声音信号。
其中，输入操作可以是作用于耳机上的操作，也可以是作用于终端上的操作。当输入操作为作用于耳机上的操作时，该输入操作可以作用于耳机上的物理按键上，也可以作用于耳机壳体上；当输入操作为作用于终端上的操作时，该输入操作包括但不限于触控操作、点控操作、手势操作和语音操作等。可以理解的是，该输入操作还可以通过其他控制装置实现，例如智能手环、智能手表等，本实施例对此不作限定。
进一步地，检测到用户的输入操作后，根据所述输入操作确定是否播放所述声音信号，若用户需要播放该声音信号，则执行播放所述声音信号的操作；若用户不需要播放该声音信号，则删除已存储的所述声音信号对应的音频文件，以节省存储空间。
本实施例提供的信号处理方法，仅利用耳机上固有的器件就可以实现对外部环境声音的录制，使用户能够兼顾耳机播放以及获取外界声音，并且根据录制内容提示用户可以使得用户在佩戴耳机时不错过重要信息，提升用户使用耳机过程中的便捷性，让用户有更好的使用体验。
在一个实施例中，在耳机上设置第二麦克风，所述第二麦克风靠近所述耳机上的电声换能器，如图4所示，该方法还包括以下步骤402～步骤404：
步骤402：根据所述第二麦克风间隔录制外部环境的第一声音信号和通话方的第二声音信号。
耳机上的麦克风通常设置于靠近用户嘴唇的位置，便于采集用户说话时发出的语音信号。当通过耳机进行通话时，耳机上的麦克风会被占用，从而无法获取周围的环境音，此时通过设置在耳机上的第二麦克风来录制外部环境的第一声音信号和通话方的第二声音信号。根据第二麦克风采集的第一声音信号来提醒用户。
步骤404：根据所述第一声音信号对所述麦克风采集的用户的语音信号进行降噪处理。
具体地，可以根据第二麦克风采集的第一声音信号对耳机上原有的麦克风采集的声音信号进行降噪处理，以消除耳机上原有的麦克风所采集到的环境噪声，这样可以使得耳机上原有的麦克风在采集用户说话的语音时可以将声音更清晰地传递至通话方，提升了通话过程中的语音质量。
在一个实施例中，如图5所示，所述基于所述耳机上的电声换能器，间隔录制外部环境的第一声音信号和通话方的第二声音信号，包括以下步骤502～步骤504：
步骤502：在预设时长内，获取所述耳机录制的经过滤波后的第一声音信号。
其中，第一声音信号的录制过程具有预设时长，可选地，可以根据通话时长确定录制的预设时长；也可以根据预设时长分段录制音频，由于用户只需要知道最近一段时间内的外界情况，可以录制多个预设时长的音频，供用户选择。例如，每个第一声音信号的录制时长为1分钟，则每隔1分钟后开始下一段录制，再将录制的第一声音信号进行存储。需要说明的是，该预设时长还可以根据用户需求自行设置录制时长，本实施例对此不进行限定。
步骤504：根据录制的所述第一声音信号生成相应的音频文件进行存储。
具体地，将录制的第一声音信号生成相应的音频文件，存储至预设存储路径中。可选地，还可以设置音频文件的预设存储数量，通过更新迭代的方式，将最新生成的音频文件覆盖到存储时间最长的音频文件上，由于信息具有实时性，用户听过的录制内容可以进行删除处理以免占用系统内存，通过设置音频文件存储数量，可以有效节省存储空间。
在一个实施例中，如图6所示，在所述识别所述第一声音信号中的特征音频之前，还包括以下步骤602～步骤604：
步骤602：检测所述第一声音信号中是否存在有效的声音信号。
环境噪声的存在，导致了采集的第一声音信号中包括噪声成分，需要从第一声音信号中区分出有效的声音信号，避免噪声对时间延迟的估计造成的影响。
短时过零率是指在某一帧声音信号中波形采集值出现异值的次数，在声音信号段中，短时过零率比较低，而在噪声或者无声的信号段中，有这较高的过零率。通过短时过零率的检测方法可以确定第一声音信号中是否存在有效的声音信号。
可选的，还可以采用短时能量的检测的方法来判断采集的声音信号是否有效。
步骤604：当存在有效的信号时，对所述第一声音信号进行平滑、滤波处理。
当采集的第一声音信号中存在有效的声音信号时，可以通过加窗分帧的方式对第一声音信号进行平滑处理，其中，分帧是将第一声音信号帧按照相同时间段分成多帧信号，使每一帧变得更平稳，加窗分帧就是用窗口函数对每帧语音信号进行加权。本实施例中，使用海明窗函数，具有更小的旁瓣。
噪声信号的频率可能分布于整个频率空间，滤波是指对第一声音信号中特定频段的信号进行过滤处理，将特定频段的信号保留下拉，以衰减其他频段信号的过程。通过滤波可以使平滑处理后的第一声音信号更为清晰。
在一个实施例中，如图7所示，所述识别所述第一声音信号中的特征音频，并获取与所述特征音频对应的提示信息，包括以下步骤702～步骤704：
步骤702：根据预设声音模型判断所述第一声音信号中是否包括特征音频。
其中，预设声音模型指的是具有特定频率的音频信号，预设声音模型包括但不限于噪声特征模型、人物特征模型、时间特征模型、位置特征模型以及事件特征模型。预设声音模型存储于数据库中，以供需要使用时进行调用和匹配。可选地，可以根据用户习惯对预设声音模型进行增加、删除、修改等操作，以适应不同用户的特征性需求。
具体地，噪声特征模型可以是需要引起用户注意的声音，例如喇叭声、报警声、敲击声、呼救声等；人物特征模型可以为用户所关注的人群、公司的名称、昵称等；时间特征模型可以为包括数字、年、月、日的音频信号；位置特征模型可以为用户所在的国家、城市、公司、家庭住址等。
进一步地，当第一声音信号中存在有效的声音信号时，解析该有用的声音信号，并判断该第一声音信号中是否包括特征音频。具体地，识别所述第一声音信号中的特征音频，并判断所述特征音频是否与预设声音模型匹配。可选地，识别过程具体包括：提取所述第一声音信号中的噪声信息，判断所述噪声信息是否与预设噪声模型匹配；提取所述语音信号中的声纹信息，判断所述声纹信号是否与样本声纹信息匹配；提取所述语音信号中的敏感信息，判断所述敏感信息是否与预设关键字匹配。
举例说明，当识别到第一声音信号中有喇叭鸣笛声时，则认为该第一声音信号中的特征音频与预设声音模型匹配。或者，若用户李四把“李四”、“小李”作为特征音频进行存储，当有人呼叫“李四”或“小李”时，相似度达到设定的程度时，则认为外部环境的第一声音信号中包括了特征音频。
步骤704：当所述第一声音信号中包括所述特征音频时，根据特征音频与提示信息的映射关系，确定与当前提取的特征音频相对应的提示信息。
其中，提示信息指的是对特征音频的内容进行归纳的提示消息，用于提示用户对第一声音信号中的重要内容进行关注。不同的特征音频可对应设置不同的提示信息，或根据用户的输入内容自定义设置该提示信息。例如，用户李四把“李四”、“小李”作为特征音频进行存储，当识别出第一声音信号中包括了该特征音频，则对应的提示消息为“刚刚有人提到了你”，以提示用户留意通过耳机录制的内容。可以理解的是，该提示信息可以通过耳机播放语音的方式传递给用户，也可以通过在终端的显示屏幕上以提示消息的方式传递给用户，还可以通过其他展示途径供用户查看，本实施例对此不进行限定。
进一步地，特征音频包括但不限于人物特征音频、时间特征音频、位置特征音频以及事件特征音频，可以根据特征音频的预设的优先级来设定对应的提示信息。其中，优先级从高到低依次为：事件特征音频--人物特征音频中用户本人的名称或昵称--人物特征音频中的用户所关注的人群、公司的名称、昵称--时间特征音频--位置特征音频。不同的特征音频可以对应不同的提示信息，根据特征音频与提示信息的映射关系，确定与当前提取的特征音频相对应的提示信息。
在一个实施例中，如图8所示，所述检测用户的输入操作，并根据用户的输入操作处理所述第一声音信号，包括以下步骤802～步骤806：
步骤802：获取用户作用于所述耳机上的输入操作，根据所述输入操作确定是否播放所述第一声音信号；
具体地，该输入操作可以为用户在耳机壳体上任意位置进行的敲击、按压等操作。用于播放音频信号的电声换能器可以获取该敲击或按压等而产生的声音，并将电声换能器获取该敲击或按压等而产生的第一声音信号作为振动信号。由于敲击或按压的时间比较短暂，且通过耳机的固体传播，因此，耳机收到用户的敲击或按压产生的振动信号与收到其它作用力产生的振动信号，或耳机传递的外部振源产生的振动信号不同。通过分析耳机获取的振动信号可以检测用户的输入操作。
可选地，可以在耳机上开设用于平衡气压的泄漏口，当接收用户作用于耳机的泄露口上的输入操作时，根据所述耳机当前播放的音频信号获取与所述耳机的声学结构相关联的频率响应曲线，根据不同的频率响应曲线识别用户的操作指令。例如，当用户使用耳机进行听音乐、看视频或接听电话等功能时，用户可以对耳机外壳上的泄露口进行覆盖、堵孔、按压等输入操作，输入操作包括但不限于覆盖预设位置、覆盖预设时长、覆盖预设频率等，根据不同的输入操作确定是否播放该第一声音信号。若是则执行步骤804，若否则执行步骤806。
步骤804：执行播放所述第一声音信号的操作。
具体地，在一个实施例中，包括以下步骤：
步骤8041：基于所述耳机获取所述第一声音信号的地理位置信息
当耳机处于播放状态时，可以获取与耳机进行通讯的终端当前的地理位置信息，可以将终端当前的地理位置信息作为耳机的地理位置信息。其中耳机的地理位置信息可以通过终端内置的GPS定位模块获取。该第一声音信号的位置信息可以通过耳机上的多个麦克风来获取，具体地，耳机上的电声换能器可以作为麦克风录制第一声音信号，电声换能器包括第一电声换能器(左喇叭)和第二电声换能器(右喇叭)，根据耳机上的麦克风、第一电声换能器和第二电声换能器接收所述第一声音信号的时间延迟，获取所述第一声音信号相对于所述耳机的位置信息。
进一步地，根据耳机的地理位置信息以及第一声音信号相对于耳机的位置信息，可以获取该第一声音信号的地理位置信息。
步骤8042：根据所述第一声音信号和所述第一声音信号的地理位置信息生成目标声音文件，并播放所述目标声音文件。
将获取的第一声音信号与第一声音信号的地理位置信息进行绑定，生成目标声音文件。进一步的，该目标声音文件还可以携带采集该第一声音信号的时间信息，这样就可以及时获取该目标声音文件的地点和时间信息，可以丰富的展现声音信息。
当接收到播放指令时，播放目标声音文件，该目标声音文件中包括了采集该第一声音信号的地理位置信息，甚至还包括了采集该第一声音信号的时间信息。当用户收听该目标声音文件时，可以知晓该第一声音信号的所在地，以便用户记忆回想。同时，当使用耳机时，用户能够通过录制的目标文件获取外界的情况，用户不必反复佩戴耳机，就能知晓外界的交谈内容，避免错过重要的讯息。
步骤806：删除已存储的所述第一声音信号对应的音频文件。
若接收到不播放该音频信号的指令，则表示当录制内容不关键，用户不需要播放该第一声音信号，则删除已存储的所述第一声音信号对应的音频文件，以节省存储空间。
应该理解的是，虽然上述图3-8中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3-8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图9所示，在一个实施例中，提供一种信号处理装置，该装置包括：信号录制模块910、特征识别模块920、内容提示模块930、信号处理模块940。
信号录制模块910，用于当通过所述耳机进行通话时，基于所述耳机上的电声换能器，间隔录制外部环境的第一声音信号和通话方的第二声音信号，并根据所述第二声音信号消除所述第一声音信号中的通话语音；
特征识别模块920，用于识别所述第一声音信号中的特征音频，并获取与所述特征音频对应的提示信息；
内容提示模块930，用于当检测到通话结束时，根据所述提示信息询问用户当前录制内容是否关键；
信号处理模块940，用于检测用户的输入操作，并根据用户的输入操作处理所述第一声音信号。
上述信号处理装置，仅利用耳机上固有的器件就可以实现对外部环境声音的录制，使用户能够兼顾耳机播放以及获取外界声音，并且根据录制内容提示用户可以使得用户在佩戴耳机时不错过重要信息，提升用户使用耳机过程中的便捷性，让用户有更好的使用体验。
在一个实施例中，信号录制模块910还用于当通过所述耳机进行通话时，基于所述耳机上的麦克风采集用户的语音信号，基于所述耳机上播放音频信号的至少一个电声换能器，间隔录制外部环境的第一声音信号和通话方的第二声音信号；根据所述第二声音信号消除所述第一声音信号中的通话语音，以获得外部环境音。
在一个实施例中，在所述耳机上设置第二麦克风，所述第二麦克风靠近所述耳机上的电声换能器，信号录制模块910还用于根据所述第二麦克风间隔录制外部环境的第一声音信号和通话方的第二声音信号；根据所述第一声音信号对所述麦克风采集的用户的语音信号进行降噪处理。
在一个实施例中，信号录制模块910还用于获取所述耳机在预设时长内录制的经过滤波后的第一声音信号；根据录制的所述第一声音信号生成相应的音频文件进行存储。
在一个实施例中，还包括信号检测模块，用于检测所述第一声音信号中是否存在有效的声音信号；当存在有效的声音信号时，对所述第一声音信号进行平滑、滤波处理。
在一个实施例中，特征识别模块920还用于根据预设声音模型判断所述第一声音信号中是否包括特征音频；当所述第一声音信号中包括所述特征音频时，根据特征音频与提示信息的映射关系，确定与当前提取的特征音频相对应的提示信息。
在一个实施例中，信号处理模块940还用于获取用户作用于所述耳机上的输入操作，根据所述输入操作确定是否播放所述第一声音信号；若是，则执行播放所述第一声音信号的操作；若否，则删除已存储的所述第一声音信号对应的音频文件。
在一个实施例中，信号处理模块940还用于基于所述耳机获取所述第一声音信号的地理位置信息；根据所述第一声音信号和所述第一声音信号的地理位置信息生成目标声音文件，并播放所述目标声音文件。
上述信号处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将信号处理装置按照需要划分为不同的模块，以完成上述信号处理装置的全部或部分功能。
关于信号处理装置的具体限定可以参见上文中对于信号处理方法的限定，在此不再赘述。上述信号处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本申请实施例中提供的信号处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述的信号处理方法的步骤。
本申请实施例还提供了一种耳机，该耳机包括电声换能器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器与所述电声换能器及所述存储器电连接，所述处理器执行所述计算机程序时实现如上述各实施例中所描述的信号处理方法。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行如上述各实施例中所描述的信号处理方法。
本申请实施例还提供了一种计算机程序产品。一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各实施例中所描述的信号处理方法。
本申请实施例还提供了一种终端。如图10所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point ofSales，销售终端)、车载电脑、穿戴式设备等任意终端设备，以终端为手机为例：
图10为与本申请实施例提供的终端相关的手机的部分结构的框图。参考图10，手机包括：射频(Radio Frequency，RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity，WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图10所示的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，RF电路1010可用于收发信息或通话过程中，信号的接收和发送，可将基站的下行信息接收后，给处理器1080处理；也可以将上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System ofMobile communication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband CodeDivision Multiple Access，WCDMA)、长期演进(Long Term Evolution，LTE))、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能的应用程序、图像播放功能的应用程序等)等；数据存储区可存储根据手机的使用所创建的数据(比如音频数据、通讯录等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1030可用于接收输入的数字或字符信息，以及产生与手机1000的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括操作面板1031以及其他输入设备1032。操作面板1031，也可称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在操作面板1031上或在操作面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。在一个实施例中，操作面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现操作面板1031。除了操作面板1031，输入单元1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041。在一个实施例中，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1041。在一个实施例中，操作面板1031可覆盖显示面板1041，当操作面板1031检测到在其上或附近的触摸操作后，传送给处理器1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图10中，操作面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将操作面板1031与显示面板1041集成而实现手机的输入和输出功能。
手机1000还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及距离传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，距离传感器可在手机移动到耳边时，关闭显示面板1041和/或背光。运动传感器可包括加速度传感器，通过加速度传感器可检测各个方向上加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换)、振动识别相关功能(比如计步器、敲击)等；此外，手机还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器等。
音频电路1060、扬声器1061和传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010可以发送给另一手机，或者将音频数据输出至存储器1020以便后续处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图10示出了WiFi模块1070，但是可以理解的是，其并不属于手机1000的必须构成，可以根据需要而省略。
处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监听。在一个实施例中，处理器1080可包括一个或多个处理单元。在一个实施例中，处理器1080可集成应用处理器和调制解调器，其中，应用处理器主要处理操作系统、用户界面和应用程序等；调制解调器主要处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1080中。比如，该处理器1080可集成应用处理器和基带处理器，基带处理器与和其它外围芯片等可组成调制解调器。手机1000还包括给各个部件供电的电源1090(比如电池)，优选的，电源可以通过电源管理系统与处理器1080逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
在一个实施例中，手机1000还可以包括摄像头、蓝牙模块等。
在本申请实施例中，该移动终端所包括的处理器1080执行存储在存储器上的计算机程序时实现实现上述各实施例中所描述的信号处理方法。
在处理器上运行的计算机程序的执行时，仅利用耳机上固有的器件就可以实现对外部环境声音的录制，使用户能够兼顾耳机播放以及获取外界声音，并且根据录制内容提示用户可以使得用户在佩戴耳机时不错过重要信息，提升用户使用耳机过程中的便捷性，让用户有更好的使用体验。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种信号处理方法，基于包括麦克风和电声换能器的耳机，所述方法包括：
当通过所述耳机进行通话时，基于所述耳机上的电声换能器，间隔录制外部环境的第一声音信号和通话方的第二声音信号，并根据所述第二声音信号消除所述第一声音信号中的通话语音；其中，所述第一声音信号包括外界的环境音，所述通话方为与当前用户进行通话的通话对象，所述第二声音信号包括所述通话对象的通话语音；所述耳机上的电声换能器周期性的录制声音信号，根据录制周期在录制第一声音信号和录制第二声音信号之间切换，设置切换间隔为时分切换；
识别所述第一声音信号中的特征音频，并获取与所述特征音频对应的提示信息；
当检测到通话结束时，根据所述提示信息询问用户当前录制内容是否关键；
检测用户的输入操作，并根据用户的输入操作处理所述第一声音信号；
其中，所述根据所述第二声音信号消除所述第一声音信号中的通话语音的操作包括：根据所述第二声音信号对所述第一声音信号进行滤波处理，基于所述第二声音信号产生一个相反相位的滤波波形，将所述第一声音信号与所述滤波波形叠加，获得只包含外部环境音的声音信号。
2.根据权利要求1所述的方法，其特征在于，所述当通过所述耳机进行通话时，基于所述耳机上的电声换能器，间隔录制外部环境的第一声音信号和通话方的第二声音信号，并根据所述第二声音信号消除所述第一声音信号中通话语音，包括：
当通过所述耳机进行通话时，基于所述耳机上的麦克风采集用户的语音信号，基于所述耳机上播放音频信号的至少一个电声换能器，间隔录制外部环境的第一声音信号和通话方的第二声音信号；
根据所述第二声音信号消除所述第一声音信号中的通话语音，以获得外部环境音。
3.根据权利要求2所述的方法，其特征在于，在所述耳机上设置第二麦克风，所述第二麦克风靠近所述耳机上的电声换能器，所述方法还包括：
根据所述第二麦克风间隔录制外部环境的第一声音信号和通话方的第二声音信号；
根据所述第一声音信号对所述麦克风采集的用户的语音信号进行降噪处理。
4.根据权利要求2所述的方法，其特征在于，所述基于所述耳机上的电声换能器，间隔录制外部环境的第一声音信号和通话方的第二声音信号，包括：
获取所述耳机在预设时长内录制的经过滤波后的第一声音信号；
根据录制的所述第一声音信号生成相应的音频文件进行存储。
5.根据权利要求1所述的方法，其特征在于，在所述识别所述第一声音信号中的特征音频之前，还包括：
检测所述第一声音信号中是否存在有效的声音信号；
当存在有效的声音信号时，对所述第一声音信号进行平滑、滤波处理。
6.根据权利要求1所述的方法，其特征在于，所述识别所述第一声音信号中的特征音频，并获取与所述特征音频对应的提示信息，包括：
根据预设声音模型判断所述第一声音信号中是否包括特征音频；
当所述第一声音信号中包括所述特征音频时，根据特征音频与提示信息的映射关系，确定与当前提取的特征音频相对应的提示信息。
7.根据权利要求1所述的方法，其特征在于，所述检测用户的输入操作，并根据用户的输入操作处理所述第一声音信号，包括：
获取用户作用于所述耳机上的输入操作，根据所述输入操作确定是否播放所述第一声音信号；
若是，则执行播放所述第一声音信号的操作；
若否，则删除已存储的所述第一声音信号对应的音频文件。
8.根据权利要求7所述的方法，其特征在于，所述执行播放所述第一声音信号的操作，包括：
基于所述耳机获取所述第一声音信号的地理位置信息；
根据所述第一声音信号和所述第一声音信号的地理位置信息生成目标声音文件，并播放所述目标声音文件。
9.一种信号处理装置，其特征在于，包括：
信号录制模块，用于当通过耳机进行通话时，基于所述耳机上的电声换能器，间隔录制外部环境的第一声音信号和通话方的第二声音信号，并根据所述第二声音信号消除所述第一声音信号中的通话语音；其中，所述第一声音信号包括外界的环境音，所述通话方为与当前用户进行通话的通话对象，所述第二声音信号包括所述通话对象的通话语音；所述耳机上的电声换能器周期性的录制声音信号，根据录制周期在录制第一声音信号和录制第二声音信号之间切换，设置切换间隔为时分切换；
特征识别模块，用于识别所述第一声音信号中的特征音频，并获取与所述特征音频对应的提示信息；
内容提示模块，用于当检测到通话结束时，根据所述提示信息询问用户当前录制内容是否关键；
信号处理模块，用于检测用户的输入操作，并根据用户的输入操作处理所述第一声音信号；
其中，所述根据所述第二声音信号消除所述第一声音信号中的通话语音的操作包括：根据所述第二声音信号对所述第一声音信号进行滤波处理，基于所述第二声音信号产生一个相反相位的滤波波形，将所述第一声音信号与所述滤波波形叠加，获得只包含外部环境音的声音信号。
10.一种终端，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。
12.一种耳机，其特征在于，包括电声换能器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器与所述电声换能器及所述存储器电连接，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
13.根据权利要求12所述的耳机，其特征在于，所述电声换能器用于播放音频信号，并用于采集音频信号。
14.根据权利要求13所述的耳机，其特征在于，所述电声换能器包括扬声器和麦克风，所述扬声器用于播放音频信号，所述麦克风用于采集音频信号。
15.根据权利要求14所述的耳机，其特征在于，所述扬声器和所述麦克风为一体式结构。
CN201810291148.3A 2018-03-30 2018-03-30 信号处理方法、装置、终端、耳机及可读存储介质 Expired - Fee Related CN108521621B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810291148.3A CN108521621B (zh) 2018-03-30 2018-03-30 信号处理方法、装置、终端、耳机及可读存储介质
PCT/CN2018/116743 WO2019184398A1 (en) 2018-03-30 2018-11-21 Method for processing signals, terminal device, and non-transitory computer-readable storage medium
EP18208009.3A EP3547709A1 (en) 2018-03-30 2018-11-23 Method for processing signals, terminal device, and non-transitory computer-readable storage medium
US16/229,422 US10349176B1 (en) 2018-03-30 2018-12-21 Method for processing signals, terminal device, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810291148.3A CN108521621B (zh) 2018-03-30 2018-03-30 信号处理方法、装置、终端、耳机及可读存储介质

Publications (2)

Publication Number Publication Date
CN108521621A CN108521621A (zh) 2018-09-11
CN108521621B true CN108521621B (zh) 2020-01-10

Family

ID=63431086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810291148.3A Expired - Fee Related CN108521621B (zh) 2018-03-30 2018-03-30 信号处理方法、装置、终端、耳机及可读存储介质

Country Status (4)

Country Link
US (1) US10349176B1 (zh)
EP (1) EP3547709A1 (zh)
CN (1) CN108521621B (zh)
WO (1) WO2019184398A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108521621B (zh) * 2018-03-30 2020-01-10 Oppo广东移动通信有限公司 信号处理方法、装置、终端、耳机及可读存储介质
CN109040378A (zh) * 2018-09-21 2018-12-18 深圳市万普拉斯科技有限公司 基于声音输出元件采集外界声波的方法、装置和移动终端
CN109257498B (zh) * 2018-09-29 2021-01-08 维沃移动通信有限公司 一种声音处理方法及移动终端
CN109065066B (zh) * 2018-09-29 2020-03-31 广东小天才科技有限公司 一种通话控制方法、装置及设备
CN109151211B (zh) * 2018-09-30 2022-01-11 Oppo广东移动通信有限公司 语音处理方法、装置以及电子设备
CN109559757A (zh) * 2018-11-30 2019-04-02 维沃移动通信有限公司 一种噪音消除方法及移动终端
CN109451390B (zh) * 2018-12-25 2021-01-29 歌尔科技有限公司 一种tws耳机及其控制方法、装置、设备
CN109922397B (zh) * 2019-03-20 2020-06-16 深圳趣唱科技有限公司 音频智能处理方法、存储介质、智能终端及智能蓝牙耳机
CN110691300B (zh) * 2019-09-12 2022-07-19 连尚（新昌）网络科技有限公司 音频播放设备及用于提供信息的方法
CN110996205A (zh) * 2019-11-28 2020-04-10 歌尔股份有限公司 耳机的控制方法、耳机及可读存储介质
CN113099358B (zh) * 2020-01-08 2023-08-22 北京小米移动软件有限公司 调整耳机音频参数的方法及装置、耳机、存储介质
CN111491236A (zh) * 2020-04-23 2020-08-04 歌尔科技有限公司 一种主动降噪耳机及其唤醒方法、装置及可读存储介质
CN113038327B (zh) * 2021-03-15 2022-12-20 维沃移动通信有限公司 检测方法、装置、充电盒及存储介质
CN115208976B (zh) * 2021-04-13 2024-10-18 深圳市万普拉斯科技有限公司 通话通道切换的处理方法、装置、通话设备和存储介质
CN113793625B (zh) * 2021-08-04 2024-06-25 维沃移动通信有限公司 音频播放方法、装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103428593A (zh) * 2012-05-15 2013-12-04 华平信息技术股份有限公司 基于扬声器来采集音频信号的装置
CN107799117A (zh) * 2017-10-18 2018-03-13 倬韵科技（深圳）有限公司 识别关键信息以控制音频输出的方法、装置及音频设备

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1000522A4 (fr) * 1987-05-08 1989-01-17 Staar Sa Procede et dispositif d'avertissement influencant la transmission d'informations provenant d'une source sonore a destination d'ecouteurs en fonction d'elements exterieurs.
US20070189544A1 (en) * 2005-01-15 2007-08-16 Outland Research, Llc Ambient sound responsive media player
CN1897054A (zh) * 2005-07-14 2007-01-17 松下电器产业株式会社 可根据声音种类发出警报的传输装置及方法
WO2008095167A2 (en) * 2007-02-01 2008-08-07 Personics Holdings Inc. Method and device for audio recording
WO2008124786A2 (en) * 2007-04-09 2008-10-16 Personics Holdings Inc. Always on headwear recording system
US20090232325A1 (en) * 2008-03-12 2009-09-17 Johan Lundquist Reactive headphones
CN104158970A (zh) * 2010-02-20 2014-11-19 华为终端有限公司 一种环境声音提醒方法和移动终端
CN101790000B (zh) * 2010-02-20 2014-08-13 华为终端有限公司 一种环境声音提醒方法和移动终端
EP2605541A1 (en) * 2011-12-14 2013-06-19 Oticon A/S Voice recorder for use with a hearing device
US9391580B2 (en) * 2012-12-31 2016-07-12 Cellco Paternership Ambient audio injection
US10425717B2 (en) * 2014-02-06 2019-09-24 Sr Homedics, Llc Awareness intelligence headphone
US9557960B2 (en) * 2014-04-08 2017-01-31 Doppler Labs, Inc. Active acoustic filter with automatic selection of filter parameters based on ambient sound
US9357320B2 (en) * 2014-06-24 2016-05-31 Harmon International Industries, Inc. Headphone listening apparatus
CN105635872A (zh) 2014-10-29 2016-06-01 东莞宇龙通信科技有限公司 一种播放信息的方法、装置及耳机
CN204578728U (zh) * 2015-03-13 2015-08-19 钰太芯微电子科技（上海）有限公司 一种主动降噪耳机
KR20170010485A (ko) * 2015-07-20 2017-02-01 엘지전자 주식회사 단말 장치 및 단말 장치의 제어 방법
CN105528440A (zh) * 2015-12-17 2016-04-27 合肥联宝信息技术有限公司 资讯的提示方法和系统、以及电子设备
EP3188495B1 (en) * 2015-12-30 2020-11-18 GN Audio A/S A headset with hear-through mode
US9830930B2 (en) * 2015-12-30 2017-11-28 Knowles Electronics, Llc Voice-enhanced awareness mode
US10410634B2 (en) * 2017-05-18 2019-09-10 Smartear, Inc. Ear-borne audio device conversation recording and compressed data transmission
US10129633B1 (en) * 2017-10-13 2018-11-13 Bose Corporation Automated awareness for ANR systems
CN108600885B (zh) * 2018-03-30 2020-05-22 Oppo广东移动通信有限公司 声音信号处理方法及相关产品
CN108521621B (zh) * 2018-03-30 2020-01-10 Oppo广东移动通信有限公司 信号处理方法、装置、终端、耳机及可读存储介质
CN108391206A (zh) * 2018-03-30 2018-08-10 广东欧珀移动通信有限公司 信号处理方法、装置、终端、耳机及可读存储介质
CN108540661A (zh) * 2018-03-30 2018-09-14 广东欧珀移动通信有限公司 信号处理方法、装置、终端、耳机及可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103428593A (zh) * 2012-05-15 2013-12-04 华平信息技术股份有限公司 基于扬声器来采集音频信号的装置
CN107799117A (zh) * 2017-10-18 2018-03-13 倬韵科技（深圳）有限公司 识别关键信息以控制音频输出的方法、装置及音频设备

Also Published As

Publication number Publication date
WO2019184398A1 (en) 2019-10-03
EP3547709A1 (en) 2019-10-02
US10349176B1 (en) 2019-07-09
CN108521621A (zh) 2018-09-11

Similar Documents

Publication Publication Date Title
CN108521621B (zh) 信号处理方法、装置、终端、耳机及可读存储介质
US10482871B2 (en) Method for processing signals, terminal device, and non-transitory computer-readable storage medium
US10923129B2 (en) Method for processing signals, terminal device, and non-transitory readable storage medium
CN108430003B (zh) 音效补偿方法和装置、可读存储介质、终端
EP3547659B1 (en) Method for processing audio signal and related products
CN108391205B (zh) 左右声道切换方法和装置、可读存储介质、终端
CN108922537B (zh) 音频识别方法、装置、终端、耳机及可读存储介质
CN108538320B (zh) 录音控制方法和装置、可读存储介质、终端
CN108600885B (zh) 声音信号处理方法及相关产品
CN108540900B (zh) 音量调节方法及相关产品
CN108668009B (zh) 输入操作控制方法、装置、终端、耳机及可读存储介质
CN108763901B (zh) 耳纹信息获取方法和装置、终端、耳机及可读存储介质
CN108429969B (zh) 音频播放方法、装置、终端、耳机及可读存储介质
CN108763978B (zh) 信息提示方法、装置、终端、耳机及可读存储介质
CN108803859A (zh) 信息处理方法、装置、终端、耳机及可读存储介质
CN108540660B (zh) 语音信号处理方法和装置、可读存储介质、终端
CN108763913A (zh) 数据处理方法、装置、终端、耳机及可读存储介质
CN105915715A (zh) 来电提醒方法及其装置、佩戴式音频设备和移动终端
CN108810787B (zh) 基于音频设备的异物检测方法和装置、终端
CN108391208B (zh) 信号切换方法、装置、终端、耳机及计算机可读存储介质
CN106817490A (zh) 一种终端和声音播放方法
CN108551648B (zh) 质量检测方法和装置、可读存储介质、终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1257906

Country of ref document: HK

CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200110

CF01 Termination of patent right due to non-payment of annual fee