CN113411726A - 一种音频处理方法、装置及系统 - Google Patents
一种音频处理方法、装置及系统 Download PDFInfo
- Publication number
- CN113411726A CN113411726A CN202010187760.3A CN202010187760A CN113411726A CN 113411726 A CN113411726 A CN 113411726A CN 202010187760 A CN202010187760 A CN 202010187760A CN 113411726 A CN113411726 A CN 113411726A
- Authority
- CN
- China
- Prior art keywords
- audio data
- earphone
- wireless
- headset
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 198
- 230000000694 effects Effects 0.000 claims abstract description 83
- 230000005236 sound signal Effects 0.000 claims abstract description 61
- 238000004891 communication Methods 0.000 claims description 109
- 238000000034 method Methods 0.000 claims description 65
- 230000015654 memory Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013461 design Methods 0.000 description 35
- 230000006870 function Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 15
- 238000005070 sampling Methods 0.000 description 10
- 230000001413 cellular effect Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/08—Mouthpieces; Microphones; Attachments therefor
- H04R1/083—Special constructions of mouthpieces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1025—Accumulators or arrangements for charging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W76/00—Connection management
- H04W76/10—Connection setup
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1016—Earpieces of the intra-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/07—Applications of wireless loudspeakers or wireless microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/17—Hearing device specific tools used for storing or handling hearing devices or parts thereof, e.g. placement in the ear, replacement of cerumen barriers, repair, cleaning hearing devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W84/00—Network topologies
- H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computer Networks & Wireless Communication (AREA)
- Telephone Function (AREA)
- Headphones And Earphones (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本申请实施例提供一种音频处理方法、装置及系统,涉及电子技术领域,能够通过耳机盒拾取用户的声音,并通过无线耳机将耳机盒拾取的用户的声音返听给用户,而耳机盒可以离用户的嘴部较近因而拾音效果较好,用户的返听效果也较好。方案为:无线耳机与电子设备之间建立无线连接,且无线耳机与耳机盒之间建立无线连接;耳机盒采集声音信号,并生成第一音频数据;耳机盒向无线耳机发送第一音频数据;无线耳机对第一音频数据进行音效处理,获得第二音频数据;电子设备向无线耳机发送第三音频数据;无线耳机将第二音频数据与第三音频数据进行混音处理,获得第四音频数据;无线耳机播放第四音频数据。本申请实施例用于返听。
Description
技术领域
本申请实施例涉及电子技术领域,尤其涉及一种音频处理方法、装置及系统。
背景技术
为了摆脱有线耳机连接线的束缚和使用不便,真无线立体声(true wirelessstereo,TWS)耳机越来越受到用户的青睐。
对于K歌或直播等需要返听的场景,在用户使用TWS耳机时,由于佩戴于耳部的TWS耳机上的麦克风离用户的嘴部较远,TWS耳机上的麦克风拾取的用户声音容易缺失细节,并且拾取的用户声音的信噪比较低,因而TWS耳机的返听效果较差,用户使用体验较差。
发明内容
本申请实施例提供一种音频处理方法、装置及系统,能够通过耳机盒拾取用户的声音,并通过TWS耳机等无线耳机将耳机盒拾取的用户的声音返听给用户,而耳机盒可以离用户的嘴部较近因而拾音效果较好,用户的返听效果也较好。
为达到上述目的,本申请实施例采用如下技术方案:
一方面,本申请实施例提供了一种音频处理方法,应用于音频处理系统,该音频处理系统包括电子设备、无线耳机和耳机盒。该方法包括:无线耳机与电子设备之间建立无线连接,且无线耳机与耳机盒之间建立无线连接。耳机盒采集声音信号,并生成第一音频数据。而后,耳机盒向无线耳机发送第一音频数据。无线耳机对接收到的第一音频数据进行音效处理,获得第二音频数据。电子设备向无线耳机发送第三音频数据。无线耳机将第二音频数据与第三音频数据进行混音处理,获得第四音频数据。无线耳机播放第四音频数据。
其中,该耳机盒可以是用于收纳TWS耳机的耳机盒。该无线耳机可以是TWS耳机、颈带式无线耳机或其他无线耳机。这样,用于拾取用户声音信号的麦克风为耳机盒的麦克风,用于返听用户声音信号的听筒为无线耳机的听筒。即,用于拾取用户声音信号的麦克风与返听用户声音信号的听筒可以分离。用户可以手持耳机盒并将耳机盒靠近用户的嘴部,耳机盒可以拾取到用户的声音细节,拾取的用户声音的信噪比较高,耳机盒的拾音质量和拾音效果较好;并且,无线耳机的听筒离用户的耳朵也很近,音频播放效果也较好,因而返听效果较好。而且,该方案可以打破无线耳机的听筒和拾音器件离得较近的限制,还可以摆脱有线传输或非无线耳机的连接线的困扰。
在一种可能的设计中,无线耳机包括第一耳塞和第二耳塞。耳机盒向无线耳机发送第一音频数据,包括:耳机盒向第一耳塞和第二耳塞发送第一音频数据。第二音频数据包括第五音频数据和第六音频数据,无线耳机对第一音频数据进行音效处理,获得第二音频数据,包括:第一耳塞对第一音频数据进行音效处理,获得第五音频数据。第二耳塞对第一音频数据进行音效处理,获得第六音频数据。电子设备向无线耳机发送第三音频数据,包括:电子设备向第一耳塞和第二耳塞发送第三音频数据。第四音频数据包括第七音频数据和第八音频数据,无线耳机将第二音频数据与第三音频数据进行混音处理,获得第四音频数据,包括:第一耳塞将第五音频数据与第三音频数据进行混音处理,获得第七音频数据;第二耳塞将第六音频数据与第三音频数据进行混音处理,获得第八音频数据。
在该方案中,无线耳机与耳机盒和电子设备之间建立了双发连接,即无线耳机的两只耳塞分别与耳机盒及电子设备建立了无线连接,可以分别与耳机盒和电子设备交互数据。
在另一种可能的设计中,无线耳机包括第一耳塞和第二耳塞,耳机盒向无线耳机发送第一音频数据,包括:耳机盒向第一耳塞发送第一音频数据。无线耳机对第一音频数据进行音效处理,获得第二音频数据,包括:第一耳塞对第一音频数据进行音效处理,获得第二音频数据。电子设备向无线耳机发送第三音频数据,包括:电子设备向第一耳塞发送第三音频数据。无线耳机将第二音频数据与第三音频数据进行混音处理,获得第四音频数据,包括:第一耳塞将第二音频数据与第三音频数据进行混音处理,获得第四音频数据。该方法还包括:第一耳塞向第二耳塞发送第四音频数据。
在该方案中,无线耳机与耳机盒和电子设备之间建立了转发连接,即无线耳机的一只耳塞与耳机盒和电子设备建立了无线连接,可以与耳机盒的电子设备交互数据,并将交互的数据转发给TWS的另一只耳塞。
在另一种可能的设计中,该方法还包括:电子设备检测到用户的第一预设操作后,显示目标应用的应用界面,第一预设操作用于启动目标应用。
这样,在用户使用目标应用时,可以采用耳机盒进行拾音,并采用TWS耳机进行返听。
在另一种可能的设计中,在耳机盒向无线耳机发送第一音频数据之后,该方法还包括:无线耳机向电子设备发送第一音频数据;电子设备通过目标应用,对第一音频数据进行业务处理。
在该方案中,无线耳机还可以将第一音频数据发送给电子设备,以便电子设备的目标应用根据第一音频数据进行相关的业务处理。
在另一种可能的设计中,该方法还包括:耳机盒与电子设备之间建立无线连接。在耳机盒采集声音信号,并生成第一音频数据之后,该方法还包括:耳机盒向电子设备发送第一音频数据;电子设备通过目标应用,对第一音频数据进行业务处理。
在该方案中,耳机盒还可以将第一音频数据发送给电子设备,以便电子设备的目标应用根据第一音频数据进行相关的业务处理。
在另一种可能的设计中,在电子设备显示目标应用的应用界面之后,该方法还包括:电子设备提示用户是否进入目标模式;电子设备检测到用户指示进入目标模式的操作后,进入目标模式。
在该方案中,在打开目标应用后,电子设备可以自动提示用户是否进入目标模式。电子设备可以根据用户指示进入目标模式,从而可以采用耳机盒进行拾音,并且电子设备、无线耳机及耳机盒之间可以建立无线连接以交互音频数据。
在另一种可能的设计中,目标应用为预设应用。
其中,预设应用可以采用耳机盒进行拾音,在电子设备打开预设音乐后,电子设备、无线耳机及耳机盒之间可以建立无线连接以交互音频数据。
在另一种可能的设计中,该方法还包括:电子设备检测到用户的第二预设操作后,显示设置界面,设置界面包括目标模式控件。电子设备检测到用户针对目标模式控件的操作后,进入目标模式。
在该方案中,电子设备可以根据用户的指示操作进入目标模式,从而可以采用耳机盒进行拾音,并采用无线耳机进行返听。
在另一种可能的设计中,无线耳机存储有耳机盒的第一通信地址,耳机盒存储有无线耳机的第二通信地址。无线耳机与耳机盒之间建立无线连接,包括:在无线耳机或耳机盒检测到用户的第三预设操作后,无线耳机和耳机盒根据第一通信地址和第二通信地址建立无线连接。或者,在无线耳机或耳机盒接收到来自电子设备的连接信息后,无线耳机和耳机盒根据第一通信地址和第二通信地址建立无线连接。
在该方案中,无线耳机和耳机盒可以为出厂时配套使用的设备。无线耳机和耳机盒可以根据用户的指示操作,以及相互保存的对方的通信地址建立无线连接。
在另一种可能的设计中,所无线耳机与电子设备之间建立无线连接,且无线耳机与耳机盒之间建立无线连接,包括:电子设备与无线耳机之间建立无线连接;电子设备与耳机盒之间建立无线连接。而后,电子设备将无线耳机的第一通信地址发送给耳机盒;电子设备将耳机盒的第二通信地址发送给无线耳机。耳机盒和无线耳机根据第一通信地址和第二通信地址建立无线连接。
在该方案中,电子设备可以首先与无线耳机和耳机盒建立无线连接,而后交换无线耳机和耳机盒的通信地址,以使得无线耳机和耳机盒根据对方的通信地址建立无线连接。
在另一种可能的设计中,该无线连接为蓝牙连接,耳机盒使用蓝牙音频编解码器对音频数据进行编码。
其中,蓝牙音频编解码器可以将通过高采样率获得的音频数据压缩至较低的数据量,从而通过蓝牙快速传输,使得耳机盒的拾音数据可以实时、快速地到达无线耳机或电子设备,实现高带宽的蓝牙音频拾音和音频传输,实现用户声音的实时返听。
另一方面,本申请实施例提供了一种耳机盒,包括:无线通信模块、麦克风和音频模块。无线通信模块用于,与无线耳机建立无线连接。麦克风用于,采集声音信号。音频模块用于,根据声音信号生成第一音频数据。无线通信模块还用于,向无线耳机发送第一音频数据。
在该方案中,耳机盒可以拾取用户的声音,并转换成第一音频数据发送给无线耳机,以便无线耳机根据第一音频数据进行相关处理或播放用户的声音等,实现声音的返听。这样,用于拾取用户声音信号的麦克风为耳机盒的麦克风,用于返听用户声音信号的听筒为无线耳机的听筒。即,用于拾取用户声音信号的麦克风与返听用户声音信号的听筒可以分离。用户可以手持耳机盒并将耳机盒靠近用户的嘴部,耳机盒可以拾取到用户的声音细节,拾取的用户声音的信噪比较高,耳机盒的拾音质量和拾音效果较好;并且,无线耳机的听筒离用户的耳朵也很近,音频播放效果也较好,因而返听效果较好。
在一种可能的设计中,无线通信模块还用于,向无线耳机发送第一音频数据,包括:向无线耳机的第一耳塞和第二耳塞发送第一音频数据。或者,向无线耳机的第一耳塞发送第一音频数据。
也就是说,在双发连接方案中,耳机盒与无线耳机的两只耳塞均建立无线连接,可以向无线耳机的两只耳塞均发送第一音频数据。在转发方案中,耳机盒仅与无线耳机的一只耳塞建立了无线连接,可以向该耳塞发送第一音频数据。
在另一种可能的设计中,无线通信模块还用于:与电子设备建立无线连接;将音频模块生成的第一音频数据发送给电子设备。
在该方案中,耳机盒可以将第一音频数据发送给电子设备,以便电子设备对第一音频数据进行相关业务处理。
在另一种可能的设计中,无线通信模块用于,与无线耳机建立无线连接,具体包括:接收来自电子设备的无线耳机的通信地址;根据通信地址与无线耳机建立无线连接。
在该方案中,耳机盒可以根据电子设备发送的无线耳机的通信地址,与无线耳机建立无线连接。
在另一种可能的设计中,耳机盒还包括存储模块,该存储模块存储有无线耳机的通信地址;无线通信模块用于,与无线耳机建立无线连接,具体包括:在耳机盒检测到用户的预设操作或者接收到来自电子设备的连接信息后,根据通信地址与无线耳机建立无线连接。
在该方案中,耳机盒可以根据用户的指示操作,结合无线耳机的通信地址,与无线耳机建立无线连接。
在另一种可能的设计中,无线连接为蓝牙连接,音频模块还包括蓝牙音频编解码模块。蓝牙音频编解码模块用于对音频数据进行编码。
在该方案中,由于蓝牙音频编解码模块可以将通过高采样率获得的音频数据压缩至较低的数据量,从而通过蓝牙快速传输,使得耳机盒的拾音数据可以实时、快速地到达无线耳机,因而可以实现高带宽的蓝牙音频拾音和音频传输,实现用户声音的实时返听。
另一方面,本申请实施例提供了一种音频处理方法,应用于音频处理系统。该音频处理系统包括无线耳机和耳机盒。该方法包括:无线耳机和耳机盒之间建立无线连接。耳机盒采集声音信号,并生成第一音频数据。耳机盒向无线耳机发送第一音频数据。无线耳机对第一音频数据进行音效处理,获得第二音频数据。无线耳机播放第二音频数据。
该方案中,无线耳机与耳机盒建立了双发连接,无线耳机的两只耳塞均与耳机盒进行数据交互。其中,用于拾取用户声音信号的麦克风为耳机盒的麦克风,用于返听用户声音信号的听筒为无线耳机的听筒。即,用于拾取用户声音信号的麦克风与返听用户声音信号的听筒可以分离。用户可以手持耳机盒并将耳机盒靠近用户的嘴部,耳机盒可以拾取到用户的声音细节,拾取的用户声音的信噪比较高,耳机盒的拾音质量和拾音效果较好;并且,无线耳机的听筒离用户的耳朵也很近,音频播放效果也较好,因而返听效果较好。
另一方面,本申请实施例提供了一种音频处理方法,应用于音频处理系统,音频处理系统包括无线耳机和耳机盒,无线耳机包括第一耳塞和第二耳塞,该方法包括:无线耳机和耳机盒之间建立无线连接;耳机盒采集声音信号,并生成第一音频数据;耳机盒向第一耳塞发送第一音频数据;第一耳塞对第一音频数据进行音效处理,获得第二音频数据;第一耳塞向第二耳塞发送第二音频数据;第一耳塞和第二耳塞播放第二音频数据。
该方案中,无线耳机与耳机盒建立了转发连接,耳机盒与无线耳机的其中一只耳塞进行数据交互。其中,用于拾取用户声音信号的麦克风为耳机盒的麦克风,用于返听用户声音信号的听筒为无线耳机的听筒。即,用于拾取用户声音信号的麦克风与返听用户声音信号的听筒可以分离。用户可以手持耳机盒并将耳机盒靠近用户的嘴部,耳机盒可以拾取到用户的声音细节,拾取的用户声音的信噪比较高,耳机盒的拾音质量和拾音效果较好;并且,无线耳机的听筒离用户的耳朵也很近,音频播放效果也较好,因而返听效果较好。
另一方面,本申请实施例提供了一种音频处理系统,包括:电子设备、无线耳机和耳机盒。电子设备、无线耳机和耳机盒用于,建立无线耳机与电子设备之间的无线连接,以及无线耳机与耳机盒之间的无线连接。耳机盒还用于,采集声音信号,并生成第一音频数据。耳机盒还用于,向无线耳机发送第一音频数据。无线耳机还用于,对第一音频数据进行音效处理,获得第二音频数据。电子设备还用于向无线耳机发送第三音频数据。无线耳机还用于,将第二音频数据与第三音频数据进行混音处理,获得第四音频数据。无线耳机还用于,播放第四音频数据。
其中,音频处理系统中的电子设备、无线耳机和耳机盒用于执行上述任一方面任一种可能的设计中的音频处理方法。
在一种可能的设计中,无线耳机包括第一耳塞和第二耳塞。耳机盒用于,向无线耳机发送第一音频数据,具体包括:向第一耳塞和第二耳塞发送第一音频数据。第二音频数据包括第五音频数据和第六音频数据。无线耳机用于,对第一音频数据进行音效处理,获得第二音频数据,具体包括:通过第一耳塞对第一音频数据进行音效处理,获得第五音频数据;通过第二耳塞对第一音频数据进行音效处理,获得第六音频数据。电子设备用于,向无线耳机发送第三音频数据,具体包括:向第一耳塞和第二耳塞发送第三音频数据。第四音频数据包括第七音频数据和第八音频数据。无线耳机用于,将第二音频数据与第三音频数据进行混音处理,获得第四音频数据,包括:通过第一耳塞将第五音频数据与第三音频数据进行混音处理,获得第七音频数据;通过第二耳塞将第六音频数据与第三音频数据进行混音处理,获得第八音频数据。
在另一种可能的设计中,无线耳机包括第一耳塞和第二耳塞。耳机盒用于,向无线耳机发送第一音频数据,包括:向第一耳塞发送第一音频数据。无线耳机用于,对第一音频数据进行音效处理,获得第二音频数据,包括:第一耳塞用于对第一音频数据进行音效处理,获得第二音频数据。电子设备用于,向无线耳机发送第三音频数据,包括:向第一耳塞发送第三音频数据。无线耳机用于,将第二音频数据与第三音频数据进行混音处理,获得第四音频数据,包括:第一耳塞用于,将第二音频数据与第三音频数据进行混音处理,获得第四音频数据。无线耳机还用于,通过第一耳塞向第二耳塞发送第四音频数据。
在另一种可能的设计中,电子设备还用于,检测到用户的第一预设操作后,显示目标应用的应用界面,第一预设操作用于启动目标应用。
在另一种可能的设计中,无线耳机还用于,在耳机盒向无线耳机发送第一音频数据之后,向电子设备发送第一音频数据。电子设备还用于,通过目标应用对第一音频数据进行业务处理。
在另一种可能的设计中,耳机盒还用于,在采集声音信号,并生成第一音频数据之后,向电子设备发送第一音频数据。电子设备还用于,通过目标应用对第一音频数据进行业务处理。
在另一种可能的设计中,电子设备还用于,在显示目标应用的应用界面之后,提示用户是否进入目标模式;检测到用户指示进入目标模式的操作后,进入目标模式。
在另一种可能的设计中,目标应用为预设应用。
在另一种可能的设计中,电子设备还用于,在检测到用户的第二预设操作之后,显示设置界面,设置界面包括目标模式控件;检测到用户针对目标模式控件的操作后,进入目标模式。
在另一种可能的设计中,无线耳机存储有耳机盒的第一通信地址,耳机盒存储有无线耳机的第二通信地址。无线耳机与耳机盒用于在无线耳机与耳机盒之间建立无线连接,包括:在无线耳机或耳机盒检测到用户的第三预设操作后,无线耳机和耳机盒用于根据第一通信地址和第二通信地址建立无线连接。或者,在无线耳机或耳机盒接收到来自电子设备的连接信息后,无线耳机和耳机盒用于根据第一通信地址和第二通信地址建立无线连接。
在另一种可能的设计中,电子设备、无线耳机和耳机盒用于,建立无线耳机与电子设备之间建立无线连接,以及无线耳机与耳机盒之间建立无线连接,具体包括:电子设备用于与无线耳机之间建立无线连接;电子设备还用于与耳机盒之间建立无线连接;电子设备用于将无线耳机的第一通信地址发送给耳机盒;电子设备还用于将耳机盒的第二通信地址发送给无线耳机;耳机盒和无线耳机用于根据第一通信地址和第二通信地址建立无线连接。
在另一种可能的设计中,无线连接为蓝牙连接,耳机盒使用蓝牙音频编解码器对音频数据进行编码。
另一方面,本申请实施例提供了一种音频处理装置,该装置包含在音频设备中。该装置具有实现上述方面及可能的设计中任一方法中音频设备行为的功能,使得音频设备执行上述方面任一项可能的设计中的音频处理方法。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如,该装置可以包括音频模块或麦克风等。该音频设备可以是上述电子设备、无线耳机或耳机盒。
又一方面,本申请实施例提供了一种音频设备,包括:一个或多个处理器;以及存储器,存储器中存储有代码。当代码被音频设备执行时,使得音频设备执行上述方面任一项可能的设计中音频设备执行的音频处理方法。该音频设备可以是上述电子设备、无线耳机或耳机盒。
另一方面,本申请实施例提供了一种计算机可读存储介质,包括计算机指令,当计算机指令在音频设备上运行时,使得音频设备执行上述方面任一项可能的设计中的音频处理方法。该音频设备可以是上述电子设备、无线耳机或耳机盒。
又一方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述方面任一项可能的设计中音频设备执行的音频处理方法。该音频设备可以是上述电子设备、无线耳机或耳机盒。
另一方面,本申请实施例提供了一种芯片系统,该芯片系统应用于音频设备。该芯片系统包括一个或多个接口电路和一个或多个处理器;接口电路和处理器通过线路互联;接口电路用于从音频设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得音频设备执行上述方面任一项可能的设计中的音频处理方法。该音频设备可以是上述电子设备、无线耳机或耳机盒。
上述其他方面对应的有益效果,可以参见关于方法方面的有益效果的描述,此处不予赘述。
附图说明
图1为本申请实施例提供的一种音频处理系统的架构示意图;
图2为本申请实施例提供的一种TWS耳机的耳塞结构示意图;
图3为本申请实施例提供的一种耳机盒的结构示意图;
图4为本申请实施例提供的一种手机的结构示意图;
图5A为本申请实施例提供的一种TWS耳机、耳机盒与手机的连接架构示意图;
图5B为本申请实施例提供的另一种TWS耳机、耳机盒与手机的连接架构示意图;
图6A为本申请实施例提供的一种TWS耳机与耳机盒及手机的连接示意图;
图6B为本申请实施例提供的另一种TWS耳机与耳机盒及手机的连接示意图;
图7为本申请实施例提供的一种音频处理方法流程图;
图8为本申请实施例提供的一种手机界面示意图;
图9为本申请实施例提供的另一种手机界面示意图;
图10为本申请实施例提供的另一种音频处理方法流程图;
图11A为本申请实施例提供的一种建立蓝牙连接的流程图;
图11B为本申请实施例提供的另一种手机界面示意图;
图12A为本申请实施例提供的另一种建立蓝牙连接的流程图;
图12B为本申请实施例提供的另一种手机界面示意图;
图13为本申请实施例提供的另一种音频处理方法流程图;
图14A为本申请实施例提供的另一种音频处理方法流程图;
图14B为本申请实施例提供的另一种音频处理方法流程图;
图15为本申请实施例提供的另一种音频处理系统的架构示意图;
图16为本申请实施例提供的另一种音频处理系统的架构示意图;
图17为本申请实施例提供的另一种音频处理方法流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
现有技术中,在用户进行K歌或直播等需要返听的场景下,TWS耳机上的麦克风离用户的嘴部较远,TWS耳机上的麦克风拾取的声音容易缺失细节且信噪比较差,因而TWS耳机的返听效果较差,用户使用体验较差。
本申请实施例提供了一种音频处理方法,可以应用于K歌、直播、演唱、演讲或讲话等用户需要通过耳机听到自己声音的返听场景。举例来说,在K歌场景下,环境可能较为嘈杂,或者伴奏声音较大,K歌用户通过声音在空气中的传播,可能听不清自己的声音或者听到的自己的声音有延迟。该种情况下,K歌用户可以通过返听实时听到自己的声音和伴奏,以使得自己的声音与伴奏相匹配,确保自己没有走音或走调,并及时调整自己的声音状态。
在另一举例中,在嘈杂的晚会或活动表演现场,发表讲话的人通过声音在空气中的传播可能听不清自己的声音或者听到的自己的声音有延迟。该种情况下,发表讲话的人可以通过返听实时听到自己的声音,从而实时调整自己的声音,避免声音异常。
在本申请实施例提供的音频处理方法中,对于用户需要通过耳机听到自己声音的返听场景,用于收纳TWS耳机的耳机盒可以采集用户的声音信号,根据采集到的声音信号生成第一音频数据,并将第一音频数据发送给TWS耳机。TWS耳机可以播放用户的声音信号对应的目标音频数据,从而将用户的声音返听给用户。其中,该目标音频数据可以包括用户的声音信号对应的第一音频数据,或者该目标音频数据可以包括第一音频数据经过音效处理后的第二音频数据。其中,耳机盒采集声音信号并将声音信号转换成第一音频数据的过程,也可以称为耳机盒拾取声音或耳机盒拾音等,该第一音频数据也可以称为拾音数据。
这样,用于拾取用户声音信号的麦克风为耳机盒的麦克风,用于返听用户声音信号的听筒为TWS耳机的听筒。即,用于拾取用户声音信号的麦克风与返听用户声音信号的听筒可以分离。用户可以手持耳机盒并将耳机盒靠近用户的嘴部,耳机盒可以拾取到用户的声音细节,拾取的用户声音的信噪比较高,耳机盒的拾音质量和拾音效果较好;并且,TWS耳机的听筒离用户的耳朵也很近,音频播放效果也较好,因而返听效果较好。
在一些实施例中,TWS耳机还可以接收电子设备发送的音频数据(例如K歌时的伴奏,或直播时的背景音乐等),并将用户的声音信号对应的目标音频数据与电子设备发送的音频数据一起播放给用户。
并且,TWS耳机、耳机盒及电子设备之间采用无线通信技术传输音频数据,这样可以摆脱有线传输或非TWS耳机的连接线的束缚,提高用户使用体验。
此外,在K歌或直播等返听场景下,当采用耳机盒拾音且双耳返听的情况下,用户还可以获得更好的沉浸感。
本申请实施例提供的音频处理方法,可以应用于音频处理系统。图1示出了一种音频处理系统01的架构示意图,该音频处理系统01包括TWS耳机10和耳机盒20。其中,该耳机盒可以用于收纳TWS耳机。TWS耳机与耳机盒之间具有无线连接,可以采用无线通信技术传输音频数据。耳机盒可以采集用户的声音信号,根据用户的声音信号生成第一音频数据,并将第一音频数据发送给TWS耳机。TWS耳机可以将用户的声音信号对应的目标音频数据播放给用户,从而将用户的声音返听给用户。其中,该目标音频数据包括第一音频数据,或者包括第一音频数据经过音效处理后的第二音频数据。
在一些实施例中,如图1所示,该音频处理系统01还可以包括电子设备30。其中,TWS耳机与耳机盒之间,以及TWS耳机与电子设备之间具有无线连接,可以采用无线通信技术传输音频数据。在一些实施例中,耳机盒与电子设备之间也具有无线连接,可以采用无线通信技术传输音频数据。
其中,耳机盒可以采集用户的声音信号,根据用户的声音信号生成第一音频数据,并将第一音频数据发送给TWS耳机。TWS耳机还可以接收电子设备发送的第三音频数据。TWS耳机可以将目标音频数据以及第三音频数据一起播放给用户,以实现返听功能。该目标音频数据包括第一音频数据,或者包括第一音频数据经过音效处理后的第二音频数据。例如,TWS耳机可以将目标音频数据和电子设备发送的第三音频数据进行混音处理后播放给用户。示例性的,在K歌场景下,TWS耳机可以将用户的声音信号对应的目标音频数据与来自电子设备的伴奏混音后播放给用户。
并且,耳机盒生成的第一音频数据还可以发送给电子设备,或者通过TWS耳机转发给电子设备,以便电子设备根据用户当前使用的目标应用进行相关的业务处理。
示例性的,在本申请实施例提供的音频处理系统中,用于音频数据传输的无线通信技术可以是蓝牙(bluetooth,BT),红外(infrared,IR),无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),或近距离无线通信技术(near field communication,NFC)等。本申请实施例对无线通信技术的具体类型不予限定。
需要说明的是,图1所示音频处理系统中的TWS耳机10也可以替换为其他无线耳机。其中,无线耳机不具有拾音线,也不需要通过耳机孔与音频设备相连。例如,图1所示音频处理系统中的TWS耳机10可以替换为颈带式无线耳机等耳塞之间具有连接线的无线耳机。
以下对音频处理系统中各设备的结构进行举例说明。
TWS耳机通常可以包括一对耳塞,例如包括耳塞1和耳塞2。示例性的,图2示出了TWS耳机包括的耳塞200的一种结构示意图。该耳塞200可以包括:处理器210,存储器220,无线通信模块230,音频模块240,至少一个受话器250,至少一个麦克风260,传感器270,电源280,以及输入/输出接口290等。
其中,存储器220可以用于存储应用程序代码,如用于与TWS耳机的另一只耳塞200建立无线连接,以及使得耳塞200与上述电子设备进行无线连接的程序代码。
处理器210可以执行上述程序代码,以实现本申请实施例中耳塞200的功能,例如控制无线通信模块230接收来自耳机盒或电子设备的音频数据,对接收到的音频数据进行音频处理,并控制受话器250对处理后的音频数据进行播放等功能。其中,该处理器210可以是一个通用中央处理器(central processing unit,CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),数字信号处理器(digital signalprocessor,DSP),或一个或多个用于控制本申请方案程序执行的集成电路等。
存储器220还可以存储有用于唯一标识该耳塞200的蓝牙地址(也可以称为通信地址),以及TWS耳机的另一只耳塞的蓝牙地址。另外,该存储器220还可以存储有与该耳塞200之前成功配对过的电子设备的配对历史。例如,该配对历史可以包括与该耳塞200成功配对过的电子设备的蓝牙地址。基于该配对历史,该耳塞200能够自动回连至已配对的该电子设备。再例如,存储器220还可以存储有用于收纳该耳塞200的耳机盒的蓝牙地址。基于该蓝牙地址,该耳塞200能够与耳机盒建立蓝牙连接。例如,上述蓝牙地址可以为媒体访问控制(media access control,MAC)地址。
无线通信模块230,用于支持当前耳塞200与TWS耳机的另一只耳塞,与各种电子设备以及与耳机盒之间的无线数据交换,支持TWS耳机同时与电子设备和耳机盒之间建立无线连接。
例如,在一些实施例中,该无线通信模块230可以为蓝牙模块。耳塞200可以通过该蓝牙模块与耳机盒及电子设备之间建立蓝牙连接,以实现相互间的短距离数据交换。
音频模块240,用于将数字音频数据转换成模拟音频电信号输出,也用于将模拟音频电信号输入转换为数字音频数据。音频模块240可以与无线通信模块230之间传输音频数据,实现通话或音乐播放等功能。
音频模块240还可以包括音频编解码器,用于对音频数据进行编码和解码。例如,该音频编解码器可以为高清蓝牙编解码器,可以对高采样率(例如48kHz或32kHz等大于或者等于16kHz的采样率)采集到的声音信号所生成的第一音频数据进行编码,使得编码后的第一音频数据能够保留较高带宽(例如保留0-24k的带宽或0-16k的带宽)的声音信息,从而获得更为真实的和高度清晰声音信息以便后续返听给用户。并且,编码后的数据量较少,可以通过蓝牙等无线通信技术进行高速传输。
音频模块240还可以包括音频处理模块,用于对音频数据进行音频处理。例如,该音频处理模块可以包括音效处理模块,用于对耳机盒发送的第一音频数据进行音效处理。再例如,该音频处理模块还可以包括混音处理模块,用于将音效处理获得的第二音频数据和电子设备发送的第三音频数据进行混音处理。
在一些实施例中,音频模块240可以设置于处理器210中,或者音频模块240的部分功能模块设置于处理器210中。
至少一个受话器250,也可以称为“听筒”,可以用于将模拟音频电信号转换成声音信号并播放。例如,当TWS耳机的耳塞200作为电子设备的音频输出设备时,受话器250可以将从耳机盒和电子设备接收到的音频电信号转换为声音信号并播放。该音频电信号即为本申请实施例中的音频数据。
至少一个麦克风260,也可以称为“话筒”,“传声器”,用于将声音信号转换为模拟音频电信号。例如,麦克风260可以检测用户唱歌或讲话时的声音信号,并将声音信号转换为模拟音频电信号。
传感器270可以包括距离传感器270或接近光传感器270等部件。耳塞200可以通过该传感器270确定是否被用户佩戴。在另一些实施例中,该耳塞200还可以包括触摸传感器270,用于检测用户的触摸操作。
电源280可以用于向TWS耳机的耳塞200包含的各个部件供电。在一些实施例中,该电源280可以是电池,如可充电电池。
输入/输出接口290,用于提供TWS耳机的耳塞200与耳机盒之间的任何有线连接。在一些实施例中,输入/输出接口290可以为电连接器。当TWS耳机的耳塞200置于耳机盒中时,TWS耳机的耳塞200可以通过该电连接器与耳机盒(如与耳机盒包括的输入/输出接口290)电连接。在该电连接建立后,耳机盒可以为TWS耳机的耳塞200的电源280充电。在该电连接建立后,TWS耳机的耳塞200还可以与耳机盒进行数据通信。例如,TWS耳机的耳塞200可以通过该电连接器接收来自耳机盒的配对指令。该配对命令用于指示TWS耳机的耳塞200打开无线通信模块230,从而使得TWS耳机的耳塞200可以采用对应的无线通信协议(如蓝牙)与电子设备进行配对连接。
可以理解的是,本申请实施例示意的结构并不构成对TWS耳机的耳塞200的具体限定。其可以具有比图2示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。例如,该耳塞200还可以包括指示灯(可以指示耳塞200的电量等状态)、防尘网(可以配合听筒使用)或马达等部件。图2所示的各种部件可以在包括一个或多个信号处理或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
在本申请的实施例中,无线通信模块230可以从耳机盒接收用户的声音信号对应的第一音频数据,还可以接收电子设备发送的第三音频数据。受话器250可以播放用户的声音信号对应的目标音频数据以及第三音频数据,从而将音频数据对应的电信号转化为用户可以听到的声音信号。其中,该目标音频数据包括第一音频数据,或者包括第一音频数据经过音效处理后的第二音频数据。
在一些实施例中,音频处理模块可以对第一音频数据进行音效处理,还可以将音效处理获得的第二音频数据与电子设备发送的第三音频数据进行混音处理。受话器250可以播放混音处理后的音频数据。
在另一些实施例中,无线通信模块230从耳机盒和电子设备接收到的音频数据,可以是音频编解码器编码后的音频数据。无线通信模块230对接收到的音频数据首先进行解码,而后再进行音效处理或混音处理等音频处理。编码后的数据量较少,可以通过蓝牙等无线通信技术进行高速传输。
示例性的,图3示出了耳机盒300的一种结构示意图。如图3所示,该耳机盒300可以用于收纳TWS耳机的耳塞。该耳机盒300包括处理器310,存储器320,无线通信模块330,音频模块340,至少一个麦克风350,电源360,以及输入/输出接口370等。
其中,该存储器320可以用于存储应用程序代码,并由耳机盒300的处理器310来控制执行以实现耳机盒300的功能,例如可以实现耳机盒300与TWS耳机或电子设备的无线连接及无线通信等功能。其中,该处理器310可以是一个CPU,微处理器,ASIC,DSP,或一个或多个用于控制本申请方案程序执行的集成电路等。
存储器320还可以存储有收纳的耳塞的蓝牙地址。基于该蓝牙地址,耳机盒300能够与耳塞建立蓝牙连接。例如,该蓝牙地址可以为MAC地址。
无线通信模块330,用于支持耳机盒300与TWS耳机和/或电子设备之间的无线数据交换,支持耳机盒300同时与多个设备建立无线连接。
在一些实施例中,该无线通信模块330可以为蓝牙模块。耳机盒300可以通过该蓝牙模块与TWS耳机和电子设备之间建立蓝牙连接,以实现相互间的短距离数据交换。
音频模块340,用于将模拟音频电信号输入转换为数字音频数据。例如,音频模块340可以用于将麦克风350将声音信号转换成的模拟音频电信号转换成第一音频数据。
音频模块340还可以包括音频编解码器,用于对音频数据进行编码和解码,例如该音频编解码器可以为蓝牙高带宽编解码器。在一些实施例中,音频模块340可以设置于处理器310中,或将音频模块340的部分功能模块设置于处理器310中。
至少一个麦克风350,也可以称为“话筒”,“传声器”,用于将声音信号转换为模拟音频电信号。例如,耳机盒300靠近用户嘴部时,在用户说话、唱歌或讲话等发出声音的过程中,麦克风350可以采集用户的声音信号,并将其转换为模拟音频电信号。
在一些实施例中,该耳机盒300上可以设置有至少一个控件,可以用于触发耳机盒300与TWS耳机建立无线连接,或者触发TWS耳机的两只耳塞之间的重新配对,或者触发耳机盒300与电子设备建立无线连接等操作。
此外,耳机盒300还可以包括电源360,可以用于向耳机盒300包含的各个部件供电。该耳机盒300上还可以设置有充电口,用于耳机盒300自身进行充电。耳机盒300还可以包括输入/输出接口370,当TWS耳机的耳塞置于耳机盒300中时,输入/输出接口370可以用于为耳塞充电。
可以理解的是,该耳机盒300上还可以包括其他控件,此处不再一一说明。本申请实施例示意的结构并不构成对耳机盒300的具体限定。其可以具有比图3所示的更多或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。例如,该耳机盒300还可以包括控件380或指示灯390等部件。
在本申请的实施例中,麦克风350和音频模块340可以将用户的声音信号,转换为第一音频数据。无线通信模块330可以将第一音频数据发送给TWS耳机,以便TWS耳机播放目标音频数据。该目标音频数据包括第一音频数据,或者包括第一音频数据经过音效处理后的第二音频数据。无线通信模块330还可以将第一音频数据发送给电子设备,以便电子设备进行音频录制等处理。
在一些实施例中,无线通信模块330向TWS耳机和电子设备发送的第一音频数据,是音频编解码器编码后的音频数据。编码后的数据量较少,可以通过蓝牙等无线通信技术进行高速传输。
其中,音频处理系统中的电子设备可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或个人数字助理(personal digital assistant,PDA)等设备。本申请实施例对电子设备的具体类型不予限定。
示例性的,当电子设备为手机时,图4示出了手机100的一种结构示意图。如图4所示,手机100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,DSP,基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行手机100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
例如,处理器110通过运行存储在内部存储器121的指令,从而实现手机与TWS耳机或耳机盒等多个设备建立无线连接(例如蓝牙连接)的功能;还可以通过目标应用,对耳机盒采集的声音信号对应的第一音频数据,进行音频录制等处理。
手机100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
无线通信模块160可以提供应用在手机100上的包括WLAN(如Wi-Fi网络),BT,GNSS,FM,NFC,IR等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在本申请的实施例中,无线通信模块160可以与TWS耳机或耳机盒盒等多个设备建立无线连接(例如蓝牙连接),并接收来自TWS耳机或耳机盒的第一音频数据,还可以向TWS耳机发送第三音频数据(例如伴奏)。
手机100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
其中,音频模块170,用于将数字音频电信号转换成模拟音频电信号输出,也用于将模拟音频电信号输入转换为数字音频数据。音频模块170可以与无线通信模块160之间传输音频数据,从而实现通话,音乐播放,音频录制或生成音频文件等功能。音频模块170还可以包括音频编解码器,用于对音频数据进行编码和解码。
在一些实施例中,音频模块170可以设置于处理器110中,或者音频模块170的部分功能模块设置于处理器110中。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于手机100的表面,与显示屏194所处的位置不同。
可以理解的是,本申请实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中,手机100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
在本申请的实施例中,无线通信模块160可以从耳机盒或TWS耳机接收用户的声音信号对应的第一音频数据,还可以向TWS耳机发送第三音频数据。处理器110可以通过目标应用,对耳机盒采集的声音信号对应的第一音频数据,进行音频录制等处理。显示屏194可以显示目标应用的应用界面。
在一些实施例中,无线通信模块160从耳机盒或TWS耳机接收到的第一音频数据,是音频编解码器编码后的音频数据,音频编解码器可以对无线通信模块接收到的编码后的音频数据进行解码。并且,无线通信模块160向TWS耳机发送的第三音频数据,也是音频编码器编码后的音频数据。编码后的数据量较少,可以通过蓝牙等无线通信技术进行高速传输。
以下将以音频处理系统包括TWS耳机、耳机盒和电子设备,且TWS耳机具有图2所示的结构,耳机盒具有图3所示的结构,电子设备为具有图4所示结构的手机,用于传输音频数据的无线通信技术为蓝牙为例,对本申请实施例提供的音频处理方法进行阐述。
在本申请的实施例中,在用户使用耳机盒和TWS耳机进行返听时,TWS耳机、耳机盒及手机之间可以先建立蓝牙连接。TWS耳机、耳机盒及手机之间的蓝牙连接架构包括以下两种情况:
情况1、参见图5A,TWS耳机与耳机盒之间建立有蓝牙连接,且TWS耳机与手机之间建立有蓝牙连接,手机与耳机盒之间未建立有蓝牙连接。
情况2、参见图5B,TWS耳机与耳机盒之间建立有蓝牙连接,TWS耳机与手机之间建立有蓝牙连接,且手机与耳机盒之间建立有蓝牙连接。
其中,TWS耳机与手机之间,以及TWS耳机与耳机盒之间,可以采用现有的转发连接方案、双发连接方案或其他方案建立蓝牙连接。
例如,在双发连接方案中,参见图6A,手机可以与TWS耳机的每只耳塞分别建立蓝牙连接,从而与每只耳塞分别交互音频数据。在TWS耳机与手机之间建立双发连接方案后,两只耳塞之间可以保持蓝牙连接,也可以断开蓝牙连接。类似的,耳机盒与TWS耳机的每只耳塞之间可以分别建立蓝牙连接,从而与每只耳塞分别交互音频数据。
例如,在转发连接方案中,参见图6B,TWS耳机可以包括主耳塞和副耳塞;主耳塞和手机之间建立有蓝牙连接,可以交互音频数据;主、副耳塞之间建立有蓝牙连接,主耳塞通过与副耳塞之间的蓝牙连接向副耳塞转发音频数据。类似的,耳机盒和主耳塞之间建立有蓝牙连接,可以交互音频数据;主耳塞可以向副耳塞转发音频数据。需要注意的是,在用户使用TWS耳机的过程中,主、副耳塞的角色可以发生切换。
在一些实施例中,参见图7,本申请实施例提供了一种音频处理方法,该方法可以包括:
701、手机检测到用户的预设操作1后,进入目标模式。
在目标模式下,手机、TWS耳机及耳机盒之间可以建立蓝牙连接,并基于蓝牙连接进行音频传输;耳机盒可以采集用户的声音信号,并将声音信号转换成音频数据发送给TWS耳机;TWS耳机可以将用户的声音返听给用户。
其中,预设操作1可以是用户的触摸操作、语音指示操作或手势操作等。示例性的,目标模式可以为图8所示的“专业返听模式”,预设操作1可以为用户点击控件801的操作。
在一些实施例中,手机还可以将目标模式的功能提示给用户。示例性的,如图8所示,目标模式为专业返听模式,专业返听模式的功能为:该模式可以通过耳机盒拾取用户的声音,并通过TWS耳机将用户的声音返听给用户。可以理解的是,该目标模式也可以有其他的名称,例如耳机盒拾音模式等。
702、TWS耳机、耳机盒及手机之间建立蓝牙连接。
在目标模式下,TWS耳机、耳机盒及手机之间建立蓝牙连接的方案可以有多种,以下进行举例说明。
方案1:TWS耳机和耳机盒在出厂时配套使用,TWS耳机预先存储有耳机盒的蓝牙地址,耳机盒也预先存储有TWS耳机的蓝牙地址。在目标模式下,手机可以首先与TWS耳机建立蓝牙连接。而后,手机可以向TWS耳机发送指示信息1,以指示TWS耳机与耳机盒建立蓝牙连接。TWS耳机接收到指示信息1后,根据存储的耳机盒的蓝牙地址,请求与耳机盒建立蓝牙连接。耳机盒确定请求建立蓝牙连接的设备的蓝牙地址与自身存储的TWS耳机的蓝牙地址匹配,从而与TWS耳机建立蓝牙连接。可选地,手机与耳机盒之间也可以建立蓝牙连接。
或者,在目标模式下,手机可以首先与耳机盒建立蓝牙连接。而后,手机可以向耳机盒发送指示信息2,以指示耳机盒与TWS耳机建立蓝牙连接。耳机盒接收到指示信息2后,根据存储的TWS耳机的蓝牙地址,请求与TWS耳机建立蓝牙连接。TWS耳机确定请求建立蓝牙连接的设备的蓝牙地址与自身存储的耳机盒的蓝牙地址匹配,从而与耳机盒建立蓝牙连接。
其中,指示信息1和指示信息2用于指示TWS耳机与耳机盒建立蓝牙连接,因而也可以称为连接信息。来自手机的连接信息,可以包括手机直接发送的连接信息,以及手机通过其他设备转发的连接信息。
方案2:TWS耳机和耳机盒在出厂时配套使用,TWS耳机预先存储有耳机盒的蓝牙地址,耳机盒也预先存储有TWS耳机的蓝牙地址。在目标模式下,手机可以首先与TWS耳机建立蓝牙连接,TWS耳机检测到用户的预设操作2后,建立与耳机盒之间的蓝牙连接。
其中,该预设操作2可以是触摸操作、按压操作或语音操作等。示例性的,预设操作2为用户语音指示TWS耳机与耳机盒建立蓝牙连接的操作。TWS耳机检测到预设操作2后,根据存储的耳机盒的蓝牙地址,请求与耳机盒建立蓝牙连接。耳机盒确定请求建立蓝牙连接的设备的蓝牙地址与自身存储的TWS耳机的蓝牙地址匹配后,与TWS耳机建立蓝牙连接。
或者,手机可以首先与耳机盒建立蓝牙连接,耳机盒检测到用户的预设操作3后,建立与TWS耳机之间的蓝牙连接。
其中,该预设操作3可以是触摸操作、按压操作或语音操作等。示例性的,预设操作3为用户针对耳机盒上的控件1的连续按压两次的操作。耳机盒检测到预设操作3后,根据存储的TWS耳机的蓝牙地址,请求与TWS耳机建立蓝牙连接。TWS耳机确定请求建立蓝牙连接的设备的蓝牙地址与自身存储的耳机盒的蓝牙地址匹配后,与耳机盒建立蓝牙连接。
可以理解的是,预设操作2和预设操作3还可以是其他操作,本申请实施例不予限定。例如,预设操作2还可以是用户针对TWS耳机的耳塞上的预设区域,连续点击3次的操作。
方案3:在目标模式下,手机可以与TWS耳机建立蓝牙连接,并与耳机盒建立蓝牙连接。例如,在目标模式下,手机可以显示扫描到的蓝牙设备列表,手机检测到用户从蓝牙设备列表中选择TWS耳机和耳机盒后,与TWS耳机和耳机盒均建立蓝牙连接。而后,手机可以指示TWS耳机和耳机盒建立蓝牙连接。例如,手机可以将TWS耳机的蓝牙地址发送给耳机盒,并将耳机盒的蓝牙地址发送给TWS耳机。基于手机发送的蓝牙地址,TWS耳机和耳机盒之间建立蓝牙连接。在该方案中,TWS耳机与耳机盒可以是出厂时配套使用的耳机盒,也可以不是出厂时配套使用的耳机盒,本申请实施例不予限定。
以上是以手机进入目标模式后,TWS耳机、耳机盒及手机之间才建立蓝牙连接为例进行说明的。在其他一些实施例中,手机可以先与TWS耳机建立蓝牙连接,在进入目标模式后,手机再指示TWS耳机与耳机盒建立蓝牙连接。可选地,在进入目标模式后,手机还可以与耳机盒建立蓝牙连接。
703、手机检测到用户启动目标应用的操作后,打开目标应用并显示目标应用的应用界面。
其中,用户在使用目标应用时需要返听自己的声音。在用户使用目标应用时,耳机盒可以采集用户的声音信号,将用户的声音信号转换成音频数据并发送给TWS耳机,TWS耳机可以将用户的声音返听给用户。
例如,该目标应用可以是K歌应用或直播应用等。示例性的,以目标应用为K歌应用为例,用户启动目标应用的操作可以为点击桌面上目标应用的图标的操作,手机显示的目标应用的应用界面可以参见图9。
704、耳机盒采集用户的声音信号,并生成第一音频数据。
用户可以将耳机盒放到嘴部附近,耳机盒的麦克风可以采集周围的声音信号。周围的声音信号主要包括用户的声音信号,例如用户的嘴部发出的声音或鼻子哼出的曲调等。比如,用户的声音信号可以是用户演讲的声音、主持人说话的声音或用户唱歌的声音等。
耳机盒可以将用户的声音信号转化成第一音频数据。其中,用户的声音信号可以是模拟信号,第一音频数据可以是数字信号。例如,第一音频数据可以是脉冲编码调制(pulse code modulation,PCM)数据。
在一些实施例中,在手机与耳机盒之间不具有蓝牙连接的情况下,手机在打开目标应用(例如K歌应用)后,可以通过TWS耳机通知耳机盒进行拾音。在手机与耳机盒建立有蓝牙连接的情况下,手机在打开目标应用后,可以基于该蓝牙连接通知耳机盒进行拾音。
在另一些实施例中,手机在打开目标应用后,可以根据目标应用通知耳机盒开始拾音。以目标应用为K歌应用为例,手机在用户从K歌应用中选择一首待唱歌曲(例如图9所示的歌曲1)后,通知耳机盒开始拾音或者通过TWS耳机通知耳机盒开始拾音。
在另一些实施例中,耳机盒在与TWS耳机建立蓝牙连接后,即开始拾音。手机在需要处理耳机盒的拾音数据时,对来自耳机盒的拾音数据进行业务处理。其中,该拾音数据即为上述第一音频数据。来自耳机盒的拾音数据可以是耳机盒发送的拾音数据,也可以是耳机盒通过TWS耳机转发的拾音数据。以目标应用为K歌应用为例,手机在用户从K歌应用中选择一首待唱歌曲后,确定需要处理耳机盒的拾音数据,后续接收到的耳机盒的拾音数据为有效数据,从而根据后续接收到的拾音数据进行相关处理。
在其他一些实施例中,耳机盒检测到用户的预设操作4后开始拾音。例如,该预设操作4可以为用户针对耳机盒上预设控件的按压操作,或者用户的语音操作等。
在其他一些实施例中,TWS耳机检测到用户的预设操作5后,通知耳机盒开始拾音。例如,该预设操作5可以为用户针对耳塞上预设区域的触摸操作,或者用户的语音操作等。
如前所述,TWS耳机、耳机盒及手机之间的蓝牙连接架构可以包括图5A所示的情况1和图5B所示的情况2。以下首先针对图5A所示的情况1进行说明。
705、耳机盒将第一音频数据发送给TWS耳机。
如前所述,TWS耳机与耳机盒之间的蓝牙连接方案可以为图6A所示的双发连接方案或图6B所示的转发连接方案等。以下首先以图6A所示的双发连接方案为例进行说明,关于图6B所示的转发连接方案将在后文进行说明。
在图6A所示的TWS耳机与耳机盒之间采用双发连接方案的情况下,耳机盒可以通过蓝牙模块向TWS耳机中的耳塞1和耳塞2发送第一音频数据。其中,耳机盒分别向耳塞1和耳塞2发送的数据内容可以相同或不同。例如,第一音频数据为单声道音频数据,耳机盒向耳塞1和耳塞2发送相同的单声道音频数据;再例如,第一音频数据包括左声道音频数据和右声道音频数据,耳机盒向耳塞1发送的数据内容为第一音频数据中的左声道音频数据,耳机盒向耳塞2发送的数据内容为第一音频数据中的右声道音频数据。
706、TWS耳机对第一音频数据进行音效处理,获得第二音频数据。
其中,第一音频数据可以为用户声音的干声,可以是耳机盒的麦克风获得的PCM数据。
该音效处理用于对第一音频数据进行混响、调制、压限或变速等处理,以获得更好的音质效果。例如,音效处理算法可以包括以下一项或多项:回声消除(acoustic echocancellation,AEC)算法、噪声抑制(noise suppression,NS)算法、自动增益控制(automatic gain control,AGC)算法、均衡器(equalizer)算法、主动降噪算法(activenoise cancellation,ANC)、语音端点检测(voice activity detection,VAD)算法或(dynamic range compress,DRC)动态范围压缩算法等。
TWS耳机的耳塞1和耳塞2接收到第一音频数据后,可以分别通过内部的音效处理模块对第一音频数据进行音效处理,从而分别获得第五音频数据和第六音频数据。第五音频数据与第六音频数据可以相同或不同。例如,第五音频数据和第六音频数据为相同的单声道音频数据;再例如,第五音频数据为左声道音频数据,第六音频数据为右声道音频数据。第二音频数据可以包括该第五音频数据和第六音频数据,该第二音频数据可以为用户声音的湿声。
707、手机根据目标应用向TWS耳机发送第三音频数据。
第三音频数据可以是手机根据目标应用发送的,与耳机盒的拾音数据相配合的音频数据。例如,耳机盒的拾音数据可以是用户K歌时的人声对应的音频数据,第三音频数据可以是用户K歌时手机发送的伴奏。
以目标应用为K歌应用为例,手机在用户选择一首待唱歌曲后,可以向耳机盒发送或通过TWS耳机向耳机盒发送该首歌曲的伴奏。
在一些实施例中,手机在用户选择一首待唱歌曲后,还可以通知耳机盒开始拾音。
手机可以向TWS耳机的耳塞1和耳塞2发送第三音频数据。其中,手机向TWS耳机的两只耳塞发送数据内容,可以相同也可以不同。比如,第三音频数据为单声道伴奏,手机可以向耳塞1和耳塞2均发送相同的单声道伴奏。再比如,第三音频数据包括左声道伴奏和右声道伴奏,手机可以向耳塞1发送第三音频数据中左声道伴奏,向耳塞2发送第三音频数据中右声道伴奏。
708、TWS耳机将第二音频数据与第三音频数据进行混音处理,获得第四音频数据。
其中,混音处理是指把多个音频数据整合成一个音频数据。例如,混音处理算法可以包括以下至少一项:线性叠加后求平均算法、归一化混音算法(也称自适应加权混音算法)或重采样算法等。
耳塞1和耳塞2可以分别通过内部的混音处理模块,对第二音频数据和第三音频数据进行混音处理,获得第四音频数据。例如,在K歌场景下,耳塞1和耳塞2可以获得用户的湿声与伴奏混音后的音频数据。
具体的,耳塞1可以对第五音频数据和从手机接收到的第三音频数据进行混音处理,获得第七音频数据;耳塞1可以对第六音频数据和从手机接收到的第三音频数据进行混音处理,获得第八音频数据。第七音频数据与第八音频数据可以相同或不同。例如,第七音频数据和第八音频数据为相同的单声道音频数据;再例如,第七音频数据为左声道音频数据,第八音频数据为右声道音频数据。第四音频数据包括该第七音频数据和第八音频数据。
709、TWS耳机播放第四音频数据。
耳塞1和耳塞2可以分别通过听筒为用户播放混音处理后的第四音频数据。由于第四音频数据为第二音频数据和第三音频数据混音后的音频数据,而第二音频数据为用户的声音信号对应的第一音频数据进行音效处理后的音频数据,因而耳塞1和耳塞2向用户播放第四音频数据,可以将用户的声音返听给用户。
例如,在K歌场景下,耳塞1和耳塞2可以向用户播放用户的湿声与伴奏混音后的音频数据,用户可以听到自己的声音以及伴奏。
在一些实施例中,耳塞1和耳塞2播放的音频数据是相同的,例如均播放第四音频数据,且第四音频数据为单声道音频数据。在其他一些实施例中,耳塞1和耳塞2播放的音频数据是不同的,例如耳塞1播放的是第四音频数据中的左声道音频数据,耳塞2播放的是第四音频数据中的右声道音频数据。
在步骤701-709描述的方案中,耳机盒向TWS耳机发送第一音频数据,TWS耳机进行音效处理后获得第二音频数据。手机向TWS耳机发送第三音频数据,TWS耳机将第二音频数据与第三音频数据进行混音处理后获得第四音频数据。TWS耳机向用户播放第四音频数据。
这样,用于拾取用户声音信号的麦克风为耳机盒的麦克风,用于返听用户声音信号的听筒为TWS耳机的听筒。即,用于拾取用户声音信号的麦克风与返听用户声音信号的听筒可以分离。用户可以手持耳机盒并将耳机盒靠近用户的嘴部,耳机盒可以拾取到用户的声音细节,拾取的用户声音的信噪比较高,耳机盒的拾音质量和拾音效果较好;并且,TWS耳机的听筒离用户的耳朵也很近,音频播放效果也较好,因而返听效果较好。
因而,该方案可以打破TWS耳机的听筒和拾音器件离得较近的限制,还可以摆脱有线传输或非TWS耳机的连接线的困扰。并且,当用户使用两只耳塞时,该方案在让用户返听到自己声音的同时,还可以给用户以沉浸式的伴奏等的聆听体验。此外,耳机盒的大小尺寸可以方便用户手持使用。
在K歌场景下,用户在K歌时由于伴奏的声音较大或者环境较为嘈杂等原因,K歌用户通过声音在空气中的传播,可能听不清自己的声音或者听到的自己的声音有延迟,需要返听来实时监听自己的声音,防止走音或者走调,从而帮助用户更好地调整演唱技巧和演唱状态等。
在本申请实施例中,当目标应用为K歌应用时,上述第一音频数据可以是用户K歌声音的干声,第二音频数据可以是用户K歌声音的湿声,第三音频数据可以是手机下发的伴奏,第四音频数据可以是用户K歌声音的湿声与伴奏混合后的音频数据。也就是说,耳机盒可以拾取用户K歌的声音信号,转换成拾音数据并发送给TWS耳机进行音效处理。TWS耳机还可以接收手机发送的伴奏。TWS耳机可以将音效处理后的拾音数据和伴奏混音后播放给用户。这样,用于拾音的麦克风和用于音频播放的听筒可以分离,耳机的听筒可以离用户的耳朵较近,耳机盒的麦克风可以离用户的嘴部较近,声音细节不易缺失,信噪比较高,拾音音质和拾音效果较好,返听效果也较好。并且,当用户使用两只耳塞时,用户在监听自己的声音是否走音的同时,还可以得到沉浸式的K歌体验。
在其他一些实施例中,上述步骤706可以省略,即TWS耳机可以不对第一音频数据进行音效处理,因而并不生成第二音频数据。在上述步骤708中,TWS耳机将第一音频数据与第三音频数据进行混音处理后,获得第四音频数据。在上述步骤709中,TWS耳机播放第一音频数据与第三音频数据混音处理后的第四音频数据。
在一些实施例中,TWS耳机还可以将第一音频数据发送给手机,以便手机的目标应用根据第一音频数据进行相关处理。例如,参见图7,在上述步骤705之后,该方法还可以包括:
710、TWS耳机将第一音频数据发送给手机。
耳塞1或耳塞2中的至少一只耳塞可以将第一音频数据发送给手机。在一种实现方案中,TWS耳机用于向手机发送第一音频数据的耳塞,可以是预设的耳塞。在另一种实现方案中,TWS耳机用于向手机发送第一音频数据的耳塞可以是主耳塞。
在另一种实现方案中,耳塞1和耳塞2均向手机发送第一音频数据。手机接收两只耳塞分别发送的第一音频数据;或者,手机接收到一只耳塞发送的第一音频数据后,不再接收另一只耳塞发送的相同的第一音频数据;或者,手机丢弃其中一只耳塞发送的第一音频数据。例如,第一音频数据为单声道音频数据,或者第一音频数据包括左声道音频数据和右声道音频数据。
在另一种实现方案中,第一音频数据包括左声道音频数据和右声道音频数据,耳塞1可以向手机发送第一音频数据中的左声道音频数据,耳塞2可以向手机发送第一音频数据中的右声道音频数据。
在一些实施例中,手机在确定需要根据第一音频数据进行应用处理时,才接收来自耳机盒的第一音频数据。以目标应用为K歌应用为例,手机在用户选择一首待唱歌曲后,确定后续来自耳机盒的第一音频数据为有效数据,从而才接收来自耳机盒的第一音频数据。手机在用户选择待唱歌曲之前,不接收TWS耳机发送的第一音频数据。
711、手机通过目标应用对第一音频数据进行业务处理。
手机可以通过目标应用对第一音频数据进行相关业务处理。在一些实施例中,手机可以接收来自耳机盒的第一音频数据,在需要对第一音频数据进行业务处理时,才对后续接收到的第一音频数据进行业务处理。以目标应用为K歌应用为例,手机在用户选择一首待唱歌曲后,确定需要对第一音频数据进行业务处理。该第一音频数据为用户K歌时的声音信号对应的音频数据,手机可以通过K歌应用对第一音频数据进行录音,将第一音频数据与伴奏合成后生成音频文件,播放音频文件或上传音频文件等处理。
在另一些实施例中,手机在需要对第一音频数据进行业务处理时才通知耳机盒进行拾音,这样手机在需要对第一音频数据进行业务处理时才会接收到来自耳机盒的第一音频数据,手机在接收到第一音频数据后即可通过目标应用对第一音频数据进行业务处理。
在其他一些实施例中,耳机盒还可以设置有音频编解码器(codec),例如高清蓝牙编解码器。由于蓝牙的传输带宽是有限的,而音频编解码器的编码操作可以减少音频数据的数据量,因而耳机盒的麦克风对声音信号的采样率可以较大,这样声音信号对应的音频数据编码后的数据量仍然较少,仍可以在蓝牙的传输带宽内快速传输。而声音信号的采样率越大,声音信号对应的音频数据编解码后可保留的声音信息的带宽也就越大。例如,当麦克风的采样率为48kHz时,编解码后获得的声音信息的带宽范围可以为0~24kHz左右;当麦克风的采样率为32kHz时,编解码后获得的声音信息的带宽范围可以为0~16kHz左右。因而,采用音频编解码器可以获得较高带宽的声音信息,并且可以实时、快速地通过蓝牙传输音频数据。
在上述步骤704中,耳机盒的麦克风可以采用48kHz或32kHz等大于或者等于16kHz的采样率,采集用户的声音信号,并根据用户的声音信号生成第一音频数据。在上述步骤705中,耳机盒可以采用音频编解码器对第一音频数据进行编码后,再通过蓝牙模块发送给TWS耳机。这样,编码后的第一音频数据的数据量较少,可以通过蓝牙高速传输。并且,编码后的第一音频数据可以保留高带宽(例如0-24kHz或0-16kHz等带宽)的声音信息,从而可以保留真实、清晰的用户声音信息,因而该音频编解码器也可以称为高清蓝牙编解码器。
TWS耳机的耳塞也可以设置有音频编解码器。TWS耳机接收到编码后的第一音频数据后,在上述步骤706中,TWS耳机对编码后的第一音频数据进行解码获得第一音频数据,并对第一音频数据进行音效处理获得第二音频数据。
在上述步骤707中,手机向TWS耳机发送音频编解码器编码后的第三音频数据。
在上述步骤708中,TWS耳机通过音频编解码器对编码后的第三音频数据进行解码,从而获得第三音频数据;并将第二音频数据和第三音频数据进行混音处理,从而获得第四音频数据。
在上述步骤710中,TWS耳机可以将编码后的第一音频数据发送给手机。手机中可以设置有音频编解码器,在上述步骤711中,手机可以对编码后的第一音频数据进行解码后,获得第一音频数据,从而通过目标应用对第一音频数据进行业务处理。
在该方案中,耳机盒、TWS耳机和手机中均设置有音频编解码器(或者耳机盒中可以仅设置音频编码器),该音频编解码器可以将通过高采样率获得的音频数据压缩至较低的数据量,从而通过蓝牙快速传输,使得耳机盒的拾音数据可以实时、快速地到达TWS耳机和手机,使得手机发送的音频数据也可以实时、快速地到达TWS耳机,从而可以实现高带宽的蓝牙音频拾音和音频传输,实现用户声音的实时返听。
并且,该编解码器是系统级的蓝牙编解码器,可以应用于各类音频数据,可以应用于各种系统应用和第三方应用,是通用的蓝牙音频数据的编解码方式。
可以理解的是,在用户使用需要返听的目标应用时,手机需要先打开目标应用,且TWS耳机、耳机盒及手机之间需要预先建立蓝牙连接。该过程可以有多种实现方式。例如,该过程可以为上述步骤701-703描述的流程。
在其他一些实施例中,参见图10,上述步骤701-703描述的流程可以替换为:
1001、手机与TWS耳机建立蓝牙连接。
例如,手机显示扫描到的蓝牙设备列表,手机检测到用户从该列表中选择TWS耳机的操作后,与TWS耳机建立蓝牙连接。再例如,手机与TWS耳机之前建立过蓝牙连接,TWS耳机自动回连到手机。
1002、TWS耳机与耳机盒之间建立蓝牙连接。
在一些实施例中,TWS耳机和耳机盒在出厂时配套使用,TWS耳机预先存储有耳机盒的蓝牙地址,耳机盒也预先存储有TWS耳机的蓝牙地址。TWS耳机检测到用户的预设操作2后,建立与耳机盒之间的蓝牙连接。或者,耳机盒检测到用户的预设操作3后,建立与TWS耳机之间的蓝牙连接。
可选地,在步骤1002之后,该流程还可以包括步骤1003:
1003、TWS耳机将手机的蓝牙地址发送给耳机盒。
1004、TWS耳机将耳机盒的蓝牙地址发送给手机。
1005、基于TWS耳机发送的耳机盒的蓝牙地址和手机的蓝牙地址,手机与耳机盒建立蓝牙连接。
手机可以根据TWS耳机发送的耳机盒的蓝牙地址向耳机盒发送蓝牙连接请求,耳机盒确定请求蓝牙连接的设备的蓝牙地址与TWS耳机发送的耳机盒的蓝牙地址相匹配,从而与手机建立蓝牙连接。
基于步骤1003-1005,手机与耳机盒之间也建立了蓝牙连接,可以传输音频数据。
进一步地,该流程还可以包括:
1006、手机检测到用户启动目标应用的操作后,打开目标应用并显示目标应用的应用界面。
在其他一些实施例中,参见图11A,上述步骤701-703描述的流程可以替换为:
1101、手机检测到用户启动目标应用的操作后,打开目标应用并显示目标应用的应用界面,该目标应用为预设应用。
其中,预设应用为系统或用户预先设置的应用,预设应用可以对来自耳机盒的拾音数据进行相关处理。示例性的,用户设置预设应用的界面可以参见图11B。
1102、TWS耳机、耳机盒及手机之间建立蓝牙连接。
与在目标模式下TWS耳机、耳机盒及手机之间建立蓝牙连接的过程类似,在手机检测到用户启动目标应用的操作后,TWS耳机、耳机盒及手机之间建立蓝牙连接的过程可以参见步骤702中的相关描述,此处不予赘述。
在另一些实施例中,参见图12A,上述步骤701-703描述的流程可以替换为:
1201、手机检测到用户启动目标应用的操作后,打开目标应用并显示目标应用的应用界面。
1202、手机提示用户是否进入目标模式。
手机在打开目标应用后,可以提示用户是否进入目标模式。在目标模式下,手机、TWS耳机及耳机盒之间可以建立蓝牙连接,且耳机盒可以拾音。
示例性的,手机提示用户是否进入目标模式的界面示意图可以参见图12B。如图12B所示,该目标模式为专业返听模式,该目标模式也可以有其他的名称例如专业K歌模式等。
1203、若手机检测到用户指示进入目标模式的操作,则手机与TWS耳机及耳机盒之间建立蓝牙连接。
示例性的,在图12B所示情况下,用户指示进入目标模式的操作可以为点击控件1200的操作。
在步骤1203中,手机与TWS耳机及耳机盒之间建立蓝牙连接的过程,具体可以参见上述步骤702中的相关描述。
基于图11A或图12A所示的方案,对于后续的步骤704来说,在一些实施例中,在手机打开目标应用,且耳机盒与TWS耳机建立蓝牙连接后,手机可以根据目标应用指示耳机盒开始拾音。在另一些实施例中,耳机盒在与TWS耳机建立蓝牙连接后,就可以开始拾音。在另一些实施例中,耳机盒检测到用户的预设操作4后开始拾音。在其他一些实施例中,TWS耳机检测到用户的预设操作5后,指示耳机盒开始拾音。
需要说明的是,在本申请的实施例中,TWS耳机、耳机盒及手机之间建立蓝牙连接的步骤,与手机打开目标应用的步骤之间并没有明确的先后关系,不予限定。手机打开目标应用后,TWS耳机、耳机盒及手机之间可以再建立蓝牙连接。或者,TWS耳机、耳机盒及手机之间建立蓝牙连接后,手机可以再打开目标应用。
以上主要针对图6A所示的,TWS耳机与耳机盒之间,以及TWS耳机与手机之间采用双发连接的方案进行了说明。以下对图6B所示的,TWS耳机与耳机盒之间,以及TWS耳机与手机之间采用转发连接的方案进行说明。
参见图13,上述步骤705可以替换为:
705A、耳机盒将第一音频数据发送给TWS耳机中的主耳塞。
其中,TWS耳机的一对耳塞可以包括主耳塞和副耳塞,主、副耳塞的角色可以根据预设策略确定。例如,主耳塞为首先从耳机盒中拿出的耳塞。再例如,主耳塞为用户首先佩戴在耳部的耳塞。再例如,主耳塞为电量较大的耳塞。
并且,主、副耳塞的角色还可以在用户的使用过程中发生切换。例如,主耳塞为电量较大的耳塞,在两只耳塞的电量发生变化后,主、副耳塞的角色可以切换。
耳机盒在生成第一音频数据后,可以通过蓝牙模块将第一音频数据发送给TWS耳机中的主耳塞,耳机盒未向副耳塞发送第一音频数据。
上述步骤706可以替换为:
706A、主耳塞对第一音频数据进行音效处理,获得第二音频数据。
主耳塞可以通过内部的音效处理模块,对第一音频数据进行音效处理,从而获得第二音频数据。
上述步骤707可以替换为:
707A、手机根据目标应用向主耳塞发送第三音频数据。
手机可以将第三音频数据发送给主耳塞,且未向副耳塞发送第三音频数据。
上述步骤708可以替换为:
708A、主耳塞将第二音频数据与第三音频数据进行混音处理,获得第四音频数据。
在步骤709之前,该方法还可以包括:
700、主耳塞将第四音频数据发送给副耳塞。
在该方案中,耳机盒向主耳塞发送第一音频数据,主耳塞进行音效处理后获得第二音频数据。手机向主耳塞发送第三音频数据,并将第二音频数据和第三音频数据进行混音处理后获得第四音频数据。主耳塞将处理获得的第四音频数据发送给副耳塞。以便,在步骤709中,主耳塞和副耳塞都可以播放第四音频数据。
在一些实施例中,第四音频数据为单声道音频数据,主耳塞和副耳塞均播放单声道音频数据。
在另一些实施例中,第四音频数据为立体声的音频数据,主耳塞和副耳塞分别播放左、右声道音频数据。
在另一些实施例中,主耳塞可以将第四音频数据中的左/右声道音频数据发送给副耳塞,主耳塞和副耳塞分别播放左、右声道音频数据。
上述步骤710可以替换为:
710A、主耳塞将第一音频数据发送给手机。
以上主要是针对图5A所示的情况1对应的蓝牙连接架构进行说明的。在图5B所示的情况2对应的蓝牙连接架构中,耳机盒与手机之间也建立了蓝牙连接,耳机盒不需要通过TWS耳机将第一音频数据转发给手机,而可以通过蓝牙连接直接将第一音频数据发送给手机。
例如,对于双发连接方案来说,参见图14A,上述步骤710可以替换为:
710B、耳机盒将第一音频数据发送给手机。
对于转发连接方案来说,参见图14B,上述步骤710A可以替换为:
710B、耳机盒将第一音频数据发送给手机。
需要说明的是,在本申请的实施例中,用户可以同时使用一对TWS耳机的两只耳塞,也仅使用TWS耳机中的其中一只耳塞。以上是以耳机盒与TWS耳机的一对耳塞配合使用为例进行说明的,参见图15,音频处理系统也可以仅包括一只耳塞,耳机盒与TWS耳机的一只耳塞配合使用。
例如,用户1使用耳塞1,耳机盒1和手机1。耳机盒1拾音获得第一音频数据。耳塞1对第一音频数据进行音频处理获得第二音频数据,耳塞1播放给用户的音频数据包括第二音频数据与手机1发送的第三音频数据混合后的第四音频数据。
再例如,用户2使用耳塞2,耳机盒2和手机2。耳机盒2拾音获得第一音频数据。耳塞2对第一音频数据进行音频处理获得第二音频数据,耳塞2播放给用户的音频数据包括第二音频数据与手机2发送的第三音频数据混合后的第四音频数据。
其中,用户1和用户2可以使用同一手机或不同手机,用户1和用户2可以使用同一手机上的同一目标应用或不同目标应用。示例性的,用户1和用户2可以分别使用不同的手机K歌。再示例性的,用户1和用户2使用同一手机上的同一K歌应用唱同一首歌,用户1和用户2通过返听可以分别听到自己的声音,但通过返听无法听到其他用户的声音。
在其他一些实施例中,参见图16,音频处理系统也可以包括多个耳机盒和多只耳塞,每个用户可以方便地手持一个耳机盒进行拾音,每个用户可以使用一对耳塞或一只耳塞,同一用户使用的耳塞与耳机盒之间建立有蓝牙连接,不同用户使用的耳塞与与其他用户使用的耳机盒之间也建立有蓝牙连接。该系统中的每个耳机盒均可以执行以上实施例中耳机盒的操作,并将获得的第一音频数据发送给每个用户的耳塞。耳塞可以将每个耳机盒分别获得的第一音频数据进行音效处理后得到的第二音频数据,将第二音频数据与手机发送的第三音频数据混合后得到第四音频数据,并播放第四音频数据给用户。
例如,用户1使用耳塞1,耳机盒1和手机1;同时,用户2使用耳塞2,耳机盒2和手机1。用户1和用户2使用同一手机上的同一目标应用。耳机盒1和耳机盒2分别获得各自的第一音频数据,并将第一音频数据发送给耳塞1和耳塞2。耳塞1对来自耳机盒1和耳机盒2的第一音频数据进行音效处理后获得第二音频数据,将第二音频数据与手机1发送的第三音频数据混合后得到第四音频数据。耳塞1将第四音频数据播放给用户1。耳塞2对来自耳机盒1和耳机盒2的第一音频数据进行音效处理后获得第二音频数据,将第二音频数据与手机1发送的第三音频数据混合后得到第四音频数据。耳塞2将第四音频数据播放给用户2。
示例性的,在K歌场景下,用户1和用户2使用同一手机上的同一K歌应用合唱同一首歌,用户1通过返听可以听到自己的声音和用户2的声音,用户2通过返听也可以听到自己的声音和用户1的声音。
以下将以音频处理系统包括具有图2所示结构的TWS耳机和具有图3所示结构的耳机盒,且音频数据传输采用的无线通信技术为蓝牙为例,对本申请实施例提供的音频处理方法进行阐述。
在一些实施例中,参见图17,该音频处理方法可以包括:
1701、TWS耳机和耳机盒之间建立蓝牙连接。
在一些实施例中,TWS耳机检测到用户的预设操作2后,建立与耳机盒之间的蓝牙连接;或者,耳机盒检测到用户的预设操作3后,建立与TWS耳机之间的蓝牙连接。
在另一些实施例中,在TWS耳机从耳机盒中拿出后,TWS耳机与耳机盒可以自动建立蓝牙连接。例如,该TWS耳机预先存储有耳机盒的蓝牙地址,耳机盒也预先存储有TWS耳机的蓝牙地址。在TWS耳机从耳机盒中拿出后,TWS耳机和耳机盒之间可以根据存储的对方设备的蓝牙地址建立蓝牙连接。
在其他一些实施例中,TWS耳机和耳机盒之间可以通过其他设备建立蓝牙连接。例如,TWS耳机可以与手机建立蓝牙连接,耳机盒可以与手机建立蓝牙连接。手机可以将TWS耳机的蓝牙地址发送给耳机盒,并将耳机盒的蓝牙地址发送给TWS耳机。从而,TWS耳机和耳机盒之间可以根据从手机获取的对方设备的蓝牙地址,与对方设备建立蓝牙连接。
其中,TWS耳机包括两只耳塞,TWS耳机与耳机盒之间的蓝牙连接方案可以包括双发连接方案或转发连接方案。
1702、耳机盒采集用户的声音信号,并生成第一音频数据。
耳机盒可以通过自身的麦克风采集附近的声音信号。用户可以手持耳机盒,并将耳机盒放置在嘴部附近。这样,耳机盒可以采集到用户的声音信号,比如用户演讲的声音、主持人说话的声音或用户唱歌的声音等。耳机盒可以根据采集到的用户的声音信号生成第一音频数据。
1703、耳机盒将第一音频数据发送给TWS耳机。
耳机盒将第一音频数据发送给TWS耳机。其中,在双发连接方案中,耳机盒可以将第一音频数据发送给TWS耳机的两只耳塞。在转发连接方案中,耳机盒可以将第一音频数据发送给TWS耳机中的主耳塞。
1704、TWS耳机对第一音频数据进行音效处理,生成第二音频数据。
其中,在双发连接方案中,TWS耳机的两只耳塞在接收到第一音频数据后,分别对第一音频数据进行音效处理,从而生成第二音频数据。
在转发连接方案中,主耳塞接收到第一音频数据后,对第一音频数据进行音效处理从而生成第二音频数据,并将第二音频数据发送给副耳塞。
1705、TWS耳机播放第二音频数据。
TWS耳机的两只耳塞在获得第二音频数据后,将第二音频数据播放给用户。由于第二音频数据是对第一音频数据进行音效处理获得的数据,而第一音频数据是根据用户的声音信号获得的,因而TWS耳机将第二音频数据播放给用户后,用户听到的是自己的声音,从而可以实现用户声音的返听。也就是说,采用该方案,用户可以通过返听实时听到自己的声音。
在该方案中,耳机盒可以采集用户的声音信号,并生成音频数据发送给TWS耳机,TWS耳机进行音频处理后再播放给用户,使得用户可以实时返听到自己的声音。这样,用于拾取用户声音信号的麦克风为耳机盒的麦克风,用于返听用户声音信号的听筒为TWS耳机的听筒。即,用于拾取用户声音信号的麦克风与返听用户声音信号的听筒可以分离。用户可以手持耳机盒并将耳机盒靠近用户的嘴部,耳机盒可以拾取到用户的声音细节,拾取的用户声音的信噪比较高,耳机盒的拾音质量和拾音效果较好;并且,TWS耳机的听筒离用户的耳朵也很近,音频播放效果也较好,因而返听效果较好。
在一些实施例中,耳机盒和TWS耳机上可以分别设置有音频编解码器,例如可以是高清蓝牙编解码器。耳机盒与TWS耳机之间交互的音频数据,可以是音频编解码器编码后的数据。采用音频编解码器可以获得高带宽的声音信息,并且可以实时、快速地通过蓝牙传输音频数据。
在其他一些实施例中,上述步骤1704可以省略,即TWS耳机可以不对第一音频数据进行音效处理从而生成第二音频数据。在上述步骤1705中,TWS耳机可以直接播放第一音频数据。
以上是以音频处理系统包括TWS耳机中的两只耳塞为例进行说明的。在其他一些实施例中,音频处理系统可以包括TWS耳机中的一只耳塞,例如耳塞1。在上述步骤1701中,耳塞1与耳机盒建立蓝牙连接。在步骤1703中,耳机盒将第一音频数据发送给耳塞1。在步骤1704中,耳塞1对第一音频数据进行音效处理,生成第二音频数据。在步骤1705中,耳塞1播放第二音频数据。
需要说明的是,在以上实施例描述的音频处理方法中,音频处理系统中包括TWS耳机。在其他一些实施例中,音频处理系统中的TWS耳机也可以替换为其他无线耳机,例如替换为包括两只耳塞且两只耳塞之间具有连接线的无线耳机,比如颈带式无线耳机等。当TWS耳机替换为其他耳机时,仍可以采用上述实施例描述的音频处理方法进行返听,这里不再赘述。
以上是以传输音频数据的无线通信技术为蓝牙为例进行说明的,用于传输音频数据的无线通信技术也可以是红外等其他无线技术,本申请实施例不予限定。
以上是以电子设备为手机为例进行说明的。当电子设备为其他设备,比如电视、车载设备、计算机、音箱或智能手表等时,也可以采用本申请实施例提供的方法进行音频处理,此处不予赘述。
可以理解的是,为了实现上述功能,电子设备包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
本申请实施例还提供一种音频处理装置,包括一个或多个处理器以及一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得音频处理装置执行上述相关方法步骤实现上述实施例中的音频处理方法。该音频处理装置可以是上述方法实施例中的TWS耳机、耳机盒或电子设备。
本申请的实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在音频处理装置上运行时,使得音频处理装置执行上述相关方法步骤实现上述实施例中的音频处理方法。该音频处理装置可以是上述方法实施例中的TWS耳机、耳机盒或电子设备。
本申请的实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中音频处理装置执行的音频处理方法。该音频处理装置可以是上述方法实施例中的TWS耳机、耳机盒或电子设备。
另外,本申请的实施例还提供一种音频处理装置,这个音频处理装置具体可以是芯片,组件,模块或芯片系统,该音频处理装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当音频处理装置运行时,处理器可执行存储器存储的计算机执行指令,以使音频处理装置执行上述各方法实施例中的音频处理方法。该音频处理装置可以应用于上述方法实施例中的TWS耳机、耳机盒或电子设备上。
其中,本实施例提供的音频处理装置、计算机可读存储介质、计算机程序产品或芯片等均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
本申请另一实施例提供了一种音频处理系统,参见图1,该音频处理系统可以包括上述TWS耳机和耳机盒。该音频处理系统中的各设备可以用于实现上述实施例中的音频处理方法。
本申请另一实施例提供了一种音频处理系统,参见图1,该音频处理系统可以包括上述TWS耳机,耳机盒,以及电子设备。该音频处理系统中的各设备可以用于实现上述实施例中的音频处理方法。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (23)
1.一种音频处理方法,应用于音频处理系统,其特征在于,所述音频处理系统包括电子设备、无线耳机和耳机盒,所述方法包括:
所述无线耳机与所述电子设备之间建立无线连接,且所述无线耳机与所述耳机盒之间建立无线连接;
所述耳机盒采集声音信号,并生成第一音频数据;
所述耳机盒向所述无线耳机发送所述第一音频数据;
所述无线耳机对所述第一音频数据进行音效处理,获得第二音频数据;
所述电子设备向所述无线耳机发送第三音频数据;
所述无线耳机将所述第二音频数据与所述第三音频数据进行混音处理,获得第四音频数据;
所述无线耳机播放所述第四音频数据。
2.根据权利要求1所述的方法,其特征在于,所述无线耳机包括第一耳塞和第二耳塞,所述耳机盒向所述无线耳机发送所述第一音频数据,包括:
所述耳机盒向所述第一耳塞和所述第二耳塞发送所述第一音频数据;
所述第二音频数据包括第五音频数据和第六音频数据,所述无线耳机对所述第一音频数据进行音效处理,获得第二音频数据,包括:
所述第一耳塞对所述第一音频数据进行音效处理,获得所述第五音频数据;
所述第二耳塞对所述第一音频数据进行音效处理,获得所述第六音频数据;
所述电子设备向所述无线耳机发送第三音频数据,包括:
所述电子设备向所述第一耳塞和所述第二耳塞发送所述第三音频数据;
所述第四音频数据包括第七音频数据和第八音频数据,所述无线耳机将所述第二音频数据与所述第三音频数据进行混音处理,获得第四音频数据,包括:
所述第一耳塞将所述第五音频数据与所述第三音频数据进行混音处理,获得所述第七音频数据;
所述第二耳塞将所述第六音频数据与所述第三音频数据进行混音处理,获得所述第八音频数据。
3.根据权利要求1所述的方法,其特征在于,所述无线耳机包括第一耳塞和第二耳塞,所述耳机盒向所述无线耳机发送所述第一音频数据,包括:
所述耳机盒向所述第一耳塞发送所述第一音频数据;
所述无线耳机对所述第一音频数据进行音效处理,获得第二音频数据,包括:
所述第一耳塞对所述第一音频数据进行音效处理,获得所述第二音频数据;
所述电子设备向所述无线耳机发送第三音频数据,包括:
所述电子设备向所述第一耳塞发送所述第三音频数据;
所述无线耳机将所述第二音频数据与所述第三音频数据进行混音处理,获得第四音频数据,包括:
所述第一耳塞将所述第二音频数据与所述第三音频数据进行混音处理,获得所述第四音频数据;
所述方法还包括:
所述第一耳塞向所述第二耳塞发送所述第四音频数据。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
所述电子设备检测到用户的第一预设操作后,显示目标应用的应用界面,所述第一预设操作用于启动所述目标应用。
5.根据权利要求4所述的方法,其特征在于,在所述耳机盒向所述无线耳机发送所述第一音频数据之后,所述方法还包括:
所述无线耳机向所述电子设备发送所述第一音频数据;
所述电子设备通过所述目标应用,对所述第一音频数据进行业务处理。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
所述耳机盒与所述电子设备之间建立无线连接;
在所述耳机盒生成所述第一音频数据之后,所述方法还包括:
所述耳机盒向所述电子设备发送所述第一音频数据;
所述电子设备通过所述目标应用,对所述第一音频数据进行业务处理。
7.根据权利要求4所述的方法,其特征在于,在所述电子设备显示所述目标应用的应用界面之后,所述方法还包括:
所述电子设备提示所述用户是否进入目标模式;
所述电子设备检测到所述用户指示进入所述目标模式的操作后,进入所述目标模式。
8.根据权利要求4所述的方法,其特征在于,所述目标应用为预设应用。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述电子设备检测到用户的第二预设操作后,显示设置界面,所述设置界面包括目标模式控件;
所述电子设备检测到所述用户针对所述目标模式控件的操作后,进入所述目标模式。
10.根据权利要求1所述的方法,其特征在于,所述无线耳机存储有所述耳机盒的第一通信地址,所述耳机盒存储有所述无线耳机的第二通信地址,所述无线耳机与所述耳机盒之间建立无线连接,包括:
在所述无线耳机或所述耳机盒检测到用户的第三预设操作后,所述无线耳机和所述耳机盒根据所述第一通信地址和所述第二通信地址建立无线连接;或者
在所述无线耳机或所述耳机盒接收到来自所述电子设备的连接信息后,所述无线耳机和所述耳机盒根据所述第一通信地址和所述第二通信地址建立无线连接。
11.根据权利要求1所述的方法,其特征在于,所述无线耳机与所述电子设备之间建立无线连接,且所述无线耳机与所述耳机盒之间建立无线连接,包括:
所述电子设备与所述无线耳机之间建立无线连接;
所述电子设备与所述耳机盒之间建立无线连接;
所述电子设备将所述无线耳机的第一通信地址发送给所述耳机盒;
所述电子设备将所述耳机盒的第二通信地址发送给所述无线耳机;
所述耳机盒和所述无线耳机根据所述第一通信地址和所述第二通信地址建立无线连接。
12.根据权利要求1所述的方法,其特征在于,所述无线连接为蓝牙连接,所述耳机盒使用蓝牙音频编解码器对音频数据进行编码。
13.一种音频处理系统,其特征在于,包括:电子设备、无线耳机和耳机盒;
所述电子设备、所述无线耳机和所述耳机盒用于,建立所述无线耳机与所述电子设备之间的无线连接,以及所述无线耳机与所述耳机盒之间的无线连接;
所述耳机盒还用于,采集声音信号,并生成第一音频数据;
所述耳机盒还用于,向所述无线耳机发送所述第一音频数据;
所述无线耳机还用于,对所述第一音频数据进行音效处理,获得第二音频数据;
所述电子设备还用于,向所述无线耳机发送第三音频数据;
所述无线耳机还用于,将所述第二音频数据与所述第三音频数据进行混音处理,获得第四音频数据;
所述无线耳机还用于,播放所述第四音频数据。
14.根据权利要求13所述的音频处理系统,其特征在于,所述音频处理系统中的所述电子设备、所述无线耳机和所述耳机盒用于执行如权利要求1-12中任一项所述的音频处理方法。
15.一种耳机盒,其特征在于,包括:无线通信模块、麦克风和音频模块;
所述无线通信模块用于,与无线耳机建立无线连接;
所述麦克风用于,采集声音信号;
所述音频模块用于,根据所述声音信号生成第一音频数据;
所述无线通信模块还用于,向所述无线耳机发送所述第一音频数据。
16.根据权利要求15所述的耳机盒,其特征在于,所述无线通信模块还用于,向所述无线耳机发送所述第一音频数据,包括:
向所述无线耳机的第一耳塞和第二耳塞发送所述第一音频数据;或者
向所述无线耳机的第一耳塞发送所述第一音频数据。
17.根据权利要求15或16所述的耳机盒,其特征在于,所述无线通信模块还用于:
与电子设备建立无线连接;
将所述音频模块生成的所述第一音频数据发送给所述电子设备。
18.根据权利要求15所述的耳机盒,其特征在于,所述无线通信模块用于,与无线耳机建立无线连接,具体包括:
接收来自电子设备的所述无线耳机的通信地址;
根据所述通信地址与所述无线耳机建立无线连接。
19.根据权利要求15所述的耳机盒,其特征在于,所述耳机盒还包括存储模块,所述存储模块用于存储所述无线耳机的通信地址;所述无线通信模块用于,与无线耳机建立无线连接,具体包括:
在所述耳机盒检测到用户的预设操作或者接收到来自电子设备的连接信息后,根据所述通信地址与所述无线耳机建立无线连接。
20.根据权利要求15所述的耳机盒,其特征在于,所述无线连接为蓝牙连接,所述音频模块还包括蓝牙音频编解码模块,所述蓝牙音频编解码模块用于对音频数据进行编码或解码。
21.一种音频处理装置,其特征在于,包括:
一个或多个处理器;
存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述音频处理装置执行时,使得所述音频处理装置执行如权利要求1-12中任一项所述的耳机盒执行的音频处理方法。
22.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在计算机上运行时,使得所述计算机执行如权利要求1-12中任一项所述的耳机盒执行的音频处理方法。
23.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-12中任一项所述的耳机盒执行的音频处理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010187760.3A CN113411726A (zh) | 2020-03-17 | 2020-03-17 | 一种音频处理方法、装置及系统 |
PCT/CN2021/078884 WO2021185077A1 (zh) | 2020-03-17 | 2021-03-03 | 一种音频处理方法、装置及系统 |
US17/912,295 US20230147435A1 (en) | 2020-03-17 | 2021-03-03 | Audio Processing Method, Apparatus, and System |
EP21772414.5A EP4109922A4 (en) | 2020-03-17 | 2021-03-03 | METHOD, APPARATUS AND AUDIO PROCESSING SYSTEM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010187760.3A CN113411726A (zh) | 2020-03-17 | 2020-03-17 | 一种音频处理方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113411726A true CN113411726A (zh) | 2021-09-17 |
Family
ID=77677292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010187760.3A Pending CN113411726A (zh) | 2020-03-17 | 2020-03-17 | 一种音频处理方法、装置及系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230147435A1 (zh) |
EP (1) | EP4109922A4 (zh) |
CN (1) | CN113411726A (zh) |
WO (1) | WO2021185077A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114257916A (zh) * | 2022-01-13 | 2022-03-29 | 深圳市同力创科技有限公司 | 可提高收音里程的便携耳机 |
CN115038021A (zh) * | 2022-07-05 | 2022-09-09 | 珠海市怒喵科技有限公司 | 真实无线立体声耳机、音频处理、发光以及震动方法 |
WO2024077691A1 (zh) * | 2022-10-14 | 2024-04-18 | 通力科技股份有限公司 | 电子设备收纳盒及耳戴设备系统 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230345163A1 (en) * | 2022-04-21 | 2023-10-26 | Sony Interactive Entertainment Inc. | Audio charging case |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130316649A1 (en) * | 2012-05-26 | 2013-11-28 | Adam E. Newham | Smart pairing using bluetooth® technology |
CN108174457A (zh) * | 2018-01-12 | 2018-06-15 | 恒玄科技(上海)有限公司 | 充电盒、蓝牙耳机的通信系统和通信方法 |
US20200045159A1 (en) * | 2018-07-31 | 2020-02-06 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for Call Processing and Electronic Device |
CN110856066A (zh) * | 2019-08-12 | 2020-02-28 | 深圳市探寻信息技术有限公司 | 无线k歌耳机、无线k歌耳机套件 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150058910A1 (en) * | 2013-08-23 | 2015-02-26 | Kevin Seveur | Btv box and method for wireless communication of telvision audio |
CN109121033A (zh) * | 2018-07-23 | 2019-01-01 | 歌尔股份有限公司 | 蓝牙耳机充电盒和充电盒组件 |
-
2020
- 2020-03-17 CN CN202010187760.3A patent/CN113411726A/zh active Pending
-
2021
- 2021-03-03 WO PCT/CN2021/078884 patent/WO2021185077A1/zh unknown
- 2021-03-03 US US17/912,295 patent/US20230147435A1/en active Pending
- 2021-03-03 EP EP21772414.5A patent/EP4109922A4/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130316649A1 (en) * | 2012-05-26 | 2013-11-28 | Adam E. Newham | Smart pairing using bluetooth® technology |
CN108174457A (zh) * | 2018-01-12 | 2018-06-15 | 恒玄科技(上海)有限公司 | 充电盒、蓝牙耳机的通信系统和通信方法 |
US20200045159A1 (en) * | 2018-07-31 | 2020-02-06 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for Call Processing and Electronic Device |
CN110856066A (zh) * | 2019-08-12 | 2020-02-28 | 深圳市探寻信息技术有限公司 | 无线k歌耳机、无线k歌耳机套件 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114257916A (zh) * | 2022-01-13 | 2022-03-29 | 深圳市同力创科技有限公司 | 可提高收音里程的便携耳机 |
CN115038021A (zh) * | 2022-07-05 | 2022-09-09 | 珠海市怒喵科技有限公司 | 真实无线立体声耳机、音频处理、发光以及震动方法 |
CN115038021B (zh) * | 2022-07-05 | 2023-04-25 | 珠海市怒喵科技有限公司 | 真实无线立体声耳机、音频处理、发光以及震动方法 |
WO2024077691A1 (zh) * | 2022-10-14 | 2024-04-18 | 通力科技股份有限公司 | 电子设备收纳盒及耳戴设备系统 |
Also Published As
Publication number | Publication date |
---|---|
US20230147435A1 (en) | 2023-05-11 |
WO2021185077A1 (zh) | 2021-09-23 |
EP4109922A4 (en) | 2023-08-16 |
EP4109922A1 (en) | 2022-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108564949B (zh) | 一种腕带式ai语音交互装置及系统 | |
WO2019218369A1 (zh) | 一种便携式智能语音交互控制设备、方法及系统 | |
CN113411726A (zh) | 一种音频处理方法、装置及系统 | |
US9344793B2 (en) | Audio apparatus and methods | |
US8498425B2 (en) | Wearable headset with self-contained vocal feedback and vocal command | |
CN108886647B (zh) | 耳机降噪方法及装置、主耳机、从耳机及耳机降噪系统 | |
CN110602594A (zh) | 具体环境声音提醒模式的耳机装置 | |
US20140050326A1 (en) | Multi-Channel Recording | |
US11158318B2 (en) | AI voice interaction method, device and system | |
WO2021180083A1 (zh) | 蓝牙通信系统和无线通信系统 | |
US20150326973A1 (en) | Portable Binaural Recording & Playback Accessory for a Multimedia Device | |
EP4061027B1 (en) | Bluetooth communication method and apparatus | |
CN109348334B (zh) | 一种无线耳机及其环境监听方法和装置 | |
CN110650403A (zh) | 具有本地通话环境模式的耳机装置 | |
CN214429678U (zh) | 一种音频设备 | |
CN113301544B (zh) | 一种音频设备间语音互通的方法及设备 | |
US20060052129A1 (en) | Method and device for playing MPEG Layer-3 files stored in a mobile phone | |
CN109120297B (zh) | 一种耳机远场交互方法、耳机远场交互配件及无线耳机 | |
WO2020042491A9 (zh) | 一种耳机远场交互方法、耳机远场交互配件及无线耳机 | |
US10448162B2 (en) | Smart headphone device personalization system with directional conversation function and method for using same | |
CN210403185U (zh) | 一种k歌设备 | |
CN113196800A (zh) | 无线头戴式耳机的混合麦克风 | |
CN112804608B (zh) | 带助听功能tws耳机的使用方法、系统、主机及存储介质 | |
CN217388984U (zh) | 一种无线耳机 | |
CN218416600U (zh) | 电子设备收纳盒及耳戴设备系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210917 |
|
RJ01 | Rejection of invention patent application after publication |