CN117793874A - 一种音频增强的方法及相应装置 - Google Patents

一种音频增强的方法及相应装置 Download PDF

Info

Publication number
CN117793874A
CN117793874A CN202211161413.9A CN202211161413A CN117793874A CN 117793874 A CN117793874 A CN 117793874A CN 202211161413 A CN202211161413 A CN 202211161413A CN 117793874 A CN117793874 A CN 117793874A
Authority
CN
China
Prior art keywords
audio data
point
time
signal processing
uplink
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211161413.9A
Other languages
English (en)
Inventor
陈锡贤
王艺利
陶嘉玮
王胜明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Priority to CN202211161413.9A priority Critical patent/CN117793874A/zh
Priority to TW111146330A priority patent/TWI826159B/zh
Priority to US18/076,334 priority patent/US20240107250A1/en
Publication of CN117793874A publication Critical patent/CN117793874A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Headphones And Earphones (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供音频增强的方法、耳机、耳机系统及用户设备。其中所述方法包括：利用该用户设备确定第一预定同步延迟并将该第一预定同步延迟通知给该第一耳机；利用该用户设备确定第二预定同步延迟并将该第二预定同步延迟通知给该第二耳机；利用该用户设备从该第一耳机接收第一上行链路音频数据以及从该第二耳机接收第二上行链路音频数据，其中该第一上行链路音频数据的时序和该第二上行链路音频数据的时序由该第一数字信号处理电路和该第二数字信号处理电路根据用于该第一耳机和该第二耳机的第一参考点分别控制。

Description

一种音频增强的方法及相应装置
技术领域
本发明涉及音频控制，更具体地，涉及一种借助时序控制(timing control)进行音频增强的方法及相关装置，例如音频数字信号处理(Digital Signal Processing，DSP)电路、耳机和用户设备(UserEquipment，UE)。
背景技术
根据相关技术，一些无线耳机可以实现为具有非常小的尺寸，并且可以被称为无线耳塞。无线耳机制造商可能会尝试为带有内置麦克风的小型无线耳机(例如无线耳塞)实现更多功能。但是，可能会出现一些问题。例如，小型无线耳机中的硬件资源可能非常有限。此外，更多的计算对应于更多的功能可能会导致更多的功耗。因此，可能需要经常为小型无线耳机充电。可以提出一种或复数种常规方法来尝试解决这些问题，但可能会导致额外的问题，例如一些副作用。因此，需要一种不引入副作用或不太可能引入副作用的新颖的方法和相关架构来增强电子系统的音频控制。
发明内容
本发明提供音频增强的方法、耳机、耳机系统及用户设备。
在一个实施例中，本发明提供一种音频增强的方法，该方法用于无线连接至第一耳机和第二耳机的用户设备，且该方法包括：利用该用户设备确定第一预定同步延迟并将该第一预定同步延迟通知给该第一耳机，以使该第一耳机中的第一数字信号处理电路根据第一事件的第一时间点和该第一预定同步延迟为该第一耳机确定同步点；利用该用户设备确定第二预定同步延迟并将该第二预定同步延迟通知给该第二耳机，以使该第二耳机中的第二数字信号处理电路根据第二事件的第二时间点和该第二预定同步延迟为该第二耳机确定该同步点；利用该用户设备从该第一耳机接收第一上行链路音频数据以及从该第二耳机接收第二上行链路音频数据，其中该第一上行链路音频数据的时序和该第二上行链路音频数据的时序由该第一数字信号处理电路和该第二数字信号处理电路根据用于该第一耳机和该第二耳机的第一参考点分别控制，其中该第一参考点至少根据该同步点确定。
在另一个实施例中，本发明提供一种耳机，该耳机无线连接至用户设备，其特征在于，该耳机包括：无线通信接口电路，被配置为使该耳机与该用户设备执行无线通信；音频输入设备，被配置为输入音频波以生成输入音频数据；音频输出设备，被配置为根据输出音频数据输出音频波；和第一数字信号处理电路，耦接于该无线通信接口电路、该音频输入设备以及该音频输出电路，被配置为对该耳机的该输入音频数据和该输出音频数据中的任何一个执行信号处理；其中该第一数字信号处理电路根据第一事件的第一时间点和第一预定同步延迟为该耳机确定同步点，其中该第一预定同步延迟由该用户设备确定；其中该第一数字信号处理根据该同步点和第二预定同步延迟为该第一耳机确定第一参考点，其中该第二预定同步延迟大于该第一预定同步延迟；和其中该第一数字信号处理电路根据用于该耳机的该第一参考点控制从该耳机到该用户设备的第一上行链路音频数据的时序。
在另一个实施例中，本发明提供一种耳机系统，包括第一耳机和第二耳机，其中该第一耳机和该第一耳机和第二耳机无线连接至用户设备，其中该第一耳机包括：第一无线通信接口电路，被配置为使该第一耳机与该用户设备执行无线通信；第一音频输入设备，被配置为输入音频波以生成输入音频数据；第一音频输出设备，被配置为根据输出音频数据输出音频波；和第一数字信号处理电路，耦接于该第一无线通信接口电路、该第一音频输入设备以及第一该音频输出电路，被配置为对该第一耳机的该输入音频数据和该输出音频数据中的任何一个执行信号处理；其中该第二耳机包括：第二无线通信接口电路，被配置为使该第二耳机与该用户设备执行无线通信；第二音频输入设备，被配置为输入音频波以生成输入音频数据；第二音频输出设备，被配置为根据输出音频数据输出音频波；和第二数字信号处理电路，耦接于该第二无线通信接口电路、该第二音频输入设备以及该第二音频输出电路，被配置为对该第二耳机的该输入音频数据和该输出音频数据中的任何一个执行信号处理；其中该第一数字信号处理电路根据第一事件的第一时间点和第一预定同步延迟为该第一耳机确定同步点，其中该第一预定同步延迟由该用户设备确定；其中该第二数字信号处理电路根据第二事件的第二时间点和第二预定同步延迟为该第二耳机确定该同步点，其中该第二预定同步延迟由该用户设备确定；其中该第一数字信号处理电路根据该同步点和第三预定同步延迟为该第一耳机确定第一参考点；其中该第二数字信号处理电路根据该同步点和该第三预定同步延迟为该第二耳机确定该第一参考点，其中该第三预定同步延迟大于该第一预定同步延迟和该第二预定同步延迟；和其中该第一数字信号处理电路和该第二数字信号处理电路根据用于该第一耳机和该第二耳机的该第一参考点分别控制从该第一耳机到该用户设备的第一上行链路音频数据的时序和从该第二耳机到该用户设备的第二上行链路音频数据的时序。
在另一个实施例中，本发明提供用户设备，与第一耳机和第二耳机无线连接，其特征在于，包括：无线通信接口电路，被配置为使该用户设备与该第一耳机和该第二耳机进行无线通信；音频数字信号处理电路，耦接于该无线通信接口电路，被配置为为用户设备执行信号处理；其中该音频数字信号处理电路被配置为：确定第一预定同步延迟并将该第一预定同步延迟通知给该第一耳机，以使该第一耳机中的第一数字信号处理电路根据第一事件的第一时间点和该第一预定同步延迟为该第一耳机确定同步点；确定第二预定同步延迟并将该第二预定同步延迟通知给该第二耳机，以使该第二耳机中的第二数字信号处理电路根据第二事件的第二时间点和该第二预定同步延迟为该第二耳机确定该同步点；从该第一耳机接收第一上行链路音频数据以及从该第二耳机接收第二上行链路音频数据，其中该第一上行链路音频数据的时序和该第二上行链路音频数据的时序由该第一数字信号处理电路和该第二数字信号处理电路根据用于该第一耳机和该第二耳机的第一参考点分别控制，其中该第一参考点至少根据该同步点确定。
综上所述，本发明所提供的实施例可实现音频增强。
附图说明
图1是依据本发明的一个实施例的电子系统的图标。
图2根据本发明实施例图示了借助时序控制执行音频增强的方法的音频处理控制方案。
图3根据本发明实施例图示了借助时序控制执行音频增强的方法的基于帧的错误(frame-based error)的预防控制方案。
图4根据本发明的一个实施例图示了图3所示的基于帧的错误预防控制方案的一些实施细节。
图5示出了在耳机音频调度控制被暂时禁用的情况下可能发生的基于帧的错误的示例。
图6根据本发明实施例示出了借助时序控制进行音频增强的方法的基于样本的错误(sample-based error)的预防控制方案。
图7根据本发明实施例示出了借助时序控制执行音频增强的方法的UE调度知晓(UE-schedule-aware)耳机时序控制方案。
图8根据本发明实施例示出了借助时序控制进行音频增强的方法的噪声消除控制方案。
图9根据本发明实施例图示了借助时序控制进行音频增强的方法的工作流程。
图10根据本发明另一实施例示出了借助时序控制进行音频增强的方法的工作流程。
具体实施方式
在说明书及权利要求书当中使用了某些词汇来指称特定的组件。本领域技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及权利要求当中所提及的“包含”及“包括”为一开放式的用语，故应解释成“包含但不限定于”。“大体上”是指在可接受的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电性连接于该第二装置，或通过其它装置或连接手段间接地电性连接至该第二装置。以下所述为实施本发明的较佳方式，目的在于说明本发明的精神而非用以限定本发明的保护范围，本发明的保护范围当视权利要求书所界定者为准。
下面的描述为本发明预期的最优实施例。这些描述用于阐述本发明的大致原则而不应用于限制本发明。本发明的保护范围应在参考本发明的权利要求书的基础上进行认定。
图1是依据本发明的一个实施例的电子系统的图标，其中该电子系统可包括UE100、诸如耳机160的第一耳机、诸如耳机180的第二耳机，耳机160和耳机180可以通过无线方式连接至UE 100。为便于理解，UE 100可以实现为多功能移动电话，耳机160和180可以实现为具有内置麦克风的小型无线耳机(例如，无线耳塞)，但本发明不限于此。电子系统配置为在不降低部分处理的性能的前提下，将耳机160和180的部分处理卸载(offload)至UE100。
在图1所示的架构中，UE 100可包括诸如应用处理器(Application Processor，AP)101的至少一个处理器(例如，一个或多个处理器)，耦接于AP 101的调制解调器102、以及耦接于调制解调器102的一个或多个天线。AP 101可以包括诸如AP MCU 110的微控制单元(Micro Control Unit，MCU)、音频DSP电路120和诸如蓝牙(Bluetooth，BT)接口(interface，IF)电路130的无线通信接口电路。音频DSP电路120可以包括独立型(independent)处理电路121和依赖型(dependent)处理电路122(分别标记为“独立型处理电路”和“依赖型处理电路”)。其中诸如AP MCU 110的MCU、音频DSP电路120和诸如BT IF电路130的无线通信接口电路可以通过AP 101内的内部连接相互耦合。
此外，诸如耳机160的第一耳机可包括诸如音频DSP电路162的第一DSP电路、音频输入设备168、音频输出设备169和诸如BT IF电路170的无线通信接口电路。如图1右上侧所示，音频输入设备168、音频输出设备169和诸如BT IF电路170的无线通信接口电路可耦接于诸如音频DSP电路162的第一DSP电路。作为举例，诸如音频DSP电路162的第一DSP电路可包括多个子电路，例如低复杂度通信编译码器(Low Complexity Communications Codec，LC3)处理电路164和第一部分(part-one)处理电路166(为简洁起见分别标记为“LC3”和“部分1”)。音频输入设备168可包括至少一个麦克风(例如，一个或多个麦克风)，并且音频输出设备169可以包括至少一个扬声器(例如，一个或多个扬声器)。
此外，诸如耳机180的第二耳机可包括诸如音频DSP电路182的第二DSP电路、音频输入设备188、音频输出设备189和诸如BT IF电路190的无线通信接口电路。如图1右下侧所示，音频输入设备188、音频输出设备189和诸如BT IF电路190的无线通信接口电路可耦接于诸如音频DSP电路182的第二DSP电路。作为举例，诸如音频DSP电路182的第二DSP电路可包括多个子电路，例如LC3处理电路184和第一部分处理电路186(为简洁起见分别标记为“LC3”和“部分1”)，音频输入设备188可包括至少一个麦克风(例如，一个或多个麦克风)，并且音频输出设备189可以包括至少一个扬声器(例如，一个或多个扬声器)。
AP 101可用于控制UE 100的操作，且调制解调器102可使UE 100与至少一个网络(例如，一个或多个网络)执行无线通信，以允许UE 100通过上述至少一个网络与另一UE通信。例如，UE 100的用户和其他UE的用户可以分别被视为近端用户和远程用户，两个用户可以使用UE 100和其他UE进行通话。此外，APMCU 110运行多个程序模块(例如，一个或多个音频驱动器(audio driver)111和一个或多个语音驱动器(speech driver)112)，这些模块可用于控制AP 101以便控制UE 100的操作，音频DSP电路120可用于执行诸如音频数据处理等的信号处理，诸如BT IF电路130的无线通信接口电路可用于与耳机160(例如，其中的BT IF电路170)和耳机180(例如，其中的BT IF电路190)进行无线通信，以允许UE 100的用户在耳机160和180的帮助下以免提方式(hand-free manner)与远程用户保持对话。
在诸如耳机160的第一耳机中，诸如BT IF电路170的无线通信接口电路可使耳机160与UE 100(例如，其中的BT IF电路130)执行无线通信。音频输入设备168可用于输入音频波以生成耳机160的输入音频数据。作为举例，耳机160的输入音频数据可表示对应于耳机160的上行链路音频数据的初始版本(例如，原始音频数据(raw audio data))，UE 100可以通过上述至少一个网络向其他UE发送对应于耳机160的上行链路音频数据。此外，音频输出设备169可用于根据耳机160的输出音频数据输出音频波。例如，UE 100可通过前面所述的至少一个网络从其他UE接收对应于耳机160的下行链路音频数据，且耳机160的输出音频数据可表示对应于耳机160的下行链路音频数据的预处理版本，其中UE 100可以对对应于耳机160的下行链路音频数据进行预处理以生成其预处理结果以发送给耳机160作为下行链路音频数据的预处理版本，但本发明不限于此。再如，耳机160的输出音频数据可表示对应于耳机160的下行链路音频数据的转发版本(forwarded version)。此外，诸如音频DSP电路162的第一DSP电路可用于对耳机160的输入音频数据和输出音频数据中的任何一个执行信号处理，例如音频数据处理等。
更进一步，音频DSP电路120和音频DSP电路162(例如，其中的LC3处理电路164)均可以执行LC3处理，例如关于LC3帧(LC3 frame)的译码(coding)和编码(encoding)，以允许UE 100中的BTIF电路130和耳机160中的BT IF电路170通过LC3帧相互通信。关于近端用户侧的电子系统的第一上行链路音频数据路径(例如，开始于耳机160，通过UE 100并到达上述至少一个网络的数据路径)，音频DSP电路162可以利用第一部分处理电路166对来自音频输入设备168的输入音频数据(例如，原始音频数据)执行诸如第一音频数据处理的第一部分处理以产生第一处理结果作为对应于耳机160的上行链路音频数据的中间版本(intermediate version)，并利用BT IF电路170通过一个或多个LC3帧发送对应于耳机160的上行链路音频数据的中间版本到UE 100。UE 100可使用音频DSP电路120的依赖型处理电路122中的第二部分处理电路126(为简洁起见标记为“部分2”)对对应于耳机160的上行链路音频数据的中间版本执行第二部分处理(例如，第二音频数据处理)以产生第二处理结果作为对应于耳机160的上行链路音频数据(例如，其处理后的版本)，并利用调制解调器102通过上述至少一个网络将对应于耳机160的上行链路音频数据传送给另一UE。关于近端用户侧的电子系统的第一下行链路音频路径(例如，从上述至少一个网络开始，经过UE 100到达耳机160的数据路径)，UE 100可以利用音频DSP电路120对对应于耳机160的下行链路音频数据进行LC3处理等信号处理，并利用BT IT电路130将对应于耳机160的下行链路音频数据通过一个或多个LC3帧传输给耳机160。耳机160可使用音频DSP电路162对对应于耳机160的下行链路音频数据执行诸如音量调节、音频质量调节等的信号处理，以产生耳机160的输出音频数据，以供音频输出设备169播放(played back)。
在诸如耳机180的第二耳机中，诸如BT IF电路190的无线通信接口电路可使耳机180与UE 100(例如，其中的BT IF电路130)执行无线通信。音频输入设备188可用于输入音频波以生成耳机180的输入音频数据。例如，耳机180的输入音频数据可表示对应于耳机180的上行链路音频数据的初始版本(例如原始音频数据)，UE 100可以通过上述至少一个网络向其他UE发送对应于耳机180的上行链路音频数据。此外，音频输出设备189可用于根据耳机180的输出音频数据输出音频波。例如，UE 100可通过前面所述的至少一个网络从其他UE接收对应于耳机180的下行链路音频数据，且耳机180的输出音频数据可表示对应于耳机180的下行链路音频数据的预处理版本，其中UE 100可以对对应于耳机180的下行链路音频数据进行预处理以生成其预处理结果以发送给耳机180作为下行链路音频数据的预处理版本，但本发明不限于此。再如，耳机180的输出音频数据可表示对应于耳机180的下行链路音频数据的转发版本(forwarded version)。此外，诸如音频DSP电路182的第二DSP电路可用于对耳机180的输入音频数据和输出音频数据中的任何一个执行信号处理，例如音频数据处理等。
更进一步，音频DSP电路120和音频DSP电路182(例如，其中的LC3处理电路184)均可以执行LC3处理，例如关于LC3帧(LC3 frame)的译码(coding)和编码(encoding)，以允许UE 100中的BT IF电路130和耳机180中的BT IF电路190通过LC3帧相互通信。关于近端用户侧的电子系统的第二上行链路音频数据路径(例如，开始于耳机180，通过UE 100并到达上述至少一个网络的数据路径)，音频DSP电路182可以利用第一部分处理电路186对来自音频输入设备188的输入的音频数据(例如，原始音频数据)执行诸如第一音频数据处理的第一部分处理以产生第一处理结果作为对应于耳机180的上行链路音频数据的中间版本(intermediate version)，并利用BT IF电路190通过一个或多个LC3帧发送对应于耳机180的上行链路音频数据的中间版本到UE 100。UE 100可使用音频DSP电路120的依赖型处理电路122中的第二部分处理电路126(为简洁起见标记为“部分2”)对对应于耳机180的上行链路音频数据的中间版本执行第二部分处理(例如，第二音频数据处理)以产生第二处理结果作为对应于耳机180的上行链路音频数据(例如，其处理后的版本)，并利用调制解调器102通过上述至少一个网络将对应于耳机180的上行链路音频数据传送给另一方UE。关于近端用户侧的电子系统的第二下行链路音频路径(例如，从上述至少一个网络开始，经过UE 100到达耳机180的数据路径)，UE 100可以利用音频DSP电路120对对应于耳机180的下行链路音频数据进行诸如LC3处理的信号处理，并利用BT IT电路130将对应于耳机180的下行链路音频数据通过一个或多个LC3帧传输给耳机180。耳机180可使用音频DSP电路182对对应于耳机180的下行链路音频数据执行诸如音量调节、音频质量调节等的信号处理，以产生耳机180的输出音频数据，以供音频输出设备189播放(played back)。
基于图1所示的架构，电子系统配置为在不降低部分处理的性能的前提下，将耳机160和180的部分处理卸载至UE 100，更进一步的，利用音频DSP电路120的依赖型处理电路122中的第二部分处理电路126在不降低第二音频数据处理的性能的情形下为耳机160和180进行诸如第二音频数据处理的第二部分处理，其中第二部分处理可以作为前述部分处理的示例，但本发明不限于此。根据本发明的一些实施例，UE 100可启用(enable)独立型处理电路121和禁用(disable)依赖型处理电路122，并利用独立型处理电路121为多套无线耳机中的任意一套无线耳机执行第一部分处理(例如，第一音频数据处理)和第二部分处理(例如，第二音频数据处理)。例如，多套无线耳机中的第一套无线耳机可以被实现为具有分别与耳机160和180的子电路相同或相似的子电路，并且UE 100可以被布置为禁用第一套无线耳机的第一部分处理电路166和186。在另一个示例中，多套无线耳机中的第二套无线耳机可以被实现为具有分别与耳机160和180的子电路相似的子电路，但没有必要在第二套无线耳机中实施第一部分处理电路166和186。
根据一些实施例，通信系统可包括本发明的电子系统以及前述的至少一个网络，且通信系统还可进一步包括其他UE，这些其他UE可以与UE 100以相同或相似的方式实现。在通信系统中，UE 100的上行链路音频数据可以作为其他UE的下行链路音频数据，其他UE的上行链路音频数据可以作为UE 100的下行链路音频数据。此外，UE 100的第一和第二上行链路音频数据路径可以分别指向其他UE的第一和第二下行链路音频数据路径，并且其他UE的第一和第二上行链路音频数据路径可以分别指向UE 100的第一和第二下行链路音频数据路径。为简洁起见，对这些实施例与其他实施例的类似描述在此不再赘述。
根据一些实施例，BT IF电路130、170及190可遵循BT规范，更具体地，BT IF电路130、170及190可以根据蓝牙低功耗(Bluetooth Low Energy，BLE)技术来实现，以使UE100、耳机160和180兼容BLE。例如，耳机160和180可以实现为BLE耳机。为简洁起见，对这些实施例与其他实施例的类似描述在此不再赘述。
图2根据本发明实施例图示了借助时序控制执行音频增强的方法的音频处理控制方案。该方法可用于图1所示的电子系统，更进一步的，该方法可用于UE 100和无线连接到UE 100的第一耳机和第二耳机(例如，耳机160和180)。根据本发明的音频处理控制方案，第一部分处理电路166和186可以被实现为分别用于执行AEC处理的声学回声消除(AcousticEcho Cancellation，AEC)处理电路266和286(为简洁而标记为“AEC”)，并且第二部分处理电路126可以实现为降噪(Noise Reduction，NR)处理电路226(为简洁起见标记为“NR”)，以用于执行NR处理。响应于架构的变化，相关的数字符号(numeral)可以相应地改变。例如，UE100、AP 101、音频DSP电路120、162和182、依赖型处理电路122以及耳机160和180可以分别替换为UE 200、AP 201、音频DSP电路220、262和282、依赖型处理电路222和耳机260和280。为简洁起见，本实施例与其他实施例的类似的描述在此不再赘述。
在图2的架构中，第一部分处理(例如，第一音频数据处理)可以通过AEC处理来实现，而第二部分处理(例如，第二音频数据处理)可以通过NR处理来实现，但本发明不限于此。根据一些实施例，第一部分处理(例如，第一音频数据处理)和/或第二部分处理(例如，第二音频数据处理)可以改变。
图3根据本发明实施例图示了借助时序控制执行音频增强的方法的基于帧的错误(frame-based error)的预防控制方案。为便于理解，诸如多功能移动电话UE 300可以作为UE 100的示例，UE 300中嵌入的具有麦克风#1(为简洁而标记为“Mic#1”)的耳机360和具有麦克风#2(为简洁而标记为“Mic#2”)的耳机380可分别作为UE 100嵌入的具有音频输入设备168的耳机160和具有音频输入设备188的耳机180的示例。对于UE 300与耳机360和380之间的BT通信，UE 300可以被认为是主设备侧(例如，BT主设备)(master side)，而耳机360和380可以被认为是从设备侧(例如，BT从设备)(slave side)。
如图3所示，诸如UE 300的UE 100可对多个时隙进行适当的时序控制(timingcontrol)，并且诸如耳机360和380的耳机160和180可以分别在诸如UE 300的UE 100的帮助下执行它们自己的时序控制，其中横轴可以表示时间，多个时隙可以以预定时间长度为单位进行划分，例如10毫秒(ms)，但本发明不限于此。例如，预定时间长度可以变化，并且更具体地，可以等于一个或多个其他预定值中的任何一个。此外，诸如上行链路音频数据M1(1)、M1(2)等的上行链路音频数据序列{M1}可以作为对应于耳机160(例如，耳机360)的上行链路音频数据的示例。诸如上行链路音频数据M2(1)、M2(2)等的上行链路音频数据序列{M2}可以作为对应于耳机180(例如，耳机380)的上行链路音频数据的示例。为便于理解，具有相同索引i的上行链路音频数据序列组{M1(i)，M2(i)}可以表示同一时刻采样的上行链路音频数据，索引i可以是整数，但本发明不限于此。
在多个时隙中的第一时隙中，例如从第一参考点(例如，连接同步群(ConnectedIsochronous Group，CIG)参考点)开始的时隙，BT IF电路130(例如，UE 300的BT IF电路，为了简洁而标记为“蓝牙”)可以从耳机160(例如，耳机360)接收上行链路音频数据M1(1)并且从耳机180(例如，耳机380)接收上行链路音频数据M2(1)，以用于在下一个时隙(例如多个时隙中的第二个时隙)开始时传输到音频DSP电路120(例如，UE 300的音频DSP电路，为简洁起见，标记为“音频DSP”)，BT IF电路130(例如，UE 300的BT IF电路，为简洁起见标记为“蓝牙”)可以从耳机160(例如，耳机360)接收上行链路音频数据M1(2)并从耳机180(例如，耳机380)接收上行链路音频数据M2(2)，以用于在再下一个时隙(例如，多个时隙中的第三个时隙)开始时传输到音频DSP电路120(例如，UE 300的音频DSP电路，为简洁起见，标记为“音频DSP”)；其余的可以类推。
在诸如UE 300的UE 100的控制下，诸如耳机360和380的耳机160和180可以知道主设备侧的调度(scheduling)的至少一部分(例如，一部分或全部)，例如UE调度，更具体地说，诸如耳机360和380的耳机160和180可以将下行链路定时参考转换为上行链路定时参考，以在从设备侧正确地进行相关的定时控制。最终，对应于第一时刻(例如，第一采样时间段)的上行链路音频数据M1(1)和M2(1)可在从设备侧上及时被准备好(prepared intime)，例如分别在上行链路音频数据MI(1)和M2(1)的连接同步流(ConnectedIsochronous Stream，CIS)事件的开始时间点之前。且上行链路音频数据M1(1)和M2(1)可以在同一时隙从从设备侧发送到主设备侧，以允许音频DSP电路120(例如，UE 300的音频DSP电路，为了简洁，标记为“音频DSP”)对对应于同一时刻(例如，同一采样时间段)的上行链路音频数据M1(1)和M2(1)进行音频数据处理；对应于第二时刻(例如，第二采样时间段)的上行链路音频数据M1(2)和M2(2)可在从设备侧上及时被准备好，例如分别在上行链路音频数据M1(2)和M2(2)的CIS事件的开始时间点之前。且上行链路音频数据M1(2)和M2(2)可以在同一时隙从从设备侧传输到主设备侧，以允许音频DSP电路120(例如，UE 300的音频DSP电路，为了简洁，标记为“音频DSP”)对对应于同一时刻(例如，同一采样时间段)的上行链路音频数据M1(1)和M2(1)进行音频数据处理；其余的可以类推。因此，本发明的方法和相关装置可以防止任何基于帧的错误的发生，更具体地，可以保证Mic#1和Mic#2的各个上行链路音频数据M1(i)和M2(i)(例如，上行链路音频数据M1(1)和M2(1))的各个发送时间点之间没有差异。为简洁起见，本实施例与其他实施例的类似的描述在此不再赘述。
根据一些实施例，上行链路音频数据M1(i)和M2(i)(例如，上行链路音频数据M1(1)和M2(1))可以表示对应于同一时刻(例如，同一采样时间段)的一组立体声音频数据。为简洁起见，对这些实施例与其他实施例的类似描述在此不再赘述。
根据一些实施例，诸如耳机160(例如，耳机360)第一耳机和诸如耳机180(例如，耳机380)第二耳机可以分别称为耳机#1和#2，音频DSP电路120(例如UE 300中的音频DSP电路)、诸如音频DSP电路162(例如，耳机360中的音频DSP电路)的第一DSP电路和诸如音频DSP电路182(例如，耳机380中的音频DSP电路)的第二DSP电路可以分别称为DSP电路#0、#1和#2。
图4根据本发明的一个实施例图示了图3所示的基于帧的错误预防控制方案的一些实施细节。为便于理解，一个CIG事件可以包括多个CIS事件(例如，NEVENT CIS事件)，多个CIS事件的事件计数NEVENT可以是大于1的整数。更具体地，多个CIS事件可以包括用于最早CIS的CIS事件、至少一个中间CIS事件(例如，用于中间CIS的CIS事件)、以及用于最新CIS的CIS事件，其中多个CIS事件的相应同步延迟{CIS_Sync_Delay}，例如，同步延迟CIS_Sync_Delay(1)、CIS_Sync_Delay(2)和CIS_Sync_Delay(NEVENT)分别对应最早CIS、中间CIS和最新CIS(为简洁而分别标记为“最早CIS对应的CIS_Sync_Delay”、“中间CIS对应的CIS_Sync_Delay”和“最新CIS对应的CIS_Sync_Delay”)，以及CIG事件的CIG同步延迟CIG_Sync_Delay可以由诸如UE 300的UE 100根据主设备侧的调度(例如，UE调度)来确定。此外，具有相同索引i的上行链路音频数据序列组{M1(i)，M2(i)}(例如，上行链路音频数据M1(1)和M2(1))可以表示同一时刻采样的上行链路音频数据，最早CIS的CIS事件和中间CIS的CIS事件可以分别作为上行链路音频数据M1(i)和M2(i)的CIS事件的例子，但本发明不限于此。
例如，电子系统可以借助时序控制进行音频增强，更具体地说，可以执行以下操作：
(1)耳机#1中的DSP电路#1可以根据第一事件(例如，最早CIS的CIS事件)的第一时间点和第一预定同步延迟(例如，对应于最早CIS的同步延迟CIS_Sync_Delay(1))为耳机#1确定同步点(例如，CIG事件的CIG同步点)，其中第一预定同步延迟由诸如UE 300的UE 100确定；
(2)耳机#2中的DSP电路#2可以根据第二事件(例如，中间CIS的CIS事件)的第二时间点和第二预定同步延迟(例如，对应于中间CIS的同步延迟CIS_Sync_Delay(2))为耳机#2确定同步点(例如，CIG事件的CIG同步点)，其中第二预定同步延迟由诸如UE 300的UE 100确定；
(3)DSP电路#1可以根据同步点(例如，CIG事件的CIG同步点)和第三预定同步延迟(例如，CIG事件的CIG同步延迟CIG_Sync_Delay)为耳机#1确定第一参考点(例如，CIG参考点)，其中第三预定同步延迟大于第一预定同步延迟和第二预定同步延迟中的任何一个(例如，CIG_Sync_Delay＞CIS_Sync_Delay(1)和CIG_Sync_pelay＞CIS_Sync_Delay(2))，并且第三预定同步延迟也由诸如UE 300的UE 100确定；
(4)DSP电路#2可以根据同步点(例如，CIG事件的CIG同步点)和第三预定同步延迟(例如，CIG事件的同步延迟CIG_Sync_DelayCIG)为耳机#2确定第一参考点(例如，CIG参考点)；和
(5)DSP电路#1和DSP电路#2可以根据用于耳机#1和耳机#2的第一参考点(例如，CIG参考点)分别控制从耳机#1到诸如UE 300的UE 100的上行链路音频数据M1(i)(例如，上行链路音频数据M1(1))的时序以及从耳机#2到诸如UE 300的UE 100的上行链路音频数据M2(i)(例如，上行链路音频数据M2(1))的时序；
其中耳机#1和#2可以分别在诸如UE 300的UE 100的帮助下执行它们自己的时序控制。诸如UE 300的UE 100可以提前向耳机#1发送第一预定同步延迟(例如，对应于最早CIS的同步延迟CIS_Sync_Delay(1))，以及可以提前向耳机#2发送第二预定同步延迟(例如，对应于中间CIS的CIS_Sync_Delay(2))，以及可以提前向耳机#1和#2发送第三预定同步延迟(例如，CIG事件的CIG同步延迟CIG_Sync_Delay)，以使耳机#1和耳机#2能够知晓主设备侧的调度(例如UE调度)，从而使耳机#1和耳机#2能够正确地进行自己的时序控制。
如图4所示，同步点(例如，CIG事件的CIG同步点)晚于第一时间点(例如，最早CIS的CIS事件的开始时间点)和第二时间点(例如，中间CIS的CIS事件的开始时间点)中的每一个，其中同步点与第一时间点的时间差等于第一预定同步延迟(例如，最早CIS对应的同步延迟CIS_Sync_Delay(1))，并且同步点与第二时间点之间的时间差等于第二预定同步延迟(例如，中间CIS对应的同步延迟CIS_Sync_Delay(2))。根据基于帧的错误预防控制方案，同步点(例如，CIG事件的CIG同步点)可以作为下行链路播放参考时间点，还可以作为耳机#1(例如，DSP电路#1)和耳机#2(例如，DSP电路#2)的中间参考点，以分别在从设备侧上对上行链路音频数据M1(i)(例如，上行链路音频数据M1(1))和上行链路音频数据M2(i)(例如，上行链路音频数据M2(1))进行时序控制。耳机#1(例如，DSP电路#1)可以至少根据第一预定同步延迟(例如，对应于最早CIS的同步延迟CIS_Sync_Delay(1))确定同步点(例如，CIG事件的CIG同步点)，并利用该同步点作为触发播放对应于耳机#1的下行链路音频数据S1(i)(例如，下行链路音频数据S1(1))的时间点，并进一步将下行链路时序参考转换为上行链路时序参考，更具体地说，利用CIG参考点作为对上行链路音频数据M1(i)(例如上行链路音频数据M1(1))进行时序控制的第一参考点，以防止基于帧的错误。类似地，耳机#2(例如，DSP电路#2)可以至少根据第二预定同步延迟(例如，对应于中间CIS的同步延迟CIS_Sync_Delay(2))确定同步点(例如，CIG事件的CIG同步点)，并利用该同步点作为触发播放对应于耳机#2的下行链路音频数据S2(i)(例如，下行链路音频数据S2(1))的时间点，并进一步将下行链路时序参考转换为上行链路时序参考，更具体地说，利用CIG参考点作为对上行链路音频数据M2(i)(例如，上行链路音频数据M2(1))进行时序控制的第一参考点，以防止基于帧的错误。为简洁起见，本实施例与其他实施例的类似的描述在此不再赘述。
根据一些实施例，下行链路播放参考点可以表示BLE真无线立体声(TrueWireless Stereo，TWS)下行链路播放参考时间点。为简洁起见，对这些实施例与其他实施例的类似描述在此不再赘述。
图5示出了在耳机音频调度控制被暂时禁用的情况下可能发生的基于帧的错误的示例。在这种情况下，耳机#1(例如，DSP电路#1)可能不知道主设备侧的调度(例如UE调度)，因此可能无法及时准备上行链路音频数据M1(i)(例如，上行链路音频数据M1(1))。如图5所示，应在第i个时隙(例如，第一时隙)从从设备侧发送至主设备侧的上行链路音频数据M1(i)(例如，上行链路音频数据M1(1))可能由之前的上行链路音频数据，例如上行链路音频数据M1(i-1)(例如，上行链路音频数据M1(0))替代。结果，产生基于帧的错误，并且Mic#1和Mic#2的各个上行链路音频数据M1(i)和M2(i)(例如，上行链路音频数据M1(1)和M2(1))的各个发送时间点之间存在差异。
根据一些实施例，从设备侧的耳机#1和耳机#2可以分别监测上行链路音频数据序列{M1}的采样时间偏移{Offset1}(例如，上行链路音频数据M1(i)的采样时间偏移Offset1(i))和上行链路音频数据序列{M2}的采样时间偏移{Offset2}(例如，上行链路音频数据M2(i)的采样时间偏移Offset2(i))，并将采样时间偏移{Offset1}和{Offset2}提供给主设备侧，以允许诸如UE 300的UE 100分别根据采样时间偏移{Offset1}和{Offset2}对上行链路音频数据序列{M1}和上行链路音频数据序列{M2}进行采样时间校准，以防止出现任何基于帧的错误，其中采样时间校准可以包括音频样本插值。例如，耳机#1可以在第一事件(例如，最早CIS的CIS事件)的第一时间点之前，利用DSP电路#1来完成对上行链路音频数据M1(i)(例如上行链路音频数据M1(1))的处理，例如LC3处理和对上行链路音频数据M1(i)的第一部分处理，随后在第i个时隙内(例如，第一时隙)的第一辅助时隙(afirst secondarytimeslot)将上行链路音频数据M1(i)(例如，上行链路音频数据M1(1))以及上行链路音频数据M1(i)的采样时间偏移Offset1(i)发送给诸如UE 300的UE 100。再例如，耳机#2可以在第二事件(例如，中间CIS的CIS事件)的第二时间点之前，利用DSP电路#2来完成对上行链路音频数据M2(i)(例如，上行链路音频数据M2(1))的处理，例如LC3处理和对上行链路音频数据M2(i)的第一部分处理，随后在第i个时隙内(例如，第一时隙)的第二辅助时隙(a secondsecondary time slot)将上行链路音频数据M2(i)(例如，上行链路音频数据M2(1))以及上行链路音频数据M2(i)的采样时间偏移Offset2(i)发送给诸如UE 300的UE 100。
图6根据本发明实施例示出了借助时序控制进行音频增强的方法的基于样本的错误(sample-basederror)的预防控制方案。为便于理解，对应于多个音频帧{Frame1}(例如，音频帧Frame1(1)、Frame1(2)和Frame1(3))的复数组垂直线段在图6的上半部分的水平轴(例如，时间轴)上示出，以分别表示上行链路音频数据序列{M1}(例如，上行链路音频数据M1(1)、M1(2)和M1(3))的音频样本，以及对应于多个音频帧{Frame2}(例如，音频帧Frame2(1)、Frame2(2)和Frame2(3))的复数组垂直线段在图6的下半部分的水平轴(例如，时间轴)上示出，以分别表示上行链路音频数据序列{M2}(例如，上行链路音频数据M2(1)、M2(2)和M2(3))的音频样本。
在理想情况下，耳机#1和耳机#2中的任何一个中的时钟源都没有时钟频率漂移(drift)。例如，耳机#1可以周期性地生成音频帧{Frame1}(例如，音频帧Frame1(1)、Frame1(2)、Frame1(3)等)，而耳机#2可以周期性地生成音频帧音频帧{Frame2}(例如，音频帧Frame2(1)、Frame2(2)、Frame2(3)等)。另外，音频帧Frame1(1)、Frame1(2)、Frame1(3)等的采样时间范围可以彼此相等，音频帧Frame2(1)、Frame2(2)、Frame2(3)等的采样时间范围可以彼此相等，其中音频帧Frame1(1)、Frame1(2)、Frame1(3)等中的任意一个的采样时间范围可以等于音频帧Frame2(1)、Frame2(2)、Frame2(3)等中的任意一个的采样时间范围。
尽管时钟频率漂移可能发生在诸如图6所示的真实情况中，从设备侧的耳机#1和耳机#2可以分别监听(monitor)采样时间偏移Offset1(i)(诸如采样时间偏移Offset1(1)、Offset1(2)、Offset1(3)等)和采样时间偏移Offset2(i)(诸如采样时间偏移Offset2(1)、Offset2(2)、Offset2(3)等)，并将采样时间偏移Offset1(i)和Offset2(i)提供给主设备侧，以允许诸如UE300的UE 100分别根据采样时间偏移Offset1(i)和Offset2(i)对上行链路音频数据M1(i)和M2(i)进行采样时间校准(例如，音频样本插值)，以使上行链路音频数据M1(i)和M2(i)的音频样本相对于时间进行校准(例如，就好像这些音频样本是根据主设备侧的稳定和公共的时钟源进行的采样)，以防止发生任何基于样本的错误。
例如，耳机#1可以在第一事件(例如，最早CIS的CIS事件)的第一时间点之前，利用DSP电路#1来完成对上行链路音频数据M1(i)(例如，上行链路音频数据M1(3))的处理，随后在第i个时隙内(例如，第三时隙)的第一辅助时隙(afirst secondary time slot)将上行链路音频数据M1(i)(例如，上行链路音频数据M1(3))以及上行链路音频数据M1(i)的采样时间偏移Offset1(i)(例如，上行链路音频数据MI(3)的采样时间偏移Offset1(3)，为便于理解标记为“耳机#1中的Mic#1的偏移1(Offset1)”)发送给诸如UE 300的UE 100。再例如，耳机#2可以在第二事件(例如，中间CIS的CIS事件)的第二时间点之前，利用DSP电路#2来完成对上行链路音频数据M2(i)(例如上行链路音频数据M2(3))的处理，随后在第i个时隙内(例如，第三时隙)的第二辅助时隙(a second secondary time slot)将上行链路音频数据M2(i)(例如，上行链路音频数据M2(3))以及上行链路音频数据M2(i)的采样时间偏移Offset2(i)(例如，上行链路音频数据M2(3)的采样时间偏移Offset2(3)，为便于理解标记为“耳机#2中的Mic#2的偏移2(Offset2)”)发送给诸如UE 300的UE 100。
如图6所示，采样时间偏移Offset1(i)(例如，采样时间偏移Offset1(3)，标记为“耳机#1中的Mic#1的偏移1(Offset1)”)可以表示第一参考点(例如，CIG参考点))和上行链路音频数据M1(i)(例如，上行链路音频数据M1(3))内的多个音频样本的开始采样时间之间的时间差，例如，CIG参考点与音频帧Frame1(i)(例如，音频帧Frame1(3))的采样时间范围的开始时间点的时间差。以及采样时间偏移Offset2(i)(例如，采样时间偏移Offset2(3)，标记为“耳机#2中的Mic#2的偏移2(Offset2)”)可以表示第一参考点(例如，CIG参考点)和上行链路音频数据M2(i)(例如，上行链路音频数据M2(3))内的多个音频样本的开始采样时间之间的时间差，例如CIG参考点与音频帧Frame2(i)(例如，音频帧Frame2(3))的采样时间范围的开始时间点的时间差。
根据基于样本的错误的预防控制方案，诸如UE 300的UE 100可以利用DSP电路#0(例如，UE 100中的音频DSP电路120)根据采样时间偏移Offsetl(i)(例如，采样时间偏移Offsetl(3)，标记为“耳机#1中的Mic#1的偏移1(Offset1)”)和采样时间偏移Offset2(i)(例如，采样时间偏移Offset2(3)，标记为“耳机#2中的Mic#2的偏移2(Offset2)”)，对上行链路音频数据M1(i)(例如，上行链路音频数据MI(3))和上行链路音频数据M2(i)(例如，上行链路音频数据M2(3))中的任意一个执行诸如音频样本插值的采样时间校准，以防止基于样本的错误。为简洁起见，本实施例与其他实施例的类似的描述在此不再赘述。
根据一些实施例，响应于未成功接收到上行链路音频数据M1(i)(例如，上行链路音频数据M1(3))和上行链路音频数据M2(i)(例如，上行链路音频数据M2(3))中的任何上行链路音频数据时，诸如UE 300的UE 100可以利用DSP电路#0(例如，UE 100中的音频DSP电路120)根据采样时间偏移Offset1(i)(例如，采样时间偏移Offset1(3))和采样时间偏移Offset2(i)(例如，采样时间偏移Offset2(3))，来将上行链路音频数据M1(i)(例如，上行链路音频数据M1(3))和上行链路音频数据M2(i)(例如，上行链路音频数据M2(3))中已接收到的上行链路音频数据(例如，其他上行链路音频将数据)转换成仿真的上行链路音频数据来作为该未成功接收的任何上行链路音频数据的替代。为简洁起见，对于这些实施例与其他实施例的类似描述在此不再赘述。
根据一些实施例，第一事件(例如，最早CIS的CIS事件)的第一时间点和第二事件(例如，中间CIS的CIS事件)的第二时间点可以分别表示对应于主设备侧的同一个音频数据帧的第i个时隙(例如，第i个等时(isochronous，ISO)间隔)内的第一辅助时隙和第二辅助时隙的开始时间点，诸如UE 300的UE 100可以在第i个时隙内的第一辅助时隙中向耳机#1发送(TX)下行链路音频数据S1(i)并从耳机#1接收(RX)上行链路音频数据M1(i)，并且可以在第i个时隙内的第二辅助时隙中向耳机#2发送(TX)下行链路音频数据S2(i)并从耳机#2接收(RX)上行链路音频数据M2(i)，但是本发明不限于此。为简洁起见，对于这些实施例与其他实施例的类似描述在此不再赘述。
图7根据本发明实施例示出了借助时序控制执行音频增强的方法的UE调度知晓(UE-schedule-aware)耳机时序控制方案。为便于理解，对于第i个时隙，例如第i个ISO间隔，可以表示为图7所示的ISO间隔，其中图7所示为i＝1的情况。根据UE-schedule-aware耳机时序控制方案，上行链路音频数据M1(i)和M2(i)可以及时地从从设备侧传输到主设备侧，并且更具体地，上行链路音频数据M1(i)和M2(i)可以在多个时隙(例如，多个ISO间隔)中的第i个时隙(例如，第i个ISO间隔)内分别从耳机#1和#2发送到诸如UE300的UE 100。此外，电子系统可以利用DSP电路#1和利用DSP电路#2分别根据用于耳机#1和耳机#2的第一参考点(例如，CIG参考点)来控制从耳机#1到UE 100(例如，UE 300)的上行链路音频数据M1(i)(例如，上行链路音频数据M1(1))的时序和从耳机#2到UE 100(例如，UE 300)的上行链路音频数据M2(i)(例如，上行链路音频数据M2(1))的时序。
例如，电子系统可以利用DSP电路#1(例如，耳机360中的音频DSP电路162，为了简洁，标记为“音频DSP”)在第一时间点之前(更具体地，在耳机#1的锚点Anchor1(i)(例如，锚点Anchor1(1))的时间点之前)完成对上行链路音频数据M1(i)(例如，上行链路音频数据M1(1))的处理并完成将上行链路音频数据M1(i)从DSP电路#1发送到耳机#1中的BT IF电路(为简洁标记为“蓝牙”)，随后在第i个时隙内的第一辅助时隙中将上行链路音频数据M1(i)(例如，上行链路音频数据M1(1))发送给UE 100(例如UE 300)。从设备侧准备上行链路音频数据M1(i)(例如，上行链路音频M1(1))的操作可以包括：
(1)利用DSP电路#1内的模拟数字转换器(Analog-to-Digital Convertor，ADC)在第一处理时间段Δ1的第一子处理时间段Δ1(1)内执行模拟-数字转换(为简洁起见，标记为“A2D”)；
(2)利用DSP电路#1中的LC3处理电路和第一部分处理电路在第一处理时间段Δ1的第二子处理时间段Δ1(2)中分别进行LC3处理和第一部分处理(为简洁标记为“基于帧的处理”)；和
(3)利用DSP电路#1在第一处理时间段Δ1的第三子处理时间段Δ1(3)中将上行链路音频数据M1(i)(例如上行链路音频数据MI(1))发送到耳机#1中的BT IF电路(为简洁标记为“向蓝牙”)；
其中Δ1＝Δ1(1)+Δ1(2)+Δ1(3)。
又例如，电子系统可以利用DSP电路#2(例如，耳机380中的音频DSP电路182，为了简洁，标记为“音频DSP”)在第二时间点之前(更具体地，在耳机#2的锚点Anchor2(i)(例如，锚点Anchor2(1))的时间点之前)完成对上行链路音频数据M2(i)(例如，上行链路音频数据M2(1))的处理并完成将上行链路音频数据M2(i)从DSP电路#2发送到耳机#2中的BT IF电路(为简洁标记为“BT”)，随后在第i个时隙内的第二辅助时隙中将上行链路音频数据M2(i)(例如，上行链路音频数据M2(1))发送给UE 100(例如UE 300)。从设备侧准备上行链路音频数据M2(i)(例如，上行链路音频M2(1))的操作可以包括：
(1)利用DSP电路#2内的ADC在第二处理时间段Δ2的第一子处理时间段Δ2(1)内执行模拟-数字转换(为简洁起见，标记为“A2D”)；
(2)利用DSP电路#2中的LC3处理电路和第一部分处理电路在第二处理时间段Δ2的第二子处理时间段Δ2(2)中分别进行LC3处理和第一部分处理(为简洁标记为“基于帧的处理”)；和
(3)利用DSP电路#2在第二处理时间段Δ2的第三子处理时间段Δ2(3)中将上行链路音频数据M2(i)(例如上行链路音频数据M2(1))发送到耳机#2中的BT IF电路(为简洁标记为“向蓝牙”)；
其中Δ2＝Δ2(1)+Δ2(2)+Δ2(3)。
此外，耳机#1的硬件(HW)#1(例如，DSP电路#1内的ADC)和耳机#2的硬件(HW)#2(例如，DSP电路#2内的ADC)可以同时接收音频样本，且可以从HW#1和HW#2接收到相应上行链路音频数据M1(i)和M2(i)的音频样本的时间点开始测量第一处理时间段Δ1和第二处理时间段Δ2。第一处理时间段Δ1的结束时间点应早于耳机#1的锚点Anchor1(i)，第二处理时间段Δ2的结束时间点应早于耳机#2的锚点Anchor2(i)，其中第一处理时间段Δ1和第二处理时间段Δ2各自的结束时间点都不必早于诸如UE 300的UE 100的锚点Anchor0(i)。例如，对于i＝1的情况(例如，HW#1和HW#2接收到相应的上行链路音频数据M1(1)和M2(1)的音频样本的时间点可以是图7左上角第一条竖直虚线所示的时间点)，第一处理时间段Δ1的结束时间点应早于耳机#1的锚点Anchor1(1)，第二处理时间段Δ2的结束时间点应该早于耳机#2的锚点Anchor2(1)，其中第一处理时间段Δ1和第二处理时间段Δ2各自的结束时间点都不必早于UE 100(例如UE 300)的锚点Anchor0(1)；对于i＝2的情况(例如，HW#1和HW#2接收到相应的上行链路音频数据M1(2)和M2(2)的音频样本的时间点通常晚于HW#1和HW#2接收到相应的上行链路音频数据M1(1)和M2(1)的音频样本的时间点)，第一处理时间段Δ1的结束时间点应该早于耳机#1的锚点Anchor1(2)，并且第二处理时间段Δ2的结束时间点应该早于耳机#2的锚点Anchor2(2)，其中第一处理时间段Δ1和第二处理时间段Δ2各自的结束时间点都不必早于UE 100(例如UE 300)的锚点Anchor0(2)；其余的可以类推。为简洁起见，本实施例与其他实施例的类似的描述在此不再赘述。
根据一些实施例，诸如UE300的UE 100可以根据主设备侧分别对耳机#1和耳机#2的调度(例如，UE调度)确定耳机#1的锚点Anchor1(i)的时间点和耳机#2的锚点Anchor2(i)的时间点分别作为从设备侧准备上行链路音频数据M1(i)和M2(i)的截止时间(deadline)，以允许耳机#1和#2分别在诸如UE 300的UE 100的帮助下执行它们自己的时序控制，例如，在主设备侧确定的锚点Anchorl(i)的时间点和锚点Anchor2(i)的时间点之前，在从设备侧完成上行链路音频数据M1(i)和M2(i)的准备，但本发明不限于此。此外，锚点Anchor1(i)的时间点可以等于或早于从主设备侧的锚点Anchor0(i)开始的第i个时隙内的第一辅助时隙(例如，用于执行第一组TX和RX操作的辅助时隙，例如，如图7的下半部分所示的当i＝1时的S1(i)的TX操作和M1(i)的RX操作)的开始时间点，并且锚点Anchor2(i)的时间点可以等于或早于第i个时隙内的第二辅助时隙(例如，用于执行第二组TX和RX操作的辅助时隙，例如，如图7的下半部分所示的当i＝1时的S2(i)的TX操作和M2(i)的RX操作)的开始时间点。
第一组TX和RX操作，如主设备侧的S1(i)的TX操作和M1(i)的RX操作，可以认为是第i个时隙内的第一CIS事件，第二组TX和RX操作，如主设备侧的S2(i)的TX操作和M2(i)的RX操作，可以认为是第i个时隙内的第二CIS事件，其中第i个时隙内的CIG事件可以包括第一CIS事件和第二CIS事件。由于从设备侧的RX和TX操作分别对应于主设备侧的TX和RX操作，所以从设备侧的一组RX和TX操作，例如，S1(i)的RX操作和M1(i)的TX操作，可以认为是耳机#1的流#1(stream#1)的CIS事件，从设备侧的另一组RX和TX操作，例如，S2(i)的RX操作和M2(i)的TX操作，可以认为是耳机#2的流#2(stream#2)的CIS事件。为简洁起见，对于这些实施例与其他实施例的类似描述在此不再赘述。
图8根据本发明实施例示出了借助时序控制进行音频增强的方法的噪声消除控制方案。如图8左半部分所示，当用户在耳机#1和#2的帮助下与远程用户进行免提通话时，噪声源(例如有人大声说话，在用户附近站立或行走)可能会产生较大的噪音。如图8右半部分所示，诸如UE 300的UE 100可以执行声束形成(acoustic beam forming)，并且更具体地，根据Mic#1和Mic#的各个噪声接收之间的时间差来消除背景噪声。作为举例，Mic#1接收到的噪声可以以第一种方式沿横轴(例如，时间轴)与用户的语音重叠，Mic#2接收到的噪声可以以第二种方式沿横轴(例如，时间轴)与用户的语音重叠，其中时间差可以表示Mic#1接收的噪声的第一时间范围和Mic#2接收的噪声的第二时间范围之间的差，例如，由Mic#1接收到的噪声的噪声波和由Mic#2接收到的噪声的噪声波之间的时间偏移。DSP电路#0(例如，其中的第二部分处理电路)可以对上行链路音频数据M1(i)和M2(i)进行第二部分处理(例如，NR处理)，更具体地，DSP电路#0可至少根据该时间差识别上行链路音频数据M1(i)和M2(i)中的每一个中的噪声，并从上行链路音频数据M1(i)和M2(i)中的每一个中去除噪声。
由于上行链路音频数据M1(i)和M2(i)可以及时地从从设备侧(例如，耳机#1和#2)发送到主设备侧(例如，诸如UE 300的UE 100)，并且由于电子系统中不会出现基于帧的错误和基于样本的错误，本发明的方法和相关装置可以保证第二部分处理(例如，NR处理)在不受到任何错误(例如，任何基于帧的错误或任何基于样本的错误)的阻碍的情形下成功执行。为简洁起见，本实施例与其他实施例的类似的描述在此不再赘述。
如图8所示，耳机#1和耳机#2(例如，诸如耳机360和380的耳机160和180)可以分别代表用户左侧和右侧的耳机，例如分别佩戴于用户的左耳和右耳内的耳机，但本发明不限于此。
图9根据本发明实施例图示了借助时序控制进行音频增强的方法的工作流程。
在步骤S11，电子系统可利用耳机#1中的DSP电路#1根据第一事件(例如，最早CIS的CIS事件)的第一时间点和第一预定同步延迟(例如，对应于最早CIS的同步延迟CIS_Sync_Delay(1))为耳机#1确定同步点(例如，CIG事件的CIG同步点)，其中第一预定同步延迟由诸如UE 300的UE 100确定。
在步骤S12，电子系统可利用DSP电路#1根据同步点(例如CIG事件的CIG同步点)和第三预定同步延迟(例如，CIG事件的CIG同步延迟CIG_Sync_Delay)为耳机#1确定第一参考点(例如，CIG参考点)，其中第三预定同步延迟由诸如UE 300的UE 100确定。
在步骤S13，电子系统可利用DSP电路#1根据用于耳机#1的第一参考点(例如，CIG参考点)控制从耳机#1到诸如UE 300的UE 100的上行链路音频数据M1(i)(例如，上行链路音频数据M1(1))的时序。
在步骤S21，电子系统可利用耳机#2中的DSP电路#2根据第二事件(例如，中间CIS的CIS事件)的第二时间点和第二预定同步延迟(例如，对应于中间CIS的同步延迟CIS_Sync_Delay(2))为耳机#2确定同步点(例如，CIG事件的CIG同步点)，其中第二预定同步延迟由诸如UE 300的UE 100确定。
在步骤S22，电子系统可利用DSP电路#2根据同步点(例如CIG事件的CIG同步点)和第三预定同步延迟(例如，CIG事件的CIG同步延迟CIG_Sync_Delay)为耳机#2确定第一参考点(例如，CIG参考点)。
在步骤S23，电子系统可利用DSP电路#2根据用于耳机#2的第一参考点(例如，CIG参考点)控制从耳机#2到诸如UE 300的UE 100的上行链路音频数据M2(i)(例如，上行链路音频数据M2(1))的时序。
如图9所示，电子系统可以进行并行处理，更具体地说，对耳机#1进行UE调度知晓时序控制(例如，步骤S11-S13的操作)和对耳机#2进行UE调度知晓时序控制(例如，步骤S21-S23)的操作以并行方式进行。为简洁起见，本实施例与其他实施例的类似的描述在此不再赘述。
为便于理解，该方法可以用图9所示的工作流程来说明但本发明不限于此。根据一些实施例，可以在图9所示的工作流程中添加、删除或改变一个或多个步骤。
图10根据本发明另一实施例示出了借助时序控制进行音频增强的方法的工作流程。
在步骤S31，电子系统可利用诸如UE 300的UE 100确定第一预定同步延迟(对应于最早CIS的同步延迟CIS_Sync_Delay(1))并将第一预定同步延迟通知给耳机#1，其中耳机#1中的DSP电路#1可以根据第一事件(例如，最早CIS的CIS事件)的第一时间点和第一预定同步延迟(例如，对应于最早CIS的同步延迟CIS_Sync_Delay(1))为耳机#1确定同步点(例如，CIG事件的CIG同步点)。
在步骤S32，电子系统可利用诸如UE 300的UE 100确定第二预定同步延迟(例如，对应于中间CIS的同步延迟CIS_Sync_Delay(2))并将第二预定同步延迟通知给耳机#2，其中耳机#2中的DSP电路#2可以根据第二事件(例如，中间CIS的CIS事件)的第二时间点和第二预定同步延迟(例如，对应于中间CIS的同步延迟CIS_Sync_Delay(2))为耳机#2确定同步点(例如，CIG事件的CIG同步点)。
在步骤S33，电子系统可利用诸如UE 300的UE 100确定第三预定同步延迟(例如，CIG事件的CIG同步延迟CIG_Sync_Delay)并将第三预定同步延迟分别通知给第一耳机和第二耳机，用于分别确定第一参考点，其中DSP电路#1可以根据同步点(例如CIG事件的CIG同步点)和第三预定同步延迟(例如，CIG事件的CIG同步延迟CIG_Sync_Delay)为耳机#1确定第一参考点(例如，CIG参考点)，其中DSP电路#2可以根据同步点(例如CIG事件的CIG同步点)和第三预定同步延迟(例如，CIG事件的CIG同步延迟CIG_Sync_Delay)为耳机#2确定第一参考点(例如，CIG参考点)。
在步骤S34，电子系统可利用诸如UE 300的UE 100从耳机#1接收上行链路音频数据M1(i)(例如上行链路音频数据M1(1))并从耳机#2接收上行链路音频数据M2(i)(例如，上行链路音频数据M2(1))，其中DSP电路#1可以根据用于耳机#1的第一参考点(例如，CIG参考点)控制从耳机#1到诸如UE 300的UE 100的上行链路音频数据M1(i)(例如，上行链路音频数据M1(1))的时序，以及DSP电路#2可以根据用于耳机#2的第一参考点(例如，CIG参考点)控制从耳机#2到诸如UE 300的UE 100的上行链路音频数据M2(i)(例如，上行链路音频数据M2(1))的时序。
为便于理解，该方法可以用图10所示的工作流程来说明但本发明不限于此。根据一些实施例，可以在图10所示的工作流程中添加、删除或改变一个或多个步骤。
本发明虽以较佳实施例揭露如上，然其并非用以限定本发明的范围，任何本领域技术人员，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视权利要求所界定者为准。

Claims (25)

1.一种音频增强的方法，其特征在于，该方法用于无线连接至第一耳机和第二耳机的用户设备，且该方法包括：
利用该用户设备确定第一预定同步延迟并将该第一预定同步延迟通知给该第一耳机，以使该第一耳机中的第一数字信号处理电路根据第一事件的第一时间点和该第一预定同步延迟为该第一耳机确定同步点；
利用该用户设备确定第二预定同步延迟并将该第二预定同步延迟通知给该第二耳机，以使该第二耳机中的第二数字信号处理电路根据第二事件的第二时间点和该第二预定同步延迟为该第二耳机确定该同步点；
利用该用户设备从该第一耳机接收第一上行链路音频数据以及从该第二耳机接收第二上行链路音频数据，其中该第一上行链路音频数据的时序和该第二上行链路音频数据的时序由该第一数字信号处理电路和该第二数字信号处理电路根据用于该第一耳机和该第二耳机的第一参考点分别控制，其中该第一参考点至少根据该同步点确定。
2.如权利要求1所述的方法，其特征在于，该同步点作为下行链路播放参考时间点。
3.如权利要求2所述的方法，其特征在于，该下行链路播放参考时间点表示蓝牙低功耗真无线立体声下行链路播放参考时间点。
4.如权利要求1所述的方法，其特征在于，该同步点晚于该第一时间点和该第二时间点中的每一个，且该同步点与该第一时间点的时间差等于该第一预定同步延迟，该同步点与该第二时间点之间的时间差等于该第二预定同步延迟。
5.如权利要求1所述的方法，其特征在于，该第一参考点用作上行链路音频数据参考时间点。
6.如权利要求1所述的方法，其特征在于，还包括：
利用该用户设备确定第三预定同步延迟并将该第三预定同步延迟分别通知给该第一耳机和该第二耳机，以用于该第一数字信号处理电路和该第二数字信号处理电路分别确定该第一参考点。
7.如权利要求6所述的方法，其特征在于，该第一参考点由该第一数字信号处理电路和该第二数字信号处理电路根据该同步点和该第三预定同步延迟分别确定。
8.如权利要求6所述的方法，其特征在于，该第一参考点早于该同步点，且该同步点与该第一参考点之间的时间差等于该第三预定同步延迟。
9.如权利要求1所述的方法，其特征在于，该第一时间点和该第二时间点分别表示对应于同一个音频数据帧的时隙内的第一辅助时隙和第二辅助时隙的开始时间点。
10.如权利要求1所述的方法，其特征在于，该第一上行链路音频数据和该第二上行链路音频数据在多个时隙中的第一时隙内被发送给该用户设备。
11.如权利要求10所述的方法，其特征在于：
该第一上行链路音频数据在该第一时隙内的第一辅助时隙被发送给该用户设备，其中对该第一上行链路音频数据的处理由该第一数字信号处理电路在该第一时间点之前完成；和
该第二上行链路音频数据在该第一时隙内的第二辅助时隙被发送给该用户设备，其中对该第二上行链路音频数据的处理由该第二数字信号处理电路在该第二时间点之前完成。
12.如权利要求1所述的方法，其特征在于，该第一上行链路音频数据和该第二上行链路音频数据表示对应于同一采样时间段的一组立体声音频数据。
13.如权利要求1所述的方法，其特征在于：
该第一上行链路音频数据和该第一上行链路音频数据的第一采样时间偏移在第一时隙内的第一辅助时隙被发送给该用户设备，其中对该第一上行链路音频数据的处理由该第一数字信号处理电路在该第一时间点之前完成；和
该第二上行链路音频数据和该第二上行链路音频数据的第二采样时间偏移在该第一时隙内的第二辅助时隙被发送给该用户设备，其中对该第二上行链路音频数据的处理由该第二数字信号处理电路在该第二时间点之前完成。
14.如权利要求13所述的方法，其特征在于，该第一采样时间偏移表示该第一参考点和该第一上行链路音频数据内的多个音频样本的开始采样时间之间的时间差，且该第二采样时间偏移表示该第一参考点和该第二上行链路音频数据内的多个音频样本的开始采样时间之间的时间差。
15.如权利要求13所述的方法，其特征在于，还包括：
利用该用户设备根据该第一采样时间偏移和该第二采样时间偏移对该第一上行链路音频数据和该第二上行链路音频数据中的任意一个执行采样时间校准。
16.如权利要求13所述的方法，其特征在于，还包括：
响应于未成功接收到该第一上行链路音频数据和该第二上行链路音频数据中的任何上行链路音频数据时，利用该用户设备根据该第一采样时间偏移和该第二采样时间偏移来将该第一上行链路音频数据和该第二上行链路音频数据中已接收到的上行链路音频数据转换成仿真的上行链路音频数据作为该未成功接收的任何上行链路音频数据的替代。
17.一种耳机，该耳机无线连接至用户设备，其特征在于，该耳机包括：
无线通信接口电路，被配置为使该耳机与该用户设备执行无线通信；
音频输入设备，被配置为输入音频波以生成输入音频数据；
音频输出设备，被配置为根据输出音频数据输出音频波；和
第一数字信号处理电路，耦接于该无线通信接口电路、该音频输入设备以及该音频输出电路，被配置为对该耳机的该输入音频数据和该输出音频数据中的任何一个执行信号处理；
其中该第一数字信号处理电路根据第一事件的第一时间点和第一预定同步延迟为该耳机确定同步点，其中该第一预定同步延迟由该用户设备确定；
其中该第一数字信号处理根据该同步点和第二预定同步延迟为该第一耳机确定第一参考点，其中该第二预定同步延迟大于该第一预定同步延迟；和
其中该第一数字信号处理电路根据用于该耳机的该第一参考点控制从该耳机到该用户设备的第一上行链路音频数据的时序。
18.一种耳机系统，包括第一耳机和第二耳机，其中该第一耳机和该第一耳机和第二耳机无线连接至用户设备，其中该第一耳机包括：
第一无线通信接口电路，被配置为使该第一耳机与该用户设备执行无线通信；
第一音频输入设备，被配置为输入音频波以生成输入音频数据；
第一音频输出设备，被配置为根据输出音频数据输出音频波；和
第一数字信号处理电路，耦接于该第一无线通信接口电路、该第一音频输入设备以及第一该音频输出电路，被配置为对该第一耳机的该输入音频数据和该输出音频数据中的任何一个执行信号处理；
其中该第二耳机包括：
第二无线通信接口电路，被配置为使该第二耳机与该用户设备执行无线通信；
第二音频输入设备，被配置为输入音频波以生成输入音频数据；
第二音频输出设备，被配置为根据输出音频数据输出音频波；和
第二数字信号处理电路，耦接于该第二无线通信接口电路、该第二音频输入设备以及该第二音频输出电路，被配置为对该第二耳机的该输入音频数据和该输出音频数据中的任何一个执行信号处理；
其中该第一数字信号处理电路根据第一事件的第一时间点和第一预定同步延迟为该第一耳机确定同步点，其中该第一预定同步延迟由该用户设备确定；
其中该第二数字信号处理电路根据第二事件的第二时间点和第二预定同步延迟为该第二耳机确定该同步点，其中该第二预定同步延迟由该用户设备确定；
其中该第一数字信号处理电路根据该同步点和第三预定同步延迟为该第一耳机确定第一参考点；
其中该第二数字信号处理电路根据该同步点和该第三预定同步延迟为该第二耳机确定该第一参考点，其中该第三预定同步延迟大于该第一预定同步延迟和该第二预定同步延迟；和
其中该第一数字信号处理电路和该第二数字信号处理电路根据用于该第一耳机和该第二耳机的该第一参考点分别控制从该第一耳机到该用户设备的第一上行链路音频数据的时序和从该第二耳机到该用户设备的第二上行链路音频数据的时序。
19.一种用户设备，与第一耳机和第二耳机无线连接，其特征在于，包括：
无线通信接口电路，被配置为使该用户设备与该第一耳机和该第二耳机进行无线通信；
音频数字信号处理电路，耦接于该无线通信接口电路，被配置为为用户设备执行信号处理；
其中该音频数字信号处理电路被配置为：
确定第一预定同步延迟并将该第一预定同步延迟通知给该第一耳机，以使该第一耳机中的第一数字信号处理电路根据第一事件的第一时间点和该第一预定同步延迟为该第一耳机确定同步点；
确定第二预定同步延迟并将该第二预定同步延迟通知给该第二耳机，以使该第二耳机中的第二数字信号处理电路根据第二事件的第二时间点和该第二预定同步延迟为该第二耳机确定该同步点；
从该第一耳机接收第一上行链路音频数据以及从该第二耳机接收第二上行链路音频数据，其中该第一上行链路音频数据的时序和该第二上行链路音频数据的时序由该第一数字信号处理电路和该第二数字信号处理电路根据用于该第一耳机和该第二耳机的第一参考点分别控制，其中该第一参考点至少根据该同步点确定。
20.如权利要求19所述的用户设备，其特征在于，该音频数字信号处理电路还被配置为：
在第一时隙内的第一辅助时隙接收该第一上行链路音频数据和该第一上行链路音频数据的第一采样时间偏移以及在该第一时隙内的第二辅助时隙接收该第二上行链路音频数据和该第二上行链路音频数据的第二采样时间偏移；
其中对该第一上行链路音频数据的处理由该第一数字信号处理电路在该第一时间点之前完成，对该第二上行链路音频数据的处理由该第二数字信号处理电路在该第二时间点之前完成。
21.如权利要求20所述的用户设备，其特征在于，该音频数字信号处理电路还被配置为根据该第一采样时间偏移和该第二采样时间偏移对该第一上行链路音频数据和该第二上行链路音频数据中的任意一个执行采样时间校准。
22.如权利要求19所述的用户设备，其特征在于，该同步点晚于该第一时间点和该第二时间点中的每一个，且该同步点与该第一时间点的时间差等于该第一预定同步延迟，该同步点与该第二时间点之间的时间差等于该第二预定同步延迟。
23.如权利要求19所述的用户设备，其特征在于，该音频数字信号处理电路还被配置为确定第三预定同步延迟并将该第三预定同步延迟分别通知给该第一耳机和该第二耳机，以用于该第一数字信号处理电路和该第二数字信号处理电路分别确定该第一参考点。
24.如权利要求23所述的用户设备，其特征在于，该第一参考点早于该同步点，且该同步点与该第一参考点之间的时间差等于该第三预定同步延迟。
25.如权利要求19所述的用户设备，其特征在于，该音频数字信号处理电路还被配置为在第一时隙内的第一辅助时隙接收该第一上行链路音频数据和在该第一时隙内的第二辅助时隙接收该第二上行链路音频数据；
其中对该第一上行链路音频数据的处理由该第一数字信号处理电路在该第一时间点之前完成，对该第二上行链路音频数据的处理由该第二数字信号处理电路在该第二时间点之前完成。
CN202211161413.9A 2022-09-22 2022-09-22 一种音频增强的方法及相应装置 Pending CN117793874A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202211161413.9A CN117793874A (zh) 2022-09-22 2022-09-22 一种音频增强的方法及相应装置
TW111146330A TWI826159B (zh) 2022-09-22 2022-12-02 音頻增強的方法、耳機、耳機系統及用戶設備
US18/076,334 US20240107250A1 (en) 2022-09-22 2022-12-06 Method and apparatus for performing audio enhancement with aid of timing control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211161413.9A CN117793874A (zh) 2022-09-22 2022-09-22 一种音频增强的方法及相应装置

Publications (1)

Publication Number Publication Date
CN117793874A true CN117793874A (zh) 2024-03-29

Family

ID=90053284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211161413.9A Pending CN117793874A (zh) 2022-09-22 2022-09-22 一种音频增强的方法及相应装置

Country Status (3)

Country Link
US (1) US20240107250A1 (zh)
CN (1) CN117793874A (zh)
TW (1) TWI826159B (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8654988B2 (en) * 2008-05-05 2014-02-18 Qualcomm Incorporated Synchronization of signals for multiple data sinks
JP6377557B2 (ja) * 2015-03-20 2018-08-22 日本電信電話株式会社 通信システム、通信方法、およびプログラム
US10394518B2 (en) * 2016-03-10 2019-08-27 Mediatek Inc. Audio synchronization method and associated electronic device
US11483612B2 (en) * 2018-10-22 2022-10-25 Voxx International Corporation Vehicle entertainment system providing paired wireless connections for multiple wireless headphones and related methods
CN109560913B (zh) * 2018-11-15 2021-08-03 珠海慧联科技有限公司 一种蓝牙音频设备之间数据时间同步的方法及装置
CN112492449B (zh) * 2019-12-23 2022-11-18 无锡中感微电子股份有限公司 一种无线耳机收纳盒及无线耳机
CN113395623B (zh) * 2020-03-13 2022-10-04 华为技术有限公司 一种真无线耳机的录音方法及录音系统
CN111918261B (zh) * 2020-08-13 2023-07-07 南京中感微电子有限公司 蓝牙音频设备同步播放方法、系统及蓝牙音频主、从设备
CN112787742B (zh) * 2021-03-16 2022-11-22 芯原微电子（成都）有限公司 时钟同步的方法及装置、无线耳机、可读存储介质

Also Published As

Publication number Publication date
US20240107250A1 (en) 2024-03-28
TWI826159B (zh) 2023-12-11

Similar Documents

Publication Publication Date Title
CN110636487B (zh) 无线耳机及无线耳机的通信方法
US9756422B2 (en) Noise estimation in a mobile device using an external acoustic microphone signal
US6978010B1 (en) Ambient noise cancellation for voice communication device
KR101481889B1 (ko) 보이스 코일 채널 및 개별적으로 증폭되는 텔레코일 채널을 갖는 오디오 장치
US20130108068A1 (en) Headset with two-way multiplexed communication
US20100329491A1 (en) System for transmitting amplified audio signals to a user
KR20160128412A (ko) 주파수 의존 측음 교정
US20070237339A1 (en) Environmental noise reduction and cancellation for a voice over internet packets (VOIP) communication device
CN108259062B (zh) 用于经无线通信单元与多个外部设备通信的无线通信设备
WO2008113053A1 (en) Headset having wirelessly linked earpieces
CN202602769U (zh) 具有回音抑制功能的通话类电子产品
CN101604987A (zh) 用于音频传输的低等待时间高质量链路
WO2019114531A1 (zh) 一种具有助听功能的蓝牙芯片、蓝牙耳机及无线助听系统
JP2008118636A (ja) 基地局としての遠隔操作部を有する聴取システム及び対応する通信方法
KR101898911B1 (ko) 인이어 마이크와 아웃이어 마이크 수음특성을 이용한 소음 제거 이어셋 및 소음 제거 방법
EP2587833A1 (en) Headset with two-way multiplexed communication
EP3849215A1 (en) Dual wireless audio streams transmission allowing for spatial diversity or own voice pickup (ovpu)
TWI826159B (zh) 音頻增強的方法、耳機、耳機系統及用戶設備
KR101595270B1 (ko) 유무선 이어셋
US10455312B1 (en) Acoustic transducer as a near-field magnetic induction coil
TW202414387A (zh) 音頻增強的方法、耳機、耳機系統及用戶設備
US7039179B1 (en) Echo reduction for a headset or handset
US9913029B2 (en) Sound filtering system
CN114666741B (zh) 无线通讯方法及系统
US20240143272A1 (en) Systems and methods for wirelessly providing an audio stream

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination