CN115426064A - 音频数据的同步方法及设备 - Google Patents
音频数据的同步方法及设备 Download PDFInfo
- Publication number
- CN115426064A CN115426064A CN202210871663.5A CN202210871663A CN115426064A CN 115426064 A CN115426064 A CN 115426064A CN 202210871663 A CN202210871663 A CN 202210871663A CN 115426064 A CN115426064 A CN 115426064A
- Authority
- CN
- China
- Prior art keywords
- bluetooth
- cis
- audio
- electronic device
- cig
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
- H04J3/0658—Clock or time synchronisation among packet nodes
- H04J3/0661—Clock or time synchronisation among packet nodes using timestamps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W56/00—Synchronisation arrangements
- H04W56/001—Synchronization between nodes
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Headphones And Earphones (AREA)
- Telephone Function (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本申请公开了一种音频数据的同步方法及设备,涉及短距离通信领域,在手机与多个蓝牙设备建立了无线连接时,实现了多个蓝牙设备之间音频数据的播放级同步。电子设备通过CIG的第一CIS,向与该电子设备建立无线连接的第一耳塞发送数据包,通过CIG的第二CIS,向与该电子设备建立无线连接的第二耳塞发送数据包;该数据包包括:音频数据,数据包的音频时间戳,以及初始蓝牙时间戳,初始蓝牙时间戳为电子设备与第一耳塞建立第一CIS,与第二耳塞建立第二CIS后传输的第一个数据包的蓝牙时间戳;音频时间戳和初始蓝牙时间戳用于第一耳塞和第二耳塞确定CIG播放点,CIG播放点是第一耳塞和第二耳塞播放音频数据的时间点。
Description
本申请是分案申请,原申请的申请号是201880100553.0,原申请日是2018年12月28日,原申请的全部内容通过引用结合在本申请中。
技术领域
本申请涉及短距离通信领域,尤其涉及一种音频数据的同步方法及设备。
背景技术
蓝牙(Bluetooth)是一种无线技术标准,其可实现不同设备之间的短距离数据交互。如手机可以开启蓝牙模块与蓝牙耳机进行短距离数据交互,以将蓝牙耳机作为手机的音频输入/输出设备实现通话、音乐播放等功能。
而在手机与多个(两个或两个以上)蓝牙设备建立了无线连接时,这多个蓝牙设备之间可能有实现音频数据的播放级同步的需求。
发明内容
本申请的目的在于提供一种音频数据的同步方法及设备,在手机与多个蓝牙设备建立了无线连接时,实现了多个蓝牙设备之间音频数据的播放级同步。
上述目标和其他目标将通过独立权利要求中的特征来达成。进一步的实现方式在从属权利要求、说明书和附图中体现。
第一方面,提供一种音频数据的同步方法,该方法可以应用于电子设备,该电子设备可以与第一耳塞和第二耳塞分别建立无线连接;该方法可以包括:电子设备通过基于连接的等时流组(connected isochronous group,CIG)的第一基于连接的等时音频流(connected isochronous stream,CIS),向第一耳塞发送数据包,通过CIG的第二CIS,向第二耳塞发送该数据包;其中,该数据包中可以包括:音频数据,该数据包的音频时间戳,以及初始蓝牙时间戳。初始蓝牙时间戳为电子设备与第一耳塞建立第一CIS,与第二耳塞建立第二CIS后传输的第一个数据包的蓝牙时间戳;音频时间戳和初始蓝牙时间戳用于第一耳塞和第二耳塞确定CIG播放点,CIG播放点是第一耳塞和第二耳塞播放数据包中的音频数据的时间点。
其中,上述电子设备可以是手机等设备,上述第一耳塞和上述第二耳塞分别可以是蓝牙耳机,如真无线立体声(truewireless stereo,TWS)耳机的左耳塞和右耳塞。另外,上述第一耳塞和第二耳塞也可以分别替换为两个其他蓝牙设备。这两个蓝牙设备的设备形态可以相同(如两个无线音箱),也可以不同(如一个无线音箱,一个无线耳机)。
采用该技术方案,电子设备通过向两个蓝牙设备,如第一耳塞和第二耳塞发送携带该数据包的音频时间戳,以及初始蓝牙时间戳的数据包,使得第一耳塞和第二耳塞可以根据音频时间戳和初始蓝牙时间戳确定出数据包中音频数据的播放时间点,即CIG播放点。数据包中的音频时间戳和初始蓝牙时间戳能够确保蓝牙时钟的同步和音频时钟的同步。也就是说,第一耳塞和第二耳塞能够根据同步的蓝牙时钟和同步音频时钟确定出音频数据的CIG播放点。这样,利用确定出的CIG播放点实现了音频数据的播放级同步。另外,在本实施例中,蓝牙时钟和音频时钟是解耦独立进行同步的,不需要蓝牙时钟和音频时钟的硬件时钟同步。对于蓝牙时钟,只需在每个数据包中携带第一个数据包的BTS,即初始蓝牙时间戳,不需要获取每个数据包的BTS,减少负载。对应音频时钟,每个数据包是进行独立标注的,因此,在实现音频数据的播放级同步的同时,还可以支持每个数据包的独立播放。这样,本实施例的技术方案可以适用于单耳塞单独使用,双耳塞同时使用,以及单耳双耳切换等场景中。
在一些实施例中,在单耳使用(如使用第一耳塞)的场景下,电子设备可以通过CIG的第一CIS,向第一耳塞发送第一数据包,该第一数据包中可以包括:音频数据,该第一数据包的音频时间戳,以及初始蓝牙时间戳。初始蓝牙时间戳为电子设备与第一耳塞建立第一CIS后传输的第一个数据包的蓝牙时间戳;第一数据包的音频时间戳和初始蓝牙时间戳可以用于第一耳塞确定CIG播放点,CIG播放点是第一耳塞播放第一数据包中的音频数据的时间点。
在单耳使用转换为双耳使用的场景后,电子设备不仅可以通过CIG的第一CIS,向第一耳塞发送第二数据包,还可以通过CIG的第二CIS,向第二耳塞发送第二数据包,该第二数据包中可以包括:音频数据,该第二数据包的音频时间戳,以及初始蓝牙时间戳。第二数据包的音频时间戳和初始蓝牙时间戳可以用于第一耳塞和第二耳塞确定CIG播放点,CIG播放点是第一耳塞和第二耳塞播放第二数据包中音频数据的时间点。
也就是说,在本实施例中,电子设备可以对每个数据包计算该数据包的音频时间戳,并携带在该数据包中通知给第一耳塞和/或第二耳塞。
在一种可能的实现方式中,在电子设备通过CIG的第一CIS,向第一耳塞发送数据包,通过CIG的第二CIS,向第二耳塞发送数据包之前,该方法还可以包括:电子设备与第一耳塞建立CIG的第一CIS,与第二耳塞建立CIG的第二CIS。
在另一种可能的实现方式中,电子设备与第一耳塞建立CIG的第一CIS,与第二耳塞建立CIG的第二CIS,具体可以包括:电子设备向第一耳塞发送CIS建立请求消息,接收第一耳塞发送的CIS建立响应消息,向第一耳塞发送CIS建立消息;电子设备向第二耳塞发送CIS建立请求消息,接收第二耳塞发送的CIS建立响应消息,向第二耳塞发送CIS建立消息;其中,CIS建立请求消息包括传输时延和播放时延,传输时延和播放时延用于第一耳塞和第二耳塞确定CIG播放点。
在另一种可能的实现方式中,在电子设备与第一耳塞建立CIG的第一CIS,与第二耳塞建立CIG的第二CIS之前,该方法还可以包括:电子设备分别与第一耳塞和第二耳塞进行配对;电子设备与第一耳塞建立第一异步面向连接(asynchronous connection-oriented link,ACL)链路;电子设备与第二耳塞建立第二ACL链路;电子设备与第一耳塞建立CIG的第一CIS,与第二耳塞建立CIG的第二CIS,具体可以包括:电子设备通过第一ACL链路与第一耳塞建立CIG的第一CIS,通过第二ACL链路与第二耳塞建立CIG的第二CIS。
在另一种可能的实现方式中,数据包的音频时间戳与数据包的蓝牙时间戳之间的时间偏移满足以下条件中的至少一个:小于或等于传输时延,小于或等于播放时延,小于或等于传输时延与播放时延之和。这样,可以保证音频数据在播放级别的连续性。
第二方面,提供一种音频数据的同步方法,应用于与电子设备建立无线连接的第一耳塞和第二耳塞,该方法可以包括:第一耳塞通过CIG的第一CIS,接收来自电子设备的数据包;第二耳塞通过CIG的第二CIS,接收来自电子设备的数据包;该数据包可以包括:音频数据,数据包的音频时间戳,以及初始蓝牙时间戳,初始蓝牙时间戳为电子设备与第一耳塞建立第一CIS,与第二耳塞建立第二CIS后传输的第一个数据包的蓝牙时间戳;第一耳塞和第二耳塞分别根据音频时间戳,初始蓝牙时间戳,传输时延和播放时延确定CIG播放点;第一耳塞和第二耳塞分别在CIG播放点播放数据包中的音频数据。
在一些实施例中,上述第一耳塞和上述第二耳塞分别可以是蓝牙耳机(如TWS耳机)的左耳塞和右耳塞。另外,上述第一耳塞和第二耳塞也可以分别替换为两个其他蓝牙设备。这两个蓝牙设备的设备形态可以相同(如两个无线音箱),也可以不同(如一个无线音箱,一个无线耳机)。
采用该技术方案,两个蓝牙设备,如第一耳塞和第二耳塞分别接收来自电子设备的数据包,该数据包中携带有该数据包的音频时间戳,以及初始蓝牙时间戳,第一耳塞和第二耳塞可以根据音频时间戳和初始蓝牙时间戳确定出数据包中音频数据的播放时间点,即CIG播放点。数据包中的音频时间戳和初始蓝牙时间戳能够确保蓝牙时钟的同步和音频时钟的同步。也就是说,第一耳塞和第二耳塞能够根据同步的蓝牙时钟和同步音频时钟确定出音频数据的CIG播放点。这样,利用确定出的CIG播放点实现了音频数据的播放级同步。另外,在本实施例中,蓝牙时钟和音频时钟是解耦独立进行同步的,不需要蓝牙时钟和音频时钟的硬件时钟同步。对于蓝牙时钟,只需在每个数据包中携带第一个数据包的BTS,即初始蓝牙时间戳,不需要获取每个数据包的BTS,减少负载。对应音频时钟,每个数据包是进行独立标注的,因此,在实现音频数据的播放级同步的同时,还可以支持每个数据包的独立播放。这样,本实施例的技术方案可以适用于单耳塞单独使用,双耳塞同时使用,以及单耳双耳切换等场景中。
在一些实施例中,在单耳使用(如使用第一耳塞)的场景下,第一耳塞可以通过CIG的第一CIS,接收来自电子设备的第一数据包,该第一数据包中可以包括:音频数据,该第一数据包的音频时间戳,以及初始蓝牙时间戳。初始蓝牙时间戳为电子设备与第一耳塞建立第一CIS后传输的第一个数据包的蓝牙时间戳;第一耳塞可以根据第一数据包的音频时间戳和初始蓝牙时间戳确定CIG播放点,第一耳塞可以在CIG播放点播放第一数据包中的音频数据。
在单耳使用转换为双耳使用的场景后,不仅第一耳塞可以通过CIG的第一CIS,接收来自电子设备的第二数据包,第二耳塞也可以通过CIG的第二CIS,接收来自电子设备的第二数据包,该第二数据包中可以包括:音频数据,该第二数据包的音频时间戳,以及初始蓝牙时间戳。第一耳塞和第二耳塞可以分别根据第二数据包的音频时间戳和初始蓝牙时间戳确定CIG播放点,第一耳塞和第二耳塞可以分别在CIG播放点播放第二数据包中的音频数据。
在一种可能的实现方式中,在第一耳塞通过CIG的第一CIS,接收来自电子设备的数据包,第二耳塞通过CIG的第二CIS,接收来自电子设备的数据包之前,该方法还可以包括:第一耳塞与电子设备建立CIG的第一CIS,第二耳塞与电子设备建立CIG的第二CIS。
在另一种可能的实现方式中,第一耳塞与电子设备建立CIG的第一CIS,第二耳塞与电子设备建立CIG的第二CIS,具体可以包括:第一耳塞接收来自电子设备的CIS建立请求消息,向电子设备发送CIS建立响应消息,接收来自电子设备的CIS建立消息;第二耳塞接收来自电子设备的CIS建立请求消息,向电子设备发送CIS建立响应消息,接收来自电子设备的CIS建立消息;其中,CIS建立请求消息包括传输时延和播放时延。
在另一种可能的实现方式中,在第一耳塞与电子设备建立CIG的第一CIS,第二耳塞与电子设备建立CIG的第二CIS之前,该方法还可以包括:第一耳塞和第二耳塞分别与电子设备进行配对;第一耳塞与电子设备建立第一ACL链路;第二耳塞与电子设备建立第二ACL链路;第一耳塞与电子设备建立CIG的第一CIS,第二耳塞与电子设备建立CIG的第二CIS,具体可以包括:第一耳塞通过第一ACL链路与电子设备建立CIG的第一CIS,第二耳塞通过第二ACL链路与电子设备建立CIG的第二CIS。
在另一种可能的实现方式中,数据包的音频时间戳与数据包的蓝牙时间戳之间的时间偏移满足以下条件中的至少一个:小于或等于传输时延,小于或等于播放时延,小于或等于传输时延与播放时延之和。这样,可以保证音频数据在播放级别的连续性。
在另一种可能的实现方式中,第一耳塞和第二耳塞分别根据音频时间戳,初始蓝牙时间戳,传输时延和播放时延确定CIG播放点,具体可以包括:第一耳塞根据音频时间戳,初始蓝牙时间戳和传输时延确定CIG同步点,第一耳塞根据确定的CIG同步点和播放时延确定CIG播放点;第二耳塞根据音频时间戳,初始蓝牙时间戳和传输时延确定CIG同步点,第一耳塞根据确定的CIG同步点和播放时延确定CIG播放点。在一种可能的实现方式中,根据音频时间戳,初始蓝牙时间戳和传输时延确定CIG同步点,具体的可以包括:SYNC_m_n=Init_BTS+ATS_n+transport_delay。其中,SYNC_m_n为CIG同步点,Init_BTS为初始蓝牙时间戳,ATS_n为音频时间戳,transport_delay为传输时延,m表示包含该数据包是蓝牙时钟上的第m个数据包,n表示该数据包是音频时钟上的第n个数据包。根据确定的CIG同步点和播放时延确定CIG播放点,具体的可以包括:Render_m_n=SYNC_m_n+Presentation_delay。其中,Render_m_n为CIG播放点,Presentation_delay为播放时延。
在另一种可能的实现方式中,上述根据音频时间戳,初始蓝牙时间戳,传输时延和播放时延确定CIG播放点,具体可以包括:根据Render_m_n=Init_BTS+transport_delay+ATS_n+Presentation_delay确定CIG播放点。
第三方面,提供一种电子设备,该电子设备可以包括:一个或多个处理器、存储器、无线通信模块以及移动通信模块;其中:存储器、无线通信模块以及移动通信模块与一个或多个处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行该计算机指令时,电子设备可以执行如第一方面或第一方面的可能的实现方式中任一项所述的音频数据的同步方法。
第四方面,提供一种蓝牙耳机,该蓝牙耳机可以包括至少一个耳塞;该耳塞可以包括:处理器、存储器、无线通信模块、受话器以及麦克风;存储器、无线通信模块、受话器以及麦克风与处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令;当处理器执行计算机指令时,耳塞可以执行如第二方面或第二方面的可能的实现方式中任一项所述的音频数据的同步方法。例如,该蓝牙耳机包括两个耳塞,如称为第一耳塞和第二耳塞,第一耳塞和第二耳塞可以执行如第二方面或第二方面的可能的实现方式中任一项所述的音频数据的同步方法。
第五方面,提供一种蓝牙音频系统,该蓝牙音频系统可以包括:电子设备,第一耳塞以及第二耳塞;其中:电子设备可以用于通过CIG的第一CIS,向第一耳塞发送数据包,通过CIG的第二CIS,向第二耳塞发送数据包;该数据包可以包括:音频数据,该数据包的音频时间戳,以及初始蓝牙时间戳,初始蓝牙时间戳为电子设备与第一耳塞建立第一CIS,与第二耳塞建立第二CIS后传输的第一个数据包的蓝牙时间戳;第一耳塞可以用于接收数据包,根据数据包中的音频时间戳和初始蓝牙时间戳,以及传输时延和播放时延确定CIG播放点,在确定出的CIG播放点播放接收到的数据包中的音频数据;第二耳塞可以用于接收数据包,根据数据包中的音频时间戳和初始蓝牙时间戳,以及传输时延和播放时延确定CIG播放点,在确定出的CIG播放点播放接收到的数据包中的音频数据。
第六方面,提供一种蓝牙芯片,该蓝牙芯片可以应用于电子设备;该蓝牙芯片可以包括存储器,处理器和射频模块,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令;其中:处理器执行存储器存储的计算机指令控制射频模块通过CIG的第一CIS,向第一耳塞发送数据包,通过CIG的第二CIS,向第二耳塞发送数据包;其中,数据包可以包括:音频数据,数据包的音频时间戳,以及初始蓝牙时间戳,初始蓝牙时间戳为电子设备与第一耳塞建立第一CIS,与第二耳塞建立第二CIS后传输的第一个数据包的蓝牙时间戳;音频时间戳和初始蓝牙时间戳用于第一耳塞和第二耳塞确定CIG播放点,CIG播放点是第一耳塞和第二耳塞播放数据包中的音频数据的时间点。
第七方面,提供一种蓝牙芯片,该蓝牙芯片可以应用于蓝牙耳机的耳塞;蓝牙芯片包括存储器,处理器和射频模块,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令;处理器执行存储器存储的计算机指令控制射频模块通过CIG的CIS,接收来自电子设备的数据包;其中,该数据包可以包括:音频数据,数据包的音频时间戳,以及初始蓝牙时间戳,初始蓝牙时间戳为CIS建立后传输的第一个数据包的蓝牙时间戳;根据音频时间戳,初始蓝牙时间戳,传输时延和播放时延确定CIG播放点;以便该蓝牙耳机的耳塞的受话器可以在CIG播放点播放数据包中的音频数据。
第八方面,提供一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如第一方面或第一方面的可能的实现方式中任一项所述的音频数据的同步方法。
第九方面,提供一种计算机存储介质,包括计算机指令,当计算机指令在蓝牙耳机的耳塞上运行时,使得耳塞执行如第二方面或第二方面的可能的实现方式中任一项所述的音频数据的同步方法。
第十方面,提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述任一项音频数据的同步方法。
第十一方面,提供一种音频数据的同步装置,该音频数据的同步装置可以包含在电子设备中,该装置具有实现上述第一方面以及第一方面的可能实现方式中任一方法中电子设备行为的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,发送模块或单元、处理模块或单元、接收模块或单元等。
第十二方面,提供另一种音频数据的同步装置,该音频数据的同步装置可以包含在蓝牙耳机的耳塞中,该装置具有实现上述第二方面以及第二方面的可能实现方式中任一方法中蓝牙耳机的耳塞(如,上述第一耳塞或上述第二耳塞)行为的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,接收模块或单元、处理模块或单元、播放模块或单元、发送模块或单元等。
应当理解的是,本实施例中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反,可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。因此,本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而,还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解,无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中,还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。
附图说明
图1为一实施例提供的一种蓝牙音频系统的架构示意图;
图2为一实施例提供的一种TWS耳机的耳塞的结构示意图;
图3为一实施例提供的一种TWS耳机的产品形态实例示意图;
图4为一实施例提供的一种电子设备的结构示意图;
图5为一实施例提供的一种蓝牙传输架构的组成示意图;
图6为一实施例提供的一种音频数据的同步方法的流程示意图;
图7为一实施例提供的一种音频数据的传输原理示意图;
图8为一实施例提供的一种数据包的结构示意图;
图9为一实施例提供的一种蓝牙耳机的耳塞的结构示意图;
图10为另一实施例提供的一种电子设备的结构示意图。
具体实施方式
如今,蓝牙由蓝牙技术联盟(Bluetooth special interest group,SIG)管理,其主要负责蓝牙技术规范的制定。目前制定的蓝牙技术规范主要用于基于基本速率(basicrate,BR)/增强速率(enhanced data rate,EDR)的点对点的数据传输。而如果手机与多个(如两个)的蓝牙设备建立了无线连接,则需要实现手机与这两个蓝牙设备之间的点对多点的数据传输。显然目前制定的基于BR/EDR的点对点的数据传输已不能满足需求。另外,这两个蓝牙设备还可能有实现设备之间音频数据的播放级同步的需求。例如,随着科技的进步,具有两个独立的耳机主体的蓝牙耳机逐渐进入人们视野。如这种具有两个的独立耳机主体的蓝牙耳机可以称为TWS耳机,其包含的两个独立的耳机主体分别可以称为左耳塞和右耳塞。如果将TWS耳机作为手机的音频输入/输出设备使用,则需要实现手机与TWS耳机的左右耳塞之间的点对多点的数据传输。另外,还需要实现TWS耳机的左右耳塞之间音频数据的播放级同步。也就是说,需要实现点对多点的音频数据的播放级同步传输。
蓝牙技术联盟已在着手制定点对多点的蓝牙技术规范,以用于实现点对多点的音频数据的播放级同步传输。如,低功耗蓝牙(Bluetooth low energy,BLE)的等时(isochronous,ISO)信道(channel)定义了一种传输机制。在该传输机制下,一个主设备(Master,简称M,如上述手机)基于BLE的ISO信道可以向多个从设备(Slave,简称S,如上述TWS耳机的左耳塞和右耳塞)发送音频数据,且能够实现这多个从设备的音频数据的播放级同步。也就是说,该传输机制能够用于实现点对多点的音频数据的播放级同步传输。
具体的,上述传输机制中定义了CIG,CIG是组的概念。一个CIG可以包括多个CIS。一个主设备可以通过一个CIG中的多个CIS向多个从设备发送音频数据,多个从设备与多个CIS一一对应,这样便可实现点对多点的数据传输。可以理解的是,主设备与每个从设备之间的传输通道定义为CIS,且多个CIS归属于同一个CIG。另外,一个CIG中的多个CIS可以共享相同的CIG同步点(CIG synchronization point)和CIG播放点(CIG presentationpoint)。在CIG同步点,多个CIS对应的从设备都接收到音频数据。在CIG播放点,多个CIS对应的从设备都进行音频数据的播放。即多个从设备分别根据共享的CIG同步点和CIG播放点,便可实现多个从设备的音频数据的播放级同步。
需要说明的是,在本实施例中,多个从设备的音频数据的播放级同步可以是指:多个从设备可以分别接收来自主设备的音频数据,且对用户来说,能够在相同的时间点播放接收到的音频数据。例如,主设备可以为手机,多个从设备可以为TWS耳机的左耳塞和右耳塞。在将TWS耳机作为手机的音频输入/输出设备使用时,手机通过一个CIG中的两个CIS可以分别向TWS耳机的左耳塞和右耳塞发送音频数据。TWS耳机的左耳塞和右耳塞在接收到来自手机的音频数据后,能够在用户感知的相同时间点播放接收到的音频数据,以实现音频数据的播放级同步。
上述传输机制中,仅给出了理论的时间点(如上述CIG同步点和CIG播放点)用于实现音频数据的播放级同步。
本实施例提供一种音频数据的同步方法,可以应用于电子设备与多个蓝牙设备传输音频数据的过程中。其中,电子设备分别与多个蓝牙设备中的每个蓝牙设备建立无线连接,电子设备基于与每个蓝牙设备之间的无线连接,分别向这多个蓝牙设备中的每个蓝牙设备发送音频数据。这多个蓝牙设备可以基于同步的音频时钟(audio clock)和同步的蓝牙时钟(Bluetooth clock)确定出CIG同步点和CIG播放点,从而可以利用确定出的CIG同步点和CIG播放点实现音频数据的播放级同步。
需要说明的是,在本实施例中,上述音频数据(也可以称为音频流)可以包括:通话过程中的语音数据,利用应用程序(如,微信(WeChat),脸书(Facebook))进行语音通话或视频通话过程中的语音数据或语音消息,提示音(如来电提示音、回铃音,短信提示音等),音乐,播放视频时的语音数据,导航音等。
下面将结合附图对本实施例的实施方式进行详细描述。
如图1所示,本实施例提供的音频数据的同步方法可以应用于外围设备101与电子设备102组成的蓝牙音频系统中。
其中,外围设备101与电子设备102可以采用蓝牙建立蓝牙连接。基于建立的蓝牙连接,外围设备101与电子设备102之间可以实现短距离的数据交互。示例性的,外围设备101与电子设备102之间可以基于上述蓝牙连接进行音频数据的传输。如,基于上述蓝牙连接,外围设备101可以作为电子设备102的音频输入/输出设备实现通话。又如,基于上述蓝牙连接,外围设备101可以作为电子设备102的输出设备,如扬声器播放音乐等。
在一些实施例中,外围设备101可以是无线耳机,无线音箱,无线手环,无线车载,无线智能眼镜等设备,其包括一个主体。例如,电子设备102可以作为主设备通过一个CIG中的一个CIS向作为从设备的外围设备101传输音频数据。其中,无线耳机可以是头戴式耳机、耳塞式或其他便携式收听设备。又例如,电子设备102可以作为主设备通过一个CIG中的多个CIS,向多个作为从设备的外围设备101传输音频数据,多个CIS与多个外围设备101一一对应。本实施例提供的音频数据的同步方法也可以应用于电子设备102向多个外围设备101发送音频数据的场景中。采用本实施例提供的方法,多个外围设备101可以基于同步的音频时钟和同步的蓝牙时钟确定出CIG同步点和CIG播放点,从而利用确定出的CIG同步点和CIG播放点实现音频数据的播放级同步。
在另一些实施例中,外围设备101也可以是蓝牙耳机(也可以将其称为TWS耳机,以下实施例中以TWS耳机为例进行说明)、蓝牙音箱、智能眼镜等设备。外围设备101包含两个主体,且这两个主体之间不需要线材连接,可以互相配合、协同工作。另外,对于电子设备102传输至外围设备102的两个主体的音频数据,这两个主体有实现音频数据的播放级同步的需求。
在本实施例中,电子设备102可以通过一个CIG中的两个CIS向外围设备101的两个主体发送音频数据,两个CIS与外围设备的两个主体一一对应。作为一种示例,图1中所示的外围设备101以TWS耳机为例示出。其中,该TWS耳机包含两个主体(如耳机主体),如称为左耳塞101-1和右耳塞101-2。左耳塞101-1和右耳塞101-2之间不需要线材连接,可以相互配合、协同工作,如实现立体声播放。电子设备102可以作为主设备通过一个CIG中的两个CIS分别向作为从设备的左耳塞101-1和右耳塞101-2发送音频数据。且,TWS耳机的左耳塞101-1和右耳塞101-2可以基于同步的音频时钟和同步的蓝牙时钟确定出CIG同步点和CIG播放点,从而利用确定出的CIG同步点和CIG播放点实现音频数据的播放级同步。在本实施例中,TWS耳机的左耳塞101-1和右耳塞101-2的结构可以如图2所示,在以下实施例中将详细介绍。
在一些实施例中,电子设备102可以是手机(如图1中所示)、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备、媒体播放器、电视机等设备,本实施例对该设备的具体形态不作特殊限制。在本实施例中,电子设备102的结构可以如图4所示,在以下实施例中将详细介绍。
请参考图2,为本实施例提供的一种TWS耳机的耳塞(左耳塞或右耳塞)的结构示意图。如图2所示,TWS耳机的耳塞可以包括:处理器201、存储器202、传感器203、无线通信模块204、至少一个受话器205、至少一个麦克风206以及电源207。
其中,存储器202可以用于存储应用程序代码,如用于与TWS耳机的另一个耳塞建立蓝牙连接,以及使得耳塞与上述电子设备102进行配对的应用程序代码。处理器201可以控制执行上述应用程序代码,以实现本实施例中TWS耳机的耳塞的功能。
存储器202中还可以存储有用于唯一标识该耳塞的蓝牙地址,以及存储有TWS耳机的另一个耳塞的蓝牙地址。另外,该存储器202中还可以存储有与该耳塞之前成功配对过的电子设备的连接数据。例如,该连接数据可以是与该耳塞成功配对过的电子设备的蓝牙地址。基于该连接数据,该耳塞能够与该电子设备自动配对,而不必配置与其之间的连接,如进行合法性验证等。上述蓝牙地址可以为媒体访问控制(Media Access Control,MAC)地址。
传感器203可以为距离传感器或接近光传感器。耳塞的处理器201可以通过该传感器203确定是否被用户佩戴。例如,耳塞的处理器201可以利用接近光传感器来检测耳塞附近是否有物体,从而确定耳塞是否被用户佩戴。在确定耳塞被佩戴时,耳塞的处理器201可以打开受话器205。在一些实施例中,该耳塞还可以包括骨传导传感器,结合成骨传导耳机。该骨传导传感器可以获取声部振动骨块的振动信号,处理器201解析出语音信号,实现语音信号对应的控制功能。在另一些实施例中,该耳塞还可以包括触摸传感器或压力传感器,分别用于检测用户的触摸操作和按压操作。在另一些实施例中,该耳塞还可以包括指纹传感器,用于检测用户指纹,识别用户身份等。在另一些实施例中,该耳塞还可以包括环境光传感器,耳塞的处理器201可以根据该环境光传感器感知的环境光的亮度,自适应调节一些参数,如音量大小。
无线通信模块204,用于支持TWS耳机的左耳塞和右耳塞之间,以及耳塞与各种电子设备,如上述电子设备102之间的短距离数据交互。在一些实施例中,该无线通信模块204可以为蓝牙收发器。TWS耳机的耳塞可以通过该蓝牙收发器与上述电子设备102之间建立蓝牙连接,以实现两者之间的短距离数据交互。
受话器205,也可以称为“听筒”,可以用于将音频电信号转换成声音信号并播放。例如,当TWS耳机的耳塞作为上述电子设备102的音频输出设备时,受话器205可以将接收到的音频电信号转换为声音信号并播放。
麦克风206,也可以称为“话筒”,“传声器”,用于将声音信号转换为音频电信号。例如,当TWS耳机的耳塞作为上述电子设备102的音频输入设备时,在用户说话(如通话或发语音消息)时,麦克风206可以采集用户的声音信号,并将其转换为音频电信号。上述音频电信号即为本实施例中的音频数据。
电源207,可以用于向TWS耳机的耳塞包含的各个部件供电。在一些实施例中,该电源207可以是电池,如可充电电池。
通常,TWS耳机会配有一耳机盒(如,图3中所示的301)。如图3所示,该耳机盒301可以包括腔体301-1和盒盖301-2。腔体301-1可以用于收纳TWS耳机的左耳塞和右耳塞。如结合图1,如图3所示,耳机盒301的腔体301-1可以用于收纳TWS耳机的左耳塞101-1和右耳塞101-2。另外,该耳机盒301还可以为TWS耳机的左耳塞和右耳塞充电。相应的,在一些实施例中,上述TWS耳机的耳塞还可以包括:输入/输出接口208。
输入/输出接口208可以用于提供TWS耳机的耳塞与耳机盒(如上述耳机盒301的腔体301-1)之间的任何有线连接。在一些实施例中,输入/输出接口208可以为电连接器。例如,当TWS耳机的耳塞置于耳机盒301的腔体301-1中时,TWS耳机的耳塞可以通过该电连接器与耳机盒301(如与耳机盒301的输入/输出接口)电连接。在该电连接建立后,耳机盒301可以为TWS耳机的耳塞的电源207充电。在该电连接建立后,TWS耳机的耳塞还可以与耳机盒301进行数据通信。例如,TWS耳机的耳塞的处理器201可以通过该电连接接收来自耳机盒301的配对指令。该配对命令用于指示TWS耳机的耳塞的处理器201打开无线通信模块204,从而使得TWS耳机的耳塞可以采用对应的无线通信协议(如蓝牙)与电子设备102进行配对。
当然,上述TWS耳机的耳塞还可以不包括输入/输出接口208。在这种情况下,耳塞可以基于通过上述无线通信模块204与耳机盒301建立的蓝牙连接,实现充电或者数据通信功能。
另外,在一些实施例中,耳机盒(如上述耳机盒301)还可以包括处理器,存储器等部件。该存储器可以用于存储应用程序代码,并由耳机盒301的处理器来控制执行,以实现耳机盒301的功能。例如。当用户打开耳机盒301的盒盖301-2时,耳机盒301的处理器通过执行存储在存储器中的应用程序代码,可以响应于用户打开盒盖301-2的操作向TWS耳机的耳塞发送配对命令等。
可以理解的是,本实施例示意的结构并不构成对TWS耳机的耳塞的具体限定。其可以具有比图2中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。例如,该耳塞还可以包括指示灯(可以指示耳塞的电量等状态)、防尘网(可以配合听筒使用)等部件。图2中所示出的各种部件可以在包括一个或多个信号处理或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
需要说明的是,TWS耳机的左耳塞和右耳塞的结构可以相同。例如,TWS耳机的左耳塞和右耳塞可以都包括图2中所示的部件。或者,TWS耳机的左耳塞和右耳塞的结构也可以不同。例如,TWS耳机的一个耳塞(如右耳塞)可以包括图2中所示的部件,而另一个耳塞(如左耳塞)可以包括图2中除麦克风206之外的其他的部件。
请参考图4,为本申请实施例提供的一种图1所示的蓝牙音频系统中的电子设备102的结构示意图。如图4所示,电子设备102可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identificationmodule,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本实施例示意的结构并不构成对电子设备102的具体限定。在另一些实施例中,电子设备102可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备102的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备102的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备102的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备102的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备102充电,也可以用于电子设备102与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备102的结构限定。在另一些实施例中,电子设备102也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备102的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备102的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备102中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备102上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备102上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(Bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。
无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备102的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备102可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。例如,在本实施例中,电子设备102可以利用无线通信模块160,通过无线通信技术,如蓝牙(BT)与外围设备建立蓝牙连接。基于建立的蓝牙连接,电子设备102可以向外围设备发送音频数据,还可以接收来自外围设备的音频数据。
电子设备102通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备102可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备102可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备102可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备102在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备102可以支持一种或多种视频编解码器。这样,电子设备102可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备102的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备102的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备102的各种功能应用以及数据处理。例如,在本实施例中,处理器110可以通过执行存储在内部存储器121中的指令,通过无线通信模块160与外围设备建立蓝牙连接,以及与外围设备进行短距离数据交互,以通过外围设备实现通话、播放音乐等功能。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备102使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universalflash storage,UFS)等。在本实施例中,在电子设备102与外围设备之间采用无线通信技术,如蓝牙建立了蓝牙连接后,电子设备102可以将外围设备的蓝牙地址存储在内部存储器121中。在一些实施例中,当外围设备为包含两个主体的设备,如TWS耳机时,TWS耳机的左耳塞和右耳塞分别有各自的蓝牙地址,电子设备102可以将TWS耳机的左耳塞和右耳塞的蓝牙地址关联存储在内部存储器121中。
电子设备102可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备102可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备102接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备102可以设置至少一个麦克风170C。在另一些实施例中,电子设备102可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备102还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
在本实施例中,当电子设备102与外围设备,如TWS耳机建立了蓝牙连接时,TWS耳机可以作为电子设备102的音频输入/输出设备使用。示例性的,音频模块170可以接收无线通信模块160传递的音频电信号,实现通过TWS耳机接听电话、播放音乐等功能。例如,在用户打电话的过程中,TWS耳机可以采集用户的声音信号,并转换为音频电信号后发送给电子设备102的无线通信模块160。无线通信模块160将该音频电信号传输给音频模块170。音频模块170可以将接收到的音频电信号转换为数字音频信号,并进行编码后传递至移动通信模块150。由移动通信模块150传输至通话对端设备,以实现通话。又例如,用户在使用电子设备102的媒体播放器播放音乐时,应用处理器可以将媒体播放器播放的音乐对应的音频电信号传输至音频模块170。由音频模块170将该音频电信号传输至无线通信模块160。无线通信模块160可以将音频电信号发送给TWS耳机,以便TWS耳机将该音频电信号转换为声音信号后播放。在一些实施例中,音频电信号可以为本实施例中的音频数据。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备102根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备102根据压力传感器180A检测所述触摸操作强度。电子设备102也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备102的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备102围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备102抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备102的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备102通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备102可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备102是翻盖机时,电子设备102可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备102在各个方向上(一般为三轴)加速度的大小。当电子设备102静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备102可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备102可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备102通过发光二极管向外发射红外光。电子设备102使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备102附近有物体。当检测到不充分的反射光时,电子设备102可以确定电子设备102附近没有物体。电子设备102可以利用接近光传感器180G检测用户手持电子设备102贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备102可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备102是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备102可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备102利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备102执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备102对电池142加热,以避免低温导致电子设备102异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备102对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备102的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备102可以接收按键输入,产生与电子设备102的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备102的接触和分离。电子设备102可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备102通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备102采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备102中,不能和电子设备102分离。
在BLE的ISO信道定义的传输机制中,定义了CIG,CIG是组的概念,可以包括多个CIS。一个主设备通过CIG中的多个CIS可以向多个从设备发送音频数据。多个CIS与多个从设备一一对应。且这多个CIS可以共享相同CIG同步点和CIG播放点。在本实施例中,多个从设备能够基于同步的音频时钟和同步的蓝牙时钟确定出CIG同步点和CIG播放点,从而可以利用确定出的CIG同步点和CIG播放点实现音频数据的播放级同步。
另外,为了使上述音频数据能够采用蓝牙技术在设备之间进行传输,采用蓝牙通信的设备(如上述电子设备102和外围设备101)需要遵循一定的蓝牙传输框架。图5为本申请实施例提供的一种蓝牙传输框架的组成示意图。如图5所示,该蓝牙传输框架可以包括应用(application)层、主机(host)、主机控制器接口(host controller interface,HCI)以及控制器(controller)。
其中,应用层可以包括电话应用,多媒体应用(如音乐播放器,视频播放器)等应用程序。
主机可以包括蓝牙的各种应用规范(profile)以及传输协议。如,免提规范(handsfree profile,HFP),高级音频传送规范(advanced audio distribution profile,A2DP),音频/视频遥控规范(audio/video remote control profile,AVRCP),通用接入规范(generic access profile,GAP),通用属性规范(generic attribute profile,GATT),音视频分发传输协议(audio/video distribution transport protocol,AVDTP),音视频控制传输协议(audio/video control transport protocol,AVCTP),服务发现协议(servicediscover protocol,SDP),串口仿真协议(radio frequency communications protocol,RFCOMM),逻辑链路控制与适配协议(logical link control and adaptation protocol,L2CAP)。互相操作的设备需要使用相同的应用规范才能实现通信。不同的应用需要使用不同的应用规范。
HCI位于主机和控制器之间,可以为上层协议提供进入控制器中的链路层的统一接口和进入控制器中的基带的统一方式。
控制器可以包括链路层(link layer,LL),基带(baseband),以及无线射频(蓝牙射频)单元等。其中,链路层负责管理设备之间的通信,实现链路的建立、验证、链路配置等操作。基带主要进行射频信号与数字或语音信号的相互转化,实现基带协议和其它的底层连接规程。无线射频单元用于发射和接收蓝牙信号。在一些实施例中,主机可以实现于设备的AP中。控制器可以实现于设备的蓝牙芯片中。在另一些实施例中,主机和控制器可以实现于设备的同一个处理器或控制器中,此时HCI是可选的。
在本实施例中,电子设备与多个蓝牙设备(该多个蓝牙设备可以是多个外围设备,该多个蓝牙设备也可以是一个外围设备的多个主体)建立了无线连接的情况下,电子设备可以基于与每个蓝牙设备之间建立的无线连接,向多个蓝牙设备中的每个蓝牙设备发送包含音频数据的数据包。该数据包中还可以包括该数据包的音频时间戳和初始蓝牙时间戳。多个蓝牙设备可以根据数据包中的音频时间戳和初始蓝牙时间戳确定出音频数据的CIG播放点,并根据确定出的CIG播放点进行音频数据的播放,以实现音频数据的播放级同步。
为了便于理解,以下实施例结合图5所示的蓝牙传输框架,并以电子设备为手机,蓝牙设备为外围设备的主体,如外围设备为TWS耳机,TWS耳机包括两个耳机主体,分别为左耳塞和右耳塞为例,对本实施例提供的音频数据的同步方法进行详细介绍。其中,左耳塞可以是本申请中的第一耳塞,右耳塞可以是本申请中的第二耳塞;或者,右耳塞可以是本申请中的第一耳塞,左耳塞可以是本申请中的第二耳塞。
TWS耳机的左耳塞和右耳塞分别与手机进行蓝牙配对。
示例性的,当用户希望使用TWS耳机时,可打开TWS耳机的耳机盒的盒盖。TWS耳机的左耳塞和右耳塞自动开机,或被按下功能键后开机。若左耳塞和右耳塞之前没有完成蓝牙配对,左耳塞和右耳塞可自动进行蓝牙配对,或者左耳塞和右耳塞在被按下配对功能键后进行蓝牙配对。若左耳塞和右耳塞之前已完成了蓝牙配对,则蓝牙配对过程可省略。在蓝牙配对完成后,TWS耳机的左耳塞和右耳塞之间可以建立蓝牙连接。然后,TWS耳机的左耳塞和右耳塞中的任一耳塞(如右耳塞)可对外发送配对广播。如果手机已经打开了蓝牙功能,则手机可以接收到该配对广播并提示用户已经扫描到相关的蓝牙设备(如TWS耳机)。当该TWS耳机作为连接设备在手机上被选中后,手机可与TWS耳机的右耳塞进行蓝牙配对。当然,如果手机与TWS耳机的右耳塞之前已完成了蓝牙配对,则蓝牙配对过程可省略。也就是说,手机在接收到上述配对广播后,可自动与右耳塞进行蓝牙配对。
在右耳塞与手机完成蓝牙配对后,右耳塞可以通过与左耳塞之间的蓝牙连接,向左耳塞发送手机的蓝牙地址,并通知左耳塞对外发送配对广播。这样,手机可以接收左耳塞发送的配对广播并与左耳塞进行蓝牙配对。
在一些实施例中,TWS耳机的右耳塞还可以向手机发送左耳塞的蓝牙地址,以向手机指示左耳塞与右耳塞是同一个外围设备的两个主体。在后续有音频数据需要传输给TWS耳机的左耳塞和右耳塞时,手机可以通过同一个CIG中的两个CIS分别向右耳塞与左耳塞传输音频数据,以便能够实现右耳塞与左耳塞之间音频数据的播放级同步。
需要说明的是,上述对TWS耳机的左耳塞和右耳塞分别与手机进行蓝牙配对的过程仅是一种示例。在一些实施例中,手机也可以先和TWS耳机的左耳塞进行蓝牙配对,然后左耳塞通过向右耳塞发送手机的蓝牙地址,并通知右耳塞对外发送配对广播,以使得右耳塞与手机进行蓝牙配对。在另外一些实施例中,TWS耳机的左耳塞和右耳塞在开机后可以分别对外发送配对广播,以便于左耳塞和右耳塞能够分别与手机进行蓝牙配对。另外,在本申请实施例中,TWS耳机的左耳塞或右耳塞对外发送配对广播的触发条件,可以是TWS耳机的耳机盒的盒盖被打开,或者是TWS耳机的左耳塞和右耳塞蓝牙配对完成,或者,TWS耳机的左耳塞或右耳塞被拿出耳机盒,或者是配对功能键被按下,还可以是其他的触发条件。其中,所述的配对功能键可以设置在TWS耳机的耳机盒上,如TWS耳机的耳机盒上配置有配对功能键,当该配对功能键被按下时,TWS耳机的左耳塞或右耳塞可对外发送配对广播。配对功能键也可以设置在TWS耳机的左右耳塞上,如,TWS耳机的左耳塞和/或右耳塞上配置有配对功能键,在该配对功能键被按下时,对应的耳塞对外发送配对广播。
在手机与TWS耳机的左耳塞和右耳塞进行蓝牙配对后,手机可以分别与TWS耳机的左耳塞和右耳塞建立ACL链路。
例如,手机可以与左耳塞建立ACL链路1,手机可以与右耳塞建立ACL链路2。以手机与左耳塞建立ACL链路1为例。手机可以向左耳塞发送建立ACL链路的请求。左耳塞接收到建立ACL链路的请求后应答。手机接收到左耳塞的应答后,ACL链路1建立完成。其中,ACL链路1可以是本申请中的第一ACL链路,ACL链路2可以是本申请中的第二ACL链路。
手机与TWS耳机进行参数协商,并依据协商结果进行CIG参数的配置。
示例性的,由于用于传输不同音频业务的音频数据的CIG的参数(如称为CIG参数)可能是不同的。为了适配不同音频业务的音频数据的传输,在手机确定有音频数据要传输(如,手机确定有音频业务开启)时,手机可以与TWS耳机的左耳塞和右耳塞,或者与TWS耳机的左耳塞和右耳塞中的一个耳塞进行参数协商。手机根据参数协商的结果可以确定出能够适配该音频业务的CIG参数。该CIG参数可以用于建立CIG中的CIS,以用于相关音频数据的传输。例如,上述参数协商可以包括以下一项或多项:服务质量(quality of service,QoS)参数的协商、编码(codec)参数的协商、CIS参数的协商。相应的,手机确定出的CIG参数可以包括以下一项或多项:QoS参数、codec参数、CIS参数。
其中,QoS参数可以包括时延、丢包率、吞吐量等表示传输质量的参数。codec参数可以包括编码方式、压缩率等影响音频质量的参数。CIS参数可以包括锚点(anchorpoint)、ISO间隔(interval)、CIS的标识(dentify,ID)等等。CIG可以包括多个CIG事件(CIG_event)。锚点是对应CIG事件的开始时间点。ISO间隔是两个连续的锚点之间的时间。每个CIG事件在时间上归属于一个ISO间隔。
在一些实施例中,上述参数协商过程可以基于手机与TWS耳机的左右耳塞之间建立的ACL链路来实施。例如,以手机通过与TWS耳机的左耳塞和右耳塞中的一个耳塞(如左耳塞)进行参数协商以确定CIG参数为例,参数协商的具体过程可以是:手机通过ACL链路1向左耳塞发送参数协商消息。该参数协商消息可以携带与当前开启的音频业务对应的CIG参数。在一些实施例中,与当前开启的音频业务对应的CIG参数可以是预定义的。左耳塞通过ACL链路1接收到手机发送的参数协商消息。如果左耳塞同意该参数协商消息中携带的CIG参数,则可以向手机返回确认消息;如果左耳塞不同意该参数协商消息中携带的参数或同意该参数协商消息中携带的部分参数,则可以向手机返回继续协商消息,以便与手机继续进行参数协商,直到左耳塞向手机返回确认消息。手机通过ACL链路1接收左耳塞返回的确认消息。手机根据该确认消息获得与左耳塞的参数协商结果。这样,手机根据参数协商结果,便可以确定出能够适配该音频业务的音频数据传输的CIG参数。
在手机确定出能够适配音频业务的音频数据传输的CIG参数后,可以根据确定出的CIG参数进行CIG参数的配置。例如,结合上述图5所示的音频传输框架,CIG参数的配置流程可以是:手机的host设置CIG参数。如,手机的host可以通过HCI向手机的LL发送HCI指令“低功耗CIG参数设置(LE Set CIG parameters)”。手机的LL接收到该HCI指令后,可以向手机的host返回响应消息,如“命令完成(command complete)”。手机的host发起CIS的创建。如手机的host可以通过HCI向手机的LL发送HCI指令“低功耗CIS创建(LE createCIS)”。手机的LL接收到该HCI指令后,可以向手机的host返回响应消息,如“HCI命令状态(HCIcommand status)”。至此,CIG参数的配置完成。
手机通过与左右耳塞之间的ACL链路,分别与TWS耳机的左耳塞和右耳塞建立CIS。
在CIG参数配置完成后,手机可以根据配置的CIG参数,通过与左耳塞和右耳塞之间的ACL链路,分别与TWS耳机的左耳塞和右耳塞建立CIS。例如,手机可以与左耳塞建立CIS1,与右耳塞建立CIS 2。该CIS1和该CIS 2包含于同一个CIG中。其中,CIS 1可以是本申请中的第一CIS,CIS 2可以是本申请中的第二CIS。
其中,手机与左耳塞建立CIS 1,手机与右耳塞建立CIS 2的流程具体的可以参见图6所示。结合图5所示的音频传输框架,以手机与左耳塞建立CIS 1为例。手机与左耳塞建立CIS1的过程可以包括:
步骤601:手机的LL可以通过ACL链路1向左耳塞的LL发送CIS建立请求消息,如空口请求消息LL_CIS_REQ。该CIS建立请求消息可以用于向左耳塞的LL请求创建CIS。
步骤602:左耳塞的LL可以通过ACL链路1向手机的LL发送CIS建立响应消息,如空口响应消息LL_CIS_RSP。该CIS建立响应消息可以用于向手机指示左耳塞同意CIS的建立。
在一些实施例中,左耳塞的LL在接收到手机的LL发送的CIS建立请求消息后,左耳塞的LL可以向左耳塞的host发起CIS的创建请求。如左耳塞的LL可以通过HCI向左耳塞的host发送HCI指令“低功耗CIS请求(LE CIS request)”。左耳塞的host可以接受左耳塞的LL的CIS创建请求。如左耳塞的host可以通过HCI向左耳塞的LL发送HCI指令“低功耗CIS接受(LE accept CIS)”。左耳塞的LL接收到该HCI指令后,可以向手机的LL发送上述CIS建立响应消息。左耳塞的LL接收到该HCI指令后,还可以向左耳塞的host返回响应消息,如“命令状态(command status)”。
步骤603:手机的LL可以通过ACL链路1向左耳塞的LL发送CIS建立消息,如空口通知消息LL_CIS_IND。该CIS建立消息可以用于通知左耳塞的LL CIS完成建立。
另外,手机的LL还可以通过HCI向手机的host发送HCI指令“低功耗CIS建立(LECIS establish)”,以通知手机的host CIS完成建立。左耳塞的LL还可以通过HCI向左耳塞的host发送HCI指令“LE CIS establish”,以通知左耳塞的host CIS完成建立。这样,手机与左耳塞之间的CIS 1建立完成。类似的,如图6所示,手机可以与右耳塞执行步骤604,步骤605,步骤606(步骤604-步骤606的描述分别与上述步骤601-步骤603的描述类型,此处不再详细赘述),以便完成手机与右耳塞之间CIS 2的建立。至此,手机与TWS耳机的左右耳塞之间的两个CIS便建立完成。
在手机与TWS耳机的左右耳塞之间的CIS(即上述CIS 1和CIS 2,该CIS 1和CIS 2归属于同一个CIG)建立完成后,手机可以通过CIS 1和CIS 2分别向TWS耳机的左耳塞和右耳塞传输音频数据。TWS耳机的左耳塞和右耳塞可以分别通过CIS 1和CIS 2接收来自手机的音频数据。TWS耳机的左耳塞和右耳塞还可以基于同步的音频时钟和同步的蓝牙时钟确定出CIG同步点和CIG播放点,并根据确定出的CIG同步点和CIG播放点实现音频数据的播放级同步。
以下继续结合图5所示的音频传输框架,对手机向TWS耳机的左耳塞和右耳塞发送音频数据,以及TWS耳机的左耳塞和右耳塞实现音频数据的播放级同步的过程进行详细说明。如图6所示,该方法还可以包括:
步骤607:手机获取数据包,该数据包中包括待传输的音频数据。
在一些实施例中,如图6所示,步骤607具体的可以是:手机的host可以对待传输的音频数据进行编码处理。手机的host可以将进行编码后的音频数据通过HCI传输至手机的LL。手机的LL接收到该数据后,手机的LL所在的控制器可以为该数据增加帧头(frameheader),帧尾(frame tail),前导(preamble)等字段中的一个或多个字段。这样,手机便获取到数据包。
步骤608:手机通过与TWS耳机的左耳塞和右耳塞之间的CIS,分别向左耳塞和右耳塞发送上述数据包。
例如,在手机获取到数据包后,手机的LL可以通过CIS 1向TWS耳机的左耳塞的LL发送该数据包,通过CIS2向TWS耳机的右耳塞的LL发送该数据包。
步骤609:TWS耳机的左耳塞确定数据包中音频数据的CIG播放点。
步骤610:TWS耳机的右耳塞确定数据包中音频数据的CIG播放点。
在一些实施例中,根据BLE的ISO信道定义的传输机制,音频数据的CIG播放点可以根据CIG同步点和播放时延(presentation delay)确定,例如,如公式(1)所示。其中,Render_m_n用于表示音频数据的CIG播放点。SYNC_m_n表示CIG同步点。Presentation_delay表示播放时延。m表示包含该音频数据的数据包是蓝牙时钟上的第m个数据包。n表示包含该音频数据的数据包是音频时钟上的第n个数据包。m与n可以相同,也可以不同。
Render_m_n=SYNC_m_n+Presentation_delay 公式(1)
另外,为了TWS耳机的左耳塞和右耳塞能够实现音频数据的播放级同步,则在确定上述CIG同步点时需要考虑音频时钟的同步以及蓝牙时钟的同步。
在本实施例中,音频时钟可以用音频时间戳(audiotime stamp,ATS)来表示,蓝牙时钟可以用蓝牙时间戳(Bluetoothtime stamp,BTS)来表示。例如,BTS_m为包含该音频数据的数据包的蓝牙时间戳。ATSn为包含该音频数据的数据包的音频时间戳。对于ATSn和BTSm,在本实施例中,可以虚拟一个公共时钟,作为基准的参考时间。那么,ATSn可以根据以下公式确定:
其中,TimeoffsetATS为音频时钟相对于公共时钟的起始偏移量。sample_num(i)为数据包的采样点数。fs为采样频率。
BTSm可以根据以下公式确定:
其中,TimeoffsetBTS为蓝牙时钟相对于公共时钟的起始偏移量。Iso_interval(i)为两个连续的锚点(anchor point)之间的时间。手机与TWS耳机的左耳塞和右耳塞之间建立的CIS所归属的CIG可以包括多个CIG事件(CIG_event),每个CIG事件的开始时间点为一个锚点。两个连续的锚点之间的时间也可以理解为两个连续的CIG事件的开始时间点之间的时间。
如果假设蓝牙时钟和音频时钟的起点对齐,也就是说,可以假设TimeoffsetBTS=0,Timeoffset4TS=0。结合图7所示的音频数据的传输原理示意图可知:CIG同步点,即SYNC_m_n可以根据在以蓝牙时钟为参考的前提下包含音频数据的数据包的音频时间戳和传输时延确定,例如,如公式(2)所示。其中,ATS_m_n为在以蓝牙时钟为参考的前提下包含音频数据的数据包的音频时间戳。transport_delay为传输时延。
SYNC_m_n=ATS_m_n+transport_delay 公式(2)
其中,考虑到数据传输的起始点可能不是BTS=0,也就是说,允许数据从Init_BTS开始传输,也就是说,在手机与TWS耳机的左右耳塞建立了CIS后,第一个数据包是从nit_BTS开始传输的,因此,可以约定ATS_m_n可以根据以下公式(3)确定。
ATS_m_n=Init_BTS+ATS_n 公式(3)
其中,Init_BTS(在实施例中,Init_BTS可以称为初始蓝牙时间戳)为第一个数据包的蓝牙时间戳(第一个数据包在音频时钟上的ATS=0),ATS_n为在音频时钟上的第n个数据包的音频时间戳。
根据上述公式(1),公式(2)和公式(3)可以得到的是:音频数据的CIG播放点,即Render_m_n可以根据下述公式(4)确定。根据公式(4)可知,在确定上述CIG播放点时也是需要考虑音频时钟的同步以及蓝牙时钟的同步的。
Render_m_n=Init_BTS+transport_delay+ATS_n+Presentation_delay
公式(4)
由上述公式(4)可知,TWS耳机的左耳塞和右耳塞要实现音频数据的播放级同步,即要确定出Render_m_n,需要分别获知以下参数:
参数(1):传输时延transport_delay。
参数(2):播放时延Presentation_delay。
参数(3):第一个数据包的蓝牙时间戳Init_BTS。
以及参数(4):包含该音频数据的数据包的音频时间戳ATS_n。
对于上述参数(1)和上述参数(2):
在一些实施例中,传输时延transport_delay和播放时延Presentation_delay可以在手机与TWS耳机的左耳塞和右耳塞建立CIS时,由手机分别发送给TWS耳机的左耳塞和右耳塞。例如,结合图6,手机可以在与左耳塞建立CIS 1的过程中,将传输时延transport_delay和播放时延Presentation_delay发送给左耳塞,如携带在步骤601的空口请求消息LL_CIS_REQ中发送给左耳塞。手机可以在与右耳塞建立CIS 2的过程中,将传输时延transport_delay和播放时延Presentation_delay发送给右耳塞,如携带在步骤604的空口请求消息LL_CIS_REQ中发送给右耳塞。
对于上述参数(3)和上述参数(4):
在一些实施例中,Init_BTS和ATS_n可以由手机在传输给该TWS耳机的左耳塞和右耳塞的数据包中携带。例如,在步骤607中,手机的host对待传输的音频数据进行编码处理后,还可以给进行编码处理后的音频数据增加包头。如,增加包头后的编码音频数据可以称为编码数据包,或称为载荷(playload)。在本实施例中,该包头中可以包括ATS_n和Init_BTS。以该数据包是音频时钟上的第n个数据包为例,该数据包的音频时间戳可以用ATS_n表示。然后,手机的host可以将该编码数据包传输给手机的LL。手机的LL接收到该编码数据包后,该LL所在的控制器可以为该编码数据包增加上述帧头,帧尾,前导等字段中的一个或多个字段,以获得数据包。例如,该数据包的结构可以如图8所示,该数据包依次包括:前导,帧头,包头,音频数据和帧尾。
其中,在一些实施例中,上述Init_BTS可以表示为ISO事件计数(ISO eventcounter)。在一些实施例中,结合上述ATSn的计算公式,在假设蓝牙时钟和音频时钟的起点对齐,也就是说,假设TimeoffsetBTS=0,TimeoffsetATS=0的情况下,上述ATS_n可以以脉冲编码调制(pulse code modulation,PCM)样本(sample)来计数,或者,还可以以蓝牙时钟为单位计数。以ATS_n以PCM sample计数为例,音频时间戳ATS代表的是样点数,每个数据包的ATS的取值为前面所有数据包的采样点数之和。如果以0开始计数,即如果第一个数据包的ATS(即ATS_1)为0,第二个数据包的ATS(即ATS_2)为第一个数据的样点数,第三个数据包的ATS(即ATS_3)为第一个数据包和第二个数据包的采样点数之和。以此类推,第n个数据包的ATS(即ATS_n)为前n-1个数据包的采样点数之和。手机可以根据PCM样本计数来获得当前传输的数据的ATS(如ATS_n),并携带在数据包中发送给TWS耳机的左右耳塞。TWS耳机的左耳塞和右耳塞根据获得的ATS(如ATS_n),并结合采样频率fs(如16ksps,32ksps,44.1ksps,48ksps,96ksps)便可以计算出每个数据包的音频时间。
在另外一些实施例中,上述Init_BTS也可以不是由手机携带在数据包中通知TWS耳机的左右耳塞的。而是TWS耳机的左右耳塞根据自身维护的ISO事件计数(ISO eventcount)获得。在一些实施例中,手机可以负责ISO event count的维护,并可以通过空口消息通知TWS耳机的左耳塞和右耳塞,以保证TWS耳机的左耳塞和右耳塞的ISO eventcount的同步。示例性的,ISO eventcount可以在手机与TWS耳机的左耳塞和右耳塞建立CIS时,由手机通过空口消息分别发送给TWS耳机的左耳塞和右耳塞。例如,结合图6,手机可以在与左耳塞建立CIS 1的过程中,将ISO event count发送给左耳塞,如携带在步骤603的空口请求消息LL_CIS_IND中发送给左耳塞。手机可以在与右耳塞建立CIS 2的过程中,将ISOeventcount发送给右耳塞,如携带在步骤606的空口请求消息LL_CIS_IND中发送给右耳塞。另外,手机还可以向TWS耳机的左耳塞和右耳塞发送指示值,TWS耳机的左耳塞和右耳塞在接收到ISO event count和指示值后,还可以根据该指示值对该ISO event count进行维护,以继续确保TWS耳机的左耳塞和右耳塞的ISO event count的同步。TWS耳机的左右耳塞可以根据维护的ISO event count获得在蓝牙时钟上第一数据包的蓝牙时间戳,即获得Init_BTS。
另外,在音频时钟和蓝牙时钟基于统一的公共时钟的前提下,根据上述公式(4)可以看到的是,任何数据包,其包含的音频数据的播放时间(即CIG播放点)唯一的和ATS_n,transport_delay以及Presentation_delay有关。也就是说,不论该数据包是在哪个蓝牙时钟的蓝牙时间戳传输的,接收侧设备(如TWS耳机的左右耳塞)接收到数据包的时间以及播放数据包的时间是与传输时的蓝牙时间戳是无关的。ATS_n与实际传输音频数据时的BTS_m是解耦的,即实现了音频时间戳与蓝牙时间戳的解耦。
在另一些实施例中,由于在实际传输时,会存在抖动,可能会出现TWS耳机的左右耳塞确定出的数据包中音频数据的CIG播放点早于当前实际时间的情况,因此,从音频数据播放的连续性要求考虑,音频数据的数据包的蓝牙时间戳与音频时间戳之间的时间偏移,如用timeoffset_m_n表示(timeoffset_m_n=BTSm-ATSn),需要满足以下条件:
条件1:timeoffset_m_n≤transport_delay
条件2:timeoffset_m_n≤Presentation_delay
条件3:timeoffset_m_n≤transport_delay+Presentation_delay
在确保timeoffset_m_n满足以上三个条件的情况下,就可以保证音频数据在播放级别的连续性。
结合以上描述,以TWS耳机的左耳塞确定数据包中音频数据的CIG播放点为例。如图6所示,步骤609具体的可以包括:
左耳塞的LL接收到数据包后,可以将接收到的数据包通过HCI发送给左耳塞的host。左耳塞的host可以对数据包进行解析,以获得数据包的包头中携带的Init_BTS和ATS_n。这样,左耳塞的host根据数据包中携带的Init_BTS和ATS_n,空口请求消息LL_CIS_REQ中携带的transport_delay,便可以计算出数据包的CIG同步点。然后,根据确定出的CIG同步点和空口请求消息LL_CIS_REQ中携带的Presentation_delay便可以确定出音频数据的CIG播放点。
同样的,右耳塞也可以经过上述处理后获得音频数据的CIG播放点。
步骤611:TWS耳机的左耳塞根据确定的CIG播放点播放数据包中音频数据。
步骤612:TWS耳机的右耳塞根据确定的CIG播放点播放数据包中音频数据。
在TWS耳机的左耳塞和右耳塞分别确定出CIG播放点后,便可以在确定的CIG播放点处播放各自接收到的数据包的音频数据。例如,TWS耳机的左耳塞和右耳塞的host在确定出CIG播放点后,可以将CIG播放点和音频数据传输给左耳塞和右耳塞的DSP,由DSP对音频数据进行译码处理后在CIG播放点处进行播放。
采用该技术方案,TWS耳机的左耳塞和右耳塞可以根据同步的蓝牙时钟和同步的音频时钟确定音频数据的CIG同步点和CIG播放点,并利用确定出的CIG播放点实现了音频数据的播放级同步。另外,在本实施例中,蓝牙时钟和音频时钟是解耦独立进行同步的,不需要蓝牙时钟和音频时钟的硬件时钟同步。对于蓝牙时钟,只需在每个数据包中携带第一个数据包的BTS,即Init_BTS,不需要获取每个数据包的BTS,减少负载。对应音频时钟,每个数据包是进行独立标注的,因此,在实现音频数据的播放级同步的同时,还可以支持每个数据包的独立播放。这样,本实施例的技术方案可以适用于单耳塞单独使用,双耳塞同时使用,以及单耳双耳切换等场景中。
在本申请的另一些实施例还提供了一种外围设备,如该外围设备为蓝牙耳机,该蓝牙耳机可以包括至少一个耳塞。如图9所示,该蓝牙耳机的耳塞可以包括:一个或多个处理器901;存储器902;通信接口903;受话器904;麦克风905;以及一个或多个计算机程序906,上述各器件可以通过一个或多个通信总线907连接。其中该一个或多个计算机程序906被存储在上述存储器902中,并被配置为被该一个或多个处理器901执行,该一个或多个计算机程序906包括指令,上述指令可以用于执行如图6相应实施例中耳塞(如左耳塞,右耳塞)执行的各个步骤。当然,图9所示的蓝牙耳机的耳塞还可以包括如传感器等其他器件,本申请实施例对此不做任何限制。当图9所示的耳塞还包括如传感器等其他器件时,其可以为图2所示的耳塞。
本申请另一些实施例还提供了一种电子设备,如图10所示,该电子设备可以包括:触摸屏1001,其中,所述触摸屏1001可以包括触敏表面1006和显示屏1007;一个或多个处理器1002;存储器1003;以及一个或多个计算机程序1004,上述各器件可以通过一个或多个通信总线1005连接。其中该一个或多个计算机程序1004被存储在上述存储器1003中,并被配置为被该一个或多个处理器1002执行,该一个或多个计算机程序1004包括指令,上述指令可以用于执行如图6相应实施例中电子设备执行的各个步骤。当然,图10所示的电子设备还可以如传感器模块、音频模块以及SIM卡接口等其他器件,本申请实施例对此不做任何限制。当图10所示的电子设备还包括如传感器模块、音频模块以及SIM卡接口等其他器件时,其可以为图4所示的电子设备。
本实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中包括指令,当上述指令在电子设备上运行时,使得该电子设备执行图6中的相关方法步骤,以实现上述实施例中的方法。
本实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中包括指令,当上述指令在蓝牙耳机的耳塞上运行时,使得该蓝牙耳机的耳塞执行图6中的相关方法步骤,以实现上述实施例中的方法。
本实施例还提供了一种包含指令的计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行如图6中的相关方法步骤,以实现上述实施例中的方法。
本实施例还提供了一种包含指令的计算机程序产品,当该计算机程序产品在蓝牙耳机的耳塞上运行时,使得该蓝牙耳机的耳塞执行如图6中的相关方法步骤,以实现上述实施例中的方法。
本实施例还提供了一种控制设备,所述控制设备包括处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,所述控制设备执行如图6中的相关方法步骤实现上述实施例中的方法。该控制设备可以是一个集成电路IC,也可以是一个片上系统SOC。其中集成电路可以是通用集成电路,也可以是一个现场可编程门阵列FPGA,也可以是一个专用集成电路ASIC。
本实施例还提供了一种音频数据的同步装置,该装置具有实现上述方法实际中电子设备或蓝牙耳机的耳塞行为的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
其中,本实施例提供的电子设备、蓝牙耳机的耳塞、计算机存储介质、计算机程序产品、控制设备或音频数据的同步装置均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本实施例所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (19)
1.一种音频数据的同步方法,其特征在于,应用于电子设备,所述电子设备分别与第一蓝牙设备和第二蓝牙设备建立无线链接,所述方法包括:
所述电子设备通过第一基于连接的等时音频流CIS,向所述第一蓝牙设备发送数据包;
所述电子设备通过第二CIS,向所述第二蓝牙设备发送所述数据包;所述第一CIS和第二CIS属于同一基于连接的等时流组CIG;
其中,所述数据包包括:音频数据,所述数据包的音频时间戳,以及初始蓝牙时间戳,所述初始蓝牙时间戳为所述电子设备与所述第一蓝牙设备建立所述第一CIS,与所述第二蓝牙设备建立所述第二CIS后传输的数据包的蓝牙时间戳;所述音频时间戳和所述初始蓝牙时间戳用于所述第一蓝牙设备和所述第二蓝牙设备确定CIG播放点,所述CIG播放点是所述第一蓝牙设备和所述第二蓝牙设备播放所述数据包中的音频数据的时间点。
2.根据权利要求1所述的方法,其特征在于,在所述电子设备向所述第一蓝牙设备发送所述数据包,向所述第二蓝牙设备发送所述数据包之前,所述方法还包括:
所述电子设备与所述第一蓝牙设备建立所述第一CIS,与所述第二蓝牙设备建立所述第二CIS。
3.根据权利要求2所述的方法,其特征在于,所述电子设备与所述第一蓝牙设备建立所述第一CIS,与所述第二蓝牙设备建立所述第二CIS,具体包括:
所述电子设备向所述第一蓝牙设备发送CIS建立请求消息,接收所述第一蓝牙设备发送的CIS建立响应消息,向所述第一蓝牙设备发送CIS建立消息;
所述电子设备向所述第二蓝牙设备发送CIS建立请求消息,接收所述第二蓝牙设备发送的CIS建立响应消息,向所述第二蓝牙设备发送CIS建立消息;
其中,所述CIS建立请求消息包括传输时延和播放时延,所述传输时延和所述播放时延用于所述第一蓝牙设备和所述第二蓝牙设备确定所述CIG播放点。
4.根据权利要求2或3所述的方法,其特征在于,在所述电子设备与所述第一蓝牙设备建立所述第一CIS,与所述第二蓝牙设备建立所述第二CIS之前,所述方法还包括:
所述电子设备分别与所述第一蓝牙设备和所述第二蓝牙设备进行配对;
所述电子设备与所述第一蓝牙设备建立第一异步面向连接ACL链路;
所述电子设备与所述第二蓝牙设备建立第二ACL链路;
所述电子设备与所述第一蓝牙设备建立所述第一CIS,与所述第二蓝牙设备建立所述第二CIS,具体包括:
所述电子设备通过所述第一ACL链路与所述第一蓝牙设备建立所述第一CIS,通过所述第二ACL链路与所述第二蓝牙设备建立所述第二CIS。
5.根据权利要求1-3中任一项所述的方法,其特征在于,所述数据包的音频时间戳与所述数据包的蓝牙时间戳之间的时间偏移满足以下条件中的至少一个:小于或等于传输时延,小于或等于播放时延,小于或等于传输时延与播放时延之和。
6.一种音频数据的同步方法,其特征在于,应用于与电子设备建立无线连接的第一蓝牙设备和第二蓝牙设备,所述方法包括:
所述第一蓝牙设备通过第一基于连接的等时音频流CIS,接收来自所述电子设备的数据包;所述第二蓝牙设备通过第二CIS,接收来自所述电子设备的所述数据包;所述数据包包括:音频数据,所述数据包的音频时间戳,以及初始蓝牙时间戳,所述初始蓝牙时间戳为所述电子设备与所述第一蓝牙设备建立所述第一CIS,与所述第二蓝牙设备建立所述第二CIS后传输的数据包的蓝牙时间戳;所述第一CIS和第二CIS属于同一基于连接的等时流组CIG;
所述第一蓝牙设备和所述第二蓝牙设备分别根据所述音频时间戳,所述初始蓝牙时间戳,传输时延和播放时延确定CIG播放点;
所述第一蓝牙设备和所述第二蓝牙设备分别在所述CIG播放点播放所述数据包中的音频数据。
7.根据权利要求6所述的方法,其特征在于,在所述第一蓝牙设备接收来自所述电子设备的所述数据包;所述第二蓝牙设备接收来自所述电子设备的所述数据包之前,所述方法还包括:
所述第一蓝牙设备与所述电子设备建立所述第一CIS,所述第二蓝牙设备与所述电子设备建立所述第二CIS。
8.根据权利要求6所述的方法,其特征在于,所述第一蓝牙设备与所述电子设备建立所述第一CIS,所述第二蓝牙设备与所述电子设备建立所述第二CIS,具体包括:
所述第一蓝牙设备接收来自所述电子设备的CIS建立请求消息,向所述电子设备发送CIS建立响应消息,接收来自所述电子设备的CIS建立消息;
所述第二蓝牙设备接收来自所述电子设备的CIS建立请求消息,向所述电子设备发送CIS建立响应消息,接收来自所述电子设备的CIS建立消息;
其中,所述CIS建立请求消息包括所述传输时延和所述播放时延。
9.根据权利要求7或8所述的方法,其特征在于,在所述第一蓝牙设备与所述电子设备建立所述第一CIS,所述第二蓝牙设备与所述电子设备建立所述第二CIS之前,所述方法还包括:
所述第一蓝牙设备和所述第二蓝牙设备分别与所述电子设备进行配对;
所述第一蓝牙设备与所述电子设备建立第一异步面向连接ACL链路;
所述第二蓝牙设备与所述电子设备建立第二ACL链路;
所述第一蓝牙设备与所述电子设备建立所述第一CIS,所述第二蓝牙设备与所述电子设备建立所述第二CIS,具体包括:
所述第一蓝牙设备通过所述第一ACL链路与所述电子设备建立所述第一CIS,所述第二蓝牙设备通过所述第二ACL链路与所述电子设备建立所述第二CIS。
10.根据权利要求6-8中任一项所述的方法,其特征在于,所述数据包的音频时间戳与所述数据包的蓝牙时间戳之间的时间偏移满足以下条件中的至少一个:小于或等于传输时延,小于或等于播放时延,小于或等于传输时延与播放时延之和。
11.根据权利要求6-8中任一项所述的方法,其特征在于,所述第一蓝牙设备和所述第二蓝牙设备分别根据所述音频时间戳,所述初始蓝牙时间戳,传输时延和播放时延确定CIG播放点,具体包括:
所述第一蓝牙设备根据所述音频时间戳,所述初始蓝牙时间戳和所述传输时延确定CIG同步点,所述第一蓝牙设备根据确定的CIG同步点和所述播放时延确定所述CIG播放点;
所述第二蓝牙设备根据所述音频时间戳,所述初始蓝牙时间戳和所述传输时延确定CIG同步点,所述第一蓝牙设备根据确定的CIG同步点和所述播放时延确定所述CIG播放点。
12.根据权利要求6-8中任一项所述的方法,其特征在于,所述根据所述音频时间戳,所述初始蓝牙时间戳,传输时延和播放时延确定CIG播放点,具体包括:
根据Render_m_n=Init_BTS+transport_delay+ATS_n+Presentation_delay确定所述CIG播放点;
其中,Render_m_n为所述CIG播放点,Init_BTS为所述初始蓝牙时间戳,ATS_n为所述音频时间戳,transport_delay为所述传输时延,Presentation_delay为所述播放时延,m表示包含所述数据包是蓝牙时钟上的第m个数据包,n表示所述数据包是音频时钟上的第n个数据包。
13.一种电子设备,其特征在于,包括:一个或多个处理器、存储器、无线通信模块以及移动通信模块;其中:
所述存储器、所述无线通信模块以及所述移动通信模块与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,所述电子设备执行如权利要求1-5中任一项所述的音频数据的同步方法。
14.一种蓝牙设备,其特征在于,所述蓝牙设备包括:处理器、存储器、无线通信模块、受话器以及麦克风;所述存储器、所述无线通信模块、所述受话器以及所述麦克风与所述处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;
当所述处理器执行所述计算机指令时,所述蓝牙设备执行如权利要求6-12中任一项所述的音频数据的同步方法。
15.一种蓝牙音频系统,其特征在于,所述蓝牙音频系统包括:电子设备,第一蓝牙设备以及第二蓝牙设备;其中:
所述电子设备用于通过第一基于连接的等时音频流CIS,向所述第一蓝牙设备发送数据包,通过第二CIS,向所述第二蓝牙设备发送所述数据包;所述数据包包括:音频数据,所述数据包的音频时间戳,以及初始蓝牙时间戳,所述初始蓝牙时间戳为所述电子设备与所述第一蓝牙设备建立所述第一CIS,与所述第二蓝牙设备建立所述第二CIS后传输的数据包的蓝牙时间戳;所述第一CIS和第二CIS属于同一基于连接的等时流组CIG;
所述第一蓝牙设备用于接收所述数据包,根据所述音频时间戳,所述初始蓝牙时间戳,传输时延和播放时延确定CIG播放点,在所述CIG播放点播放所述数据包中的音频数据;
所述第二蓝牙设备用于接收所述数据包,根据所述音频时间戳,所述初始蓝牙时间戳,传输时延和播放时延确定CIG播放点,在所述CIG播放点播放所述数据包中的音频数据。
16.一种蓝牙芯片,其特征在于,所述蓝牙芯片包括存储器,处理器和射频模块,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;其中:
所述处理器执行所述存储器存储的计算机指令控制所述射频模块通过第一基于连接的等时音频流CIS,向第一蓝牙设备发送数据包,通过所述第二CIS,向第二蓝牙设备发送所述数据包;所述第一CIS和第二CIS属于同一基于连接的等时流组CIG;
所述数据包包括:音频数据,所述数据包的音频时间戳,以及初始蓝牙时间戳,所述初始蓝牙时间戳为电子设备与所述第一蓝牙设备建立所述第一CIS,与所述第二蓝牙设备建立所述第二CIS后传输的数据包的蓝牙时间戳;所述音频时间戳和所述初始蓝牙时间戳用于所述第一蓝牙设备和所述第二蓝牙设备确定CIG播放点,所述CIG播放点是所述第一蓝牙设备和所述第二蓝牙设备播放所述数据包中的音频数据的时间点。
17.一种蓝牙芯片,其特征在于,所述蓝牙芯片包括存储器,处理器和射频模块,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;其中:
所述处理器执行所述存储器存储的计算机指令控制所述射频模块通过基于连接的等时流组CIG的基于连接的等时音频流CIS,接收来自电子设备的数据包;所述数据包包括:音频数据,所述数据包的音频时间戳,以及初始蓝牙时间戳,所述初始蓝牙时间戳为所述CIS建立后传输的数据包的蓝牙时间戳;根据所述音频时间戳,所述初始蓝牙时间戳,传输时延和播放时延确定CIG播放点;以便包括所述蓝牙芯片的受话器在所述CIG播放点播放所述数据包中的音频数据。
18.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-5中任一项所述的音频数据的同步方法。
19.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在蓝牙设备上运行时,使得所述蓝牙设备执行如权利要求6-12中任一项所述的音频数据的同步方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210871663.5A CN115426064A (zh) | 2018-12-28 | 2018-12-28 | 音频数据的同步方法及设备 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201880100553.0A CN113228701B (zh) | 2018-12-28 | 2018-12-28 | 音频数据的同步方法及设备 |
PCT/CN2018/124768 WO2020133183A1 (zh) | 2018-12-28 | 2018-12-28 | 音频数据的同步方法及设备 |
CN202210871663.5A CN115426064A (zh) | 2018-12-28 | 2018-12-28 | 音频数据的同步方法及设备 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880100553.0A Division CN113228701B (zh) | 2018-12-28 | 2018-12-28 | 音频数据的同步方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115426064A true CN115426064A (zh) | 2022-12-02 |
Family
ID=71129430
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880100553.0A Active CN113228701B (zh) | 2018-12-28 | 2018-12-28 | 音频数据的同步方法及设备 |
CN202210871663.5A Pending CN115426064A (zh) | 2018-12-28 | 2018-12-28 | 音频数据的同步方法及设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880100553.0A Active CN113228701B (zh) | 2018-12-28 | 2018-12-28 | 音频数据的同步方法及设备 |
Country Status (2)
Country | Link |
---|---|
CN (2) | CN113228701B (zh) |
WO (1) | WO2020133183A1 (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112771890B (zh) * | 2018-12-07 | 2022-05-10 | 华为技术有限公司 | 一种点对多点的数据传输方法及电子设备 |
BR112021018548A2 (pt) * | 2019-03-18 | 2021-11-30 | Spreadtrum Comm Shanghai Co | Métodos de comunicação, aparelhos de comunicação, grupo de dispositivos, sistema de comunicação e meio de armazenamento legível por computador |
CN112188344B (zh) * | 2020-09-30 | 2023-01-13 | 广州安凯微电子股份有限公司 | Tws耳机及其控制方法 |
CN112367584A (zh) * | 2020-11-06 | 2021-02-12 | 炬芯科技股份有限公司 | 一种蓝牙tws设备的音频播放方法及装置 |
CN114553351B (zh) * | 2020-11-24 | 2023-12-08 | 华为技术有限公司 | 时间同步方法及控制装置、设备、存储介质 |
US11516586B2 (en) * | 2021-01-25 | 2022-11-29 | Dell Products L.P. | Contextual latency configuration for isochronous audio transport |
CN115086922A (zh) * | 2021-03-11 | 2022-09-20 | Oppo广东移动通信有限公司 | 一种蓝牙通信方法、蓝牙设备以及计算机存储介质 |
CN113194528B (zh) * | 2021-03-18 | 2023-01-31 | 深圳市汇顶科技股份有限公司 | 同步控制方法、芯片、电子设备及存储介质 |
CN113613221B (zh) * | 2021-04-26 | 2023-09-08 | 珠海市杰理科技股份有限公司 | Tws主设备、tws从设备、音频设备及系统 |
CN115474180A (zh) * | 2021-06-11 | 2022-12-13 | Oppo广东移动通信有限公司 | 蓝牙耳机盒、无线音频系统、通信方法及装置 |
CN114079898A (zh) * | 2021-07-22 | 2022-02-22 | 珠海市杰理科技股份有限公司 | 双发模式下音频数据通信方法、装置、设备和系统 |
CN115103431A (zh) * | 2022-03-25 | 2022-09-23 | 恒玄科技(上海)股份有限公司 | 一种实现蓝牙耳机设备同步播放的方法及其蓝牙耳机设备 |
CN114745706A (zh) * | 2022-03-31 | 2022-07-12 | 哲库科技(上海)有限公司 | 数据传输方法、装置、电子设备和计算机可读存储介质 |
CN115278624A (zh) * | 2022-07-21 | 2022-11-01 | Oppo广东移动通信有限公司 | 信息更新方法及装置、音频共享方法及系统、电子设备 |
CN116033597B (zh) * | 2022-08-08 | 2023-12-12 | 荣耀终端有限公司 | 蓝牙连接方法、装置、电子设备及存储介质 |
CN115379283A (zh) * | 2022-08-16 | 2022-11-22 | 维沃移动通信有限公司 | 视频通话方法和装置 |
CN115567086B (zh) * | 2022-09-09 | 2024-03-26 | 安克创新科技股份有限公司 | 音频传输设备、音频播放设备和音频传输与同步系统 |
WO2024092129A1 (en) * | 2022-10-27 | 2024-05-02 | Google Llc | Systems and methods for wirelessly providing an audio stream |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI241828B (en) * | 2004-02-18 | 2005-10-11 | Partner Tech Corp | Handheld personal data assistant (PDA) for communicating with a mobile in music-playing operation |
US9693127B2 (en) * | 2014-05-14 | 2017-06-27 | Samsung Electronics Co., Ltd | Method and apparatus for communicating audio data |
JP6511999B2 (ja) * | 2015-07-06 | 2019-05-15 | 株式会社Jvcケンウッド | 頭外定位フィルタ生成装置、頭外定位フィルタ生成方法、頭外定位処理装置、及び頭外定位処理方法 |
US9693180B2 (en) * | 2015-09-12 | 2017-06-27 | Lg Electronics Inc. | Method and apparatus for transmitting and receiving audio streams in wireless communication system |
CN105592568A (zh) * | 2015-12-22 | 2016-05-18 | Tcl通力电子(惠州)有限公司 | 音频播放方法及系统 |
US10148453B2 (en) * | 2016-02-24 | 2018-12-04 | Qualcomm Incorporated | Using update slot to synchronize to Bluetooth LE isochronous channel and communicate state changes |
US10560974B2 (en) * | 2016-09-11 | 2020-02-11 | Lg Electronics Inc. | Method and apparatus for connecting device by using Bluetooth technology |
CN107333339B (zh) * | 2017-05-16 | 2020-09-01 | 恒玄科技(上海)股份有限公司 | 一种双无线耳机之间的音频数据传输方法及双无线耳机 |
-
2018
- 2018-12-28 CN CN201880100553.0A patent/CN113228701B/zh active Active
- 2018-12-28 CN CN202210871663.5A patent/CN115426064A/zh active Pending
- 2018-12-28 WO PCT/CN2018/124768 patent/WO2020133183A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN113228701B (zh) | 2022-08-09 |
WO2020133183A1 (zh) | 2020-07-02 |
CN113228701A (zh) | 2021-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113228701B (zh) | 音频数据的同步方法及设备 | |
CN112789867B (zh) | 一种蓝牙连接方法及设备 | |
CN112640505B (zh) | 一种传输速率的控制方法及设备 | |
CN112313929B (zh) | 一种自动切换蓝牙音频编码方式的方法及电子设备 | |
CN114710768B (zh) | 一种蓝牙回连方法及相关装置 | |
CN112469013B (zh) | 一种蓝牙连接方法及相关装置 | |
CN113039822B (zh) | 一种数据信道的建立方法及设备 | |
CN115665670A (zh) | 无线音频系统、音频通讯方法及设备 | |
CN112740728B (zh) | 一种蓝牙通信方法及电子设备 | |
WO2021013196A1 (zh) | 一种同时响应的方法及设备 | |
CN112469011A (zh) | 一种蓝牙配对方法及相关装置 | |
CN112806092B (zh) | 一种麦克风mic切换方法及设备 | |
CN112771828B (zh) | 一种音频数据的通信方法及电子设备 | |
EP4024916A1 (en) | Bluetooth communication method, and related device | |
CN115119336B (zh) | 耳机连接系统、方法、耳机、电子设备及可读存储介质 | |
CN113678481B (zh) | 无线音频系统、音频通讯方法及设备 | |
CN115525366A (zh) | 一种投屏方法及相关装置 | |
WO2024055881A1 (zh) | 时钟同步方法、电子设备、系统及存储介质 | |
WO2022095581A1 (zh) | 数据传输方法及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |