CN110970040A - 无线蓝牙装置的音频同步方法及无线蓝牙装置 - Google Patents

无线蓝牙装置的音频同步方法及无线蓝牙装置 Download PDF

Info

Publication number
CN110970040A
CN110970040A CN201811141567.5A CN201811141567A CN110970040A CN 110970040 A CN110970040 A CN 110970040A CN 201811141567 A CN201811141567 A CN 201811141567A CN 110970040 A CN110970040 A CN 110970040A
Authority
CN
China
Prior art keywords
audio data
equipment
filling
count value
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811141567.5A
Other languages
English (en)
Other versions
CN110970040B (zh
Inventor
冯国荣
龚玉婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Actions (zhuhai) Technology Co Ltd
Original Assignee
Actions (zhuhai) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Actions (zhuhai) Technology Co Ltd filed Critical Actions (zhuhai) Technology Co Ltd
Priority to CN201811141567.5A priority Critical patent/CN110970040B/zh
Publication of CN110970040A publication Critical patent/CN110970040A/zh
Application granted granted Critical
Publication of CN110970040B publication Critical patent/CN110970040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明实施例提供一种无线蓝牙装置的音频处理方法，包括如下步骤：判断第一设备和第二设备是否有用于解码的音频数据；当所述第一设备和/或第二设备没有可用于解码的音频数据时，由第一设备和/或第二设备构造填充音频数据并计数，所述第一设备构造的填充音频数据的计数值为X，所述第二设备构造的填充音频数据的计数值为Y，并播放所述填充音频数据；所述第一设备和/或所述第二设备获取所述第一设备填充音频数据计数值X和所述第二设备填充音频数据计数值Y；由所述第一设备和/或所述第二设备根据所述X和所述Y进行音频数据同步处理。可以实现TWS蓝牙耳机主机和副机快速同步。

Description

无线蓝牙装置的音频同步方法及无线蓝牙装置
技术领域
本申请涉及音频技术领域，具体涉及一种无线蓝牙装置的音频同步方法及蓝牙装置。
背景技术
TWS(True Wireless Stereo，真实无线立体声)是两套蓝牙播放装置通过蓝牙芯片链接起来，通过手机等装置连接这对音箱，实现真正的蓝牙左右声道无线分离。市面上已经出现了越来越多的TWS蓝牙耳机或蓝牙音箱，如图1所示，为TWS的典型连接模型，手机和主机蓝牙连接，主机和副机蓝牙连接，音频先从手机发送给主机，然后主机再转发给副机，最后主机和副机的音频会一起播放出来。但是在实际的使用中，副机有可能接收不到主机的音频数据，或者无法及时接收主机的音频数据。比如主机或者副机之间有障碍物或者无线干扰，或者主机和副机之间的距离拉远，都会导致主副机无法同步播放。对于这种无法同步播放的场景，需要进行一定的处理，才能保证主机和副机传输正常时能快速恢复同步播放。现有的处理主要有如下两种方式：
(1)丢数据的同步方式
当副机出现数据不足时，说明是主机没有把数据传输过去，此时会进行重传，由于手机端会不停送数据给主机，如果主机一直无法把数据送给副机，主机的缓冲区会溢出，所以主机需要把数据丢掉，一般来说，主机和副机的接收缓冲区的大小主要根据RAM的大小来确定，如果当前系统剩余的RAM多，则分配的多，反之则少。假设缓冲区大小为10k bytes，播放的音频为44.1khz，则缓冲区可以缓存的数据小于250ms。这种同步方式的缺点是副机的阻塞会影响主机的播放，如果主机不丢掉手机传过来的数据，为了避免缓冲区溢出，主机就要把数据播出来，因为主副机是根据实际播放的样本点来进行调节，主机播放了副机没有播放的数据，当传输正常后副机再播放这段数据时，就无法再进行同步播放了。
(2)重启播放的同步方式
这种同步方式是在主副机播放异常的时候用来恢复同步的。如果主副机之间播放的数据不同步了，比如主机无法传数给副机的时候，主机为了避免缓冲区溢出，就需要把数据播放出来，播放出来后主副机之间的数据就不同步了，当副机检测到不同步之后，就通过重启播放来重新对齐。所谓重启播放，指的是副机通知主机，然后主机让自己和副机停止播放，然后主机再通知副机在某个时间点同时播放，相当于重新执行播放流程。这种同步方式虽然简单，但是体验不好，因为由于重启播放需要时间，会造成短暂的播放停顿。
发明内容
有鉴于此，本发明实施例的主要目的在于提供一种无线蓝牙装置的音频处理方法，可以实现如TWS蓝牙耳机左耳机和右耳机快速同步。
本发明实施例是这样实现的，所述无线蓝牙装置包括第一设备和第二设备，所述第一设备与所述第二设备之间通过蓝牙连接；包括如下步骤：
判断所述第一设备和第二设备是否有用于解码的音频数据；
当所述第一设备和/或第二设备没有可用于解码的音频数据时，由第一设备和/或第二设备构造填充音频数据并计数，所述第一设备构造的填充音频数据的计数值为X，所述第二设备构造的填充音频数据的计数值为Y，并播放所述填充音频数据；
所述第一设备和/或所述第二设备获取所述第一设备填充音频数据计数值 X和所述第二设备填充音频数据计数值Y；
由所述第一设备和/或所述第二设备根据所述X和所述Y进行音频数据同步处理。
进一步地，在获取了所述X和Y之后，所述第一设备和所述第二设备的所述填充音频数据计数值清零。
进一步地，所述所述第一设备和/或所述第二设备获取所述第一设备填充音频数据计数值X和所述第二设备填充音频数据计数值Y包括：
所述第一设备向所述第二设备发送第一同步包，所述第一同步包包括第一设备状态信息、所述X和所述第一设备当前解码包号Z；或者
所述第二设备向所述第一设备发送第二同步包，所述第二同步包包括第二设备状态信息、所述Y和所述第二设备当前解码包号W。
进一步地，所述音频数据同步处理包括：音频数据抵消处理或者音频数据补偿处理；
所述音频数据抵消处理，包括：根据所述X和所述Y得到所述第一设备和所述第二设备的偏差音频数据，通过消耗真实音频数据来抵消所述偏差音频数据，实现音频数据同步；
所述音频数据补偿处理，包括：根据所述X和所述Y得到所述第一设备和所述第二设备的偏差音频数据，通过添加虚拟音频数据到播放的数据流里以补偿所述偏差音频数据，实现音频数据同步。
进一步地，所述由所述第一设备或所述第二设备根据所述X和所述Y进行音频数据同步处理包括：
所述第一设备在可用于解码的音频数据充足以及用于播放的音频数据充足的条件下根据所述X和所述Y进行音频数据抵消处理；或者
所述第二设备在可用于解码的音频数据充足以及用于播放的音频数据充足的条件下根据所述X和所述Y进行音频数据抵消处理。
进一步地，所述由所述第一设备或所述第二设备根据所述X和所述Y进行音频数据同步处理包括：
所述第一设备在可用于解码的音频数据小于阈值L且所述第一设备的当前解码包包号大于所述W时根据所述X和所述Y进行音频数据补偿处理；或者
所述第二设备在可用于解码的音频数据小于阈值R且所述第二设备的当前解码包包号大于所述Z时根据所述X和所述Y进行音频数据补偿处理。
进一步地，该方法进一步包括：
动态选择由所述第一设备或所述第二设备获取当前第一设备填充音频数据计数值X和当前第二设备填充音频数据计数值Y，并根据所述X和所述Y进行音频数据同步处理。
进一步地，该方法进一步包括：
根据所述第一设备和所述第二设备的电池电量，选择由所述第一设备或所述第二设备获取当前第一设备填充音频数据计数值X和当前第二设备填充音频数据计数值Y，并根据所述X和所述Y进行音频数据同步处理；或者
根据所述第一设备和所述第二设备的可用于解码的音频数据量，选择由所述第一设备或所述第二设备获取当前第一设备填充音频数据计数值X和当前第二设备填充音频数据计数值Y，并根据所述X和所述Y进行音频数据同步处理；或者
根据所述第一设备和所述第二设备的主从关系，选择由所属第一设备或者所述第二设备获取当前第一设备填充音频数据计数值X和当前第二设备填充音频数据计数值Y，并根据所述X和所述Y进行音频数据同步处理；或者
根据所述X和所述Y的大小，选择由所属第一设备或者所述第二设备获取当前第一设备填充音频数据计数值X和当前第二设备填充音频数据计数值Y，并根据所述X和所述Y进行音频数据同步处理。
进一步地，该方法进一步包括：
所述第一设备为主设备，所述第二设备为从设备；；
当所述第一设备没有可用于解码的音频数据时，由第一设备为自身构造填充音频帧，对所述填充音频帧进行计数，并播放所述填充音频帧；
当所述第二设备没有可用于解码的音频数据时，由第二设备为自身构造填充音频帧，对所述填充音频帧进行计数，并播放所述填充音频帧；
当所述第一设备或所述第二设备恢复有用于解码的音频数据后，由所述第二设备获取当前第一设备填充音频帧计数值X和当前第二设备填充音频帧计数值Y；
所述第二设备将所述Y-X得到m，当所述差值m＞0时，所述第二设备消耗接收到的真实音频帧以磨平第一设备和第二设备的的偏差数据；
当所述差值m≤0时，所述第二设备增加偏差数据的虚拟音频帧到播放的数据流里以补偿第一设备被抵消的多余帧数。
另一方面，本发明实施例还提供一种无线蓝牙装置，可以实现TWS蓝牙耳机左耳机和右耳机快速同步。包括第一设备和第二设备，所述第一设备与所述第二设备之间通过蓝牙连接，所述第一设备包括第一处理器和第一存储器；所述第二设备包括第二处理器和第二存储器，所述第一存储器中存储有上述任何一项所述方法中由第一设备实现的计算机程序；所述第二存储器中存储有权上述任何一项所述方法中由第二设备实现的计算机程序；所述第一处理器用于执行所述第一存储器中的计算机程序；所述第二处理器用于执行所述第二存储器中的计算机程序。
本发明实施例还提供一种无线蓝牙装置，可以实现TWS蓝牙耳机左耳机和右耳机快速同步。包括第一设备和第二设备，所述第一设备与所述第二设备之间通过蓝牙连接；
所述第一设备进一步包括：
第一设备填充音频数据构造装置，用于当第一设备没有可用于解码的音频数据时，构造填充音频数据；
第一设备计数装置，用于对所述第一设备填充音频数据构造装置构造的填充音频数据进行计数，得到计数值X；
所述第二设备进一步包括：
第二设备填充音频数据构造装置，用于当第二设备没有可用于解码的音频数据时，构造填充音频数据；
第二设备计数装置，用于对所述第二设备填充音频数据构造装置构造的填充音频数据进行计数，得到计数值Y；
音频数据同步处理装置，用于根据所述Y和所述X的数量，进行音频数据同步处理。
进一步地，所述音频数据同步处理装置进一步包括抵消处理装置，用于根据所述Y和X的数量，消耗接收到的真实音频数据以磨平第一设备和第二设备的偏差数据。
进一步地，所述音频数据同步处理装置进一步包括虚拟音频数据补偿装置，用于根据所述Y和X的数量，添加虚拟音频数据到播放的数据流里以补偿第一设备和第二设备的偏差音频数据。
进一步地，所述第一设备还包括：音频数据同步处理装置，用于根据所述 Y和所述X的数量，进行音频数据同步处理。
进一步地，所述第一设备和所述第二设备中还包括选择装置，用于选择由所述第一设备或所述第二设备获取当前第一设备填充音频数据计数值X和当前第二设备填充音频数据计数值Y，并根据所述X和所述Y进行音频数据同步处理。
根据上述技术方案，本发明实施例在构造填充音频数据(例如填0帧)的基础上，通过抵消处理或者补偿处理来实现两个蓝牙设备之间的数据同步播放。可以有效解决多种应用场景下的数据不同步甚至断音问题。例如：TWS组队播放时，主机、副机和手机(也可以是平板等蓝牙设备)的相互之间的距离可能是不固定的，主机拉远、副机拉远、手机拉远都是有可能的，这就导致了主副机有的情况下没有数据播放或者播放不同步。本发明实施例通过填0帧的处理，可以有效实现无声同步，并且主机和副机之间可以根据需求自适应的选择由谁来进行同步处理。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了本申请提供的现有技术中TWS的电路框图；
图2示出了本申请提供的音频处理方法的流程图；
图3示出了本申请提供的无线蓝牙装置的电路框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图2所示，本发明实施例的主要目的在于提供一种无线蓝牙装置的音频处理方法，包括如下步骤：
本发明实施例是这样实现的，所述无线蓝牙装置包括第一设备和第二设备，所述第一设备与所述第二设备之间通过蓝牙连接；该方法包括如下步骤：
(S101)判断所述第一设备和第二设备是否有用于解码的音频数据；
(S102)当所述第一设备和/或第二设备没有可用于解码的音频数据时，由第一设备和/或第二设备构造填充音频数据并计数，所述第一设备构造的填充音频数据的计数值为X，所述第二设备构造的填充音频数据的计数值为Y，并播放所述填充音频数据；
(S103)所述第一设备和/或所述第二设备获取所述第一设备填充音频数据计数值X和所述第二设备填充音频数据计数值Y；
(S104)由所述第一设备和/或所述第二设备根据所述X和所述Y进行音频数据同步处理。
下面以对上述流程进行详细说明，上述流程可以应用于TWS设备中，第一设备为蓝牙主机(主设备)，第二设备为蓝牙副机(从设备)，一般情况下，认为提供音频数据的为主设备，需要说明的是，区分主从设备是在特定应用场景下的需求，本专利技术方案不受主从关系的限制。上述音频数据可以以帧为单位，并可以帧为单位进行计数。本实施例中，首先第一设备和第二设备会判断自身是否有可用于解码的音频数据，当第一设备没有用于解码的音频数据时，会为自身构造填充音频数据用于播放，第二设备也是如此，这里的填充音频数据可以是音频数据，也可以是填0帧数据，或者其他噪声数据等。下面以填0 帧为例进行说明，填充0帧将保证第一设备和第二设备的播放是持续进行的，输出端一直都有数据播放，但是填0帧并不是真实音频数据，而是静音数据，是为了保证第一设备和第二设备连续播放而引入的，为第一设备和第二设备的同步播放提供有利条件。此外，第一设备和第二设备的“填0帧”数一般来说是不相等的，假设如下两个场景，第一个场景就是第一设备和第二设备正常播放的时候，把第二设备逐渐拿远，这个时候第二设备就很难接收到第一设备传过来的音频数据了，所以会播放“填0帧”，而第一设备和手机之间的距离很近，所以第一设备是正常播放音频数据的。第二个场景是第一设备和第二设备正常播放的时候，把第一设备逐渐拿远，由于第一设备跟手机的距离与第一设备跟第二设备的距离是不相等的，第一设备跟手机的传输能力与第一设备跟第二设备的传输能力也是不相等的，所以会出现第一设备还有音频数据播放的时候，第二设备就需要播放“填0帧”了。鉴于这些限制，需要做进一步的处理，以确保第一设备和第二设备的传输恢复后可以把第一设备和第二设备的声音尽快同步回来。总结来说，步骤(S102)包括如下三种情况：
(一)所述第一设备有可用于解码的音频数据，所述第二设备没有可用于解码的音频数据，由所述第二设备构造填充音频数据并统计所述第二设备构造的填充音频数据的数量Y，所述第一设备构造的填充音频数据X＝0；
(二)所述第二设备有可用于解码的音频数据，所述第一设备没有可用于解码的音频数据，由所述第一设备构造填充音频数据并统计所述第一设备构造的填充音频数据的数量X，所述第二设备构造的填充音频数据Y＝0；
(三)所述第一设备和第二设备都没有可用于解码的音频数据，由所述第一设备构造填充音频数据并统计所述第一设备构造的填充音频数据的数量X，由所述第二设备构造填充音频数据并统计所述第二设备构造的填充音频数据的数量Y。
在一种实施例中，当第一设备或第二设备任一个恢复数据后，即有用于解码的音频数据后，由第一设备和/或者第二设备来获取当前的所述X和Y，一般情况下，在任一个恢复数据时，可以考虑由副机来获取。例如，由第二设备来获取X和Y，具体做法：当第一设备或第二设备任一个恢复数据时，第一设备发送第一同步包给第二设备，第一同步包包括如下信息：第一设备状态信息、所述X和所述第一设备当前解码包号Z，分别对应zero framepkt，zero frame pkt，数据格式如下所示：
Figure RE-GDA0001843693720000091
第二设备从上述第一同步包中获取当前的X值，并且获取自身当前的Y值。
当然，本发明实施例也可以由第一设备来进行同步处理，这样就由第二设备向所述第一设备发送第二同步包，第二同步包包括第二设备状态信息、所述 Y和所述第二设备当前解码包号W。同理，第一设备从所述第二同步包中获取当前的Y值，并获取自身当前的X值。
在获取了所述X和Y之后，所述第一设备和所述第二设备的所述填充音频数据计数值清零，以便进行下一次的同步。
下面对音频数据同步处理进行详细说明，音频数据同步处理包括但不限于以下几种方式：音频数据抵消处理、音频数据补偿处理。
所述音频数据抵消处理，包括：根据所述X和所述Y得到所述第一设备和所述第二设备的偏差音频数据，通过消耗用于播放的音频数据来抵消所述偏差音频数据，实现音频数据同步；
所述音频数据补偿处理，包括：根据所述X和所述Y得到所述第一设备和所述第二设备的偏差音频数据，通过添加虚拟音频数据到播放的数据流里以补偿所述偏差音频数据，实现音频数据同步。
其中偏差音频数据的获取可以通过X和Y做差得到，也可以通过X和Y 基于更平缓的算法获取。所述真实音频数据是指解码后用于播放的音频数据。所述虚拟音频数据类似于填充音频数据，可以是静音数据，也可以是普通音频数据等。
具体来说，所述第一设备和第二设备构造的填充音频数据的差值为 m＝Y-X，由所述第二设备进行音频数据同步处理；当所述差值m＞0时，在第二设备满足进行抵消处理的条件后，第二设备消耗接收到的真实音频帧以磨平第一设备和第二设备的的偏差数据；
当所述差值m≤0时，所述由所述第二设备进行音频数据同步处理的步骤进一步包括：在第二设备满足进行补偿处理的条件后，第二设备增加偏差数据的虚拟音频帧到播放的数据流里以补偿第一设备被抵消的多余帧数。
所述第一设备和第二设备构造的填充音频数据的差值为m＝X-Y，由所述第一设备进行音频数据同步处理。当所述差值m＞0时，在第一设备满足进行抵消处理的条件后，第一设备消耗接收到的真实音频帧以磨平第一设备和第二设备的的偏差数据；当所述差值m≤0时，在第一设备满足进行补偿处理的条件后，第一设备增加偏差数据的虚拟音频帧到播放的数据流里以补偿第一设备被抵消的多余帧数。
下面以第二设备进行同步处理且填充音频数据为填0帧为例，若m>0，说明第二设备的填0帧数大于第一设备的填0帧数，这样的话，在第二设备满足进行抵消处理的条件后，第二设备就需要消耗接收到的真实音频帧来磨平两边的偏差，若m<＝0，说明第二设备的填0帧数小于等于第一设备的填0帧数，则第二设备需要增加这部分的偏差到播放的数据流里面(插到播放数据流里面的帧为虚拟音频帧)，以补偿第一设备被抵消的多余帧数。这里说的抵消有两个方面的意思，第一就是指第一设备和第二设备公共填0帧数被抵消，比如第一设备填0帧数为100，第二设备填0帧数为90，那么公共填0帧数就是90，直接被抵消后填0帧数偏差为100-90＝10，第二个意思主要是针对填0帧数偏差m，根据m的正负来确定不同的抵消方式，消耗音频帧方式>0以及增加虚拟音频帧的方式≤0。
优选地，在上述实施例的基础上，可以同时由所述第一设备和所述第二设备根据所述X和所述Y进行音频数据同步处理，在实现中可以由其中一个设备进行音频数据抵消处理，而另一个设备进行音频数据补偿处理，这样使得音频数据同步的处理更加快速。
为了避免同步处理过程影响音频播放和导致存储器溢出等的问题，可以选择在满足同步处理条件时才进行同步处理。
进一步地，所述由所述第一设备或所述第二设备根据所述X和所述Y进行音频数据同步处理包括：
所述第一设备在可用于解码的音频数据充足以及用于播放的音频数据充足的条件下根据所述X和所述Y进行音频数据抵消处理；或者
所述第二设备在可用于解码的音频数据充足以及用于播放的音频数据充足的条件下根据所述X和所述Y进行音频数据抵消处理。
本发明还提供一优选实施例，所述由所述第一设备或所述第二设备根据所述X和所述Y进行音频数据同步处理包括：
所述第一设备在可用于解码的音频数据小于阈值L且所述第一设备的当前解码包包号大于所述W时根据所述X和所述Y进行音频数据补偿处理；或者
所述第二设备在可用于解码的音频数据小于阈值R且所述第二设备的当前解码包包号大于所述Z时根据所述X和所述Y进行音频数据补偿处理。
以第二设备进行同步处理为例，对上述实施例进行说明，第二设备需要输入端和输出端数据充足的情况下消耗真实音频帧来抵消填0帧数偏差，对于第二设备来说，数据来源于第一设备，如果数据不足，会导致第二设备无法存够足够的音频数据来进行正常的解码播放，第一设备和第二设备的缓冲区数据量就会失调。另外，还需要第二设备输出端数据充足，消耗真实音频帧来抵消偏差的过程中，是不会有数据进行解码输出，如果输出端数据不足，则在抵消的过程中就会导致断音。这里说的抵消指的是将接收到的音频数据解码出来，如果是正常的音频帧，则舍弃，同时填0帧偏差数也会减去1帧。一般情况下，输入端数据充足的条件是至少音频数据帧数要大于填0帧数的2倍，输出端数据充足的条件是剩余数据可播放时间是抵消1帧填0帧所消耗时间的5倍。
同样第二设备进行虚拟音频帧补偿判断两个主要条件，第一个条件是判断第二设备输入数据是否小于某个阈值L，这个阈值可以根据实验来确定，一般来说这个阈值是动态的，与蓝牙数据的缓存buffer大小有关，一般来说，这个阈值是蓝牙数据缓存buffer的2/3。因为传输正常时，第二设备会不断接收第一设备发过来的数据包，如果在输入端的数据缓存很足的情况下继续播放虚拟音频帧，会导致输入端的缓冲区溢出，因为播放虚拟音频帧的时候真实的音频帧是不会被解码输出的。第二个条件是第二设备的当前解码包号大于第一设备发送过来的解码包号Z，这个条件是为了保证当前播放的时间点已经超过了填0 帧发生的时间点，如果没有超过，会导致第一设备和第二设备之间虽然播放的样本点数一样，但是声音无法对应上。
本发明还提供一优选地实施例，在上述方法和流程中说明了同步处理可以由第一设备或第二设备来完成，本实施例提供一种动态的选择第一设备和第二设备。包括：动态选择由所述第一设备或所述第二设备获取当前第一设备填充音频数据计数值X和当前第二设备填充音频数据计数值Y，并根据所述X和所述Y进行音频数据同步处理。动态选择执行上述同步处理的主体，可以实现更灵活的同步方式，并且带来如功耗、效率等方面的有益效果，例如当第一设备与第二设备谁先满足进行同步的条件就由谁执行。
以下实施例提供一些具体的选择方式，这些选择方式可帮助在设计时更合理的确定执行同步处理的主体，也可用于动态选择模式下根据以下条件来进行选择：
根据所述第一设备和所述第二设备的电池电量，选择由所述第一设备或所述第二设备获取当前第一设备填充音频数据计数值X和当前第二设备填充音频数据计数值Y，并根据所述X和所述Y进行音频数据同步处理。在本实施例中，可以通过对第一设备和第二设备电池电量的监控，通过比较两边的电池电量，合理选择同步的执行主体，例如选择电量高的来执行同步等操作，这样可以均衡消耗第一设备和第二设备的电池电量，提升用户双设备的体验。反之，如果为了提升单设备的续航能力，可以选择电量低的执行同步等操作，电量消耗完以后，另一个设备直接变成单设备来使用。
或者，
根据所述第一设备和所述第二设备的可用于解码的音频数据量，选择由所述第一设备或所述第二设备获取当前第一设备填充音频数据计数值X和当前第二设备填充音频数据计数值Y，并根据所述X和所述Y进行音频数据同步处理。在本实施例中，可以根据第一设备和第二设备中可用于解码的音频数据量来决定由谁执行同步等操作，例如，当第一设备比第二设备更早满足进行同步的条件时，就由第一设备来执行，当第二设备比第一设备更早满足进行同步的调节时，就由第二设备来执行，这样动态选择一定程度上可以提升同步的效率，而该同步条件一般与可用于解码的音频数据量有关。
或者，
根据所述第一设备和所述第二设备的主从关系，选择由所属第一设备或者所述第二设备获取当前第一设备填充音频数据计数值X和当前第二设备填充音频数据计数值Y，并根据所述X和所述Y进行音频数据同步处理。在本实施例中，可以根据设备的主从关系进行同步处理等执行主体的选择，这里的主设备和从设备，可以根据音频数据获取来源来确定，比如第二设备的音频数据来源于第一设备，则认为第一设备为主设备(主机)，第二设备为从设备(副机)，由于从设备的数据来源于主设备，因此从设备比主设备更有可能出现没有可用于解码的音频数据的情况，在某些实施例中将从设备作为上述执行主体有一定优势。此外，对于一些主从关系可能发生变化的应用场景仍然可适用。
或者，
根据所述X和所述Y的大小，选择由所属第一设备或者所述第二设备获取当前第一设备填充音频数据计数值X和当前第二设备填充音频数据计数值Y，并根据所述X和所述Y进行音频数据同步处理。在本实施例中，可以根据X 和Y的大小来选择同步处理等的执行主体，例如当X大于Y，则由第一设备来执行上述同步处理等操作，如当Y大于X，则由第二设备来执行上述同步处理等操作。
根据本发明实施例的另一方面，本发明实施例的还提供一种无线蓝牙装置，可以实现TWS蓝牙耳机的左耳机和右耳机快速同步。包括第一设备和第二设备，所述第一设备与所述第二设备之间通过蓝牙连接，所述第一设备包括第一处理器和第一存储器；所述第二设备包括第二处理器和第二存储器，所述第一存储器中存储有以上无线蓝牙装置的音频处理方法中由第一设备实现的计算机程序；所述第二存储器中存储有以上无线蓝牙装置的音频处理方法中由第二设备实现的计算机程序；所述第一处理器用于执行所述第一存储器中的计算机程序；所述第二处理器用于执行所述第二存储器中的计算机程序。
根据本发明实施例的另一方面，本发明实施例的还提供一种无线蓝牙装置，可以实现TWS蓝牙耳机主机和副机快速同步。如图3所示，该无线蓝牙装置包括第一设备1和第二设备2，所述第一设备1与所述第二设备2之间通过蓝牙连接；所述第一设备1进一步包括：
第一设备填充音频数据构造装置101，用于当第一设备1没有可用于解码的音频数据时，构造填充音频数据；
第一设备计数装置102，用于对所述第一设备填充音频数据构造装置101 构造的填充音频数据进行计数，得到计数值X；
所述第二设备2进一步包括：
第二设备填充音频数据构造装置201，用于当第二设备没有可用于解码的音频数据时，构造填充音频数据；
第二设备计数装置202，用于对所述第二设备填充音频数据构造装置201 构造的填充音频数据进行计数，得到计数值Y；
音频数据同步处理装置203，用于根据所述Y和所述X的数量，进行音频数据同步处理。
其中第一设备和第二设备内部都具有填充音频数据构造装置和计数装置，而用于进行音频数据同步处理的音频数据同步处理装置203可以设计在第二设备中，也可以设计在第一设备中，或者在第一设备和第二设备中都设计，在实际使用或产品中，根据由谁来进行同步而对音频数据同步处理装置进行设计。所述第一设备和/或第二设备可以在第一设备或第二设备任一个恢复数据后，获取所述第一设备填充音频数据计数值X和所述第二设备填充音频数据计数值 Y；在获取了构造的X和Y的数量后，由音频数据同步处理装置203进行同步处理。
本发明提供的优选实施例，所述音频数据同步处理装置进一步包括抵消处理装置，用于根据所述Y和X的数量，消耗接收到的真实音频数据以磨平第一设备和第二设备的偏差数据。
本发明提供的优选实施例，所述音频数据同步处理装置进一步包括补偿处理装置，用于根据所述Y和X的数量，添加虚拟音频数据到播放的数据流里以补偿第一设备和第二设备的偏差音频数据。
本发明提供的优选实施例，所述第一设备还包括：音频数据同步处理装置，用于根据所述Y和所述X的数量，进行音频数据同步处理。
本发明提供的优选实施例，所述第一设备和所述第二设备中还包括选择装置，用于选择由所述第一设备或所述第二设备获取当前第一设备填充音频数据计数值X和当前第二设备填充音频数据计数值Y，并根据所述X和所述Y进行音频数据同步处理。
本发明实施例涉及产品装置部分的实施例在上述方法流程中已经详细描述，在本部分中不予以赘述。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种无线蓝牙装置的音频处理方法，所述无线蓝牙装置包括第一设备和第二设备，所述第一设备与所述第二设备之间通过蓝牙连接；其特征在于，包括如下步骤：
判断所述第一设备和第二设备是否有用于解码的音频数据；
当所述第一设备和/或第二设备没有可用于解码的音频数据时，由第一设备和/或第二设备构造填充音频数据并计数，所述第一设备构造的填充音频数据的计数值为X，所述第二设备构造的填充音频数据的计数值为Y，并播放所述填充音频数据；
所述第一设备和/或所述第二设备获取所述第一设备填充音频数据计数值X和所述第二设备填充音频数据计数值Y；
由所述第一设备和/或所述第二设备根据所述X和所述Y进行音频数据同步处理。
2.如权利要求1所述的方法，其特征在于，在获取了所述X和Y之后，所述第一设备和所述第二设备的所述填充音频数据计数值清零。
3.如权利要求1所述的方法，其特征在于，所述所述第一设备和/或所述第二设备获取所述第一设备填充音频数据计数值X和所述第二设备填充音频数据计数值Y包括：
所述第一设备向所述第二设备发送第一同步包，所述第一同步包包括第一设备状态信息、所述X和所述第一设备当前解码包号Z；或者
所述第二设备向所述第一设备发送第二同步包，所述第二同步包包括第二设备状态信息、所述Y和所述第二设备当前解码包号W。
4.如权利要求1所述的方法，其特征在于，所述音频数据同步处理包括：音频数据抵消处理或者音频数据补偿处理；
所述音频数据抵消处理，包括：根据所述X和所述Y得到所述第一设备和所述第二设备的偏差音频数据，通过消耗真实音频数据来抵消所述偏差音频数据，实现音频数据同步；
所述音频数据补偿处理，包括：根据所述X和所述Y得到所述第一设备和所述第二设备的偏差音频数据，通过添加虚拟音频数据到播放的数据流里以补偿所述偏差音频数据，实现音频数据同步。
5.如权利要求1所述的方法，其特征在于，所述由所述第一设备或所述第二设备根据所述X和所述Y进行音频数据同步处理包括：
所述第一设备在可用于解码的音频数据充足以及用于播放的音频数据充足的条件下根据所述X和所述Y进行音频数据抵消处理；或者
所述第二设备在可用于解码的音频数据充足以及用于播放的音频数据充足的条件下根据所述X和所述Y进行音频数据抵消处理。
6.如权利要求1所述的方法，其特征在于，所述由所述第一设备或所述第二设备根据所述X和所述Y进行音频数据同步处理包括：
所述第一设备在可用于解码的音频数据小于阈值L且所述第一设备的当前解码包包号大于所述W时根据所述X和所述Y进行音频数据补偿处理；或者
所述第二设备在可用于解码的音频数据小于阈值R且所述第二设备的当前解码包包号大于所述Z时根据所述X和所述Y进行音频数据补偿处理。
7.如权利要求1所述的方法，其特征在于，进一步包括：
动态选择由所述第一设备或所述第二设备获取当前第一设备填充音频数据计数值X和当前第二设备填充音频数据计数值Y，并根据所述X和所述Y进行音频数据同步处理。
8.如权利要求1所述的方法，其特征在于，进一步包括：
根据所述第一设备和所述第二设备的电池电量，选择由所述第一设备或所述第二设备获取当前第一设备填充音频数据计数值X和当前第二设备填充音频数据计数值Y，并根据所述X和所述Y进行音频数据同步处理；或者
根据所述第一设备和所述第二设备的可用于解码的音频数据量，选择由所述第一设备或所述第二设备获取当前第一设备填充音频数据计数值X和当前第二设备填充音频数据计数值Y，并根据所述X和所述Y进行音频数据同步处理；或者
根据所述第一设备和所述第二设备的主从关系，选择由所属第一设备或者所述第二设备获取当前第一设备填充音频数据计数值X和当前第二设备填充音频数据计数值Y，并根据所述X和所述Y进行音频数据同步处理；或者
根据所述X和所述Y的大小，选择由所属第一设备或者所述第二设备获取当前第一设备填充音频数据计数值X和当前第二设备填充音频数据计数值Y，并根据所述X和所述Y进行音频数据同步处理。
9.如权利要求1-8任一所述的方法，其特征在于，包括：
所述第一设备为主设备，所述第二设备为从设备；当所述第一设备没有可用于解码的音频数据时，由第一设备为自身构造填充音频帧，对所述填充音频帧进行计数，并播放所述填充音频帧；
当所述第二设备没有可用于解码的音频数据时，由第二设备为自身构造填充音频帧，对所述填充音频帧进行计数，并播放所述填充音频帧；
当所述第一设备或所述第二设备恢复有用于解码的音频数据后，由所述第二设备获取当前第一设备填充音频帧计数值X和当前第二设备填充音频帧计数值Y；
所述第二设备将所述Y-X得到m，当所述差值m＞0时，所述第二设备消耗接收到的真实音频帧以磨平第一设备和第二设备的的偏差音频数据；
当所述差值m≤0时，所述第二设备增加偏差数据的虚拟音频帧到播放的数据流里以补偿第一设备被抵消的多余帧数。
10.如权利要求1-8任一所述的方法，其特征在于，所述填充音频数据包括以下一种或多种：填0帧、噪音数据、音频数据。
11.一种无线蓝牙装置，包括第一设备和第二设备，所述第一设备与所述第二设备之间通过蓝牙连接，所述第一设备包括第一处理器和第一存储器；所述第二设备包括第二处理器和第二存储器，其特征在于，所述第一存储器中存储有权利要求1-10任一项所述方法中由第一设备实现的计算机程序；所述第二存储器中存储有权利要求1-10任一项所述方法中由第二设备实现的计算机程序；所述第一处理器用于执行所述第一存储器中的计算机程序；所述第二处理器用于执行所述第二存储器中的计算机程序。
12.一种无线蓝牙装置，包括第一设备和第二设备，所述第一设备与所述第二设备之间通过蓝牙连接；其特征在于，
所述第一设备进一步包括：
第一设备填充音频数据构造装置，用于当第一设备没有可用于解码的音频数据时，构造填充音频数据；
第一设备计数装置，用于对所述第一设备填充音频数据构造装置构造的填充音频数据进行计数，得到计数值X；
所述第二设备进一步包括：
第二设备填充音频数据构造装置，用于当第二设备没有可用于解码的音频数据时，构造填充音频数据；
第二设备计数装置，用于对所述第二设备填充音频数据构造装置构造的填充音频数据进行计数，得到计数值Y；
音频数据同步处理装置，用于根据所述Y和所述X的数量，进行音频数据同步处理。
13.根据权利要求12所述的无线蓝牙装置，其特征在于，所述音频数据同步处理装置进一步包括抵消处理装置，用于根据所述Y和X的数量，消耗接收到的真实音频数据以磨平第一设备和第二设备的偏差音频数据。
14.根据权利要求12所述的无线蓝牙装置，其特征在于，所述音频数据同步处理装置进一步包括补偿处理装置，用于根据所述Y和X的数量，添加虚拟音频数据到播放的数据流里以补偿第一设备和第二设备的偏差音频数据。
15.根据权利要求12所述的无线蓝牙装置，其特征在于，所述第一设备还包括：音频数据同步处理装置，用于根据所述Y和所述X的数量，进行音频数据同步处理。
16.根据权利要求15所述的无线蓝牙装置，其特征在于，所述第一设备和所述第二设备中还包括选择装置，用于选择由所述第一设备或所述第二设备获取当前第一设备填充音频数据计数值X和当前第二设备填充音频数据计数值Y，并根据所述X和所述Y进行音频数据同步处理。
CN201811141567.5A 2018-09-28 2018-09-28 无线蓝牙装置的音频同步方法及无线蓝牙装置 Active CN110970040B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811141567.5A CN110970040B (zh) 2018-09-28 2018-09-28 无线蓝牙装置的音频同步方法及无线蓝牙装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811141567.5A CN110970040B (zh) 2018-09-28 2018-09-28 无线蓝牙装置的音频同步方法及无线蓝牙装置

Publications (2)

Publication Number Publication Date
CN110970040A true CN110970040A (zh) 2020-04-07
CN110970040B CN110970040B (zh) 2022-05-27

Family

ID=70027769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811141567.5A Active CN110970040B (zh) 2018-09-28 2018-09-28 无线蓝牙装置的音频同步方法及无线蓝牙装置

Country Status (1)

Country Link
CN (1) CN110970040B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112888062A (zh) * 2021-03-16 2021-06-01 芯原微电子（成都）有限公司 数据同步方法、装置、电子设备及计算机可读存储介质
WO2021208359A1 (zh) * 2020-04-17 2021-10-21 炬力(珠海)微电子有限公司 蓝牙tws设备及其主设备、从设备和设备间的数据传输方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070010324A (ko) * 2005-07-18 2007-01-24 매그나칩 반도체 유한회사 무선수신기에서의 시간동기화 및 주파수동기화 방법
CN204652645U (zh) * 2015-06-12 2015-09-16 徐文波 音频信号延时补偿装置、声卡及终端设备
US20150382304A1 (en) * 2014-06-30 2015-12-31 Minyoung Park Method and system for bluetooth device synchronization
CN105357604A (zh) * 2014-04-30 2016-02-24 密克罗奇普技术公司 具有蓝牙功能的音频播放装置及音频播放方法
CN105532053A (zh) * 2013-09-27 2016-04-27 苹果公司 通过蓝牙进行设备同步
CN105743549A (zh) * 2014-12-10 2016-07-06 展讯通信（上海）有限公司 用户终端及其音频蓝牙播放方法、数字信号处理器
CN108111997A (zh) * 2017-12-15 2018-06-01 珠海市杰理科技股份有限公司 蓝牙设备音频同步方法和系统
US10009862B1 (en) * 2017-09-06 2018-06-26 Texas Instruments Incorporated Bluetooth media device time synchronization

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070010324A (ko) * 2005-07-18 2007-01-24 매그나칩 반도체 유한회사 무선수신기에서의 시간동기화 및 주파수동기화 방법
CN105532053A (zh) * 2013-09-27 2016-04-27 苹果公司 通过蓝牙进行设备同步
CN105357604A (zh) * 2014-04-30 2016-02-24 密克罗奇普技术公司 具有蓝牙功能的音频播放装置及音频播放方法
US20150382304A1 (en) * 2014-06-30 2015-12-31 Minyoung Park Method and system for bluetooth device synchronization
CN105743549A (zh) * 2014-12-10 2016-07-06 展讯通信（上海）有限公司 用户终端及其音频蓝牙播放方法、数字信号处理器
CN204652645U (zh) * 2015-06-12 2015-09-16 徐文波 音频信号延时补偿装置、声卡及终端设备
US10009862B1 (en) * 2017-09-06 2018-06-26 Texas Instruments Incorporated Bluetooth media device time synchronization
CN108111997A (zh) * 2017-12-15 2018-06-01 珠海市杰理科技股份有限公司 蓝牙设备音频同步方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭昌建等: "基于ACL的蓝牙音频应用模型及算法研究", 《计算机技术与发展》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021208359A1 (zh) * 2020-04-17 2021-10-21 炬力(珠海)微电子有限公司 蓝牙tws设备及其主设备、从设备和设备间的数据传输方法
CN112888062A (zh) * 2021-03-16 2021-06-01 芯原微电子（成都）有限公司 数据同步方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN110970040B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN107529126B (zh) 基于nfmi的鲁棒性
CN112789866B (zh) 应用于tws耳机单双耳切换的音频数据传输方法及设备
US20190215349A1 (en) Multi-device audio streaming system with synchronization
US20160219358A1 (en) Wireless earbuds with reciprocating leader and follower configuration
CN111435844B (zh) 双无线蓝牙通信音频数据更正方法、装置、设备及系统
CN109461450B (zh) 音频数据的传输方法、系统、存储介质及蓝牙耳机
CN109413555B (zh) 音频输出方法、装置、耳机以及电子设备
CN111343526B (zh) 音箱组件的无线通信方法和用于无线通信的音箱组件
CN110970040B (zh) 无线蓝牙装置的音频同步方法及无线蓝牙装置
CN111527733B (zh) 控制双模蓝牙低能耗多媒体装置
EP3474577B1 (en) Bluetooth device, method and computer program for controlling a plurality of wireless audio devices with a bluetooth device
US11690109B2 (en) True wireless solution for BT stereo audio playback
WO2022021441A1 (zh) 一种应用于无线双耳耳机的通信方法和装置
WO2023050128A1 (zh) 数据传输方法和装置
CN115278626A (zh) 蓝牙多媒体包的传输方法、装置、设备、系统和存储介质
CN114915949A (zh) 蓝牙通信系统与蓝牙设备群
CN113038317A (zh) 耳机控制方法、装置、蓝牙耳机及存储介质
CN114866998B (zh) 一种蓝牙连接方法及蓝牙设备
CN115567086B (zh) 音频传输设备、音频播放设备和音频传输与同步系统
CN110989966B (zh) 音频数据的处理方法、装置及电子装置
JP2008153736A (ja) ステレオワイヤレスヘッドホンシステムおよびステレオワイヤレスヘッドホン
CN117176203A (zh) 音频传输方法、装置、存储介质、电子设备及产品
CN117412107A (zh) 数据传输方法、数据接收方法、装置、存储介质及设备
WO2024040159A1 (en) Coordinated sniffing of air traffic within a group of audio output devices
JP5389472B2 (ja) 再生システム、プログラムおよび再生方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Zone C, floor 1, plant 1, No.1, Keji 4th Road, Tangjiawan Town, high tech Zone, Zhuhai City, Guangdong Province 519085

Applicant after: ACTIONS TECHNOLOGY Co.,Ltd.

Address before: 519085 High-tech Zone, Tangjiawan Town, Zhuhai City, Guangdong Province

Applicant before: ACTIONS (ZHUHAI) TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant